虚拟机上安装Hadoop(上)

之前已经写了一篇在dock中的，现在实操一下在虚拟机中的hadoop安装，基于上与物理上是一样的


 1、先下载 hadoop release版本


 https://hadoop.apache.org/releases.html


 2、下载Java 8


 因为hadoop 3需要Java8以上


 https://www.oracle.com/java/technologies/javase/jdk17-archive-downloads.html
 https://www.oracle.com/java/technologies/downloads/#java8


 3、添加一块新的硬盘作为文件存储并进行分区


 #查看分区信息，查看磁盘是否添加成功

<pre class="brush:bash;toolbar:false">fdisk -l</pre>

 #列出设备及其文件系统信息

<pre class="brush:bash;toolbar:false">lsblk -f</pre>

 #给磁盘进行分区


 fdisk /dev/sdb 


 输入m查看 帮助


 m ：显示菜单和帮助信息


 a ：活动分区标记/引导分区


 d ：删除分区


 l ：显示分区类型


 n ：新建分区


 p ：显示分区信息


 q ：退出不保存


 t ：设置分区号


 v ：进行分区检查


 w ：保存修改


 x ：扩展应用，高级功能


 输入 n


 使用整块硬盘 就一路回车


 输入 w 进行保存

<pre class="brush:bash;toolbar:false">#再次查看分区情况，已经有了/dev/sdb1
fdisk -l
#创建文件系统，并格式化
mkfs.ext4 /dev/sdb1 
#我要把它挂载到/data目录上面
mkdir /data
#临时挂载，关机失效
mount /dev/sdb1 /data　　　　
#编辑/etc/fstab使挂载永久生效
vim /etc/fstab　　　　
#gedit /etc/fstab　　
#在/etc/fstab的最下面写入此行内容
/dev/sdb1 /data ext4 defaults 0 0　　　　
#/data文件夹将保存hadoop的内容文件</pre>

 4、安装jdk环境

<pre class="brush:bash;toolbar:false">
#https://www.oracle.com/java/technologies/javase/jdk17-archive-downloads.html
#找到刚才下载的 jdk-8u333-linux-x64.tar.gz ，释放到/opt文件夹
tar -zxvf jdk-8u333-linux-x64.tar.gz -C /opt
#进入/opt/jdk1.8.0_333/bin文件夹 测试一下
./java -version
#配置JDK环境，将JDK路径配置到/etc/profile文件下
vim /etc/profile
在顶部加入
export JAVA_HOME=/opt/jdk1.8.0_333
export PATH=$PATH:$JAVA_HOME/bin
:wq
source /etc/profile</pre>

 5、安装Hadoop环境

<pre class="brush:bash;toolbar:false">将Hadoop安装包解压至/opt下
配置将Hadoop环境
vim /etc/profile
export HADOOP_HOME=/opt/hadoop-3.3.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
:wq
#运行检查版本，以及是否正常安装
hadoop version</pre>

 


 6、准备工作 配置免密

<pre class="brush:bash;toolbar:false">#为每个节点分别产生公、私密钥配置，使用ssh-keygen命令可以为本服务器生成公钥(id_dsa.pub)和私钥(Id_dsa),
#要求输入passphrased的时候直接敲回车。
ssh-keygen -t dsa -f ~/.ssh/id_dsa
#再使用cp命令，将公钥文件复制成authorized_keys文件。
cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys
#在/data创建文件夹，如下
mkdir /data/hadoop 
mkdir /data/hadoop/tmp 
mkdir /data/hadoop/var 
mkdir /data/hadoop/dfs 
mkdir /data/hadoop/dfs/name 
mkdir /data/hadoop/dfs/data</pre>

虚拟机上安装Hadoop(上)

添加新评论

关于博主

文章分类

最受欢迎的文章

最近回复

其它