之前已经写了一篇在dock中的，现在实操一下在虚拟机中的hadoop安装，基于上与物理上是一样的
1、先下载 hadoop release版本
https://hadoop.apache.org/releases.html
2、下载Java 8
因为hadoop 3需要Java8以上
https://www.oracle.com/java/technologies/javase/jdk17-archive-downloads.html https://www.oracle.com/java/technologies/downloads/#java8
3、添加一块新的硬盘作为文件存储并进行分区
#查看分区信息，查看磁盘是否添加成功
fdisk -l
#列出设备及其文件系统信息
lsblk -f
#给磁盘进行分区
fdisk /dev/sdb
输入m查看 帮助
m ：显示菜单和帮助信息
a ：活动分区标记/引导分区
d ：删除分区
l ：显示分区类型
n ：新建分区
p ：显示分区信息
q ：退出不保存
t ：设置分区号
v ：进行分区检查
w ：保存修改
x ：扩展应用，高级功能
输入 n
使用整块硬盘 就一路回车
输入 w 进行保存
#再次查看分区情况，已经有了/dev/sdb1 fdisk -l #创建文件系统，并格式化 mkfs.ext4 /dev/sdb1 #我要把它挂载到/data目录上面 mkdir /data #临时挂载，关机失效 mount /dev/sdb1 /data #编辑/etc/fstab使挂载永久生效 vim /etc/fstab #gedit /etc/fstab #在/etc/fstab的最下面写入此行内容 /dev/sdb1 /data ext4 defaults 0 0 #/data文件夹将保存hadoop的内容文件
4、安装jdk环境
#https://www.oracle.com/java/technologies/javase/jdk17-archive-downloads.html #找到刚才下载的 jdk-8u333-linux-x64.tar.gz ，释放到/opt文件夹 tar -zxvf jdk-8u333-linux-x64.tar.gz -C /opt #进入/opt/jdk1.8.0_333/bin文件夹 测试一下 ./java -version #配置JDK环境，将JDK路径配置到/etc/profile文件下 vim /etc/profile 在顶部加入 export JAVA_HOME=/opt/jdk1.8.0_333 export PATH=$PATH:$JAVA_HOME/bin :wq source /etc/profile
5、安装Hadoop环境
将Hadoop安装包解压至/opt下 配置将Hadoop环境 vim /etc/profile export HADOOP_HOME=/opt/hadoop-3.3.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile :wq #运行检查版本，以及是否正常安装 hadoop version
6、准备工作 配置免密
#为每个节点分别产生公、私密钥配置，使用ssh-keygen命令可以为本服务器生成公钥(id_dsa.pub)和私钥(Id_dsa), #要求输入passphrased的时候直接敲回车。 ssh-keygen -t dsa -f ~/.ssh/id_dsa #再使用cp命令，将公钥文件复制成authorized_keys文件。 cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys #在/data创建文件夹，如下 mkdir /data/hadoop mkdir /data/hadoop/tmp mkdir /data/hadoop/var mkdir /data/hadoop/dfs mkdir /data/hadoop/dfs/name mkdir /data/hadoop/dfs/data
评论