Hadoop集群添加DataNode步骤详解 | 新增节点配置教程

向hadoop集群添加DataNode

本文介绍了向Hadoop集群添加新DataNode的完整步骤：拷贝hosts文件到其他节点、配置SSH免密登录、修改slaves和works配置文件、同步配置、启动datanode和nodemanager进程、刷新Namenode和ResourceManager信息，并验证节点状态。

作者：zhuge·发布于 2022/6/29·更新于 2022/6/29·预计阅读 4 分钟·615 阅读·0 评论

将新的hosts文件拷贝到其它三台服务器中

scp /etc/hosts root@slave1:/etc
scp /etc/hosts root@slave2:/etc
scp /etc/hosts root@slave3:/etc

实现免登

scp ~/.ssh/id_dsa.pub hadoop@slave3:~/.ssh/master.pub
ssh hadoop@slave3 "cat ~/.ssh/master.pub>> ~/.ssh/authorized_keys"

添加新主机至集群

vim /opt/hadoop/etc/hadoop/slaves

vim /opt/hadoop/etc/hadoop/works

添加slave3

将该slaves文件同步到其它主机之上

启动新主机的datanode进程和nodemanager进程

sbin/hadoop-daemon.sh start datanode

sbin/yarn-daemon.sh start nodemanager

运行jps查看

以下操作在主机上进行

更新namenode信息

hdfs dfsadmin -refreshNodes

查看namenode 状态信息

hdfs dfsadmin -report

更新resourcemananger信息

yarn rmadmin -refreshNodes

查看到Active Nodes的信息

yarn node -list

向hadoop集群添加DataNode