向hadoop集群添加DataNode

将新的hosts文件拷贝到其它三台服务器中

<pre class="brush:bash;toolbar:false">scp /etc/hosts root@slave1:/etc
scp /etc/hosts root@slave2:/etc
scp /etc/hosts root@slave3:/etc</pre>

实现免登

<pre class="brush:bash;toolbar:false">scp ~/.ssh/id_dsa.pub hadoop@slave3:~/.ssh/master.pub
ssh hadoop@slave3 "cat ~/.ssh/master.pub>> ~/.ssh/authorized_keys"</pre>

添加新主机至集群


 vim /opt/hadoop/etc/hadoop/slaves


 vim /opt/hadoop/etc/hadoop/works


 添加slave3


 将该slaves文件同步到其它主机之上

启动新主机的datanode进程和nodemanager进程


 sbin/hadoop-daemon.sh start datanode


 sbin/yarn-daemon.sh start nodemanager

运行jps查看

以下操作在主机上进行


 更新namenode信息


 hdfs dfsadmin -refreshNodes

查看namenode 状态信息 


 hdfs dfsadmin -report

更新resourcemananger信息


 yarn rmadmin -refreshNodes

查看到Active Nodes的信息


 yarn node -list

向hadoop集群添加DataNode

添加新评论

关于博主

文章分类

最受欢迎的文章

最近回复

其它