Docker安装Hadoop

本文讲述在Ubuntu下创建使用docker基于ubuntu镜像创建hadoop.实现以下功能1、为一主二从2、docker静态地址3、全部自定义安装 一、创建一个安装好jdk的镜像1、创建一个ubuntu容器<pre class="brush:bash;toolbar:false">sudo docker pull ubuntu </pre>2、映射主机上的java目录到启动的容器中 <pre class="brush:bash;toolbar:false">make ~/build #-r表示递归 cp -r /usr/lib/jvm/java-8-openjdk-amd64 ~/build </pre>3、下载Hadoop到文件夹<pre class="brush:bash;toolbar:false">wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz </pre>4、启动容器<pre class="brush:bash;toolbar:false">docker run -it -v /home/bs/build:/root/build --name ubuntu ubuntu </pre>5、进bash更新和安装 vim ssh<pre class="brush:bash;toolbar:false">apt update & apt upgrade apt install vim ssh #选择6，70 #启动ssh服务 /etc/init.d/ssh start #写入启动项 vim ~/.bashrc #在最后写上 /etc/init.d/ssh start #立即加载配置 source ~/.bashrc #设置免密登陆 cat /root/.ssh/id_rsa.pub >> authorized_keys #试验 ssh localhost </pre> 6、移动jdk至容器内<pre class="brush:bash;toolbar:false">mkdir /usr/lib/jvm #cp -r /root/build/java-8-openjdk-amd64/ /usr/lib/jvm/java-8-openjdk-amd64 mv /root/build/java-8-openjdk-amd64/ /usr/lib/jvm/java-8-openjdk-amd64 </pre> 7、设置JAVA环境变量<pre class="brush:bash;toolbar:false">vim ~/.bashrc export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ export PATH=$PATH:$JAVA_HOME/bin :wq source ~/.bashrc </pre>8返回主机exit通过docker ps 查看ubuntu的镜像ID9、创建一个新的image<pre class="brush:bash;toolbar:false">docker commit [id]  ubuntu/jdkinstalled </pre> 二、安装Hadoop1、新启动一个docker<pre class="brush:bash;toolbar:false">docker run -it -v /home/bs/build/:/root/build --name ubuntu-jdk1 ubuntu/jdkinstalled </pre>2、进入ubuntu-jdk1 bash3、解压hadoop<pre class="brush:bash;toolbar:false">tar -zxvf /root/build/hadoop-3.3.2.tar.gz -C /usr/local/ cd /usr/local/hadoop-3.3.2/bin </pre>运行 ./hadoop version 即可查看到内容4、编辑/etc/hadoop/core-site.xml<pre class="brush:xml;toolbar:false"><configuration>     <property>         <name>hadoop.tmp.dir</name>         <value>file:/usr/local/hadoop/tmp</value>         <description>Abase for other temporary directories.</description>     </property>     <property>         <name>fs.defaultFS</name>         <value>hdfs://master:9000</value>     </property> </configuration> </pre> 5、编辑hadoop-env.sh<pre class="brush:bash;toolbar:false">vim hadoop-env.sh #在顶部加入 JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ </pre> 6、编辑hdfs-site.xml#dfs.replication = 3 是3个副本vim hdfs-site.xml <pre class="brush:xml;toolbar:false"><configuration>     <property>         <name>dfs.replication</name>         <value>3</value>     </property>     <property>         <name>dfs.namenode.name.dir</name>         <value>file:/usr/local/hadoop/tmp/dfs_name</value>     </property>     <property>         <name>dfs.datanode.data.dir</name>         <value>file:/usr/local/hadoop/tmp/dfs_data</value>     </property> </configuration> </pre>7、编辑mapred-site.xml  vim mapred-site.xml  <pre class="brush:xml;toolbar:false"><configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property> </configuration> </pre> <pre class="brush:xml;toolbar:false">可使用yarn框架、jobhistory使用地址以及web地址 <configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>    <property>        <name>mapreduce.jobhistory.address</name>        <value>bigdata:10020</value>    </property>    <property>        <name>mapreduce.jobhistory.webapp.address</name>        <value>bigdata:19888</value>    </property> </configuration> </pre> 8、编辑yarn-site.xml vim yarn-site.xml <pre class="brush:xml;toolbar:false"><configuration>   <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>         <description>NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序</description>     </property> <property>     <name>yarn.resourcemanager.hostname</name>     <value>master</value>     <description>resourcemanager</description> </property> </configuration> </pre> 9、创建一个安装好hadoop的image使用docker ps查看id然后<pre class="brush:bash;toolbar:false">docker commit [id] ubuntu/hadoopinstalled </pre> 三、启用集群 1、创建一个自定义的网络，网段172.18.0.0/16，网络名称为： hadoopnet。<pre class="brush:bash;toolbar:false">docker network create --subnet=172.18.0.0/16 hadoopnet </pre> 2、分别启动三个 常用端口 HDFS页面：50070YARN的管理界面：8088HistoryServer的管理界面：19888Zookeeper的服务端口号：2181Mysql的服务端口号：3306Hive.server1=10000Kafka的服务端口号：9092azkaban界面：8443Hbase界面：16010,60010Spark的界面：8080Spark的URL：7077 <pre class="brush:xml;toolbar:false">docker run -it -h master --name master -p 9870:9870  -p 9000:9000 -p 50070:50070  --network hadoopnet --ip 172.18.0.2  ubuntu/hadoopinstalled docker run -it -h slave01 --name slave01 --network hadoopnet --ip 172.18.0.3 ubuntu/hadoopinstalled docker run -it -h slave02 --name slave02 --network hadoopnet --ip 172.18.0.4 ubuntu/hadoopinstalled </pre> 3、修改hosts文件<pre class="brush:bash;toolbar:false">vim /etc/hosts #修改master slave01 slave01的IP master 172.18.0.2 slave01 172.18.0.3 slave02 172.18.0.4 </pre> 4、同步其它2台的hosts<pre class="brush:bash;toolbar:false">scp /etc/hosts slave01:/etc/hosts scp /etc/hosts slave02:/etc/hosts </pre> 如果之前没有把ssh公钥复制，需要从/root/.ssh/id_rsa.pub复制 ssh-copy-id root@master ssh-copy-id root@slave01ssh-copy-id root@slave02  5、在master中解决可能存在的问题<pre class="brush:bash;toolbar:false">vi /etc/profile export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root source /etc/profile </pre> more https://blog.csdn.net/weixin_49736959/article/details/108897129 6、配置works<pre class="brush:bash;toolbar:false">vim /usr/local/hadoop-3.3.2/etc/hadoop/workers  slave01 slave02 master </pre> 7、hdfs格式化<pre class="brush:bash;toolbar:false">cd /usr/local/hadoop-3.3.2 bin/hdfs namenode -format </pre> 8、启动<pre class="brush:bash;toolbar:false">sbin/start-all.sh </pre>如果出错错误，把namenode datanode以及日志全部删掉重新format 9、运行jps检查 也可以从以下地址找到相关信息其它：http://dblab.xmu.edu.cn/blog/install-hadoop-simplify/其它：https://my.oschina.net/u/4231975/blog/4523266

Docker安装Hadoop

添加新评论

关于博主

文章分类

最受欢迎的文章

最近回复

其它