查看: 825|回复: 5

Hadoop 三台主机 集群搭建 详解

[复制链接]
论坛徽章:
5
测试徽章
日期:2016-06-23 11:22:26大型分布式徽章
日期:2016-07-07 09:57:43Hadoop研习者中级
日期:2016-07-07 11:39:27Mycat徽章
日期:2016-10-13 17:46:45Openstack徽章
日期:2016-11-17 15:59:19
发表于 2016-4-5 11:21 | 显示全部楼层 |阅读模式

部署环境:
OS:Redhat 5.5 Enterprise
JDK:jdk1.6.0_32
Hadoop:Hadoop-0.20.2
VMWare:7.0
节点安排及网络拓扑:
节点类型      节点IP      节点hostname
master节点     192.168.40.5  master
slave节点      192.168.40.5  master(此时,master既是master节点,也是slave节点)
          192.168.40.6  salve1
          192.168.40.7  slave2
secondaryName节点192.168.40.5  master(此时,master既是master节点,也是slave节点,也是secondaryNameNode)
配置步骤:
一、网络配置
首先关闭三台虚拟机的防火墙,步骤可参考:关闭防火墙
先用VMWare安装三台虚拟机(可以先安装一台,然后clone两台),按照节点安排及网络拓扑配置网络,先配置master节点的网络:
① 静态网络IP配置见VMware Redhat网络配置,分别将三台虚拟机的IP进行设置
② 修改主机名:vi /etc/hosts(解析IP要用),添加
192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2
③ 按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置
、 安装jdk
Hadoop 是用Java开发的,Hadoop的编译及mapreduce的运行都需要使用JDK,所以JDK是必须安装的
① 下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/index.html
② 在用户根目录下,建立bin文件夹:mkdir ~/bin(也可放在其他处,个人习惯而已)
③ 改变执行权限:chmod u+x jdk-6u26-Linux-i586.bin
④ 执行文件:sudo -s ./jdk-6u26-linux-i586.bin,一路确定
⑤ 配置环境变量:vi ~/.bash_profile,添加:
export JAVA_HOME=/root/bin/jdk1.6.0_32
export PATH=$PATH:$JAVA_HOME/bin
⑥ 使profile文件生效:source ~/.bash_profile
⑦ 验证是否配置成功:which java
[root@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可输入java -version, java, javac进一步确定
⑧ 分别相同配置另外两台主机
<JDK Installation End>
三、建立ssh互信
hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程,所以SSH是必须安装的(redhat 5.5 Enterprise 以默认安装)。但是是否建立ssh互信(即无密码登陆)并不是必须的,但是如果不配置,每次启动hadoop,都需要输入密码以便登录到每台机器的Datanode上,而一般的hadoop集群动辄数百或数千台机器,因此一般来说都会配置ssh互信。
① 生成密钥并配置ssh无密码登陆主机(在master主机)
ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
② 将authorized_keys文件拷贝到两台slave主机
scp authorized_keys slave1:~/.ssh/
scp authorized_keys slave2:~/.ssh/
③ 检查是否可以从master无密码登陆slave机
ssh slave1(在master主机输入) 登陆成功则配置成功,exit退出slave1返回master
四、配置Hadoop
① 下载:点击到下载页面,选择hadoop-0.20.2.tar.gz
② 放到~/bin下解压: tar -xzvf hadoop-0.20.2.tar.gz
③ 解压后进入:~/bin/hadoop-0.20.2/conf/,修改配置文件:
修改hadoop-env.sh:
export JAVA_HOME=/root/bin/jdk1.6.0_32
转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/
hadoop-env.sh里面有这一行,默认是被注释的,只需要把注释去掉,并且把JAVA_HOME 改成你的java安装目录即可
修改core-site.xml
[url=][/url]
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>  <property>    <name>fs.default.name</name>    <value>hdfs://master:9000</value>  </property>  <property>    <name>Hadoop.tmp.dir</name>    <value>/tmp/hadoop-root</value>  </property></configuration>转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/[url=][/url]

注释一:hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的,namenode的名字空间存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode数据块的存放地方就是 ${hadoop.tmp.dir}/dfs/data,所以设置好hadoop.tmp.dir目录后,其他的重要目录都是在这个目录下面,这是一个根目录。
注释二:fs.default.name,设置namenode所在主机,端口号是9000
注释三:core-site.xml 对应有一个core-default.xml, hdfs-site.xml对应有一个hdfs-default.xml,mapred-site.xml对应有一个mapred-default.xml。这三个defalult文件里面都有一些默认配置,现在我们修改这三个site文件,目的就覆盖default里面的一些配置
修改hdfs-site.xml
[url=][/url]
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>  <property>    <name>dfs.replication</name>    <value>3</value>  </property></configuration>转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/[url=][/url]

dfs.replication,设置数据块的复制次数,默认是3,如果slave节点数少于3,则写成相应的1或者2
修改mapred-site.xml

[url=][/url]
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>  <property>    <name>mapred.job.tracker</name>    <value>http://master:9001</value>  </property></configuration>转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/[url=][/url]

mapred.job.tracker,设置jobtracker所在机器,端口号9001
修改masters
master      转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/
虽然masters内写的是master,但是个人感觉,这个并不是指定master节点,而是配置secondaryNameNode
修改slaves
masterslave1slave2
转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/
配置了集群中所有slave节点
④ 添加hadoop环境变量,并 source ~/.bash_profile使之生效
export JAVA_HOME=/root/bin/jdk1.6.0_32export HADOOP_HOME=/root/bin/hadoop-0.20.2export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/
⑤ 将已经配置好的hadoop-0.20.2,分别拷贝到另外两台主机,并做相同配置
⑥ 此时,hadoop的集群配置已经完成,输入hadoop,则可看到hadoop相关的操作
[url=][/url]
[root@master ~]# hadoopUsage: hadoop [--config confdir] COMMANDwhere COMMAND is one of:  namenode -format     format the DFS filesystem  secondarynamenode    run the DFS secondary namenode  namenode             run the DFS namenode  datanode             run a DFS datanode  dfsadmin             run a DFS admin client  mradmin              run a Map-Reduce admin client  fsck                 run a DFS filesystem checking utility  fs                   run a generic filesystem user client  balancer             run a cluster balancing utility  jobtracker           run the MapReduce job Tracker node  pipes                run a Pipes job  tasktracker          run a MapReduce task Tracker node  job                  manipulate MapReduce jobs  queue                get information regarding JobQueues  version              print the version  jar <jar>            run a jar file  distcp <srcurl> <desturl> copy file or directories recursively  archive -archiveName NAME <src>* <dest> create a hadoop archive  daemonlog            get/set the log level for each daemon or  CLASSNAME            run the class named CLASSNAMEMost commands print help when invoked w/o parameters.转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/[url=][/url]

⑦ 此时,首先格式化hadoop
在命令行里执行,hadoop namenode -format
⑧ 启动hadoop
在命令行里执行,start-all.sh,或者执行start-dfs.sh,再执行start-mapred.sh
⑨ 输入jps,查看启动的服务进程
[url=][/url]
master节点:
[root@master ~]# jps25429 SecondaryNameNode25500 JobTracker25201 NameNode25328 DataNode18474 Jps25601 TaskTracker转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/[url=][/url]

slave节点:
[root@slave1 ~]# jps4469 TaskTracker4388 DataNode29622 Jps转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/
如上显示,则说明相应的服务进程都启动成功了。
圈10(额,像①一样的圈出不来了(⊙o⊙)) 查看hdfs分布式文件系统的 文件目录结构
hadoop fs -ls /转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/
此时发现为空,因为确实什么也没有,运行一下命令,则可创建一个文件夹:
hadoop fs -mkdir /newDir转载注明出处:博客园 石头儿 http://www.cnblogs.com/shitouer/
再次执行hadoop fs -ls /,则会看到newDir文件夹,关于hadoop fs 命令,参见:HDFS 命令
圈11 运行hadoop 类似hello world的程序
本来,都是以word count来运行的,但是还得建文件夹之类的,有一个更简单的,就是example中的计算π值的程序,我们来计算一下,进入hadoop目录,运行如下:
[url=][/url]
[root@slave1 hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar pi 4 2Number of Maps  = 4Samples per Map = 2Wrote input for Map #0Wrote input for Map #1Wrote input for Map #2Wrote input for Map #3Starting Job12/05/20 09:45:19 INFO mapred.FileInputFormat: Total input paths to process : 412/05/20 09:45:19 INFO mapred.JobClient: Running job: job_201205190417_000512/05/20 09:45:20 INFO mapred.JobClient:  map 0% reduce 0%12/05/20 09:45:30 INFO mapred.JobClient:  map 50% reduce 0%12/05/20 09:45:31 INFO mapred.JobClient:  map 100% reduce 0%12/05/20 09:45:45 INFO mapred.JobClient:  map 100% reduce 100%12/05/20 09:45:47 INFO mapred.JobClient: Job complete: job_201205190417_000512/05/20 09:45:47 INFO mapred.JobClient: Counters: 1812/05/20 09:45:47 INFO mapred.JobClient:   Job Counters 12/05/20 09:45:47 INFO mapred.JobClient:     Launched reduce tasks=112/05/20 09:45:47 INFO mapred.JobClient:     Launched map tasks=412/05/20 09:45:47 INFO mapred.JobClient:     Data-local map tasks=412/05/20 09:45:47 INFO mapred.JobClient:   FileSystemCounters12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_READ=9412/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_READ=47212/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=33412/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=21512/05/20 09:45:47 INFO mapred.JobClient:   Map-Reduce Framework12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input groups=812/05/20 09:45:47 INFO mapred.JobClient:     Combine output records=012/05/20 09:45:47 INFO mapred.JobClient:     Map input records=412/05/20 09:45:47 INFO mapred.JobClient:     Reduce shuffle bytes=11212/05/20 09:45:47 INFO mapred.JobClient:     Reduce output records=012/05/20 09:45:47 INFO mapred.JobClient:     Spilled Records=1612/05/20 09:45:47 INFO mapred.JobClient:     Map output bytes=7212/05/20 09:45:47 INFO mapred.JobClient:     Map input bytes=9612/05/20 09:45:47 INFO mapred.JobClient:     Combine input records=012/05/20 09:45:47 INFO mapred.JobClient:     Map output records=812/05/20 09:45:47 INFO mapred.JobClient:     Reduce input records=8Job Finished in 28.952 secondsEstimated value of Pi is 3.50000000000000000000


回复

使用道具 举报

论坛徽章:
8
Hadoop研习者初级
日期:2013-10-21 22:46:16Oracle研习者高级
日期:2013-08-25 14:24:54Oracle研习者高级
日期:2013-08-25 14:25:21Oracle研习者初级
日期:2014-09-19 14:07:02Oracle研习者高级
日期:2015-06-18 11:38:31Hadoop研习者中级
日期:2016-07-07 11:39:27Java徽章
日期:2016-10-27 10:52:31mysql徽章
日期:2018-02-01 17:47:18
发表于 2016-4-10 12:48 | 显示全部楼层
真详细,还有经验分享,谢了楼主
回复 支持 反对

使用道具 举报

论坛徽章:
32
Hadoop研习者初级
日期:2015-09-24 15:49:38python徽章
日期:2016-11-03 17:46:49python徽章
日期:2016-12-22 16:30:22机器学习徽章
日期:2016-12-22 16:38:25python徽章
日期:2016-12-29 16:34:17spark徽章
日期:2017-03-02 16:21:40Hive徽章
日期:2017-03-10 11:59:24HBase徽章
日期:2017-03-10 12:00:30storm徽章
日期:2017-05-11 17:11:45机器学习徽章
日期:2017-05-18 16:15:52Docker徽章
日期:2017-05-25 16:49:05python徽章
日期:2017-06-09 15:44:30
发表于 2016-6-4 16:18 | 显示全部楼层
Hadoop 三台主机 集群搭建 详解
回复 支持 反对

使用道具 举报

新浪微博达人勋 dargun  未实名认证
论坛徽章:
7
linux徽章
日期:2016-06-23 11:29:53Hadoop研习者中级
日期:2016-07-07 11:39:27Hadoop研习者初级
日期:2016-09-29 15:17:14spark徽章
日期:2016-10-27 10:48:50Docker徽章
日期:2017-03-16 17:59:05算法导论徽章
日期:2018-03-15 14:54:31算法导论徽章
日期:2018-03-23 10:47:26
发表于 2016-6-6 00:32 | 显示全部楼层
图看不到,不过写的很详细
回复 支持 反对

使用道具 举报

论坛徽章:
3
Hadoop研习者中级
日期:2016-11-10 14:59:12Hadoop研习者初级
日期:2016-11-10 15:05:30python徽章
日期:2017-06-22 17:17:37
发表于 2016-7-30 10:49 | 显示全部楼层
我也写了篇三台服务器搭建hadoop的文档,希望能有所帮助
http://www.cnblogs.com/xyliao/p/5712269.html
回复 支持 反对

使用道具 举报

论坛徽章:
6
Java徽章
日期:2017-12-07 16:04:57Oracle研习者初级
日期:2017-12-28 17:04:46Java徽章
日期:2018-01-04 17:15:14Hadoop研习者初级
日期:2018-01-11 17:33:01Hadoop研习者中级
日期:2018-01-25 17:09:52Hadoop研习者初级
日期:2018-02-08 16:19:01
发表于 2017-10-19 13:07 | 显示全部楼层
接下来可以使用DNS和NFS再进行高阶搭建了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-7-23 00:11 , Processed in 0.206227 second(s), 51 queries .