hadoop集群部署(yarn)

九公里浅绿
阅读 939 标签：java框架  系统架构  大数据  hadoop  

伴随着各大互联网公司开源自己的大数据框架，大数据处理领域的框架已经比较完善。到现在所谓大数据的框架已经用过habase（后来换成了elasticsearch）、zookeeper、kafka、storm，根据项目计划，接下来还要使用spark。虽然在众多框架中仅仅几个，但是也是已经涉及多个方面：数据存储、分布式协调、消息、实时计算等。没有找到任何一个框架能够完美解决所有问题，也就应了那句话，开发领域根本就没有银色子弹。所以即使是比较年长的hadoop（2004年到现在已经12年了，年纪也比较大了），也有能够体现其价值的地方。


最近用了storm，部署topology的时候总是感觉资源使用不平衡，于是想到了yarn能够对hadoop实现资源的协调，那是不是可以扩展一下，对storm也提供资源协调呢。google一下，果然yahho!已经开源了一个storm-yarn组件，于是学习一下，同时也把hadoop的部署复习了一遍。（关于hadoop的单机部署、伪分布式部署可以查看Hadoop环境部署）

1. 基础操作

这里说的基础操作是指对hadoop环境最基本的修改，比如提供java环境、指定JAVA_HOME、格式化namenode数据、免密码登录等，这些在Hadoop环境部署中都有提到。不得不说的是，Hadoop部署虽然简单，但是如果配置不正确，可能出现这种那种奇奇怪怪的错误。（这样一想，hadoop真的比较娇气。）


2. 文件配置

接下来就该对hadoop的文件进行修改，这是重头戏，修改好之后系统就能够顺利启动了。


注意：这里修改了几个默认端口，如果没有特殊需要，可以不做修改。


2.1 服务器

建议修改hostname，设置成比较容易记忆的，比如：hadoop01.xxx.com或者resourcemanager.xxx.com等，我这里偷懒，直接使用之前设置的。


这里使用了公司的4台服务器：


s107：yarn的ResourceManager

s108：hdfs的NameNode；yarn的NodeManager；历史服务器JobHistoryServer

s109：hdfs的SecondaryNameNode；yarn的NodeManager

s110：hdfs的DataNode；yarn的NodeManager

s111：hdfs的DataNode；yarn的NodeManager

因为Secondary NameNode做日志合并的时候需要占用大量CPU和内存，所以这里将Secondary NameNode与NameNode分布在两台机器上。


另外，这里的NameNode和ResourceManager都没有做HA，在生产环境部署也是不完整的，后期会在这里补充。


2.2 core-site.xml

这个没有什么特别注意的，配置一下NameNode的host和端口、文件队列中io缓冲区大小、临时文件的路径就行：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://s108:9000</value>
    <description>NameNode的URI</description>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
    <description>文件队列中io缓冲区大小</description>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/data/hadoop/data</value>
  </property>
</configuration>

2.3 hdfs-site.xml

这个文件是NameNode的相关配置：

<configuration>
  <property>
    <name>dfs.namenode.http-address</name>
    <value>s108:50070</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address</name>
    <value>s108:9000</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>s109:50090</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/hadoop/data/dfs/name</value>
    <description>NameNode在本地文件系统中存储命名空间和持久化日志的位置</description>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
    <description>HDFS文件块大小：256MB</description>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
    <description>NameNode服务中处理DataNode的RPC调用的线程数</description>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///data/hadoop/data/dfs/data</value>
    <description>DataNode存储数据的位置，如果是用逗号隔开的多个路径，每个路径都存一份</description>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
    <description>复制因子，数据复制数</description>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
</configuration>

2.4 mapred-site.xml

这个文件是配置MapReduce任务的配置：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>设置执行job的是Yarn框架</description>
  </property>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
    <description>map的最大可使用资源</description>
  </property>
  <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx1024M</value>
    <description>map的堆内存</description>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>3072</value>
    <description>reduce的最大可使用资源</description>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx2560M</value>
    <description>reduce堆内存</description>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>512</value>
    <description>数据排序时的内存大小</description>
  </property>
  <property>
    <name>mapreduce.task.io.sort.factor</name>
    <value>100</value>
    <description>数据排序时合并多个数据流</description>
  </property>
  <property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>50</value>
    <description>当map数量多于reduce数量时，增加reduce并行副本数量。</description>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>s108:10020</value>
    <description>JobHistoryServer的URI</description>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>s108:19888</value>
    <description>JobHistoryServer web服务的URI</description>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/data/hadoop/yarn/staging</value>
    <description>job数据存储位置</description>
  </property>
  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
    <description>job的历史数据的临时位置</description>
  </property>
  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
    <description>job的历史数据的归档位置</description>
  </property>
</configuration>

2.5 yarn-site.xml

这个是配置ResourceManager和NodeManager的：

<!--Configurations for ResourceManager and NodeManager-->
<configuration>
  <!-- Site specific YARN configuration properties -->
  <!--Configurations for ResourceManager and NodeManager-->
  <property>
    <name>yarn.acl.enable</name>
    <value>false</value>
    <description>使用使用ACL，默认是false</description>
  </property>
  <property>
    <name>yarn.admin.acl</name>
    <value>*</value>
    <description>集群中的管理员，用逗号隔开，默认是*，表示谁都可以</description>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>false</value>
    <description>是否开启日志聚类运算</description>
  </property>
  <!--Configurations for ResourceManager-->
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>s107:8032</value>
    <description>客户端提交任务的ResourceManager的URI/description>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>s107:8030</value>
    <description>向调度器协调资源的URI</description>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>s107:8031</value>
    <description>为NodeManager提供的URI</description>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>s107:8033</value>
    <description>给管理命令的URI</description>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>s107:8088</value>
    <description>ResourceManager的web服务URI</description>
  </property>
  <!--Configurations for NodeManager-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>排序服务</description>
  </property>
</configuration>

2.6 master文件

该文件需要自己创建，用于将NameNode与Secondary NameNode分别部署：

s109

2.7 salves文件

该文件用于指定DataNode的节点，默认是localhost，可以自己填写hostname或ip，每行一个：

s110
s111

至此，可以算是配置结束，还有一些调优的参数，可以根据实际情况进行调整。


3. 测试

先在每个服务器上执行hdfs namenode -format，然后在s107上执行start-yarn.sh启动YARN，在s108上执行start-dfs.sh启动HDFS，在s108上通过mr-jobhistory-daemon.sh start historyserver启动历史服务器。使用jps查看进程，可以得到文章开头所列出的进程列表。然后就使用举世闻名的wordcount进行测试。

mkdir input
echo "this is test" >> input/file
echo "this is a test" >> input/file
hadoop dfs -copyFromLocal input /input
hadoop jar ../default/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.3.jar wordcount /input /output

注意：


hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir三个参数指定的文件夹需要提前创建

可以在${PATH}中添加hadoop的sbin目录，将hadoop的脚本或程序添加到PATH中

需要保证hdfs的根目录中没有output文件夹，否则可以改个名字：output2…

因为使用使用Yarn管理任务，可以在浏览器访问http://s107:8088/查看执行状态

文章来源：网络 版权归原作者所有,如涉及知识产权问题，请权利人联系我们，我们将立即处理.
标签: java框架 系统架构 大数据 hadoop
专栏:   Java架构
九公里浅绿
九公里浅绿
文章 12 获得 0个赞 共 0个粉丝

推荐阅读 更多精彩内容

  • 狗狗难产生不出来怎么办
    　　狗狗难产对于没有接产经验的宠主来说，只有及时将狗狗送去宠物医院生产才是*保险的。如果发现狗狗难产超过2-4个小时，没有生出小狗，建议马上带狗狗去宠物医院观察。如果是间隔一晚上没有生出来小狗，*好带
    田井中律 田井中律 阅读 1604
  • 狗狗配了多久生
    　　狗狗配了2次怀孕按哪次算这个是说不准的，一般来说，母狗的预产期是63天，但只是一个平均数，产期大概是在第59到第65日发生，早过第58日出生的小狗会较难存活。主人可以在记录下狗狗每次配种的时间，然
    空空姬 空空姬 阅读 1671
  • 中华田园犬产前征兆有哪些 产前准备工作
    　　中华田园犬产前征兆有哪些?大家是不是也想了解中华田园犬什么时候快生产了呢?那么中华田园犬产前准备什么呢?下面为大家介绍。　　中华田园犬产前征兆有哪些?　　生产前1-2天中华田园犬阴部会有粘液流出，
    空空姬 空空姬 阅读 1304
  • 圣伯纳犬绝育好不好 圣伯纳犬绝育的优缺点
    　　圣伯纳犬绝育好不好?很多的宠物狗家长，在狗狗成年之后都会给它们做绝育手术，当然也有些家长会反对。那么下面来告诉大家圣伯纳犬绝育的优缺点。　　圣伯纳犬绝育好不好?　　关于圣伯纳犬是否应该绝育的问题，
    上杉夏香 上杉夏香 阅读 9205
  • 银狐犬什么时候绝育好 银狐犬绝育优缺点介绍
    　　银狐犬什么时候绝育好?　　传统的*适合绝育的年龄段是6个月到9个月大的时候。但是*佳的年龄对于不同个体是不一样的，但无论如何都不要等到年龄过大的时候再绝育。　　银狐犬绝育优缺点：　　1、如果在手术
    冰雪殇璃陌梦 冰雪殇璃陌梦 阅读 1262
  • 史毕诺犬产后怎么护理
    　　史毕诺犬产后护理方法：　　1.将史毕诺犬母犬的外阴部、尾部及乳房等部位用温水洗净、擦干。及时更换被污染的褥垫及注意保温。　　2.史毕诺犬产后会因保护仔犬而变得很凶猛，刚分娩过的母犬，要保持8—24
    一生所爱の赫萝 一生所爱の赫萝 阅读 1252
  • 美国水猎犬产后怎么照顾
    　　美国水猎犬产后护理方法：　　1.美国水猎犬妈妈分娩结束以后，应该给它一些葡萄糖水、牛奶和淡盐水。产后1-2天，应该供应充足的饮水和少量的肉食，3-4天应逐渐增加肉食的量。5-6天除了增加肉食外，每
    冰雪殇璃陌梦 冰雪殇璃陌梦 阅读 1260
  • 狗狗流产有什么症状
    　　狗狗流产的症状　　1、由布鲁氏菌引起的流产，多发生于妊娠第30～57天;黄体形成不全性流产，常见于妊娠第2-5周;而黄体早期退化性流产，多见于妊娠第6～7周。所有流产的情况，80%母犬多于妊娠第4
    血叶洛莉兰 血叶洛莉兰 阅读 1449
  • 博美怎样配狗
    　　博美怎样配狗?配狗时*好选择两只狗狗都熟悉的地方，因为陌生的环境会让狗狗紧张，而不愿配种;配种当天，先让博美放松心情，再放配偶出来，在交配时，两只狗狗会尾部相连，期间要多安慰鼓励母犬，全程大概会持
    上杉夏香 上杉夏香 阅读 1293
  • 柯基狗几个月发情
    　　柯基狗几个月发情?柯基狗母犬*次发情大约在出生后6-10个月;柯基狗成年后每年会发情两次，一般是在春季3-5月一次，秋季9-11月再次发情;发情的主要表现是柯基狗变得兴奋躁动，排尿频繁，阴门流出红
    西行寺え幽幽子 西行寺え幽幽子 阅读 2012