查看: 148|回复: 0

apache hadoop 2.7.2 yarn node label测试结果

[复制链接]
论坛徽章:
17
python徽章
日期:2013-05-09 13:21:16python徽章
日期:2018-09-29 11:04:10Julia徽章
日期:2017-12-25 17:39:25spark徽章
日期:2017-11-23 16:58:48spark徽章
日期:2016-10-27 10:48:50Openstack徽章
日期:2016-07-21 11:37:03搜索引擎徽章
日期:2016-06-23 11:32:39Hadoop研习者初级
日期:2016-02-01 16:30:08Docker徽章
日期:2016-01-21 11:55:16STATA徽章
日期:2015-10-29 15:15:02perl徽章
日期:2015-09-25 17:35:50数据陷阱解读徽章
日期:2015-09-25 12:35:19
发表于 2019-4-20 06:17 | 显示全部楼层 |阅读模式

测试 Hadoop Spark

原帖地址:https://blog.csdn.net/zhoudetiankong/article/details/74941238
版本Hadoop2.7.2
(1)capacity schedule只支持fifo调度策略,cdh或者hdp版本会有支持fair的调度策略,但是社区版目前还不支持。

(2)yarn node label 只支持capacity schedule,不支持fair schedule

(3)yarn node label社区版功能很不完善,具体表现
(3.1)该版本创建分区无法指定是可共享的,即无法指定yarn rmadmin -addToClusterNodeLabels “label_1(exclusive=true)”,会报错

(3.2)该版本中指定队列提交的默认分区不生效,比如队列queue设置默认提交到label1分区,在该版本中不生效,还是只能提交到default分区。官方文档是提到可以通过指定队列的默认提交分区来实现,但是实际测试中并不可行。

(3.3)一个nodemanger赋值一个分区标签后,无法恢复到default分区,但是可以修改为其他分区标签。

(3.4)暂时不支持MR任务指定分区提交任务。hadoop2.8后支持,详见MAPREDUCE-6304,也可以自己打patch,验证测试通过。支持的方式是可以通过指定参数mapreduce.job.node-label-expression等参数来实现。

(3.5)当前版本bug还是比较多的,建议使用的话升级到hadoop2.8.0。会有很大的提升。hdp版本的hadoop2.7.3也可以使用。

另外,spark任务可以通过spark-submit方式指定参数spark.yarn.am.nodeLabelExpression和spark.yarn.executor.nodeLabelExpression来实现,使任务提交到特定的分区。hadoop distribute shell也可以。另外还可以通过yarn代码的方式提交。
---------------------
作者:刘光华_zhou
来源:CSDN
原文:https://blog.csdn.net/zhoudetiankong/article/details/74941238
版权声明:本文为博主原创文章,转载请附上博文链接!



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-6-18 01:12 , Processed in 0.141088 second(s), 30 queries .

关闭

扫一扫加入
本版微信群