查看: 119|回复: 5

hadoop集群管理

[复制链接]
论坛徽章:
10
Oracle研习者初级
日期:2014-09-19 14:07:42redis徽章
日期:2018-06-21 17:16:11mysql徽章
日期:2017-12-22 16:01:10python徽章
日期:2017-08-17 17:09:36mysql徽章
日期:2017-05-25 16:50:35Mycat徽章
日期:2017-02-23 15:56:04大型分布式徽章
日期:2017-02-16 16:49:55mysql徽章
日期:2016-07-14 11:09:49Oracle研习者中级
日期:2016-06-02 10:27:16python徽章
日期:2018-12-20 15:14:57
发表于 2019-6-28 15:21 | 显示全部楼层 |阅读模式

管理 Hadoop 集群

HDFS权限管理
HDFS配额管理
HDFS日常维护
YARN日常维护
回复

使用道具 举报

论坛徽章:
10
Oracle研习者初级
日期:2014-09-19 14:07:42redis徽章
日期:2018-06-21 17:16:11mysql徽章
日期:2017-12-22 16:01:10python徽章
日期:2017-08-17 17:09:36mysql徽章
日期:2017-05-25 16:50:35Mycat徽章
日期:2017-02-23 15:56:04大型分布式徽章
日期:2017-02-16 16:49:55mysql徽章
日期:2016-07-14 11:09:49Oracle研习者中级
日期:2016-06-02 10:27:16python徽章
日期:2018-12-20 15:14:57
 楼主| 发表于 2019-6-28 15:21 | 显示全部楼层
HDFS权限管理
POSIX语义:
        文件: r->读;w->写;x->执行
        目录: r->list; w->创建或删除;x->查看子目录; T/t-> sticky bit,只允许Owner执行删除、移动等操作
        权限继承方式:创建文件或目录,owner是当前用户,group是上级目录的group
        超级用户/超级组:hdfs:supergroup
操作:
hadoop fs -chown <file/dir>
hadoop fs -chmod <file/dir>
hadoop fs -chgrp <file/dir>
回复 支持 反对

使用道具 举报

论坛徽章:
10
Oracle研习者初级
日期:2014-09-19 14:07:42redis徽章
日期:2018-06-21 17:16:11mysql徽章
日期:2017-12-22 16:01:10python徽章
日期:2017-08-17 17:09:36mysql徽章
日期:2017-05-25 16:50:35Mycat徽章
日期:2017-02-23 15:56:04大型分布式徽章
日期:2017-02-16 16:49:55mysql徽章
日期:2016-07-14 11:09:49Oracle研习者中级
日期:2016-06-02 10:27:16python徽章
日期:2018-12-20 15:14:57
 楼主| 发表于 2019-6-28 15:21 | 显示全部楼层
HDFS配额管理
在多用户使用的生产集群上,配额管理非常重要
避免某个某些账号滥用HDFS资源,造成整个集群不可用
配额针对的是目录,可以对某些账号限定某些目录的权限,然后对目录做配额管理
配额有两种:
        Name Quotas:设置某一个目录下文件总数
        Space Quotas:设置某一个目录下可使用空间大小
如何查看quota?
hadoop fs -count -q <dir>
如何设置quota?
hadoop dfsadmin -setQuota
hadoop dfsadmin -clrQuota
hadoop dfsadmin -setSpaceQuota
hadoop dfsadmin -clrSpaceQuota
回复 支持 反对

使用道具 举报

论坛徽章:
10
Oracle研习者初级
日期:2014-09-19 14:07:42redis徽章
日期:2018-06-21 17:16:11mysql徽章
日期:2017-12-22 16:01:10python徽章
日期:2017-08-17 17:09:36mysql徽章
日期:2017-05-25 16:50:35Mycat徽章
日期:2017-02-23 15:56:04大型分布式徽章
日期:2017-02-16 16:49:55mysql徽章
日期:2016-07-14 11:09:49Oracle研习者中级
日期:2016-06-02 10:27:16python徽章
日期:2018-12-20 15:14:57
 楼主| 发表于 2019-6-28 15:21 | 显示全部楼层
HDFS日常维护
扩容与故障节点处理
HDFS扩容只需要增加DN节点即可线性扩展
故障节点应该先decommission掉,避免数据丢失,然后再下线
加入dfs.hosts.exclude
FSCK
检查HDFS文件系统完整性
hdfs fsck
Balancer
新旧节点磁盘分布不均衡
可以配置crontab定期做
回复 支持 反对

使用道具 举报

论坛徽章:
10
Oracle研习者初级
日期:2014-09-19 14:07:42redis徽章
日期:2018-06-21 17:16:11mysql徽章
日期:2017-12-22 16:01:10python徽章
日期:2017-08-17 17:09:36mysql徽章
日期:2017-05-25 16:50:35Mycat徽章
日期:2017-02-23 15:56:04大型分布式徽章
日期:2017-02-16 16:49:55mysql徽章
日期:2016-07-14 11:09:49Oracle研习者中级
日期:2016-06-02 10:27:16python徽章
日期:2018-12-20 15:14:57
 楼主| 发表于 2019-6-28 15:21 | 显示全部楼层
YARN scheduler配置管理
YARN的scheduler:
FairScheduler
CapacityScheduler
配置文件变更不需要重启RM,热加载
也可以执行yarn rmadmin -refreshQueue强制加载生效

YARN日常维护
扩容与故障处理
与HDFS一样,扩容只需要增加NM节点即可线性扩展
故障节点要先decommission,然后再下线
回复 支持 反对

使用道具 举报

论坛徽章:
10
Oracle研习者初级
日期:2014-09-19 14:07:42redis徽章
日期:2018-06-21 17:16:11mysql徽章
日期:2017-12-22 16:01:10python徽章
日期:2017-08-17 17:09:36mysql徽章
日期:2017-05-25 16:50:35Mycat徽章
日期:2017-02-23 15:56:04大型分布式徽章
日期:2017-02-16 16:49:55mysql徽章
日期:2016-07-14 11:09:49Oracle研习者中级
日期:2016-06-02 10:27:16python徽章
日期:2018-12-20 15:14:57
 楼主| 发表于 2019-6-28 15:22 | 显示全部楼层
集群升级
Hadoop集群支持RollingUpgrade
不停服,升级集群
最重要的数据在NameNode,确保NameNode数据备份
兼容的小版本升级,其实可以直接upgrade rpm包
大版本升级,请严格遵守升级文档(参考官方RollingUpgrade文档)
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-7-22 18:27 , Processed in 0.119552 second(s), 37 queries .

关闭

扫一扫加入
本版微信群