查看: 2407|回复: 9

win7远程连接Hadoop集群,完全开发MapReduce代码,出现PriviledgedActionException

[复制链接]
论坛徽章:
10
Hadoop研习者初级
日期:2012-09-28 23:48:40搜索引擎徽章
日期:2016-06-23 11:32:40spark徽章
日期:2016-05-12 12:21:31大型分布式徽章
日期:2016-03-24 13:53:22R研习者中级
日期:2016-02-24 14:57:39mahout徽章
日期:2014-11-06 14:57:37Hadoop研习者中级
日期:2014-09-19 14:12:58R研习者中级
日期:2013-06-13 19:02:32R研习者中级
日期:2013-01-11 14:59:01数据展示徽章
日期:2017-02-16 16:59:15
发表于 2013-12-22 22:39 | 显示全部楼层 |阅读模式
求助:我在用win7的eclipse中远程连接Hadoop集群进行Hadoop开发,在编译第三周的作业时,出现如下错误!!网上的方法方法试了很多,还是不行,大家有好的建议不?

13/12/22 22:34:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
13/12/22 22:34:53 ERROR security.UserGroupInformation: PriviledgedActionException as:liuchubo cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-liuchubo\mapred\staging\liuchubo258136587\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-liuchubo\mapred\staging\liuchubo258136587\.staging to 0700
        at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:691)
        at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:664)
        at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:514)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:349)
        at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:193)
        at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:126)
        at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:942)
        at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:936)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Unknown Source)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
        at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:936)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:550)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:580)
        at cn.dataguru.hadoop.BaseStationDataPreprocess.run(BaseStationDataPreprocess.java:233)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at cn.dataguru.hadoop.BaseStationDataPreprocess.main(BaseStationDataPreprocess.java:255)


回复

使用道具 举报

新浪微博达人勋 yjc0407  未实名认证
论坛徽章:
20
Hadoop研习者初级
日期:2012-09-28 23:48:40数据陷阱解读徽章
日期:2015-09-25 12:35:19perl徽章
日期:2015-09-25 17:35:50STATA徽章
日期:2015-10-29 15:15:02算法导论徽章
日期:2016-03-16 10:46:20投资理财徽章
日期:2016-05-26 12:12:05redis徽章
日期:2016-06-30 15:54:52Hadoop研习者初级
日期:2016-07-14 11:07:35Kafka徽章
日期:2017-07-11 14:21:47LATEX徽章
日期:2015-05-07 11:34:18scala徽章
日期:2014-12-18 15:10:43R研习者初级
日期:2013-01-11 14:32:51
发表于 2013-12-23 00:32 | 显示全部楼层
应该是权限问题 吧, 把文件权限 设置为 777 试试
回复 支持 反对

使用道具 举报

论坛徽章:
10
Hadoop研习者初级
日期:2012-09-28 23:48:40搜索引擎徽章
日期:2016-06-23 11:32:40spark徽章
日期:2016-05-12 12:21:31大型分布式徽章
日期:2016-03-24 13:53:22R研习者中级
日期:2016-02-24 14:57:39mahout徽章
日期:2014-11-06 14:57:37Hadoop研习者中级
日期:2014-09-19 14:12:58R研习者中级
日期:2013-06-13 19:02:32R研习者中级
日期:2013-01-11 14:59:01数据展示徽章
日期:2017-02-16 16:59:15
 楼主| 发表于 2013-12-23 10:58 | 显示全部楼层
yjc0407 发表于 2013-12-23 00:32
应该是权限问题 吧, 把文件权限 设置为 777 试试

是哪个文件的权限改为777呢
回复 支持 反对

使用道具 举报

论坛徽章:
19
Hadoop研习者初级
日期:2013-08-25 13:46:57R研习者初级
日期:2016-06-23 11:34:30数据陷阱解读徽章
日期:2015-12-10 09:58:39抽样调查徽章
日期:2015-06-09 14:18:25Excel徽章
日期:2015-05-14 10:37:05LATEX徽章
日期:2015-05-07 11:34:18linux徽章
日期:2014-11-06 15:15:45scala徽章
日期:2014-11-06 14:56:26比特币徽章
日期:2014-11-06 14:53:58Java徽章
日期:2014-11-06 14:53:00树莓派
日期:2014-10-08 17:38:39python徽章
日期:2014-09-23 14:45:41
发表于 2013-12-23 15:35 | 显示全部楼层
按照 第二周老师的视频和blog,这个是
这个错误是win中开发特有的错误,文件权限问题,在Linux下可以正常运行。
解决方法是,修改/hadoop-1.0.3/src/core/org/apache/hadoop/fs/FileUtil.java文件
688-692行注释,然后重新编译源代码,重新打一个hadoop.jar的包。
具体请参考视频或者blog http://blog.fens.me/hadoop-maven-eclipse/

回复 支持 反对

使用道具 举报

论坛徽章:
1
Hadoop研习者中级
日期:2014-09-19 14:12:58
发表于 2013-12-24 13:25 | 显示全部楼层
把源码中设置权限的代码注释掉就行。
回复 支持 反对

使用道具 举报

论坛徽章:
10
Hadoop研习者初级
日期:2012-09-28 23:48:40搜索引擎徽章
日期:2016-06-23 11:32:40spark徽章
日期:2016-05-12 12:21:31大型分布式徽章
日期:2016-03-24 13:53:22R研习者中级
日期:2016-02-24 14:57:39mahout徽章
日期:2014-11-06 14:57:37Hadoop研习者中级
日期:2014-09-19 14:12:58R研习者中级
日期:2013-06-13 19:02:32R研习者中级
日期:2013-01-11 14:59:01数据展示徽章
日期:2017-02-16 16:59:15
 楼主| 发表于 2014-1-9 14:52 | 显示全部楼层
ron4liu 发表于 2013-12-23 15:35
按照 第二周老师的视频和blog,这个是
这个错误是win中开发特有的错误,文件权限问题,在Linux下可以正常运 ...

嗯,好的,我试试,谢谢了…………
回复 支持 反对

使用道具 举报

论坛徽章:
24
Oracle研习者初级
日期:2014-09-19 14:07:42架构徽章
日期:2015-04-29 17:09:41LATEX徽章
日期:2015-05-07 11:34:18抽样调查徽章
日期:2015-06-09 14:18:25数据陷阱解读徽章
日期:2015-08-13 15:21:45R研习者中级
日期:2015-08-20 14:51:11大型分布式徽章
日期:2015-09-25 17:35:14perl徽章
日期:2015-09-25 17:35:49STATA徽章
日期:2015-10-29 15:15:02MongoDB徽章
日期:2015-12-10 15:59:54Hadoop研习者初级
日期:2016-03-03 15:28:11rapidminer徽章
日期:2015-04-10 15:05:24
发表于 2014-2-8 17:34 | 显示全部楼层
给Configuration对象加个mapred.job.tracker设置就行了,value指向你的jobtracker
例如:
Configuration conf = new Configuration();
conf.set("mapred.job.tracker", "hadoop.master:9001");
回复 支持 反对

使用道具 举报

论坛徽章:
4
比特币徽章
日期:2014-12-24 15:33:21机器学习徽章
日期:2015-02-06 16:55:34R研习者中级
日期:2015-03-02 15:12:54数据挖掘徽章
日期:2015-12-17 11:55:20
发表于 2015-2-1 23:22 | 显示全部楼层
我用xp连远程linux伪分布hadoop总是不成功,可以请教下你是怎么连接的吗
回复 支持 反对

使用道具 举报

论坛徽章:
19
R研习者初级
日期:2012-07-18 17:56:36OpenCV徽章
日期:2017-09-28 17:22:19caffe徽章
日期:2017-09-28 17:21:42数据展示徽章
日期:2017-06-29 16:18:18机器学习徽章
日期:2017-03-30 17:23:20数据治理徽章
日期:2015-10-14 11:39:54数据陷阱解读徽章
日期:2015-08-13 15:21:46Excel徽章
日期:2015-05-14 10:37:05统计徽章
日期:2014-11-06 14:50:39R研习者中级
日期:2014-09-23 14:47:09R研习者中级
日期:2014-09-19 14:21:06R研习者中级
日期:2014-09-19 14:20:23
发表于 2017-10-23 01:12 | 显示全部楼层
改用linux就没这问题了。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-7-23 00:03 , Processed in 0.207700 second(s), 60 queries .