查看: 199|回复: 3

Spark SQL 在线求助,急急急

[复制链接]
论坛徽章:
21
linux徽章
日期:2015-05-21 14:16:50R研习者中级
日期:2017-10-26 15:08:38Oracle研习者初级
日期:2017-10-26 15:09:26matlab徽章
日期:2018-05-24 16:09:45知识图谱徽章
日期:2018-06-15 13:47:35矩阵计算徽章
日期:2018-07-19 15:02:10python徽章
日期:2018-08-16 14:56:51python徽章
日期:2018-08-16 14:57:30spark徽章
日期:2019-03-28 14:58:37R研习者中级
日期:2017-09-28 17:18:49spark徽章
日期:2016-12-08 15:22:36R研习者中级
日期:2016-10-20 16:35:42
发表于 2019-3-16 16:31 | 显示全部楼层 |阅读模式

SQL Spark 集群


如图所示,想把dataframe保存为csv到本地文件系统。但是集群上运行,只会在master那台机器的给定目录下生成_SUCESS文件,而真正的csv文件好像会随机生成在集群的其他机器上面。有没有办法指定这个文件的生成位置?



回复

使用道具 举报

论坛徽章:
1
spark徽章
日期:2019-05-23 14:16:12
发表于 2019-3-16 18:59 | 显示全部楼层
这个一般不都是保存在hdfs上吗?
回复 支持 反对

使用道具 举报

论坛徽章:
16
推荐系统徽章
日期:2016-12-29 16:54:04spark徽章
日期:2019-05-30 17:46:09矩阵计算徽章
日期:2018-07-19 15:02:10机器学习徽章
日期:2018-03-29 16:05:00计算徽章
日期:2018-03-19 15:04:31Julia徽章
日期:2017-12-25 17:39:24安全徽章
日期:2017-12-25 17:38:26抽样调查徽章
日期:2017-11-03 16:07:44Hadoop研习者初级
日期:2017-09-04 17:12:36Oracle研习者初级
日期:2017-08-10 15:28:16python徽章
日期:2017-06-22 17:17:37数据陷阱解读徽章
日期:2017-05-18 16:15:08
发表于 2019-4-4 08:47 | 显示全部楼层
hdfs加路径,存储在hdfs上,都能被访问了
回复 支持 反对

使用道具 举报

论坛徽章:
0
发表于 2019-6-17 21:17 | 显示全部楼层
可以指定hdfs路径或者s3路径啊
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-7-21 10:06 , Processed in 0.129917 second(s), 40 queries .

关闭

扫一扫加入
本版微信群