查看: 293|回复: 1

sparksql的优化

[复制链接]
论坛徽章:
21
linux徽章
日期:2015-05-21 14:16:50R研习者中级
日期:2017-10-26 15:08:38Oracle研习者初级
日期:2017-10-26 15:09:26matlab徽章
日期:2018-05-24 16:09:45知识图谱徽章
日期:2018-06-15 13:47:35矩阵计算徽章
日期:2018-07-19 15:02:10python徽章
日期:2018-08-16 14:56:51python徽章
日期:2018-08-16 14:57:30spark徽章
日期:2019-03-28 14:58:37R研习者中级
日期:2017-09-28 17:18:49spark徽章
日期:2016-12-08 15:22:36R研习者中级
日期:2016-10-20 16:35:42
发表于 2019-1-6 16:17 | 显示全部楼层 |阅读模式

SQL

在使用sparkSQL处理数据,特别是数据量大的时候速度非常慢,是因为发生了溢写吗。而且sql语句有啥优化要点吗?诚心请教
回复

使用道具 举报

论坛徽章:
2
spark徽章
日期:2019-03-28 14:58:37区块链徽章
日期:2019-09-12 14:43:17
发表于 2019-1-9 11:51 | 显示全部楼层
首先,增加spark的计算节点。需要优化 通过spark-shell优化执行参数,比如并行度,分区数,excuteor的cpu分配,excutor的内存分配等诸多参数配置;
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-10-20 17:43 , Processed in 0.106199 second(s), 31 queries .

关闭

扫一扫加入
本版微信群