查看: 1261|回复: 5

spark平台跟pyspark有什么区别

[复制链接]
论坛徽章:
29
R研习者中级
日期:2014-09-19 14:21:40投资理财徽章
日期:2015-12-24 15:51:21R研习者高级
日期:2015-12-30 11:50:24Hadoop研习者初级
日期:2016-02-01 16:30:07算法导论徽章
日期:2016-03-16 10:46:20mysql徽章
日期:2016-05-12 12:12:09spark徽章
日期:2016-05-12 12:21:31spark徽章
日期:2016-09-08 10:42:04机器学习徽章
日期:2016-12-08 15:50:25搜索引擎徽章
日期:2017-10-20 16:35:52Kafka徽章
日期:2017-11-03 16:10:43spark徽章
日期:2018-08-24 10:52:51
发表于 2018-6-1 15:09 | 显示全部楼层 |阅读模式

Spark

spark平台跟pyspark有什么区别
回复

使用道具 举报

论坛徽章:
4
矩阵计算徽章
日期:2018-07-19 15:02:10统计徽章
日期:2018-08-16 14:58:18机器学习徽章
日期:2018-08-24 10:51:47spark徽章
日期:2018-08-24 10:52:51
发表于 2018-6-2 20:27 | 显示全部楼层
没有本质上的区别, 都是同一个东西, 只是pyspark是spark用python写的api接口, 指定master同样可以调用集群资源
回复 支持 反对

使用道具 举报

新浪微博达人勋 bxy5511  未实名认证
论坛徽章:
28
R研习者中级
日期:2014-09-19 14:18:44Java徽章
日期:2016-08-18 11:33:28python徽章
日期:2016-11-03 17:46:49python徽章
日期:2017-12-07 16:06:27python徽章
日期:2018-01-11 17:40:18机器学习徽章
日期:2018-02-01 17:45:33机器学习徽章
日期:2018-03-29 16:05:00pyspark徽章
日期:2018-04-08 16:26:32Tensorflow徽章
日期:2018-04-20 15:27:10Hive徽章
日期:2018-05-17 15:59:03spark徽章
日期:2018-06-14 15:36:26spark徽章
日期:2018-08-24 10:52:51
发表于 2018-6-3 22:34 | 显示全部楼层
一个东西,pyspark只是说接口支持python,具体跑还是在spark上跑。
回复 支持 反对

使用道具 举报

论坛徽章:
20
投资理财徽章
日期:2017-08-03 18:14:36Julia徽章
日期:2017-12-25 17:39:24Java徽章
日期:2018-01-04 17:15:14Tensorflow徽章
日期:2018-03-01 16:44:34python徽章
日期:2018-05-24 16:09:52知识图谱徽章
日期:2018-06-15 13:47:21人工智能徽章
日期:2018-07-19 15:00:17Keras徽章
日期:2018-07-26 15:36:38OpenAI课程徽章
日期:2018-08-16 15:34:25Git徽章
日期:2017-12-25 17:35:54Hadoop研习者初级
日期:2017-11-09 17:07:34统计徽章
日期:2017-08-17 17:13:12
发表于 2018-6-5 11:00 | 显示全部楼层
spark 的原生语言是scala,也支持python,r,pyspark就是spark提供的python接口
回复 支持 反对

使用道具 举报

论坛徽章:
2
spark徽章
日期:2018-06-14 15:36:26spark徽章
日期:2018-08-24 10:52:51
发表于 2018-6-5 11:23 | 显示全部楼层
pyspark属于spark,python脚本最终通过spark编译转换器,转换成class文件,在JVM上执行,并且scala,java开发是较好的,不会造成表达损失
回复 支持 反对

使用道具 举报

论坛徽章:
40
R研习者中级
日期:2016-10-20 16:44:19计算徽章
日期:2018-03-19 15:04:31Tensorflow徽章
日期:2018-03-01 16:44:34金融徽章
日期:2018-03-01 16:43:15时间序列分析徽章
日期:2018-02-08 16:18:26Julia徽章
日期:2017-12-25 17:39:24NLP徽章
日期:2017-12-25 17:31:02Kaggle徽章
日期:2017-12-25 17:28:34Kaggle徽章
日期:2017-12-25 17:28:27python徽章
日期:2018-03-23 10:45:53Hadoop研习者中级
日期:2018-04-02 15:22:57Tensorflow徽章
日期:2018-10-18 15:27:37
发表于 2018-6-9 20:14 | 显示全部楼层
pyspark是Spark官方提供的API接口,同时pyspark也是Spark中的一个程序。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-11-13 04:11 , Processed in 0.149791 second(s), 51 queries .