查看: 168|回复: 5

spark平台跟pyspark有什么区别

[复制链接]
论坛徽章:
26
R研习者中级
日期:2014-09-19 14:21:40matlab徽章
日期:2015-12-10 16:02:27机器学习徽章
日期:2015-12-15 10:38:29投资理财徽章
日期:2015-12-24 15:51:21R研习者高级
日期:2015-12-30 11:50:24Hadoop研习者初级
日期:2016-02-01 16:30:07算法导论徽章
日期:2016-03-16 10:46:20mysql徽章
日期:2016-05-12 12:12:09spark徽章
日期:2016-05-12 12:21:31spark徽章
日期:2016-09-08 10:42:04机器学习徽章
日期:2016-12-08 15:50:25搜索引擎徽章
日期:2017-10-20 16:35:52
发表于 2018-6-1 15:09 | 显示全部楼层 |阅读模式

Spark

spark平台跟pyspark有什么区别
回复

使用道具 举报

论坛徽章:
1
矩阵计算徽章
日期:2018-07-19 15:02:10
发表于 2018-6-2 20:27 | 显示全部楼层
没有本质上的区别, 都是同一个东西, 只是pyspark是spark用python写的api接口, 指定master同样可以调用集群资源
回复 支持 反对

使用道具 举报

新浪微博达人勋 bxy5511  未实名认证
论坛徽章:
25
R研习者中级
日期:2014-09-19 14:18:44数据展示徽章
日期:2016-06-23 11:26:00Java徽章
日期:2016-08-18 11:33:28python徽章
日期:2016-11-03 17:46:49python徽章
日期:2017-12-07 16:06:27python徽章
日期:2018-01-11 17:40:18机器学习徽章
日期:2018-02-01 17:45:33机器学习徽章
日期:2018-03-29 16:05:00pyspark徽章
日期:2018-04-08 16:26:32Tensorflow徽章
日期:2018-04-20 15:27:10Hive徽章
日期:2018-05-17 15:59:03数据挖掘徽章
日期:2016-04-14 10:49:53
发表于 2018-6-3 22:34 | 显示全部楼层
一个东西,pyspark只是说接口支持python,具体跑还是在spark上跑。
回复 支持 反对

使用道具 举报

论坛徽章:
17
投资理财徽章
日期:2017-08-03 18:14:36知识图谱徽章
日期:2018-06-15 13:47:21python徽章
日期:2018-05-24 16:09:52Tensorflow徽章
日期:2018-03-01 16:44:34Java徽章
日期:2018-01-04 17:15:14Julia徽章
日期:2017-12-25 17:39:24Git徽章
日期:2017-12-25 17:35:54Hadoop研习者初级
日期:2017-11-09 17:07:34Oracle研习者初级
日期:2017-10-26 15:09:26R研习者中级
日期:2017-10-26 15:08:38perl徽章
日期:2017-10-20 16:35:06R研习者中级
日期:2017-09-28 17:18:49
发表于 2018-6-5 11:00 | 显示全部楼层
spark 的原生语言是scala,也支持python,r,pyspark就是spark提供的python接口
回复 支持 反对

使用道具 举报

论坛徽章:
1
spark徽章
日期:2018-06-14 15:36:26
发表于 2018-6-5 11:23 | 显示全部楼层
pyspark属于spark,python脚本最终通过spark编译转换器,转换成class文件,在JVM上执行,并且scala,java开发是较好的,不会造成表达损失
回复 支持 反对

使用道具 举报

论坛徽章:
35
R研习者中级
日期:2016-10-20 16:44:19R研习者中级
日期:2017-10-26 15:08:38matlab徽章
日期:2017-11-30 15:58:00Kaggle徽章
日期:2017-12-25 17:28:27Kaggle徽章
日期:2017-12-25 17:28:34NLP徽章
日期:2017-12-25 17:31:02Julia徽章
日期:2017-12-25 17:39:24时间序列分析徽章
日期:2018-02-08 16:18:26金融徽章
日期:2018-03-01 16:43:15Tensorflow徽章
日期:2018-03-01 16:44:34计算徽章
日期:2018-03-19 15:04:31python徽章
日期:2018-03-23 10:45:53
发表于 2018-6-9 20:14 | 显示全部楼层
pyspark是Spark官方提供的API接口,同时pyspark也是Spark中的一个程序。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-7-22 20:58 , Processed in 0.174219 second(s), 52 queries .