查看: 665|回复: 5
打印 上一主题 下一主题

spark平台跟pyspark有什么区别

[复制链接]
论坛徽章:
27
R研习者中级
日期:2014-09-19 14:21:40机器学习徽章
日期:2015-12-15 10:38:29投资理财徽章
日期:2015-12-24 15:51:21R研习者高级
日期:2015-12-30 11:50:24Hadoop研习者初级
日期:2016-02-01 16:30:07算法导论徽章
日期:2016-03-16 10:46:20mysql徽章
日期:2016-05-12 12:12:09spark徽章
日期:2016-05-12 12:21:31spark徽章
日期:2016-09-08 10:42:04机器学习徽章
日期:2016-12-08 15:50:25搜索引擎徽章
日期:2017-10-20 16:35:52Kafka徽章
日期:2017-11-03 16:10:43
跳转到指定楼层
1#
发表于 2018-6-1 15:09 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

Spark

spark平台跟pyspark有什么区别
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友 微信微信
收藏收藏 分享分享 支持支持 反对反对 分享到新浪微博
回复

使用道具 举报

论坛徽章:
4
矩阵计算徽章
日期:2018-07-19 15:02:10统计徽章
日期:2018-08-16 14:58:18机器学习徽章
日期:2018-08-24 10:51:47spark徽章
日期:2018-08-24 10:52:51
2#
发表于 2018-6-2 20:27 | 只看该作者
没有本质上的区别, 都是同一个东西, 只是pyspark是spark用python写的api接口, 指定master同样可以调用集群资源
回复 支持 反对

使用道具 举报

新浪微博达人勋 bxy5511  未实名认证
论坛徽章:
27
R研习者中级
日期:2014-09-19 14:18:44Java徽章
日期:2016-08-18 11:33:28python徽章
日期:2016-11-03 17:46:49python徽章
日期:2017-12-07 16:06:27python徽章
日期:2018-01-11 17:40:18机器学习徽章
日期:2018-02-01 17:45:33机器学习徽章
日期:2018-03-29 16:05:00pyspark徽章
日期:2018-04-08 16:26:32Tensorflow徽章
日期:2018-04-20 15:27:10Hive徽章
日期:2018-05-17 15:59:03spark徽章
日期:2018-06-14 15:36:26spark徽章
日期:2018-08-24 10:52:51
3#
发表于 2018-6-3 22:34 | 只看该作者
一个东西,pyspark只是说接口支持python,具体跑还是在spark上跑。
回复 支持 反对

使用道具 举报

论坛徽章:
19
投资理财徽章
日期:2017-08-03 18:14:36Keras徽章
日期:2018-07-26 15:36:38人工智能徽章
日期:2018-07-19 15:00:17知识图谱徽章
日期:2018-06-15 13:47:21python徽章
日期:2018-05-24 16:09:52Tensorflow徽章
日期:2018-03-01 16:44:34Java徽章
日期:2018-01-04 17:15:14Julia徽章
日期:2017-12-25 17:39:24Git徽章
日期:2017-12-25 17:35:54Hadoop研习者初级
日期:2017-11-09 17:07:34Oracle研习者初级
日期:2017-10-26 15:09:26R研习者中级
日期:2017-10-26 15:08:38
4#
发表于 2018-6-5 11:00 | 只看该作者
spark 的原生语言是scala,也支持python,r,pyspark就是spark提供的python接口
回复 支持 反对

使用道具 举报

论坛徽章:
2
spark徽章
日期:2018-06-14 15:36:26spark徽章
日期:2018-08-24 10:52:51
5#
发表于 2018-6-5 11:23 | 只看该作者
pyspark属于spark,python脚本最终通过spark编译转换器,转换成class文件,在JVM上执行,并且scala,java开发是较好的,不会造成表达损失
回复 支持 反对

使用道具 举报

论坛徽章:
37
R研习者中级
日期:2016-10-20 16:44:19matlab徽章
日期:2017-11-30 15:58:00Kaggle徽章
日期:2017-12-25 17:28:27Kaggle徽章
日期:2017-12-25 17:28:34NLP徽章
日期:2017-12-25 17:31:02Julia徽章
日期:2017-12-25 17:39:24时间序列分析徽章
日期:2018-02-08 16:18:26金融徽章
日期:2018-03-01 16:43:15Tensorflow徽章
日期:2018-03-01 16:44:34计算徽章
日期:2018-03-19 15:04:31python徽章
日期:2018-03-23 10:45:53Hadoop研习者中级
日期:2018-04-02 15:22:57
6#
发表于 2018-6-9 20:14 | 只看该作者
pyspark是Spark官方提供的API接口,同时pyspark也是Spark中的一个程序。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-9-21 15:44 , Processed in 0.122063 second(s), 50 queries .