查看: 305|回复: 7

Spark Mlib的理解

[复制链接]
论坛徽章:
35
JVM徽章
日期:2015-11-19 14:01:17mysql徽章
日期:2016-04-22 17:30:19数据治理徽章
日期:2016-04-22 17:30:46架构徽章
日期:2016-05-19 11:26:18spark徽章
日期:2016-05-26 12:36:59Mycat徽章
日期:2016-06-08 14:19:31kettle徽章
日期:2016-06-30 14:47:30redis徽章
日期:2016-06-30 15:54:52统计徽章
日期:2016-07-14 11:12:19算法导论徽章
日期:2016-07-14 11:14:32Oracle研习者中级
日期:2016-07-21 11:38:22架构徽章
日期:2016-08-18 11:48:34
发表于 2018-1-29 05:04 | 显示全部楼层 |阅读模式

Python 基础 大数据 机器学习 Spark

之前都是用Python的sklearm进行机器学习,但是在需要实时预测的场景下,python程序就有些力不从心,不能满足业务的需求。但是Spark的Mlib结合大数据系统就很合适这样的场景,需要通过这次学习,掌握spark Mlib的具体基础知识和应用技巧。
回复

使用道具 举报

论坛徽章:
35
JVM徽章
日期:2015-11-19 14:01:17mysql徽章
日期:2016-04-22 17:30:19数据治理徽章
日期:2016-04-22 17:30:46架构徽章
日期:2016-05-19 11:26:18spark徽章
日期:2016-05-26 12:36:59Mycat徽章
日期:2016-06-08 14:19:31kettle徽章
日期:2016-06-30 14:47:30redis徽章
日期:2016-06-30 15:54:52统计徽章
日期:2016-07-14 11:12:19算法导论徽章
日期:2016-07-14 11:14:32Oracle研习者中级
日期:2016-07-21 11:38:22架构徽章
日期:2016-08-18 11:48:34
 楼主| 发表于 2018-1-29 05:05 | 显示全部楼层
追加一点,同时还需要了解spark的mlib和python的sklearn之间的异同
回复 支持 反对

使用道具 举报

论坛徽章:
35
JVM徽章
日期:2015-11-19 14:01:17mysql徽章
日期:2016-04-22 17:30:19数据治理徽章
日期:2016-04-22 17:30:46架构徽章
日期:2016-05-19 11:26:18spark徽章
日期:2016-05-26 12:36:59Mycat徽章
日期:2016-06-08 14:19:31kettle徽章
日期:2016-06-30 14:47:30redis徽章
日期:2016-06-30 15:54:52统计徽章
日期:2016-07-14 11:12:19算法导论徽章
日期:2016-07-14 11:14:32Oracle研习者中级
日期:2016-07-21 11:38:22架构徽章
日期:2016-08-18 11:48:34
 楼主| 发表于 2018-1-29 05:06 | 显示全部楼层
另外,需要结合spark的streaming,kafka等来实践实时预测的框架
回复 支持 反对

使用道具 举报

论坛徽章:
17
Hadoop研习者初级
日期:2014-01-28 12:16:34spark徽章
日期:2018-05-03 15:46:22spark徽章
日期:2018-04-26 15:29:14数据展示徽章
日期:2018-04-12 14:26:20金融徽章
日期:2018-03-01 16:44:04Java徽章
日期:2018-02-08 16:11:57安全徽章
日期:2018-01-11 17:39:54Mycat徽章
日期:2016-08-11 11:03:51数据陷阱解读徽章
日期:2016-08-11 11:02:12Hadoop研习者初级
日期:2016-07-14 11:07:35抽样调查徽章
日期:2016-05-12 11:57:26R研习者中级
日期:2015-04-10 15:08:07
发表于 2018-1-29 05:32 | 显示全部楼层
新知识,学习中,不知道会不会很难
回复 支持 反对

使用道具 举报

新浪微博达人勋 bxy5511  未实名认证
论坛徽章:
25
R研习者中级
日期:2014-09-19 14:18:44数据展示徽章
日期:2016-06-23 11:26:00Java徽章
日期:2016-08-18 11:33:28python徽章
日期:2016-11-03 17:46:49python徽章
日期:2017-12-07 16:06:27python徽章
日期:2018-01-11 17:40:18机器学习徽章
日期:2018-02-01 17:45:33机器学习徽章
日期:2018-03-29 16:05:00pyspark徽章
日期:2018-04-08 16:26:32Tensorflow徽章
日期:2018-04-20 15:27:10Hive徽章
日期:2018-05-17 15:59:03数据挖掘徽章
日期:2016-04-14 10:49:53
发表于 2018-6-3 22:24 | 显示全部楼层
可以两个做集成吗,比如说在spark上写 调用python库
回复 支持 反对

使用道具 举报

论坛徽章:
17
投资理财徽章
日期:2017-08-03 18:14:36知识图谱徽章
日期:2018-06-15 13:47:21python徽章
日期:2018-05-24 16:09:52Tensorflow徽章
日期:2018-03-01 16:44:34Java徽章
日期:2018-01-04 17:15:14Julia徽章
日期:2017-12-25 17:39:24Git徽章
日期:2017-12-25 17:35:54Hadoop研习者初级
日期:2017-11-09 17:07:34Oracle研习者初级
日期:2017-10-26 15:09:26R研习者中级
日期:2017-10-26 15:08:38perl徽章
日期:2017-10-20 16:35:06R研习者中级
日期:2017-09-28 17:18:49
发表于 2018-6-5 11:00 | 显示全部楼层
spark肯定是未来发展的趋势,重点关注一些。。。
回复 支持 反对

使用道具 举报

新浪微博达人勋 ojsl 实名认证
论坛徽章:
7
比特币徽章
日期:2017-09-28 17:18:05Oracle研习者初级
日期:2017-10-26 15:09:26spark徽章
日期:2017-11-23 16:58:48机器学习徽章
日期:2017-11-30 15:59:35算法导论徽章
日期:2017-12-28 17:08:38智慧眼徽章
日期:2018-03-19 15:05:00spark徽章
日期:2018-06-14 15:36:26
发表于 2018-6-10 17:22 | 显示全部楼层
流式计算+机器学习,结合后有质的提升。
回复 支持 反对

使用道具 举报

论坛徽章:
40
Oracle研习者初级
日期:2014-09-19 13:50:59Hadoop研习者初级
日期:2017-12-28 17:09:25zabbix徽章
日期:2017-12-25 17:34:14Kaggle徽章
日期:2017-12-25 17:28:41spark徽章
日期:2017-11-23 16:58:48Oracle研习者初级
日期:2017-10-26 15:09:26R研习者中级
日期:2017-09-28 17:18:49JS课程徽章
日期:2017-07-27 17:25:47Kafka徽章
日期:2017-07-11 14:21:47Java徽章
日期:2018-01-04 17:15:14安全徽章
日期:2018-01-11 17:39:54spark徽章
日期:2018-06-14 15:36:26
发表于 2018-6-10 18:58 | 显示全部楼层
jtsuperman703 发表于 2018-1-29 05:05
追加一点,同时还需要了解spark的mlib和python的sklearn之间的异同

有感悟的分享,让小白同学在后面也学习一下
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-7-22 20:55 , Processed in 0.174031 second(s), 55 queries .