查看: 9944|回复: 67

《Spark大数据平台》课程内容大纲(征求意见稿)

  [复制链接]
论坛徽章:
1118
scala徽章
日期:2014-11-27 15:51:52统计徽章
日期:2014-12-09 15:52:20数据挖掘徽章
日期:2014-12-18 12:07:12Oracle研习者中级
日期:2014-12-18 12:09:05树莓派
日期:2014-12-18 14:59:16树莓派
日期:2014-12-18 14:59:40R研习者中级
日期:2014-12-18 15:08:55scala徽章
日期:2014-12-18 15:10:43Oracle研习者高级
日期:2014-12-24 15:04:47JVM徽章
日期:2014-12-24 15:14:33R研习者中级
日期:2014-12-24 15:25:22R研习者中级
日期:2014-12-24 15:28:23
发表于 2014-5-13 12:32 | 显示全部楼层 |阅读模式
目前安排大约11次课,每次课1-3小时,内容如下

1:Spark生态和安装部署
2:Spark运行架构和解析
3:Spark的监控和调优
4:Spark编程模型和解析
5:Spark的多语言编程
6:Spark Streaming原理和实践
7:Spark SQL原理和实践
8:Spark源码研读
9:Spark 机器学习入门
10:GraphX 入门
11:杂谈

1:Spark生态和安装部署
Spark生态
  Spark(内存计算框架)
  SparkSteaming(流式计算框架)
  Spark SQL(ad-hoc)
  Mllib(Machine Learning)
  GraphX(bagel将被取代)
安装部署
  Spark安装简介
  Spark的源码编译
  Spark Standalone安装
  Spark Standalone HA安装
  Spark应用程序部署工具spark-submit

2:Spark运行架构和解析
Spark的运行架构
  基本术语
  运行架构
  Spark on Standalone运行过程
  Spark on YARN 运行过程
Spark运行实例解析
  Spark on Standalone实例解析
  Spark on YARN实例解析

3:Spark的监控和调优
Spark的监控
  Spark UI监控
  Ganglia 监控
Spark调优

4:Spark编程模型和解析
Spark的编程模型
  Spark编程模型解析
  RDD的特点、操作、依赖关系
  Spark应用程序的配置
Spark编程实例解析
  日志的处理
  电信基站数据的处理

5:Spark的多语言编程
Spark的Scala编程
  Scala基本语法
  Scala开发环境搭建
  Scala开发Spark应用程序
Spark的Python编程
  Python的基本语法
  Pyhton开发Spark应用程序

6:Spark Streaming原理和实践
Spark Streaming原理
  Spark流式处理架构
  DStream的特点
  Dstream的操作和RDD的区别
  Spark Streaming的优化
Spark Streaming实例
  文本实例
  Window操作
  网络数据处理

7:Spark SQL原理和实践
Spark SQL原理
  Spark SQL的Catalyst优化器
  Spark SQL内核
  Spark SQL和Hive
Spark SQL的实例和编程
  Spark SQL的实例操作demo
  Spark SQL的编程

8:Spark源码研读
Spark源码研读
  Spark源码下载和研读环境搭建
Spark Core介绍
  SparkContext
  Executor
  Deploy
  RDD和Storage
  Scheduler和Task
Spark Examples介绍

9:Spark 机器学习入门
机器学习的原理
Mllib简介
Mllib的例程分析

10:GraphX 入门
图论基础
GraphX的简介
GraphX例程分析

11:杂谈
基于Spark的衍生项目
  BlinkDB
  RSpark
Spark和MapReduce、Tez
Spark和Techyon
Spark的优秀网站、书籍、牛人介绍

课程预计7月初上线,具体视Spark1.0.0发布时间
课程需要scala前置知识,不懂scala的朋友考虑先参加5.21开课的scala入门课程,详见
http://f.dataguru.cn/thread-279136-1-1.html


回复

使用道具 举报

论坛徽章:
71
python徽章
日期:2018-12-20 15:14:57MongoDB徽章
日期:2015-12-17 11:48:55DB2徽章
日期:2015-12-03 16:16:03STATA徽章
日期:2015-10-29 15:15:02perl徽章
日期:2015-09-25 17:35:49Puppet徽章
日期:2015-09-01 18:14:38测试徽章
日期:2015-08-20 15:01:01R研习者中级
日期:2015-08-20 14:51:11数据陷阱解读徽章
日期:2015-08-13 15:21:46抽样调查徽章
日期:2015-06-09 14:18:25linux徽章
日期:2015-05-21 14:16:49Excel徽章
日期:2015-05-14 10:37:05
发表于 2014-5-13 12:34 | 显示全部楼层
很有高度的一门课。。越来越好。。越来越好
回复 支持 反对

使用道具 举报

新浪微博达人勋 mingfly  未实名认证
论坛徽章:
27
SAS研习者初级
日期:2012-08-20 22:27:43Oracle研习者中级
日期:2014-09-19 14:31:38树莓派
日期:2014-09-19 15:22:08kettle徽章
日期:2014-11-06 14:46:10统计徽章
日期:2014-11-06 14:50:39比特币徽章
日期:2014-11-06 14:54:26scala徽章
日期:2014-11-06 14:56:26mahout徽章
日期:2014-11-06 14:57:37JVM徽章
日期:2014-11-06 17:46:17scala徽章
日期:2014-12-18 15:10:43spark徽章
日期:2015-03-19 10:35:27LATEX徽章
日期:2015-05-07 11:34:18
发表于 2014-5-13 12:34 | 显示全部楼层
回复 支持 反对

使用道具 举报

论坛徽章:
15
python徽章
日期:2013-05-09 13:21:44linux徽章
日期:2014-12-30 17:51:03JVM徽章
日期:2014-12-24 15:14:33nosql徽章
日期:2014-12-24 14:53:01Oracle研习者初级
日期:2014-11-06 17:48:02scala徽章
日期:2014-11-06 14:55:58比特币徽章
日期:2014-11-06 14:54:26Oracle研习者中级
日期:2014-09-19 14:31:38R研习者中级
日期:2014-09-19 14:21:54R研习者中级
日期:2014-09-19 14:18:44nosql徽章
日期:2014-09-19 14:02:17nosql徽章
日期:2013-11-12 16:18:19
发表于 2014-5-13 12:36 | 显示全部楼层
打算学习
回复 支持 反对

使用道具 举报

论坛徽章:
18
Oracle研习者初级
日期:2014-09-19 14:07:02python徽章
日期:2016-07-15 12:04:23统计徽章
日期:2015-11-05 16:43:20SAS研习者初级
日期:2015-09-09 15:08:32机器学习徽章
日期:2015-02-06 16:55:34storm徽章
日期:2015-01-08 14:37:20推荐系统徽章
日期:2014-12-18 12:11:49数据挖掘徽章
日期:2014-12-18 12:07:11mahout徽章
日期:2014-11-06 14:57:37scala徽章
日期:2014-11-06 14:56:26rapidminer徽章
日期:2014-11-06 14:48:19python徽章
日期:2014-09-23 14:45:41
发表于 2014-5-13 12:37 | 显示全部楼层
回复 支持 反对

使用道具 举报

论坛徽章:
5
Hadoop研习者初级
日期:2014-09-19 14:11:00Hadoop研习者中级
日期:2014-09-19 14:13:35scala徽章
日期:2014-11-06 14:56:26Openstack徽章
日期:2014-12-25 16:03:43spark徽章
日期:2015-03-19 10:35:27
发表于 2014-5-13 12:37 | 显示全部楼层
“高大上”!
回复 支持 反对

使用道具 举报

新浪微博达人勋 jie  实名认证
论坛徽章:
19
Oracle研习者初级
日期:2014-09-19 14:07:42Agile徽章
日期:2017-12-25 17:26:41Hadoop研习者初级
日期:2016-02-01 16:30:08Java徽章
日期:2015-10-14 11:48:03spark徽章
日期:2015-03-19 10:35:27投资理财徽章
日期:2015-01-07 11:29:11数据挖掘徽章
日期:2014-12-18 12:07:12mahout徽章
日期:2014-11-06 14:57:37scala徽章
日期:2014-11-06 14:56:26比特币徽章
日期:2014-11-06 14:53:58树莓派
日期:2014-09-19 15:22:08nosql徽章
日期:2014-09-19 14:33:14
发表于 2014-5-13 12:37 | 显示全部楼层
很好,很强大。
回复 支持 反对

使用道具 举报

论坛徽章:
3
Hadoop研习者初级
日期:2014-01-28 12:16:34nosql徽章
日期:2014-09-19 14:33:14scala徽章
日期:2014-11-06 14:56:26
发表于 2014-5-13 12:38 | 显示全部楼层
非常不错,非常期待
回复 支持 反对

使用道具 举报

新浪微博达人勋 chdd  未实名认证
论坛徽章:
33
rapidminer徽章
日期:2014-11-06 14:47:45搜索引擎徽章
日期:2016-03-03 14:51:26DB2徽章
日期:2016-04-07 10:58:04python徽章
日期:2016-09-22 11:35:12python徽章
日期:2016-12-01 17:02:38机器学习徽章
日期:2016-12-08 15:50:25JS课程徽章
日期:2017-01-16 16:35:29Hadoop研习者初级
日期:2017-09-04 17:12:36Julia徽章
日期:2017-12-25 17:39:24matlab徽章
日期:2015-12-10 16:02:27STATA徽章
日期:2015-10-29 15:15:02perl徽章
日期:2015-09-25 17:35:49
发表于 2014-5-13 12:38 | 显示全部楼层
好强悍的课程,要学!
回复 支持 反对

使用道具 举报

论坛徽章:
63
架构徽章
日期:2016-08-18 11:48:34Tomcat徽章
日期:2017-08-03 18:16:45JS课程徽章
日期:2016-11-10 15:45:52redis徽章
日期:2016-06-30 15:54:52搜索引擎徽章
日期:2016-08-18 11:36:51Docker徽章
日期:2016-01-21 11:55:16bash徽章
日期:2017-06-01 17:10:16perl徽章
日期:2015-09-25 17:35:49STATA徽章
日期:2016-08-11 11:01:36高并发架构徽章
日期:2017-07-27 17:30:17Puppet徽章
日期:2015-09-11 14:42:22抽样调查徽章
日期:2015-06-09 14:18:25
发表于 2014-5-13 12:41 | 显示全部楼层
clvn2008@qq.com 发表于 2014-5-13 12:34
很有高度的一门课。。越来越好。。越来越好

你学吧
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-7-19 08:29 , Processed in 0.146648 second(s), 71 queries .

关闭

扫一扫加入
本版微信群