查看: 16782|回复: 46

《Spark源码导读》深入浅出解剖Spark源代码,成就大数据之路

  [复制链接]
新浪微博达人勋 仙豆  实名认证
论坛徽章:
1378
EBS财务徽章
日期:2013-11-03 10:10:32Oracle研习者初级
日期:2012-08-21 00:27:18R研习者初级
日期:2012-09-17 19:50:38Hadoop研习者初级
日期:2012-09-28 23:48:40spss初级
日期:2012-10-11 16:17:06Oracle研习者初级
日期:2012-10-18 10:33:23SAS研习者初级
日期:2012-11-18 23:07:49Hadoop研习者初级
日期:2012-11-18 23:09:43Oracle研习者初级
日期:2012-11-26 11:09:48Oracle研习者初级
日期:2012-12-06 14:23:22Hadoop研习者初级
日期:2013-10-21 22:39:48Oracle研习者初级
日期:2012-12-06 14:23:48
发表于 2015-7-20 12:08 | 显示全部楼层 |阅读模式

SQL Java 大数据 Hadoop Spark 分布式

课程介绍:
大数据,这是一个言必谈及大数据的时代,到处是大数据论坛,连很多企业都要准备搞大数据,在不学习大数据你就out了。
Hadoop兴起的短短几年中,计算速度和效率已经不能适应的数据增长,从而出现了更为流行分布式计算框架,Storm和Spark, 分布式计算框架从离线计算到现在的实时计算和内存计算。Spark自从成为Apache较高级项目以来,版本更新越来越快,短短两年来就发布了十个版本,目前的版本是1.4,Spark SQL的成熟,DataFrame API出现,以及R API引入Spark,Spark的体系结构也越来越完整。技术更新越来越快,你想跟上时代的步伐,那么跟我来吧,一起学习Spark源代码导读,从代码入手,在实际的项目中能更快的解决问题,更深入的理解Spark。本课程从主要是分析Spark 1.4的源代码。

目标人群:
3年及以上Java开发经验或Scala开发经验,偏向后台开发的Java工程师,以及Java软件架构师,需要懂分布式系统,Hadoop,Hive等经验,具备较强的编码能力。课程对于Spark初学者,Spark开发人员及Spark运维人员都具有比较大的学习价值,特别是对于想从源代码深入研究的人员有更大的帮助,可以快速理解Spark的运行原理。

课程大纲:
第一课 Spark源码概述和开发环境准备
第二课 从WordCount引发的代码入口
第三课 作业提交及执行(Stage,DAGScheduler,TaskScheduler)  
第四课 分布式缓存,WEB UI和Standalone
第五课 Spark Streaming
第六课 DStream流数据处理及容错分析
第七课 Spark Streaming的实例应用
第八课 Spark SQL,DataFrame
第九课 SQL解析引擎,优化和执行引擎
第十课 Spark SQL CLi and Thrift JDBC/ODBC server
第十一课 Graph计算框架
第十二课 SparkR和MLlib机器学习

开课时间:
课程预计2017年9月11日开课,预计课程持续时间为14周

所需基础:
java
scala
hadoop

准备环境:
CentOS或Red Hat,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop

收获预期:
深入理解和研究Spark及修改Spark代码的能力。

讲师介绍:
冰风影,超过12年的软件研发经验,曾在ERP,医学,互联网行业企业担任高级软件工程师、架构师,技术总监。具备软件产品设计和开发经验,丰富的大型项目架构设计和编码经验。目前主要的研究方向是大数据,分布式技术,Hadoop和spark。国内知名的开源分布式数据库中间件Mycat的核心开发成员,在Mycat中主要的贡献是NoSQL(mongodb,SequoiaDB)支持,Spark的引入,目前此项目已经有超过10名活跃志愿者在参与和推进,是当下热门的移动互联网和云计算项目的必备基础中间件之一。

新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员!

本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。
在报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业,则300元全款退回,优秀的学员还可以获得礼品 奖励。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!

课程授课方式:
1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。
3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。
4、 结业测验:通过测验,完成学业。

您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答
全国统一咨询热线 4008-010-006

课程现开始接受报名,报名方式
网上报名 请点击:Spark源码导读
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询群:706821899(群内有培训公开课视频供大家免费观看)
咨询QQ: 2222010006 (上班时间在线)

技术热点、 行业资讯,培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!
回复

使用道具 举报

论坛徽章:
25
Oracle研习者初级
日期:2012-11-26 11:09:48架构徽章
日期:2015-04-29 17:09:41数据陷阱解读徽章
日期:2015-08-13 15:21:46spark徽章
日期:2015-10-22 14:50:13MongoDB徽章
日期:2015-12-10 15:59:54scala徽章
日期:2016-06-23 11:18:09Mycat徽章
日期:2016-10-13 17:46:45HBase徽章
日期:2017-03-10 12:00:30mysql徽章
日期:2017-05-25 16:50:34mysql徽章
日期:2017-12-22 16:01:10Java徽章
日期:2018-01-04 17:15:14Oracle研习者初级
日期:2014-11-06 17:48:02
发表于 2015-7-21 11:40 | 显示全部楼层
课程加些scala编程讲解更好了。
回复 支持 反对

使用道具 举报

论坛徽章:
17
storm徽章
日期:2015-04-15 15:28:42计算徽章
日期:2018-03-19 15:04:30安全徽章
日期:2018-01-11 17:39:54Hadoop研习者初级
日期:2017-12-28 17:09:25spark徽章
日期:2017-11-23 16:58:47Kafka徽章
日期:2017-07-11 14:21:47storm徽章
日期:2017-05-11 17:11:45统计徽章
日期:2016-11-24 11:28:37python徽章
日期:2016-11-03 17:31:49spark徽章
日期:2016-09-08 10:42:04spark徽章
日期:2016-05-26 12:36:59spark徽章
日期:2016-04-01 14:17:34
发表于 2015-7-21 19:38 | 显示全部楼层
对自己的 scala 水平没信心。。 不过还是打算挑战一下的! 希望老师可以讲得详细一点
回复 支持 反对

使用道具 举报

论坛徽章:
8
Hadoop研习者初级
日期:2014-09-19 14:11:00scala徽章
日期:2014-11-06 14:56:26Openstack徽章
日期:2014-12-25 16:03:43storm徽章
日期:2015-01-08 14:37:20spark徽章
日期:2015-03-19 10:35:27linux徽章
日期:2015-05-07 11:21:04Docker徽章
日期:2016-01-21 11:55:16Hive徽章
日期:2018-03-01 16:42:20
发表于 2015-7-28 14:09 | 显示全部楼层
不知道老师上课形式怎么样的,是带着我们浏览源码吗?
另外貌似缺了 blockmanager/shuffle/spark on yarn的内容
回复 支持 反对

使用道具 举报

新浪微博达人勋 zyq2006  实名认证
论坛徽章:
43
架构徽章
日期:2018-11-09 11:08:07抽样调查徽章
日期:2016-05-12 11:57:26DB2徽章
日期:2016-04-07 10:58:05Oracle研习者中级
日期:2016-03-31 15:31:28算法导论徽章
日期:2016-03-16 10:46:20技术内幕徽章
日期:2016-03-03 14:48:52R研习者高级
日期:2015-12-30 11:50:24matlab徽章
日期:2015-12-10 16:02:27STATA徽章
日期:2015-10-29 15:15:02scala徽章
日期:2016-06-23 11:18:09数据展示徽章
日期:2016-06-23 11:26:00统计徽章
日期:2016-07-14 11:12:19
发表于 2015-8-8 09:41 | 显示全部楼层
需要先来个SCALA课程
回复 支持 反对

使用道具 举报

论坛徽章:
142
spss初级
日期:2012-10-11 16:17:06Oracle研习者中级
日期:2013-08-25 14:25:49R研习者中级
日期:2013-06-13 19:02:32Oracle研习者高级
日期:2013-08-25 14:23:53Hadoop研习者初级
日期:2012-08-20 22:35:19nosql徽章
日期:2013-05-09 17:05:06Openstack徽章
日期:2013-05-09 17:03:52Oracle研习者高级
日期:2013-08-25 14:24:26EBS制造徽章
日期:2013-05-09 13:15:37EBS财务徽章
日期:2013-05-09 13:13:47Agile徽章
日期:2017-12-25 17:26:41QT徽章
日期:2017-12-25 17:18:29
发表于 2015-8-8 19:39 | 显示全部楼层
报名的同学多吗?
回复 支持 反对

使用道具 举报

论坛徽章:
25
Oracle研习者初级
日期:2012-11-26 11:09:48架构徽章
日期:2015-04-29 17:09:41数据陷阱解读徽章
日期:2015-08-13 15:21:46spark徽章
日期:2015-10-22 14:50:13MongoDB徽章
日期:2015-12-10 15:59:54scala徽章
日期:2016-06-23 11:18:09Mycat徽章
日期:2016-10-13 17:46:45HBase徽章
日期:2017-03-10 12:00:30mysql徽章
日期:2017-05-25 16:50:34mysql徽章
日期:2017-12-22 16:01:10Java徽章
日期:2018-01-04 17:15:14Oracle研习者初级
日期:2014-11-06 17:48:02
发表于 2015-9-20 12:35 | 显示全部楼层
大数据热门技术,学习中 。
回复 支持 反对

使用道具 举报

论坛徽章:
0
发表于 2015-9-22 00:42 | 显示全部楼层
支持一下吧,确实是不错的贴子。
回复 支持 反对

使用道具 举报

论坛徽章:
1
数据挖掘徽章
日期:2015-12-17 11:55:20
发表于 2015-9-28 10:18 | 显示全部楼层
Spark 版本已经是1.5了,将来授课的版本会按照的版本来讲吗?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-12-12 19:56 , Processed in 0.157333 second(s), 67 queries .

关闭

扫一扫加入
本版微信群