《Spark源码导读》深入浅出解剖Spark源代码，成就大数据之路

仙豆 · 发表于 2015-7-20 12:08

课程介绍:
大数据，这是一个言必谈及大数据的时代，到处是大数据论坛，连很多企业都要准备搞大数据，在不学习大数据你就out了。
从Hadoop兴起的短短几年中，计算速度和效率已经不能适应的数据增长，从而出现了更为流行分布式计算框架，Storm和Spark, 分布式计算框架从离线计算到现在的实时计算和内存计算。Spark自从成为Apache较高级项目以来，版本更新越来越快，短短两年来就发布了十个版本，目前的版本是1.4,Spark SQL的成熟，DataFrame API出现，以及R API引入Spark,Spark的体系结构也越来越完整。技术更新越来越快，你想跟上时代的步伐，那么跟我来吧，一起学习Spark源代码导读，从代码入手，在实际的项目中能更快的解决问题，更深入的理解Spark。本课程从主要是分析Spark 1.4的源代码。

目标人群：
3年及以上Java开发经验或Scala开发经验，偏向后台开发的Java工程师，以及Java软件架构师，需要懂分布式系统，Hadoop,Hive等经验，具备较强的编码能力。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值，特别是对于想从源代码深入研究的人员有更大的帮助，可以快速理解Spark的运行原理。

课程大纲:
第一课 Spark源码概述和开发环境准备
第二课从WordCount引发的代码入口
第三课作业提交及执行(Stage,DAGScheduler，TaskScheduler)
第四课分布式缓存,WEB UI和Standalone
第五课 Spark Streaming
第六课 DStream流数据处理及容错分析
第七课 Spark Streaming的实例应用
第八课 Spark SQL，DataFrame
第九课 SQL解析引擎，优化和执行引擎
第十课 Spark SQL CLi and Thrift JDBC/ODBC server
第十一课 Graph计算框架
第十二课 SparkR和MLlib机器学习

开课时间：
课程预计2017年9月11日开课，预计课程持续时间为14周

所需基础：
java
scala
hadoop

准备环境：
CentOS或Red Hat,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop

收获预期：
深入理解和研究Spark及修改Spark代码的能力。

讲师介绍：
冰风影，超过12年的软件研发经验，曾在ERP，医学，互联网行业企业担任高级软件工程师、架构师，技术总监。具备软件产品设计和开发经验，丰富的大型项目架构设计和编码经验。目前主要的研究方向是大数据，分布式技术，Hadoop和spark。国内知名的开源分布式数据库中间件Mycat的核心开发成员，在Mycat中主要的贡献是NoSQL(mongodb,SequoiaDB）支持，Spark的引入,目前此项目已经有超过10名活跃志愿者在参与和推进，是当下热门的移动互联网和云计算项目的必备基础中间件之一。

新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取100元固定收费+300元暂存学费，学习圆满则全额奖励返还给学员！

本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。
在报名时每位报名者收取400元，其中100元为固定收费，另外300是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面和互动作业，则300元全款退回，优秀的学员还可以获得礼品奖励。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！

课程授课方式：
1、学习方式：老师发布教学资料、教材，幻灯片和视频，学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、学习作业：老师每周布置书面及互动作业，学员需按时按质完成作业。
3、老师辅导：根据作业批改中发现的问题，针对性给予辅导，帮助大家掌握知识。
4、结业测验：通过测验，完成学业。

您是否对此课程还有疑问，那么请点击进入 FAQ，您的问题将基本得到解答

全国统一咨询热线 4008-010-006

课程现开始接受报名，报名方式
网上报名请点击：Spark源码导读

咨询Email ：edu01@dataguru.cn，edu02@dataguru.cn
课程入门讨论咨询群：706821899（群内有培训公开课视频供大家免费观看）

咨询QQ： 2222010006 (上班时间在线）