当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。Apache Spark 作为MapReduce的新一代继承者。 是对map reduce从性能，易用性和复杂分析优化的强大的开源数据处理引擎。Spark框架支持流式数据处理， 复杂迭代算法，比传统Hadoop MapReduce 程序快100倍。
Python语言时当下数据领域的瑞士军刀，但是作为一门脚本语言python先天只能在一台机器上发展，不适合分析大数据，因此需要其他大数据软件来处理，Spark虽然是由Scala编写，但也提供了Pyspark，让熟悉Python者能够轻易熟悉操作大数据。
本课程将为大家全面而又深入的介绍Spark1.x,2.x 、Hadoop、pyspark平台的构建流程，涉及Spark、Hadoop系统基础知识，概念及架构， pySpark、Hadoop的实战技巧，Spark、Hadoop经典案例等。
通过本课程实践，帮助学员对Spark、Hadoop生态系统有一个清晰明了的认识；理解Spark、Hadoop系统适用的场景；掌握pySpark、Hadoop等初中级应用开发技能，让你的python水平更上层楼。
课程大纲：
第一课.spark介绍
hadoop、spark集群环境搭建
pyspark开发环境搭建
spark 1.x和2.x的对比
第二课.pySpark核心编程模型
RDD、transformation、action
第三课.pySpark核心编程实战
lineage、容错处理、宽依赖与窄依赖
第四课.Spark内核详解剖析
Spark术语解释、集群概览、核心组件、数据本地性
第五课.spark任务调度详解
RDD任务调度(DAGScheduler ,TaskScheduler)、Task细节、广播变量、累加器
第六课.spark工程经验和性能调优
第七课.spark SQL 详解
DataFrame、外部数据源API、与Spark其他组件的交互、
第八课.spark sql编程实战
Catalyst查询优化器 、Tungsten 优化
第九课.spark streaming 开发
Dstream、数据源、 容错
第十课.spark运维技能
授课时间：
课程预计2019年11月10日开课，预计课程持续时间为12周
授课对象：
本课程面向喜欢Python的学员，课程分为spark core、spark sql、spark streaming三个摸块。理论结合实战，让学员真正达到融会贯通、举一反三的效果。并应用到自己的工作环境中。
课程环境：
spark 2.*
收获预期：
1. 掌握Spark核心原理;
2. 了解如何对Spark Job进行性能优化;
3.. 掌握Spark Streaming的原理及使用方式
4. 了解SQL引擎的原理，掌握Spark SQL的使用和优化方式
授课讲师：
pyther，十年IT工作经验，曾就职阿里巴巴、雅虎，现为大数据独立顾问。
新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取100元固定收费+300元暂存学费，学习圆满则全额奖励返还给学员！
本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。
在报名时每位报名者收取400元，其中100元为固定 收费，另外300是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面和互动作业，则300元全款退回，优秀的学员还可以获得礼品 奖励。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！
课程授课方式：
1、 学习方式：老师发布教学资料、教材，幻灯片和视频，学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、 学习作业：老师每周布置书面及互动作业，学员需按时按质完成作业。
3、 老师辅导：根据作业批改中发现的问题，针对性给予辅导，帮助大家掌握知识。
4、 结业测验：通过测验，完成学业。
咨询QQ： 2222010006 (上班时间在线）
技术热点、 行业资讯，培训课程信息，尽在炼数成金官方微信，低成本传递高端知识！技术成就梦想！欢迎关注！
打开微信，使用扫一扫功能，即刻关注炼数成金官方微信账户，不容错过的精彩，期待您的体验！！！
| 
发表于 2017-10-12 16:01
发表于 2019-8-30 08:25
