查看: 43178|回复: 281

《大型分布式系统案例实战》浓缩导师10年经验,解密年薪40万+的架构师修炼记!

  [复制链接]
新浪微博达人勋 仙豆  实名认证
论坛徽章:
1378
EBS财务徽章
日期:2013-11-03 10:10:32Oracle研习者初级
日期:2012-08-21 00:27:18R研习者初级
日期:2012-09-17 19:50:38Hadoop研习者初级
日期:2012-09-28 23:48:40spss初级
日期:2012-10-11 16:17:06Oracle研习者初级
日期:2012-10-18 10:33:23SAS研习者初级
日期:2012-11-18 23:07:49Hadoop研习者初级
日期:2012-11-18 23:09:43Oracle研习者初级
日期:2012-11-26 11:09:48Oracle研习者初级
日期:2012-12-06 14:23:22Hadoop研习者初级
日期:2013-10-21 22:39:48Oracle研习者初级
日期:2012-12-06 14:23:48
发表于 2015-4-8 17:15 | 显示全部楼层 |阅读模式

存储 Java 架构 案例 分布式 Zookeeper

课程介绍:
这是一个互联网与大数据的时代,所有的系统都是分布式的,分布式系统的通信技术再次被互联网巨头所重视,HTTP REST这种曾经风靡一时的远程通信技术不再风光,老牌的RPC框架Zeorc ICE正在低调的进军互联网领域,与此同时,各类新的通信技术不断诞生, Facebook Thrift一经开源即引起轰动, Hadoop之父兼apache主席的Doug Cutting也耐不住诱惑,释放了他在Hadoop里的创新性的RPC框架——Avro,而名字霸气的不能在霸气的ZeroMQ的作者也悄悄的开发了第二代产品nanomsg,开始把消息系统扩展到RPC领域,分布式情况下,系统的配置文件问题如何解决?Zookeeper为什么会几乎出现在每个新诞生的分布式系统中,它又有什么魅力?NoSQL俨然成为很多系统中必备的组件,开源项目中大家用的最多的是又是哪些,如何快速入门?数据库越来越大,有没有新的分布式数据库可以解决问题,Cobar闭源之后的Mycat又是怎么回事,能解决100亿的单表性能问题么?大数据时代,数据越来越大, Map Reduce已经跟不上时代了,Storm、Spark Stream等新一代的分布式实时计算框架正在相互竞争中迅猛发展,如何理解他们的作用,如何将其用于实际的业务系统中? 虽然我们不大可能再设计一个从零开始的大型分布式系统,但站在开源巅峰,我们仍有可能只花费20%的代价去构造一个符合我们业务需求的分布式平台,而在这个设计实现过程之中,我们需要遵循哪些普世原则和设计准则?云计算如火如荼的发展着, 网易早就部署了Openstack,你又是否认真学习过?如果你看过上面的文字,不能呼吸的话,就请跟随本课程的资深导师,一起进入到分布式系统案例实践的精彩世界里,通过一个季度的紧张学习,让自己发展成为这方面的小小专家。

课程大纲:
第1课 大型分布式系统原理概述
结合业界主流的那些开源软件,介绍和分析分布式系统的基本架构,组成部分,和实现原理。几款常用的软件以及功能功能性对比。

第2课 分布式系统之网络篇
Zookeeper入门
Zookeeper原理: Zookeeper原理介绍
Curator客户端 : 对Zookeeper知名客户端Curator进行介绍,初步掌握其编程方式和用法。
迷你P2P网络服务案例: 采用Zookeeper打造一个迷你P2P网络系统,节点之间相互交换名片,并且实现动态路由(节点宕机后其他节点自动感知并更新链路状态),

第3课  分布式存储-文件系统篇
传统的分布式文件系统:Lustre、GlusterFS等经典分布式文件系统分析
新型分布式文件系统:介绍Ceph以及它跟Openstack的关系
互联网领域中的小文件系统:GridFS、FastDFS、TFS等分析学习

第4课 分布式存储-内存篇
Hazelcast 详解与分析
GridGain详解与分析
MemCache详解与分析
案例集锦:分布式系统存储之基于内存的两表Join演示

第5课 分布式存储-数据库篇
分布式数据库原理 :介绍分布式数据库的实现原理,特性、优缺点、以及难点、热点问题
Mycat前世今生:介绍目前基于MYSQL的热门开源数据库血统,包括Cobar、tddl、Amoeba、以及目前很火的Mycat
案例集锦:某大型网站每天1亿数据处的案例剖析

第6课 分布式系统之云计算篇
主机虚拟化:介绍主机虚拟化的技术
网络虚拟化:介绍网络虚拟化的技术
存储虚拟化:介绍存储虚拟化的技术
云计算实践:VirtualBox虚机集群搭建
Openstack原理介绍:介绍Openstack的体系、架构、以及基本功能
案例集锦:基于RDO实现Openstack的安装、部署等。

第7课 分布式计算框架
Map-Reduce原理:介绍Map-Reduce的原理以及限制问题
Apache Storm应用:学习Storm的原理并搭建测试环境,掌握基本编程
案例集锦:实现基于Storm的1000万×1000万的SQL Join和排序分页

第8课 通信机制的设计与实现
分布式通信机制概述:讲解分布式通信的几种常见机制,RPC调用、共享远程数据、消息队列等。
RPC通信机制的原理 讲解RPC通信机制的原理和实现方式:
案例集锦:设计并实现一个XML-RPC框架 动手设计和实现一个简单的XML-RPC框架

第9课 消息队列
消息队列机制介绍: 介绍古典的和新型的消息队列机制的相同点和不同点
消息队列通信的案例分析: 对一些采用消息队列通信的系统做分析,掌握消息队列用作分布式通信的一般设计原则
案例集锦:对知名开源消息中间件Kafka做一个入门学习,并动手完成一个实际编程案例

第10课 打造高可用系统(上)
高可用系统常规方案:介绍高可用系统的一些原理、实现机制、常规实现方案,包括基于硬件、软件中间件、系统架构等一些典型方案的实现
HA Proxy入门:介绍业界常规的HA Proxy的原理以及用法
实践篇:Java开发一个类似HA Proxy的代理中间件

第11课 打造高可用系统(下)
高可用集群套件中间件:介绍基于Corosync+Pacemaker的高可用集群套件中间件系统的原理、配置以及常见案例
Corosync技术;
Pacemaker技术;
Pacemaker实践:实现基于Pacemaker的MYSQL高可用方案。

第12课 Mycat架构的分布式演进背后的秘密
配置文件的分布式访问问题:为什么最终选择了Zookeeper
Mycat负载均衡的特殊性:为什么标准的HA Proxy还无法满足Mycat的负载均衡要求
大数据Join背后的难题:数据、网络、内存和计算能力的矛盾和调和

第13课 Java分布式系统中的高性能难题
高性能网络框架的难题:AIO,NIO,Netty还是自己开发框架
堆内和堆外存储:堆内与堆外存储的差别,开源的堆外存储组件为何凤毛麟角
高性能事件派发机制:线程池模型的性能问题以及不为人知的Disruptor模型

第14课 挑战自我——全栈架构师实践
本节课程的目标,是挑战自我,开发一个基于Zeroc ICE+Zookeeper+Mycat+Android App+ Web系统的“身边购”平台,目标是支持1亿用户,每天交易订单为1亿,商家自己在手机上通过App注册自己的店铺,店铺包括地理位置信息,后台审批通过,然后可以拍照上架自己的货物,定价,发售。用户登录App以后,根据其地理位置信息,显示附近的(默认3公里)新品、热门商品、二手商品等,并可以下单。

授课时间:
课程预计2016年12月22日开课,预计课程持续时间为16周。

授课对象:
3年及以上Java开发经验,或者2年偏向后台开发的Java工程师,以及Java软件架构师,需要懂基本的多线程开发、Socket开发等经验,具备较强的J2SE编码能力。

课程必备:
Eclipse开发环境+JDK7

收获预期:
学员对分布式系统的底层通信有了很深刻的理论收获,同时对业界的分布式通信技术和开源项目有了踏实的入门实践经验,最后,通过完整系统的学习本课程,也在分布式系统架构和关键代码开发方面收获宝贵的经验。

授课讲师:
Leader-us,拥有超过15年的软件研发经验,精通Java编程,专注于电信软件和云计算方面方面的软件研发,参与过众多分布式与云计算相关的大型项目的架构设计和Coding,具备丰富的大型项目架构设计经验,是业界少有的具备很强Coding能力的S级资深架构师,曾经选拔和培养了大批优秀Java工程师,他们多的大多数都就职于知名软件公司,成为核心研发人员,还有人已经自己创业技术型公司。
此外,作者还是国内知名的开源分布式数据库中间件MyCAT的发起人,目前此项目已经有超过10名活跃志愿者在参与和推进,是当下热门的移动互联网和云计算项目的必备基础中间件之一。由于具备很强的技术功底和丰富的项目开发经验,并且文笔幽默,他的文章具备很强的实践性,可以直接用于解决项目开发中的实际问题,而且阅读起来轻松有趣,让人有耳目一新的感觉,比如网上流传很广的他的一篇文章《分布式数据库MyCAT之前世今生》,就是他的典型文笔风格。

新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员!

本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。
在报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业,则300元全款退回,优秀的学员还可以获得礼品 奖励。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!

课程授课方式:
1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。
3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。
4、 结业测验:通过测验,完成学业。

您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答
全国统一咨询热线 4008-010-006

课程现开始接受报名,报名方式
网上报名 请点击:大型分布式系统案例实战
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询群:706821899(群内有培训公开课视频供大家免费观看)
咨询QQ: 2222010006 (上班时间在线)

技术热点、 行业资讯,培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!
回复

使用道具 举报

论坛徽章:
0
发表于 2015-4-9 09:34 | 显示全部楼层
5月初开课,本课程就是要挑选精英,不放水。
不管是5年以上经验的资深Java架构师,还是2年的初出茅庐的新人,都能感受真正的挑战!
回复 支持 2 反对 0

使用道具 举报

论坛徽章:
0
发表于 2015-4-10 10:52 | 显示全部楼层
都说失败是成功之母,没有经历过被无数Bug折磨的痛苦,你无法写出一个优雅而又健壮的程序;当我们写的代码越来越多,掌握的技术越来越丰富,我们开始敬畏代码,我们不再年少轻狂的宣称写代码是一件很Easy的事情,我们开始学会欣赏同行写的代码,我们开始更多的去学习去使用那些知名开源项目的代码,而不是任性的自己从零开始Coding。——《架构师养成之道》
回复 支持 1 反对 0

使用道具 举报

论坛徽章:
32
Hadoop研习者初级
日期:2015-09-24 15:49:38python徽章
日期:2016-11-03 17:46:49python徽章
日期:2016-12-22 16:30:22机器学习徽章
日期:2016-12-22 16:38:25python徽章
日期:2016-12-29 16:34:17spark徽章
日期:2017-03-02 16:21:40Hive徽章
日期:2017-03-10 11:59:24HBase徽章
日期:2017-03-10 12:00:30storm徽章
日期:2017-05-11 17:11:45机器学习徽章
日期:2017-05-18 16:15:52Docker徽章
日期:2017-05-25 16:49:05python徽章
日期:2017-06-09 15:44:30
发表于 2015-4-8 17:23 | 显示全部楼层
这个课程啥时侯开课?
回复 支持 反对

使用道具 举报

论坛徽章:
51
Hadoop研习者初级
日期:2018-03-29 16:08:43DB2徽章
日期:2016-04-07 10:58:04算法导论徽章
日期:2016-03-16 10:46:20Datastage徽章
日期:2015-12-10 16:03:48DB2徽章
日期:2015-12-03 16:16:03STATA徽章
日期:2015-10-29 15:15:02测试徽章
日期:2015-10-22 15:07:35cognos徽章
日期:2015-10-14 17:39:01Java徽章
日期:2015-10-14 11:48:03perl徽章
日期:2015-09-25 17:35:50mysql徽章
日期:2015-09-09 15:19:48数据陷阱解读徽章
日期:2016-05-05 10:48:42
发表于 2015-4-8 19:22 | 显示全部楼层
难度太大,搞不定啊。
回复 支持 反对

使用道具 举报

论坛徽章:
0
发表于 2015-4-9 10:23 | 显示全部楼层
janezhou 发表于 2015-4-8 17:23
这个课程啥时侯开课?

5月8号开始,只发售几期
回复 支持 反对

使用道具 举报

论坛徽章:
0
发表于 2015-4-9 10:24 | 显示全部楼层
dongmusic 发表于 2015-4-8 19:22
难度太大,搞不定啊。

搞定40% 已经很不错的了
回复 支持 反对

使用道具 举报

论坛徽章:
0
发表于 2015-4-9 11:05 | 显示全部楼层
果然都是动漫实力派的,Leader喜欢
回复 支持 反对

使用道具 举报

论坛徽章:
0
发表于 2015-4-10 10:50 | 显示全部楼层
作为一个架构师,我们要专业,要能看懂代码,光着臂膀去机房,又要能独当一面,万一手下干活的搞不定,或者撂挑子,你要能给老大一个坚定的眼神:不怕,有我在!最后,还要能在会议桌前滔滔不绝,如若无人,唾液乱飞,让不懂技术的妹子们看你时的迷离眼神,就好象落霞与孤鹜齐飞。——《架构师养成之道》
回复 支持 反对

使用道具 举报

论坛徽章:
0
发表于 2015-4-10 10:55 | 显示全部楼层

你真的都懂了么
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-12-12 19:30 , Processed in 0.119393 second(s), 54 queries .

关闭

扫一扫加入
本版微信群