查看: 2033|回复: 6

Avro总结(RPC/序列化)

[复制链接]
论坛徽章:
67
知识图谱徽章
日期:2019-11-08 10:48:01python徽章
日期:2017-06-15 17:35:32Java徽章
日期:2017-06-09 15:42:21Docker徽章
日期:2017-05-25 16:49:05python徽章
日期:2017-03-09 16:45:33Java徽章
日期:2016-10-27 10:52:31投资理财徽章
日期:2016-08-25 10:49:04大型分布式徽章
日期:2016-05-12 12:14:29MongoDB徽章
日期:2015-12-17 11:48:55架构徽章
日期:2015-09-17 14:14:45R研习者中级
日期:2015-08-20 14:51:11数据陷阱解读徽章
日期:2015-08-13 15:21:46
发表于 2019-5-4 19:44 | 显示全部楼层 |阅读模式
回复

使用道具 举报

论坛徽章:
67
知识图谱徽章
日期:2019-11-08 10:48:01python徽章
日期:2017-06-15 17:35:32Java徽章
日期:2017-06-09 15:42:21Docker徽章
日期:2017-05-25 16:49:05python徽章
日期:2017-03-09 16:45:33Java徽章
日期:2016-10-27 10:52:31投资理财徽章
日期:2016-08-25 10:49:04大型分布式徽章
日期:2016-05-12 12:14:29MongoDB徽章
日期:2015-12-17 11:48:55架构徽章
日期:2015-09-17 14:14:45R研习者中级
日期:2015-08-20 14:51:11数据陷阱解读徽章
日期:2015-08-13 15:21:46
 楼主| 发表于 2019-5-4 19:45 | 显示全部楼层
Avro(读音类似于[ævrə])是Hadoop的一个子项目,由Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发,当前版本1.3.3。Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。
回复 支持 反对

使用道具 举报

论坛徽章:
67
知识图谱徽章
日期:2019-11-08 10:48:01python徽章
日期:2017-06-15 17:35:32Java徽章
日期:2017-06-09 15:42:21Docker徽章
日期:2017-05-25 16:49:05python徽章
日期:2017-03-09 16:45:33Java徽章
日期:2016-10-27 10:52:31投资理财徽章
日期:2016-08-25 10:49:04大型分布式徽章
日期:2016-05-12 12:14:29MongoDB徽章
日期:2015-12-17 11:48:55架构徽章
日期:2015-09-17 14:14:45R研习者中级
日期:2015-08-20 14:51:11数据陷阱解读徽章
日期:2015-08-13 15:21:46
 楼主| 发表于 2019-5-4 19:45 | 显示全部楼层
当前市场上有很多类似的序列化系统,如Google的Protocol Buffers, Facebook的Thrift。这些系统反响良好,完全可以满足普通应用的需求。针对重复开发的疑惑,Doug Cutting撰文解释道:Hadoop现存的RPC系统遇到一些问题,如性能瓶颈(当前采用IPC系统,它使用Java自带的DataOutputStream和DataInputStream);需要服务器端和客户端必须运行相同版本的Hadoop;只能使用Java开发等。但现存的这些序列化系统自身也有毛病,以Protocol Buffers为例,它需要用户先定义数据结构,然后根据这个数据结构生成代码,再组装数据。如果需要操作多个数据源的数据集,那么需要定义多套数据结构并重复执行多次上面的流程,这样就不能对任意数据集做统一处理。其次,对于Hadoop中Hive和Pig这样的脚本系统来说,使用代码生成是不合理的。并且Protocol Buffers在序列化时考虑到数据定义与数据可能不完全匹配,在数据中添加注解,这会让数据变得庞大并拖慢处理速度。其它序列化系统有如Protocol Buffers类似的问题。所以为了Hadoop的前途考虑,Doug Cutting主导开发一套全新的序列化系统,这就是Avro,于09年加入Hadoop项目族中。
回复 支持 反对

使用道具 举报

论坛徽章:
67
知识图谱徽章
日期:2019-11-08 10:48:01python徽章
日期:2017-06-15 17:35:32Java徽章
日期:2017-06-09 15:42:21Docker徽章
日期:2017-05-25 16:49:05python徽章
日期:2017-03-09 16:45:33Java徽章
日期:2016-10-27 10:52:31投资理财徽章
日期:2016-08-25 10:49:04大型分布式徽章
日期:2016-05-12 12:14:29MongoDB徽章
日期:2015-12-17 11:48:55架构徽章
日期:2015-09-17 14:14:45R研习者中级
日期:2015-08-20 14:51:11数据陷阱解读徽章
日期:2015-08-13 15:21:46
 楼主| 发表于 2019-5-4 19:45 | 显示全部楼层
Avro(读音类似于[ævrə])是Hadoop的一个子项目,由Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发,当前版本1.3.3。Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。
回复 支持 反对

使用道具 举报

论坛徽章:
67
知识图谱徽章
日期:2019-11-08 10:48:01python徽章
日期:2017-06-15 17:35:32Java徽章
日期:2017-06-09 15:42:21Docker徽章
日期:2017-05-25 16:49:05python徽章
日期:2017-03-09 16:45:33Java徽章
日期:2016-10-27 10:52:31投资理财徽章
日期:2016-08-25 10:49:04大型分布式徽章
日期:2016-05-12 12:14:29MongoDB徽章
日期:2015-12-17 11:48:55架构徽章
日期:2015-09-17 14:14:45R研习者中级
日期:2015-08-20 14:51:11数据陷阱解读徽章
日期:2015-08-13 15:21:46
 楼主| 发表于 2019-5-4 19:46 | 显示全部楼层
Avro(读音类似于[ævrə])是Hadoop的一个子项目,由Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发,当前版本1.3.3。Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。
回复 支持 反对

使用道具 举报

论坛徽章:
67
知识图谱徽章
日期:2019-11-08 10:48:01python徽章
日期:2017-06-15 17:35:32Java徽章
日期:2017-06-09 15:42:21Docker徽章
日期:2017-05-25 16:49:05python徽章
日期:2017-03-09 16:45:33Java徽章
日期:2016-10-27 10:52:31投资理财徽章
日期:2016-08-25 10:49:04大型分布式徽章
日期:2016-05-12 12:14:29MongoDB徽章
日期:2015-12-17 11:48:55架构徽章
日期:2015-09-17 14:14:45R研习者中级
日期:2015-08-20 14:51:11数据陷阱解读徽章
日期:2015-08-13 15:21:46
 楼主| 发表于 2019-5-4 19:46 | 显示全部楼层
Avro(读音类似于[ævrə])是Hadoop的一个子项目,由Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发,当前版本1.3.3。Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。
回复 支持 反对

使用道具 举报

论坛徽章:
67
知识图谱徽章
日期:2019-11-08 10:48:01python徽章
日期:2017-06-15 17:35:32Java徽章
日期:2017-06-09 15:42:21Docker徽章
日期:2017-05-25 16:49:05python徽章
日期:2017-03-09 16:45:33Java徽章
日期:2016-10-27 10:52:31投资理财徽章
日期:2016-08-25 10:49:04大型分布式徽章
日期:2016-05-12 12:14:29MongoDB徽章
日期:2015-12-17 11:48:55架构徽章
日期:2015-09-17 14:14:45R研习者中级
日期:2015-08-20 14:51:11数据陷阱解读徽章
日期:2015-08-13 15:21:46
 楼主| 发表于 2019-5-4 19:47 | 显示全部楼层
有敏感关键字??????????????
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-11-21 12:04 , Processed in 0.182999 second(s), 38 queries .