查看: 874|回复: 0

大数据三大平台hadoop,storm,spark的区别和应用场景

[复制链接]
论坛徽章:
9
Oracle研习者初级
日期:2015-08-13 11:08:55MongoDB徽章
日期:2015-12-10 15:59:54spark徽章
日期:2016-05-12 12:21:31python徽章
日期:2016-12-01 17:02:38机器学习徽章
日期:2016-12-08 15:50:25机器学习徽章
日期:2017-03-30 17:23:20Hive徽章
日期:2017-04-07 11:23:30人工智能徽章
日期:2017-07-11 14:26:36CUDA徽章
日期:2017-12-25 17:37:49
发表于 2015-12-26 11:42 | 显示全部楼层 |阅读模式
Hadoop常用于离线的、大量的复杂数据处理,Spark常用于离线的、快速的大数据处理,而Storm常用于在线的实时的大数据处理。

Hadoop采用MapReduce分布式计算框架,并根据GFS开发了HDFS分布式文件系统,使用HBase数据存储系统。


Spark在Hadoop的基础上进行了改良。Spark与Hadoop较大的不同点在于,Hadoop使用硬盘来存储数据,而Spark使用内存来存储数据,因此Spark可以提供超过Hadoop100倍的运算速度。但是,由于内存断电后会丢失数据,Spark不能用于处理需要长期保存的数据。

Storm在Hadoop的基础上提供了实时运算的特性,可以实时的处理大数据流。不同于Hadoop和Spark,Storm不进行数据的收集和存储工作,它直接通过网络实时的接受数据并且实时的处理数据,然后直接通过网络实时的传回结果。





回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2018-5-22 10:22 , Processed in 0.202770 second(s), 27 queries .

关闭

扫一扫加入
本版微信群