大数据三大平台hadoop,storm,spark的区别和应用场景

xuci12345

Hadoop常用于离线的、大量的复杂数据处理，Spark常用于离线的、快速的大数据处理，而Storm常用于在线的实时的大数据处理。

Hadoop采用MapReduce分布式计算框架，并根据GFS开发了HDFS分布式文件系统，使用HBase数据存储系统。


Spark在Hadoop的基础上进行了改良。Spark与Hadoop较大的不同点在于，Hadoop使用硬盘来存储数据，而Spark使用内存来存储数据，因此Spark可以提供超过Hadoop100倍的运算速度。但是，由于内存断电后会丢失数据，Spark不能用于处理需要长期保存的数据。

Storm在Hadoop的基础上提供了实时运算的特性，可以实时的处理大数据流。不同于Hadoop和Spark，Storm不进行数据的收集和存储工作，它直接通过网络实时的接受数据并且实时的处理数据，然后直接通过网络实时的传回结果。