中国领先的IT技术网站
|
|

深度解析:Spark优于Hadoop吗?

对于任何一个进入大数据世界的人来讲,大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理,他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。

作者:佚名来源:36大数据|2017-11-13 13:39

Tech Neo技术沙龙 | 11月25号,九州云/ZStack与您一起探讨云时代网络边界管理实践


对于任何一个进入大数据世界的人来讲,大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理,他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。

深度解析:Spark优于Hadoop吗?

维基百科对大数据这样解释:大数据是一个宽泛的术语,它指传统数据处理应用程序无法处理的巨大而复杂的数据集。

简单来讲,随着数据量的增加,采用常规处理方法需要花费大量时间且价格不菲。

Doug Cutting受谷歌GFS及MapReduce白皮书的启发,在 2005年创办了Hadoop 。Hadoop 采用开源软件框架对超大数据集进行分布式存储技术及分布式处理。换句话说,设计这一产品的目的在于缩减处理大数据集的时间和成本。

Hadoop,其分布式文件系统(HDFS)和分布式处理模块(MapReduce)成为大数据计算的实际标准。Hadoop 这一术语不仅可以与基础模块相关,也与可兼容Hadoop的其他软件包生态系统息息相关。

随着时间的推移,生成的数据量猛增,处理大量数据的需求也随之猛增。这最终使大数据计算需要满足各种不同需求,而这些需求并非都可以全部由Hadoop 完成。

大多数数据分析本质上是迭代处理。尽管迭代处理可以由MapReduce完成,但数据读取应该在每次迭代中进行。通常情况下,这并没有问题。但如果读取100GB的数据或几个TB的数据时,就会费时,而人们会不耐烦

许多人认为数据分析是一门艺术而非一门科学。在任何艺术领域,艺术家创造一小块部分拼图,又将小拼图将放到更大的拼图上,见证它的生长。可以粗略的翻译为:数据分析师想在下一个处理开始之前得到前一个处理的结果。换句话说,许多数据分析学在本质上都是交互式的。在传统意义上,交互式分析习惯上受结构化查询语言(SQL)的影响。分析师在数据库中撰写可在数据中运行的查询条件。尽管Hadoop 也有同类产品(Hive和Pig),这原本也耗时,因为每个查询条件需要大量时间处理数据。

这些障碍促使了Spark的诞生,这种新型处理模块能促进迭代编程和交互式分析。Spark装备了一个将数据载入存储器并反复查询的内存原始模型。这使Spark非常适合大量数据分析及机器学习算法。

注意,Spark仅仅规定了分布式处理模块。存储数据部分仍然依赖Hadoop(分布式文件系统HDFS)采用分布存储方式高效存储数据,而不由Spark完成

Spark 将大数据生态系统设置在超光速磁盘上,确保比MapReduce快10-100倍。许多人认为这可能是MapReduce的终结。

操作简单

相比MapReduce来讲,Spark操作简单,甚至可以说非常便捷。即使对于一个简单逻辑或算法,MapReduce也需要100行代码;但使用Spark,一个简单逻辑,几行代码就可以完成。这就引出了一个关键因素,叫做用途广泛。许多对于MapReduce来讲不可能完成的机器学习或图表问题的高级算法,都可以由Spark完成。这让Spark的采用率相当高。

MapReduce没有交互模块。尽管Hive和Pig包含命令行接口,这些系统的性能仍然依赖MapReduce。MapReduce对于批处理仍然十分受用。

Spark 在内存中处理数据,而MapReduce却将处理后的数据传送回磁盘。所以Spark将优于MapReduce。

在2014年,Spark晋级Daytona GraySort测试并拔得头筹。对于门外汉来说,DaytonaGraySort是测试系统检索100TB(一万亿条记录)数据速度的第三方评判基准。

Spark使用206个AWS EC2 设备,在23分钟内将100TB的数据存储到磁盘上。此前的最高记录保持者是MapReduce,它使用了2100台设备,总共花费了72分钟。Spark在相同的条件下却比MapReduce快了3倍,使用的设备总数也少了10倍。

Spark占用大量内存。如果我们运行Spark的同时运行其他占用内存的服务,其性能可能大打折扣。但是,我们可以有把握地说,Spark在迭代处理方面占上风(需要多次传递同一数据)。

成本

这两者在计算能力、磁盘和网络环境方面的硬件要求都十分相似。内存越大,Spark表现越好。这两者都使用商品服务器。

MapReduce编程费力,市场上这方面的专家并不多。即便有为数不多的Spark专家,但这也仅仅是因为Spark是初创产品。所以学习Spark编程比MapReduce要容易的多。

脱离了Hadoop 的Spark

运行Spark其实并不需要Hadoop的支持。如果我们没有从分布式文件系统(HDFS)中读取数据,Spark也可以自行运行。Spark也可以从诸如S3, Cassandra等其他存储中读写数据。在这种架构下,Spark可在独立模式下运行,并不需要Hadoop 组件的支持。

产品使用

近期研究表明在产品中使用Spark的用户激增。许多用户同时运行Spark和Cassandra, 或者Spark和Hadoop ,又或者在Apche Mesos上运行Spark. 尽管Spark用户数量有所增长,但并没有在大数据社区造成恐慌。MapReduce使用率可能会下降,但具体降幅未知。

许多人预测Spark会促使另一种更优质堆栈的发展。但这种新型堆栈可能会与Hadoop 及其软件包生态系统非常相似。

Spark的最大优点是简洁。但它并不会彻底消灭MapReduce,因为使用MapReduce依然大有人在。即便Spark成为大赢家,除非研发新分布式文件系统,我们将同时使用Hadoop 和Spark处理数据。

【编辑推荐】

  1. 手把手教你Spark性能调优
  2. 大数据和Hadoop时代的维度建模和Kimball数据集市
  3. Hadoop伪分布式搭建操作步骤指南
  4. 嫌弃Hadoop?可能是你的打开方式有问题
  5. 如何为Hadoop集群选择正确的硬件
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

超级网管员——网络管理

本书全面深入地介绍了在网络的日常管理中,网络管理员必须掌握的知识,包括系统基本管理、性能调优、故障恢复、域控制器管理、存储资源管理...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
× CTO训练营(深圳站)