为什么Spark在数据科学界这么红?

大数据 Spark
Streaming, Spark Machine Learning(MLlib)Spark SQL 和 Spark GraphX, 这些组件是当下互联网生态需求的大综合,可以说整个数据应用链,Spark 都完美的提供了解决方案,那么它不红,都没理由了!

[[285671]]

今天是2019年,要是有谁说有十年大数据工作经验,我是不信的。因为 Spark 正式应用才多少年?看过下面文章的你,应该就知道了,2012 年移交 Apache Spark, 就算他是 Spark 的 Committer, 满打满算才 7 年。

如果是 2006 年 Hadoop 一代长老呢,那肯定有 10 年大数据经验了,但依然只能说是半吊子的大数据工程师,因为真正有实时大数据平台的年代,要从 2012 年 Apache Spark 正式推出算起。

Spark 是 Apache 的顶级项目,一举一动都在整个社区的瞩目之下。凡是由 Apache 推动的项目,自然大概率是比较成功的。回想 Google 当年没将 Big Table, Map Reduce, GFS 及时的推广到 Apache 落地,反而被后来者 Hadoop 夺得了头魁,甚为惋惜。想知道Google 错过这段好时机,可以看我的这篇文章《继蚂蚁金服OceanBase之后,腾讯也祭出了大杀技》

最初时,Spark 孵化于加利福尼亚大学(University of California) 伯克利分校(Berkeley)的大数据实验室( AMPLab).说起这个实验室,还有两个巨头产品, Apache Mesos 和 Alluxio. 看官可能对这两产品不是很了解,没关系,这里也不打算讲,以后再细说。

2006 年, Hadoop 基于 Google 的三驾马车,先于 GCP 而被世人所知。除了分布式存储扩充了商业关系型数据库的存储容量外,Map Reduce 更是一大创举,让分布式计算取得了开创新的进展。但 Map Reduce 的原理注定了它的致命缺陷,中间数据集要存盘,以致于丢失了性能上的战略牌。被 Spark 的内存式弹性分布数据集(Resilient Distributed Dataset)捡了个漏。于是 Spark 于 2009 年横空出世,弥补了 Hadoop 性能上的缺陷,由此也抢到了一块市场。

Hadoop 本来被期望很高,直指机器学习与人工智能,科学家已经尝试在 Hadoop 上研发机器学习的软件库,但由于中间数据要存盘的这一致命缺陷,导致最终很多实时计算项目烂尾,而科学家们在另外一个项目,叫做 Mesos(分布式集群管理) 上取得长足进展,索性在 Mesos 上建立 Spark(分布式计算) 来替代 Hadoop.

由此可见,Hadoop 之所以会被 Spark 打败,完全是市场新兴的诉求(机器学习与人工智能)使然。Spark 的出生,就是为了解决机器学习的困境。

当然,说 Spark 打败 Hadoop 有些不严谨,就像说 Apple 的 iOS 打败 Google 的 Andriod 一样,两者是补充,满足了不同的市场需求而已。Spark 与 Hadoop 在应用场景上,只是互相补充罢了,毕竟实现 Spark 的硬件要求比 Hadoop 要高很多,成本也就不一样了。这些都是厂商不会直接告诉你的。

Hadoop 先于 Spark 3 年出世,那么做为 Spark 如何快速从 Hadoop 中夺取属于自己的市场呢?从头建立自己的分布式管理,还是利用 Hadoop 已有市场,与 Hadoop 兼容 ,只抛出自己的分布式计算引擎呢?很显然, 聪明人都会选后者,没必要从头建立一个轮子啊。所以很快的,社区对于 Spark 的接受也相当轻松。社区的推广在很大程度上也助推了 Spark 的应用铺货。

Spark 流行的基础原因说的差不多了,那再说点高级应用。软件发生到现在这个时间段,真不是哪家软件能解决某个问题而已了,而是哪家软件能提供一整套应用链,就用那家。所以开放性就决定了软件体系能走多远。

就跟编程语言一样的,原本的 Visual FoxPro, Visual Basic, Delphi 本是解决 MIS 系统的最有效编程工具,但随着 web, mobile 应用需求的出现,这些工具再也跟不上需求发展的步伐了,逐渐就被市场给抛弃了。

纵观 现在主流的编程语言,Java, Python, 哪一个不是包罗万象,既可以玩的了 C/S 传统开发,又驾驭的了 B/S 的潮流,甚至在 mobile 应用上也能对付。Spark 也一样,除了能玩转数据 CRUD(Create, Retrieve, Update, Delete), 更能匹配当下数据科学的潮流,比如批量,实时 ETL, 比如集成各种数据分析,数据挖掘的算法,高效的去完成机器学习。

Spark 在拥抱内存式分布计算的同时,顺应时势间接容纳了 Spark Streaming, Spark Machine Learning(MLlib)Spark SQL 和 Spark GraphX, 这些组件是当下互联网生态需求的大综合,可以说整个数据应用链,Spark 都完美的提供了解决方案,那么它不红,都没理由了!

责任编辑:未丽燕 来源: 今日头条
相关推荐

2013-12-04 10:00:56

PythonR语言数据科学家

2017-03-10 09:32:45

谷歌KaggleAI

2019-08-26 09:47:56

数据科学家数据分析

2019-12-25 14:00:26

数据科学人工智能科学家

2020-02-14 13:53:33

Python 开发编程语言

2019-07-05 15:52:03

数据科学家大数据机器学习

2022-07-28 19:31:39

AlphabetDeepMind扩展数据库

2020-02-16 20:43:49

Python数据科学R

2023-05-08 15:09:49

AI开源

2017-06-07 11:57:19

互联网

2023-03-26 21:03:54

GPT-4人工智能

2022-02-14 13:59:47

数据数据孤岛大数据

2019-12-11 14:23:50

大数据商业 价值分析

2022-06-13 21:52:02

CDN网络节点

2020-02-27 21:03:30

调度器架构效率

2018-08-16 08:03:21

Python语言解释器

2020-02-27 15:44:41

Nginx服务器反向代理

2019-08-30 14:58:47

JavaScript程序员编程语言

2013-03-04 10:10:36

WebKit浏览器

2024-02-26 21:15:20

Kafka缓存参数
点赞
收藏

51CTO技术栈公众号