分析 BAT 互联网巨头在大数据方向布局及大数据未来发展趋势

大数据 数据分析
风起云涌的大数据战场上,早已迎百花齐放繁荣盛景,各大企业加速跑向“大数据时代”。而我们作为大数据的践行者,在这个“多智时代”如何才能跟上大数据的潮流,把握住大数据的发展方向。

[[380261]]

本文转载自微信公众号「五分钟学大数据」,作者园陌。转载本文请联系五分钟学大数据公众号。

风起云涌的大数据战场上,早已迎百花齐放繁荣盛景,各大企业加速跑向“大数据时代”。而我们作为大数据的践行者,在这个“多智时代”如何才能跟上大数据的潮流,把握住大数据的发展方向。

前言

大数据起源于2000年左右,也就是互联网高速发展阶段。经过几年的发展,到2008年 Hadoop 成为 Apache 顶级项目,迎来了大数据体系化的快速发展期,到如今 Hadoop 已不单单指一个软件,而成为了大数据生态体系的代名词。

自2014年以来,国内大数据企业层出不穷,可以用“乱花渐欲迷人眼”形容现状,也是在这一年,我国《政府工作报告》首次提出“大数据”,大数据作为一种新兴产业正式登陆中国舞台。之后,又上升至国家战略。自此“大数据”这三个字频繁出现在各大媒体上。

在大数据的发展历程中,互联网企业是布局较早且融合较深的行业之一。因其互联网属性的优势在大数据领域布局较早。

而提到国内互联网大数据企业,就不得不提国内互联网三巨头(百度、阿里、腾讯),三巨头的大数据业务围绕其自身业务发展而成:百度重算法、阿里重电商、腾讯重社交,出于自身战略,三巨头在大数据领域的布局方面各有重心,反映出其企业发展方向的战略和思路。

BAT的大数据产业

BAT 是我国互联网企业中大数据布局较早也是较具有竞争优势的公司。其中,阿里布局大数据产业最早,腾讯次之,百度则最晚。

阿里

阿里大数据发展战略在 2008 年提出,随后围绕电商业务,阿里在数据集群、数据仓库等方面做出了部署。

如今,提到阿里大数据,可以从两方面来作观察:一是以阿里电商业务基础建立起来的阿里数据;二是阿里云。

阿里数据以淘宝、天猫、阿里妈妈等平台为业务线,通过数据采集、数据计算、数据服务、数据应用等环节,形成从数据采集到数据应用的闭环系统

阿里云则主要以在线公共服务的方式,为用户提供云服务器、云数据库、云安全等云计算服以及大数据、人工智能服务、精准定制等基于场景的行业解决方案。创立于 2009年,如今,阿里云已成为全球前三大公共云服务提供商。

另一方面阿里也是十分有远见的,早在15、16年开始做Flink,深耕布局、落地双11、孵化Blink,据称搞了上百人的团队,在国内外的技术会议上不断宣传推广,在2019年开年,阿里以9000万欧元收购了Apache Flink母公司Data Artisans,将Flink收入囊中,目前,Flink 可以称之为 Apache 基金会中最为活跃的项目之一,在 GitHub 上其访问量在 Apache 项目中位居前三。同时,在全球范围内,优步、网飞、微软和亚马逊等国际互联网公司也逐渐开始使用 Apache Flink。

腾讯

2009 年 1 月,腾讯搭建第一个 Hadoop 集群,标志着腾讯大数据之路正式开启。

与阿里不同,腾讯大数据主要围绕其社交、游戏业务展开。坐拥着海量的用户数据。

基于微信、QQ 等社交工具,通过对移动用户的数据分析,建立用户个人画像(如用户的社会关系、性格禀赋、兴趣爱好等)提供相应的营销服务。

工具,工具主要有腾讯移动推送信息“信鸽”,同样也是围绕腾讯的社交用户数据开发而成,提供向用户推送消息的服务。

腾讯云,起步比阿里云晚几年,目前暂时落后于阿里云,但是云计算市场是一个马拉松赛,起步早是一方面,但最终还是要看谁能坚持到最后。

之前看过一篇资讯,中国IT领袖峰会在深圳举行,在一个对话环节。

李彦宏说:“云计算这个东西不客气一点讲它是新瓶装旧酒,没有新东西。”

马化腾说:"云计算让计算能力、处理能力甚至逻辑组件都能够像水和电一样使用,的确是有想象空间的,但可能你过几百年、一千年后才可能实现,现在还是确实过早了。"

马云大概意思:“云计算这个东西应该好好做,今天就应该做,如果阿里巴巴不做云计算,腾讯、百度会把阿里巴巴赶出电子商务门口。“

从对话中能看出马云的眼光很好。李彦宏和马化腾虽都是技术出身,但没有一个教师出身的马云眼光长远。

另一点,腾讯相比其他巨头在技术方面要低调不少。技术大牛很少出来做报告,更不会向百度、阿里那样主动包装宣传技术大牛。其技术虽然低调,但执行力很强。据腾讯的程序员朋友说封闭开发、集体加班是常有的事情。但配套的重金激励也能跟上。重金之下必有勇夫!

百度

BAT 中,百度大数据战略提出时间最晚,但举措频频。

2013 年,百度成立深度学习实验室(IDL),发力人工智能。

2014 年,百度对外宣布开放“大数据引擎”,以开放云、数据工厂和百度大脑三个为核心组件,

通过平台化和接口化的方式,对外开放其大数据存储、分析和智能化处理等核心能力。作为全球首个开放大数据引擎,百度“大数据引擎”已与政府、非政府组织、制造、医疗、金融、零售和教育等传统领域展开合作。

同年 8 月,百度与联合国宣布启动战略合作,共建大数据联合实验室 (bdl),探索利用大数据解决全球

性问题的创新模式。

2017 年 3 月 2 日,百度揭牌深度学习技术及应用国家工程实验室,“国字号”AI实验室落户百度。

可以看出,百度不同于阿里和腾讯基本以自身业务布局大数据,其大数据布局侧重于新方向,在人工智能上尤其突出。不过,梳理百度大数据的数据产品可以发现,其大数据产品涉及数据分析、数据风控、数据营销等,布局较广。

大数据领域分析

大数据技术发展到如今,已经形成了完备的体系结构及应用方向,技术迭代速度非常快,新框架层出不穷,大数据应用方向不断细化,从业人员越来越多。

大数据时代,数据量大,数据源异构多样,数据时效性等特征催生了大量的新技术需求。在这样的需求下,诞生了规模化并行处理(MPP) 的分布式计算框架;面向海量的非结构化数据,出现了 Hadoop、Spark等生态体系的分布式批处理框架;面对时效性及实时处理的需求,出现了Flink、Spark Streaming等分布式流处理框架。

下图为 Apache 生态下的大数据框架:

未来在 Apache 中孵化成功的大数据框架会越来越多,大数据生态体系会越来越完善,也意味着大数据的门槛会越来越低,入行的人越来越多。所以为了我们不被时代所淘汰,需要不断学习,前期学习广度,后期专注深度。潜心一技,练到极致!

应用层面:

大数据在应用层面划分了以下几个大类:金融大数据、营销大数据、交通物流大数据、医疗大数据、教育大数据、文娱大数据等。

我们接下来以大数据科研及大数据企业两方面进行分析:

1. 大数据科研

自 2012 年大数据广泛实际应用以来,产业界和学术界在大数据技术与应用方面的研究创新不断取得突破,大数据领域的论文发表数量快速增长。

以下为 2012-2020年全球大数据论文发表数量及各国占比:

数据来源:Web of Science,2020年10月

从上图可以看出,论文发表数量在2018年达到顶峰,是2012年的5.4倍,年增长率为 32.5%,随后2019年论文数量开始下降,2020年全年数量预计较去年还会近一步下滑,这也说明随着科学研究的不断进展,大数据的相关理论体系逐渐成熟,未来学术论文发表增长速度或将放缓。

从国家来看,中国和美国仍然是大数据学术研究的核心地带。发表的论文数量遥遥领先于其他国家。未来在大数据领域,应该还是以中国和美国为首,带领大数据技术走向更高的水平。

再来看国内大数据产业的发展状况,根据工业和信息化部发布的数据显示,2019年我国以云计算、大数据技术为基础的平台类技术服务收入2.2万亿元,其中,典型云服务和大数据服务收入达3284亿元,提供服务的企业达2977家,由此可见,大数据产业发展日益壮大。

2. 大数据企业

大数据企业数量增长统计

数据来源:中国信息通信研究院,2020年10月

从上图可以看出国内大数据企业在 2014 年、2015 年呈现爆发式增长,而在 2016 年

后又有回落,这与大数据在我国的发展状况相对应。2014 年被称为大数据元年,随后在国家政策的支持下,各大数据企业应运而生,之后随着创业者的冷静,大数据企业也趋于减少。

是否有国资背景

数据来源:数据观

大数据行业虽然有国家政策的支持,但大部分还是以私企为主,具有国资背景的企业较少,只占总体的 13%。

大数据企业地域分布

数据来源:中国信息通信研究院,2020年10月

由表中数据可以得出,北京是大数据企业的“高发区”,占比为35%,其次是广东(18%),之后是上海(16%),然后是浙江(8%),所以我国大数据企业主要分布在北京、广东、上海、浙江等经济发达省份。

大数据行业应用企业类型分布

数据来源:中国信息通信研究院,2020年10月

从图中可以看出大数据涉及的行业是非常广泛的,其中以金融、医疗健康、政务为大数据行业应用的主要类型。除此之外依次是互联网,教育,交通运输,电子商务等。

大数据获投轮次分布

数据来源:中国信息通信研究院,2020年10月

从上图看出获 天使轮、A 轮 融资企业较多,说明我国大数据企业数量虽然众多,但大部分处于初级阶段,技术能力、技术落地能力有待提高。另一方面也说明投资机构对大数据市场依然充满信息,对未来估值抱有很大期望。

大数据未来发展趋势

以下观点来源:中国信息通信研究院

1. 以控制成本为主要理念

大数据自诞生以来始终沿袭着基于Hadoop或者MPP的分布式框架,形成了具备存储、计算、处理、分析等能力的完整平台,大数据分布式框架采用存储与计算耦合,使数据在自身存储的节点上完成计算,以降低交互。

但是实际业务中数据存储与计算能力要求不同且各自独立的。在存储与计算耦合的情况下,当二者之一出现瓶颈时,资源的横向扩展必然导致存储或计算能力的冗余,造成难以避免的额外成本。

存储与计算分离有效控制成本。存储与计算在数据的生命周期中剥离开,形成两个独立的资源集合。两个资源集合之间互不干涉又通力协作,使得单位资源的成本尽量减少,同时兼具充分的弹性以供横向扩展。这种模式应是未来的发展方向。

目前国内外众多厂商已深入进行了存算分离的实践。国内像阿里云使用自身 EMR+OSS产品代替原生 Hadoop 存储架构,整体费用预估下降 50% 。华为使用自身 FusionInsight+EC,存储利用率从 33% 提升至 91.6%。

国外像 Snowflake 公司提出的数据仓库服务化(DaaS),将分析能力以云服务的形式在AWS等云平台上提供按次计费的服务。

2. 自动化智能化需求紧迫

目前大数据领域的数据管理依赖人工操作,成本巨大。在基于机器学习的人工智能不断进步的情况下,更加自动化智能化的数据管理平台将会助力数据管理工作高效进行。

其中以 数据建模、数据标签、主数据发现、数据标准应用成为主要的应用方向。

3. 图分析需求旺盛

以社交网络、用户行为、网页链接关系等为代表的数据,往往需要通过“图”的形态以最原始、最直观的方式展现其关联性。

所以专注于图结构数据的图分析技术成为数据分析技术的新方向。与图分析相关的技术成为热点的产品方向,其中以图数据库、图计算引擎、知识图谱三项技术为主。

根据 DB-Engines 排名分析,图数据库关注热度在2013-2020年间增长了10倍,关注度增长排名第一。国内阿里云、华为、腾讯、百度等厂商及部分初创公司已布局这一领域。

4. 隐私计算技术热度上升

在数据合规流通需求旺盛的环境下,隐私计算技术发展火热,隐私计算为实现安全合规的数据流通带来了可能。

目前隐私计算主要分为多方安全计算和可信硬件两大流派。其中多方安全计算基于密码学理论;可信硬件依赖对安全硬件的信赖。

此外,还有联邦学习、共享学习等通过多种技术手段平衡安全性和性能的隐私保护,也为跨企业机器学习和数据挖掘提供新的解决思路。

 

责任编辑:武晓燕 来源: 五分钟学大数据
相关推荐

2020-12-24 13:26:02

大数据大数据发展

2013-07-02 15:02:56

2011-03-24 15:51:23

2017-10-21 00:02:19

大数据数据

2020-12-15 13:20:40

大数据新基建

2012-08-21 11:16:14

BYOD大数据

2018-10-31 11:06:48

2019-08-15 22:55:39

大数据数据圏数据产生量

2019-02-19 10:50:51

Java开发代码

2019-06-19 15:38:59

大数据互联网王新哲

2015-07-07 14:31:07

互联网+信锐技术深信服

2021-01-19 21:59:14

大数据物联网边缘计算

2015-09-10 10:59:34

大数据趋势

2012-09-29 09:23:32

2013-03-21 15:50:32

互联网IT网络架构电子商务

2020-11-17 08:48:36

大数据互联网科学

2016-11-07 20:29:54

金融业互联网金融大数据挖掘

2013-04-02 10:25:45

移动互联网网络发展无线网络

2019-01-04 15:59:51

大数据数据分析数据

2020-06-12 12:53:17

互联网
点赞
收藏

51CTO技术栈公众号