全球大数据市场规模及趋势分析：全球大数据储量迅猛增长

大数据(bigdata)，是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据，其规模往往达到了PB(1024TB)级。

不同机构对大数据也有不同的定义：

麦肯锡对大数据的定义：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

移动信息化研究中心对大数据的定义：大数据是帮助企业利用海量数据资产，实时、精确地洞察未知逻辑领域的动态变化，并快速重塑业务流程、组织和行业的新兴数据管理技术。

IDC认为大数据具备海量(volume)、异构(Variety)、高速(Velocity)和价值(Value)四大特性。

图表：大数据四大特性

全球大数据储量规模：2018年全球大数据储量达到33.0ZB

随着物联网、电子商务、社会化网络的快速发展，全球大数据储量迅猛增长，成为大数据产业发展的基础。根据国际数据公司(IDC)的监测数据显示，2013年全球大数据储量为4.3ZB(相当于47.24亿个1TB容量的移动硬盘)，2014年和2015年全球大数据储量分别为6.6ZB和8.6ZB。近几年全球大数据储量的增速每年都保持在40%，2016年甚至达到了87.21%的增长率。2016年和2017年全球大数据储量分别为16.1ZB和21.6ZB，2018年全球大数据储量达到33.0ZB。

2013-2018年全球大数据储量（单位：ZB，%）

数据来源：公开资料整理

预测未来几年，全球大数据储量规模也都会保持40%左右的增长率。在数据储量不断增长和应用驱动创新的推动下，大数据产业将会不断丰富商业模式，构建出多层多样的市场格局，具有广阔的发展空间。

全球大数据市场分布：中国的数据产生量约占全球数据产生量的23%

根据IDC新发布的统计数据，中国的数据产生量约占全球数据产生量的23%，美国的数据产生量占比约为21%，EMEA(欧洲、中东、非洲)的数据产生量占比约为30%，APJxC(日本和亚太)数据产生量占比约为18%，全球其他地区数据产生量占比约为8%。

全球大数据细分市场规模：软件服务占比逐年增长

资料来源：Wikibon中宏数据中心整理

大数据专业服务市场及预测

2018年，大数据行业的专业服务市场规模16亿美元，已经逐渐成为行业最主要的收入来源。

资料来源：Wikibon

大数据硬件市场规模及预测

资料来源：Wikibon

大数据软件市场规模及预测

资料来源：Wikibon

流式处理占主导地位，Kafka和Spark成为主流应用

根据数据处理的时效性，大数据处理系统可以分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。

以Hadoop为代表的批处理大数据系统需先将数据汇聚成批，经批量预处理后加载至分析型数据仓库中，以进行高性能实时查询。这类系统虽然可对完整大数据集实现高效的即席查询，但无法查询到最新的实时数据，存在数据迟滞高等问题。

以SparkStreaming、Storm、Flink为代表的流处理大数据系统将实时数据通过流处理，逐条加载至高性能内存数据库中进行查询。此类系统可以对最新实时数据实现高效预设分析处理模型的查询，数据迟滞低。

随着互联网、计算机行业快速发展，企业对数据的时效性越发重视，企业应用也逐渐由批处理数据平台向实时的流数据数据平台转移。以流数据处理为代表的Spark、kafka大数据系统近年来大放异彩，取代了Hadoop的主导地位。

图表：大数据实施流式处理特点