数目 时间 规模 要求 要求
科学 大型强子
小 慢 一般 非常高 对撞机数据
技算 TB
分析
金融 大 非常快 GB 非常高 非常高 信用卡营销
医疗 大 快 EB 非常高 非常高 病历、影
领域 像分析
物联 迈阿密戴
大 快 高 高 德 县 的 智
网 TB
慧城
互联 非常大 快 高 高 网络点击
网 PB 流入侵检测
社交 Facebook、
非常大 快 高 高 QQ 等结
网络 PB
构挖掘
移动 非常大 快 高 高 可穿戴设
设备 TB 备数据分析
史上首部
多媒 非常大 快 高 一般 大数据制作
体 PB 的 电 视 剧
《纸牌屋》
由表 2 可以看出,不同应用领域的数据规模、
用户数目以及精度要求等均存在较大差异。例如,互联网领域与人的正常活动息息相关,其数据量达
PB 级别,用户数目非常大,而且以用户实时性请求为主。与此不同,在科研领域中,其用户数目相对较少,产生的数据量级别在 TB 级。因此,对大数据后续的分析以及处理必须因地制宜,才能实现大数据价值的最大化。
3 大数据技术体系分析
大数据出现颠覆了传统数据处理的一系列技术,如大数据获取方式的改变导致数据规模迅速膨胀,相对于传统的数据库系统,其索引、查询以及存储都面临着严峻的考验,而且怎样快速地完成大数据的分析也是传统数据分析方法无法解决的。为此针对规模大、速度快、数据多样、价值密度低的大数据,本文将大数据处理技术体系总结如图 2 所示。
图 2