Meet Big Data

2020/07/10 Big Data 共 802 字,约 3 分钟
PlanDoCheckAction

初识大数据

什么是大数据

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据主要解决海量的数据存储和分析计算的问题。

这里的海量指的是 TB、PB、EB 级及以上的数据量。


大数据的特性是什么

大数据的特征可用五个 V 去概况,即:Volume(数据量大)、Velocity(数据产生和处理速度快)、Variety(数据类型多样)、Value(价值密度低,商业价值高)、Veracity(数据准确和可信赖程度)

Volume(数据量大)

数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是 P(约 1000 个 T)、E(约 100 万个 T)或 Z(约 10 亿个 T)的级别。

Velocity(数据产生和处理速度快)

数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

Variety(数据类型多样)

数据的种类和来源非常多样。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

Value(价值密度低,商业价值高)

数据价值密度相对较低,即数据量非常大,但有价值的信息相比下来会很少,或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用,信息感知无处不在,如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。

Veracity(数据准确和可信赖程度)

数据准确和可信赖程度说白了就是数据的真实性、质量。


大数据的应用场景

大数据的应用场景有很多,例如:医疗大数据、生物基因大数据、金融大数据、电商和零售大数据、物流和交通大数据和教育大数据等等。


大数据部门组织结构

文档信息

Search

    Table of Contents