大数据的基本介绍

大数据的概念与来源

• 从“数据”到“大数据”

  • 2008年9 月，美国《自然》（Nature）杂志专刊——The next google,第一次正式提出“大数据”概念。

  • 2011年2月1日，《科学》（Science）杂志专刊——Dealing with data，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”。

  • 2011年5月，麦肯锡研究院发布报告——Big data: The next frontier for innovation, competition, and productivity,第一次给大数据做出相对清晰的定义：“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”

• 大数据的概念

  • 价值高

    大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。

  • 体量大

    从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。

  • 速度快

    随着现代感测、互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。

  • 种类多

    大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。

• 大数据的意义

  • 有数据可说

    在大数据时代，“万物皆数”，“量化一切”，“一切都将被数据化”。人类生活在一个海量、动态、多样的数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常见，好比放大镜、望远镜、显微镜那般重要。

  • 说数据可靠

    大数据中的“数据”真实可靠，它实质上是表征事物现象的一种符号语言和逻辑关系，其可靠性的数理哲学基础是世界同构原理。世界具有物质统一性，统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律，只要通过适当编码，均可以通过统一的数字信号表达出来。

  在大数据背景下，因海量无限、包罗万象的数据存在，让许多看似毫不相干的现象之间发生一定的关联，使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与作用现在难以进行估量，但揭示事物的相关关系无疑是其真正的价值所在。

• 大数据的来源

  杰姆·格雷（Jim Gray）提出著名的“新摩尔定律”，即人类有史以来的数据总量，每过18个月就会翻一番。

  

  大数据到底有多大？

  

  随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个概念才会应运而生。

  

  • 按产生数据的主题划分

    1. 少量企业应用产生的数据
       如关系型数据库中的数据和数据仓库中的数据等。
    2. 大量人产生的数据
       如推特、微博、通信软件、移动通信数据、电子商务在线交易日志数据、企业应用的相关评论数据等。
    3. 巨量机器产生的数据
       如应用服务器日志、各类传感器数据、图像和视频监控数据、二维码和条形码（条码）扫描数据等。

  • 按数据来源的行业划分

    1. 以BAT为代表的互联网公司
       百度公司数据总量超过了千PB级别，阿里巴巴公司保存的数据量超过了百PB级别，拥有90%以上的电商数据，腾讯公司总存储数据量经压缩处理以后仍然超过了百PB级别，数据量月增加达到10%。
    2. 电信、金融、保险、电力、石化系统
       电信行业数据年度用户数据增长超过10%，金融每年产生的数据超过数十PB，保险系统的数据量也超过了PB级别，电力与石化方面，仅国家电网采集获得的数据总量就达到了数十PB，石油化工领域每年产生和保存下来的数据量也将近百PB级别。
    3. 公共安全、医疗、交通领域
       一个中、大型城市，一个月的交通卡口记录数可以达到3亿条；整个医疗卫生行业一年能够保存下来的数据就可达到数百PB级别；航班往返一次产生的数据就达到TB级别；列车、水陆路运输产生的各种视频、文本类数据，每年保存下来的也达到数十PB。
    4. 气象、地理、政务等领域
       中国气象局保存的数据将近10PB，每年约增数百TB；各种地图和地理位置信息每年约数十PB；政务数据则涵盖了旅游、教育、交通、医疗等多个门类，且多为结构化数据。
    5. 制造业和其他传统行业
       制造业的大数据类型以产品设计数据、企业生产环节的业务数据和生产监控数据为主。其中产品设计数据以文件为主，非结构化，共享要求较高，保存时间较长；企业生产环节的业务数据主要是数据库结构化数据，而生产监控数据则数据量非常大。在其他传统行业，虽然线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增，但是数据量还处于积累期，整体体量都不算大，多则达到PB级别，少则数十TB或数百TB级别。

  • 按数据存储的形式划分

    1. 结构化数据
       简单来说就是数据库，如企业ERP、财务系统、医疗HIS数据库、教育一卡通、政府行政审批、其他核心数据库等数据。
    2. 非结构化数据
       包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等数据。

  • 常用的大数据获取途径

    1. 系统日志采集
       可以使用海量数据采集工具，用于系统日志采集，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等，这些工具均采用分布式架构，能满足大数据的日志数据采集和传输需求。
    2. 互联网数据采集
       通过网络爬虫或网站公开API等方式从网站上获取数据信息，该方法可以数据从网页中抽取出来，将其存储为统一的本地数据文件，它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。除了网站中包含的内容之外，还可以使用DPI或DFI等带宽管理技术实现对网络流量的采集。
    3. APP移动端数据采集
       APP是获取用户移动端数据的一种有效方法，APP中的SDK插件可以将用户使用APP的信息汇总给指定服务器，即便用户在没有访问时，也能获知用户终端的相关信息，包括安装应用的数量和类型等。单个APP用户规模有限，数据量有限；但数十万APP用户，获取的用户终端数据和部分行为数据也会达到数亿的量级。
    4. 与数据服务机构进行合作
       数据服务机构通常具备规范的数据共享和交易渠道，人们可以在平台上快速、明确地获取自己所需要的数据。而对于企业生产经营数据或学科研究数据等保密性要求较高的数据，也可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。

大数据的技术支撑

• 存储：存储成本的下降

  • 在云计算出现之前，数据存储的成本是非常高的。

    例如，公司要建设网站，需要购置和部署服务器，安排技术人员维护服务器，保证数据存储的安全性和数据传输的畅通性，还会定期清理数据，腾出空间以便存储新的数据，机房整体的人力和管理成本都很高。

  • 云计算出现后，数据存储服务衍生出了新的商业模式，数据中心的出现降低了公司的计算和存储成本。

    例如，公司现在要建设网站，不需要去购买服务器，不需要去雇用技术人员维护服务器，可以通过租用硬件设备的方式解决问题。

  存储成本的下降，也改变了大家对数据的看法，更加愿意把1年、2年甚至更久远的历史数据保存下来，有了历史数据的沉淀，才可以通过对比，发现数据之间的关联和价值。正是由于存储成本的下降，才能为大数据搭建最好的基础设施。

• 计算：运算速度越来越快

  海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节，如果计算速度不够快，很多事情是无法实现的。所以，在大数据的发展过程中，计算速度是非常关键的因素。

  • 分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光；
  • HDFS为海量的数据提供了存储；
  • MapReduce则为海量的数据提供了并行计算，从而大大提高了计算效率；
  • Spark、Storm、Impala等各种各样的技术进入人们的视野。

• 智能：机器拥有理解数据的能力

  大数据带来的最大价值就是“智慧”，大数据让机器变得有智慧，同时人工智能进一步提升了处理和理解数据的能力。

  • 谷歌AlphaGo大胜世界围棋冠军李世石
  • 阿里云小Ai成功预测出《我是歌手》的总决赛歌王
  • 小米的智能语音助手“小爱同学”
  • 微信上与大家聊天的微软小冰

大数据的应用场景

• 医疗行业

  医疗行业拥有大量的病例、病理报告、治愈方案、药物报告等，通过对这些数据进行整理和分析将会极大地辅助医生提出治疗方案，帮助病人早日康复。可以构建大数据平台来收集不同病例和治疗方案，以及病人的基本特征，建立针对疾病特点的数据库，帮助医生进行疾病诊断。

  医疗行业的大数据应用一直在进行，但是数据并没有完全打通，基本都是孤岛数据，没办法进行大规模的应用。未来可以将这些数据统一采集起来，纳入统一的大数据平台，为人类健康造福。

• 教育行业

  信息技术已在教育领域有了越来越广泛的应用，教学、考试、师生互动、校园安全、家校关系等，只要技术达到的地方，各个环节都被数据包裹。

  通过大数据的分析来优化教育机制，也可以作出更科学的决策，这将带来潜在的教育革命，在不久的将来，个性化学习终端将会更多地融入学习资源云平台，根据每个学生的不同兴趣爱好和特长，推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向。

• 农业行业

  借助于大数据提供的消费能力和趋势报告，政府可为农业生产进行合理引导，依据需求进行生产，避免产能过剩造成不必要的资源和社会财富浪费。

  通过大数据的分析将会更精确地预测未来的天气，帮助农民做好自然灾害的预防工作，帮助政府实现农业的精细化管理和科学决策。

• 环境行业

  借助于大数据技术，天气预报的准确性和实效性将会大大提高，预报的及时性将会大大提升，同时对于重大自然灾害如龙卷风，通过大数据计算平台，人们将会更加精确地了解其运动轨迹和危害的等级，有利于帮助人们提高应对自然灾害的能力。

• 智慧城市

  大数据技术可以了解经济发展情况、各产业发展情况、消费支出和产品销售情况等，依据分析结果，科学地制定宏观政策，平衡各产业发展，避免产能过剩，有效利用自然资源和社会资源，提高社会生产效率。大数据技术也能帮助政府进行支出管理，透明合理的财政支出将有利于提高公信力和监督财政支出。

• 零售行业

  零售行业大数据应用有两个层面，一个层面是零售行业可以了解客户的消费喜好和趋势，进行商品的精准营销，降低营销成本。另一个层面是依据客户购买的产品，为客户提供可能购买的其他产品，扩大销售额，也属于精准营销范畴。

  未来考验零售企业的是如何挖掘消费者需求，以及高效整合供应链满足其需求的能力，因此，信息技术水平的高低成为获得竞争优势的关键要素。

• 金融行业

  1. 银行数据应用场景
     利用数据挖掘来分析出一些交易数据背后的商业价值。

  2. 保险数据应用场景
     用数据来提升保险产品的精算水平，提高利润水平和投资收益。

  3. 证券数据应用场景
     对客户交易习惯和行为分析可以帮助证券公司获得更多的收益。

大户数的发展与需求

大数据正带来一场信息社会的变革。大量的结构化数据和非结构化数据的广泛应用，致使人们需要重新思考已有的IT模式；

与此同时，大数据将推动进行又一次基于信息革命的业务转型，使社会能够借助大数据获取更多的社会效益和发展机会；

庞大的数据需要我们进行剥离、整理、归类、建模、分析等操作，通过这些动作后，我们开始建立数据分析的维度，通过对不同的维度数据进行分析，最终才能得到想到的数据和信息。

因此，如何进行大数据的采集、导入/预处理、统计/分析和大数据挖掘，是“做”好大数据的关键基础。

大数据处理方法

1. 大数据的采集

   • 数据抓取
   • 数据导入
   • 物联网传感设备自动信息采集

2. 导入/预处理

   • 数据清理：主要是达到数据格式标准化、异常数据清除、数据错误纠正、重复数据的清除等目标。
   • 数据集成：是将多个数据源中的数据结合起来并统一存储，建立数据仓库。
   • 数据变换：过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。
   • 数据归约：寻找依赖于发现目标的数据的有用特征，缩减数据规模，最大限度地精简数据量。

3. 统计与分析

   • 统计与分析主要是利用分布式数据库，或分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求，在这些方面需要使用不同的框架和方法。
   • Hadoop：大数据的核心，主要组成部分包括：mapreduce（处理）和HDFS（存储）；
   • Hbase：常用数据库；spark：实时数据处理框架；sqoop：数据导入导出；flume：日志采集工具
   • Hive：数据仓库，必须有SQL基础，可以做离线的数据分析，把复杂的mapreduce代码转化为简单的sql语句，而且可以处理的数据类型更加丰富，对接的工具也更多，是整个大数据学习中非常主要的一部分。
   • Scala语言主要用来开发spark代码，调用spark的相关API方法，还有spark SQL和spark streaming的开发，主要对接Kafka进行数据的消费，然后进行流数据处理。结果可以保存在本地数据库，也可以保存在大数据平台下。
   • 在大数据的统计与分析过程中，主要面对的挑战是分析涉及的数据量太大，其对系统资源，特别是I/O会有极大的占用。

4. 大数据挖掘

   • 分类：一种重要的数据分析形式，根据重要数据类的特征向量值及其他约束条件，构造分类函数或分类模型，目的是根据数据集的特点把未知类别的样本映射到给定类别中。

     朴素贝叶斯算法、支持向量机SVM算法、AdaBoost算法、C4.5算法、CART算法

   • 聚类：目的在于将数据集内具有相似特征属性的数据聚集在一起，同一个数据群中的数据特征要尽可能相似，不同的数据群中的数据特征要有明显的区别。

     BIRCH算法、K-Means算法、期望最大化算法（EM算法）、K近邻算法

   • 关联规则：索系统中的所有数据，找出所有能把一组事件或数据项与另一组事件或数据项联系起来的规则，以获得预先未知的和被隐藏的，不能通过数据库的逻辑操作或统计的方法得出的信息。

     Apriori算法、FP-Growth算法

   • 预测模型:一种统计或数据挖掘的方法，包括可以在结构化与非结构化数据中使用以确定未来结果的算法和技术，可为预测、优化、预报和模拟等许多业务系统所使用。

     序贯模式挖掘SPMGC算法

大数据环境下存在怎样的信息泄露问题

• 普遍存在的信息安全问题

  用户账户密码泄露、用户个人非公开信息被窃取

• 大数据环境下的问题

  由于大数据的跨域联系性，导致匿名信息的重新身份化，使得人肉搜索成为可能。

  同时由于大数据的数据量大，导致一旦服务商的服务器遭到侵袭而可能导致大量用户私人信息泄露，国内发生的“查开房”就是此类问题的典型案例。

  再就是非隐私数据的整合可能产生敏感的个人信息，例如性取向、财务状况等。

  最后就是大数据分析结果可能被滥用，可能会造成一些社会恐慌。例如美国大规模枪击事件已经产生试图确定那些人有可能采取付诸行动的暴力冲动，这些线索被认为存在于Facebook和其他社交媒体中，与一定模式相匹配的任何人都变成了犯罪嫌疑人。

需要作出什么样的设计（技术、工具等）来阻止

现阶段

• 社会方法

  • 隐私保护法

    制定个人信息保护相关的法律法规和标准，规范社会、政治、经济活动、网络空间中处理个人信息的行为。立法保护隐私的代表是欧盟。但是各国政府对个人隐私的刚性便捷难以达成共识，隐私保护标准难以统一。因此，目前想要在国别标准差异的法规基础上制定出一套切实可行的管理规则还异常艰难。

  • 企业、行业自律

    指的是企业在控制人主动单方面地作出信息保护的承诺。行业自律模式的代表是美国，美国保护个人信息行业自律模式主要有建议性的行业指引和网络隐私认证计划两种。如美国在线隐私联盟在1998年公布的在线隐私指引属于建议性的行业指引模式，美国的Trust认证属于网络隐私认证计划模式。然而，行业协会无权惩罚违规企业。那么这些建议性模式并不能够正真确保行业合规，保护用户个人隐私。

• 技术方法

  • 基于数据加密的方法

    主要思想是通过对用户数据进行加密，使得隐私信息的窥探者无法通过密文推测出用户的隐私信息，包括基于对称加密技术方案，基于公钥加密技术方案，基于启发式加密方案。然而，这几种加密方法的局限性在于数据使用性受到很大的限制，这是因为：

    1. 基于对称加密的方案在数据使用上受到很大的限制，仅能支持有线功能操作
    2. 尽管基于公钥加密的方案在数据使用上不受限制，可支持任何功能操作，如同态加密方案，单现有的全同态方案密文膨胀率大，计算复杂性高等问题，导致现有的方案在大数据环境下不具有使用性
    3. 虽然启发式的加密方案计算效率高，支持功能操作比较灵活，但方案安全性并不能证明

  • 基于数据匿名与失真的方法

    匿名方法的主要思想是攻击者基于目标背景知识在倪敏该数据中无法表示出单个个体的方法。k匿名方案指攻击者基于匿名化数据进行匹配识别时，只要有k个候选项符合，即目标用户信息隐私泄露概率小于1/k。失真方法主要思想是对于用户数据进行随机化修改，使得攻击者不能准确的推测出原始真实用户数据，从而达到保护用户信息隐私目的。

    尽管基于数据匿名与失真是目前隐私保护的关键技术，但在大数据中，它存在去“去身份”信息可以“重新身份”的问题，如由生日、性别、邮编组成的“三重标识符”能够用来唯一标识公开数据库中只要87%的美国公民。

    所以，在大数据环境中用户信息隐私保护的问题需要进一步要就与探索，依靠单一的社会方法或技术方法都不能完全解决问题。

可改进

• 社会方法

  • 隐私保护立法

    借鉴欧盟针对大数据环境下的隐私保护立法的实践经验，研究与分析我国用户信息隐私保护中的共性与个性问题，针对大量高发且严重影响的问题与环节，为制定出既有预防性质又具有救济性质的隐私保护法律提供参考和理论依据。

  • 行业自律与认证

    借鉴美国的经验，同时分析研究世界各国在大数据环境下行业自律与认证的未来发展趋势；针对我国相关行业与企业的特点，特别是与大数据相关的网络服务方、数据挖掘的第三方以及其他数据涉及方的行为特征相结合，为制定切实可行与有效的行业自律或认证方案提供参考。

• 技术方法

  • 匿名与加密技术

    一是研究分析现有的技术方法在大数据环境下的可行性以及组合使用的可能性；二是研究现有技术方法的完善方案与改进技术。匿名技要既能够保护隐私信息，同时又要保证在挖掘算法中的数据可用性。加密技术主要是用于掌握用户数据的单位将用户数据加密后委托给数据挖掘第三方的情形。目前，全同台价目技术能够对加密的数据在密文状态下任意计算，但现有方案不具有实用性，所以需要进一步研究基于童泰加密技术设计用户信息隐私保护方案。

  • 追踪与删除技术

    当用户或者隐私保护的第三方发现隐私信息被泄露后，相关人员能够对此信息的泄露路径进行追踪，并对隐私信息泄露传播路径中的关键节点或者是数据库进行敏感信息的删除。此项功能既要通过技术手段，还需要相关社会的支持。

  • 统计识别技术

    用户或者是委托的隐私保护第三方通过对大数据环境下的各种信息的扫描与实时统计分析，识别可能的用户信息隐私问题，对具有高概率的用户隐私保护问题提出预警，从而保证相关各方能采取及时有效的防范措施。

    样本主要从两方面收集：

    1. 从各种媒体包括网络媒体上所报道的用户信息隐私泄露问题中收集样本，同时借助社会关系网络从政府机构、法院、企业搜集能够公开的数据，进行统计分析。
    2. 采取实验室研究，建立虚拟的大数据环境，然后采取各种方法进行模拟攻击，从而生成大量的样本数据，从中进行统计分析，寻找关键环节与要素，以及建立相应的问题识别模型。