美国大数据的发展现状

美国大数据的发展现状（精选9篇）

美国大数据的发展现状 第1篇

从美国总统大选看大数据时代的数据新

闻报道

数据新闻是在大数据时代兴起的一种跨学科、跨领域的新闻生产方式,它需要新的思维方式与多种能力的支撑。本文结合XX年美国总统大选报道,着重分析了英美各大主流媒体开展数据新闻报道的流程与特点。还探讨了社会化媒体对于数据新闻的推动作用,以及数据新闻的兴起与发展给新闻业者所带来的挑战。

在当前技术高速发展的信息化时代,信息(数据)规模的爆炸性增长是显着特征之一。从近年发展情况看,“大数据”主要被人们用来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。“大数据”具有规模大、价值高、交叉复用、全息可见等特征。当前对于“大数据”的关注与运用主要集中在IT业、市场营销、公共健康等领域,但事实上大数据的影响也波及到传媒业,数据新闻(Data Journalism)就是在大数据时代兴起的一种新的新闻生产方式。

数据新闻的报道流程

有关数据新闻的报道流程,不同的媒体与从业者进行了不同的概括、归纳。XX年8月,着名记者、数据驱动型新闻(data—driven journalism)项目负责人米尔科·洛伦兹提出了进行此类新闻报道的四个步骤,即挖掘数据——过滤数据——数据可视化——新闻报道制作完成。与此类似的是《卫报》的数据新闻编辑、数据博客Datablog负责人西蒙·罗格斯在《数据新闻分解步骤:在你见到的数据背后我们都做了什么》一文中的介绍。但他所展现的是一个多线程、全方位的报道流程:一方面处理数据,另一方面不断检验、质询数据的信度与价值,最后通过多种手段与渠道发布完成的报道。而伯明翰城市大学教授保罗·布拉德肖在《数据新闻的倒金字塔结构》中提出了如图所示的“双金字塔模型”(见图一),更全面地揭示了整个报道过程中,数据在质量以及传播上的变化。布拉德肖以倒金字塔来表示数据处理的过程,包括数据汇编、数据整理、了解数据和数据整合等四个部分。数据处理的最终目的是为了完成数据的可视化并实现有效传播。而数据新闻的传播则以“正金字塔结构”进行,包括了可视化、叙事化、社会化、人性化、个人订制化和使用等六个步骤。

事实上,不管是上述哪一种归纳,获取数据、处理数据、呈现数据都是数据新闻报道中不可或缺的三个阶段。本文结合英美主流媒体“XX年美国总统大选”的数据新闻报道来对这三个阶段进行解读。

1.多渠道获取海量数据。

数据新闻通常有两种方式:先有问题,然后根据问题寻找相关数据;或是从海量数据中发现、提出问题。无论采用哪种方式,海量数据都是数据新闻报道的基础。从业界实践来看,它主要包括从政府、企业、机构等公开的数据库中获取的二手数据和由媒体自行调查或抓取的一手数据。前者成本低廉且可靠程度高,是目前最主要的数据来源。以《卫报》“XX年美国总统大选专辑”数据新闻报道为例,在整个专辑的55篇报道中,不仅有与总统选举直接相关的选票数据、各州宣布选举结果的时间、竞选资金募集情况等内容,还涵盖了各种经济数据(如财政预算、债务、美国在对外战争中的花费)、美国人口基本统计特征数据以及各种社会数据等诸多相关背景资料。除了从政府公开的数据库中获得的二手数据之外,《卫报》还积极利用官方网站进行用户调查以获得一手数据。比如针对刚刚出炉的大选结果向全球用户征询意见,其后根据收到的用户态度反馈数据,专门制作了《奥巴马再次当选美国总统:全球民众的态度》动态数据地图。

2.全面谨慎地处理数据。

获取海量数据仅仅意味着数据新闻的开端。和其他信源一样,记者不应盲从,而需要对数据保留怀疑的态度。XX普利策调查性报道奖得主佩奇·约翰强调:所有的数据必须有来源,并经过交叉验证。面对海量数据,记者首先应评价数据的质量与意义,需要认真考察诸如:数据来源是否可靠,时效性如何,出于何种目的、采用什么方法收集而来,包含了怎样的主题,应选择哪些数据等一系列问题。其次,对数据进行处理,包括去除不必要的、干扰性的数据,清理其中的各种误差,并将来源纷杂、格式各异的数据转换为统一格式。最终确定需要计算和呈现的数据。值得注意的是,在报道中并非使用的数据越多,故事就能讲得越好,有时候凭借一个简单的数据就能完成一篇好新闻。在完成对数据的运算后,还需要检验其结果的合理性,如果有异于常理的话则需要重新运算。

3.多元创新地呈现数据。

能够对数据进行更准确的分析、更深层的解读和更明晰的呈现是数据新闻的独特优势。数据新闻通常运用可视化技术,以信息图表的形式发布。与文字报道相比,信息图表能够化繁为简,并兼具形象化与趣味性,尤其适用于表达数据与地理、时间信息。它可以提示新闻要点、解析事件进程、揭示各类关系、展现分布状态等等。信息图表更符合视觉传播时代用户的习惯与偏好。从目前发展趋势看,除了一般的静态信息图表之外,交互式信息图表(Interactive Infographic)和动态信息图表(Motion Graphic)在数据新闻中的应用也日渐增多。如《华尔街日报》制作的《XX年美国总统大选投票结果》报道就是在美国地图上以红蓝两色分别代表了民主党与共和党,其力量对比一目了然。而且当用户将鼠标移到某一州所在的位置时,地图上就会立刻出现该州的投票数据,非常直观清晰。和静态图表相比,交互式图表能够通过一个简洁界面向用户传递大量信息。这种呈现形式更具个_生化和参与性,可以由用户自行点选所关心的内容进行了解,而不只是简单地推送信息。除了在信息图表中运用文字、图形、图表、动画之外,有的媒体还创新性地引入了视频,从而有效拓宽了数据新闻的呈现形式。如美国国家公共广播网(NPR)对全美各州的总统大选资金使用情况进行了梳理、统计,将这些带有地理位置信息的数据加以整合,并以视频的形式进行了直观生动的展示。

数据新闻的推手与挑战

社会化媒体的兴盛给新闻生产与消费模式带来了巨大冲击。在社会化媒体与专业媒体融合的大趋势下,借助互联网,数据新闻搭上了社会化的快车。社会化媒体对数据新闻的助力主要表现在两个方面:首先,社会化媒体是数据的重要来源之一。社会化媒体可谓是数据的“富矿”,记者可以从其上抓取数据,也可以通过它展开调查获取一手数据。其次,专业媒体完成的报道可以经由社会化媒体分享、传播并进一步扩大其影响。《卫报》“XX美国总统大选专辑”中有多篇报道就是通过抓取、分析Twitter上的信息制作而成。如《奥巴马在推特上赢得了大选》就是通过分析在Twitter上抓取的关键词:奥巴马、罗姆尼、瑞恩、拜登等,来预测大选的结果。在大选结果公布之后,《卫报》还运用大选当天Twitter用户主动发布的个人投票结果来统计用户对于奥巴马再次当选的态度,并根据所获取的一手数据进行了视频报道。该视频于大选结束的次日上传到Youtube,仅仅3天点击量就已经超过XX人次。同时,《卫报》也将社会化媒体视为传播其新闻报道的重要渠道之一,该专辑中的每一篇报道都设置有按钮,以方便用户在浏览时将其一键式分享到Facebook、Twitter、Google+和Linkedln开发的In share等多个平台。事实上,通过对于社交化的强调,可以让更多的用户参与到数据新闻的制作与传播中来,而个性化与社会化相结合的战略也正是此类新闻未来的发展方向。

数据新闻报道是一个综合、系统的过程,它需要新的思维方式与多种能力的支撑。其中,处理数据和设计、制作、发布信息图表的能力对于新闻业者的挑战尤为明显,而对于这些能力的培养也应该成为新闻教育未来的方向和重点之一。

美国大数据的发展现状 第2篇

2015年,国务院印发《促进大数据发展行动纲要》,明确系统部署了大数据发展工作。

2015年,国务院办公厅出台《关于运用大数据加强对市场主体服务和监管的若干意见》要求“充分运用大数据先进理念、技术和资源,加强对市场主体的服务和监管,推进简政放权和政府职能转变,提高政府治理能力”。

2016年,国家“十三五”规划纲要明确指出,实施国家大数据战略,把大数据作为基础性战略资源,全面实施大数据发展行动,加快推动数据资源共享开放和开发应用,助力产业转型升级和社会治理创新。

2016年,住房和城乡建设部发布的《2016~2020年建筑业信息化发展纲要》指出,全面提高建筑业信息化水平,增强大数据应用能力。

看美国大数据技术与业务发展 第3篇

关键词：大数据,美国,科技政策

1 引言

当前, 大数据正在引发全球范围内深刻的技术和商业变革。为推动我国大数据技术与业务的发展, 学习借鉴美国政府、企业、研究机构等部门发展大数据的相关经验和做法, 笔者通过参加工业和信息化部组织的“美国大数据技术与业务高级培训班”, 与美国政府组织、科研单位以及众多IT企业进行了交流。其中, 美国政府组织包括美国联邦贸易委员会、美国信息与技术项目办公室等;科研单位包括加州大学、纽约大学数据科学中心、IBM沃森研究中心等;IT企业包括亚马逊、IBM、SAP、惠普、思科、甲骨文、苹果、Cloudera、日立美国数据公司等IT各领域龙头企业。

2 美国业界对大数据的认识

2.1 大数据就是具备“4V”特征的数据

翻一翻关于“大数据”的专业书籍, 对其的解释说法很多, 而美国业界专家对“什么是大数据?”已有统一认识, 大数据具备“4V”特征:一是数量巨大 (Volume) 。目前的信息系统数据处理量大概处于T B级别, 而未来的大数据处理能力需要扩展到以PB级别为主。二是类型多样 (Va r ie t y) 。大数据不是单一的结构化数据, 还包含了大量非结构化数据 (图片、文本、视频、声音等) 。未来, 非结构化数据将占主流。三是变化快速 (Velocity) 。大数据的变化快, 并且要求快速处理才能获得应有价值。四是大量价值 (Value) 。大数据发展的核心是利用数据产生价值, 主要体现在不同行业数据的融合使得以往的数据再次产生价值, 数据的交易能够产生新的商业模式, 取得相应的价值。大数据的本质是大量的时时刻刻产生在人们生活和工作中的有用信息, 包括数字、图片、文本、视频、声音等各种形式的信息, 这些信息广泛存在于生物界甚至是机器之间。之所以人类到现在才提出“大数据”这个概念, 主要归功于世界电子行业和互联网技术的发展, 人类有了采集、储存、分析及运用这些庞大信息的能力, 即大数据技术。

2.2 大数据技术与传统数据分析有相当的不同

传统数据统计工作主要包括数据的采集、处理分析及展示。大数据技术与传统数据分析技术本质上都是一样的, 无非都是从数据采集到数据运用的一个处理过程。但大数据处理需要更多更复杂的技术:

一是数据存储方面。不同于传统数据处理, 大数据处理包括4个关键环节:数据采集、数据存储、数据计算与分析、数据展现。其中, 数据存储技术是大数据处理技术中至关重要的一个环节, 而这在传统数据处理中并不是问题。受大数据数量大、变化快等特性的要求, 数据存储技术需要包括:极高的并发读写速度, 海量数据的高效率存储和访问, 高可扩展性和高可用性。

二是数据计算与分析方面。传统数据分析处理的是结构化数据, 而大数据计算与分析将面临处理大量非结构化数据的困难。处理的复杂性增加了难度, 从而会影响速度。目前, 大数据计算分析的基本办法是将大量数据分散到多个节点上, 将计算并行化, 利用多机的计算资源, 从而加快数据处理的速度。目前, 基于Map Reduce技术的开源实现Hadoop是业界大数据并行计算的常见平台, 被谷歌、Cloudera等互联网企业广泛使用。

2.3 推动大数据业务发展面临四大障碍

这两年, 大数据在我国兴起的同时受到了学界与业界不同声音的质疑, 政府在推动大数据业务发展过程中明显感受到从数据采集到运用过程中障碍重重。尽管美国在高技术领域发展方面一直处于全球领先地位, 又是大数据市场运用的主要推手, 然而, 美国现阶段发展大数据业务同样面临以下困扰:数据的公开性问题;个人隐私保护问题;国家信息安全问题;跨境数据流动问题等。可以说, 在美国大数据发展也仍处于初期阶段, 在技术和非技术层面有待解决的问题还很多, 困难还很大。美国政府正在试图寻找有效地解决方案。例如, 对于个人隐私保护方面, 美国联邦贸易委员会提倡行业建立公共信息平台, 以避免企业与个人之间就个人隐私问题上产生纷争。美国国家信息和项目办公室正在对美国各政府机构之间的信息共享、互联互通, 以及跨境数据流动问题积极协调。对于美国业界, 大数据运用是互联网信息技术发展到一定阶段的必然, 政府、学者、企业都不约而同地认为他们有责任也有信心攻克这些难题。

2.4 大数据业务的运用可无限想象

美国大数据应用的成功案例不仅涉及到金融、电信、智能办公、医疗、教育、交通等与社会民生密切相关的领域, 而且还有如超市仓储、销售货品、航空调度、农场收割、体育竞技、动漫影视制作等特别的、小众的商业和生活领域。例如, Cisco运用云和大数据技术创造的智能办公环境, 最大限度地节约能源方案;SAP利用大数据在足球场上培养球员并实现一场球赛的胜利;IBM沃森智能机器人利用大数据学习成为超过人类智慧的最强大脑;小镇农场利用大数据实现使用无人收割机进行农作物收割等。IT企业展示了众多的运用案例, 有的还只是概念, 但大部分已实现或有了清晰可行的实现路径。大数据时代将以往只有在科幻荧幕上看到的生活、工作和学习场景真正搬到现实中来。

3 美国如何推动大数据技术与业务发展

3.1 国家高度重视, 行业达成共识

美国奥巴马总统于2012年3月宣布“大数据计划”, 并将“大数据”发展上升为美国国家战略, 并宣布第一轮大数据研究项目开始。2013年11月12日, 白宫科学技术政策办公室 (OSTP) 和网络与信息技术研究开发计划 (NITRD) 发布大量新的大数据合作项目, 刺激私营领域对联邦数据的兴趣, 相关项目属于白宫发起的“从数据—知识—行动”获得, 将分别对医疗服务、能源与交通、网络安全、前沿技术研究、更大的软件分析平台等领域进行研究。

3.2 政企研三方分工明确, 界面清晰

在美国, 政府主要在制定战略方针、协调政府组织开放数据源、在公共安全、个人隐私保护方面制定或修正法案、宣传推广先进理念、提供产业良性发展的环境等方面发挥作用;高校及研究机构主要专注于理论研究, 对关键性核心技术进行前沿性科研;而企业则进一步创新技术、将技术市场化、产品化, 最终将产品和服务推向市场和公众, 运用于社会。简而言之, 研究机构致力于技术研发, 企业致力于推广产品和应用, 而政府专注于协调问题、解决纠纷, 三者权责明晰、互不干扰。

3.3 技术创新是根本, 来自于以人为本的激励机制

创新思维是推动高技术发展的源动力。在硅谷, 有著名的风险投资一条街。任何具有创新性的点子一旦形成, 可马上作为个人的成果赢得风险投资的资金支持, “思维+技术+资金”的良性循环实现了个人成功与社会进步的双赢, 从而为培养创新思维提供了生根的土壤。大数据技术的发展离不开硅谷众多的IT企业, 而这里处处能看到技术专家创新的本能。与此同时, 伯克利大学、斯坦福大学、麻省理工学院等全球最顶尖的大学集中了全球最优秀的人才, 求真务实、以人为本的研发环境保障了大量的专家学者献身于大数据技术的理论基础研究和实验。技术创新是高技术产业发展的根本, 培育业内各个环节保持长盛不衰的创新氛围, 关键在于有一个以人为本的激励机制。

4 推动我国大数据技术与业务发展的几点建议

我国大数据技术与业务未来将如何去推动发展呢?除了有必要培养业界“求真务实、戒骄戒躁、勇于创新”的大环境之外, 还要做以下工作:

一是各层面主体要统一认识、分工明确、协同推进。美国已将“大数据”发展上升为美国国家战略, 由隶属于白宫的国家协调办公室 (NCO) 进行统一协调部署, 向各有关单位分配每年的财政拨款, 负责每周召集政府、企业、科研单位召开项目进度沟通例会, 交流工作进展及未来发展。在NCO的协调下, 各部门彼此了解研发项目, 大大减少重复建设的可能性。我国应该借鉴其经验, 将推动大数据发展上升到国家战略层面, 由政府成立多部门共同参与的协调机构, 强化顶层设计, 政、企、研分工明确, 各尽其职, 协同推进。

二是要努力打通大数据业务发展在非技术层面存在的障碍。在政务数据开放、数据安全等方面建立相关平台和制度, 打通数据断层, 建立信息共享平台。在保护个人隐私、国家信息安全、商业机密等方面完善政策法规, 促进商业数据和个人数据的开放与共享。做好对敏感和要害数据的监管工作。

三是尽快提高我国中小企业信息化建设水平。中小企业将是大数据时代的信息主要来源, 其信息化水平将直接决定大数据行业的发展步伐。鼓励培育我国中小企业的信息化平台建设, 不断推动中小企业生产和管理模式的信息化建设, 逐步提高企业对大数据的存储和处理能力。

从政府到企业的美国大数据战略 第4篇

美国大数据研究学者表示，如今是大数据大行其道的世界，大数据可以带来巨大的成就，在军事、经济及其他领域中，决策将日益基于数据和分析而做出，而并非基于经验和直觉。正如《孙子兵法》所说：“知彼知己，百战不殆”。所谓知者，乃数据也，数据要“未卜先知”。在大数据时代，“知彼知己”、“未卜先知”能够更加容易地实现。

白宫里的大数据战略

如今，美国已进入“大数据”时代。“大数据”对信息爆炸时代的崭新描述，它的基本单位是“太”（TB），而1000个“太”则等于一“拍”（PB）。这个单位有多大？举个例子，美国国会图书馆是世界上最大的图书馆之一，它所有印刷品的信息量加起来只有15太，而全美国仅在2010年一年的新增数据量就足足有3500拍，这比13亿中国人人手一本1500页的书加起来的信息量还要大。

奥巴马政府意识到大数据技术的重要性，将其视为“未来的新石油”。2012年3月，奥巴马政府在白宫网站发布了《大数据研究和发展倡议》。2012年5月，美国数字政府战略发布，更是提出要通过协调化的方式，以信息和客户为中心，改变联邦政府工作方式，为美国民众提供更优的公共服务。其中关键，就是政府必须保证美国民众可以随时随地通过任何平台或设备获取政府信息和公共服务。美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等六个联邦部门和机构承诺，将投入超过2亿美元资金用于研发“从海量数据信息中获取知识所必需的工具和技能”。

美国最重要的数据开放平台就是奥巴马政府在2009年推出的Data.gov，Data.gov也是美国“开放政府”承诺的关键部分。依照原始、地理数据和数据工具三个门类，涵盖了农业、 气象、金融、就业、人口统计、教育、医疗、交通、能源等大约50个门类，汇集了“从家庭和企业能耗趋势分析到全球实时地震通知等，甚至还可以查询从好奇号火星漫步者发回来的数据中得知火星的天气情况”。

为了确保美国民众能方便快捷地找到政府服务栏目，美国在各联邦政府层面实施了“数字分析项目”，“这是政府IT部门第一次摸清公众都在网站上寻找什么信息、在哪里寻找这些信息，以及他们是否能够顺利找到信息等情况。”政府IT部门还对联邦政府网站在移动设备上的使用进行了优化，并开发了移动应用程序，确保美国公民随时、随地，通过任何设备都能获取政府信息。

大数据战略在企业

除了政府，美国企业也同样拥有对于数据重视和应用的历史传统。

早在大数据概念火热起来之前，美国信息技术产业在大数据产业已经有了很多技术积累，这使得美国的大型信息技术企业可以迅速转型为大数据企业。有的企业自身是大数据技术的推出者，谷歌就是典型代表。大数据核心技术Hadoop是雅虎员工Doug Cutting根据谷歌2003年发布的学术论文研究而来。有的企业则通过收购业内已经存在的大数据企业来建立大数据业务，典型代表是IBM。自2005年以来，IBM出资160亿美元收购了超过30家大数据企业。大数据不同于传统的结构化数据，而是充斥了非结构化数据和半结构化数据，美国在结构化数据库领域有数据库行业的领头羊甲骨文公司，但甲骨文公司也推出了大数据业务。甲骨文公司成为了业界首个以全面、软硬件集成的产品满足企业关键大数据需求的公司。它可帮助客户进一步提高效率、简化管理并洞察数据的内在本质，从而最大限度地挖掘数据的商业价值。

不仅如此，全球最大的芯片企业英特尔也进入大数据产业，而全球最大的PC厂商惠普也在精简PC业务，2011年斥资110亿美元收购英国大数据企业Autonomy公司，进入大数据业务。美国信息技术产业的大企业，从软件企业到硬件企业，从门户网站企业到社交网络企业，纷纷介入大数据。因此，大型信息技术企业顺应时代潮流，转型升级为大数据企业，是美国发展大数据产业的重要推动力。美国一些大型公司已经开始赞助大数据相关的竞赛，并且在为高等院校的大数据研究提供资金。

如果说信息技术企业能迅速地走上大数据的发展道路属于“理所应当”，那么，制造业企业与零售企业也同样注重大数据，就足以令人惊讶了。美国通用汽车卫星导航服务，提供司机和远程车辆诊断和响应紧急情况管理，每年已经开始处理多达3PB的数据。全球最大的零售商美国沃尔玛公司建立了一个全新的数据中心，它的存储能力竟然高达4PB以上，已经超过了4096TB，是一个真正的天文数字。

美国大数据的发展现状 第5篇

大数据指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

其对物流企业发展带来的影响主要表现在一下几个方面：(1)信息对接，掌握企业运作信息

在信息化时代，网购呈现出一种不断增长的趋势，规模已经达到了空前巨大的地步，这给网购之后的物流带来了沉重的负担，对每一个节点的信息需求也越来越多。每一个环节产生的数据都是海量的，过去传统数据收集、分析处理方式已经不能满足物流企业对每一个节点的信息需求，这就需要通过大数据把信息对接起来，将每个节点的数据收集并且整合，通过数据中心分析、处理转化为有价值的信息，从而掌握物流企业的整体运作情况。(2)提供依据，帮助物流企业做出正确的决策

传统的根据市场调研和个人经验来进行决策已经不能适应这个数据化的时代，只有真实的、海量的数据才能真正反映市场的需求变化。通过对市场数据的收集、分析处理，物流企业可以了解到具体的业务运作情况，能够清楚地判断出哪些业务带来的利润率高、增长速度较快等，把主要精力放在真正能够给企业带来高额利润的业务上，避免无端的浪费。同时，通过对数据的实时掌控，物流企业还可以随时对业务进行调整，确保每个业务都可以带来赢利，从而实现高效的运营。

(3)培养客户粘性，避免客户流失 网购人群的急剧膨胀，使得客户越来越重视物流服务的体验，希望物流企业能够提供最好的服务，甚至掌控物流业务运作过程中商品配送的所有信息。这就需要物流企业以数据中心为支撑，通过对数据挖掘和分析，合理地运用这些分析成果，进一步巩固和客户之间的关系，增加客户的信赖，培养客户的粘性，避免客户流失。(4)数据“加工”从而实现数据“增值” 在物流企业运营的每个环节中，只有一小部分结构化数据是可以直接分析利用的，绝大部分非结构化数据必须要转化为结构化数据才能储存分析。这就造成了并不是所有的数据都是准确的、有效的，很大一部分数据都是延迟、无效、甚至是错误的。物流企业的数据中心必须要对这些数据进行“加工”，从而筛选出有价值的信息，实现数据的“增值”。，大数椐在物流企业中的应用主要包括以下几个方面。(1)市场预测

商品进入市场后，并不会一直保持最高的销量，是随着时间的推移，消费者行为和需求的变化而不断变化的。在过去，我们总是习惯于通过采用调查问卷和以往经验来寻找客户的来源。而当调查结果总结出来时，结果往往已经是过时的了，延迟、错误的调查结果只会让管理者对市场需求做出错误的信计。而大数据能够帮助企业完全勾勒出其客户的行为和需求信息，通过真实而有效的数据反映市场的需求变化，从而对产品进入市场后的各个阶段作出预测，进而合理的控制物流企业库存和安排运输方案。(2)物流中心的选址

物流中心选址问题要求物流企业在充分考虑到自身的经营特点、商品特点和交通状况等因素的基础上，使配送成本和匿定成本等之和达到最小。针对这一问题，可以利用大数据中分类树方法来解决。(3)优化配送线路

配送线路的优化是一个典型的非线性规划问题，它一直影响着物流企业的配送效率和配送成

本。物流企业运用大数据来分析商品的特性和规格、客户的不同需求（时间和金钱）等问题，从而用最快的速度对这些影响配送计划的因素做出反映（比如选择哪种运输方案、哪种运输线路等），制定最合理的配送线路。而且企业还可以通过配送过程中实时产生的数据，快速地分析出配送路线的交通状况，对事故多发路段的做出提前预警。精确分析配送整个过程的信息，使物流的配送管理智能化，提高了物流企业的信息化水平和可预见性。(4)仓库储位优化

合理的安排商品储存位置对于仓库利用率和搬运分拣的效率有着极为重要的意义。对于商品数量多、出货频率快的物流中心，储位优化就意味着工作效率和效益。哪些货物放在一起可以提高分拣率，哪些货物储存的时间较短，都可以通过大数据的关联模式法分析出商品数据间的相互关系来合理的安排仓库位置。

上海欧坚及其旗下仓储积极学习大数据，并将其运用到对仓库的日常管理当中。取得一定的成效。

大数据恰恰能对这些数据进行快速高效的处理，得到正确有用的信息，对物流行业发展具有重大意义。

（1）降低物流成本，提高配送效率

大数据涵盖了许多高新技术，主要包括大数据存储、管理和大数据检索使用（包括数据挖掘和智能分析）等技术。这些技术对物流行业发展的各个环节都有着重要的影响。如采集信息端中的识别、定位和感知，传输信息中的移动互联网技术，以及数据应用和开发方面，将会出现越来越多的数据中心。通过在这些环节中对大数据的充分利用，物流企业可以有效的管理公司员工，快速制定出高效合理的物流配送方案，确定物流配送的交通工具、最佳线路，进行实时监控，很大程度上降低物流配送的成本，大大提高物流配送的效率，给客户提供高效便捷是服务，实现与用户之间的双赢。

（2）从价格竞争转向价值竞争

随着近几年电商行业的飞速发展，物流的强大需求确实存在。但这并不意味着物流快递企业们能相安无事地一起分享大蛋糕。相反，目前我国物流快递行业竞争越来越激烈。要想在竞争中占据大的市场，获得更大的利益，各大企业必须要从价格竞争转向价值竞争，提升自己的服务质量。因而物流快递业应该加快引进大数据云计算等技术。

（3）推动“大物流”体系的形成——菜鸟网络

大数据时代的到来，有效推动“大物流”体系的形成，实现物流行业的巨大变革。所谓“大物流”是指企业的自有物流（人员、车队、仓库等）和第三方物流企业的配送信息与资源共享，以实现更大限度的利用各方面的资源，降低物流成本。社会“大物流”形成之后，企业可以和第三方物流公司合作，物流企业直接面对市场，它根据市场的需要来组织调控若干生产企业的大管家，既负责“后”勤，有负责“前”勤。这样物流企业才会充分合理有效地组织利用资源，既保证自己的经济效益，又保证生产企业的经济效益，从而避免各种问题的产生。

以菜鸟网络——阿里巴巴与多家快递公司成立新公司“中国智能骨干网”为例。菜鸟网络专注打造中国智

能物流骨干网将利用先进的物联网技术、云计算等各项互联网技术，建立开放、透明、共享的数据应用平

台，从而为物流公司、电商企业、仓储企业、第三方物流服务商、供应链服务商等各类企业提供优质服

浅析大数据时代统计学的发展 第6篇

一、大数据与统计学的区别

统计知识在大数据的利用研究中有多样化的应用形式，主要是对“大数据”进行肢解，对爆炸增长的数据信息进行搜索、分类以及整合主要依赖于统计学。因此，大数据的相关研究在一定程度上运用了统计学的知识。但是，大数据的使用尚未被统计学这门学科充分利用，这主要是因为大数据的运用方式，使用模式和统计学之间存在着重要差异。统计学主要利用的是样本统计资源，样本主要在根据既定的概率标准从总体中抽样调查，但是随机抽样调查是带有成本属性的，例如消耗时间、资本投入的成本等。在样本数量逐渐增加的情况下，样本估计的误差范围是伴随着总体样本数量的增大而逐渐增加的，这是样本统计学不能忽视的缺点。大数据时代最具代表性的就是海量的信息数据化以及即时电子商务信息，大数据在整体上呈现出“总体样本数据化”的趋势，这样的特征恰好可以补充样本统计的弊端。大数据环境下的整体样本统计即使可以囊括全部的样本容量，但是因为很多情况下数据具有非结构性和半数据化的特征，而且大量的数据资源呈现的是重视尾部分布的状态，方差、标准差等标准化的`方法变得毫无意义，整体依靠性和不稳定性经常会超越经典时间内的时间序列的整体假设性，所以概率论的应用范围呈现狭窄化的发展趋势。因此，统计学在利用大数据进行样本统计的过程中，可以对整体上的数据资源进行融合和选择，这和样本统计中的数据化处理技术存在异曲同工之妙。

二、大数据时代统计学教育的发展

1、全面培养人才素质

统计学专业的学生需要具备良好与人交往能力。统计学的学生很多都是理科出身的学生，不善于交际。但是在日常的工作中，有数据经验的科学家应该经常和每个部门的工作人员交流，协同工作。怎么样才能让颇具专业性的数据分析结果让普通的老百姓也可以读懂，让每个部门的工作人员都能无障碍地理解，这是不容易做到的。要训练自己的交往能力和沟通技能，主动地参加演讲活动是不错的渠道，演讲活动锻炼了演讲者的自信，在整个演讲的过程中，能否清晰地表达自己的思想以及给人以信服力是至关重要的。需要培养数据常识，广其见闻。数据科学家经常面对各种各样的海量数据，并需要从这些数据中挖掘出有价值的信息，这就需要数据科学家具有强烈的数据敏感性。对数据的敏感程度的训练不是一蹴而就的，要经过长时间的积累和数据分析工作的磨练，同时也可以根据阅读数据分析材料积累阅历，提升对数据资源的敏感程度。

2、培养应用型人才

大数据时代培养的数据科学家需要两方面的基本素质，第一是概念性，也就前面所说的数据科学家需要掌握的基本素养和专业知识;第二是实践性，也就是本文中我们提及的应用型人才，也就是实际操作中处理数据的能力。在高校开展大数据分析研究生学科，最大的问题是没有可用的数据，这就需要高效与大数据企业合作，进行研究生的联合培养，注重学生的实际操作能力，这里面涉及到我们的应用统计学专业硕士的双导师培养制度，一名校内导师一名校外导师，校内导师注重学生的概念性，校外导师注重学生的实践性，学生通过在校外导师单位的实习，从而熟悉并且掌握实际工作中所需要的技能。

3、促进统计与数学、计算机学科合作

“大数据”时代需要的海量数据分析资源仅仅凭借统计学科单一学科的发展是不能满足发展需求的，大数据的数据结构性特征已经抛弃了传统意义上的数据分析模式的非智能化框架，而且数据分析需要利用新型的数据运算方式以及计算机技能分析，这也是进行数据分析工作的拦路虎。所以，数据科学家的成长仅仅依靠单一的统计学科知识的学习是远远不够的，其需要的是数学、计算机和统计学三门学科融合发展，紧密结合。三门学科之间交叉发展，融会贯通，这样既可以发挥学科的优势资源，同时也能弥补其他学科的弊端。

三、结语

数据信息的爆炸式增长使我们在使用统计数据处理信息时需要更多的数据资源，更有甚者，在很多情况下可以利用全面化的数据，数据资源不再是制约统计分析的唯一因素，大数据前提下的统计学效用和粘合度预测的准确程度不断提升，而且可以发现诸多在样本统计基础上未能显现的细节。统计学关键优势就是“见微知著”，也是统计学在数据环境下的约束性妥协。在海量数据汹涌袭来的年代，充分发挥统计学的优势，和大数据资源整合发展，实现“以小见大”和“由繁入简”的有效结合。

参考文献：

[1]田茂再.大数据时代统计学重构研究中的几个热点问题[J].统计研究，，05：3-12.

[2]刘春杰.大数据时代统计学教育面对挑战的应对[J].凯里学院学报，2015，03：29-32.

美国大数据的发展现状 第7篇

作为中国首部地方大数据地方法规《贵州省大数据发展应用促进条例》填补了大数据的立法空白，具有大数据产业纳入法治轨道的意义。作为贵州省“十三五”开局之年通过的首部法规，该条例也是贵州省立法时间最短的法规。

记者1月23日下午从《贵州省大数据发展应用促进条例》新闻发布会上获悉上述消息。

《贵州省大数据发展应用促进条例》共6章39条，包括大数据发展应用、共享开放、安全管理等内容。条例紧扣贵州大数据应用的现实需求和发展趋势，对数据采集、数据共享开发、数据权属、数据交易、数据安全以及“云上贵州”等基本问题作出了宣示性、原则性、概括性和指引性规定。

贵州省人大常委会副主任张群山用“先行先试、突出地方特色”概括该条例。张群山告诉记者，条例的制定体现了科学立法和急用先立的指导思想，贵州将抢抓国家实施大数据和网络强国等战略机遇先行先试发展大数据产业。

《贵州省大数据发展应用促进条例》从起草到制定出台仅历时半年左右，是贵州省立法时间最短的法规、该条例的出台属于创制性立法，是贵州省立法模式的创新。该条例起草后历经社会讨论、业界点评、专家评议等，综合各方意见后才宣告出炉。

该条例的出台仅是大数据地方立法的“试水”。贵州还将针对数据交易等单项内容进行立法，从而进一步完善大数据法规，进一步规范大数据发展应用有关问题。

该条例经贵州省十二届人大常委会第二十次会议通过，现已公布，自3月1日起施行。

美国大数据的发展现状 第8篇

教育管理与服务的个性化成为可能

大数据给教育带来的一个重要变化在于它使教育管理和服务更加个性化。美国科罗拉多州正是运用“大数据”系统改进了本州的教育管理与服务。2009年, 科罗拉多州教育当局开始实施“教育信息系统计划 (Relevant Information to Strengthen Education, 简称RISE) ”, 收集学生、教师和学校的所有信息, 以帮助学校改进教学, 旨在帮助学生获得学业上的成功。迄今为止, 该计划已成功实施4年。该计划共包括4个战略环节:采集、连接、提供和执行。每个战略环节又是通过一系列项目来完成的。首先, 要采集科罗拉多州每个学生和教育者的重要信息, 包括早期教育背景、学习长项、需要更多关注的领域、测验分数、等级等在内的一系列重要教育信息, 教育者信息则包括教育者的特点、准备和发展;第二, 用最先进的数据系统将收集到的数据和学生、教育者的数据内容与相关国家机构的记录连接起来;第三, 通过“了解学校” (Schoolview) 的门户网站, 为家长、学生、教育者、政策制定者和研究者提供及时的、以学生为中心的信息服务;第四, 运用数据, 设计个性化的教学实践活动、创新性学习计划和教师专业发展法案, 以提高学生学业成绩。该计划数据应用的方式也灵活多样。例如, 一个学生转到新学区后, 其信息记录也随之迁移。教师可立刻获取该生的所有相关信息, 以提前做好准备, 帮助其平稳过渡到新的学习中。再如, 学校或教师通过数据研究, 找出对提高学生学业成绩最有效的教学方法, 或者学校应该加强的资源建设和为学生提供的支持。由此可见, 教师、学生、教育管理者、社会管理者等都可以从该计划中获益。教师能够获取更加全面、丰富的数据信息, 能够了解何种教育方法对学生最有效, 学生可能在哪些方面需要额外帮助。在数据的基础上, 教师能够根据不同孩子的需求和学习风格来设计个性化的教学, 将学习变成个性化行为, 更好地满足每个学生的需求, 促进每个学生的学习。学生则可以得到教师更好的指导和支持, 进而提高学业成绩。对于管理者来说, 这一计划大大提高了他们的工作效率, 他们只需要通过互联网就能很快地获取学生和教师记录, 从而更快、更有效地与新学生建立联系, 帮助新教师适应新的教学环境。而对于社会管理的研究者和政策制定者来说, 他们则能够通过该计划了解到学生的学习趋势和结果, 从而形成对科罗拉多州学校教育的共识, 最终达到改进公共政策、增加政策透明度的目的。

驱动教学质量的大幅提升

如果将大数据运用到学校教育和课堂教学中, 学校的办学质量有可能大幅度提升。美国肯尼迪小学就是—个鲜活的例子。肯尼迪小学是坐落在美国威斯康星州简斯维尔市最年轻的—所小学, 成立仅14周年, 但却是美国“蓝带学校”殊荣的获得者。在全美所有公立和私立学校中仅有3%的学校能获此殊荣, 获奖学校不仅要求学生学业成绩连续3年高于国家平均水平, 而且要有40%以上的学生来自贫困家庭。那么, 是什么原因使这么一所年轻的学校获此殊荣呢?

美国政府的大数据之策 第9篇

该报告共分六个部分，在第五部分“迈向大数据的政策框架”中，尤其关注了大数据与公民、消费者、隐私权、隐性歧视之间存在的紧张关系。报告人着重指出，大数据可以创造巨大的社会利益，但是也可能引起多种有形或无形的危害。这类危害不止是侵犯隐私权那么简单，甚至会造成对个人或群体的歧视。这一歧视可以是大数据在模型建构和使用方法上的无意结果，也可以是对弱势阶层的蓄意牺牲。不难看出，前者可以通过相对简单的技术办法加以解决。比如设计一个智能手机的应用程序，通过搜集用户反馈的海量信息，为城市管理提供基础数据。这个程序虽然明显忽略了相当数量的非智能手机用户（如老人与穷人）的需求，但是可以有意识地通过其他社会调查方法加以弥补。与此相比，蓄意歧视显然需要得到更加严肃的对待。

就美国的社会立法而言，在关乎社会公平的特定领域内，如就业、信贷、医疗、教育，法律均要求用于预测算法的个人数据和最终决策具有相当程度的透明性，并配合以补救性的校正手段。事实上，之所以存在这些保护措施，反倒是因为歧视在美国历史上从不少见。20世纪早期，银行就在使用个人居住信息来甄选客户。直到1975年《房屋贷款披露法案》颁布之前，是否给予某人贷款还取决于他所居住的区域而非个人的信贷能力。银行用“划红线”（redlining）的方式标示此前无贷款且此后也不贷款的区域。这个手法一用几十年，成了歧视非裔美国人、拉丁裔、亚裔和犹太人的应手工具。有类于此，计算机算法和在线数据汇总一旦被用于确定公民的人口学特征，就有可能形成系统性歧视。例如，划出一条“数字红线”，排斥对使用者而言并非必要的特定群体，无论是客户、员工、租赁者，还是借贷人。

报告人提醒联邦政府，必须关注大数据有可能造成有悖国家法律和社会价值的歧视。因此，公共政策与信息技术的进一步结合要想具备正当性，首先需要解决一个问题：如何才能更好地检测、计量、纠正那些由自动化决策产生出的歧视性影响。报告认为，大数据技术既可以导致歧视，也可以用来支持公民自由。联邦政府中涉及公民权利的机构必须能够辨别出源自大数据分析、又不利于被保护阶层的行为与结果，进而发展出一整套方案，用以调查并解决相关案件中的违法现象。评价过程中，各机构应当考虑到数据的层级、信息汇总的语境、信息所针对的人口群体，以及相关群体的立法期待。政府部门应与公民权利组织一起，使用大数据工具来确保弱势群体能够得到平等的对待。

不难发现，该报告努力将美国联邦政府的角色设定为不同利益群体之间的调和者，将大数据技术可能导致的政治问题转化成一系列可操作的技术流程。不妨提及，4月23日至24日，巴西圣保罗召开全球互联网治理大会。各国代表就反抗网络霸权、加强网络治理等议题形成集中讨论，从而不可避免地聚焦于自去年以来持续发酵的“棱镜门”事件，以此为出发点检讨网络治理与公民权利的关系。而这显然是上述报告并没有回答、也不希望回答的问题。