大数据与移动云计算

大数据与移动云计算（精选12篇）

大数据与移动云计算 第1篇

大数据技术虽然给我们的生活带来了巨大的改变, 但是大数据技术要求计算机具有相应的大数据处理能力, 为此, 云计算的概念产生了。云计算是分布式计算、网络存储、负载均衡等相关技术发展融合的产物。云计算通过网络将庞大的计算机处理任务进行分解, 把分解后的较小的计算任务交给众多的网络数据计算服务器, 经过网络服务器的分析处理之后把结果重新传回给用户。移动云计算是指通过移动互联网以按需、易扩展的方式获得所需的基础设施、平台、软件或应用等的一种IT资源或信息服务的交付与使用模式。[1]

1 大数据技术

现今的世界是一个数据的世界, 我们身边到处都充满着数据, 比如打电话的语音数据、发短信的文字数据、微信的聊天数据、报纸、杂志、网络购物等等。这么多的数据实时地影响了我们的工作、生活、学习, 甚至社会的发展。根据维基百科的定义, 大数据 (Big Data) 是用于数据集的一个术语, 是指大小超出了常用的软件工具在运行时间内可以承受的收集、管理和处理数据能力的数据集。[2]美国IBM公司定义了大数据的3V特点, 即规模性 (Volume) 、多样性 (Variety) 、高速性 (Velocity) 。规模性表示大数据涉及的数据量巨大, 一方面人们的生活中产生了很多的具体数据, 另一方面是互联网通信中移动通信的虚拟数据, 这些数据的数据量是非常巨大的。多样性表示大数据中数据类型的复杂多样, 其中包括最常见的文本数据、图像数据、语音数据和视频数据, 除此之外还有很多其他的结构化、半结构化和非结构化的数据。高速性表示大数据技术必须具有实时性, 比如实时路况导航、全球股价波动、一些通信业务的处理等等。

大数据技术的发展越来越成熟, 大数据的价值也越来越受到人们的关注, 对于数据处理的实时性和有效性要求越来越高。大数据在公共服务、商业智能、科学研究等领域发挥着巨大的作用, 影响力越来越大, 大数据技术的使用一定会给我们带来巨大的价值。社会中的各行各业可以通过大数据技术来完成各项工作, 比如大数据在汽车制造业中的应用, 福特汽车的产品开发团队曾经就对汽车行李箱的打开形式进行研究。车后行李箱的打开有两种形式手动式和电动式, 如果采用电动式, 能自动打开、便捷智能, 但是这种方式会影响到车门开启有限的困扰。此前采用定期调查的形式并没有发现这个问题, 但后来对社交媒体的关注和分析, 发现很多用户在谈论这个问题, 这对福特汽车以后的产品设计是非常有帮助的。

数据分析是大数据技术的核心, 通过对相关数据的分析产生有价值的信息是大数据技术的关键。通过对数据的分析, 可以产生有价值的规律和结果并辅助人们进行更为合理的决策。在大数据分析方面除了传统的技术外, 人工智能技术邻域的很多方法被用得越来越多, 包括统计分析、机器学习、数据挖掘等。数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的, 但又是潜在有用信息和知识的过程。统计分析就是基于数学邻域的统计学原理, 对数据进行收集、组织和解释的科学。机器学习作为人工智能邻域的重要内容, 分为监督学习和无监督学习两大类。[3]常见的方法包括聚类算法、预测算法、回归算法、朴素贝叶斯算法、支持向量机算法等。这些算法往往需要较大的计算资源和较强的计算能力, 云计算正好满足了大数据技术在这个方面的需求。

2 移动云计算技术

云计算已经发展成为IT行业的一个热门技术, 目前的主要云计算设备和服务都是针对PC机而言的, 但是随着无线路由的快速普及以及无线终端设备的大量出现, 将云计算运用于移动环境是必然的发展趋势。根据相关的数据统计, 全国的移动电话用户累计达到10亿以上, 现有的终端计算能力、存储容量都是非常有限的, 已经难以满足很多用户的需求, 而云计算恰好能给用户提供服务。云计算是一种新型的应用模式, 通过网络按需实现软件处理能力、存储资源等。[4]移动云计算正是基于云计算的概念出现的, 它结合了移动网络和云计算的概念。移动云计算通过移动的终端用户进行网络互连, 并以按需、易扩展的方式获得所需的基础设施、平台等相关的网络资源和信息。

云计算的一个主要优点就是在“云端”提供了大容量的存储空间和高速的计算能力。即使客户端的移动设备本身性能不够, 但是只要能进行数据的输入、输出, 就可以和云端进行交互, 让云端提供计算和处理服务得到客户想要的结果。移动云计算的特点是终端硬件及系统无关性, 这是因为终端不进行真正的大量计算和数据的存储, 而是通过移动网络把数据和计算任务上传到云端让云端来进行计算和处理。移动云计算还消除了计算的地域性限制, 普通的云计算由于终端设备的地理位置固定, 给很多的实际应用带来不便, 但是移动云计算可以通过移动网络进行数据传输和计算。如果移动网络有足够的带宽, 那么移动云计算就能实现实时的数据计算, 让客户在终端或者手机上看到最及时的处理结果。

移动云计算中比较成熟的应用有移动云存储。目前, 很多公司推出了自己的移动云存储服务, 在移动云上可以存放照片、文档、邮件、视频等相关内容。传统的存储方法是客户在存储资料时, 都是通过U盘或是硬盘等存储设备。这种存储方式有明显的缺点, 当U盘或是硬盘丢失、损坏或是忘记随身携带等, 都可能造成想要取出存储资料却取不出来的状况。移动云存储是把资料上传到网络上的移动云存储服务器, 只要能上网可以随时随地取出存储资料, 不用担心资料的丢失或损坏。基于移动云计算的移动商务是商业发展的新模式。随着移动终端设备的大量使用, 很多商务都是在网络上进行操作的, 例如购物网站、微信支付等。除此之外移动云计算在医疗、邮件推送、远程教育等方面都有着非常成功的应用。

3 大数据与移动云计算

本地单机的数据处理模式成本越来越高, 而且扩展性比较差, 并且随着要处理的数据量不断增加特别是对于大数据的应用, 相应的处理性能会遇到瓶颈, 在这种情况下, 出现了云计算技术。云计算具备了较好的弹性, 在动态调配资源、支持多用户按需工作等特点正好符合了大数据的应用需求。云计算以其高可靠性、强大的计算能力和海量的存储空间成为解决大数据问题的重要技术, 但是云计算不能在动态系统中进行应用, 这使得移动云计算成为云计算新的发展方向, 特别是移动终端可以方便地通过无线网络上网来使用移动云计算提供的各种服务。

大数据的落脚点在于“数据”, 提供了对数据操作的各种方法, 包括对数据的采集、分析、挖掘、存储等。移动云计算更多体现在“计算”, 看重的是通过互联网产生的计算能力, 移动云计算中很多的相关技术正是大数据技术的基础。大数据技术首先要有大量的存储数据, 存储数据的传统方法是数据库技术, 但是现在的数据量越来越大, 已经超过了传统数据库的存储模式, 而移动云计算正好给这些数据的存储提供了空间。其次是对大量数据的初步操作包括数据的提取、标注、表达等, 移动云计算通过互联网可以把这些任务进行分解, 分成许多较小的数据处理任务并分配给网络中的很多移动终端用户, 让他们在空闲的时候处理这些任务。最后是对移动云上存储的大量数据进行分析, 分析的手段包括数据过滤、数据分类、数据聚类等, 移动云计算同样可以像上边那样把任务进行分解并在网络中寻找空闲的处理设备辅助完成这些任务。

基于移动云计算技术构成的大数据系统, 能够提供大数据处理所需要的相关技术。大数据与移动云计算的结合, 将是相得益彰, 相互都可以更好地发挥作用。移动云计算为大数据提供强大的存储和计算能力, 更加迅速便捷完成大数据的处理任务, 而大数据的相关业务能为移动云计算找到更多更好的实际应用。

大数据和移动云计算在气象领域的应用, 以前的气象服务信息大多只是将气象的监测数据提供给用户, 由用户自己去综合使用, 这显然仅仅是气象预报产业中的初级阶段。现在, 人们通过移动网络可以及时获得气温、紫外线指数、感冒指数、晨练指数、洗车指数等更精细化的气象信息, 并利用大数据分析软件可以获得更多的用户想知道的数据信息, 体现出单一数据无法表达的价值和效益。

社交网络是现在人们沟通的主要形式之一, 用户通过移动终端使用社交网络, 伴随着用户的社交过程会产生大量的数据, 通过大数据的分析技术可以发现一个人和另一个人是怎么样联系上的, 另外也可以通过两个人的社交关系, 找到让他们进行联系的渠道。不管我们在使用微信朋友圈还是微博账户, 软件系统经常会提示我们哪个人可能是我们的朋友或者是同学, 给你一个加入好友的提示, 这就是大数据与移动云计算相结合应用的一个实例。

地图导航古已有之, 而发展到今天的电子地图导航更成为人们出行旅游的指南针。用户使用移动终端比如手机、平板电脑通过移动互联网把自己的实时地理位置信息传送到网络上, 由此可以进行打车、聚会、餐饮、购物、汽车导航等应用。大数据技术通过分析可以知道在哪些地方, 什么样的服务是在这个地理位置上的人最需要的, 移动云计算把这样的消息发布出去后, 可以给我们提供最便利的服务。比如在商场附近可能有更多的人需要打车, 在人烟稀少的地方可能有更多的人需要方向导航等。

医疗行业具有数据量大、复杂性高等特点, 医疗行业被认为是最能让大数据分析技术发扬光大的一个传统领域。移动云计算利用移动终端可以随时采集病人的相关数据信息, 比如脉搏、血压、照片等, 这些数据随着时间的推移将构成海量的数据。此外, 医生对于病人的诊断结果也会保存在移动云存储中, 当同样类型的病症再次出现的时候, 移动终端可以根据大数据的分析技术给病人提出最合理的治疗建议。这样既节省了医生的人力资源, 又节省了病人排队等待的时间, 更能在第一时间解决病人的病情。麦肯锡的报告中指出, 大数据技术可以帮助美国的医疗行业一年创造3千亿美元的附加价值。

大数据利用了移动云计算的方便性, 可以随时随地对数据进行处理并提供了及时的服务, 移动云计算通过大数据找到了更好的应用方向。没有大数据对于大量信息的积累, 移动云计算的计算能力再强也找不到用武之地, 同样如果没有移动云计算的强大计算能力, 那么大数据积累的大量信息也毫无价值。

4 总结

如果说大数据是巨大的宝藏, 那么移动云计算是开发这个宝藏的最有利的工具。没有移动云计算的强大计算能力, 那么大数据中的相关数据就是一堆毫无用处的冗余数据。另一方面移动云计算也正是由于大数据的信息量大, 本地单机处理能力有限才发展起来的, 没有大数据的信息累积, 那么移动云计算也得不到完全的发挥, 所以大数据与移动云计算是相辅相成的关系。

参考文献

[1]赵华, 王海阔.移动云计算综述[J].电脑知识与技术, 2012 (1) .

[2]何清.大数据与云计算[J].中国安防, 2014 (1) .

[3]张峰军.大数据技术研究综述[J].通信技术, 2014 (11) .

[4]邓茹月, 覃川, 谢显忠.移动云计算的应用现状及存在问题分析[J].重庆邮电大学学报, 2012 (12) .

大数据与云计算的安全 第2篇

摘要：云计算的浪潮还没有过去，大数据时代已经到来。在对大数据的含义、特征、影响和意义进行系统总结的基础上，分析了大数据与云计算的关系，论述大数据和云计算的安全将给消费者和电商带来更加高效的转型。

关键字：云计算，大数据，电商

所谓通信，最简单的理解，也是最基本的理解，就是人与人沟通的方法。无论是现在的电话，还是网络，解决的最基本的问题，实际还是人与人的沟通。现代通信技术，就是随着科技的不断发展，如何采用最新的技术来不断优化通信的各种方式，让人与人的沟通变得更为便捷，有效。随着计算机技术的广泛普及与计算机远程信息处理应用的发展，云计算和大数据应运而生。、一、大数据的介绍

大数据（Big Data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法）。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域，目前人们谈论最多的是大数据技术和大数据应用。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和或虚拟化技术。

二、云计算的介绍

云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。几年之内,云计算已从新兴技术发展成为当今的热点技术。云计算从节约成本的工具到盈利的推动器，从ISP（网络服务提供商）到电信企业，已然成功地从内置的IT 系统演变成公共的服务。然而人们担心他们在云端的数据安全。正因为此，用户应该期待看到更安全的应用程序和技术上来。许多新的加密技术，安全协议，在未来会越来越多的呈现出来。其中的安全性和遵从性的问题仍然是阻碍云计算发展的重要原因。三、二者联系和安全策略

近几年由于科技的不断发展，3G网络视频通话，移动互联网、物联网、智能手机，这些科技产品都一一涌现，充斥着我们的生活，确实互联网给我们的生活带来了方便，但同时恶意软件，黑客入侵电脑，这些人为的破坏，也影响着个人或者企业的信息安全。在这个时候新技术云计算的出现，就给传统互联网信息安全带来了希望，但同时也面临解决新的安全挑战。

多种方式应对云计算安全挑战—云计算给信息安全带来的挑战包括：第一，传统安全产品无法应对云计算环境下的网络结构和协议。在云计算环境中，可能前端的Web服务器和后端的数据库都处在一个物理服务器上，这样它们之间的网络交互直接用虚拟交换机就可以了，数据根本不经过物理交换机，如果不到物理交换机，则信息安全设备拿不到它的数据，导致对其访问控制、审计、攻击的检测，都没办法实现。第二，云计算技术特性带来一些新的安全需求。云安全架构的一个关键特点是云服务提供商所在的等级越低，云服务用户自己所要承担的安全能力和管理职责就越多。数据安全包括：数据传输、数据隔离、数据残留。应用安全包括：终端用户安全、SaaS安全、PaaS安全、IaaS安全。虚拟化安全包括：虚拟化软件、虚拟服务器等。第三，云计算环境对安全产品的计算性能提出了非常大的挑战。目前保护信息安全产品的性能已经远远落后于网络设备。大数据将会化解APT(高级持续威胁)危机—近一两年，APT攻击是非常热门的话题。简单的说就是黑客组织针对一个有价值的目标，进行长期、缓慢的，但是非常有技术含量的攻击。我们知道未来大数据和云计算将推动下一代安全数据的创新。大数据和云计算扩展了整个IT领域的计算和存储资源，给信息安全提供了信息平台和大数据处理的技术支撑，为整个信息安全产品的革新创造了一个更大的可能性。其中数据加密就是对数据信息的重新组合，只有在收发双方的基础上才能够还原网络信息，数据加密技术能够确保校园网内部信息数据的安全性与完整性，并具有一定的保密作用，从某种意义上来说它是其他安全技术的基本保证，经过加密的网络数据能够确保数据在收录、传输、使用及转换中不被第三方得知数据信息内容。

综上所述：大数据是本，云计算是术，移动互联网是用。三者紧密结合在一起才能让整个信息安全系统更有效的服务现代人们的生活。在大数据环境下，即高流量、巨大海量数据、高可靠性。更多需要通过检测、分析、发现及预警的安全保障体系，实现可靠性、可用性与安全性的完美结合；利用大数据分析，可提前、精确、有效地发现已知或未知的安全威胁；可实现数据访问的记录、分析及取证；可实现有效、精确地发现隐私数据的检测分析与防护。安全检测与大数据技术结合，利用云计算能力及大数据处理机制实现信息访问和审计，安全威胁智能的发现，隐私数据的保护。

参考文献：《大数据时代》--[英]维克托·迈尔-舍恩伯格（ViktorMayer-Schönberger）--浙江人民出版社

电子图书：《云计算安全指南》--Ronald L.Krutz，Russell Dean Vines（著）张立强(译)

姓名：孙飞龙

学号：12901337

拆分的基础设施：云计算与大数据 第3篇

PC时代，支撑数据的底层基础设施被三家美国公司掌握：IBM掌握硬件，微软掌握操作系统，Oracle掌握数据库。好不容易到了无线时代，又是两家美国公司，苹果的就是苹果的，剩下的都是安卓的。当时我们就在想，不从国家安全角度，就从阿里未来的大数据来讲，我们也需要有自己的云计算，需要有自己的操作系统。

今天，阿里的云计算还真做成了。阿里云计算平台不用一台小型机，每一台机器代码都是自己写的，前面提到的三家公司的任何一台产品都不用。

阿里自己有两张网，也是基于大数据的。菜鸟公司做的是地网，还有一个天网，把所有商家、库存、消费者数据、交易数据全部组织起来，对接到所有的消费者、商家、仓库，让商家能够根据实时交易状况，把货事先配送到大区去。这样可以极大地提升快件配送的效率、降低成本。

老百姓选择商品时喜欢多样化，但付钱的时候只喜欢用一种方法，物流等最底层的系统统一，老百姓才方便。这个系统便是到今天为止，阿里所形成的体系。

未来，阿里在思考两个方向：一是无线，二是大数据。

无线时代来了，玩法和PC完全不同，用户通过无线终端使用互联网服务最终到底是什么样的形态，现在还在形成中。App是不是最终的表现形态？未来最主流的方式到底是什么？我们需要抢占先机。今天，阿里在无线有三个布局：专门的无线团队、每个业务部门自己的无线团队，以及手机OS。

很多人在谈大数据。在我看来，真正对大数据有概念并且能用好大数据的，只有美国联邦调查局，连谷歌都没达到它的水平。美国联邦调查局通过雅虎邮箱挫败了两起恐怖事件，期间进行了大量的数据整合，虽然邮件写的都不是恐怖主义，但最后也能算出来。

大量数据是开放的，你需要的是建立所有数据之间的逻辑关系，并且让它能产生作用。现在是信息泛滥的时代，大数据最重要的是精准，你要的时候给你，或者我要的时候我能拿到，而其背后是基于社会体系的、非常复杂的一套系统。

今天，我们很难把自己当成一家商业公司，我们慢慢感觉它像一个生态系统，有各种各样的角色参与，所有的货不是我生产，也不是我卖，但是我要让所有人生产、卖货，变得比以前成本更低、效益更高，让消费者有机会享受到更价廉物美的服务，让企业和企业之间的批发、采购变得更高效、透明。

阿里越发展，越往下沉。2011年，淘宝被拆掉的时候，当时的淘宝总经理三丰（姜鹏）跟我说他的情绪很不好，淘宝在他手里做没了。我说，你傻了，底层的共享平台是真正的淘宝，无论是聚划算、天猫，还是未来的理财、农产品，任何一个业务都是在那个底层共享平台上才能长出来。

现在，所有这些业务是我们自己种在上面。而未来，任何一家公司，如果希望开展某一个领域的业务，只要往这上面一插就能长出来，因为从信用体系、会员体系、支付体系到云计算以及背后的技术支撑体系，这些都不用再去建立。

大数据与云计算 第4篇

大数据的价值开始日益受到重视, 人们对数据处理的实时性和有效性的要求也在不断提高。现在对大数据的应用已经不局限于BI (商业智能) 领域, 在公共服务、科学研究等各方面, 大数据也都在发挥着巨大的影响力, 而且应用面要宽得多。比如美国国家海洋和大气管理局尝试利用大数据方法协助进行气候、生态系统、天气和商业方面的研究, 谷歌流感趋势则使用经过汇总的谷歌搜索数据来估测流感疫情。数据无疑已经成为信息社会日益重要的资源。

大数据的意义并不在于大容量、多样性等特征, 而在于我们如何对数据进行管理和分析, 以及因此而发掘出的价值。如果在分析处理上缺少相应的技术支撑, 大数据的价值将无从谈起。

具体到企业而言, 处于大数据时代的经营决策过程已经具备了明显的数据驱动特点, 这种特点给企业的IT系统带来的是海量待处理的历史数据、复杂的数学统计和分析模型、数据之间的强关联性以及频繁的数据更新产生的重新评估等挑战。这就要求底层的数据支撑平台具备强大的通讯 (数据流动和交换) 能力、存储 (数据保有) 能力以及计算 (数据处理) 能力, 从而保证海量的用户访问、高效的数据采集和处理、多模式数据的准确实时共享以及面对需求变化的快速响应。

传统的处理和分析技术在这些需求面前开始遭遇瓶颈, 而云计算的出现, 不仅为我们提供了一种挖掘大数据价值使其得以凸显的工具, 也使大数据的应用具有了更多可能性。

云计算包含两方面的内容:服务和平台, 所以云计算既是商业模式, 也是计算模式。比如美国加州大学伯克利分校在一篇关于云计算的报告中, 就认为云计算既指在互联网上以服务形式提供的应用, 也指在数据中心里提供这些服务的硬件和软件。

就目前技术发展来看, 云计算以数据为中心, 以虚拟化技术为手段来整合服务器、存储、网络、应用等在内的各种资源, 并利用SOA架构为用户提供安全、可靠、便捷的各种应用数据服务;它完成了系统架构从组件走向层级然后走向资源池的过程, 实现IT系统不同平台 (硬件、系统和应用) 层面的“通用”化, 打破物理设备障碍, 达到集中管理、动态调配和按需使用的目的。

借助“云”的力量, 可以实现对多格式、多模式的大数据的统一管理、高效流通和实时分析, 挖掘大数据的价值, 发挥大数据的真正意义。

大数据对技术提出高要求

大数据处理首先是获取和记录数据;其次是完成数据的抽取、清洁和标注以及数据的整合、聚集和表达等重要的预处理或处理 (取决于实际问题) 工作;再次需要一个完整的数据分析步骤, 通常包括数据过滤、数据摘要、数据分类或聚类等预处理过程;最后进入分析阶段, 在这个阶段, 各种算法和计算工具会施加到数据上, 以求能得到分析者想要看到的或者可以进行解释的结果。

涉及到庞大的数据量, 这一整套处理流程在各个不同阶段都会对传统的技术手段提出挑战。比如, 海量的网络化设备、海量的在线用户、不间断的网络联接, 都在时刻生成大量的、多格式的内容数据和状态信息, 这些经由各种客户端 (网页、应用或是传感器等) 采集而来的信息数据, 连同成千上万的访问和操作请求, 会以高并发的方式向系统服务器施加压力。

通常为了避免由于服务能力的不足而造成服务请求排队的问题, 会采用负载均衡技术将单个服务器的压力进行分摊, 大幅提高服务性能;在数据采集时, 也会通过在采集端部署大量的数据库来对系统性能提供支撑, 然后对采集到的数据 (包括各种结构化、非结构化和半结构化数据等) 进行数据清理、去重、正规化以及相应的格式转换处理, 在按照预定规则进行过滤后, 输出到分布式数据存储系统中进行存储, 为之后的分析和展示做准备。

在分析阶段, 为了完成数据挖掘的目的, 通常需要处理海量的历史数据, 构建复杂的数学统计和分析模型 (比如计算冬天的气温水平对特定厚度的羽绒服销量的影响) , 并针对大量的结果之间的关联性做出高效正确的处理, 同时还要支持数据更新带来的重新评估;而在展示阶段, 则应当隐藏诸如数据存储拓扑和数据存储结构等实现细节, 对业务应用暴露规范的数据访问接口, 对复杂的数据访问需求提供透明支撑, 大大减小业务应用的构建难度。

这些复杂的需求对技术实现和底层计算资源提出了高要求。所以, 为应对这些复杂的大数据处理工作, 需要从服务器、网络、存储、软件等各个环节构建一个兼具高可用性和高可靠性的系统环境, 提供端到端的全面解决方案。

大数据与云计算相辅相成

传统的单机处理模式不但成本越来越高, 而且不易扩展, 并且随着数据量的递增、数据处理复杂度的增加, 相应的性能和扩展瓶颈将会越来越大。在这种情况下, 云计算所具备的弹性伸缩和动态调配、资源的虚拟化和系统的透明性、支持多租户、支持按量计费或按需使用, 以及绿色节能等基本要素正好契合了新型大数据处理技术的需求;而以云计算为典型代表的新一代计算模式, 以及云计算平台这种支撑一切上层应用服务的底层基础架构, 以其高可靠性、更强的处理能力和更大的存储空间、可平滑迁移、可弹性伸缩、对用户的透明性以及可统一管理和调度等特性, 正在成为解决大数据问题的未来计算技术发展的重要方向。

基于云计算技术构建的大数据平台, 能够提供聚合大规模分布式系统中离散的通讯、存储和处理能力, 并以灵活、可靠、透明的形式提供给上层平台和应用。它同时还提供针对海量多格式、多模式数据的跨系统、跨平台、跨应用的统一管理手段和高可用、敏捷响应的机制体系来支持快速变化的功能目标、系统环境和应用配置。

比如在基于云计算平台而构建的新型企业信息系统中, 在以分布式集群技术构建高性能、高延展的存储平台之后, 我们可以实现对不同业务应用中不同格式、不同访问模式的海量数据的统一存储, 相关的数据分析系统则构建于分布式工作流和调度系统框架之上, 采用分布式计算手段面向多模式海量数据提供数据的转换、关联、提取、聚合和数据挖掘等功能。在企业信息系统中经常提到的BI的具体业务功能, 比如决策支撑、销售预测等, 就可以由上层业务应用通过调用数据分析系统所提供的功能附加业务逻辑来实现。

云计算使大数据应用成为可能;没有云计算的出现, 大数据将仍是空中楼阁, 缺乏根基和落地可能。借助云计算技术, 可以提高系统整体的弹性和灵活性, 降低管理成本和风险, 并且改进应用服务的可用性和可靠性;云计算不仅为大数据处理打造一个高效、可靠的系统环境, 而且充分发挥云计算平台的优势, 为大数据应用找到更多样化的出口。

大数据与移动云计算 第5篇

简单来说，为何淘宝的“猜你喜欢”总能轻而易举地知道你的近期所需，从而精确推送?为何当当网总能猜到你所感兴趣的书籍?为何你的邮箱里总有一些跟你的生活息息相关的广告邮件?当我们在享受大数据与云计算带来的便捷生活方式的同时，却常常没有意识到这就是大数据与云计算，直到手中的移动硬盘由500G增加至1T，再由1T增加至4T，才恍然大悟：原来大数据与云计算浪潮来势如此凶猛。

我们已经生活在被大数据与云计算笼罩的世界中，比如通过分析大数据，预判犯罪行为的发生、寻找灾难中的生还者，微软研究院正利用来自哈勃等全球太空望远镜搜集来的数据和图像建立一幅宇宙地图。“大数据”绝对是时下最火热的IT行业词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等技术，正在为大数据与云计算在职研究生带来大量的商业价值，逐渐成为行业人士争相追捧的利润焦点。

而与之相关的职业需求也呈爆发式增长，大数据职业的相关人才匮乏，人才缺口非常大。盖特纳咨询公司预测大数据与云计算专业将为全球带来440万个IT新岗位和上千万个非IT岗位。

云计算大数据落地真相 第6篇

在2014年5月22日晚间的 “云计算大数据行业CIO沙龙”上，上海大学信息化办公室主任徐伟抛出了这样一个尖锐的话题。的确，随着MOOC（Massive Open Online Courses，大规模网络在线开放课程）的发展和普及，传统的教学模式正在被打破。运用云计算和大数据，MOOC可以让一门课程一个学期拥有100万学生，而且是网状化的学习模式。这种全新的知识传播模式和学习方式，可能为全球高等教育引来一场“海啸”。

不可否认，这就是云计算和大数据与教育结合后，遇到的一个非常现实的问题。而这样的问题，在各行各业虽然有不同的表象，但本质是一样的——那就是颠覆、革命、创新。

看起来很美很热闹的云计算大数据，在具体落地时却不得不面对一系列这样的现实问题。正如中国电子学会副秘书长林润华所言：“产业界确实认为这是大的发展方向，也是非常好的转型机会，但是用户还抱着非常审慎的态度。”

在中国电子学会与ITValue共同主办的CIO沙龙晚宴上，近百位与会CIO通过workshop的讨论形式，共同关注企业当前对于云计算和大数据应用的需求和困惑，以及行业最佳应用实践。通过现场分组互动讨论，我们基本可以认为：尽管与会CIO普遍认为云计算大数据将会大有作为，前景看好，但是其目前的发展状况并不十分健康和乐观，无论是用户的理解，还是具体实践应用，都存在很多问题。

价值，是任何企业都会首要关注的问题。云计算大数据给企业带来的，要么是毁灭式的颠覆，要么是转瞬即逝的机遇。这让企业的态度非常谨慎，甚至是如履薄冰。这种压力传导给CIO的信息就是，行动前先问价值。“谈到云计算大数据，第一反映就是怎么最大化的给公司带来销量和利润。”中国黄金集团黄金珠宝有限公司信息部负责人周韩林说道。中国中钢集团公司信息管理中心总经理李红也谈到：“做IT项目老板都会问价值在哪里。价值没搞清楚，就没人敢干。”而来自航空业的CIO则抛出了一个可供各行业借鉴的例子：通过云计算大数据找出各自企业与同行可能存在的区分点，而不是一味的进行低价的同质化竞争。

安全，是一个不可回避的问题。一方面是公有云自身的安全，另一方面则是数据本身的安全。数据去识别化可以把敏感信息去掉，提供整合后的数据。但是现在又有了“去识别化之后再识别”的技术，再识别之后仍然可以聚合反映出被隐藏或删除的敏感信息。所以安全仍然是CIO面临的巨大挑战。神州数码（中国）有限公司首席IT专家郑小维举例说：“一些厂商做大数据，把探针直接加到数据的出口，就可以把数据拿走，这样的问题我们怎么去面对？”

对CIO和IT部门而言，困难或许也是机遇。数据源不固定、数据部流通、数据分析能力不足等现状，让CIO们在云计算大数据落地时遇到了更多困难，但是这也意味着，数据收集模式创新、数据管理创新、业务模型建立与分析创新……这让IT将迎来一次新的发展机遇，跨部门、跨企业、跨上下游的业务合作，将为IT争取到更多的话语权。

当然，前提是IT部门要实现自我变革。云计算大数据颠覆企业的业务模式也会颠覆IT自身的模式变化。技术和业务都需要升级，未来的IT建设思路也需要改进。“原来谈所有的系统都是以流程为中心，有了大数据之后，是不是可以反过来从数据角度搭建IT系统？”ITValue发起理事、《商业价值》杂志出版人刘湘明给出了自己的建议。

就现状而言，由于不同的行业特性，导致云计算和大数据在不同行业具有不同的落地深度和维度。比如说，金融行业应用相对较深，而房地产行业则应用相对较弱。但传统行业的云计算大数据落地路径不明晰，是与会CIO普遍存在的困惑。

具体到不同的行业，晚宴沙龙通过workshop的形式，分组讨论各个行业在云计算大数据落地过程中的主要关注点和困惑。以下是ITValue编辑部根据会议讨论整理出的八大行业CIO关注的问题。

中国8大行业CIO如何看

“云计算及大数据的机遇与挑战”

大型多元化集团

1.云计算是大势，亟待解决大企业原有数据中心庞大、复杂的运维问题，以及设备老化问题；但如何采纳云计算仍有没有成熟做法，是否应该“公有云+私有云”一体，即混合云的方式？

2.云计算对大型企业的挑战与机会，主要原因是传统企业决策者、管理者对于新技术新商业模式天然的漠视。

3.公有云在大型企业落地难，云安全及数据安全问题凸显，主要出于对安全的不信任，公有云经营者是否可以有认证体系以确保安全？

4.大企业OA、培训、销售管理等更适合采纳公有云，ERP等核心应用更适合采纳公有云，CIO需要看到更多行业的云端应用案例以及需要成熟的私有云、混合云建设方案。

5.多元化大型企业下属的企业数目多，很多系统都是各自为政，云和大数据从总的来说是做“资源整合”， IT治理、数据治理对于实现大数据是至为关键的一步。

交通行业

1.交通企业的体量通常太大，信息化建设已经趋于成熟，再转向云计算的方式是有困难的，目前只有一些小的应用采用了SaaS的模式。

2.大公司和小公司在面对云计算时，区别非常大，小公司因为成本问题而青睐SaaS模式，但是大企业因为安全性、合规性等要求，对云计算呈谨慎态度。

3.如何采集到有用的数据是一个难题，包括数据采集标准的建立，数据范围的界定。

4.如何将物料链里的数据开放给上下游用户，因为只有数据整合起来才能显现出真正的数据价值。

制造业

1.数据疏密度对企业应用的相关性。

2.制造业数据采集和整理的标准。

零售及服务业

1.基于云的服务的推广与企业自身信息化战略是否有冲突？还是互补？

2.零售行业中可见的需求较为突出，但如何使共性的服务与个体企业间的个性需求达到平衡？

3.零售企业每年的销量要求特别高，怎么能够通过云计算给公司带来销量和利润？

4.数据的收集、整理，如何能更好的指导经营赢得市场？

5.跨行业的数据交换问题。

6.零售行业进行上下游打通和平台整合，能够直接抽取到最终端的数据，但是这些数据收集起来以后怎么才能利用起来？

7.数据多了，但有多少企业真正花精力在数据分析、挖掘，基于大数据做业务决策？

8.不同行业之间的大数据有多大的区别？如何区分共性与个性？企业的个性数据如何得到满足？

教育行业

1.公有云的安全与审计问题。

2.大数据人才特别难找，尤其是很多教育机构不在一线城市，一般的招聘策略是什么样的？

3.结合大数据运用的用户行为分析管理工具（DMP），业界有成熟的工具和使用案例吗？

4.大数据如何使设计作品全过程分析。

5.企业内部数据收集和分析问题如何解决？

6.大数据如何分析学生需求，包括成长过程，个性发展。

7.如何用互联网的方式，解决教育公平问题，让教育资源分配问题得到解决。

8.如何通过大数据平台，实现家长、学校、学生，三者之间的信息互通？

互联网金融

1.云计算在金融行业的规则将由谁制定，是证监会、银监会，还是运营商，还是一些强势的机构？

2.云计算在互联网金融中，出现风险后，赔付主体和责任主体是谁？

3.金融行业云端运营标准是什么？

4.金融行业借云转型对广大国民的影响？

5.大数据产生的金融业务创新？

6.大数据面对数据风险和业务风险的有效防范。

7.金融行业的云计算及大数据安全规则如何确立？

8.未来金融行业开放策略。

医疗行业

1.云平台和大数据催生互联网健康产业。比如由可穿戴设备开始，很多人会把自己的数据主动传到云平台上，或者是把这些健康数据、运动数据同步在云的平台上。这些数据就包括这些人的年龄、身体基本指标、运动习惯、消费行为、经常处的场所等等。未来的健康和医疗机构把数据有效的收集起来，并且让这个数据积累下来，粘住用户使用这个平台，那它未来的价值是不可限量的，这是一个非常大的有潜力的商业模式。

2.制药公司怎么用大数据？现在在做临床实验的时候都要筛选病人，实际上是通过很多大数据的分析来完成的。基因的分析就是一个很重要的指标，还有通过人群的分析、年龄的分析，来决定要在什么样的人群里做这个实验。还有，在临床实验结束之后，药品上市时候要做很多统计分析，通过各种模型找到药到底在哪种人群、哪种疾病、什么样的数量上得到有效的结果。产品说明书上会看到什么病人用什么剂量、什么病人需要减半，所有这些数据都是通过临床分析统计计算得到的。

房地产业

1.房地产行业IT信息化起步比较晚、老板对IT的重视度有限，但就房地产行业的大数据应用，还是有很大的空间和未来。

2.大数据能如何帮助地产企业做好精准营销？

3.大数据将在商业地产中有很好的应用。购物中心实体性的平台数据怎么拿到？根据每天销售额流水的数据得到商户真实的营业情况，从而对整个购物中心商户的结构、位置做一些调整。

4.房地产行业大数据人才缺乏。

时代双雄:大数据与云计算 第7篇

目前,虽然对云计算的定义各自表述,无法统一(虚拟化技术、分布式计算、网格计算、效用计算,软件的硬件的都一股脑的端上来了),但对云计算主流的理解大多建立在软件即服务、平台即服务、基础设施即服务这三个层次上(虽然也有非主流的认识,如流程即服务等);也正是由于云计算没有统一的定义,给众家各自发挥的空间……

当云计算炒得火热之时,另外一个名词也渐入人们的视野:大数据!一看这个名字就可以感受到高端大气上档次,霸气十足!早在上个世纪九十年代, 数据仓库之父BILL INMON就对这个BigData情有独钟。后来2008年9月, 自然杂志上一篇《Big data:science inthe petabyte era》再次将bigdata搞得一发不可收拾!与云计算出道时让大家云深雾罩的感觉不同,对于大数据的感受是实实在在的。进入IT时代以来,我们积累了海量的数据,这些数据急速增加,给我们的时代带来两个方面的巨变: 一方面,在过去没有数据积累的时代无法实现的应用现在终于可以实现;另一方面,从数据匮乏时代到数据泛滥时代的转变,给数据的应用带来新的挑战和困扰。简单地通过搜索引擎获取数据的方式已经不能满足我们千变万化、层出不穷的应用需求,如何从海量数据中高效地获取数据,有效地深加工并最终得到感兴趣的数据变得异常困难。

大数据与移动云计算 第8篇

IBM全球高级副总裁、系统与科技部 (STG)总经理RodAdkins认为,当前全球IT领域有了令人振奋的发展趋势和挑战,现在每天有大量数据和信息生成,这为大数据分析提供了机会;数据中心的挑战也为IT提供了新机会,比如云计算,能降低数据中心成本;IBM希望通过智慧的运算,实现智慧的地球的愿景。

英特尔亚太研发有限公司总经理、软件与服务事业部中国区总经理何京翔认为,大数据本身其实是信息革命的一个新引领。在未来几年随着物联网的发展,可能会有2100亿个RFID或者集群,在我们的环境之中,如果未来的移动互联、物联网如果变成现实,我们的生活会被传感器、会被数据采集装置所拥抱,这时候数据量将更大。这些数据量仅仅是数据,并不能解决问题,它要从数据变成信息、变成智能、变成商业价值,这才能够体现出真正的大数据的价值。

VMware全球高级副总裁范承工认为, 在过去三年当中,看到大数据的发展从无到有,市场上大家说大数据的趋势,三年前可能还没有人说这个词,现在已经如火如荼。然而, 现在除了数据本身发生了改变,云计算也使数据变得更加分散,在这样的趋势下,传统数据库对于海量数据的需求、快的需求、开发者数据多样化的需求难以满足,使各种各样的解决方案大行其道。

EMC的大数据和存储专家、EMC资深产品经理李君鹏认为,大数据本身就是一个问题集,云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台,大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理,也是云计算思想的一种具体体现。

对于大数据给 云计算带来的影响, Teradata技术总监StephenBrobst表示,公有云架构对数据仓库没有影响,因为企业的CIO不会无缘无故把财务数据或者客户数据放到云上,那样很危险。然而,私有云架构确实有影响:第一,通过私有云,可以巩固数据集市,减少利用率不足的问题;第二,可以通过灵敏的方式将数据集成,实现业务价值。

其实云计算与大数据的不同之处主要在于应用的不同,主要在两个方面:

第一,在概念上两者有所不同,云计算改变了IT,而大数据则改变了业务。然而大数据必须有云作为基础架构,才能得以顺畅运营。

大数据与移动云计算 第9篇

1 我国个人信息安全保护存在的问题及成因

1.1 大数据与云计算环境下的新应用带来新的安全风险

大数据与云计算时代,经济社会信息化程度越来越高,针对个人信息采集的范围日趋广泛,涉及诸多个人隐私信息,除了基本的身份信息外,还包括金融交易类数据、社交网络数据、地理位置数据、网络言论等,通过对这些数据的关联、聚合可以挖掘还原出个人社会生活的概况。当采集的数据量达到一定规模时还将会产生巨大的经济效益[1]。在巨大的经济利益驱动下,针对个人信息的采集、处理、应用等都成为非法分子的攻击利用目标。大数据与云计算环境下的信息安全呈现出了一些新特性,包括隐蔽关联性、集群风险性、泛在模糊性、跨域渗透性和交叉复杂性,这些新特性给个人信息安全保护带来了新挑战[2]。

1.2 个人信息安全保护法律体系有待完善

我国的个人信息保护法律体系还处于初期阶段,虽然制定了一些与信息安全相关的法律,但与欧盟、美国相比,缺乏个人信息保护系统化的法律体系,立法进程还需要进一步推进[3]。2012年12月,全国人大常委会出台了《关于加强网络信息保护的决定》,强化了以法律形式保护个人信息安全,规定了个人信息保护的基本原则,但是可操作性不强,还需要操作性强的配套实施细则。2013年2月,我国第一个个人信息保护国家标准《信息安全技术公共及商用服务信息系统个人信息保护指南》正式实施,明确规定了个人敏感信息在收集和利用之前,必须获得个人信息主体的授权。但在实施过程中政府还应出台相应的激励政策,促进行业主体自觉遵守。

1.3 传统的安全技术难以适应大数据云计算时代的新要求

传统的信息安全技术不能完全照搬应用到新兴的大数据领域,云计算、移动互联网等新技术的发展为大数据的采集、处理等提出了新的安全挑战。一是我国大数据、云计算所使用的主流操作系统、存储系统等都严重依赖国外,存在被植入后门的风险。二是传统的信息安全防护体系难以大数据云计算时代的新要求。传统的安全防护技术适用于某个环节,而大数据云计算时代要求做到个人信息安全保护实现全流程、全生命周期的立体化纵深防御。

1.4 个人信息安全统一监管和行业自律亟待加强

随着大数据、云计算在经济社会生活各方面的日益广泛应用,当前对于个人信息安全的政府监管和行业自律显得滞后,不能较好地适应大数据、云计算的发展需求。一是在国家层面还没有建立统一、高效的针对个人信息安全的监管体系,普遍处于多头监管、无序监管、监管不力的状态;二是没有建立有效的行业自律机制。针对大数据、云计算环境下的个人信息安全保护,各个行业缺乏个人信息安全保护的主动性,自律意识不强,没有制定本行业的信息保护标准和相关制度,行业自律缺失。

1.5 信息安全人才培养质量有待提高

我国十分重视信息安全的人才培养,基本形成了信息安全本科、硕士、博士完整的人才培养体系。据统计,全国有100余所高校设立了信息安全专业,每年培养数以万计的信息安全人才。教育部成立了“高等学校信息安全专业教学指导委员会”负责对信息安全专业建设发展的宏观指导。

但目前信息安全人才培养也存在一些问题。一是由于2015 年以前信息安全不是一级学科,普遍挂靠在其他学科之下,导致管理体制不顺,不利于学科建设和人才培养。二是一些高校的信息安全师资队伍力量薄弱。这就导致部分高校信息安全专业的有些课程没有开设。再加上一些高校缺乏必要的信息安全实验条件,影响了学生的动手实践能力的培养,这样就导致一些高校信息安全人才培养的质量很难得到有效保障[4]。

2 国外个人信息安全保护典型经验和做法

2.1 美国、欧盟等建立较为完善的信息安全保护法律体系

美国制定了一系列信息安全保护的法律,加强个人信息安全保护。1966年美国国会颁布了《信息自由法》,这是美国在信息安全领域立法的起点。1974年出台的《隐私权法》明确规定了信息公开与隐私保护的处理规则。1986年出台的《电子通信隐私法》对政府拦截监听通信信号的范围与标准等做了相关规定。之后美国先后制定了《计算机安全法》(1987年)、《通信净化法》(1996 年)、《数据保密法》(1997 年)、《网络电子安全法案》(1999 年)、《网络安全信息法》(2000 年)、《网络安全法案》(2009 年)等20 余部法律,以上这些法律均由美国最高立法机关国会制定,构成了美国最基本的信息安全法律体系框架[5]。

欧盟在欧洲议会、欧盟理事会和成员国的共同努力下,不断制定和完善信息安全法律法规体系。例如,1981 年通过了《有关个人资料自动化处理保护个人公约》,1995年欧盟制定了《个人数据保护指令》以保护个人数据及其自由流动,2002年通过了《关于电子通信行业个人数据处理与个人隐私保护指令》等,此外还出台了一系列指令、决定、决议和公约。

2.2 美、英、日、德等国普遍建立信息安全国家战略

美国:美国在全球互联网领域拥有绝对的控制权和主导权。2009年发布了《网络空间政策评估---保障可信和强健的信息和通信基础设施》,2011年发布了《网络空间国际战略》进一步确立了其战略意图。

英国:英国于2009年颁布了《英国网络安全战略》,着眼于从宏观长远角度加强网络安全建设,维护本国网络安全。

日本:日本于2005 年组建了跨越陆海空的“网络战部队”。2006 年、2009 年先后发布了《第一个国家信息安全战略》、《第二个国家信息安全战略》,2011年发布了《保护国民信息安全战略》,2013年制定了《网络安全战略》,同时组建了“网络防卫队”。

德国:作为欧洲信息技术最为发达的德国,高度重视网络信息安全建设。1997年就发布了世界上第一部计算机网络服务方面的单行法律---《多媒体法》,2011 年发布了《德国网络安全战略》,成立了国家网络防御中心,建立了国家网络安全委员会[6]。

2.3 美国在互联网领域具有领先的技术和产品优势

美国在互联网领域具有独特的优势,在全球13 个根域名服务器中占据了3 个,拥有全球最大的网络带宽,拥有最大用户数量的信息服务以及领先的软硬件核心技术。以Microsoft、IBM、Apple、Google、Intel、Oracle、Cisco等为代表的信息巨头公司在全球信息安全产业中占据着基础性的关键支撑作用,改变着全球用户的工作和生活方式。以Symantec、Trend micro等为代表的信息安全产业巨头引领着全球信息安全产业发展[7]。

3 构建个人信息安全立体协同保护体系

新技术、新应用的快速发展带来诸多新的安全威胁,传统的安全防御手段难以适应新环境下的新要求,大数据与云计算环境下个人信息安全保护面临许多新挑战,亟须从管理机制、法律体系、技术产业、监管自律、人才培养、宣传教育等方面着手建立体协同的个人信息安全协同保护体系。

3.1 加强顶层设计,建立综合协同的信息安全管理机制

2014年成立了中央网络安全和信息化领导小组办公室,习近平总书记担任组长,体现了我国保障网络安全、推动信息化发展的强大决心。作为全球网络攻击的主要受害国,我国应因势而谋,顺势而为,从全球化的视角审视我国信息安全形势,加快制定国家信息安全战略,主动提升我国在信息安全领域的战略威慑能力。同时地方各部门也应加强网络安全建设,做好顶层设计。打破传统上“九龙治水”的管理格局,克服多头管理、职能交叉的弊端,成立对应的信息安全管理机构,跨部门、跨行业的综合协同管理机制。

3.2 建立健全个人信息安全保护的法律体系

加快出台个人信息安全保护的相关法律法规,进一步规范政府、企业和相关机构对个人信息采集、保存和使用的行为,依法惩处信息安全违法行为,确保个人信息安全。同时进一步完善现有的信息安全法律法规,配套设施细则,增强法律执行的可操作性,严厉打击个人信息安全保护中的违法行为,提高违法成本,保障个人信息安全,逐步建立健全个人信息安全保护法律体系。

3.3 加强个人信息安全保护技术研发,推动信息安全产业发展

技术层面。加大政策资金的扶持力度,积极鼓励科研机构、高校、企业等共同加强对信息安全保护相关技术的研发和创新,从技术层面保障个人信息安全。加大对个人隐私保护相关技术的研发,包括数据发布匿名保护技术、数据水印技术、数据溯源技术等关键技术,提高对个人隐私信息的保护能力。

产业层面。我国在互联网领域的核心技术自主可控水平较低,应下大力气加强关键技术研发,开发出性能先进、自由可控、安全可靠的国产化核心技术替代产品,摆脱长期以来严重依赖国外信息技术产品的尴尬局面,从源头上增强信息安全保障能力,大力发展信息安全产业,建造大数据与云计算环境下我国信息安全防范的新长城[8]。

3.4 构建个人信息安全统一监管和行业自律体系

推动建立大数据、云计算环境下个人信息安全的政府统一监管体系,建立自上而下统一的监管机构,加强行业监管,开展对个人信息安全保护“事前、事中、事后”全生命周期监测,制定相关的认证标准和流程,鼓励建立第三方评估监测机构,加强动态评估和绩效评估。另外,积极推动行业自律,充分发挥行业组织的行业自律和相互监督,引导各行业制定本行业的个人信息安全保护行业标准和规范,形成自我监督、自我完善的机制。

3.5 构建网络信息安全创新人才培养体系

经过多年来对信息安全人才培养的探索实践,2015 年月,国务院学位委员会、教育部决定在“工学”门类下增设“网络空间安全”一级学科,这对于加强信息安全学科建设,提高信息安全人才培养质量具有十分深远的意义。另外,需要加大对信息安全师资的培养、培训力度,构建良好的实验条件,加强实践环节训练,切实提高信息安全人才的实战能力。还可以通过举办各种形式的信息安全比赛,不断发现和培养信息安全人才。

3.6 加强宣传教育,提高公众的信息安全保护意识

借助国家网络安全宣传周等活动,通过新媒体、电视、广播等多种形式,加强对公众的个人信息安全知识的宣传教育,提高公众的个人信息安全保护意识。同时,完善个人信息安全的监督体系,利用新媒体等多种形式曝光个人信息安全违法行为案例,畅通对个人信息安全违法行为的举报渠道,在全社会形成共同保护个人信息安全的良好氛围。

4 结语

大数据与云计算环境下的个人信息安全面临着严峻的挑战,日益受到人们的重视和关注,如何构建信息安全协同保护体系成为我们面临的重要课题。本文首先从大数据与云计算环境下的新应用带来的安全风险、个人信息安全保护法律体系不完善、传统的信息安全技术滞后、信息安全监管和行业自律亟待加强、信息安全人才培养质量有待提高等五个方面具体分析了当前个人信息安全保护存在的问题及成因,然后介绍了美国、欧盟等国家个人信息安全保护的典型经验和做法,结合我国实际情况,从管理机制、法律体系、技术产业、监管自律、人才培养、宣传教育等六个方面构建了个人信息安全协同保护体系,从而在大数据与云计算环境下更好地保障个人信息安全。

摘要：大数据与云计算环境下,个人信息安全问题越来越受到人们的重视。首先阐述了我国个人信息安全保护存在的问题,分析了其成因,接着介绍了国外个人信息安全保护的典型经验和做法,最后从管理机制、法律体系、技术研发、监管自律、人才队伍、宣传教育等六个方面提出了构建个人信息安全立体协同保护体系的方案。

关键词：大数据,云计算,信息安全,协同保护

参考文献

[1]惠志斌.大数据时代个人信息安全保护[J].社会科学报,2013-4-11(3).

[2]王世伟.论信息安全、网络安全、网络空间安全[J].中国图书馆学报,2015(3):72-84.

[3]马民虎,张敏.信息安全与网络社会法律治理:空间、战略、权利、能力[J].西安交通大学学报(社会科学版),2015(2):92-97.

[4]张焕国.信息安全人才培养现状与问题[J].中国教育网络,2014(9):41-43.

[5]孙成相.中美网络安全法律体系比较研究[J].保密科学技术,2013(1):46-50.

[6]方兴东.棱镜门事件与全球网络空间安全战略研究[J].现代传播,2014(1):115-122.

[7]肖新光.大战略基石—美国信息安全产业格局的解析[J].中国信息安全,2014(4):41-49.

大数据与移动云计算 第10篇

云计算的出现和大数据应用让我国在医疗卫生领域的信息化建设有了巨大的突破。云计算给大数据应用提供了平台基础, 大数据应用是对云计算模式的具体落实。两者的结合, 让医院不再被时间、空间和地域所限制, 让全国的各级医院都能共享医疗信息和医疗资源。在这种背景下, 医院的信息化会产生巨大的转变。医院信息化的三个转变主要是基础平台、信息平台与终端平台的转变。

1 医院信息化有何必要

通过医院的信息化建设, 医院的管理工作变得更加科学, 给患者提供的医疗服务也会有更好的质量。因为社会对医疗服务的需求大大增长, 医疗服务过程中涉及的数据量也出现了大幅度的增长, 这就导致医院不得不频繁购买软件和硬件设备来实现信息的处理, 增进医疗服务的水平。然而很多医院由于条件所限, 购买的设施没有地方安置, 白白花费大量的资金。还有的医院的信息存储在不同的服务器, 调用和查阅数据特别不方便, 不能够形成数据的统一利用管理。这些问题影响了医院的信息化进程。

目前, 医院信息系统、检验信息系统、电子病历系统、无纸化办公系统、远程治疗等数字化的系统程序已经广泛被我国的各大医院采取应用[1]。在引进这些先进系统时, 也产生了一些问题和不足。比如数字系统的安全性差、没有扩展空间、工作部署的效率极其低下等。云计算通过虚拟化技术, 实行全方位的自动管理, 改善了医院的管理方式, 提高了医院的工作效率。云计算模式把医院各种软件硬件资源集中起来, 统一进行分配调动, 弥补了信息化过程中出现的各种缺陷。云计算的应用, 让医院信息化的进程变得更安全、更稳定, 同时也减少了维护设施造成的资金消费, 让医疗工作者的精力得到了节省。

2 信息化工程的困难

云计算模式在以往的网络服务模式上进行了简化, 省掉了用户购置复杂设施的步骤, 提高了服务的效率。云计算的模式极大促进了医院的信息化建设[2]。通过大数据的应用, 能够在各级医院之间进行交流沟通, 共同利用医疗信息和医疗资源。但是在这种交流过程中, 信息的安全容易产生风险, 信息的可靠性不能得到保障。如何在信息交流整合的过程中保护信息安全, 维护信息的可靠性, 是云计算模式在应用过程中面临的主要问题。

在云计算模式在信息化的应用过程中, 还产生了一些技术层面上的问题。要将云计算模式应用到信息化的进程中, 必须要解决三个问题:第一, 各个医院的信息通过什么渠道进行手机, 如何有效地整合起来, 进行有序的排列;第二, 如何通过构建平台实现各个医院的信息、资源共享, 改变以往信息独立储存、资源各自利用的局面;第三, 如何对医院的功能职责进行合理划分, 让患者根据不同的需要以最快速度找到合适的医疗机构进行就诊。在各级医院的信息化过程中, 采取的数据标准要进行统一, 让患者无论到哪一家医疗机构都能得到安全、可靠的治疗。

3 云计算技术与其优点

3.1 云计算技术

云计算是一种新兴的信息技术框架及业务模型, 这项技术的商业用途需要借助计算机科学技术中的分布式处理、并行处理及网格计算等实现, 其将基础构架及平台转变发展, 使其为公共服务提供更多业务应用, 不需要单独构建基础架构与平台针对每个业务内容。

3.2 云计算技术优点

云计算具有很多优点, 其现在已经被广泛应用于各行各业中, 下面将具体介绍下这项技术的三方面优势。第一是具有较高可靠性, 其主要体现在分布式计算与存储中, 当新计算资源加入时, 云计算会对计算节点进行自动分配, 也会将计算任务自动转移到其他节点上当某节点发生故障时。自动切分数据时, 储存资源池会分布存储冗余数据资料, 当该资源池出现储存单元故障时, 系统就会从备份保存从其他单元中。第二是部署快速、扩容具有弹性, 云计算规模下, 可以实现动态伸缩, 并适当增加服务器节点根据业务增长规模, 通过这些来提高云计算服务能力, 也能很好地因为过量投资而造成的资源浪费, 也能避免出现保守投资导致的服务能力不足[3]。第三是按需提供服务, 云计算具有强大的计算服务能力, 用户在云计算平台上能共享信息数据资源, 并根据自己需要选择不同模块, 这样就能较好地降低占用不必要资源问题发生几率, 当用户不再需要有关服务时, 其则能快速地将自己原本占用资源归还至资源池中。此外云计算也能较好地提升资源利用率。

4 医院信息化的改变形式

4.1 基础平台的改变

我国目前应用的智能系统包含了很多种类, 比如医院信息系统、影像归档与通信系统、检验信息系统、电子病历系统。这些系统每一个都需要搭配不同的软件和硬件设施。不同的软件和硬件设施, 需要的运行环境也各不相同。数字系统的多种多样导致了运用到的硬件设备数量巨大、软件版本数目繁多, 给信息化的平台运行造成了极大的负担。云计算服务改变了这一状况。云计算的服务要通过公共平台来进行, 能够容纳多种系统、软件和硬件同时运行。通过统一的服务平台兼容各类软件和硬件设备的运行, 避免了各种系统间的冲突和运行混乱。在统一的云计算服务平台上, 信息化工作能够更有效率地开展, 快速完成各项工作的部署。因为云计算优点较多, 目前很多互联网公司、电信运营商等都利用云计算技术向个人及机构提供云服务, 这些都是公共云。此外一些企业与机构也建设了自己云计算平台, 这些是私有云, 还有部分企业在私有云部署关键业务, 在公共云部署非关键业务, 联合使用私有云与公共云, 这是混合云。其中的私有云具备云计算技术灵活性、高效性及按需求进行资源分配优点, 还具有传统数据中心的安全可控及可信赖特点, 其应用于医院信息化方面是比较理想的技术选择, 可以私有云技术应用于医院的HIS、LIS等关键业务中[4]。医院私有云目前的典型形态主要是:利用虚拟化技术构建虚拟化数据中心, 联合服务器、网络及存储资源建立统一资源池;将两个数据中心组成双活数据中心, 采用分布式计算及存储促进高可靠性实现。

4.2 信息平台的改变

制约信息化发展进步的问题有很多种, 其中最主要的就是数据管理的不科学。很多医院的数据存储没有一个合理的秩序, 不仅放在不同的服务器, 不方便调用, 而且排列没有顺序, 没有章法。服务器设置过多, 不仅不利于数据的统一应用, 而且还花费了过多的维护费用。针对这一问题, 医院的信息化工作首先要建立一个统一的信息平台, 对数据进行综合管理。通过大数据的科学管理方式, 对各部门的大量数据进行整理和分析, 最终得出科学的决策[5]。信息平台的建立, 能够让医院的数据统一标准, 各部门的信息共享, 保持一致, 在各自独立工作的同时共同促进医院的发展。医院信息化系统具有多个异源异构, 其开发时间与部门上有所不同, 因此相应的信息系统需要在不同的软硬件平台上才能较好地运行, 因为系统中数据源处于彼此独立、相互封闭状态, 很难促使这些数据实施交流、共享与融合, 很容易出现“信息孤岛”。针对上述问题, 数据集成平台被提出, 其能借助物理或逻辑有机集中不同来源、格式与相关特性, 然后为企业提供多种全面的数据资料共享服务, 建立数据集成平台有一定难度, 但是需要确立这种目标, 其有利于促进全社区医疗信息共享、将医疗信息的大数据价值充分发挥出来, 也能给居民健康及社会发展带去福利。因此医院在构建数据集成平台方面应积极行动起来, 分步实施, 不能一味等待与依靠;医院应学习借鉴厂商、其他医院做法尽快建立两种标准体系。

4.3 终端平台的改变

手机、平板电脑等移动终端设备种类越来越多, 这给医院的终端平台带来了越来越多的选择。通信技术的发展, 给信息化的终端平台也带来了改变。终端平台方式的改变, 带来的好处主要表现在以下三个方面:提高了医护人员的工作效率, 便携式的移动终端让医护人员能够第一时间料及病人的身体情况, 并且更方便地进行记录;患者可以通过移动终端, 根据自己的需求要求不同的医疗服务, 医护人员可以通过移动终端与患者沟通, 使自己的服务质量更让人满意;移动终端的重量轻, 容易携带, 这就方便了医护人员的工作。虽然目前移动终端的应用范围还很狭窄, 但是终究会完全取代办公终端。医院信息化建设过程中, 终端平台日益多样化, 这给医院信息安全提出了更高更多要求, 医院信息化面临更多挑战。医院的信息网络中常常被接入医院人员及患者自带设备, 这些增大了医院的信息安全风险, 而且医院自身也不能对这些人群自带设备部署相关的防病毒或防火墙安全措施, 这使得破坏分子伪装移动终端趁虚而入。终端类型多样化, 医院应针对多样化终端类型, 为其配备合适的应用软件, 医院在应用开发及部署终端平台时还应考虑到终端屏幕尺寸、操作系统及操作模式的不同性。

5 结论

云计算模式让我国的医疗卫生服务变得更加的灵活、智能和高效。云计算作为大数据应用的基础, 给数据的综合管理提供了平台。虽然现在的发展还没有得到普及, 但是随着时代的发展一定会得到大大推广。医疗服务人员一定要重视在信息化过程中的三个转变, 推动医院的工作建设, 为社会提供更优秀的服务。

摘要：云计算是一种与以往形式都不相同的网络服务方式。云计算能够按照用户的需求提供信息服务, 节省客户购买硬件设备的资金。目前已经有多个行业采取了云计算的服务模式。云计算是大数据应用的基础, 大数据的应用能够让医院的管理变得更加高效、快捷, 准确。云计算和大数据已经成为了推动医院信息化建设的强大力量。本文将详细描述在医院信息化的过程中会发生哪些转变。

关键词：云计算,大数据,信息化

参考文献

[1]张冉.云计算与大数据时代医院信息化的三个转变[J].通讯世界, 2016, 01:74.

[2]刘会勋, 刘超然.大数据时代的医院信息化建设研究[J].决策咨询, 2015, 01:56-58.

[3]李萍.云计算与大数据时代医院信息化的三个转变[J].中国医院管理, 2013, 33 (12) :80-81.

[4]乔艳丽.云计算与大数据时代医院信息化的三个转变分析[J].信息通信, 2015 (3) :147-147.

大数据云计算时代的法院信息化建设 第11篇

关键词：法院信息化建设；大数据；云计算

随着信息技术的不断发展，信息化建设逐渐成为企业管理的基本支承。在法院的信息化建设过程中，以计算机为基础的信息管理已基本形成。但是，为了满足社会发展的需要，法院的信息化建设发展速度还有待进一步提升。

一、法院信息化建设的现状及其意义

目前，在最高人民法院的带领下，我国法院的信息化建设已经取得了很好的发展，各级人民法院的网络设施建设基本完成。在法院的实际业务中，数据资源不断被扩充，数据服务的开展工作得以顺利进行。但我国的法院信息化建设还处于起步阶段，所以存在一些问题。在法院的审判体系中，让审判过程更加透明化，为法院工作的可信度提供依据是当前法院信息化建设中亟需解决的问题。

为了保障审判流程的规范性，审判过程中要实现全过程录音录像，让案件的管理更加方便。目前，法院信息化建设的难点在于如何实现立案阶段的全程可视化，这是法院信息化建设中必须要解决的问题。

二、法院信息化建设的意义

（一）保证办公流程的公开性

法院的信息化建设可以实现从立案到案件审判结束的全过程录音录像，这就使私自立案和销毁案件的可能性为零，庭审过程中的录音录像可以让法院的审判受到人们的监督。这些都实现了法院办公流程的公开性，为法院工作的顺利开展打好基础。

（二）提高法院工作效率

法院的信息化建设可以实现自动化、无纸化的办公，让所有的文件都在电脑上生成。这样既降低了诉讼的成本，还节约了需要的时间。另外，案件的庭审时间会被统计，然后可以对法官进行庭审时间的提醒，避免耽误案件的审理。

（三）信息化建设可以保证审判流程的合理性

对于在法院庭审过程中的录音录像，其作用不容小视，因为录制的视频可以成为人们反复研究庭审存在的问题提供依据。如果在庭审过程中出现不合理的地方，但没有人发现，但庭审结束后就能在视频的研究中发现问题，这样就能保证审判流程的合理性。

（四）有助于法院提升公信力

信息化建设可以使法院的工作更加公开透明，群众可以通过多种方式了解到法院的工作情况，对法院的工作进行全面的监督。随着时间的推移，群众没有发现法院工作存在问题的情况下，法院的公信力将显著提升。

三、大数据云计算时代下法院信息化建设存在的问题

（一）网络不能满足对高清大数据的传输

目前，法院的内部系统网络覆盖已基本完成建设，法院的各个部门都能利用网络实现信息化的办公。除了涉密网络，其它的网络都能完成基本的信息管理，而且能全面保障法院信息的安全。但是，法院的网络系统没有得到及时的更新，网络性能已经很难满足当前的信息化建设需求，成为了法院信息化建设的一大障碍。

（二）科技法庭建设混乱

在法院的日常工作中，案件庭审是工作的重点，在法院的建设中承担者重要角色。但是，在法院的科技法庭建设过程中，参与建设的企业对建设的整体思路各持己见，对音视频的管理编辑以及数据封装协议也存在较大差异。这就使法院在需要进行联网是出现连不上，画面模糊等情况。这些问题严重影响了法院的信息化建设，必须尽快解决。

（三）信息系统多且不集中

法院信息化建设中，基本的信息系统构建已经完成，但这些信息系统之间缺少必要的联系，缺少联动性。但对于法院来说，更需要的是将这些信息系統集中到一起进行管理，这样才能实现法院日常运营中各项工作的统一安排。当前的状况未能形成统一的管理，给法院的管理增加了难度。

（四）未能实现审判数据的有效利用

自从我国法院实施立案登记制度后，案件的登记呈现出超大量的现象。在立案数据量如此大的情况下，案件庭审过程的录音录像数据量就会相当庞大。但是，这些海量的数据在被储存后没有发挥其应有的作用，一直被闲置。

四、大数据云计算时代法院信息化建设策略

（一）法院在科研上要借助信息化技术

在大数据云计算时代，法院要借助信息化技术来提升法院的科研水平，充分利用各地法院信息平台上的数据，对数据进行必要的判定后进行学术研究。在信息化系统中实现对科研过程中产生的论文等资料的管理，对大数据背景下的审判工作机制进行积极地探索，实现法院的全面信息化建设。

（二）集中联网管理，实现多级可视化管理

我国的法院管理实行的是两级管理模式，对基层人民法院和中级人民法院的管理是由省高院直接完成的，所以对法院的管理存在孤立性。要让法院的信息化建设快速发展，就必须要解决各法院信息系统独立运行的状态。这就要求建立起联网的法院内部管理系统，实现多级法院业务开展的可视化管理，形成更好的由最高院统一指挥的管理系统。

（三）利用智能分析实现法院的自动化管理

法院应该将智能分析技术引入日常的视频管理中，这样可以找到有效利用视音频数据的方法。智能分析技术不仅可以减少法院在视音频管理上的人员投入，还能为视音频数据的大数据应用提供可能。

（四）全面掌握法院的审判资源，加强大数据云计算的应用

在法院信息化建设中，数据中心的大部分储存空间都被工作中的视音频占据。但是，这些占据了大量储存空间的数据并没有起到应有的作用。所以，如何对这些视音频数据进行机构化处理，为大数据应用打好基础，是当前法院信息化建设中亟待解决的问题。

在全国，司法信息的积累普遍占据了大部分信息储存空间，但一些地方对这些数据进行了深度整合，其数据的利用率得到极大提升，云计算、云存储的技术也正在快速发展，基本满足的大数据的基本应用条件。大数据可以为法院的各方面工作提供基础，使法院的工作开展更加顺利。但实际上大数据的功能不仅如此，它还能帮助法院实现智能化运作，节约生产成本。

五、总结

大数据云计算时代下，法院的信息化建设工作还有很多需要改进的地方。但只要法院的信息化建设完成，法院的工作将会更加方便。所以要加快大数据云计算时代的法院信息化建设，让法院更好的为社会服务。

参考文献：

[1]魏婧楠.大数据时代天津公安信息化建设研究[D].天津大学，2013.

大数据与移动云计算 第12篇

1.1什么是大数据

大数据概念可以从四个维度去解, 即三个V和一个C。三个V分别指的是数据量大 (Volume) 、数据种类多 (Variety) 和数据增长速度快 (Velocity) , 最后一个C指的是处理、升级或利用大数据的分析手段比处理结构化数据要复杂的多 (Complexity) 。大数据分析常和云计算联系到一起, 因为实时的大型数据集分析需要像Map-Reduce一样的并行计算框架将复杂的计算任务分配到“云”中成百上千的节点。

1.2大数据与云计算

大数据本身就是一个问题集, 云计算技术是目前解决大数据问题集最重要最有效的手段。云计算提供了基础的架构平台, 大数据应用在这个平台上运行。目前公认为分析大数据集最有效手段的分布式处理技术, 也是云计算思想的一种具体体现。

云计算是分布式处理、并行处理和网格计算的发展, 或者说是这些计算机科学概念的商业实现。云计算将网络上分布的计算、存储、服务构件、网络软件等资源集中起来, 基于资源虚拟化的方式, 为用户提供方便快捷的服务, 实现了资源和计算的分布式共享和并行处理, 能够很好地应对当前互联网数据量高速增长的势头。

1.3大数据与Hadoop

Hadoop是一个Apache的开源项目, 主要面向存储和处理成百上千TB直至PB级别的结构化、半结构化或非结构化的大数据。Hadoop提供的Map-Reduce能将大数据问题分解成多个子问题, 并将它们分配到成百上千个处理节点之上, 再将结果汇集到一个小数据集当中, 从而更容易分析得出最后的结果。

Hadoop项目包括三部分, 分别是Hadoop Distributed File System (HDFS) 、Map Reduce编程模型, 以及Hadoop Common。Hadoop具备低廉的硬件成本、开源的软件体系、较强的灵活性、允许用户自己修改代码等特点, 同时能支持海量数据的存储和计算任务。这些特点让Hadoop被公认为是新一代的大数据处理平台。Hadoop同样具备出色的大数据集处理能力, 在获取、存储、管理和分析数据方面远远超越传统的数据库软件工具。Hadoop经常在构建大数据解决方案时被用作基础构架软件。

二、大数据技术综述

大数据处理不仅仅是Hadoop, 许多特定的数据应用场景是需要实时分析和互动反馈的, 这时候就需要利用包括内存检索、流处理和实时计算等其他技术。而云计算的分布式存储和计算架构开启了大数据技术研究的大门, 打造健全的大数据生态环境, 所有这些技术结合在一起, 才是一个完整的大数据处理系统。

2.1分布式计算框架

Map Reduce是Google开发的一种简化的分布式编程模型和高效的任务调度模型, 用于大规模数据集 (大于1TB) 的并行运算, 使云计算环境下的编程变得十分简单。

Map Reduce将数据处理任务抽象为一系列的Map (映射) 和Reduce (化简) 操作对。Map主要完成数据的分解操作, Reduce主要完成数据的聚集操作.输入输出数据均以〈key, value〉格式存储.用户在使用该编程模型时, 只需按照自己熟悉的语言实现Map函数和Reduce函数即可, Map Reduce算法框架会自动对任务进行划分以做到并行执行。

Pregel是Google提出的迭代处理计算框架, 它具有高效、可扩展和容错的特性, 并隐藏了分布式相关的细节, 展现给人们的仅仅是一个表现力很强、很容易编程的大型图算法处理的计算框架。Pregel的主要应用场景是大型的图计算, 例如交通线路、疾病爆发路径、WEB搜索等相关领域。

2.2分布式文件系统

为保证高可用、高可靠和经济性, 基于云计算的大数据处理系统采用分布式存储的方式来保存数据, 用冗余存储的方式保证数据的可靠性。目前广泛使用的分布式文件系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。

GFS即Google文件系统, 是一个可扩展的分布式文件系统, 用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统, 是针对大规模数据处理和Google应用特性而设计的, 运行成本低廉, 并提供容错功能。

HDFS即Hadoop分布式文件系统, 受到GFS很大启发, 具有高容错性, 并且可以被部署在低价的硬件设备之上。HDFS很适合那些有大数据集的应用, 并且提供了数据读写的高吞吐率。HDFS是一个master/slave的结构, 在master上只运行一个Namenode, 而在每一个slave上运行一个Datanode。HDFS支持传统的层次文件组织结构, 对文件系统的操作 (如建立、删除文件和文件夹) 都是通过Namenode来控制, Datanode用来存放数据块。

2.3大数据管理技术

互联网数据已超出关系型数据库的管理范畴, 电子邮件、超文本、博客、标签 (Tag) 以及图片、音视频等各种非结构化数据逐渐成为大数据的重要组成部分, 而面向结构化数据存储的关系型数据库已经不能满足数据快速访问、大规模数据分析的需求, 随之而来, 一系列新型的大数据管理技术和工具应运而生。

2.3.1非关系型数据库

No SQL, 也有人理解为Not Only SQL, 它是一类非关系型数据库的统称。其特点是:没有固定的数据表模式、可以分布式和水平扩展。No SQL并不是单纯的反对关系型数据库, 而是针对其缺点的一种补充和扩展。典型的No SQL数据存储模型有文档存储、键-值存储、图存储、对象数据、列存储等。而比较流行的, 不得不提到Google的Bigtable, 它把所有数据都作为对象来处理, 形成一个巨大的表格, 用来分布存储大规模结构化数据, 数据量可达PB级。而HBase是Hadoop团队基于Bigtable的开源实现, 使用HDFS作为其文件存储系统。同时, Cassandra (K/V型数据库) 、Mongo DB (文档数据库) 和Redis等一系列优秀的非关系型数据库产品如雨后春笋般问世。

2.3.2数据查询工具

Hive是Facebook提出的基于Hadoop的大型数据仓库, 其目标是简化Hadoop上的数据聚集、即席查询及大数据集的分析等操作, 以减轻程序员的负担.它借鉴关系数据库的模式管理、SQL接口等技术, 把结构化的数据文件映射为数据库表, 提供类似于SQL的描述性语言Hive QL供程序员使用, 可自动将Hive QL语句解析成一优化的Map Reduce任务执行序列.此外, 它也支持用户自定义的Map Reduce函数。

Pig Latin是Yahoo!提出的类似于Hive的大数据集分析平台.两者的区别主要在于语言接口.Hive提供了类似SQL的接口, Pig Latin提供的是一种基于操作符的数据流式的接口.可以说Pig利用操作符来对Hadoop进行封装, Hive利用SQL进行封装。

Google Dremel是个可扩展的、交互式的即时查询系统, 用于完成大规模查询结构化数据集 (如日志和事件文件) 。它支持类SQL语法, 区别在于它只能查询, 不支持修改或者创建功能, 也没有表索引。数据被列式存储, 这样有助于提升查询的速度。Google将Dremel作为Map Reduce的一种补充, 被用于分析Map Reduce的结果或者是作为大规模计算的测试。

2.4实时流处理技术

伴随着互联网业务发展的步调, 以及业务流程的复杂化, 企业的注意力越来越集中在“数据流”而非“数据集”上面, 他们需要的是能够处理随时发生的数据流的架构, 现有的分布式计算架构并不适合数据流处理。流计算强调的是数据流的形式和实时性。Map Reduce系统主要解决的是对静态数据的批量处理, 当Map Reduce任务启动时, 一般数据已经到位了 (比如保存到了分布式文件系统上) , 而流式计算系统在启动时, 一般数据并没有完全到位, 而是经由外部数据源源不断地流入, 重视的是对数据处理的低延迟, 希望进入的数据越快处理越好。数据越快被处理, 结果就越有价值, 这也是实时处理的价值所在。

流计算的数据本身就是数据流, 不需要数据准备的时间, 有数据流入就开始计算, 解决了数据准备和延迟的两个问题。现有的解决方案中, Twitter的Storm和雅虎的S4框架更适合数据流计算的场景。Storm是开源的分布式实时计算系统, 可以可靠的处理流式数据并进行实时计算, 单机性能可达到百万记录每秒, 开发语言为Clojure和Java, 并具备容错特性。S4是面向流式数据和实时处理的, 所以针对实时性较高的业务, 可以很好地对数据做出高效的分析处理, 而且系统一旦上线, 很少需要人工干预, 源源不断的数据流会被自动路由并分析。对于海量数据, 它和Map Reduce都可以应对, 但它能比后者更快地处理数据。

三、思考与展望

以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具, 通过对大数据分析、预测会使得决策更为精准, 这对媒体融合具有重要意义。

新闻媒体的数据库中拥有海量信息存储, 这些多媒体数据包括文字, 图片, 视频和音频等多种格式, 符合大数据处理的基本特征, 利用大数据技术对这些资源进行存储, 计算和分析, 了解用户行为, 挖掘数据本质和关联, 为领导提供决策支持, 为终端用户提供更好的服务和新闻定制, 增强新闻信息产品的质量和影响力。

如今, 在开源社区, 围绕Google Map Reduce框架, 已经成长出了一批优秀的开源项目。这些项目在技术和实现上相互支持和依托, 逐渐形成了一个特有的“大数据”生态系统。系统为我们实现优质廉价的大数据分析和管理提供了坚实的技术基础。

新闻媒体可以顺应大数据的技术趋势, 加强技术调研, 早日选型, 搭建大数据处理平台, 利用云计算项目资源, 将海量数据统筹管理, 通过分析和挖掘, 实现新闻产品的创新和跨越式发展, 以现代化的传播手段向世界展示中国。

摘要：随着互联网、移动互联网和物联网的发展, 我们已经迎来了数据大爆炸的时代, 数据的快速增长带来了数据存储、处理、分析的巨大压力, 而大数据技术 (Big data) 的引入, 不但满足了系统功能和性能的要求, 带来良好的可扩展性, 降低了IT部署的成本, 还拓展了数据智能分析的应用领域。同时, 大数据分析与云计算的发展密切相关, 云计算是大数据处理的基础, 而大数据技术是云计算的延伸, 云计算的分布式存储和计算架构为大数据的快速处理和智能分析提供了一种合适的解决方案。本文将探讨建立在云计算基础上的大数据处理技术, 包括分布式计算框架、分布式文件系统、大数据管理技术、实时流数据处理、机器学习以及可视化技术等。

关键词：云计算,大数据,MapReduce,Hadoop

参考文献

[1]维基百科http://en.wikipedia.org/wiki/Cloud_computing

[2]陈全, 邓倩妮.云计算及其关键技术[J].计算机应用, 2009, (09) .

[3]郭斯杰, 贾鸿飞, 熊劲.互联网海量数据存储和处理技术综述[J].信息技术快报, 2009, Vol.7 No.5