大数据工程师就业前景

大数据工程师就业前景（精选8篇）

大数据工程师就业前景 第1篇

大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。

这群人在国外被叫做数据科学家(Data Scientist)，这个头衔最早由D.J.Pati和Jeff Hammerbacher于提出，他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。

不过在国内，大数据的应用才刚刚萌芽，人才市场还不那么成熟，“你很难期望有一个全才来完成整个链条上的所有环节。更多公司会根据自己已有的资源和短板，招聘能和现有团队互补的人才。”领英(LinkedIn)中国商务分析及战略总监王昱尧说。

于是每家公司对大数据工作的要求不尽相同：有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此，很多公司会针对自己的业务类型和团队分工，给这群与大数据打交道的人一些新的头衔和定义：数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title，我们将其统称为“大数据工程师”。

由于国内的大数据工作还处在一个有待开发的阶段，因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架，包括要有计算机编码能力、数学及统计学相关背景，当然如果能对一些特定领域或行业有比较深入的了解，对于其快速判断并抓准关键因素则更有帮助。

虽然对于一些大公司来说，拥有硕博学历的公司人是比较好的选择，不过阿里巴巴集团研究员薛贵荣强调，学历并不是最主要的因素，能有大规模处理数据的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。

除此之外，一个优秀的大数据工程师要具备一定的逻辑分析能力，并能迅速定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的，哪个是重要的，使用什么样的数据是最有价值的，如何快速找到每个业务最核心的需求。”联合国百度大数据联合实验室数据科学家沈志勇说。

学习能力能帮助大数据工程师快速适应不同的项目，并在短时间内成为这个领域的数据专家;沟通能力则能让他们的工作开展地更顺利，因为大数据工程师的工作主要分为两种方式：由市场部驱动和由数据分析部门驱动，前者需要常常向产品经理了解开发需求，后者则需要找运营部了解数据模型实际转化的情况。

你可以将以上这些要求看做是成为大数据工程师的努力方向，因为根据万宝瑞华管理合伙人颜莉萍(Nicole Yan)的观察，这是一个很大的人才缺口。目前国内的大数据应用多集中在互联网领域，有超过56%的企业在筹备发展大数据研究，“未来5年，94%的公司都会需要数据科学家。”颜莉萍(Nicole Yan)说。因此她也建议一些原本从事与数据工作相关的公司人可以考虑转型。

《第一财经周刊》采访了BAT这3家国内互联网公司，以及相关领域的人力资源专家，他们从职场角度为我们解读如何成为大数据工程师以及这类岗位的职场现状。

大数据工程师就业前景 第2篇

沈志勇认为如果把大数据想象成一座不停累积的矿山，那么大数据工程师的工作就是，“第一步，定位并抽取信息所在的数据集，相当于探矿和采矿。第二步，把它变成直接可以做判断的信息，相当于冶炼。最后是应用，把数据可视化等。”

因此分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。

1找出过去事件的特征

大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。比如，腾讯的数据团队正在搭建一个数据仓库，把公司所有网络平台上数量庞大、不规整的数据信息进行梳理，总结出可供查询的特征，来支持公司各类业务对数据的需求，包括广告投放、游戏开发、社交网络等。

找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好，是不是互联网付费用户、喜欢玩什么类型的游戏，平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰说。下一步到了业务层面，就可以针对各类人群推荐相关服务，比如手游，或是基于不同特征和需求衍生出新的业务模式，比如微信的电影票业务。

2预测未来可能发生的事情

通过引入关键因素，大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上，工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系，找到与之相关的品类，提前警示卖家周转库存。”薛贵荣说。

在百度，沈志勇支持“百度预测”部分产品的模型研发，试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以百度景点预测为例，大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测，并为全国各个景点未来的拥挤度分级―在接下来的若干天时间里，它究竟是畅通、拥挤，还是一般拥挤?

3找出最优化的结果

根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。

以腾讯来说，郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test)，即帮助产品经理在A、B两个备选方案中做出选择。在过去，决策者只能依据经验进行判断，但如今大数据工程师可以通过大范围地实时测试―比如，在社交网络产品的例子中，让一半用户看到A界面，另一半使用B界面，观察统计一段时间内的点击率和转化率，以此帮助市场部做出最终选择。

作为电商的阿里巴巴，则希望通过大数据锁定精准的人群，帮助卖家做更好的营销。“我们更期待的是你能找到这样一批人，比起现有的用户，这些人对产品更感兴趣。”薛贵荣说。一个淘宝的实例是，某人参卖家原来推广的目标人群是产妇，但工程师通过挖掘数据之间的关联性后发现，针对孕妇群体投放的营销转化率更高。

需要具备的能力

1数学及统计学相关的背景

就我们采访过的BAT三家互联网大公司来说，对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。沈志勇认为，缺乏理论背景的数据工作者，更容易进入一个技能上的危险区域(Danger Zone)―一堆数字，按照不同的数据模型和算法总能意脸鲆恍┙峁来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。“只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。”沈志勇说。

2计算机编码能力

实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。“因为许多数据的价值来自于挖掘的过程，你必须亲自动手才能发现金子的价值。”郑立峰说。

举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中，大数据工程师的职责以商业分析为主，但也要熟悉计算机处理大数据的方式。

3对特定应用领域或行业的知识

在颜莉萍(Nicole Yan)看来，大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助，因此这也是应聘这个岗位时较有说服力的加分项。

大数据及其应用前景研究 第3篇

大数据技术不同于以往任何科学技术,大数据是一种全新的应用科学技术,大数据全新科学技术是以前人类没有研究甚至无从知晓的技术,是以实际应用出发为需求方做的科学研究。大数据热是因为大数据技术蕴含巨大的价值。

2012年3月29日,美国发布《数据研究和发展倡议》[2,3],欲大力推动大数据相关的收集、储存、保留、管理、分析和共享海量数据技术研究,以提高美国的科研、教育与国家安全能力。2015年12月10日,中国国务院发布《国务院关于印发促进大数据发展行动纲要的通知》[4],各个国家重视大数据研究的目的在于在未来科技应用领域取得领先地位。目前,大数据研究刚刚开始,各国、各界大数据研究都还处于起步阶段,大数据应用方法仍在探索中。加大对大数据应用研究的投入,加强大数据领域人才的挖掘和培养至关重要[8]。开展大数据方法研究和大数据应用方向研究具有重要的意义,它可以为中国的“大众创业、万众创新”开辟一条更广阔的科技创新道路。

当前,大数据概念已经深入人心,大家共同的认识是未来大数据应用会颠覆传统的科学思维,使人类思考边界和思考方式发生颠覆性改变[5],这也是学术界和各国政府非常重视大数据研究的重要原因。大数据已经作为大国国家发展战略,已经在各国科研财政投入中成为政府重要战略指导方向,目的在于占领未来科技制高点和在国家竞争中取得科技优势。大数据在经济领域和医学领域更是开展了广泛研究,IBM、Google、Microsoft、Facebook进行大数据研究正是看中了大数据未来无可限量的价值[6]。

1大数据的概念

最早提出大数据概念时,有人用4个“V”[6,7,8](VoI-ume、Variety、Velocity和Value)形容大数据的特征,也有人认为大数据是指海量无法计算的数据[9],英文为“big data”。大数据的描述应该属于大数据概念和大数据性质,未来大数据应用需要一个清晰且容易被大多数人理解的大数据定义,定义大数据是为了更好地应用大数据,明确大数据定义可以供学者研究讨论,可以教学生更好地学习大数据,也可以为管理部门决策管理规范管理边界。

研究大数据多年,笔者认为最恰当的大数据定义如下:大数据是指具有一定属性关系资源数据的集合,属性关系资源可以是量化资源数据集合,也可以是定性化资源数据集合,这些数据资源集合统称为大数据。

大数据定义强调以下3点。

(1）大数据是指具有一定属性关系资源数据的集合。数据已经在人类生活中广泛存在,数据种类众多,存在形式各异,数据内涵外延各有不同,数据之间相互关系强弱不同,各类数据未来应用权重或是有效性不同,做任何一次大数据应用都不可能取用人类社会生活所有数据,应该是按照一定属性关系取舍数据,达到取舍有度、应用有理。如果数据是“海量的无法计算的”,那么它将会是无法应用的。传统意义上的数据就应该是加减乘除微积分等算法运算的数值及数值运算的结论,数据发展到现代已经不仅仅是数字,数据的内涵和外延已经更加广泛,数据含义更深,但数据本身的意义就是用来运算,未来只是数据运算方法不同而已,数据应该是无法计算的价值而不是无法计算的数量。搞清楚数据属性关系,研究清楚数据的内涵和外延,定义好大数据就可以做到更好地应用数据。

(2)资源数据的集合。资源通常是指自然资源、文化遗产资源等,往往强调是某某资源,资源的价值是这种资源已经存在。大数据定义使用的是资源数据,强调的是数据是资源,数据可以是已经存在的数据资源,也可以是现在没有的数据资源但未来会出现的数据资源,因此大数据定义使用资源数据。

(3)资源数据的集合是存在一起的,但存在方式、性质都可能不同,只表示资源数据已经因为数据相关性可以集合在一起。数据表现形式是定性数据或是定量数据。

2 大数据的内涵和外延

大数据的核心是数据,数据最早是由阿拉伯数字组成的一组数字,但现代大数据把数据概念大大延展。

大数据是建立在数据基础上的科学,任何数字、图片、声音、概念单元、性质描述等都是数据,可以把一组数据、一个数据集合统称为相应的大数据,如医学资源数据集合统称为医学大数据。依据大数据定义推出医学大数据定义如下:具有医学属性关系资源数据的集合,涵盖人类健康、人体解剖生理病理、遗传、疾病诊断治疗、药品食品及人类生命健康关系资源数据集合。

一切都是数据,能够使用的都是数据,这种说法不容易让使用者理解什么是数据,理解什么是数据才能够使用数据,尤其对初期理解应用大数据的学者更加重要。大数据的数据可以理解为人类生活中任何词组、词条、数字等,大数据的数据更容易理解的是一些定性数据和量化数据,定性数据如大小、高低、长短、好坏等,定量数据如100万、1个等。数据的理解和使用也宜结合使用者个人知识结构、教育水平、喜好,让数据使用者理解一切都可能是大数据的数据,数据使用者认知水平的提高有助于自身理解数据的内涵和外延不同,计算机技术的发展也会让数据的内涵和外延不同。大数据的数据不管存在任何形式、含义、大小、难易都应统称为大数据的数据。

应用大数据中数据的能力是使用者的认知水平、理解水平、哲学水平,尤其是逻辑思维水平的体现,同时需要改变认识数据、收集数据、分析数据的思维[10]。因此,大数据的数据的内涵和外延是由数据使用者的认知水平决定的,大数据的数据是由数据使用者定义的。

3 大数据的属性和使用方法

大数据的属性是以各种形式量级存在,大数据的数据中,1个数据就是1个数据,2个数据就是2个数据,3个数据就可以称为大数据。一两个数据不能称为大数据是由现阶段计算机技术决定的,只有计算机技术提高到—定的程度,才可以决定是否可以使用。3个数据称为大数据也是指应用,3个数据就可以应用在大数据技术上。

大数据是建立在计算机技术基础上的全新应用科学,不同于以往任何科学技术。在计算机应用前,没有任何大数据理论论述,大数据使用会伴随计算机技术的提高而不断完善。

目前,大数据研究的热潮是一种科学技术应用初期的学术探索。当下研究的大数据包括2种:①数据量大就是大数据;②大数据技术方法。

大数据是一门应用科学技术,我们从应用科学技术角度讨论大数据技术。应用科学的关键在于使用,简述大数据使用方法为DATA+MODEL+COMPUTER (简称DMC),即数据+模型+计算机技术=大数据技术。

大数据应用的关键是数据采集、数据标示、数据使用方法。数据使用方法需要建立计算模型,计算模型可以称为数据模型或需求模型或需求数据模型,应用计算机技术让采集的数据运行在软件编程的需求模型上。大数据是数据应用在计算机技术基础上的科学技术,可以说大数据是计算机技术的扩展和延伸。

4 大数据适用领域

大数据技术是研究数据应用方法和数据应用方向的应用科学,大数据技术研究需要相关属性的基础数据支持。这里的属性是指属性数据未来应用方向,研究相关属性数据研判未来发展方向及预测属性数据通过大数据技术研判未来发展方向的可能概率,研究实质是研究事物未来发展趋势的可能性,大数据是预测未来的应用科学数据技术。

万事万物发展有其本质规律,人性是心迹,事物是规律,心迹是趋势,趋势也是规律,规律就是可能。数据是人和万物发展过程中产生的资源数据,资源数据按照心迹规律生产出来,资源数据内涵是心迹和规律,资源数据外延表达反映的是心迹和规律趋势方向。

大数据是应用科学,按照数据的内涵和外延特点,有其适合领域和优势领域。总结归纳大数据最适用领域是为了预判行为趋势和进行事物质量预测与控制。大数据技术适用领域具体包括人体疾病预防监测、健康关怀、银行用户资信评估与应用、国家安全恐怖监测与预警、工业领域质量监控等。

摘要：大数据成为当前学术界和产业界的研究热点,是继云计算、物联网之后又一次颠覆性的技术革命,并不断影响着人们的生活习惯和思考模式。为进一步建立理论基础依据和探索开展应用研究,文章定义并详细解释大数据的概念,剖析大数据的内涵与外延,阐述大数据的属性和使用方法。大数据蕴含着巨大价值,相信未来在人体疾病预防监测、健康关怀、银行用户资信评估与应用、国家安全恐怖监测与预警、工业质量监控等领域将得到更加广泛的应用。

关键词：大数据,大数据定义,大数据技术,数据分析,大数据应用

参考文献

[1]朱东华,张嶷,汪雪锋,等.大数据环境下技术创新管理方法研究[J].科学学与科学技术管理,2013,34(4):172-175.

[2]王忠.美国推动大数据技术发展的战略价值及启示[J].中国发展观察,2012(6):44-46.

[3]John Gantz,David Reinsel.The Digital Universe in2020:Big Data,Bigger Digital Shadows,and Biggest Growth in the Far East[J].Idclviewldc Analyze the Future,2012(12).

[4]国发[2015]50号,国务院关于印发促进大数据发展行动纲要的通知[Z].201 5.

[5]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].战略与决策研究,2012,27(6):647-657.

[6]马建光,姜巍.大数据的概念、特征及其应用[J].国防科技,2013,34(2):10-17.

[7]朱扬勇,熊赞.大数据是数据、技术,还是应用[J].大数据,2015(1):701-711.

[8]邬贺铨.大数据时代的机遇与挑战[J].求是,2013(4):47-49.

[9]李国杰.大数据研究的科学价值[J].中国计算机学会通讯,2012,8(9):8-15.

医疗健康大数据的应用前景分析 第4篇

2009年年初，中共中央、国务院向社会公布了关于深化医药卫生体制改革的意见，新医改开始正式实施，医疗保障体系逐渐完善，医疗保障水平稳步提高，百姓的就医人次连年增长。据统计，2014年我市各级各类医疗卫生机构累计总诊疗2679.39万人次，与2009年的总诊疗1817.85万人次相比，年总诊疗人次增长了923.9万。与此同时，医疗卫生信息化建设在这几年中得到了长足的发展，各医院从单纯以财务为中心的信息系统发展到以病人为中心的信息系统，各地相继建设了区域卫生信息平台，建设了数据中心，存储了丰富的医疗健康数据。

我市自2011年起组建卫生信息专网，自2012年起采集市内九大医院的医疗数据以及八十多家社区卫生服务中心或服务站的公共卫生及医疗数据，如今数据采集已经成为常态化的工作。但数据采集只是第一步，对数据加以分析利用才是采集的目的。如何合理有效地利用，真正发挥数据的价值，还值得我们进一步思考与实践。

1.医疗健康大数据的特点

医疗健康大数据与其他领域的大数据一样，具备4个重要特征，称为4V 特征，即Volume（大容量）、Velocity（快速更新）、Variety（多类型）和Value（高价值）。以医院电子病历数据为例，它是典型的大数据。首先，电子病历的数据量大。以一家三甲医院为例，年诊疗人次为200万左右，每年将产生大量的电子病历数据信息，而且院方还必须保存往年的电子病历，根据《医疗机构管理条例实施细则》规定，医疗机构的门诊病历的保存期不得少于十五年；住院病历的保存期不得少于三十年。其次，数据的更新速度快。现代化的医疗越来越依赖于各种检验检查结果，检查化验的人数快速增加，其数据也在快速更新。第三，电子病历的数据包括了文本、图像、图形和视频等多种类型。第四，电子病历数据中隐藏着极有价值的医疗和医学信息，通过数据挖掘方法可以挖掘出有价值信息，以便医生进一步分析患者的病因，形成更好的治疗方案。

2.医疗健康大数据的应用

医疗健康大数据的应用至少应该包括治疗疾病的应用，医学教学或研究的应用，健康信息统计的应用等等。以贯穿全生命周期的健康档案为例，居民健康档案是收集、记录居民健康信息的重要工具，通过居民健康档案，能够了解和掌握居民的健康状况和疾病构成，了解居民主要健康问题和公共卫生方面的流行病学特征，为筛选高危人群，开展疾病管理，采取针对性的预防措施等奠定基础。

2.1有助于科学决策

对管理者或行政部门来说，采集的数据有统计学的意义。信息系统可充分利用海量数据，从需求出发构建各种统计分析报表，用于监控分析医疗质量、运营情况、成本情况，为科学决策提供参考和建议。

2.2有助于公共卫生管理

公共卫生管理部门可以通过综合卫生信息管理系统查看区域内高血压、糖尿病等慢病统计数据，进行疾病监控。同时相关部门通过分析医疗大数据的变化，获得来自各地的患者出现相同或类似症状并迅速在人群中蔓延的信息，从而可预测某些流行病的爆发，为人类阻止或减缓流行病的发展提供依据。

在甲型H1N1流感在美国爆发的几周前，谷歌公司的工程师们就发表了一篇论文，文中解释了谷歌为什么能够预测冬季流感的传播。谷歌通过观察人们在网上的搜索记录来完成这个预测，而这种方法以前一直是被忽略的。谷歌公司为测试这些检索词条，总共处理了4.5 亿个不同的数字模型。在将得出的预测与2007 、2008 年美国疾控中心记录的实际流感病例进行对比后，谷歌公司发现，他们的预测与官方数据相关性高达97%，而且他们的判断非常及时。这是大数据应用于公共卫生领域的一个例证[1]。

2.3有助于精准医疗

美国总统奥巴马在2015年国情咨文演讲中推出“精准医学计划”（Precision Medicine Initiative），提议在2016财年向该计划投入2.15亿美元，以推动个体化医疗的发展，精准医疗引起全世界的关注。

精准医疗，简而言之就是以个体化医疗为基础，伴随着基因组测序、生物信息和大数据等技术交叉应用而发展起来的新型医疗模式。

精准医疗更重视“病人”的深度特征和“药物”的高度精准性；是在对病人和药物深度认识的基础上，完成更个体化的诊断和治疗。精准医疗的发展，离不开信息技术与生命科学和医疗技术的深度融合。所以说高性能计算在商业领域的普及应用，以及大数据分析技术和工具的出现，为医疗行业迎来了更为广阔、更具想象力的成长空间。

2.4有助于科研教学

医疗大数据系统保存了成百上千万患者的全部真实数据，如患者个人基本信息，包括居住地信息、家族疾病史等。通过大数据系统的挖掘分析，可以得知哪些癌症会有明显的家族遗传性，从而可进一步分析其发病与基因变化的关系，以找到降低这种癌症发病率的方法。通过挖掘分析大数据中疾病与地区区域的关系，可以得知哪些疾病容易在某些地区发生，以便进一步分析该地区的环境因素与疾病发生的关系，使得人类去有意识地改变环境，去除导致疾病发生的诸多因素[2]。

2.5有助于健康生活

随着健康档案对居民的开放查询，通过手机、电脑或电视，居民可以查询到个人的历次体检信息、就诊信息、检验检查信息，便于居民实时了解自己的健康状况。随着各地健康小屋的诞生、可穿戴式设备的普及应用，居民可以通过自助的方式获取健康相关信息，包括所消耗的食物、睡眠质量、运动量等行为数据，进行分析、处理，监测人们的身体状态，从而帮助人们改变不健康的行为习惯，实现积极健康的生活方式。

3.数据采集存在问题分析

3.1采集数据不够全面

我市各医疗机构尚未实行身份证实名制就诊，区域卫生信息平台中收集的能与身份证关联的才是有效信息。非医保患者仅凭医联卡就诊，这些就诊信息无法与身份证关联，成为无效信息。有待于下一步推行实名制就医来改善上述状况。

3.2采集数据不够准确

目前仍存在持他人的医保卡看病就医的情况，这种情况下所产生的就诊用药记录也会加载到医保卡持有人的健康记录里，导致健康信息不准确。各医疗机构内部信息系统较多，向区域卫生信息平台上传数据的来源和统计口径不同，导致上传数据不够准确。

3.3采集数据不够完整

由于各医疗机构信息系统建设在前，上级部门上传数据标准出台在后，以及各医疗机构信息化建设水平不一，导致目前各医疗机构向市级区域卫生信息平台上传的数据字段数与上级要求存在偏差。

4.医疗健康大数据应用的制约因素

4.1信息安全制约

信息公开与信息安全是一对矛盾。在推广医疗健康大数据的应用时，存在以下安全隐患：一是黑客入侵导致的数据被篡改、丢失等，二是信息在存储、传输、访问时导致的信息泄露、失真等，三是健康档案在管理上存在的相关法律法规不完善、责权机制不明确、信息安全意识不强、信息安全保障能力不足等导致的安全隐患[3]。

我市区域卫生信息平台中收集的信息包括居民个人基本信息、公共卫生信息和医疗就诊信息，其中包括国家基本公共卫生服务项目要求的0—6岁儿童、孕产妇、老年人、慢性病和重度精神疾病患者等各类重点人群的健康管理记录。很多信息涉及公民的隐私权，因此，如何在合理利用大数据和保护个人隐私之间取得平衡，是一个很现实的问题。对于提供这些个人信息的居民来说，一方面他们是公共卫生服务的受益者，另一方面也是信息权利的所有人，他们最关心的问题便是能否保障个人信息安全。

4.2大数据处理技术制约

随着各领域的技术飞速发展，对大数据处理技术提出了更高要求。如生物遗传学领域近几年开展的一项巨大工程——人类基因组计划，要对人类23 对染色体基因中30 亿个碱基对进行测序，其数据量之巨大，以至于当前高性能计算机系统都难以在可接受的时间内完成[2]。

4.3跨行业的合作共享制约

互联网的本质就是开放和共享。区域卫生信息化涉及公安、人社、民政、物价、药监、教育等非卫生部门。长期以来，我国的信息化是以部门为中心展开的，客观上形成了行业垂直的信息化体系，在地方上形成了条块分割的“信息孤岛”，数据开放需要层层审批，造成了信息在部门之间共享的难度。

4.4大数据应用意识和应用能力制约

目前我市已在数据统计分析、决策支持、慢病管理等方面开展了一些大数据应用，但总体来说大数据应用意识不强，应用能力有待提高。以我市统一开发的健康档案浏览器为例，该浏览器已嵌入到各医疗机构的HIS系统，通过医生工作站便可直接访问健康档案浏览器，了解患者的高血压、糖尿病、传染病等各类专项档案信息以及患者既往诊疗信息，但据统计目前的使用程度并不高。

大数据工程师就业前景 第5篇

成都大数据技术培训学校哪家好？学大数据就业前景怎么样

成都国信安大数据培训由副教学总监，优秀讲师带队并亲自授课，秉承成都国信安一贯的专业品质态度，在课程质量，学生素质，就业服务上相当严格要求，并以学业满意就业为目标，打造国内优秀大数据培训班，感兴趣的同学不妨关注国信安教育基地了解一下吧。

为什么越来越多的90后偏爱互联网行业呢？他们的择业观与80后有哪些区别呢？

有诱人的福利

90后对于“软福利”的重视程度已经超过了“硬福利”。在90后受访者看来，五险一金的硬福利应该属于公司的“标准配置”，因此并不算关键的竞争力因素，能够提供弹性工作时间、额外带薪年假、配备固定班车等“软福利”更容易获得90后的青睐。创新文化的氛围

Google内部将午餐时间看作同事间宝贵的交流机会，和美国大多数互联网公司一样，Google的员工中午普遍不睡午觉，通过协同工具来实现“约饭”的流程化，而只要是员工，制度上是可以实现任何级别之间的会餐，这也是其公司扁平化文化的一个体现。符合自己兴趣的发展空间

90后普遍认为工作不只是满足生计这么简单，能够满足兴趣、实现人生意义更重要。有62%的90后表示择业时更看重是否有符合自己兴趣的发展空间，仅有38%的受访者在择业时优先考虑薪资待遇。

四川地处中国大西南，肥沃的土地，丰富的自然资源，悠久的历史和绚烂多彩的少数民族文化，构成了多样性的自然和文化旅游资源。“只有高中学历，做个保安、服务员、挣的不多、干活还累，在酒店后厨大勺一挥，弄出几个菜，就能月薪上万，我有机会成为他们吗”，这是众多高中毕业生共同的心声。2017年高考已经结束，毕业后学什么好呢？选择哪个学校呢？

我们正身处信息爆炸的时代，网上各类信息充斥着我们的生活，要想找到准确实用的信息更是难上加难，不过没关系，经过小编的收集整理，马上让您免除烦恼！好了，废话少说，下面来看看小编为大家带来的IT培训相关资讯吧～ 国信安教育基地

近年来，高不成低不就、先就业再择业、与企业需求脱节等大学生就业问题日益凸显，甚至可以说已经成为了严重的社会问题。据悉，2013年全国普通高校毕业生总人数将达到699万人，而相关数据显示2013年应届毕业生签约率不足3成。如何突破瓶颈，顺利实现就业？不仅是学生要思考的问题，更是社会需要迫切解决的难题。对此，成都国信安认为，实现顺利就业，大学生需要回归到职业发展的原点——职业规划。为什么要做职业规划

不可否认的是，无论是何种职业，都需要完整的知识架构体系作支撑，而知识架构体系的构建需要长时间的积累。理论上，现阶段的高校教育虽然在培养完全符合企业需求的人才方面存在一定困难，但其课程体系可以使学生具备企业需求的基本能力素质。而现实中我们发现，很多大学生显然没有具备这一能力。

之所以这样，一个重要原因是很多大学生缺乏准确的自我定位。在高校中，一个普遍的现象是学生自身爱好与所学专业存在严重错位。这类学生在学习过程中往往是抱着“六十分万岁”的心态，学习效果可想而知。同时由于缺乏自我规划，这类学生也很难系统掌握自身爱好所属的知识架构体系，因此在毕业时就容易遭遇本专业能力缺失、业余爱好能力不强的窘境。自身素质能力与企业需求不匹配也就不难理解。何时做职业规划

正如上面所讲，知识架构体系的构建需要长时间的积累，因此对大学生而言，大一期间就需要进行职业规划并不断完善。笔者了解到，虽然像中软卓越这样的培训机构会对每一位参加培训的学员进行人才测评，根据其特点进行就业指导，但这样的就业指导应该是锦上添花而非雪中送炭。可喜的是，现在很多高校都在开设就业指导的选修课，也会邀请一些知名公司或机构的管理人员给学生做职业规划的讲座，这些都是非常有意义的举措。怎样做职业规划

职业规划是一个综合性问题，涉及学生、学校、企业等多个方面。当难以有效 国信安教育基地

改变外界因素时，大学生需要更多发挥主观能动性。笔者建议大学生从以下三个方面做出努力：

首先，树立正确的职业规划认知。很多学生认为做职业规划就是要确立未来工作的职位，其实则不然。总体而言，职业规划是对未来职业发展方向的规划，大学生在此过程中需要确立自身的职业方向、系统掌握职业发展所需的基础能力架构。以中软卓越所在的IT培训行业为例，无论是培训开发还是测试，都需要掌握软件工程、开发语言、数据库、数据结构等基础知识。

高校大数据专业就业前景 第6篇

在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。

大数据专业人才就业薪资

1、基础人才-数据分析师

北京数据分析平均工资： 10630/月，取自 15526 份样本，较 年，增长 9.4%。

数据分析师岗位职责

业务类别:技术

业务方向:数据分析

工作职责:

1. 根据公司产品和业务需求，利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化，为公司征信运营决策、产品设计等方面提供数据支持；

2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测；

3. 参与数据挖掘模型的构建、维护、部署和评估；

4. 整理编写商业数据分析报告，及时发现和分析其中变化和问题，为业务发展提供决策支持；

5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控；

6. 参与编写项目相关文档。

教育背景:

学历：本科其它：

经验要求:工作经验：3-5年

任职要求:

1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历；有扎实的数据统计和数据挖掘专业知识；

2. 熟练使用数理统计、数据分析、数据挖掘工具软件（SAS、R、Python等的一种或多种），能熟练使用SQL读取数据；

3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法；

4. 3年以上数据分析工作经验，征信从业背景人员优先；

5. 具有金融行业项目经验的相关经验者优先考虑；

6. 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

能力素养:

良好的分析、归纳和总结能力，善于分析、解决实际问题； 主动性强，有较强的责任心，积极向上的工作态度，有团队协作精神。

2、大数据开发工程师

北京大数据开发平均工资：30230/月。

大数据开发工程师/专家 岗位指责

职位描述：

1、构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统；

2、服务各种业务需求，服务日益增长的业务和数据量；

3、深入源码内核改进优化开源项目，解决各种hadoop、spark、hbase疑难问题，参与到开源社区建设和代码贡献；

岗位要求：

1、计算机或相关专业本科以上学历（3年以上工作经验）；

2、精通C++/Java/Scala程序开发(至少一种)，熟悉Linux/Unix开发环境；

3、熟悉常用开源分布式系统，精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码；

4、有大规模分布式系统开发、维护经验，有故障处理能力，源码级开发能力；

5、具有良好的沟通协作能力，具有较强的分享精神；

6、对Kudu、Kylin、Impala、ElasticSearch，github等系统有深入使用和底层研究者加分；

3、Hadoop开发工程师

北京hadoop平均工资： 0/月，取自 1734 份样本。

Hadoop开发工程师岗位职责（引自新浪网）：

职位描述：

1.参与优化改进新浪集团数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，多维实时查询分析系统的构建优化；

2.分布式机器学习算法在数据平台的构建与优化（包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等）；

3.深入源码改进各种开源大数据项目（包括Hadoop、Spark、Kafka、HBase等）。

任职要求：

1.计算机或相关专业本科以上学历；

2.熟悉Linux环境下开发，熟练掌握C++/Java/Scala等一种以上编程语言；

3.熟悉Hadoop生态系统相关项目，精通以下项目之一的源码（Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin）；

4.具备良好的学习能力、分析能力和解决问题的能力。

4、数据挖掘工程师

北京数据挖掘平均工资：21740/月，取自 3449 份样本，较 2016 年，增长 20.3%；

数据挖掘工程师招聘要求（引自蚂蚁金服集团技术部）：

工作职责：

1、在分布式系统上进行数据计算、挖掘、和实现算法；

2、数据仓库模型设计和建立；

3、数据梳理流程的实现和维护；

4、物流场景下的地址文本、空间属性研究和分析。

任职资格：

1、本科以上学历，有扎实的统计学，数据挖掘，机器学习，自然语言识别理论基础，一种或几种以上的实际使用经验。

2、熟悉聚类、分类、回归等机器学习算法和实现，对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。

3、深入理解Map-Reduce模型，对Hadoop、Hive、Spark、Storm等大规模数据存储于运算平台有实践经验。

4、有扎实的计算机理论基础，至少熟悉一种编程语言，Java优先。

5、有三年以上互联网公司或者海量数据处理工作经验，大数据挖掘、分析、建模经验

5、算法工程师

北京算法工程师平均工资： 22640/月，取自 10176 份样本。

算法工程师 招聘要求（引自美团点评数据平台部）：

职位描述：

互联网公司背景优先

A、广告算法

岗位职责：

1.负责点击率预估等主要广告算法的技术选型；

2.负责核心算法的开发；

3.负责广告大数据处理流程的建设及相关工具的研发；

4.负责广告技术研究项目的推进与管理；

职位需求：

1.计算机或相关专业本科以上学历，3年以上相关工作经验;

2.熟练掌握一门开发语言；

3.有机器学习、数据挖掘相关知识；

4.在广告、搜索、推荐等相关领域之一有技术研究工作经验；

5.有较强的沟通协调能力；

B、推荐算法

职位描述：

1. 参与各个产品线的个性化推荐系统的研发；

2. 分析用户行为数据，并设计合理的推荐算法模型及策略，并优化推荐排序；

3. 通过对用户行为数据的挖掘，对用户进行建模，精准刻画用户各种属性；

职位要求：

1. 全日制本科及以上学历，计算机相关专业；

2. 熟练掌握各类个性化推荐算法，并有开发个性化推荐系统的实际项目经验；熟练掌握各类回归及排序算法，能够利用相关算法进行推荐排序的优化；

3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术，能够根据实际问题选择合适的模型和算法并进行相应的开发；

4. 有较强的工程架构和开发能力，能够实现支撑千万级用户和TB级用户行为数据的推荐系统或算法；

5. 掌握python、matlab等脚本语言，熟悉各类数据挖掘工具（如weka、Mahout），能够快速建立模型并进行验证；

C、算法工程师

岗位职责:

1、开发和优化用户行为数据挖掘，文本分类和语义理解，社交网络分析，网页搜索，推荐系统等领域的特定算法

2、能够很快学习和利用state-of-the-art的算法解决实际产品问题，提升产品用户体验

任职资格:

1、有一定的研究、实验的能力，优秀的分析问题和解决问题的能力

2、理解自然语言处理、机器学习、网页搜索，推荐系统，用户数据分析和建模的基本概念和常用方法，有相关领域的实际项目研发或者实习经历者优先。

3、熟悉C++, Java或Python，熟悉Linux或类Unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。

4、对大数据处理平台和工具有一定经验者优先, 包括： Hadoop, Hive, Pig, Spark 等

最后一个问题，哪些公司需求大数据人才？

答：所有的公司。大到世界500强，BAT这样的公司，小到创业公司，他们都需求数据人才。

马云爸爸说“我们已从IT时代进入了DT时代，未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统，并进行数据集成，数据将会让机器更“聪明”。DT时代，数据将成为主要的能源，离开了数据，任何组织的创新都基本上是空壳。”

学习大数据技术就业前景广阔 第7篇

学习大数据技术就业前景广阔

大数据的火爆，让很多企业都意识到发展大数据的重要性，那么是不是所有企业都可以成为大数据公司？

美国麦肯锡公司近期开出了一张书单，列出利用大数据进行自我发展的一些潜力行业，其中就有电信、金融、保险、信息、交通、医疗等，都可以利用大数据技术，从中获得很大的发展空间。

大数据将是软件产业一个非常重要的发展方向。

我们知道，现在从IT时代走向DT时代，也就是数据技术的时代。将来每一家公司都有可能成为一家大数据公司，大数据将成为一种核心的竞争力。刚刚在贵阳召开的数博会显示，大数据将成为中国“十三五”期间重点规划的产业，这将是坚定不移的战略。

在2016年第二十届中国国际软件博览会专题论坛上，华盛顿大学陈一昕教授表示：一些行业通过与大数据有机结合，比如在电信行业，电信运营商的中国移动、中国电信、中国联通（600050），包括一些其他的公司，比如亚信、东方国信（300166）等等，作为电信运营商，都能做好大数据的变现业务。目前而言，电信行业其实面临着非常大的挑战，随着国家提出降费的要求，运营商的流量被管道化，公众因此就会利用微信等工具，进而导致运营商可能面临着新的发展困境，竞争也由此更加激烈。

在电信运营商看来，他们的数据其实是一块非常重要的资产，也就是说，公众可以看到电信运营商拥有稳定的数据源，每个人手机上时刻产生大量数据，包括用户的套餐、和谁通话、基站位置、地理位置、有没有欠费等数据，以及数据的变现问题。陈一昕说：“电信运营商拥有着一座巨大的数据金矿，但是，如何把这些金矿当中的矿石打造成金戒指，这是运营商面临的巨大挑战。”

医疗行业和大数据结合，会有非常大的潜力。关于这一业务，第一次驱动力是医保核算，以医院的需求为指导。第二次是互联网+医疗，通过新医改，医疗信息化，特点是以政府需求为主导，以共享为核心的区域医疗信息化。目前，第三次浪潮的驱动力应该说是移动医疗、大数据分析，其特点是健康管理，不光是在医院内部，同时也在医院外部。

我们可以看到随着医疗行业的重大变化，它的数据量是越来越大了，其从原来简单的结构化数据，到现在的医疗大数据，其中包含了大量的非结构化的数据，比如说像图像、文档。中国一个中等城市50年积累的数据达到10个PB，如何处理和分析挖掘这些数据价值，相信这里面有巨大的市场。

教育行业，也是我国信息化战略的重要组成部分。陈一昕表示，目前在线学习市场，也是非常大的市场，在线教育市场以年均18%的速度在增长，2017年预计在线学习人数达到1.2亿人，基础教育一年的数据量也是非常庞大的，我们可以看到一年的数据量达到ZB级别，利用教育的数据、互联网的技术，以及云计算等等，这些技术促使在线教育繁荣。陈一昕觉得，未来教育还是线上线下相结合的模式。就像以前的计算机技术收到追捧一样，在DT时代，大数据培训开始受到重视。

金融行业，在大数据的技术来看，我们可以看到金融行业是大数据技术，相对而言，它是走在前面的行业，因为金融行业更依赖于数据。很多层面上，金融业的大数据技术是走在其他行业前面的，包括银行要对用户进行风险分析，精准控制。保险业更需要通过大数据，对用户进行分析，进行潜在用户的挖掘，对欺诈行为进行预防。另外在证券行业，现在量化交易也是发展非常快，对股价的预测、对投资的趋势等等都可以用大数据的技术来进行管理，进行优化。

陈一昕同时强调了医疗养老数据的安全隐私这一块，数据不会丢失，数据不会恶意的泄露或者盗窃，从数据安全角度来看是非常重要的。

四川是旅游的天堂，无法拒绝她火辣辣的美食，无法拒绝她惊艳的自然风光，更无法拒绝她的古蜀文化。随着社会竞争的日益激烈，在很多大城市中，毕业就意味着失业。在大本生遍地的今天，本科甚至更低学历的毕业证书，早已不是求职的敲门砖了。工作经验和掌握的技术成为现在应届生的求职“利器”，难道要面“对剑未配妥，出门已是江湖”的窘境吗，赶紧抓紧时间，找一个自己感兴趣、适合自己的技术进行学习吧~ 大家对于it培训一定有所了解吧，今天，小编就为大家收集和整理了有关的信息，希望能让大家有更深一步的了解！今天小编想给大家扒一扒大家感兴趣的it培训！

在互联网行业，程序员一直是很受关注的人群。特别对准备步入社会的大学生们来说，从事哪方面的职业是一个很重要的问题，而程序员就是一个比较热门的选择。大讲台老师根据2017年中国程序员调查的数据，给同学们好好介绍一下程序员的编程语言、薪酬范围等信息，让大家对程序员有个准确的认知，也方便以后的选择。通过对北京、广东、浙江、上海等全国28个省的优秀开发者的调查信息，对程序员的年龄组成、性别比例、擅长的计算机语言、工作时间以及薪资等进行了统计和分析。

（一）程序员地理分布

从调查结果来看，有一半以上的程序员来自于北京、广东、上海和成都。北上广作为中国经济和科技发达的地区，是程序员的主要聚集地。四川成都地区也吸引了一大批创业者，为程序员的就业和发展提供了优质条件。

（二）程序员年龄组成

结果显示，绝大部分程序员年龄都不到35岁。超过一半的程序员年龄在23-30岁之间。当然程序员中间的“天才少年”的比例也不低。

（三）程序员性别比例

一直以来，程序员这一群体主要是男性为主。在本次调查中发现，程序员群体中男女比例超过了12:1。如此“畸形”的性别组成，也解释了为什么很多程序员自嘲“单身狗”的原因。男程序员单身比例略高于女程序员，但女程序员的单身比例也达到了4成。

（四）程序员擅长语言

在程序员群体中，擅长的编程语言为Java、HTML5、PHP。另外C语言、Python、Objective-c）、C++和Node.js等也是使用较多的计算机语言。hadoop的使用人群还是非常少的（spark就更别提了，都没出现），这也是大数据人才缺口大的最直接体现！

（五）程序员薪资状况

普遍认为，程序员是一份高薪的职业。从调查结果来看，工作3年内，1/5的程序员群体年收入在6万以下。1/5的程序员在3年内年薪就达到了20-30万的水平。大多数程序员年收入在10-20万之间，相比于其它一些行业，月薪过万已经是高收入水平。

在工作3-5年后，9成以上的程序员达到了月薪1万+的水平，只有大约1成的群体年收入低于10万。超过1/6的群体甚至年薪达到了30-50万的水平。在工作5-10年后，只有0.1成的程序员年收入低于6万。年收入在15-20万的程序员占2成，1/3的程序员年收入在20-30万之间，超过1/5的程序员年收入在30-50万之间。年收入在50-70万的程序员占0.5成。

当然，上面说的都是平均值，越热门的职业最少要提高三到五成，就拿近两年热门的大数据行业来说，因为这方面人才需求突然增加，不但薪酬猛增，应聘难度也随之降低，可见选对一门编程语言对程序员是多么重要了！国内一线城市依然是程序员的主要聚集体，一些经济发达，科技公司密集的二线城市也聚集了大量的程序员。在计算机语言方面，懂得使用Java、HTML5和PHP等编程语言的程序员最多。如果一名程序员能够坚持工作3年，特别是对于刚毕业不久的大学生，其收入水平会有明显的提高。

对于准备成为程序员的同学们，建议大家首选大数据方向。原因上文也多次提过，优势就3点，“需求大、薪水高、难度低”。当然，这都是有时效性的，所以，抓紧时间才是最重要的。不管是自学，还是参加大数据培训，这些都不重要，最重要的是你要有一颗坚韧不屈的心。当然，对准备参加大数据培训的朋友们，不要盲目报名，可以先去试听，感觉好再交费，这可是经验之谈！

如果对大数据学习感兴趣的朋友，可以登陆成都国信安教育培训基地的官网：http:///进行了解

网络大数据的应用现状与前景 第8篇

近年来, 随着互联网、物联网、云计算、三网融合等IT与通信技术的迅猛发展, 数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇。 因而信息社会已经进入了网络大数据时代。 大数据不仅改变着人们的生活与工作方式、企业的运作模式, 甚至还引起科学研究模式的根本性改变。国内外涌现出一大批依靠商业模式创新而创造辉煌的企业:苹果、IBM、Facebook、Google、亚马逊、阿里巴巴等, 纵观这些商业模式创新的典范, 可以看出这些企业的创新大都与无限接近消费者有关、与跨界有关、都直接或间接地与信息数字化技术和互联网有关, 而大数据成为商业模式创新的基本时代背景。

对于大数据 ( Big Data) , 目前还没有一个权威的定义, 其基本上应包括三层含义:一是, 社会生活泛数据化, 互联网化将受众的各种信息数据都暴露在网络之上;二是, 数据规模及生成速度之大, 数据信息传播方式也由单中心、单向传播向多中心、网状裂变转变, 数据量呈爆炸式增长;三是, 大数据技术之大, 随着数据量级的飞跃, 数据处理从关系型数据库到数据仓库、再到联机分析、数据挖掘、数据可视化等迅猛发展。 在各种技术不断发展与演变的基础之上大数据专门技术出现。

1 网络大数据的应用

近几年, 网络大数据越来越显示出巨大的影响作用, 正在改变着人们的工作与生活。 2012 年11 月“ 时代”杂志撰文指出奥巴马总统连任成功背后的秘密, 其中的关键是对过去两年来相关网络数据的搜集、分析和挖掘。Ebay的分析平台每天处理的数据量高达100pb, 超过了纳斯达克交易所每天的数据处理量。 为了准确分析用户的购物行为, Ebay定义了超过500 种类型的数据, 对顾客的行为进行跟踪分析。 而由阿里巴巴推出的“ 双十一”, 现在已经毫不低调地潜入了全球各地, 标志着“ 双十一”成功走向国际化。截至11 日24 时, 全网总销售额1229.4 亿, 比2014 年增长52.7%, 产生包裹数6.8 亿个。 天猫“ 双十一”单日交易总额达到921.17 亿元, 再次取得突破性成功。 这些应用的实现, 得益于企业对其往年的情况, 特别是用户的消费习惯、搜索习惯以及浏览习惯等数据所进行的综合分析。 大体来说, 网络的大数据的应用包括以下方面:

( 1) 大数据为企业获得消费者的真实需求提供可能。 利用网络大数据, 企业能够洞悉消费者的真实需求, 对消费者进行准确细分, 并将企业产品进行即时、精准、动态定位。零售业就是一个典型的数据驱动定制化的行业, 目前在线零售商利用实时数据提供精准的商品推介已经十分普遍。

( 2) 企业业务活动的“ 大数据”化。 比如, 电子商务, 就是将传统的商业流通交易流程用网络数据交换替换的结果。

( 3) 大数据带来的消费者对商品需求从拥有商品变成使用商品。出售模式改为出租模式, 与此相对应的收益模式从一次性支付向微支付转变。 在软件行业, 应用软件泛互联网化改变了消费者获得和使用软件的方式, 例如, 开源软件模式、App Store模式等。 企业利用“ 门户化”建立排他性, 提高客户粘性。

目前以数据产品为基本提供物的数据公司, 按照其不同定位, 可以分为三种基本商业模式:

( 1) 数据租售模式, 是向客户提供原始数据的租售, 对数据进行采集、传输和整理。 例如, 2010 年在深圳中小板上市的四维图新公司, 精准的导航数据是公司的核心产品, 这家公司因此成为国内第一家上市的导航电子地图生产企业。

( 2) 信息租售模式, 是向客户提供代表某种主题的相关数据集, 诸如数据包租售等。 例如, 彭博 ( Bloomberg) 公司, 核心竞争力在于积累了丰富的金融行业数据和交易数据, 拥有强大的专家和咨询网络, 构建了整合专业服务与媒体服务的全球性服务平台。

( 3) 知识租售模式, 为客户提供一体化的业务问题解决方案, 其关键流程是将大数据与行业知识利用相结合, 通过行业专家深度介入客户的业务流程提供业务问题解决方案。 比如, 为银行信用卡部门设计新的产品和营销方案, 帮助保险部门确定寿险、车险等的赔率, 帮助投行确定应该对哪些用户推出新的产品等等。

( 4) 应用租售模式。 这一模式建立在“ 大数据”行业垂直整合的基础上, 需要企业与客户进行深度合作, 其价值主张是为客户提供一体化的问题解决方案。 例如, IBM公司, 已经由硬件供应商转变为服务提供商, 提出为用户提供完整解决方案的价值主张。面对大数据的到来, 又提出“ 智慧地球”的愿景, 部署自己的“ 大数据”战略。 通过收购SPSS、Cognos等公司, 使公司业务极大扩展和丰富。

总之, 网络大数据的应用是基于数据, 基于互联网等技术的普及, 和新技术在用户生活中的极大渗透, 正如谷歌研究部主任彼得·诺维奇所说, “ 我们没有更好的算法, 我们只有更多的数据”。

2 网络大数据带来的挑战

网络大数据面临着来自诸多方面的挑战:复杂性、不确定性和随机涌现性, 而根本挑战在于其复杂性。复杂性造成网络大数据存储、分析、挖掘等多个环节的困难。

2.1 数据类型复杂性

信息技术的发展使得数据产生的途径不断增加, 数据类型持续增多。 相应地, 则需要开发新的数据采集、存储与处理技术, 给传统的文本挖掘带来很大的困难。 另一方面, 不同数据类型的有机融合给传统的数据处理方法带来了新的挑战。

2.2 数据结构的复杂性

传统上处理的数据对象都是有结构的, 能够存储到关系数据库中, 但随着数据生成方式的多样化, 如社交网络、移动计算和传感器等技术的发展和应用, 非结构化数据成为大数据的主流形式。 目前相关的研究热点包括开发非关系型数据库 ( 如Google的Big Table, 开源的HBase等) 来存储非结构化数据。 Google提出了Map Reduce计算框架, Yahoo! 、Facebook等公司在此基础上实现了Hadoop、Hive之类的分布式架构, 对非结构化数据做基本的分析工作。

国内各大公司和科研单位也启动了用于支撑非结构化处理的基础设施研发, 如百度的云计算平台、中国科学院计算技术研究所的凌云 ( Ling Cloud) 系统等。

2.3 数据模式的复杂性

随着数据规模的增大, 描述和刻画数据的特征必然随之增大, 而由其组成的数据内在模式将会以指数形式增长。这种面向多模式学习的研究则需要综合利用各个方面的知识。

3 大数据的发展前景

据著名咨询公司IDC发布的研究报告, 未来10 年全球大数据将增加50 倍, 管理数据仓库的服务器的数量将增加10 倍以迎合50 倍的大数据增长。网络大数据不仅数据量大、类型繁多, 为未来的商业社会和个人生活提供了无限可能和机遇, 同时也带来了诸多挑战。 大数据将包括结构化数据、半结构化数据和非结构化数据。 在现代互联网应用中, 表现出非结构化数据大幅增长的特点。 这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新技术的不断涌现和应用。再次, 网络大数据往往呈现出突发涌现等非线性状态演变现象。因此难以对其变化进行有效评估和预测。网络大数据还常常以数据流的形式动态、快速地产生, 具有很强的时效性, 用户只有把握好对数据流的掌控才能充分利用这些数据。

如果说上一轮网络大数据的应用是基于泛互联网化, 那么新一轮的应用将要建立在超越互联网、超越大数据的思维之上。 连接、跨界、融合, 不仅带来许多新的商业模式, 而且使行业边界呈现模糊化趋势。

参考文献

[1]王元卓, 靳小龙, 程学旗.网络大数据:现状与展望[J].计算机学报, 2013年6月第36卷第6期.

[2]李文莲, 夏健明.基于“大数据”的商业模式创新[J].中国工业经济, 2013年5月第5期.

[3]http://review.ec.com.cn (中国国际电子商务网) [OL].