产品数据集成范文

产品数据集成范文（精选9篇）

产品数据集成 第1篇

一、PDM的发展历程

关于PDM的定义, CIMdate总裁Ed Miller认为PDM是用来管理所有与产品相关的信息和所有与产品相关的过程的技术[1]。企业通过应用PDM 中的项目管理、过程管理等功能, 可以对产品开发过程进行控制和重组, 使企业在激烈的市场竞争中赢得优势。

PDM最早出现在20世纪80年代初, 目的是解决企业由于广泛应用CAX技术而产生的大量电子图档。随着信息技术的推广和应用, 企业自动化程度得到提高, 国内外企业已在产品设计、制造以及管理方面广泛使用CAD、CAPP、CAM等技术, 凸显出信息资源管理的重要性。信息技术发展和信息数量更新速度大大超出了人们的预期, 使得企业急于寻求能对信息进行高效管理的方法。

PDM作为一种数据管理和集成软件, 它的主要功能是在企业中组织存取、控制所有的产品数据, 将与产品整个生命周期相关的产品结构、开发过程和开发人员的所有信息进行整理, 有效地将产品从方案设计、理论设计、详细结构设计、工艺流程设计、生产计划制定、产品销售、维护直至产品淘汰的整个生命周期内各阶段的相关数据进行定义、组织和管理, 保证产品数据的一致性、完整性和安全性, 使设计人员、工艺员、材料采购人员和营销人员都能方便地使用有关数据。企业的各项先进管理理念和技术的实施, 如企业经营过程的业务重组、并行工程、ISO国际质量体系认证等都离不开PDM。它已成为国内外大中型企业在重组和发展过程中的一项必不可少的重大基础技术。

迄今为止, PDM技术和相关产品的研究及应用先后经历了三个阶段, 首先由集成能力、功能及开放程度较弱的第一代PDM, 发展到对产品生命周期内各种形式的产品数据的管理能力大幅提高的第二代PDMPDM II, 再到现在作为支持以“标准企业职能”和“动态企业”思想为中心的新企业信息分析方法的第三代PDMPLM。PDM发展的原动力是由企业信息资源管理需求和技术发展来驱动的, 由此推动了PDM产品的更新。

二、PDM的国内应用现状

目前, 在中国有19%的企业PDM系统已经实施完成, 27%的企业已经部分实施完成, 11%的企业正在实施, 37%的企业正在或准备进行PDM选型, 17%的企业有上PLM的计划。据资料, 中国PDM应用并未全面普及, 仍有很大的市场潜力。关于PDM的应用效果, 有8%的企业表示非常满意, 近50%的企业表示比较满意, 24%的企业表示一般, 4%的企业认为较差。从各功能模块的应用频度来看:权限管理、版本管理及图文档管理在使用PDM系统的企业中使用率为100%, 同时数据安全管理、存贮和备份、产品结构管理和零部件管理等使用频度也较高, 设计协同和生命周期管理功能目前使用尚少 [2]。

PDM的本质是对大量产品数据的管理, 如何使企业的产品数据产生最大的价值已成为企业的重要任务。目前PDM系统在国内外制造企业中都得到了广泛的应用, 并取得了一定的成绩和效果。国内的PDM产品普遍存在开放性差、功能不够完善等缺点, 与国际顶级的PDM供应商还相差甚远。国内多数企业的信息化应用效果不理想, 原因主要是因为对基础管理数据不完整, 不准确, 甚至缺失, 并且产品数据的共享性较差, 从而导致产品数据的使用价值大大降低, 造成了大量人力、物力、财力的浪费。随着信息技术的不断发展, PDM的应用领域将会逐步扩大。

三、PDM在企业的应用

随着信息技术的快速发展, PDM正逐渐向产品全生命周期的管理领域扩展, 并发挥着强大的使能器作用。PDM作为CAX最好的集成平台, 以软件技术为基础, 以产品为核心, 实现对产品相关的数据、过程和资源的集成化管理, 完整地描述了产品整个生命周期的数据和模型, 是ERP中有关产品全部数据的来源 (如图1) 。因此, PDM搭建了产品设计工艺部门、管理信息系统及制造资源系统之间信息沟通及传递的平台, 使ERP能从PDM集成平台自动得到所需的产品信息, 同时, ERP也可通过PDM这一桥梁将有关信息自动传递或交换给CAX。

四、PDM与质量管理的融合

随着现代社会和经济的发展, 在企业管理中更加注重全面质量管理, 它是市场经济的产物, 同时还为市场经济服务。由于实践的发展和理论研究的不断充实, 质量管理的概念也得到了广泛的推广运用, 它不再仅是对生产过程的控制, 也不仅是企业质量保证人员的责任, 而是面向产品的全生命周期, 它是由企业全体人员来共同努力完成的。这个过程周而复始, 可以用概念模式来形象地描述, 称为质量环, 如图2所示。实行产品质量管理的目的是以最有效的方法、最合理的经济为用户提供最满意的产品, 从而进一步提高企业竞争力和市场占有率。在现代生产方式中, 质量管理已成为企业经营管理的中心, 全面质量管理已经成为经济发展的必然趋势。[3]

随着信息技术的快速发展, 信息化能够带给企业的收益和成效也越来越显著。但是信息化并不能解决基础数据失准的问题, 只有把信息技术融入企业的整个业务及管理流程中, 并根据信息化的要求进行流程优化或再造, 才能提升企业的竞争力[4]。我国在企业管理信息化的进程中, 对质量管理信息化的研究取得了较大的进步。目前质量管理存在的不足之处主要表现在:一是与其它系统的信息集成度不高;二是没有充分体现ISO9000等国际通用的质量管理体系标准;三是没有完善的质量信息传递和反馈系统等。

PDM技术面向产品, 通过计算机网络与数据库技术将所有与产品质量有关的数据及过程集成起来, 全面、准确、及时地对信息进行采集、整理、分析和评价, 帮助各级决策机构和决策者作出决策, 并能够迅速传递指令。其系统架构图如图3所示[5]。

质量管理与PDM系统集成的新系统, 能充分利用PDM已有的工作流管理、安全管理、电子文档管理等功能, 从PDM系统获得物料信息、产品结构、质量表格等信息, 完成产品生产的质量计划。制造过程中的质量检测信息录入时, 根据检测结果启动不合格处理流程, 并将质量检测的数据和统计分析结果反馈到PDM系统中。

企业在制订质量计划时, 可以从PDM系统中获取零件的物料、加工工序以及各工序的加工步骤等信息, 由质量人员或工艺人员根据产品设计性能, 制订此产品的质量计划。员工可以根据质量计划录入每道工序的检测数据, 对每道工序应进行检测并对结果进行确认, 包括自检、互检等, 当检测结果出现异常时, 系统则启动质量问题处理流程, 包括返修流程、报废流程、有条件放行流程等。

质量控制是以数据采集和分析为基础的, PDM系统通过对所采集到的各种质量数据进行正确的统计分析, 对生产加工过程进行实时监控, 并将现场的产品加工信息按一定条件进行分类, 可以科学地区分出制品在生产加工过程中的随机波动与异常波动, 从而对过程的异常情况作出预警, 并将分析结果提供给车间管理人员, 使其对车间零件的加工状况随时监控, 以便在生产过程出现异常时及时采取措施, 做到事前、事中、事后的有效控制, 从而达到质量控制的目的。同时, 系统还重视顾客全过程参与。顾客在使用产品时, 若有对产品质量不满意的地方, 或是产品在使用过程中出现质量问题, 顾客可在线向厂商反映, 厂商即刻将与问题相关的数据传到系统中, 通过系统对一系列数据的分析, 最终确定改进方案, 从而解决了产品在使用中的质量问题。

PDM以产品为中心, 通过数据库技术和计算机网络, 将生产过程中所有与产品相关的信息和过程集成起来, 进行统一管理, 使产品数据能在整个生命周期内保持一致, 并为工程技术人员提供一个协同的工作环境, 从而缩短产品的研发周期, 降低产品成本, 提高产品质量, 形成企业的竞争优势。

五、总结

PDM在国内起步较晚, 目前国内的一些企业对其使用也还存在一些误区, 但随着现代信息技术的不断进步, 物联网与云计算的不断发展, 大数据的理念深入人心, 在不久的将来, PDM与企业的关系将会越来越密切。可以预测, 通过物联网及云计算, 企业可以通过网络就能将分布在不同地区甚至不同国家的产品数据进行有效管理, 可以实时监控每一条生产线的生产状况, 甚至通过观察产品就能知道其不足之处。在大数据管理时代, 企业可以迅速查明哪些生产环节出现问题, 并能及时进行处理, 同时清楚该如何改进, 而不必再花大量时间去研究, 从而缩短生产周期, 降低生产成本等等。对于消费市场上可以真正实现的有效需求。因为随着物联网等技术的发展, 可以真正地实现量身定制, 现货现取。

总之, PDM的应用优势在未来会得到不断的提升, 它与质量管理相融合的系统也将会产生更深远的影响, 它们在将来的巨大的智慧网络系统中将会产生极其重要的关联作用。

摘要：企业的信息化、智能化是大数据时代管理的必然趋势, 而PDM是管理所有与产品及相关过程信息的技术。本文以PDM发展应用过程的视角为出发点, 分析PDM在国内企业的应用中存在的问题, 结合现代质量管理的理念, 探究企业现有的管理信息系统与先进PDM融合的技术路径。

关键词：PDM,产品质量,质量管理

参考文献

[1].Ed Miller.PDM Today[J].Computer—Aided Engineering, 1995, 14 (9)

[2].武欣竹, 陈永, 武丽霞, 廖小文.PDM在制造业未来的应用方向[J].CAD/CAM与制造业信息化, 2011, 5:33

[3].刘力凌.现代质量管理在企业生产管理中的应用[J].时代报告 (学术版) , 2012, 4:286

[4].程灏.工业化与信息化融合的微观基础理论研究[J].改革与战略, 2009, 5:57

集成吊顶产品宣传口号 第2篇

在平时的学习、工作或生活中，大家总少不了接触一些耳熟能详的口号吧，口号能指导人们有效地开展实践，促进客观事物的发展。那什么样的口号才是经典的呢？下面是小编为大家收集的集成吊顶产品宣传口号，欢迎大家分享。

1、有品位，有价格，有品质，有服务！

2、戴明直销美万家，性价同位惠天下。

3、小空间，大境界高品质生活，戴明科技创。

4、质量就是生命绝顶风范，生活灿烂。

5、时尚沐浴谁最行，顶热顶好选戴明。

6、美丽新主张让你的`天空更明朗享受生活，信赖戴明！

7、信赖戴明科技，改变你的生活。

8、安装维护更更简单，集成吊顶戴明揽。

9、让家居更精彩，让生活更美好。

10、戴明吊顶，有力度的吊顶美学。

11、极致节能，沐浴享受至高品质，荣耀生活。

12、戴明让品质与环保与你同在。

13、家居装潢新主张，灯饰美学新风尚。

14、关怀点滴之间，温馨源源不断！

15、顶上风情，上尚之选顶级艺术，质领未来。

16、共同期待美好明天科技创造，完美价值。

17、戴明吊顶，尊贵品质触顶可及。

18、戴明吊顶，快速美学新典范。

19、戴明广告做得好，不如戴明浴室好！

20、让你愉悦的仰望吊顶要戴明，品质最放心。

21、戴明完美生活品质，体验视觉享受。

22、客户爱“戴”，品质分“明”。

23、高端品质承诺，诚铸完美价值！

24、品质戴明吊顶，开辟完美空间。

25、吊起视觉盛宴，戴明集成吊顶。

26、戴”领集成吊顶，增加空间光“明”。

27、戴明吊顶，把热水器与舒适完美结合。

28、集成吊顶选戴明，尊享生活每一天。

29、戴明：善之善者，体贴到位。

30、智·饰完美空间，诚·就品位生活。

31、品质+时尚+节能+环保=戴明集成吊顶。

32、质量决定价值，节能缔造未来。

33、戴明美丽品质，吊顶传家精品。

34、戴明吊顶去戴明集成一遭，其他吊顶皆可抛。

35、好品质，好生活戴明，洗澡吗，已经热了。

36、智慧的飞跃，成就艺术的完美。

37、沐浴身心，品质生活敢问吊顶谁最好，只有戴明最最好。

38、安装维护一站式，明亮空间全方位。

39、生活无时无刻，让温暖每时每刻。

40、戴明集成吊顶，装点属于您自己的天空。

41、戴明：善之善者，体贴到位。

42、您的需求，是我们不断完善自身的使命。

43、戴明集成吊顶专注研做，真诚服务。

44、戴明戴明吊顶，品味、生活一体化。

45、完美生活离不开美好品质，从戴明开始！

46、品位吊顶艺术，品位上层生活。

47、戴明，艺术的品质，美的享受。

48、戴崇至顶，明耀你我服务生活，成就艺术顶美艺术，品质追求。

49、智·饰完美空间，诚·就品位生活。

50、戴明广告做得好，不如戴明浴室好！

51、吊起视觉盛宴，戴明集成吊顶。

52、戴”领集成吊顶，增加空间光“明”。

53、共同期待美好明天科技创造，完美价值。

54、客户爱“戴”，品质分“明”。

55、家居装潢新主张，灯饰美学新风尚。

56、戴明让品质与环保与你同在。

57、小空间，大境界高品质生活，戴明科技创。

58、安装维护更更简单，集成吊顶戴明揽。

59、品质戴明吊顶，开辟完美空间。

60、戴明吊顶，尊贵品质触顶可及。

61、戴明吊顶，把热水器与舒适完美结合。

62、美丽新主张让你的天空更明朗享受生活，信赖戴明！

63、戴明完美生活品质，体验视觉享受。

64、格勒顶级一·格，时尚快·勒。

基于元数据的数据集成研究 第3篇

数据集成系统中的底层数据对用户来说是“不透明”的, 用户很自然会对集成结果产生怀疑。元数据记录了数据的来源和目标, 记录了转换的规则, 从而使得最终用户能够很容易地了解数据产生的全过程, 这对于最终用户发现数据中存在的质量问题是非常有帮助的, 从而增加数据可信度, 减少数据仓库中蜘蛛网现象所造成的不利影响。中间件模式中的元数据管理作为各异构数据源的“翻译”和“协调者”, 考虑到最终用户的非专业性, 向中间层提供了一个源数据的“介绍”和获取方式, 这既避免了数据源之间的直接接触又避免了对源数据的复制, 简化了数据的管理过程。

1. 元数据

元数据 (Metadata) :“关于数据的数据”, 为各层次信息内容提供规范的定义、标记、解析和利用机制。元数据的精神应是用尽可能少而精的数据反映对象尽可能多而全的信息。

元数据的产生源于网络信息资源的快速增长, 信息资源的组织与利用出现了巨大的困难, 传统的信息组织方式不仅在数据加工和数据标引上费时费力, 而且需要大量经过特殊培训的专业人员来操作。同时由于网络环境下的一些其他问题, 如内容加密、资源庞大或资源收费等, 造成资源不能每个人直接使用, 人们无法看到电子文档的实际内容。因而不可能使用传统的信息管理方法组织网上的信息。元数据是一个有效的解决方案。基于元数据的信息组织主要用于实现两个功能:一是较为准确地描述信息资源的原始数据或主题内容;二是能够实现网络信息资源的发现, 即实现计算机网络定位、自动辨析、分解、提取等功能, 将网络信息资源的无序状态变为有序状态。

在数据集成中间件中, 元数据包含数据从哪里来, 什么时间传输和传输到哪里去的一系列信息, 提供给数据管理者一种追踪数据的方法。元数据被存储到服务器端, 被数据库或XML文档管理, 可以方便地展现给数据管理者。

2. 数据交换中心

从层次上看, 信息集成系统的结构为三层结构。数据交换中心在集成系统中处于中间层。其上层为集成的各应用系统, 通过应用服务的包装与数据交换中心连接, 并可以方便地集成新的应用系统, 或新开发的服务。其下层则是各分布异构的数据源和实数据中心。如图1所示。数据交换中心提供统一的数据交换接口, 屏蔽实际数据的分布异构, 实现数据访问的透明性。同时, 数据交换中心通过“推-拉”技术定期不定期地实施数据交换。对实时性要求高的敏感数据实行即时交换, 对数据中心的历史数据则按照实时性的要求实行周期不同的周期性交换。这样, 通过数据交换和共享, 实现数据一次录入、随处使用, 消除由于“数出多门”而产生的数据不一致。

数据交换中心需解决以下问题: (1) 必须提供数据的统一描述格式, 能够对各种数据格式都有很好的描述性, 容易扩展, 具有跨平台性、易解读, 以便异构数据交换。 (2) 必须提供全局模式, 以及全局模式和局部模式之间的映射, 以解决分布数据访问规则和由于“数出多门”而产生的冲突。通过建立维护基于XML的元数据字典解决以上问题。XML具有平台无关性、自描述性、可扩展性、可根据行业特点灵活建立相应语法等优点, 非常适合作为异构数据交换的中间格式。这样在包装器中只需要实现每种异构数据格式和标准数据格式的转换即可。

3. 元数据字典

元数据定义为“关于数据的数据”, 即关于数据信息的描述, 包括数据的定位信息、数据语义描述、数据结构描述等。元数据字典是对元数据的存储和管理, 其核心是建立维护全局模式。只有对数据建立统一的模型后, 数据才能在系统中分布和共享。元数据字典主要由全局模式、局部模式、数据成员、全局-局部映射等组成。

(1) 全局模式描述全体数据构成的统一模型, 标识其中每个数据成员。这个命名空间称为全局命名空间。全局模式要具有完整性和最小性, 保证所有要用到的数据都包括在全局视图里, 并且只出现一次。全局模式由实体集和联系集表示。其树形结构如图2所示。其中实体概念比传统E-R模型中的实体概念宽泛, 比如把管线计量这样的数据关系也作为一个实体, 这样简化了联系的表示。联系定义为一个三元组, E1、E2、T分别表示联系两端的实体对和联系种类。对实体和属性等元素给出确定的语义描述。

(2) 局部模式描述一个子系统的数据模型, 每个局部模式。其结构和全局模式类似, 也是由实体集和联系集表示。

(3) 数据成员给出每个分布数据源的标识、位置和组成, 确定每个数据源的位置, 并进一步细分直到原子数据项。对关系型数据源按数据源库表字段的层次结构描述。图2全局模式结构

(4) 全局-局部映射给出全局模式和各个局部模式相互转换的映射关系, 每条映射表示为一个三元组〈源元素, 目标元素, 转换规则〉。每一个局部模式中的元素 (实体或属性) 都对应一个全局模式中的元素, 因而在映射表中形成一条映射。映射表按局部模式分为不同映射区间, 分处不同的局部模式中的多个元素可以对应全局模式中的同一个元素。元数据字典的核心是建立全局模式。建立全局模式有自上而下和自下而上两种方式。应用集成主要采用自下而上的全局模式建模, 即通过对各局部模式的合并、整理, 逐步建立全局模式。在建立过程中, 对语义等价的同一实体进行归并。实体属性经过筛选, 同义属性规范其类型、单位、精度, 去掉重复属性后添加到归并后的实体模型中。建立全局模式的同时建立全局-局部映射表。

设有两个局部模式La和Lb, 其实体集分别为{Ea1, Ea2, , Eai}和{Eb1, Eb2, , Ebj}, 每个实体E由属性集{F1, F2, , Ft}描述, 每个实体和属性都有明确的语义描述, 且属性已经分解到独立的原子属性。两个实体语义等价意思为两个实体在现实中代表相同的实例集合, 而两个属性语义等价意思为它们描述的是相同实体的同一性质。设归并后全局模式的实体集为L{E1, E2, , Ek}, 除了原来局部模式中的联系, 还可能出现新的联系。简化的模式归并算法描述如下:

(1) 令L的实体集初值为La{Ea1, Ea2, , Eai}, 规范其中实体和属性的命名、格式等, 连同La中的联系一起加入L, 并将LaL的对应一一写入映射表。

(2) 依次取Lb中实体Ep{Fp1, Fp2, , Fpm}, 判断L的实体集中有无与Ep语义等价的实体, 如果没有, 将Ep加入到L的实体集中, 在映射表中添加一条实体映射。查找新实体与L中原有实体的联系, 加入到L的联系集中。继续步骤 (2) , 直至Lb中实体判断完, 转步骤 (5) 。

如果L中已有语义等价的实体Eq{Fq1, Fq2, , Fqn}, 转步骤 (3) 。

(3) 依次取实体Ep{FP1, FP2, , Fpm}中属性F, 判断E中有无语义等价的属性, 如果没有, 规范属性E后将F加入到Eq的属性集中, 在映射表中添加一条属性映射。

(4) 继续步骤 (3) , 直到Ep{Fp1, Fp2, , Fpm}中的所有属性判断完后, 转步骤 (2) 。

(5) 算法结束, L即归并后的全局模式的实体集。这个算法是在每个元素 (实体或属性) 的语义确定的情况下给出的, 实际中对于语义等价的判断往往是一个凭主观的手工过程。在语义信息唯一确定之后, 这个算法可以提供一定的自动模式集成能力。

在模式归并中, 要注意以下几点:

(1) 规范属性时, 除了统一命名外, 单位不同的, 参照已有标准选择一个统一单位。如果精度不同, 选择其中精度较高的以免损失数据。

(2) 注意保留实体联系。如果在不同局部模式中同一实体的主键不同, 则在该实体的候选键中选择一个共有的作为归并后实体的主键。

4. 结束语

ECDIS与GIS数据集成研究 第4篇

通过ECDIS与GIS技术的集成,可以利用GIS强大的空间数据处理能力和空间分析功能,促进ECDIS的应用与推广.本文通过对S-57标准与GIS数据模型的分析,研究了在GIS平台下建立S-57数据模型的`方法,并在MapInfo平台下完成了S-57电子海图向GIS数据格式的转换,实现了ECDIS与GIS的数据集成.

作 者：李勇 包世泰 周品 谭建军 陈少沛 LI Yong BAO Shi-tai ZHOU Ping TAN Jian-jun CHEN Shao-pei 作者单位：李勇,LI Yong(中山大学生命科学学院3S实验室,广州,510275;中国科学院广州地球化学研究所地理信息中心,广州,510640)

包世泰,BAO Shi-tai(华南农业大学信息学院,广州,510642)

周品,谭建军,ZHOU Ping,TAN Jian-jun(中国科学院广州地球化学研究所地理信息中心,广州,510640)

陈少沛,CHEN Shao-pei(中国科学院广州地球化学研究所地理信息中心,广州,510640;French Naval Academy Research Institute France,29240)

数据集成技术初探 第5篇

随着信息技术的发展,数据库在各个行业都得到了广泛的应用。银行、电信、医院、政府、学校等的日常管理与决策,都采用了大型的关系数据库来管理其业务数据。随之而来的是,人们对信息的需求也越来越广泛,并且这种需求已经不再局限在某一个部门的局域数据库之中。因此,能够统一地访问不同部门中的相关数据,成为人们日益迫切需要而又实用的功能。

一方面,随着企业的不断发展,在这一过程必然积累了大量的历史数据,并为了存储和管理这些数据不断地投资。然而,由于种种历史原因,企业用于管理它本身数据的工具往往不一致,以至于即使是同一个企业,采用的数据管理系统可能包括简单的文件数据库系统、层次数据库系统、网络数据库系统,以及当前主流关系数据库系统,它们构成了企业的异构数据源。

另一方面,近些年来信息技术在中国的迅速发展,在政府、医院、学校等单位的各个部门都相继引进了信息管理系统。然而,由于这些信息系统是在不同时期、由不同的公司、利用不同的工具、在不同的平台开发出来的,并且运行在不同的操作系统和不同的数据库平台之上。这就形成了所谓的“信息孤岛”问题。

在信息化时代和全球经济竞争日益激烈的新环境下,不管是企业领导还是政府单位领导在做出一项新的决策时,都要对分布于企业内部或者是政府各部门的大量异构数据分析后,才能做出有效的、正确的决策。因此,如何实现异构数据库间的数据合并和共享,如何保护已经建立的数据资源,充分利用各部门已有的数据库,实现不同数据库之间的连接、数据共享,是实现异构数据集成系统的关键所在。

1 关键问题

随着信息技术的进一步发展,传统的事务处理(企业生产管理、办公自动化)已经逐渐变为面向I nt er net环境的数据集成、共享和互操作。正如上文所说,有效的信息已经成为企业充分牢牢把握竞争优势、政府部门做出有效地决策的基石。因此,无论是企业和政府部门,都迫切需要一个能为这些分布、异构、自治数据源提供统一视图的平台[1]。

同时,整合分布式异构环境下这些预先存在的、分布的、异构的、自治的各个数据源,需要解决以下问题[2]:(1)资源定位。应用系统可以方便地知道和使用网络系统中可用资源,却不必知道资源的分布位置和多种多样不同的使用方法。(2)代码重用和移植。同一功能代码可在不同硬件和操作系统平台内复用和用于构架软件。(3)软件互操作。使用不同语言开发的程序可互相调用。(4)遗留(Legacy)系统的利用。已经建立并发挥作用的系统能够迁移到网络计算环境并与新开发的系统集成。这是任何新的计算模式发展都必须解决的问题。(5)屏蔽异构网络环境下编程的复杂性。使开发人员能专注于应用领域的问题和编程模型而不必关注网络细节。(6)安全问题。不同的系统采用不同的安全策略、访问控制方法,需要研究分布异构环境中的身份认证机制、访问控制方法以及如何协调不同的安全策略。

从数据库管理系统(DBMS)的角度来看,主要考虑数据模型、查询语言和事务管理协议等方面的不同[3]。各成员系统可采用网状、层次、关系或面向对象的数据模型来表达数据,甚至同一数据模型可采用不同的查询语言,关于提交协议方面,各成员数据库系统有的采用单阶段提交协议、两阶段提交协议(其变种有Pr esumed Abor t协议和Pr esumed Commi t协议)。异构数据库的研究离不开对系统各部分的假设,包括系统中存在些什么样的数据库,数据库可以提供什么程度的支持等等,这些都将影响到采用何种方法来建立异构数据库。

3 数据集成方法

国内外对多数据集成应用已比较多,但相应的研究处于滞后状态,使得应用开发处于无规范的初级阶段,所用方法大多为就事论事的权宜之计[4]。下面对目前所用的方法进行介绍。

3.1 直接数据库访问接口

常见的数据库访问接口有ODBC、DAO、RDO和OLE DB等。

ODBC是微软公司推出的一种实现应用程序和关系数据库之间通信的方法标准,是一个接口标准。符合标准的数据库就可以通过SQL语言编写的命令对数据库进行操作,但只能针对关系数据库进行操作。由此可见,ODBC的最大优点是能以统一的方式处理所有的关系数据库,不过直接使用ODBC API比较麻烦。

DAO是与数据库打交道,夹在业务逻辑层与数据资源层之间。是Mi cr osof t一种用来访问Jet引擎的方法,主要适用于单系统应用程序或在小范围本地分布使用,访问所谓桌面数据库,DAO可以访问非关系型数据库。

为了弥补DAO访问远程数据库能力的不足,微软推出了RDO数据库访问接口,可以方便的用来访问远程数据库(网络数据库)。它封装了ODBC API的对象层,因此在访问ODBC兼容数据库时,具有比DAO更高的性能,而且比ODBC更易用。

OLE DB是微软提出的基于COM思想且面向对象的一种技术标准,目的是提供一种统一的数据访问接口访问各种数据源,这里所说的"数据"除了标准的关系型数据库中的数据之外,还包括邮件数据、Web上的文本或图形、目录服务(Di r ect or y Ser vi ces)、以及主机系统中的文件和地理数据以及自定义业务对象等。

3.2 分布对象

分布对象技术是伴随网络而发展起来的一种面向对象技术。90年代初CORBA1.0标准的颁布,揭开了分布式对象计算的序幕。分布对象计算中,通常参与计算的计算体(分布对象)是对称的。分布对象往往又被称为组件(Component),组件是一些独立的代码封装体,在分布计算的环境下可以是一个简单的对象,但大多数情况下是一组相关的对象复合体,提供一定的服务。分布环境下,组件是一些灵敏的软件模块,它们可以位置透明、语言独立和平台独立地互相发送消息,实现请求服务。

3.3 SQL扩充

SQL是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。SQL是高级的非过程化编程语言,允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法,也不需要用户了解具体的数据存放方式,所以具有完全不同底层结构的不同数据库系统可以使用相同的SQL语言作为数据输入与管理的接口。但用标准SQL直接集成数据很麻烦,因此有研究对标准SQL进行扩充,比如加入灵活表示资源位置的机制。

3.4 数据访问代理

在很多的项目开发中,都会涉及到操作数据库的问题,查询、入库、修改、删除数据等等操作,每次都需要重写或者拷贝类似的访问代码,因此开发通用的数据代理层是很有必要的,Hi ber nat e就是典型的代表,Hi ber nat e是一个开放源代码的对象关系映射框架,它对JDBC进行了非常轻量级的对象封装,使得Java程序员可以随心所欲的使用对象编程思维来操纵数据库。Hi ber nat e可以应用在任何使用JDBC的场合,既可以在Java的客户端程序使用,也可以在Ser vl et/J SP的Web应用中使用,最具革命意义的是,Hiber nat e可以在应用EJ B的J 2EE架构中取代CMP,完成数据持久化的重任。

3.5 WebService

Web Ser vi ce是一种可以接收从I nt er net或者I nt r anet上的其它系统中传递过来的请求,轻量级的独立的通讯技术。这种技术允许网络上的所有系统进行交互。随着技术的发展,一个Web服务可以包含额外的指定功能并且可以在多个B2B应用中协作通讯。Web服务可以理解请求中上下文的关系,并且在每一个特定的情况下产生动态的结果。这些服务会根据用户的身份,地点以及产生请求的原因来改变不同的处理,用以产生一个唯一的,定制的方案。这种协作机制对那些只对最终结果有兴趣的用户来说,是完全透明的。因此利用Web Ser vi ce技术来开发数据集成组件是非常理想的选择。

3.6 多数据库系统

多数据库系统(MDBS)是多个已存的、自治的、异构的数据库系统的联合。多数据库系统的管理软件称为多数据库管理系统(MDBMS)。参与构成多数据库系统的各数据库系统称为局部或成员数据库系统(LDBS),各局部数据库有自己的局部数据库管理系统(LDBMS)。局部数据库分布在网络的不同节点上,多数据库系统在所有局部数据库系统之上构成全局系统管理层,提供外部用户接口,使用户能实现对异种数据库的透明访问。多数据库系统屏蔽了不同数据库在物理上和逻辑上的差异,各局部数据库有充分的自治性。

3.7 联邦数据库系统

联邦数据库系统(Feder at ed Dat abase Syst em,FDBS)提供了另外一种组织、访问和更新共享信息的逻辑方式。和多数据库系统一样,联邦数据库系统也是多个自治的成员数据库系统(CDBS)的集合,同时实现它们之间的数据共享与互操作。与多数据库系统不同的是,联邦数据库中不存在全局的中央控制中心,这样能从根本上保证数据的自治性,提高数据的私有和安全特性。在大多数情况下,FDBS是异构的,各成员数据库系统可能有不同的数据模型、查询语言、并发控制、事务处理机制、安全策略等,另外,联邦数据库可能有自己的联邦数据模型,联邦数据库不能直接操作成员数据库。成员本身也可以是联邦数据库,一个数据库可以是多个联邦数据库系统的成员数据库。

4 结束语

随着计算机技术的不断发展以及海量的信息处理需求,数据集成成为数据管理的一个重要分支,如何高效的将数据整合,消除信息孤岛,为决策提供支持成为一个研究热点。本文介绍了数据集成的关键问题,分析了各种数据集成技术。

摘要：数据集成是信息技术应用的一个热点。本文介绍了数据集成的关键问题,重点分析了各种数据集成方法。

关键词：数据集成,WebService,多数据库

参考文献

[1]宋宝燕,张斌,王国仁,于戈.物理集成的多数据库系统中数据一致性维护方法[J].小型微型计算机系统,2000,(08).

[2]陈珉,喻丹丹,涂国庆.分布式数据库系统中数据一致性维护方法研究[J].国防科技大学学报,2002,(03).

[3]韩伟红,贾焰,王志英,杨晓东.多数据库系统中的关键技术[J].计算机工程与科学,1999,(06).

数据集成技术研究 第6篇

关键词：数据集成,中介器,封装器,抽取转换加载

数据集成是数据组织的重要方法,是实现数据共享的重要途径。通过数据集成,可以将多个分散的、异构的数据源统一起来,给用户提供统一的数据访问接口,简化用户对数据的访问。

一、数据集成需求

网络技术的发展大大拓展了人们的视野和空间,用户不再仅局限于使用自己存储和管理的数据,而是通过网络获取更加广泛的数据。但是,对于跨领域、跨部门的数据,用户必须逐个连接到各个数据库,得到数据后再进行汇总和甄选,这种数据获取方法会面临以下突出问题:

(1)用户不明确数据存放的位置;

(2)用户不了解各类数据库访问的方法;

(3)用户不具备直接访问数据库的权限;

(4)用户不熟悉各数据库的数据结构;

(5)用户无精力去汇总和甄选繁杂的数据。

针对用户访问和应用数据面临的困难,应当有一个中间系统去替用户来解决困难,该系统接收用户的查询请求,然后将处理后的查询结果返回给用户。使用过程中,用户不需要了解各个数据库的位置、访问方法、权限、数据结构等细节问题,也不需要进行繁琐的数据汇总和甄选,它们都交给中间系统去完成,这个中间系统就是数据集成系统。

二、数据集成技术

数据集成技术主要有两种类型,即Mediator/Wrapper数据集成技术和基于数据复制的数据集成技术。

1、Mediator/Wrapper数据集成技术

各个数据源的异构性是客观存在的,Mediator/Wrapper(中介器/包装器)方法则是分别对各个异构数据源进行包装来消除数据源的异构性,同时提供一个虚拟的用户视图,并不真正存储任何实际数据,用户针对虚拟的用户视图提出查询请求,不必知道各数据源的位置、模式和访问方法。如图1所示,中介器能够处理用户的查询请求,将查询请求分发给各个包装器,并处理和融合各个包装器传递过来的结果数据。每个包装器对一个数据源进行封装,为中介器提供统一的查询访问接口,并将中介器处理过的查询翻译成数据源可以处理的查询操作,然后将数据源的查询结果返回给中介器。

Mediator/Wrapper集成方法也叫虚拟视图方法,用户虽然从数据集成系统中得到了数据,但是数据集成系统中并没有存放数据,数据依然存放各数据源中。

2、基于数据复制的数据集成技术

在基于数据复制的数据集成系统中,设置了一个综合数据库(有些资料中称之为数据仓库),在进行数据集成时,将各个数据源的数据复制到综合数据库中,如图2所示。由于各个数据源之间、各数据源与综合数据库之间存在异构性,数据复制通常要经历数据抽取、转换和加载(Extract、Transform、Load,ETL)三个步骤才能完成。用户访问数据集成系统时,不再需要访问各数据源,而是从综合数据库中查询并得到数据。

三、数据集成应用分析

1、数据集成技术应用对比

上述两种数据集成技术各有优缺点,下面从数据时效性和技术成熟度两个方面对数据集成技术进行比较。

从数据时效性讲。在Mediator/Wrapper数据集成技术中,数据集成系统中并没有真正存储数据,用户查询得到的数据直接来自于各个数据源,因此用户查询得到的数据始终是最新的,因此其时效性比较好。反过来,基于数据复制的数据集成技术中,各数据源的数据经过ETL过程加载到综合数据库中,由于ETL过程是间歇性的,在两次ETL的间隔时间内,某些数据源的数据可能已经发生更新,导致综合数据库中的数据与各数据源的数据存在部分不一致,用户从综合数据库中查询得到的数据就会有些不是最新数据,因此其时效性差一些,不过,目前人们正在将CDC(Change Data Capture,变化数据捕获)技术融入ETL技术中,弥补基于数据复制的数据集成技术的时效性不足的问题。

从技术成熟度讲。基于Mediator/Wrapper数据集成技术的工具比较少,目前比较热门的工具是OGSA-DAI(Open Grid Services Architecture-Data Access and Integration),该工具配置完成后,用户不需要了解各个数据源的技术细节,就能够从各个数据源中查询得到数据,但是从最终用户的角度看,各个数据源仍然是分散的,没有统一的数据库模式,查询得到的分散数据的组合仍然由用户自己来完成,对用户的素质要求较高,工具使用起来仍然不是很方便,归根结底是Mediator/Wrapper数据集成技术目前还不是很成熟。相比较而言,基于数据复制的数据集成技术的工具比较多而且很成熟,比如IBM的Data Stage,Oracle的Oracle Data Integrator等,在数据源向综合数据库进行数据转换的环节,这些工具都采用了图形化操作界面,数据转换形象直观,配置方便,最终用户直接查询综合数据库,使用简单,因此应用比较广泛。

2、数据源安全控制分析

数据集成需要直接对数据源数据库进行操作,要求各数据源必须面向数据集成系统开放数据库访问权限和公开数据结构,这种做法对数据源的安全性带来极大的威胁,导致一些部门或组织对参与数据集成产生抵触情绪。改进的办法是将数据源的数据库称之为工作数据库,在工作数据库之外增加一个前置数据库,前置数据库的内容来自于工作数据库,并且前置数据库是公开的,可以用于数据集成,即使前置数据库遭到网络的恶意或无意攻击,也不会影响到数据源工作数据库的安全。解决了数据源的安全问题,各组织、各部门才有可能将自己的数据公开出来用于数据集成,数据的价值才有能充分展示其重要的价值。

设置前置数据库的办法可以提高数据源工作数据库的安全性,但是前置数据库与工作数据库之间的数据一致性问题又凸显出来,需要进一步采取数据同步措施,确保前置数据库的内容与工作数据库的内容保持一致。

参考文献

[1]刘志强.数据集成技术及其应用研究[D].哈尔滨工程大学,2011.

[2]苌城.基于ETL的数据集成过程模型[D].浙江大学,2010.

产品研发团队集成能力评价 第7篇

一、产品研发团队集成能力的含义

产品研发团队集成能力是一种获取并应用个别知识、技能的综合能力,是企业在研发过程中,将管理方法融入集成技术、知识、组织,实现知识流、资金流、信息流和物流的最佳配合,以达到提升产品研发效率的目的。

二、产品研发团队集成能力评价指标体系

1.团队特征。团队的有效运作需要三种不同技能类型的人。第一,具有技术专长的成员;第二,具有解决问题和决策技能的成员;第三,善于人际关系交流技能的成员。团队的大小由产品研发所跨领域的多少决定,一般由5~8名成员构成。在组建团队时考虑个体给团队带来的最大贡献的个人优势及相互间的技术互补。产品研发是一个动态发展的过程, 在各个阶段需要不同角色参与。因此组建团队时应根据任务需要进行合理时间安排人员的出与进。

2.技术集成能力。技术集成开发是企业现有技术,抓住产品的市场特性,引进成熟技术或参照技术学习,依据产品特性使各分支技术融合,在短期内开发产品领先进入市场。体现技术集成的主要指标有:技术系统匹配度、技术系统冗余度、技术系统中技术完备度、技术系统中主要技术与辅助技术所占比例。

技术系统匹配度是指相对于待开发产品来说,各分支技术在结合后是否互相冲突和矛盾,是否发挥了整体的应有功能,特别是有无发挥出最大的功能;技术系统冗余度是指技术系统内各分支技术集成后可放弃的技术所占比例。检验技术系统冗余度可促进产品分支技术的进步和产品整体性能的提高;技术系统中技术完备度就是团队拥有技术占开发该产品应具备的技术比例;技术系统中主要技术与辅助技术所占比例就是实现产品开发的主要功能技术与辅助功能技术各占技术系统集成技术总和的比例。根据经验常识,去掉一些不重要的功能并不影响产品品质,因此对技术优化组合,达到技术重点突破。

3.知识集成能力。体现知识集成能力的主要指标有:“T” 型人才充足度、有先期项目经验的项目人员数占项目人员总数比、技术带头人或项目负责人的多技术开发项目年限、项目正式研讨频度、非正式研讨的种类。

所谓“T”型人才,不仅有着深厚的专业技术,还具有其他多个方面的宽广的知识基础,一个成功的知识集成集团的 “T”型人才必须达到50%。企业通过不断地变换员工的工作岗位,增加“有先期项目经验的项目人员数占项目人员总数比”。此总数比至少应为30%,团队的技术集成能力才为优秀。技术专家是团队中有着最深厚和最宽广的知识基础的一员,他是团队项目的领头人,其多技术开发项目年限必须至少有十年的经验。团队的正式研讨有助于促进团队的隐性知识共享和员工之间的经验传递、相互影响,同时有助于研发新产品和解决团队内问题。有研究表明,非正式研讨程度较高的创新组织在激发创新人员的主动性与创造性方面有明显的优越性。

4.组织集成能力。体现组织集成能力的主要指标有:团队与企业内其他职能部门交流程度、团队与用户交流程度、团队与供应商交流程度。

信息时代一大特点就是消费者追求个性化,市场需求变化加快。为了高效开发新产品,一方面通过并行工程边开发边设计,以减少开发时间;另一方面对待开发产品应用价值工程进行价值分析,以最佳产品面市。这都需要团队与其他部门进行交流,使创新过程的各个环节服务于企业整体战略。市场需求是产品开发的原动力,是产品开发的基本出发点和最终归宿。决定产品成功与否的最重要因素是用户,企业应把从用户那里得到的需求信息反馈,作为产品创新的基本依据。因此,企业的新产品开发要求各个环节都需用户参与。开发的产品能否实现市场化,很大程度上取决于供应商提供的投入物现状。企业和供应商常交流,可以减少制造困难和装配错误,大大节约生产成本。

三、产品研发团队集成能力评价模型

产品研发团队集成化水平是一个模糊概念,在量上没有确定的界限,适合采用模糊语言变量来描述。而在进行模糊综合评价时,权重对最终的评价结果会产生很大的影响,不同的权重有时会有不同的结论。许多专家从不同的角度提出用专家调查法、群组决策特征根法、层次分析法等来确定指标的权重,其中层次分析法(简称AHP)能将人的主观判断用定量形式表达和处理,可尽量减少人主观判断所带来的弊端。因此,本文通过构建集成化研发团队的指标体系, 引用层次分析法和模糊综合评价法,建立产品研发团队集成能力评价模型,为集成化研发团队的集成能力进行评价提供条件。

1.确定评价因素集。由产品研发团队集成能力综合评价指标体系,确定因素集,即评估指标体系,并且建立两个层次的评估指标集:主因素层评估指标集和子因素层评估指标集。

2.AHP确定权重集。在评价因素集中,各因素对知识集成能力的影响程度不同,需赋予其不同的权重以区别影响程度的差别。权重集与因素集相对应,同样具有层次性。权重大小的确定通过向专家和企业界人士发放问卷进行调查,运用AHP方法得到。(1)构造判断矩阵。运用层次分析法(AHP)分析复杂体系中所包含的因素及其相互关系,将问题条理化、 层次化,构造一个层次结构模型,将隶属于同一上一层的各元素按“1~9”标度法进行两两比较,将判断定量化,建立判断矩阵。(2)计算各指标的权重系数。权重系数采用科学实用、 简便易行的“方根法”进行近似计算。(3)一致性检验。为了评价所构造的判断矩阵求出的特征向量(权重)的合理性,还需对判断矩阵的一致性进行检验。常运用平均随机一致性指标,其值 <0.1时,即认为该判断矩阵具有满意的一致性,说明特征向量(权重)分配是合理的。

3.建立评价集。评价集是评价者对评价对象可能做出的各种总的评价结果组成的集合。

4.模糊判断矩阵的确定。本模型中,对子因素进行评价时,建立单因素模糊评判矩阵。

5.对各评价指标进行模糊综合评价。根据上面得到的权重和单因素模糊评价判断矩阵,进行综合评判。

6.评价结果处理。为充分利用综合评估的信息,本研究运用加权平均法对评判指标进行处理,即对各个评价集元素进行加权平均运算,所得的值作为模糊评价综合评价的结果,并制定相应的标准并提出切实可行的对策。

四 、 评价模型的应用

为了验证建立的研发产品集成能力评价指标体系的科学性 、 合理性和评估模型的可操作性和适用性,选取了M企业作为评价对象 。 邀请九位专家,按上述评价指标及评语集中给定的标准值进行评判,其数值(见表2) 。

根据表2确定指标权重和隶属度,进行一级模糊综合评判和综合评价,可得到该企业产品研发团队集成能力的综合评价得分为80.0405,评价结论为良好,需要继续保持 。

本文应用层次分析法和模糊评价理论,对产品研发团队集成能力进行了分析,通过实证研究所建立的集成能力评价模型,可以较好地反映团队集成能力和产品研发程度,促进企业研发效率的提高 。

摘要：集成化研发团队将成为未来研发团队的主流形态,在分析产品研发团队集成能力的基础上,运用AHP-模糊综合评价法建立产品研发团队集成能力评价模型,分析该模型应用于研发团队集成能力评价的实用性和有效性。

基于联邦数据库的数据集成体系研究 第8篇

关键词：数据集成,联邦数据库,集成体系

随着信息技术的不断发展, 各类企事业单位内部都进行了一定规模的信息化建设, 各部门独立开发了针对自己业务特点的业务管理系统。这些业务系统的数据资源和业务逻辑相互不能共享, 形成了巨大的“信息孤岛”和“应用孤岛”, 造成信息资源的极大浪费。对这些业务系统进行综合集成, 以连接各业务部门间的“信息孤岛”和“应用孤岛”, 实现信息的采集、管理和使用全过程的平滑、快速流动, 已成为提高工作效率, 增加竞争力的重要措施。

1 “信息孤岛”和“应用孤岛”形成的原因

“信息孤岛”和“应用孤岛”的形成, 主要有以下几方面原因:

(1) 信息化建设缺乏整体规划。各应用系统的建设是由不同的应用开发单位分散进行的, 只是满足局部需要而缺乏整体规划, 使各应用系统之间的数据来源不同、用途各异, 在数据结构、数据存储方式等方面存在异构性。

(2) 人为采取分级或分离措施。为增加可控性, 在实施管理时, 将管理对象人为地分级或强制分离, 形成目前的组织机构。这些强制的分级和分离措施, 反映到业务管理信息系统中, 就呈现出数据和功能的分离。

(3) 重视程度不同。在企业内部, 不同单位对信息化建设重视程度不同、经济投入不同, 导致信息化建设水平不一致, 数据采集和信息获取的能力不同。

2 数据集成概念

数据集成是信息集成建设中最深层、最核心的工作, 就是要在计算机网络环境中, 运用数据集成技术, 实现异构数据库之间完全透明的访问, 并支持不同数据库系统之间的相互操作。数据集成主要是从数据底层解决异构数据的共享问题。目前, 数据集成的技术方案主要有3种:一是建立联邦数据库系统;二是利用可协调数据层与应用层的中间件集成技术;三是建立数据仓库。按数据存储位置, 即是否在本地存储数据, 数据集成方法又可分为实际存储方式和虚拟方式两种。

实际存储方式包括普通的DBMS和数据仓库等。该方法把应用程序所需数据预先提取并存储到本地数据库, 用户查询和使用时直接访问本地数据, 适用于数据源数据结构固定, 数据不常改变的情况。但该方法不可避免地面临着如何保证本地数据源中数据是最新的, 以及如何更新本地数据的问题。

虚拟方式包括搜索引擎、联邦数据库、多数据库和基于包装器/中介器 (Wrapper/Mediator) 的信息集成系统。虚拟方式集成模式不在本地存储数据, 其最大的特点是按照查询需求与数据源建立实时连接, 直接提取结果数据。

3 联邦数据库技术

联邦数据库技术是在维持局部成员数据库自治的前提下, 在数据集成层次对异构的成员数据库进行部分集成, 提供对异构成员数据库的共享和透明访问。联邦技术能够统一地访问以任何模式 (结构化和非结构化) 存储的任何数字信息, 具有透明性、异构性、底层联邦数据源的自治性、可扩展性和开放性等主要特征, 是进行数据集成的有效方法, 大多主流数据库厂商都提供对该集成机制的支持。

图1显示了联邦数据库的体系结构。

联邦数据库服务器通过包装器 (Wrapper) 与数据源进行通信。一个包装器对应一类数据源。对关系型数据库数据源而言, 包装器通过安装在信息集成平台的该数据库的客户端与其进行交互。对非关系型数据源, 包装器直接进行数据访问。包装器从信息集成服务器接受数据访问指令, 进而转换为数据源所支持的数据访问指令, 通过数据源的服务器提交执行, 然后将结果返回给信息集成服务处理。

除了包装器之外, 信息集成服务器还有3个核心的部分。信息集成服务器维护一个全局的数据字典, 其中保存需在信息集成平台被访问的数据的相关描述, 包括数据源的配置信息、数据源表的结构、字段数据类型、相应的索引, 以及数据分布的统计信息。另外, 全局数据字典还记录数据源的CPU、网络、I/O等系统资源情况。

但基于传统联邦数据库的数据集成解决方案也有技术上的固有缺陷, 集成时需要在相关数据源间建立两两链接。所以当集成数据源数量众多时, 加入新的数据源就需要建立大量的链接。因此, 传统联邦数据库技术比较适用于集成目标较少, 而且相对固定的或变化不大的数据集成需求。

4 基于联邦技术的数据集成体系结构

数据集成主要解决数据 (信息) 的共享问题。结合联邦数据库集成原理, 本文针对传统联邦技术的不足, 采用统一的全局数据集成模式, 对基于联邦数据库的数据集成体系进行了设计, 如图2所示。

基于联邦技术的数据集成体系为3层结构模式:用户接口层、集成处理层和数据库层。每层都包括一些相应的功能模块。

4.1 用户接口层

用户接口层是数据集成体系与用户的接口, 负责实现集成成员数据库的注册、集成模式的建立, 接收SQML (Structure Query and Manipulation Language, 结构化查询、操纵语句) 的输入、显示查询结果。成员数据库注册操作时, 其注册信息保存在元数据库或数据字典中, 并更新联邦数据库的系统目录和全局数据库视图。

在基于联邦技术的数据集成框架中, 需要提供统一的数据库语言SQML。SQML是基于标准数据库语言SQL (Structure Query Language) 的、面向集成模式下的数据库查询和操纵语言。SQML作为集成体系的数据库语言, 可以实现用户对集成系统的操作, 转换成对成员数据库的操作。如果各集成对象 (数据源) 的数据库平台基本都支持SQL, 则可直接用SQL作为SQML, 以简化数据集成工作量。对于部分不支持SQL的数据源, 可在集成处理层再作查询语法的转换。

4.2 集成处理层

数据集成处理层是数据库集成框架的核心, 包括元数据或数据字典、集成虚拟数据库、SQML语法检查模块、分析映射模块、优化处理模块、数据组装模块及使用分布式处理方法的DB通信接口等。

(1) 元数据或数据字典:

定义集成数据库的数据描述、数据结构和数据完整性规则, 存储成员数据库的数据描述、数据结构与类型, 存储各成员数据库数据模式与集成虚拟数据库数据模式的映射规则等, 为数据模式转换提供依据。存储SQML语法规则, 为SQML语法检查提供依据。

(2) 集成虚拟数据库:

是数据集成体系的数据交换平台, 提供统一的全局数据库视图, 存储系统目录, 接收与处理用户的数据请求, 接收各成员数据库返回的中间结果。集成虚拟数据库还包括SQML语法检查模块、分析映射模块、优化处理模块等, 以完成对用户数据请求的分析、处理与优化。集成虚拟数据库作为数据集成体系的数据交换平台, 提供各源数据模式与全局统一数据模式的转换机制, 避免了传统联邦技术中数据模式两两转换, 消除了传统联邦技术的不足。

(3) SQML语法检查模块:

对输入的SQML命令的语法进行正确性和有效性检验, 并进行SQML的语义分析。

(4) 分析映射模块:

对通过正确性和有效性检验的SQML语法进行分析、分解, 根据数据模式映射规则, 生成各成员数据库平台支持的数据库操作语言, 将用户的数据请求下推 (pushdown) 到相关数据源。对于数据源不能处理的数据请求操作, 分析映射模块还提供补偿功能。补偿功能可由两种方式来实现:一是请求数据源使用一个或多个操作来对应SQML中描述的功能。例如, 假设某数据源不支持余切函数cot (x) , 但支持正切函数tan (x) , 则可请求数据源用1/tan (x) 来等同于cot (x) 。二是提取数据至联邦服务器, 在本地进行处理。

(5) 优化处理模块:

优化处理往往和分析映射功能一起使用, 主要是对一个数据请求进行分析, 并根据资源耗费情况生成处理数据请求的最优计划。查询优化有基于代价、基于值等多种优化模型。

查询语句的优化处理流程如图3所示。

(6) 数据组装模块:

对查询结果进行结构等方面的处理, 例如, 进行数据类型转换、中间结果合并和数据排序等操作, 并以用户希望的形式展现给用户。

(7) DB通信接口:

支持ODBC、ADO等协议和技术, 完成与成员数据库的联接与通信。

数据集成处理层就是利用这些功能模块, 结合数据字典或元数据定义的模式转换规则, 将用户的数据请求转换成对各个业务系统成员数据库的访问, 并将返回结果组装至集成虚拟数据库以显示给用户。

4.3 数据库层

数据库层分布着各联邦成员数据库, 通过DB通信接口可实现对这些自治的成员数据库进行数据访问和物理操作。同时, 各成员数据库仍通过各自的业务系统, 完成其原有功能, 保持高度自治性。

5 结束语

随着信息化建设的不断深入, 各种异构数据不断涌现, 如何将这些异构的数据集成起来就成为一个迫切需要解决的问题。联邦技术就是进行数据集成的一种有效途径, 它能最大限度地保持现有系统的独立性和自治性, 对目标系统的数据库进行数据共享集成。但联邦技术的固有缺陷, 使集成时在各目标系统之间需要建立大量的链接。本文提出的集成体系方案, 用统一的集成处理层, 对各自治成员数据库进行管理, 有效地减少了集成工作量, 在一定程度上弥补了联邦技术的缺陷。

系统集成是企业管理效率的倍增器。但企业信息综合集成涉及网络集成、数据集成和应用集成各个层面, 每个层面的适用集成技术又各有优缺点。所以, 企业信息综合集成在体系结构的设计、集成技术的运用与发展上仍需做进一步的研究, 以达到真正的应用集成, 实现各业务系统的无缝连接。

参考文献

[1]刘晶炜, 闫健卓, 朱青.IBM信息集成技术原理及应用[M].北京:电子工业出版社, 2004.

[2]吴渝, 王成良.基于EAI的企业数据集成技术的研究[J].微计算机信息, 2006 (53) .

[3]杨宏英, 林长松.异构数据集成系统的应用模式与技术实现[J].微电子学与计算机, 2006 (8) .

[4]林建宇, 张国俊.一种异构数据库集成的方法[J].南京理工大学学报, 2002 (10) .

[5]邓苏, 张维明, 等.信息系统集成技术[M].第2版.北京:电子工业出版社, 2004.

[6]张正明, 佟俐鹃.异构数据库集成的研究与实现[J].航空计算技术, 2004 (6) .

[7]宋瀚涛.异构信息源集成技术[J].北京理工大学学报, 2002 (10) .

高校数据集成整体规划方案 第9篇

关键词：数据库架构,全局数据库,中心数据库,数据清洗,数据转换

目前很多高校的数据集成仍旧停留在“按需集成、自下而上”的单点工作模式。随着高校业务系统逐渐增加,系统间的数据关系也日趋多元化。如果仍然使用原有的构架对数据进行集成显然是不科学的,同时也无法满足信息化校园建设的需求。因此从整体上重新规划数据的集成构架,设计出符合高校信息化建设要求的数据集成环境,已成为当务之急。

1 高校数据库集成现状分析

1.1 架构分析

现行高校的业务系统,一般采用相互独立的业务系统,如:财务系统、人事系统都有其相对独立的数据系统。这种单一的存储方式虽然简化了各个部门的管理,提高了独立部门的工作效率,但是就整个校园的数据架构而言,数据之间并没有构成相互的连接通道,每个部门都是一个单独的信息源。换言之各个部门的数据形式存在方式为孤岛点。

另一方面,就实际的系统搭建环境而言,其环境可能在时间、存储格式、存储形式上也是不统一的。

1.2 工作环境关系分析

毕竟,学校是一个整体,每个部门之间存在着相互的工作关系,其数据是需要交互的。例如:财务系统需要从人事系统中提取新招聘教工的相关信息;教务系统需要从财务系统获取学生的缴费情况等。

目前很多高校都是从“需要到实现”,并没有从整个的工作环境去分析,只是单纯的从工作需要去进行被动的数据交互,其弊端所显现的杂、乱是显而易见的。

综上所述,如何对高校的数据库进行科学、合理的集成设计尤为重要。

2 数据库集成框架讨论

2.1 网状架构

网状架构是数据库集成的最初雏形,它是一个点对点的结构,在高校信息化建设的初期,各个部门的的业务系统刚刚使用,数据集成是一种自发的“按需集成”。

当某个部门需要某数据时才会进行数据的提取、交换、集成。方式多采用的是邮件传输、磁盘拷贝等方式。集成周期也不确定通常是“即用即采”。

数据集成在点对点架构中存在着:集成范围小、质量差、周期混乱、方式落后等弊端,从根本上就满足不了快速增长的高校信息化建设。

2.2 星形架构

所谓的星形架构就是每两个业务系统之间互有关联,从而形成一个大的星形结构。

在星形架构下,任意两点间需要数据交换、集成;

另一方面,操作方式,开始使用ETL(Extract、Transform、Load)等工具对数据进行抽取、转换、集成、清洗等工作,当然对异构的数据结构集成也做到了相应的加强。

这里要特别强调的是,星形结构使高校数据集成彻底了告别了“信息孤岛”。

但是星形结构下还是存在着以下问题:

虽然星形结构解决了单点问题,但是在可扩展性、抗干扰、数据统一、安全等方面还是存在着不足的地方。

试想如果在星形结构中添加一个中心节点,类似于在多个计算机之间加一个集线器以完成它们之间的通信。以上星形结构中所显现的问题是否可以解决呢?

2.3 中心节点结构

通过设计一个中心节点,使得星形结构成为辐射状。也就是说,在核心节点做一个数据的集成,使得各个系统对于其自身感兴趣的数据进行集成,其工作的具体流程如下:

(1)所有的业务系统按照统一的模型将自己的数据加载到中心节点;

(2)按照各个部门所感兴趣的数据,集成到各个业务系统中去。

中心节点的数据结构充分的解决了星形结构中的问题,是较为先进的一种数据集成方式。

以上我们分析了数据库集成的三种方式,从中找到了一种适合高校数据库集成的架构,下面我们对“中心节点”进一步的分析,使其更加符合高校的数据库集成环境。

首先我看下面这张图2,下图展示的是高校数据集成的一个模板图,可以在此基础上进行扩展、衍生。

名词解释:

*业务系统数据库:业务系统数据库是高校中各个部门最基础数据的提供者、受益者。各个库把互相感兴趣的数据提交到中心数据库,已达到互相交换的目的。

*全局数据库:全局数据库是面向综合应用的业务数据源.

*数据仓库:主要功能是数据的统计、分析挖掘等数据存储。其基本数据来源是从数据集成平台提供数据,按照相应的约定、规则(如:时间)来进行数据的存储和集成。

*数据集成平台:数据集成平台主要完成的是数据的集成过程,主要完成的功能有集成、调用、转换以及加载。一般情况下使用的工具有Oracle的ODI等。

数据集成平台提供的功能主要有:

在数据集成平台存在一个临时的数据存储空间,一般我们定义它为数据集成中心库,该库的作用是:保证数据及时、有效的集成。它不面向任何一般的用户,其中存在时间戳、操作位等明显的字段标识。

3 符合高校数据集成架构特点

3.1 数据库集成流程图

整个集成过程分为三个阶段:

第一阶段:数据集成平台通过ETL过程把业务系统中的数据抽取到集成中心数据库,抽取到集成中心数据库的数据经过清洗转换,使格式变得标准能够供其他业务系统所用。各个业务系统根据自身需要,从集成中心数据库中提取自身需要的数据,经过集成平台清洗转换为自有业务系统所要求的格式;

第二阶段:数据集成平台提供数据给全局数据库,用以支撑全局数据应用;

第三个阶段:数据仓库从数据集成平台中获取各业务系统中的主题数据,为统计数据分析、数据挖掘所用。

将整个数据集成工作划分为以上三个阶段,在条理、结构上变得清晰。并且能够和应用进行关联,可以了解到每个阶段的用户价值。

3.2 架构中的数据流向

在整体架构中,从数据流向上来看,数据集成平台与业务系统之间的数据流是双向的,即业务系统中的业务数据可以上行到数据集成中心,数据集成平台的数据也可以下行给各业务系统;数据集成平台与全局数据库之间的数据流也是双向的,即数据集成平台中的数据下行至全局数据库,提供基础业务数据,全局数据库提供校数据标准,为其他业务系统使用;数据集成平台与数据仓库的数据流是单项的,即数据集成平台的数据提供给数据仓库,用户数据的分析和辅助决策。

3.3 以数据集成平台为中心节点

通过以上分析不难看出,我们建立了一个以数据集成平台为中心的交互平台,一方面提供了包含全局,一致的、细节的、当前或接近当前的数据,用于系统间集成;另一方面,通过对集成过程中数据的沉淀,起到了全局数据落定的效果。

此平台可以保证:

(1)保证数字化校园信息编码的统一;

(2)保证任何两个业务系统之间没有冗余业务数据;

(3)保证“谁产生、谁维护”原则;

(4)保证所有的数据都只有唯一的维护者;

(5)保证提供反映整个学校的全面信息;

(6)保证为整个学校决策提供所需的数据信息。

4 分析

4.1 将全局库作为中心节点的不合理性

在很多高校的数据库集成部署方案中,将全局数据库作为整个架构的中心节点。从全局的部署来看是合理的,能够满足我们以上所提出的架构方案,但是在具体的实践中却暴露出很多问题:

我们定义的全局数据库是为上层应用服务的,是为数据需求者进行数据分析、查询等工作提供基础数据的。既然是最“基层”的数据提供者,那么对其本身的架构要求必然是稳定的,而实际数据库集成过程中是要经常变动的。

其次,从整个系统性能上来讲:假设全局数据库即为上层应用服务又要完成中心数据库的工作,那么势必影响整个系统架构的性能。

最后,从安全性的角度出发,如果经常在全局数据库上操作,势必影响其为“上层应用”服务。

综上所述,把全局数据库作为中心节点是不科学的。只能将其脱离出来,只完成其为上层应用服务的功能就能够解决以上问题。

5 结束语

信息化校园建设要达成高效、统一的建设目标需要校内各个部门相互协作,而各个部门的数据库关联又是重中之重,只有找到一种科学的、合理的集成方案才能达到其目的。所以说一个合理的数据库架构集成方案才是信息化校园建设的基石!

参考文献

[1]《异构数据库集成中数据传输问题的研究》张良,佟俐鹃.北京机械工业学院.

[2]《数据仓库元数据集成技术研究与应用》李瑞旭,李扬.烟台大学.