分布式平台范文

分布式平台范文（精选9篇）

分布式平台 第1篇

随着能源和环境问题的日益突出,新能源发电成为现今研究的热门问题。新能源的大量接入改变传统电力系统的拓扑,从而影响电网的潮流分布及电网的稳定性[1,2]。此外由于能量需经过电力电子设备变换才能并入电网,也带来了电网与电力电子设备间相互影响的问题。以往,研究对象包含电力系统时,我们习惯选用电力系统仿真软件,如PSCAD、RTDS、PSASP等。并且共同仿真电力电子与电力系统更无合适的工具。软件仿真获取的结果,不能够准确反应实际情况。假如用实物做实验耗资太高。尤其涉及到庞大的电力系统,对电力系统做实验往往不现实。面对这种情况,我们选择折中考虑。采用RTDS搭建模拟电网装置,并将它与实际负载或者变流器相连接。研究新能源并网后,与电网的相互影响。

1 平台构成

平台简介:利用实时数字仿真系统(RTDS)搭建电网的模型,并实时地输出任意节点电压信号。然后利用数字功率放大器不失真地放大输出该信号。由RTDS和数字功放构成模拟电网装置。DSP控制变流器接到模拟电网,同时RTDS采集并网电流。在RTDS内部,以电流源形式注入到模拟电网中,来实现发电装置的输出功率并入电网。平台整体结构如图1。

常用的仿真工具大多为非实时的仿真程序。对于这些运行在数字计算机上的仿真程序来说,其限制在于为计算被仿真系统1 s的响应大多要花费数分钟乃至几小时的时间。这种非实时的仿真速度不能满足与外部物理控制设备和保护装置进行实时交互试验的需要。实时数字仿真器(RTDS)的出现是计算机技术、并行处理技术和数字仿真技术发展的产物。首先,并行处理技术的采用和专门设计的硬件保证了RTDS运行的实时性,RTDS可以运行在50μs级的步长上实时仿真较大规模的电力系统;其次,RTDS用来仿真电力系统各元件的模型和仿真算法是建立在已获得公认的当代使用面较广的电磁暂态分析软件包(EMTP,EMTDC等)的标准技术的基础上。

RTDS能实现与外界实物连接。但实际实验证实,RTDS的功率输出能力很低,仅能输出±10 V以内的信号,不能与外部变流器连接,无法满足分布式并网发电模拟装置的要求[3]。

功率放大器选用自主设计的数字功放。该类功放常用在音响设备中,输入的音频信号经过PWM调制变为相关的调制波。通过低通滤波器,滤除高次谐波,从而恢复输入的音频信号。数字功放相比其他类功放有着效率高,谐波含量少的优点。开关频率可达到300 k Hz。并且我们考虑电网的谐波范围大概在5 k Hz以内,前者是后者的60倍。因此,该功放对模拟电网引入的谐波可以忽略。

实验中变流器的主电路拓扑选为DC/AC,如图2。主电路参数:DC电源电压为70 V;变流器功率为420 W;最大输出电流6 A;开关频率5 k Hz。

2 RTDS搭建配电网模型

RTDS对于电力系统的仿真研究可以包含几乎所有的网络结构。从非常小的单电源的负载研究直到能代表一个完整的电力公司网络的基本动态特性的研究。因为RTDS仿真系统代表的系统特性包含了一个很大的频率范围(直流到4 k Hz),因此RTDS仿真系统提供的结果比传统的稳定和精确。同时,RTDS的插孔可直接对外输出网络节点的电压电流模拟量,范围分别是±10 V和±5 m A,需要外部功放放大后与设备连接[4,5]。依据RTDS以上的特点,在RTDS的图形用户界面PSCAD中,搭建配电网模型如图3。

配电网模型特点:配电网电压等级为380 V,配电网线路都简化为RL模型。选用放射状的配电网,并在配电线路中引入两条负载线路。线路末节点选作变流器并网节点。选用三相可控电流源代替变流器,受控源控制信号来自外部真实变流器的并网电流,电流参考方向以流入该节点为正。

3 数字功放原理

数字功放放大的是经脉宽调制(PWM)的数字信号,模拟信号的信息埋藏在脉冲的占空比中。单相信号的PWM调制方式最为直观。信号幅值越高,脉冲的宽度越宽。对于双向信号也可用PWM调制,占空比为50%时,脉冲宽度与间隔宽度1:1,表示信号幅值为0,占空比大于50%,幅值为正,幅值越高,占空比越接近1;占空比小于50%,幅值为负,幅值越高,占空比越接近0。工作原理如图4。

数字功放的开关频率采用300 k Hz,谐波的主要含量在开关频率倍数次以上。因此,低通滤波器的设计就很简单,并且对LC参数的要求很低,滤波器的体积也会较小。

隔离变压器主要有两个作用,一是输入信号与输出信号隔离,防止负载或者变流器引入干扰,影响数字功放工作;二是针对外界负载电压的要求,可以改变输出电压。

数字功放参数:单电源为50 V;单相输出功率300 W;电压0~50 V(峰值)信号输入±1 V内;随着输出电压的升高,最大输出电流变小。

4 并网变流器的控制策略

本实验变流器的控制目标是:通过调节注入到电网的有功功率,使并网点线电压稳定在380 V。为实现该目标,在此采用电压环为外环,电流环为内环的双环控制。从RTDS的DA输出端采集电网电压信号,经过调理电路后,送入DSP中处理。

为实现变流器有功P和无功Q的解耦,通常需将电网侧获取的电压、电流进行坐标变换,已达到解耦的目的。选择d轴与三相电网合成电压矢量重合,此时q轴分量为0。则电流d轴分量id为有功分量,q轴分量iq为无功分量。可以方便地实现网侧有功功率和无功功率的解耦控制[6,7,8]。三相静止坐标系到两相垂直旋转坐标系的正交变换矩阵为

利用坐标变换公式,根据基尔霍夫定律,同时选定变流器流向电网为正方向。通过复杂的推导和相应的三角函数运算,可得

式中:L,R为交流侧电感和等效电阻;id,iq为电网电流d,q轴分量;ed,eq为电网电压d,q轴分量;ω为电网基波电压旋转角频率。

由式(2)可看出,在旋转坐标系中,经电感作用会使d、q轴间产生耦合,控制系统只有通过解耦才能单独控制id、iq,式中d-q轴电流受到交叉耦合电压ωLid、ωLiq扰动和电网电压的扰动。因此引入电流前馈补偿以及电网电压前馈补偿,即可实现分别独立控制[9]。为此可采用前馈解耦控制策略(图5)。当电流调节器采用PI调节器时,则有式(3)。

结合式(2)、式(3),消除Ud、Uq得解耦后的d、q轴电流是解耦的,该方法展现了同步旋转坐标系的优点,有功电流和无功电流实现解耦和独立控制。PI调节器能实现无差调节,动态和静态响应令人满意和频率保持稳定。

5 数字功放测试结果

测试方法:运行RTDS建立的电力系统模型,通过DA输出A相波形,经过数字功放放大A相信号,对比输入波形与输出波形。变流器的控制结构如图6。

图7为A相信号经过数字功放后的波形。波形特点:功放放大后的波形UA与输入信号Ua形状完全一样,保证了同频同相,且输出波形的频率和幅值能快速的跟随输入信号变化。因此,数字功放很好地实现了弱信号到高压高功率波形的转换。

6 谐波注入测试结果

为了测试数字功放的频带特性,使RTDS的输出波形含有5次和7次谐波。实现方法:通过向RTDS建立的电网模型注入一定量的5次和7次谐波电流,实现RTDS输出三相畸变的波形。

图8为RTDS的输出波形。图9为数字功放输出的波形,其波形和RTDS输出波形相对应。可发现RTDS和示波器测得波形一样。因此,数字功放能很好地放大含有5次、7次乃至更高次谐波的电网。

7 变流器并网测试结果

分布式并网发电平台联合调试,RTDS建立电网等级为380 V,通过DA输出信号为±1 V,经过数字功放放大为30 V。变流器接到RTDS与数字功放组成的模拟电网上。通过低电压低功率的模拟平台,研究变流器与电网的相互影响。变流器输出有功、无功的波形如图10、图11。

通过DSP完成变流器并网的控制策略,程序中给定id=5A、iq=0;实际观测电网的A相电压Ua和并网电流Ia。此时电压与电流反向,电网向变流器注入有功功率。

程序中给定id=0、iq=5 A;此时,电压超前电流90°。变流器向电网吸收感性无功和输出容性无功。

本实验目的是通过调节注入到电网的有功功率,使并网点线电压稳定在380 V。利用RTDS的AD模块采集变流器并网电流,经受控电流源注入到电网模型中。图12为向RTDS内部注入功率的仿真结果。图示注入到电网的三相电流波形质量较好,且三相平衡,并网点的谐波含量少。

8 结论

利用分布式并网发电模拟平台,成功模拟了变流器稳定并网点电压的测试。说明该平台能够模拟变流器与电网之间的相互影响,因而对研究变流器与电网都具有重要意义。由RTDS和数字功放组成的模拟电网,充分利用了RTDS的实时性,且可以与实际变流器相连接。它的突出优点是模拟多种形态的电网,可研究针对不同情况的电网条件下,变流器所需的控制策略,这是实际试验无法进行的。实验中,采用小功率变流器,其结果可以为大功率变流器并网提供很好的参考。利用分布式并网发电模拟平台,可以减少大功率变流器并网研究的时间和投入成本。

参考文献

[1]朱守真,张昊,郑竟宏,等.分布式电源与配电网系统并网运行的探讨[J].沈阳工程学院学报,2005,1(4):1-4.ZHU Shou-zhen,ZHANG Hao,ZHENG Jing-hong,et al.Discussion on parallel operation between distributed generator and distribution system[J].Journal of Shenyang Institute of Engineering:Natural Science,2005,1(4):1-4.

[2]李冬辉,王鹤雄,朱晓丹,等.光伏并网发电系统几个关键问题的研究[J].电力系统保护与控制,2010,38(21):208-214.LI Dong-hui,WANG He-xiong,ZHU Xiao-dan,et al.Research on several critical problems of photovoltaic grid-connected generation system[J].Power System Protection and Control,2010,38(21):208-214.

[3]梁志成,马献东,王力科.实时数字仿真器RTDS及其应用[J].电力系统自动化,1997,21(10):61-64.LIANG Zhi-cheng,MA Xian-dong,WANG Li-ke.Real-time digital simulator(RTDS)and its applications[J].Automation of Electric Power Systems,1997,21(10):61-64.

[4]周巍,张沛超,杨星星.基于RTDS的微机保护实时闭环数字仿真系统[J].电力系统保护与控制,2010,38(16):127-131.ZHOU Wei,ZHANG Pei-chao,YANG Xing-xing.A real-time closed-loop digital simulation system for computer protections based on RTDS[J].Relay,2010,38(16):127-131.

[5]袁超,吴刚,曾祥君,等.分布式发电系统继电保护技术[J].电力系统保护与控制,2009,37(2):99-105.YUAN Chao,WU Gang,ZENG Xiang-jun,et al.Protection technology for distributed generation systems[J].Power System Protection and Control,2009,37(2):99-105.

[6]姚为正,宋运昌,易映萍,等.1MW可再生能源发电并网变流器的研制[J].电力电子技术,2009,16(3):4-5,18.YAO Wei-zheng,SONG Yun-chang,YI Ying-ping,et al.Development of1MW grid-converter for renewable energy[J].Power Electronics,2009,16(3):4-5,18.

[7]芮骐骅,杜少武,姜卫东,等.三相光伏并网逆变器SVPWM电流控制技术研究[J].电力电子技术,2010,17(4):4-5,14.RUI Qi-hua,DU Shao-wu,JIANG Wei-dong,et al.Current regulation for three-phased grid-connected inverter based on SVPWM control[J].Power Electronics,2010,17(4):4-5,14.

[8]Liang Ma,Wang Ran,Zheng T Q.Modeling and control of three-phase grid-connected photovoltaic inverter[C]//IEEE International Conference on Control and Automation,2010.

空间武器平台潜伏轨道分布模型研究 第2篇

空间武器平台潜伏轨道分布模型研究

从敌方空间目标出发,提出了空间武器平台潜伏轨道的.概念,分析了空间武器平台潜伏轨道的分类以及影响潜伏轨道选择的因素;进而提出选择空间武器平台潜伏轨道的原则;建立了多目标、多轨道情况下,潜伏轨道的分布模型;给出了目标威胁度及平时利用率约束下的优化模型,并通过算例对模型的可靠性进行了验证.

作 者：黄思勇 徐培德 Huang Siyong Xu Peide  作者单位：国防科技大学信息系统与管理学院,长沙,410073 刊 名：航天控制  ISTIC PKU英文刊名：AEROSPACE CONTROL 年，卷(期)： 25(3) 分类号：V412.4 关键词：空间武器平台   潜伏轨道   分布模型  

分布式平台 第3篇

针对工业设计实验室建设中存在的问题，探索分布式资源环境下创新实验平台建设模式，为提高工业设计实验室创新水平，以及创新人才培养进行有益的尝试。提出通过利用大量的分布式实验资源，构建共享创新实验平台，为学生提供一个开放式的创新平台，实现创新人才的培养。探索思考了分布式资源环境下的工业设计创新实验室发展建设新模式。

关键词：

分布式资源 创新 设计 实验平台

中图分类号：G622

文献标识码：A

文章编号：1003-0069（2015）07-0094-03

随着设计类人才的需求量逐年增加，社会对设计类毕业生的能力要求也越来越高。工业设计专业学生的核心专业能力.设计创新实践能力的培养需要依托完备的各类实验室资源，通过大量的设计实践来提升设计能力。但是，由于大部分高校工业设计专业办学历史较短，工业设计实验室建设滞后，实验设备不齐全，出现了实验室建设现状与专业人才创新能力培养需求的不匹配一些问题，很难完全满足实验教学需求，影响了工业设计专业学生设计创新能力的发展。如何进一步优化校内实验资源配置，提高实验室综合效益，寻求校外实验资源，拓展实验资源渠道，已成为工业设计专业实验室建设亟待解决的重要问题。

1 分布式资源理论介绍

分布式资源实际上是分布式智力资源环境的简称，在这个环境中，所有设计实体和智力单元之间交换的是信息或由信息构成的知识，知识服务的请求方发布的是信息，知识服务的提供方提供的信息或者知识。所有这些都可以在信息高速公路上传递，连同信息和知识在设计实体和智力单元内部的流动，构成了现代现代设计的基本模式。

工业设计专业的实验教学以设计实践为主，设计活动是该专业实验过程的主要呈现形式。在分布式资源环境中，设计是以已有知识为基础，以获取新知识为中心的创造性活动。在知识经济时代，基于知识的设计理论研究，尤其是基于网络环境的分布式知识资源的获取和重复利用策略的研究，已经成为创新设计的研究重点之一。

设计活动中无论是已有的或者新的理论、方法和技术，还是新的产品系统或工艺，本质上都属于知识的范畴。分布式知识资源环境中知识以资源单元的形式成分布式存在状态，能否实现对知识的获取重用是实现创新的关键。在分布式资源环境中，资源单元掌握着各自领域中领先的单元技术，而设计实体则掌握了系统或产品的集成技术，在资源单元和设计实体的合作过程中，相互之间的耦合作用将加速技术的进步，而恰当的知识如何在恰当的时间以合适的形式流向知识的需求方是设计创新的关键。

2 创新实验平台研究现状分析

2.1 国内研究现状

在国家对高校实验室管理建设研究的不断推动下，全国高校开展了实验室建设新模式的探索和研究。实验系统的建设思想明显受到计算机网络技术的影响，基于网络化、模块化、开放性等原则，实验系统也逐渐由传统的集中模式转变为分布模式，成为具有开放性、可互操作性、分散性、网络化、智能化的网上实验系统。

国防科学技术大学提出了基于Internet/lntranet的分布式实验系统设计目标和体系结构，并对系统组建的关键技术进行了研究，为未来实验室建设提供新的思路。复旦大学结合利用计算机辅助技术提出了一种分布式实验系统的设计与实现方式，这一实验模式为探讨自动化、网络化在推动产、研、学一体化发展中的应用方式打下基础。大连理工学院将仿真实验与互联网技术相结合，提出了分布式机械仿真实验室的概念。通过网上虚拟实验室，可以实现工业生产现场、科研院所实验室、最终用户现场等各方面专业技术人才的动态联盟。清华大学利用国家教育科研网（CERNET）开发了运行在CERNET环境中分布式国家重点实验室信息管理系统，为实验室日常管理的科学化规范化、公共信息资源系统的共享提供了新的模式。广东石油化工学院针对普通高校与中小企业校企合作共建受限的问题进行了分析，提出了分布式创新实验平台的建设方案。这种分布式校企共建模式为以应用型人才培养为主的普通工科院校提供了有价值的借鉴。空军工程大学提出了新型分布式网络工程实验室建设方案，采用创新的模块化设计、分块建设的规划设i+，在兼容性、可扩展性、开放性、经济性、可管理性等方面具有独特的优势，可有效克服建设经费、场地、实验室管理维护等制约条件。

2.2 国外研究现状

美国国家研究委员会提出：现代实验室是一个无墙的中心，通过计算机网络系统，研究人员或实验人员能在其中从事科学研究和工程设i+，不必顾及时间和地理位置的限制，共同协作；能共享仪器、设备、数据、计算资源以及数字图书馆等信息资源。美国illinois大学的Nmrscope系统，通过Intemet，研究人员在任何地方都能使用illinois大学的仪器。美国Johns Hopkins University的化学工程系的卡尔威教授（Professor MichaelKarweit）建立了一个工程虚拟实验室，学生可以通过电脑网络来做实验，尝试解决工程上遇到的各种问题。

2.3 实验室建设发展趋势分析

通过以上文献研究分析，实验室建设发展趋势主要体现在以下几方面：

（1）创建分布式共享实验平台成为实验室发展的趋势。在实验室建设过程中，自身实验资源与其他实验资源以分布式状态存在，针对实验任务需求，借助共享实验平台调用所需实验资源，实现各方面实验资源的“互通有无”。这样既能拓展自身实验资源，也能避免实验室的重复建设。

（2）互联网与物联网等先进技术为分布式实验室建设提供了技术支持。基于分布式实验资源的实验室建设，除了需要实验需求信息的共享之外，甚至需要实现直接对实验资源的远程共享，这需要借助互联网与物理网等先进技术来实现真正意义上的实验室共享。

（3）分布式共享实验平台没有统一标准。虽然对分布式共享实验平台建设有了很多的研究和实践，但是研究者都是根据各自的条件进行共享标准和技术参数。如何实现更大范围，更加通用的分布式共享实验平台标准需要深入研究。

nlc202309030102

3 工业设计创新设计实验平台建设模式研究

3.1 工业设计专业创新设计实验平台建设特点

工业设计专业是以培养应用型设计人才为目标，具有较强的实践性和文理交叉性。学生不仅具有坚实和宽广的基础理论知识，同时还应当经过比较系统的机械制造、美学、经济等多方面知识的学习训练。“应用型”学生的培养需要依托各类实践教学的不断训练，单独依靠工业设计实验室很难满足该专业学生综合能力的培养，创新能力的提升受到较大制约。实验室的建设更新速度往往滞后于人才需求的变化，已成为学生创新能力培养和专业发展的短板之一。

工业设计专业最大的特点就是“创新”，优秀设计本身具有很强的科学性和逻辑性，必须依靠科学的实验验证分析来支持设计过程，这需要科学分析型实验设备的支撑。随着实验对象越来越复杂，单纯依靠自身的实验资源已经很难完成，实验室建设的社会性愈发显著，借助自身之外的实验资源已成为必然趋势。在自身实验资源不完备的情况下，借助校内外的实验资源，实现分布资源的整合利用，构建创新实验平台显得很有必要。实验室建设由原来的“垂直式实验资源模式”（图1），转变成为“分布式实验资源模式”（图2）。

工业设计专业的实践教学过程由一个个设计创新活动组成，对实验资源的需求同样存在多样化，单纯依靠自身实验资源很难满足教学需求，需要借助分布式资源来丰富实验室资源。对于分布式资源的利用关键在于“资源共享机制”的建立，只有建立各个资源所有者共同认可的共享机制才能真正实现资源的有效共享，最终实现共赢。现在常用的方式主要是借助互联网技术来搭建资源的共享平台，同时制定一些列资源共享约束性制度。由于工业设计实验室建设需求的多样化，需要众多存在于校外的实验资源，与校外实验资源构建共享平台的研究还很不足，工业设计专业在这方面尤其突出，需要对分布式资源共享机制进行研究完善。

3.2 工业设计专业实验资源分布体系理论研究

分布式资源环境下的共享创新实验平台建设关键是实验资源的获取与共享，每个实验室可以看作一个资源单元，大量的资源单元以分布式状态存在，不同需求主体可以根据自身的需求来对资源单元进行选择性整合。每一个需求主体同时既可以获取其他资源单元，也可以当作一个资源单元为其他需求主体提供服务，整个需求链条依托于一个共享平台，最终构建了一个动态的资源生态链（如图3）。

分布式资源环境中高校、科研院所、企业、团体协会、政府等都可以成为资源单元，实验资源以分布方式存在于这些资源单元之中。每一个大的资源单元还可以继续细分，形成内部分布式资源单元生态链。工业设计实验室首先要明确自身资源优势和不足，通过资源分布体系的梳理整合，发现实验室实验资源上的“缺口”，同时对外提供自身的优势实验资源，进而有针对性与校内的其他实验室、校外科研机构、企业、政府团体等进行合作，获取本专业人才培养中急需的实验资源。设计活动中除了实验设备等硬件实验资源之外，教学过程中大量的设计创意方案也是无形的设计资源，这对于生产企业来说具有较大吸引力，这些资源可以作为工业设计实验室与其他机构进行合作的优势资源。

3.3 工业设计共享创新实验平台构建模式研究

随着数字化技术、社交网络和移动技术的飞速发展，人与人之间的互联互通开始成为现实。新技术和新工具必将有力地促进机构内外的各种协作，并催生和助力组织之间的共享创新。共享创新根据创新主体不同可以分为以高校为主体、以企业为主体、以科研院所为主体、以政府为主体、以协会社团为主体等不同的共享创新模式。机构内部的“垂直式共享创新”便于资源的统筹管理，但是存在资源局限性，不能与更多的资源实现共享，共享创新能力较低。多个机构之间的“水平式共享创新”理论上能获得海量的资源，共享创新活力旺盛，但同时也存在机构间合作约束机制的平衡问题，怎样找到合作机构间的利益平衡点是实现“水平式共享创新”的关键。工业设计实验室与校外机构的共享创新主要以教师为主体，依托教师高水平的科研项目或者企业技术难题，联合校外机构的软硬件设备，进行科技创新型的共享创新，最终实现“产学研共享创新”（如图4）。

4 总结

观念更新是共享创新实验平台构建的前提。实现共享创新实验平台构建的基础是合作，转变传统的个体研究和“单兵作战”的旧模式，大力倡导联合攻关和“兵团作战”的新观念。共享创新实验平台构建既需要高等学校内部的合作，更需要高等学校与科研院所和企业的合作，高等学校的科研管理部门在其中要发挥关键性的组织协调作用。机制创新是共享创新实验平台构建的关键。为了实现各个创新主体共享信息，整合资源，共享创新，需要在机制上解决五个方面的问题。一是组织管理的机制问题，二是绩效评价的机制问题，三是权益分配的机制问题，四是资源共享的机制问题，五是信息沟通的机制问题。绩效评价和权益分配又是五个问题的重中之重，因为评价系统事关价值导向，不同的绩效评价将制约着实验平台构建的方向、目标和力度；同时实验平台构建涉及多个利益实体，权益分配问题如果不能妥善解决，则会在很大程度上影响和阻碍创新的健康发展。

分布式平台 第4篇

随着计算机技术、通信技术和仪器仪表技术的飞速发展,新型自动测试系统正向网络化、智能化发展,并具备分布式、开放性、互操作性、可扩展性的特点。网络化测试已经成为当前研究的一个技术热点,构建基于虚拟仪器和网络通信技术的分布式测试平台将是测试技术发展的必然趋势。在此平台上,线上用户可利用虚拟仪器软件的优势构建网络连接,共享测试资源,大大方便了测试系统的操作,并可被引入设备故障诊断当中。

2 分布式测试平台

虚拟仪器以透明的方式把计算机资源和仪器硬件的测试能力相结合,实现仪器的功能运作。“软件就是仪器”反映了虚拟仪器技术的本质特征。LabVIEW是美国国家仪器NI开发的一种图形化编程环境,是实验室虚拟仪器工程平台的简称(Laboratory Virtual Instrument EngineeringWorkbench) 的简称,是目前在数据采集,仪器控制和自动测试领域应用最广泛的软件工具之一。

基于Lab VIEW的分布式测试平台由一组测试服务器和若干个测试客户端组成,它们之间通过Internet相连。测试服务器通过自身的软件和硬件资源提供测试服务,软件包括操作系统、数据库、网络传输协议、仪器驱动和管理软件,硬件是各种智能仪器、功能性板卡以及工控计算机,智能仪器通过各种仪器总线与测试服务器相连。

测试平台由现场测试系统、测试服务器端和测试客户端三部分组成。

2.1 现场测试系统

现场测试系统位于平台最前端,是分布式测试平台的直接执行体,主要负责对现场数据采集和执行功能的控制。现场总线选择PXI或VXI总线,实现仪器的控制。通过Lab VIEW的DAQ技术,现场设备可以实现模拟量输入输出、数字I/O和定时计数功能,对数据进行实时采集。

2.2 测试服务器端

测试服务器端在整个平台中处于核心地位,作为现场与远程客户端的通信纽带,需要重点进行平台的软件设计,服务器端包括网络通信模块、数据采集卡模块、控制器模块和仪器管理模块等(见图3),具备网络服务、数据采集、仪器控制和管理等功能。

服务器端通过网络通信模块与客户端实现通信,对客户端进行服务,包括把从客户端接收到的信息转换为服务器控制仪器操作的解释程序,控制采集卡与控制器,并将采集卡采集的数据发送到客户端显示。

采集卡控制模块控制数据采集卡采集经过调理之后的电信号,将信号发送到客户端,供客户端分析处理。

控制器模块可以接受客户端发送的控制命令和程序发出控制指令,通过仪器控制,对测试对象进行控制操作。

仪器管理模块可以保证可靠使用共享仪器资源,监控测试仪器状态,并可以对故障和错误进行报警。

2.3 测试客户端

测试客户端是远程用户使用的终端设备,实现测试任务时需要向服务器发送任务请求,按照测量服务协议,取得仪器控制权,进行仪器控制操作。客户端通过友好的人机交互,完成特定的测试和数据分析处理,并存储下来。

测试客户端包括人机交互输入输出模块、数据分析处理模块、网络通信模块等(如图4)。

人机交互输入输出模块提供友好的人机交互界面,软件可根据用户在界面中输入的指令完成相应操作,并通过输出模块将特定信息实时显示出来。

数据处理模块接收服务器端回送的数据,对数据进行处理,如数字滤波,数学运算,信号时域频域分析等操作。用户根据数据处理结果进行判断,发出下一步指令。

总的来说,分布式测试平台的服务器端和客户端共同构成了虚拟仪器的软件系统,并通过Internet进行网络互连。基于Lab VIEW的测试平台的现场测试系统对测试对象进行信号采集,并对现场对象进行控制操作。

3 网络通信技术—Data Socket

Lab VIEW充分考虑 了测试系 统的网络化要求,拥有丰富的网络通信方式,包括TCP、UDP、串口通信、共 享变量和Data Socket技术等,并提供了 丰富的网络化组件,帮助实现远程测试和数据采集。服务器端与客户端通过网络实现远程数据通信,通过Lab VIEW软件中的Data Socket技术将方便地实现系统通信,提高编程的效率。

Data Socket是NI公司开发的一种基于TCP/IP标准的网络编程新技术,可在一个计算机内或者网络中多个应用程序之间实时数据交换。它对TCP/IP协议实施了高度封装,继而应用程序之间、计算机之间数据传输的网络编程得到了简化,开发人员不需要编写底层通信代码,只需要开发软件提供的API就能实现网络化通信。Data Socket技术不仅隐藏了网络传输细节,使测试终端和现场仪器之间的数据交换变得更加方便和高效,同时也充分考虑了安全性的指标要求,有利用重要数据传输的安全保证。

Data Socket结构上由Data SocketServer Manager、Data Socket Server和Data Socket函数库三部分组成,同时包括了dstp传输协议、通用资源定位符URL和文件格式等规程。只需要简单友好的参数设置,即设置URL,就可以发送数据到指定位置。

(1)Data Socket Server Manager是一个独立运行的程序,其主要作用是设置Data Socket Server可连接的客户程序的最大数目和可创建的数据项的最大数目,创建用户组和用户,设置用户创建数据项和读写数据项的权限,增加网络安全性。主要参数设置如下 :

MaxConnection :表示最多能连接的客户数目。最多能连接1000个客户端,默认是50。

Max Items :表示可以显示的测试参数数目。最多显示1000个测试参数,默认是50。

Permission Groups :主要用于设置用户组及用户,用来区分用户创建和读写数据项的权限,防止身份不明的客户对服务器进行网络攻击。

Predefined Data Items :设置预定义数据项,包括数据项目的数据类型、默认值及访问权限等属性设置。

(2)Data Socket Server也是一个独立运行的程序。负责存储数据源要发送的数据并发送给数据请求端,也对Data SocketServer Manager中所设定的各种权限进行监管。主要参数如下 :

Processes Connected :主要显示 与Data Socket服务器通信的客户端的数目。

Packets Received :显示接收的数据包数目 ;

Packets Sent :显示发送的数据包数目。

(3)Data Socket函数库用 于实现Data Socket通信。Data Socket发布数据需要Publisher(发布器 )、Data Socket Server和Subscriber(订阅器 )三个要素。数 据源发布数据时利用发布器将数据写到Data Socket Server中,客户端再利用订阅器从Data Socket Server读取数据。

Data Socket在整个测试平台上扮演网络通信的中间件角色,利用Data Socket节点就可以实现双向数据传输。它对外提供资源定位接口和功能调用接口,通过资源定位符(URL)对数据的传输目的地进行最终定位,实现远程监测和网上实时高速数据交换。

4 网络通信软件设计实例

本例是在基于C/S模式下设计实现,如图所示。客户机通过Internet网络连接到服务器上。服务器和客户端分别开发了Server和Client两个软件。Server通过数据采集卡采集电信号,完成对本地数据库的写操作,软件界面与图形代码如图5、6所示。Client完成对远程数据库的读操作,继而将数据发送到客户端进行用户分析,软件界面与图形代码如图7、8所示。在服务器和客户端分别运行Data SocketServer。

服务器端待测试信号为混入高斯噪声的方波信号,通过Date Socket Writer节点写入,客户端则通过Date Socket Reader节点将数据从URL指定的位置读出,并还原为原来的数据类型送到前面板显示。客户端可对收到的信息进行数据分析和存储,根据用户需要,在客户端软件中进行相应编程。针对带有高斯噪声的方波信号,客户端使用边界检测来完成这类测试。

5 结束语

分布式平台 第5篇

由于现有平台的主网运行信息存储内容单一, 没有集成所有主网运行信息与外部系统数据, 所以缺少综合展示整个电网运行信息的方式。随着智能电网技术的发展, 通过信息共享技术, 集中接入全部的主网运行信息与辅助外部信息, 为各级调度机构提供多维度的信息展示方式。

由于现有的平台缺乏运行信息的统一规范, 平台间信息交互能力差, 数据共享困难。目前, 国分调日志均有分类记录的性质, 存在分类目录不统一、涵盖范围不统一、记录模板不统一的问题。基于上述问题, 需要对调度日志在日志结构、记录规范以及信息交互方式上进行规范, 从而实现上述信息的实时共享与业务协同。

为了满足国分调协同办公与信息共享的新要求, 需要基于D5000管理平台的消息邮件传输方式, 在现有的OMS系统中集成实现具有“数据共享、业务协同、责任分区、界面统一”特点的基于分布式技术的多级电网协同共享平台。该平台不仅能够满足各级调度员综合查看当前电网运行信息, 而且可以满足国分省信息共享与协同办公的要求, 实现调度运行业务的实时高效协同。

本文首先基于国分两级六地部署的特点, 在现有智能电网调度支持系统的技术支撑下, 提出了基于分布式技术的多级电网协同共享平台设计架构, 支撑国分调信息共享与协同办公的要求。基于该架构, 详细阐述了信息共享与业务协同的实现方式, 包括日志记录规范、信息共享方式以及业务协同流程。通过规范信息内容, 统一日志模板, 为调度日志信息共享奠定了基础;基于一体化公共信息库实现调度日志信息的集中存储, 为国、分、省三级电网提供所需的日志信息;通过设定业务协同处理流程, 确保业务协同的高效、准确。最后对该平台的应用成效进行了分析和评价。

平台介绍

平台概况

基于分布式技术的多级电网协同共享平台按照国分两级六地的部署方式, 在国调建立信息共享库, 将国分调运行信息共享集成在OMS系统中, 通过D5000平台的消息邮件机制实现各单位之间的数据传输, 实现多级电网业务纵向协同共享。

平台架构

基于分布式技术的多级电网协同共享平台, 在架构设计上满足将电网运行信息集中接入在本平台, 通过主网运行信息展示功能综合展示当前主网运行信息;通过将国调及各分中心本地的日志记录实时上传到共享数据库, 从而支持在任何单位都可以查看整个电网缺陷异常、重大故障、重大检修的信息, 在本平台通过日志记录功能模块对外提供该功能;基于共享数据库, 在本平台中对历史的日志记录集成日志查询功能, 为国、分、省三级调度机构提供日志查询的功能。本平台设计架构如图1所示。

平台创新点

(1) 本平台将分布到不同系统中的电网运行、电力电量、值班人员等信息进行集成, 采用可视化技术展现电网的实时运行情况, 给调度员提供了全面透明的电网运行信息, 提高了调度员的工作效率。

(2) 通过两级调度之间的日志共享, 六家单位能了解当前主网的设备故障、检修、缺陷异常等关键信息, 使得调度员的调度工作更加准确及时, 使得调度日志实现了国分一体化运行。

(3) 提升了各级调度间协同办公的效率, 基于E文本和关系数据库实现临时紧急工作的快速流转, 实现了调度临时工作的一体化融合。

(4) 在综合查询模块, 实现了调度日志历史数据的多维度查询, 方便调度员使用。

信息共享与业务协同关键技术研究

日志记录规范

国分调采用统一的记录规范和统一的调度日志平台进行调度日志记录。调度日志包括共享部分和个性部分两部分, 共享日志对主网重大运行日志信息进行共享, 个性部分各单位根据实际需要进行扩展。

统一记录规范是建立信息共享的基础。根据国分调实际调度日志记录的需求, 将现有需要共享的调度日志信息分为故障、缺陷、检修、特殊事项四大类。

(1) 故障

对于故障设备记录, 分简单故障和复杂故障, 简单故障适用于单一元件故障, 对其他设备没有造成影响的记录。复杂故障适用于多重故障, 如某一设备故障带跳其它设备, 或某次恶劣天气造成多个设备跳闸的故障记录。简单故障统一规范设计模板如表1所示。

复杂故障可以根据故障起始原因或先后顺序进行拆分, 以简单故障模板进行标准化记录, 复杂信息通过文本方式记录。复杂故障统一规范设计模板如表2所示。

(2) 缺陷

对于异常缺陷, 参照《输变电一次设备缺陷分类标准 (试行) 》进行分类, 并添加缺陷影响, 缺陷处置等信息。缺陷统一规范设计模板如表3所示。

(3) 检修

对于检修设备, 内容通过III区的国分一体化计划检修系统中自动获取检修设备, 开竣工时间等, 检修影响等信息需要手动输入。

重大检修一项中, 集中展示全国主网架330k V及以上主设备检修情况, 主要包括线路、主变、母线、直流等。检修内容通过区的国分一体化计划检修系统中自动获取。其中, 国调及分中心检修系统中只检索管辖设备的检修申请单, 不检索许可设备, 以防止重复记录。调度员需手工填写控制要求, 主要为断面限额控制、分区解合环等。重大检修统一设计规范模板如表4所示。

(4) 特殊事项

特殊事项是指除故障、检修、异常三类外其他对跨区系统运行有影响的事项, 如特殊运行方式、严重自然灾害、重要调试等内容。特殊事项统一设计模板如表5所示。

信息共享

整个多级电网协同共享平台最关键的就是要实现国调及各分中心调度日志信息的集中共享, 在整个平台设计中, 支撑信息共享的共享信息库建立在国调。各分中心通过本地的OMS系统, 基于D5000平台提供的消息邮件的信息传输方式, 实现调度日志数据集中上传到共享数据库, 用户通过共享数据库获取所需要的调度日志信息。

基于2.1中的调度日志规范, 统一了各级调度机构日志信息存储与写入的规范。这样在国调层面只需要维护日志模板, 各分中心下载按要求填写使用即可。这样在数据结构和存储方式上, 国分两级保证了统一规范。在共享数据库中基于此日志模板可以快速的存储各地上传的日志记录, 避免了日志结构不一致所造成的中间处理环节。在整个信息共享设计中, 国调、各分中心填写故障、缺陷信息, 及时触发上报, 发送到公共信息库中。公共信息库定期完成数据更新, 同步发布到国调及各分中心, 实现信息共享。基于公共信息库, 用户通过Web技术访问查询历史的调度日志信息。信息共享方式如图2所示。

业务协同

在整个多级电网协同共享平台中, 国分调度间的业务协同是基于OMS系统, 实现业务流程的流转。为了保证业务协同工作的高效、可靠运行, 需要设计相应的业务协同处理流程。具体实现方式如图3所示。

整个业务协同处理过程如下:

第 (1) 步:分中心调度员在OMS中填写日志记录, 从设备模型中选取标准设备名称;

第 (2) 步:重要故障、异常、检修信息触发上报国调一体化公共信息库;

第 (3) 步:国调根据情况审核、补充相关内容;

第 (4) 步:国调调度员在OMS中填写日志记录;

第 (5) 步:重要故障、异常、检修信息触发同步至一体化公共信息库;

第 (6) 步:一体化公共信息库及时将所有故障、异常、检修数据发布至各分中心公共信息缓冲;

第 (7) 步:一体化公共信息库为综合查询 (WEB) 提供历史数据;

第 (8) 步:国调、分中心共同使用历史数据综合查询、搜索功能。

应用成效

综合展示

基于分布式技术的多级电网协同共享平台通过整合现有数据资源, 综合展示电力、电量、跨区交直流互联电网实时运行、国分调值班员、实时运行日志重要信息, 并综合利用气象、雷电、山火、水情等多服务信息, 为国、分、省三级调度机构提供了全景化主网运行信息的。主网运行信息的展示功能。在国调完成该功能, 各分中心、省调通过嵌入该功能模块即可, 操作简单、使用方便。展示界面如图4所示。

调度日志综合查询

基于分布式技术的多级电网协同共享平台, 提供调度日志综合查询功能, 主要实现在规范化录入并统一入库的基础上, 对故障、异常、检修等信息的模糊及高级查询, 方便了调度员对故障、异常、检修等信息的查询与相关业务分析。调度日志综合查询模块主界面如图5所示。

结语

分布式平台 第6篇

近年来, 在很多应用设计中, 面对和需要处理的往往是具有很高维度的海量数据, 因而大数据研究领域也随之创建与兴起。怎样从海量的高维数据集合中快速寻获与某一数据最相似 (距离最近) 的一个或多个数据即成为该领域的重点问题。如果是低维的小数据集, 通过线性查找 (Linea Search) 就可以轻松解决;但如果是对一个海量的高维数据集采用线性查找匹配, 时间开销必然巨大, 针对此一问题, 就需要采用诸如索引的技术来加快查找过程, 通常可将其称为最近邻查找 (Nearest Neighbor Search) [1]。最近邻查找是在很多重要实际应用中发挥了优势作用的经典技术。迄至目前为止, 随着数据量的不断增大, 数据维度的日渐增加, 更多的新算法正陆续提出以用于解决在各类背景条件下出现的最近邻查找问题。

在现实研究进程中, 随着精确最近邻查找问题解决难度的增加, 人们发现近似最近邻查找的结果也能满足实际的应用需求[2], 而将其与精确最近邻查找相比, 又能在效率上获得很大的提高, 因此近似最近邻查找问题又相应地成为研发热点。近似最近邻查找是以牺牲查找精度为代价来换取查找效率的提高, 从而达到将查找效率与查找结果折衷平衡的目的。位置敏感哈希 (LSH) 即可用于解决近似最近邻查找问题, 并在实际应用中获得了显著突出的效果, 而且堪称是解决维度灾难的一个有效方法。LSH方法能够以概率方式在保证一定查询精确度的前提下实现快速的近似最近邻查询[1]。Min Hash也是LSH算法中的一种, 多是用来快速估算两个集合的相似, 其中通过使用Jaccard相似度来度量对象的相似程度。具体来说, Min Hash是由Andrei Broder首次提出, 可用于在搜索引擎中检测重复网页或者查找相似新闻网页以及文章[2,3], Min Hash算法的实际效果与其重要参数k、L密切相关, 这些参数的设定与数据本身的性质是直接对应的。所以为了实现Min Hash算法, 对各种不同类型的高维数据集与Min Hash算法的参数之间联系而开展研究将具有重要的现实及理论意义。

基于上述讨论, 本文主要贡献如下:

(1) 研究分析Min Hash算法在分布式开源平台中应用的可行性, 并发现Min Hash算法在分布式平台上将比非分布式平台具有更大优势, 尤其是当处理大规模数据集时。

(2) 给出了Min Hash算法的新的分布式模型, 实现了分布式平台中Min Hash算法, 并通过具体实验进行了验证以及说明。

1 相关工作

LSH由Indyk等人最初提出用来解决近似最近邻查找问题, 其基本思想是使数据集中距离相近的点生成相同的哈希键值, 也就是能哈希到一个桶中, 而对数据集中距离较远的点将生成不同的键值, 从而哈希到不同的桶中[1]。经过实践已经证明, LSH算法在空间占用以及时间查询效率上较其他算法都具有明显优势地位[4]。LSH方法就是以概率方式在保证一定查询精确度的前提下实现快速的近似最近邻查询, 并通过查全率和准确率而换取了空间或时间效率。

LSH的应用场景众多, 凡是需要进行大量数据之间的相似度 (或距离) 计算的场合都可以使用LSH来加快查找匹配速度, 具体例示则如查找网络上的重复网页或者查找相似新闻网页以及文章, 这些具体研究均需要LSH算法族中的Min Hash来实现与完成。Min Hash算法作为该算法族中的一个常用方法, 其最基本应用即在于搜索引擎中检测重复网页等。

基于以上介绍, 本文将针对Min Hash算法在分布式平台上的设计实现和性能方面表现进行分析与研究。并且由于位置敏感哈希 (LSH) 在高维数据空间近邻查找性能的高效表现, 该算法在实际研究中得到了众多应用。只是目前全部已有算法的性能分析都是基于理论分析模型来实现估算, 却少有学者致力于理论分析模型在分布式平台上的应用研究。

2 Min Hash算法原理

LSH提供了一种在海量的高维数据集中查找与查询数据点 (Query data point) 近似最相邻的某个或某些数据点的有效方法。LSH并非一定能够找到与查询点最相邻的数据, 而是在尽量减少需要匹配的数据点个数的同时, 却能保证查找到最近邻数据点的概率较大。作为LSH算法族中的常用方法之一, Min Hash算法则使用Jaccard相似度作为度量标准, 可用于在搜索引擎中检测重复网页等。下面分别给出LSH算法和Min Hash算法的具体论述和分析。

2.1 Jaccard相似度

Jaccard相似度, 又称为Jaccard系数, 可用于计算相似性, 也就是距离的一种度量标准。下面即给出Jaccard系数的定义。

定义1:Jaccard系数[3]

给定两个有限集合A和B, 令表示集合A和B的Jaccard系数, 定义如下:

也就是说, 集合A、B的Jaccard相似度等于A、B中共同拥有的元素数与A、B总共拥有的元素数的比例。显然, Jaccard相似度区间为[0, 1]。

2.2 Min Hash算法

定义2:Min Hash函数[2,3]

给定两个有限集合A和B, 这两个集合具有相同Min Hash签名的概率定义可描述为如下函数:

以上函数即称为Min Hash函数。

Min Hash算法的实现过程中, 一般性做法就是对目标项进行多次哈希处理, 使得相似项与不相似项相较而言更具可能哈希到同一桶中。同时再将至少有一次哈希到同一桶中的文档对视为候选对, 而只需检查这些候选对之间的相似度, 再基于候选对集合找出真正的相似文档。

对给定集合A、B, hmin (A) =hmin (B) 成立的条件是A∪B中具有最小哈希值的元素也在A∩B中。这里有一个假设, h (x) 是一个良好的哈希函数, 具有良好的均匀性, 并能将不同元素映射成不同的整数。所以有, Pr[hmin (A) =hmin (B) 〗=J (A, B) , 即集合A和B的相似度为集合A、B经过hash后最小哈希值相等的概率, 而其成为候选对的概率则为1- (1-SL) K, 其中S是集合A和B的Jaccard相似度[5]。

3 Mahout中Min Hash算法实现

本文即在Mahout分布式平台[6]中实现Min Hash算法, 由于Mahout中算法均由MapReduce算法模型来构造确定, 因而基于此, Min Hash算法主要包括Min Hash Driver、Min Hash Mapper、Min HashReducer、Hash Factory和Hash Function五个java文件。Min Hash算法使用简单工厂模式来运作并处理, 其中Min Hash Driver作为整个算法的驱动程序, 所有的参数都在这个文件中指定或者获取, 而且还绑定了map程序为Min Hash Mapper和reduce程序为Min HashReducer;同时Hash Function作为算法的接口, 将在Min Hash Mapper的map中重写哈希函数。

具体地, Min Hash Driver是在终端直接调用Min Hash代码实现的直接接口, 其中指定了Min Hash包运行的相关参数的读取和设定, 以及map和reduce程序的绑定。类Hash Factory中指定Hash Type, 在枚举类型Hash Type中有LINEAR、POL-YNOMIAL、MURMUR、MURMUR3四种子类;在本文的实验中, 使用这四种哈希类型验证正确的Min Hash算法, 结果显示差距不大, 因此本文实验使用默认的LINEAR类型。在Hash Factory中调用Linear Hash函数, 生成num Functions个hash Function。

Min Hash算法主要逻辑实现在Min Hash Mapper中, map程序读入 (key, value) 格式数据, 使用value中的token作为生成min Hash Values的参数在for循环中获得token, 通过对bytes To Hash数组做移位操作, 然后作为hash函数的参数生成hash Index, 最后再计算哈希函数值, 并保留最小哈希值。将min Hash Values值组合作为Bucket输出, 使用“-”将min Hash Values连接起来, 外层循环是l Table, 内层循环是keyGroups, 具体功能是:对每个文件做L次运算 (分别映射到L个Bucket中) , 每个Bucket的格式为XXX-XXX, 新的map的key是cluster, 即Bucket, value是对应的文件名。

4 实验

在这一节中, 将使用数据集Reuters-21578, 证明了Mahout平台中原有Min Hash算法的错误和修正后Min Hash算法的正确, 并给出实验分析。本文实验使用Dell Power Edge T320服务器, 操作系统是32位Ubuntu 11.04, Java 1.6, Mahout版本0.6, Hadoop版本0.20.0。需要注意的是, 在安装Mahout之前, 需要安装Maven3。路透社新闻数据集Reuters-21578是文本分类研究经常使用的数据集。在整个数据集中有21 578个文档, 由135个类别组成, 这些文档在做预处理后才能使用Mahout中提供的序列化和向量化工具类。

在2.2节中, 可以知道, 给定两个有限集合A和B, 其成为候选对的概率为1- (1-SL) K, 其中S是集合A和B的Jaccard相似度。函数1- (1-SL) K的图像大致是S-曲线。曲线中候选概率为1/2处对应的相似度就是阈值, 而且还是L和K的函数, 该阈值的一个近似估计是 (1/L) 1/k。表1给出了对给定参数L=4, k=2时, 函数1- (1-SL) K的值与相似度S的变化关系。该表反映了不同Jaccard相似度对应的理想碰撞概率。

在本实验中, 选取参数l Table=4, key Groups=2对应2.2节中的L=4, k=2。用2.2节中的用Min Hash算法处理Reuters-21578数据集。根据算法处理得到的结果, 则在表2中给出了Jaccard相似度值分布在狭小区间S'=[S-0.005, S+0.005]中的文件对的个数和发生碰撞的文件对的个数, 由于S'区间足够小, 因此即可假定:Jaccard相似度值分布在S'范围的文件对个数等于Jaccard相似度值等于S的文件对的个数。这里使用的是2.2节中Jaccard相似度处理数据集Reuters-21578的结果。在表2中, A#表示Jaccard相似度值分布在S'范围的文件对个数, B#表示发生碰撞的文件对个数。因此, 碰撞率Ratio=B#/A#。

图1直观地给出了Min Hash的分布式实现算法在处理Reuters-21578数据集的碰撞率, 其中实际Min Hash算法的曲线趋势与理想S-曲线较为接近, 验证了本文提出的Min Hash分布式算法是正确的, 并且有良好的聚类效果。

5 结束语

本文针对Min Hash算法在分布式平台上的实现和性能表现进行分析和研究。通过研究发现, Min Hash算法在分布式平台上比非分布式平台有很大优势, 尤其是在处理大规模数据集时。为此, 即在深入研究Min Hash算法原理和分布式平台的基础上, 设计了Min Hash的分布式算法。实验结果表明本文给出的Min Hash分布式算法在处理实际问题上的正确性和准确性, 这也为今后的在分布式平台上解决近似近邻问题提供了一个新的思路。

摘要：MinHash作为位置敏感哈希 (LSH) 算法中的一种, 可以用来快速估算两个集合的相似度, 查找网络上的重复网页或者相似新闻网页, MinHash算法使用Jaccard相似度来度量对象的相似程度。本文针对MinHash算法在分布式平台上的实现和性能表现进行分析和研究, 给出了MinHash的分布式算法。最后通过具体的实验, 验证了提出的MinHash算法在处理实际问题上的正确性和准确性。

关键词：MinHash,分布式,算法实现

参考文献

[1]INDYK P, MOTWANI R.Approximate nearest neighbors:towards removing the curse of dimensionality[C]∥Proceedings of the Thirtieth annual ACM Symposium on Theory of Computing.ACM, 1998:604-613.

[2]BRODER, ANDREI Z.On the resemblance and containment of documents, compression and complexity of sequences:proceedings[C]∥Positano, Amalfitan Coast, Salerno, Italy, IEEE, June 11-13, 1997:21–29.

[3]WANG H, CAO J, SHU L C, et al.Locality sensitive hashing revisited:filling the gap between theory and algorithm analysis[C]∥Proceedings of the 22ndACM International Conference on Conference on Information&Knowledge Management, ACM, 2013:1969-1978.

[4]DATAR M, IMMORLICA N, INDYK P, et al.Locality-sensitive hashing scheme based on p-stable distributions[J].SCG’04, 2004, 6:9-11.

[5]Rajaraman A, Ullman J D.Mining of massive datasets[M].Cambridge University Press, 2012.

分布式平台 第7篇

1 训练平台的结构与功能

该训练平台是以VFSML为基础, 采用VC++、DirectX和XML技术, 研制开发了“分布式灭火救援虚拟训练仿真平台IDTSFR1.0”软件, 具有较好的灵活性和扩展性。该系统在研制过程中主要解决了以下问题:场景通道的结构化设计;典型火焰、烟雾、泄漏气体等前景动态元素的快速生成算法和层次化处理算法;前景元素的精细化数据建模和与背景图像的无缝融合算法;网络环境下各子系统之间的信息传输协议、信息监、同步与更新等。该套软件结构主要由“训练任务编辑系统”、“训练监督控制系统”、“训练处置作业系统”和“训练过程评价系统”4个软件子系统构成, 为开展各类灭火救援计算机模拟训练提供了训练任务的组织开发和训练操作环境。其中, 基于图像的虚拟灾害场景的快速建模和仿真, 即开发实现灭火救援训练任务编辑系统, 是构建以场景为中心的灭火救援模拟训练系统的基础和核心。

1.1 训练任务编辑系统

训练任务编辑系统是整个训练平台的基础和核心, 它主要是生成虚拟训练环境, 包括虚拟火场、周围静态视景、动态视景等。在任务编辑系统中, 用户可以输入各种扑救对象的数字化照片或视频, 从而编辑生成与该对象相关的火灾或其他灾害事故, 并模拟事故发展蔓延的动态过程。

训练任务编辑系统可建立不同的训练内容 (即项目) , 每个训练内容包括若干个逻辑训练任务, 训练任务是训练内容的基本构成环节, 可以完整地描述灭火救援作战过程;每个训练任务由若干个训练场景组成, 训练场景是作战任务的具体体现, 可以较好地反映灭火救援作战的细节;每个训练场景包含4个窗口, 可以分别从灾害现场的4个不同方位表现出灾害现场的情况, 使参训人员能够更加全面地了解灾害现场情况。

在训练任务编辑系统中, 可以通过资源列表选择灭火救援场景设置和消防力量部署所需元素特效, 包括场景设置用的图像背景、效果、视频、遮罩等, 能够完整呈现出灭火救援灾害现场情况以及到场处置消防力量的部署, 同时结合元素属性、窗口属性及动画编辑等功能, 即可动态展现整个灭火救援处置或训练过程。

训练任务编辑系统生成的灭火救援虚拟训练场景, 为监督控制台提供了训练项目场景文件, 为展开灭火救援模拟训练奠定了虚拟训练环境基础;同时, 又可直接用训练任务编辑系统对灭火救援案例处置程序进行视频录制并加入语音讲解, 从而用于灭火救援预案制定、案例教学及培训等。

1.2 训练监督控制系统

监督控制台是用于控制和引导训练流程的软件控制台, 可以实现训练监管和触发功能。一是为参训人员同步灭火救援场景文件任务;二是依据训练目的对参训对象进行人员的分组以及任务分工;三是由监督控制台下达任务开始和结束的命令。该系统同时还可实现训练过程的语音交流, 并可记录保存受训者的所有操作内容, 以便训练结束后回放训练过程, 方便组训者分析评判训练效果以及制作灭火救援灾害处置程序演示视频。

监督控制台可通过学员列表窗口管理受训对象, 使受训对象进行独立训练或分组协同训练, 以更好地适应消防部队灭火救援训练实际, 有效地开展以提高基层指挥员作战能力为代表的想定作业训练, 或以提高部队整体作战能力为代表的战术演练等不同训练内容。

1.3 训练处置作业系统

训练处置作业系统是受训者部署灭火救援作战任务的操作系统, 它通过监督控制台的IP地址与其相连, 操作并播放监督控制台下达的场景文件, 完成灭火救援作战任务。

训练处置作业系统的用户可通过监督控制台进行人员分组和任务分配, 以完成不同训练模式的训练内容, 待控制台发出“开始训练”的命令后, 作业训练系统的用户便可以进行训练, 通过从资源列表中选取元素特效等, 完成火情处置, 即用户可根据当前场景下达的处置命令, 实现控制虚拟场景中的灭火救援装备和人员等场景构成要素的动态部署功能, 进而达到受训者完成灭火救援模拟训练以及施训者对参训对象进行考核的目的。

1.4 训练过程评价系统

该训练平台的评价系统主要用于对利用基于图像的灭火救援分布式网上训练平台训练的参训人员个人或各组灭火救援处置过程进行评判, 考评指标与权重具有很好的开放性和可拓展性, 施训者可以根据训练内容、考核对象的不同而制定相应的考核指标与权重, 而系统则可以对新的考核情况保存并处理, 科学合理地检验参训人员面对灾情时的临机处置能力及技战术应用能力等, 进而使训练过程评价系统的适用性更强。

同时, 基于图像的灭火救援分布式网上训练平台还具有作战训练过程的录制与播放功能, 用于录制与播放指定IP地址上的灭火救援网络模拟训练的实时场景, 以便参训人员的相互交流学习以及专家的科学评判。

2 训练平台的应用

2.1 灾害类型选定

以灾害的特点为基础, 可将灾害类型分为高层建筑类、石油化工类、人员密集场所类、危险化学品泄漏类、交通事故抢险救援类、地下工程类等。在灭火救援想定作业中, 应根据情况选择适合的灾害类型进行案例选定。

2.2 确定指挥层次

消防部队的灭火救援组织指挥, 在灭火救援实践中, 通常把中队长及其以下指挥员的灭火组织指挥称为基层灭火指挥;把大队或支队部门首长参加的灭火组织指挥称为中层灭火指挥;把总队领导或总队部门首长参加的灭火组织指挥称为高层灭火指挥。不同的火灾规模、火灾类型及复杂性、火灾的影响程度和参加的灭火救援力量决定了火场需要不同的灭火组织指挥的层次。

因此, 在利用基于图像的灭火救援分布式网上训练平台进行灭火救援想定作业时, 首先要确定组织指挥的层次, 即参与灭火想定作业的灭火救援指挥人员级别或受训人员的训练目的。

2.3 确定指挥流程

公安部消防局新颁发的《公安消防部队执勤战斗条令》对消防部队处置重特大灾害事故的组织指挥机构、指挥关系、指挥方式、人员的任务分工等给予了明确规定, 主要包括火警受理业务流程、灭火救援指挥流程、现场通信指挥业务流程等。因此, 在组织灭火救援想定作业时必须遵守《公安消防部队执勤战斗条令》中的规定, 以火灾扑救和应急救援等执勤战斗行动的时间发展流程进行任务的实施。

2.4 收集素材, 编辑场景

当确定灾害类型后, 便需要对选定的对象分别从该对象的各个方位以及周边环境进行数字照片记录, 特别是对灾害对象的重点部位进行全方位的记录。

将采集完成后的数字照片进行格式处理, 使其像素 (不超过1 024682) 达到合适的值, 并且将选取合适的素材复制至“训练任务编辑系统”系统中的“背景”的文件夹内, 打开任务编辑系统后即可在资源列表中的背景选项中选取使用。

2.5 选择应用模式

基于图像的灭火救援分布式网上训练平台的应用模式包括独立训练模式、成组训练模式和培训模式等, 主要适用于单个或多个参训人员的灭火救援训练与培训。

2.5.1 独立训练模式

独立训练模式由任务编辑系统将重点单位的重点部位进行火情编辑 (如图1所示) , 生成灭火救援任务。通过监督控制台, 将编辑完成的任务同步至登录后的各个客户端用户, 使每个客户端用户都能够单独实施操作, 完成灭火救援想定作业训练任务。

2.5.2 成组训练模式

成组训练模式由任务编辑系统将重点单位的重点部位进行火情编辑后 (如图2所示) , 生成灭火救援任务。通过监督控制台, 将登录后的客户端用户先进行分组, 再对每个小组内的成员进行任务分工, 最后由各组配合共同完成灭火救援战术演练任务。

2.5.3 培训模式

利用基于图像的灭火救援分布式网上训练平台的“训练任务编辑系统”可以对案例进行模拟再现, 以及对灾害处置的程序进行模拟演示, 结合语音系统讲解并将该处置程序录制成视频, 即可在灭火救援教学、培训课程中进行播放演示。此种模式可以形象、直观地展现灭火救援作战过程, 有效地提高消防教学、培训的效果。

2.6 评价与讲解

在利用基于图像的灭火救援分布式网上训练平台完成灭火救援想定作业和灭火战术演练后, 可通过该训练平台的考评系统对参训人员的灭火救援想定作业和灭火战术演练任务的完成情况进行评分。同时, 还可选择其中表现优异的训练案例进行单独选取, 并通过投影仪进行播放演示讲解, 为参训人员提供互相学习交流的平台。

2.7 语音通信的配合

在利用救援分布式训练平台组织训练和考核时, 可以利用语音通信的配合由组训人员进行灾情任务的说明和训练任务下达, 对于参训人员在训练过程中通过语音通信的配合则能够在更加真实的氛围中进行灭火战术演练任务操作。通过语音通信的配合, 还能在训练考核结束后进行训练讲评和讲解, 丰富了参训人员间的交流学习手段。

3 结束语

基于图像的灭火救援分布式网上训练平台的研发, 一方面可以针对不同的训练对象, 设计灭火救援的重点、难点险情, 形成不同的训练子任务, 使受训者以同一角色在逼真的训练环境中接受训练, 提高其临机处置能力, 可用于想定作业等训练教学中;另一方面, 可以依托现行的信息化建设平台, 构建集灭火救援作战指挥、技战术训练为一体的分布式模拟训练环境, 使受训者以不同角色在具有实战氛围的作战环境中接受训练, 提高其整体协同的作战能力, 可用于战术演练等训练教学中。该系统应用表明, 基于图像的灭火救援分布式网上训练平台具有操作简单、建模快、成本低、场景逼真、扩展性好等特点, 与消防部队、相关院校的信息化建设实际相适应, 符合公安部提出的大教育、大培训的要求, 既可提供逼真的灾害发生、发展过程, 也可以动态地体现灭火、救人等灭火救援作战环节, 对灭火救援指挥、技战术研究具有很好的使用价值, 对提高受训者的作战指挥能力具有良好的辅助作用。

摘要：开发基于图像的灭火救援分布式网上训练平台, 运用数字化照片或视频生成相关的火灾或其他灾害事故场景, 并模拟事故发展的动态过程, 营造实战化训练环境。平台分为训练任务编辑系统、训练监督控制系统、训练处置作业系统和训练过程评价系统等功能模块。以独立、成组等训练模式将训练平台应用于灭火救援想定作业、灭火战术演练、灭火作战预案等, 可为消防部队提供一种崭新的实战化模拟训练平台。

关键词：灭火救援,消防训练,模拟训练,训练平台

参考文献

[1]郭华芳, 李智文.消防模拟训练系统初探[J].消防科学与技术, 2007, 26 (1) :86-89.

[2]刘艳, 邢志祥, 刘伟.虚拟现实技术在消防模拟训练中的应用研究进展[J].消防科学与技术, 2009, 28 (3) :214-216.

[3]陈驰, 任爱珠, 张新.基于虚拟现实的建筑火灾模拟系统[J].自然灾害学报, 2007, 16 (1) :55-60.

分布式平台 第8篇

TBSchedule支持Cluster, 可以宿主在多台服务器多个线程组并行进行任务调度, 或者说可以将一个大的任务拆成多个小任务分配到不同的服务器。 TBSchedule的分布式机制是通过灵活的Sharding方式实现的, 比如可以按所有数据的ID按10 取模分片、 按月份分片等等, 根据不同的需求, 不同的场景由客户端配置分片规则。 然后就是TBSchedule的宿主服务器可以进行动态扩容和资源回收, 这个特点主要是因为它后端依赖的Zoo Keeper, 这里的Zoo Keeper对于TBSchedule来说是一个No SQL, 用于存储策略、 任务、 心跳信息数据, 它的数据结构类似文件系统的目录结构, 它的节点有临时节点、 持久节点之分。 调度引擎上线后, 随着业务量数据量的增多, 当前Cluster可能不能满足目前的处理需求, 那么就需要增加服务器数量, 一个新的服务器上线后会在Zoo Keeper中创建一个代表当前服务器的一个唯一性路径 (临时节点) , 并且新上线的服务器会和Zoo Keeper保持长连接, 当通信断开后, 节点会自动摘除。

TBSchedule会定时扫描当前服务器的数量, 重新进行任务分配。 TBSchedule不仅提供了服务端的高性能调度服务, 还提供了一个schedule Console war随着宿主应用的部署直接部署到服务器, 可以通过web的方式对调度的任务、 策略进行监控管理, 以及实时更新调整。 TBSchedule提供了两个核心组件Schedule Server、 TBSchedule Manager Factory和3 类核心接口IScheduleTask Deal、 ISchedule Task Deal Single、 ISchedule Task Deal Muti, 这两部分是客户端研发的关键部分, 是使用TBSchedule必须要了解的。 Schedule Server即任务处理器, 的主要作用是任务和策略的管理、 任务采集和执行, 由一组工作线程组成, 这组工作线程是基于队列实现的, 进行任务抓取和任务处理。 每个任务处理器和Zoo Keeper有一个心跳通信连接, 用于检测Server的状态和进行任务动态分配。 当某台服务器宕机或者其他原因与Zoo Keeper通信断开时, 它的任务将被其他服务器接管。

分布式平台 第9篇

近年来, 移动互联网业务如游戏、视频等访问量剧增。传统的集中式业务平台多采用IOE (IBM、Oracle、易安信公司) 架构[1], 即基于IBM小型机、Oracle数据库与EMC存储设备组合的架构, 投资成本高且扩展性受限, 难以支撑业务快速发展, 已经被百度、阿里巴巴、腾讯 (BAT) 等互联网公司逐步放弃。

为了解决业务平台面临的高并发访问、海量数据处理、高可靠运行、业务随需应变等一系列问题与挑战, 业界在实践中应用了多种技术, 包括分层架构、大规模集群、分布式缓存等。本文基于业界解决方案, 结合游戏平台业务特点, 提出了大容量分布式游戏平台架构, 有效满足移动互联网应用亿万级规模的用户并发访问和大规模数据存储等需求。

1 平台设计要素

与传统应用相比, 大型移动互联网平台应用具有以下特点:

高并发:移动互联网业务用户增长快速, 需要面对高并发用户以及长时间的大流量访问。“淘宝”2014 年“双十一”活动全天成交金额571 亿元, 其中移动端交易额243 亿元, 物流订单2.78 亿个。

高可用:系统7×24 h不间断服务, 服务的中断会带来严重的损失。2015 年携程网宕机12 h, 造成了巨大的负面影响。

海量数据:业务数据增长快速, 存储、管理海量数据, 需要使用大量服务器。Google有超百万台服务器为全球用户提供服务。

用户接入环境复杂:面向全球用户提供服务, 用户网络环境千差万别, 国内不同运营商网络存在互通问题。

需求多变:移动互联网产品用户需求变化快速, 多采用迭代开发的模式, 快速发布新版本。微信朋友圈的研发过程为4个月, 团队完成了30 多个版本的迭代。

上述需求使得平台架构的设计需要关注性能、可用性、伸缩性和扩展性等关键要素, 具体说明见表1。

2 平台架构体系

平台采用分布式架构和层次化模块设计, 并根据移动互联网业务需求, 将公共核心业务能力 (如计费) 抽取出来, 形成可共用的对内对外服务。系统主要核心模块如图1所示。接入层负责用户客户端的接入以及互联网服务的分发, 主要包括智能DNS (域名系统) 、CDN (内容分发网) 等服务模块。业务层面向用户提供门户、计费、内容搜索等服务, 包括业务应用层和业务接口层两层;业务应用层包括用户、计费等共用功能模块;核心层包括核心接口层、核心层以及底层数据库。其中核心接口层与业务接口层对接, 供业务层调用。核心层对缓存及数据库进行封装和访问, 当数据在缓存中时直接对数据进行访问, 数据不存在缓存中时再访问数据库。

3 平台关键技术

3.1 负载均衡

随着手机游戏的快速发展和业务量的不断提高, 负载均衡是游戏平台必不可少的基础技术手段。负载均衡将负载分摊到不同的服务单元, 不仅可以实现平台的伸缩性, 又保证了服务的可用性, 还提升了响应速度, 给用户好的体验。随着硬件技术的迅猛发展, 越来越多的负载均衡硬件设备涌现出来, 如F5Big-IP、Citrix Net Scaler等, 但其价格却十分高昂, 因此一些免费又可靠的负载均衡软件方案是比较好的选择。

游戏平台首先利用DNS域名解析作为第一级负载均衡手段, 采用智能DNS技术与多线接入的方式加速异网用户的访问。智能DNS带有IP地址库, 可根据用户的源IP (网际协议) 识别和自动判断用户来源、所属运营商, 智能把用户请求重定向到用户所在运营商网络部署的服务器, 从而减少跨网流量, 加快用户的访问速度, 提升用户的体验。目前DNS解析服务提供商DNSPod提供免费的智能DNS服务。

平台可以根据用户访问情况实现IP负载均衡。通过增加用户接入点做到负载分流, 避免单负载均衡器的性能瓶颈。如对于电信用户比较多的游戏平台, 可以增加电信网络下的服务器, 通过各种负载均衡策略优化访问体验。一般常用的负载均衡算法包括轮询算法、加权轮询算法、随机算法、最少连接算法、源地址哈希算法等。

游戏平台选用免费开源软件Haproxy[2]作为负载均衡的软件解决方案。Haproxy是一种提供高可用、负载均衡、基于TCP (传输控制协议) 和HTTP应用的代理技术。作为免费开源的解决方案, Haproxy特别适用于负载大、需要会话保持或七层处理的网站, 支持虚拟主机, 可以支持数以万计的并发连接, 并且可以简单安全与当前的平台架构进行整合, 并实现Web服务器与外界隔离。在游戏平台的实践中, Haproxy对外提供HTTP代理服务, 包括游戏大厅、用户中心、计费、能力开放平台、门户等HTTP服务;对内主要用与TCP代理服务, 用于代理核心、数据层服务, 分别代理游戏核心业务、用户核心业务、数据库业务。

为了实现集群的高可用, 还需要对节点进行检测以避免单点故障, 使得节点做到双节点备份, 故障无缝热切换。游戏平台采用开源软件Keepalived[3]方案, Keepalived是一种高性能的服务器高可用或热备解决方案。

3.2 分布式架构

游戏平台采用分布式的架构设计模式, 通过分布式缓存、分布式数据库、分布式文件系统, 实现平台的高性能、高可用与高扩展性。

缓存是网站性能优化的第一解决方案, 通过将数据存储在访问速度较高的存储介质, 能有效提升用户访问速度。分布式缓存将缓存部署在多个服务器组成的集群中, 其架构主要有两种, 一种是以J Boss Cache[4]为代表的需要更新同步的分布式缓存, 一种是以Memcached[5]为代表的不相互通信的分布式缓存。对于目前的游戏平台, 需要缓存的数据量一般比较大, 采用需要同步的方案代价太大, 一般采用Memcached方案。Memcached是一套高性能的、分布式的内存对象缓存系统, 用于在动态应用中减少数据库负载, 提升访问速度。通过在内存里维护一个统一的巨大的哈希表, Memcached能够用来存储各种格式的数据, 包括图像、视频、文件以及数据库检索的结果等。

平台的数据存储需要结合游戏业务的特性进行设计。游戏业务, 尤其是手游业务所产生的数据与其他业务存在较大差别。一方面, 数据时效性突出, 手游内容和用户游玩生命周期都较短, 因此必须对业务数据实时处理;另一方面, 数据碎片化突出。非关系数据库 (No SQL) 基于非关系、分布式、可扩展的设计模式, 适合上述复杂查询场景。平台采用Mongo DB[6]来提升海量数据处理效率。Mongo DB是非关系数据库当中功能最丰富, 最像关系数据库的。其支持的数据结构非常松散, 可以存储比较复杂的数据类型。同时, 对于用户付费、购买和平台/ 游戏收入等关键经营分析数据, 依然保持结构化数据的特点, 可以采用My SQL进行处理。

平台采用NFS (网络文件系统) 作为分布式文件系统, 提供底层的存储。NFS允许一个系统在网络上与他人共享目录和文件。通过使用NFS, 用户和程序可以像访问本地文件一样访问远端系统上的文件。

4 结束语

本文介绍了大容量分布式游戏平台架构, 重点讨论了负载均衡与分布式技术。爱游戏平台是由炫彩互动网络科技有限公司 (中国电信游戏基地) 全力打造的互动娱乐平台, 采用了上述架构与关键技术。平台已经上线两年, 系统运行稳定。目前平台承载了手机游戏、电视游戏、游戏社区等多元化游戏产品, 平台用户超2 亿户, 其中月活跃用户3 000 万户, 最高并发用户数500 万户, 门户访问量十亿次, 实现了5 个9 的可用性。应用接口响应速度最高不超过500 ms, 90% 在100 ms以内;能快速响应不同运营商网络用户的服务请求, 命中率达到99.99%。实现了平台架构设计的高性能、高可用、可伸缩、易扩展的目标。

参考文献

[1]金峰.电信运营商“去IOE”的思考[J].通信世界, 2014, (3) :39.

[2]刘锴.利用HAProxy实现选课系统Web负载均衡[J].电脑知识与技术, 2011 (7) :35-36.

[3]汪海洋, 凌永兴, 包丽红, 等.基于Keepalived的高可用性应用研究[J].电子技术, 2014 (7) :21-24.

[4]郑雅萍, 张立东, 孙毅夫, 等.J BossCache缓存技术在集群系统中的应用[J].控制工程, 2008 (S2) :155-157.

[5]陈康闲.大型分布式网站架构设计与实践[M].北京:电子工业出版社, 2014:60-70.