策略分发范文

策略分发范文（精选9篇）

策略分发 第1篇

目前常用的视频系统有: OTT TV( Over The Top TV) 、IPTV和传统电视。其中,OTT TV较其它视频系统在视频内容、传送方式、编码格式、互动性、业务扩展性方面更具有优势。

OTT TV不再需要一整套的端到端系统组成,通常OTT TV系统由一些中心节点服务器和一些本地中心节点服务器和多个边缘节点服务器形成多级结构。在中心节点服务器存储全部视频资源,而在本地中心节点服务器和边缘节点服务器存储部分视频资源。用户点播直接访问边缘节点服务器,当用户点播访问边缘节点服务器命中有效视频时,将不会继续访问本地中心节点服务器和中心节点服务器; 当边缘节点服务器没有命中有效视频时,会从本地中心节点服务器拉取视频内容,当本地中心节点服务器也没有命中有效视频时,就会进一步的从中心节点服务器拉取内容。这就是OTT TV系统的存储分发策略。

因为OTT TV与互联网密不可分,对带宽有一定的要求,无论是采用哪种流媒体分发技术,如CDN技术、P2P技术还是两者的混合流媒体模型［1］［2］,当大规模的用户访问时,都会使用户体验受到影响,而且大规模使用会使视频量呈指数级别增长, 占用大量的存储资源,增加运营商运营成本。针对这些问题,本文从OTT TV系统的存储分发策略入手,提出一种基于用户统计的存储分发策略改进方法。

1齐普夫定律在视频访问数据中的应用

1. 1齐普夫定律

齐普夫定律是美国语言学家G. K. 齐普夫用数理统计的经验制定的定律［3］。齐普夫定律认为: 如果把一篇较长文章中每个词出现频率按递减顺序,并编上等级序号,频率( f) 最高的为1级( k) ,其次为2级,……,由此类推直到N级,则有等级序号k和其出现频次f之积fk近似为一个常数的规律,即fk = b 。齐普夫定律可以进一步的表示为:

其中,k表示单词在所有词中的排名,f( k) 表示第k排名的单词出现的频率,ρ是幂指数,一般来说ρ和c的大小仅取决于具体的分布的常数。

1. 2齐普夫定律在视频访问数据中的验证

齐普夫定律已经在很多分布中得到了验证,并在许多行业得到了应用［4，5］。比如信息技术产业、新闻业、人们的收入、软件下载数量、以及互联网内容和访问量。所以可以预测视频访问数据同样服从齐普夫分布。

图1是对GNTV公司采集到的1654个视频的7 065 862次访问统计,横坐标代表视频的排名,纵坐标代表视频在某一时间段内的点播次数。

通过对图1中视频访问数据的计算分析,可以得出用户对视频的访问确实服从齐普夫分布。

根据齐普夫定律,假设现在有N个片源,每个片源按照点击量由高到低排序,排序后的第k部片源的访问概率f( k) 为:

由式( 2) 可知,当 ρ 确定时,c为一常量。

下面进一步应用齐普夫定律对视频访问数据进行分析。

1. 3应用齐普夫定律的视频数据分析

同样对GNTV公司采集到的1654个视频7 065 862次访问的数据进行分析,ρ 的值在0. 6 ~ 0. 7之间。这里我们取N = 1600,ρ = 0. 65 ,计算可得:

那么,视频排名的前10% ( 即前160部视频) 和视频排名的前20% ( 即前320部视频) 的概率分别是:

通过计算得知,视频排名的前10% 有接近50% 的访问量, 视频排名的前20% 有大约60% 的访问量,所以齐普夫定律证明了用户对视频的访问集中在少量视频中。这样在OTT TV系统结构中,在边缘节点中存储视频排名的前20% ,将会有60% 的访问量,这样不仅减少了占用的存储空间同时也使得用户的点播请求更容易满足,提高用户体验。

2用户统计模型在视频存储分发策略中的应用

2. 1基于用户统计模型的“热点”视频

“热点”( Hot dot) 是最近一段时间内,受用户欢迎的视频内容。热点值是一个量化了的某一个视频受用户欢迎的程度,它是一个数字,这样就使视频的冷热有了区分［6］。假设单位时间段为T,对该单位时间内的用户的点击量进行统计,本文以天为单位时间段,当天的点击量为T0,前一天的点击量为T1,那么前n天的点击量为Tn 。定义视频热点值的计算方式为:

其中m是一个常数。

从式( 3) 可得出,如果一个新视频在短时间内,有大量的用户［7，8］点击,它的“热”的情况也完全可能超越过去一些非常受欢迎的视频; 在固定的视频点击量的情况下,时间越久,这个点击量占的权重越低。这样就可以把热点值排名靠前的视频定义为“热点”视频。

2. 2用户统计模型在OTT TV系统存储分发策略中的应用

OTT TV通过统计用户对视频的访问情况,计算视频的热点值,定期将“热点”视频进行分发,而对于相对的“冷点”,为保证边缘节点有足够的剩余空间,将其删除。所以通过用户统计模型和齐普夫定律预判断用户最可能点击的某部视频,把这部视频预先取出放入到边缘节点服务器当中,当用户访问时,直接命中从而使用户缩减了访问延迟［9］。

( 1) 当新建立一个视频时,对其变量及热点值进行初始化。

( 2) 每天固定一个时间点为系统更新时间,将所有视频的热点值根据用户访问情况进行更新并且对新的热点视频,启动 “推”操作。

( 3) 当边缘节点服务器和本地中心节点服务器存储空间不足时,则删除热点值最小的视频。

( 4) 如果从上一个条件的删除视频释放的空间,依然不足, 则按照视频的热点值,继续选择热点值最小的视频进行删除。

( 5) 媒体管理在执行删除操作的同时,检查视频正在使用与否,假如正在进行拉取、应答等操作,则放弃对该视频的删除操作。

3OTT TV存储分发策略改进实验验证与结果分析

3. 1实验环境配置

传统策略: 7个服务器,每个服务器存储全部视频。服务器都采用相同配置。存储的内容以1000部视频为例。备用电脑一台,安装有日志查看和统计的软件,本实验使用Log Analyser。 测试以2000用户为例。

分层策略: 中心节点服务器1台,本地中心节点服务器2台,边缘节点服务器4台。所有服务器采用和传统策略中相同的配置,服务器安装的功能软件有刀片服务器,2个千兆网卡、1个百兆网卡,负责视频的分割,还有视频导向器等软件。存储的内容以1000部视频为例,中心节点服务器存储所有的视频,本地中心节点服务器存储视频热点值的前800部视频,边缘节点服务器存储视频热点值的前200部视频。备用电脑一台安装有日志查看和统计的软件,同样使用Log Analyser。测试以2000用户为例。

系统这样架构的优点是使得中心节点服务器压力变小,各级节点服务器有效的调用起来。三层结构的部署,各个层次上有不同的功能: 中心节点服务器的主要功能是存储所有视频和负责本地中心节点服务器响应、分发视频的作用; 本地中心节点服务器主要是为边缘节点服务器提供视频分发以及调度策略［10，11］; 边缘节点服务器主要为终端用户直接的提供服务、及时返回服务器状态、存储内容的管理。

3. 2实验结果及分析

经过7天的数据采集,提取访问日志数据,利用Log Analy- ser软件,对用户访问视频的日志进行统计、分析,得到了两种策略命中率对比,如表1所示。两种策略平均响应时间与占用存储空间对比,如表2所示。

从表1和表2中可以看出,两种存储分发策略都超过了99% 的总命中率,在总命中率方面分层策略的99. 1% 总命中率略低于传统策略的99. 75% 总命中率,在平均响应时间中,分层策略1. 658 s要远远优于传统策略2. 484 s,尤其是在用户都访问热点的视频时。在存储空间占用方面,传统策略需要存储所有的视频资源,需要占用3500 GB,而分层策略只需要1700 GB的硬盘资源,节省1倍多存储空间。

从实验数据可看出,分层策略不但能明显改善用户体验,还可以大幅度节省运营商的运营成本。

4结语

本文运用齐普夫定律验证了用户对视频的点击集中在少部分的视频上,并且通过统计用户对视频的访问情况,建立用户访问模型。本文提出的基于用户统计的存储分发策略改进方法, 将用户访问的热点视频部署到距离用户最近的边缘节点服务器上,在边缘节点服务器上删除热点值最小的视频。通过实验证明,基本达到了预期的效果。基于用户统计的存储分发策略解决了热点访问问题,但是这样会导致冷点响应时间较长,用户访问“冷点”的视频时,将影响用户体验,这是一个需要改进的问题,这个问题的改进会使用户体验质量大大提高。

参考文献

[1]臧运港,陈光喜.基于P2P和CDN的混合流媒体分发模型以及分析[J].计算机应用研究,2010,27(6):2208-2210,2214.

[2]王芳,李泽平.视频分发技术研究[J].贵州大学学报,2011,28(1):79-83,87.

[3]Malevergne Y,Saichev A,Sornette D.Zipf’s law and maximum sustainable growth[J].Journal of Economic Dynamics and Control,2013,37(6):1195-1212.

[4]Nadi Sarrar,Steve Uhlig,Anja Feldmann,et al.Leveraging Zipf’s Law for Traffic Offloading[J].ACM SIGCOMM Computer Communication Review,2012,42(1):16-22.

[5]Johannes H Jensen,Pauline C Haddow.Evolutionary Music Composition based on Zipf’s Law[C]//GECCO’11:Proceedings of the 13th annual conference companion on Genetic and evolutionary computation,New York:ACM,2011.

[6]甘露,姜秀艳,刘新,等.基于用户行为的P2P IPTV可行性研究[J].计算机应用与软件,2012,29(1):96-99.

[7]李宁,王子磊,吴刚,等.个性化影片推荐系统中用户模型研究[J].计算机应用与软件,2010,27(12):51-54.

[8]白雪,彭德巍.基于统计学模型的VOD负载均衡设计[J].计算机应用,2010,30(3):765-767.

[9]姜琳,刘新,叶德建.VOD服务器集群上的副本存储调度策略[J].计算机应用与软件,2011,28(6):251-253,258.

[10]郭红方,林予松,王宗敏.云辅助的P2P视频点播分发机制研究[J].计算机应用研究,2013,30(2):525-528,533.

教学用书分发方案 第2篇

按照网上教学实际需要，更好的帮助学生们的学习，我校计划分发下学期教学用书，具体安排如下：

1.3月30日下午，由图书管理员老师按照年级分发教学用书，按初二年级、初一年级顺序，各班主任领取本班教学用书，核对好人数。

2.3月31日，初二班主任通知本班学生家长来学校领取；4月1日，初一班主任通知本班学生家长来学校领取。

3.具体要求：

（1）学生家长先在学校大门口排成一人排，保持一米间隔依次入校。

（2）先亮健康码，测体温，体温合格的，再过消毒通道到各自班级教室领书。

（3）家长必须戴口罩，不准聚集、喧闹，听从工作人员的指挥，领完后迅速离校。

（4）各班严格按照时间节点，不能按时到校的家长请与班主任联系。

***第二中学

策略分发 第3篇

数据分发 (Data Distribution) , 通过把视频数据分布分发到网络不同的地方来提高网络的局部利用率, 从而总体降低流媒体的网络资源消耗。

1 目前基于P2P流媒体数据分发常用的技术

1.1 基于树结构的P2P流媒体传输技术

PEERCAST就是一个典型的代表。它被组织成一个多播树来传递数据, 每个数据的包结构都是相同的。当一个对等点接收到其父节点传来的数据包时, 也要将这个数据包传给其每一个孩子节点。因为所有的数据包都按照这种方式传送, 所以保证在这种传输方式下尽可能的为所有用户提供提供质量良好的服务是很关键的。

总的来说, 在这种结构中有4种路由选择策略:

(1) 随机选择 (RANDOM) ;

(2) 环路选择 (ROUND-ROBIN) ;

(3) 根据具体的物理环境适当选择;

(4) 根据带宽进行适当的选择。

为了实现一个平衡的多播树结构, 对每一个对等点所使用的路由策略进行应慎重选择。

1.2 基于森林结构的P2P流媒体传输技术

一般基于树结构的多播在本质上不适于相互协作的环境。理由就是在任意的多播树中, 复制与传送多播流量的负担只被所有对等节点的一个小子集承担, 这个子集是树的内部结点。这与所有对等点应该共同分担向前传送的负载的预期相矛盾。

基于森林的结构有助于解决这个问题.这种结构建造了一个有多播树组成的森林。这个森林结构按照加入结点的带宽限制, 以分散的规模可变的高效的自组织的方式分配向前传送的负担。

困难是构造的多播树组成的森林会出现一个节点在一棵树中是内节点, 而在其余的树中都是叶子节点, 这样会造成这些节点的带宽的浪费, 避免这个问题也是为了保证向前传送的负担可以覆盖每个节点。

1.3 基于网状结构的P2P流媒体传输技术

通常树形结构在同一时刻, 每个对等点只能接收来自一个发送者的数据。由于一个发送者可能不会将全部的带宽分配给一个接收者, 那么这就可能会引起接受者端的服务质量下降。

在森林结构系统中, 每个对等点加入许多不同的树, 并且从不同的多个接收端获得数据, 这样问题就与树结构一样了。

多发送者策略是一个解决这个问题的好方法。在这个策略中, 在同一时刻, 一个对等点可以选择和接受来自不同发送者的数据, 每一个发送者使用一部分带宽来传送数据。除此之外, 这些发送者还可以根据它们不可预知的上线与下线状态而发生改变。因为数据并没有特定的流动方向, 每个对等点彼此既可以传送又可以接收数据。所以其拓扑结构就像网一样。

网结构技术所面临的主要困难是如何选择一套发送节点和如何协调与编排不同发送者发来的数据.最近, DONET通过引用了一个简单的直线式的数据驱动结构实现了多发送者模型。这个结构并没有维护一个复杂的组织结构。它的核心是以数据为中心 (data-centric) 的流覆盖层结构和自由 (GOSSIP-BASED) 消息散发系统。

2 树网结合的流媒体数据分发策略

在基于P2P网络的流媒体传输系统中, 树行结构适用于网络范围比较小, 节点的稳定性比较高的情况。这时系统总的控制开销和获得数据的平均延迟都很低, 既保证了收看或收听的质量又不会给网络带来过高的负载。但当其处在网络范围比较大, 节点的动态性比较强的环境时, 就造成系统的不稳定, 通常上层节点的离开会使其所有的下层节点受到影响, 这样多个节点的频繁加入和离开会使系统极不稳定, 即在短时间内由于上层节点的离开而使得大量的下层节点向根节点发出加入请求, 从而使得根节点崩溃。

网状结构比较适合网络范围比较大, 节点动态性比较强的情况。由于其数据发送源有多个, 故即使部分节点离开, 它也会从其它伙伴那里得到数据, 从而保证了系统的稳定性。使用户可以在网络状况不好的情况下获得一定质量保证的收看效果。但是, 当网络范围比较小, 节点间的动态性不是很强的时候, 网状结构就会给网络带来很大的负载, 获得数据的平均延迟也很高。

如果能够充分的利用这两种结构各自的优点, 那么就会在降低系统负载和数据获取平均延时的同时, 使系统的稳定性提高, 保证一定的播放质量。

按照物理范围可以将整个P2P流媒体传输系统划分成多个区域, 在每个区域中, 由于物理相邻的节点间动作相同的概率会很大, 这样就会使域内节点的稳定性增强, 由于被划分的物理区域的范围是有限的, 所以部分上层节点的离开不会给根节点带来很大的负载, 故在这样的环境中适于使用树的结构进行流媒体数据传播。当网络状况变得不好时, 树的部分下层节点得到数据的累积延时会不断增加, 从而会影响收看质量, 这时它会脱离树的结构, 加入到网状结构中, 从而保证了一定的收看质量。当网络情况变好时, 这些节点又加入到树结构中。这样, 在局域的范围内, 节点会根据网络的实际情况在树和网两种传输结构中自我调整。而在整个传输系统中, 所有的物理区域又都互相连接, 形成了一个大网, 使整个系统的稳定性增强。这样, 在整个P2P流媒体系统中, 既可以降低总的系统负载, 又可以提高接收数据的平均延迟。

摘要：由于树状结构与网状结构在分发流媒体数据时都存在各自的缺陷:树状结构是高度易损的, 其非常适用于稳定性较高且规模不是很大的环境;而网状结构虽然比较稳定, 在大规模环境下也能保证一定的服务质量, 但其控制开销巨大, 对网络造成的负载很大。树网结合的流媒体数据分发策略 (TDS) , 能有效的解决上述问题, 并且充分利用两者各自的优点。

关键词：对等网络,流,树结构,网结构

参考文献

[1]Padmanabhan V N, Wang H J, Chou P A, and Sripanidkulchai K.Distributing streaming media content using cooperative networking.in Proc.NOSSDAV02, USA, May 2003:177186.

[2]X.Zhang, J.Liu, B.Li, and T.-S.P.Yum, “DONet/Cool-Streaming:AData-driven Overlay Network for Peer-to-Peer LiveMedia Streaming, ”in IEEE INFOCOM, vol.3, Mar.2005, pp.2102-2111.

2012校报分发策划书 第4篇

活

动 策 划 书

主办单位: 漳州师范学院经济学系团委

承办单位: 经济学系11统计学2班青年志愿者服队协办单位: 经济学系青年志愿者中心

一·活动主题:

校报进宿舍，真情邮递员

二·活动背景:

校报作为一份贴近大学生生活，反映我们真实情况的文字媒体，让每个同学能及时了解学校情况，作为一名志愿者，我们应该致力于服务师生，服务社会，让校报进宿舍，让志愿者的真诚温暖每个人。

三．活动目的：

1.志愿者活动有利于提高学生自身实践能力，也有利于展现当代大学生的爱心，带动校园精神文明的建设；

2.该活动有利于宣传并展现志愿服务的组织精神，有利于公益精神在学生中的树立和推广，有利于提高志愿者中心在全院的地位

3.围绕服务精神，志愿者通过分发报纸提高交涉能力，礼貌待人。

4.提高校报的宣力度传和班级集体活动意识。

四·活动时间: 2012下学年1到18周 周五晚 19:30至21:30

五·活动地点:漳州师范学院瑞京及白宫及研究生宿舍楼

六·活动对象:经济系11统计2班全体同学(每次15个人)

七·活动开展阶段

(一)前期准备阶段：

1.书写活动策划，上交审批；

2，班级宣传，负责人负责点名，并将参与者分组。

3．在芙蓉餐厅准时集合。

(二)活动开展阶段:

1.让同学7:30分准时在芙蓉餐厅集合2.到达工作地点后，领取报纸，负责人分组。以小组为单位，分别派发瑞京，白宫，研究生宿舍。

4.工作过程中如果有什么难题及时与负责人商量

5.负责人现场拍照以作留念,并存档；

6.工作后进行总结

八．活动经费:无

九．活动规则：

1.在工作岗位上要求每个人忠于职守，不擅自离位，若有特殊情况告知负责人林之楠；

2.以真诚的态度面对工作中的每个人；

3.保护好公共产品，不喧哗，不吵闹，不偷懒。

4.注意文明用语，礼貌待人，不影响宿舍人员的正常休息。

十·活动可行性分析:

周五晚上同学一般都有时间，而且统2班志愿者队伍作为本次活动者，秉着“奉献、友爱、互助、进步”的志愿精神，借此机会锻炼提升自我志愿服务精神。并在进宿舍之前得到了楼管以及老师的许可。

十一·预期效果:

1.可以使得班级同学得到实践经验，增进同学间的交流。

2, 将分配到的报纸分发到各个宿舍，并始终保持良好态度，维持志愿者

形象。

十二·注意事项:

1.活动期间发生冲突负责人要灵活处理，寻求全面的解决方法；

2.活动期间注意安全；

3.提前安排好人员；

策划人： 漳州师范学院经济系11统计二班

内容分发网络的研究 第5篇

1 CDN是流媒体发展的技术保证

CDN是架构在IP基础网络之上的叠加网络,通过将内容发布到网络的边缘,实现内容网络的分布式就近服务,有时也称MDN(Media Delivery Network),即专门提供流媒体内容发布的网络,其工作原理是在网络各节点放置内容缓存服务器,由CDN中心控制系统实时地根据网络流量和各节点的连接、负载状况以及到用户的距离等信息,将用户的请求导向到最佳的服务节点上。宽带基础网络建设(包括骨干网和接入网)和宽带应用建设是宽带业务发展不可或缺的两个方面,而直接面对用户的宽带应用业务在其中占据主导地位。经过近几年来的实践,宽带应用的种类、业务模式都得到了较为充分的探讨[3]。

分析表1,并综合国内各地宽带应用开展的实际状况,可以发现如下特点:

(1) 在尝试的各种宽带应用中,需求旺盛的“杀手”级应用尚未明确,因此必须有足够的网络覆盖,才能保证具备运营价值的基础用户数。

(2) 流媒体技术的视频服务(VOD、网上直播、广播等)仍然是宽带应用的主要业务类型。

(3) 多数应用类型从技术特征上是点对点、点对多点的,不需要非常高的交互性,不需要对称带宽,因此这些基于主机或广播类型的应用非常适合于开展分布式边缘服务。

(4) 包括流媒体视频服务在内的各种宽带应用都要求端到端的质量保证,对基础架构的需求很高。因此在技术实现层面上存在分布性服务的需求,而这与业务运营的统一性需求存在一定的矛盾,需要在架构技术体系时能够支持“集中管理、集中运营、分布服务”。

通过以上分析,对CDN技术的研究在流媒体应用上是有广阔前景的。CDN技术的采用有效地提高了网站的连接性能和对用户的响应速度。根据美国一家专业从事互联网性能评估的公司KeyNote System的测试结果表明,诸如Yahoo,AltaVista这样的网站,虽然其访问量非常大,但在使用CDN服务之后,其网站性能,尤其是在对用户的响应速度方面,仍远远优于其他网站[4]。

2 CDN技术基础

CDN是建立在现有IP网络基础结构之上的一种增值网络,是在应用层部署的一层网络架构。其核心思想是将内容从中心推到边缘靠近用户的地方,这样,不但有效提高了用户访问内容的性能,而且有效减轻了中心设备和骨干网络的压力[5]。通过CDN,可以将内容服务从原来的单一中心结构变为分布式的结构。与目前现有的内容发布模式相比较,CDN强调了网络在内容发布中的重要性。通过引入主动的内容管理层的PULL技术和全局负载均衡,从根本上区别于传统的内容发布模式。在传统的内容发布模式中,内容的发布由ICP(Internet Content Provider,互联网内容提供商)的应用服务器完成,而网络只表现为一个透明的数据传输通道,这种透明性表现在网络的质量保证仅仅停留在数据包的层面,而不能根据内容对象的不同区分服务质量。此外,由于IP网的“尽力而为”的特性使得其质量保证是依靠在用户和应用服务器之间端到端地提供充分的、远大于实际所需的带宽通量来实现的。在这样的内容发布模式下,不仅大量宝贵的骨干带宽被占用,ICP的应用服务器的负载也变得非常重,而且不可预计。当发生一些热点事件和出现浪涌流量时,会产生局部热点效应,从而使应用服务器过载退出服务。这种基于中心的应用服务器的内容发布模式的另外一个缺陷在于个性化服务的缺失和对宽带服务价值链的扭曲,内容提供商承担了他们不该干也干不好的内容发布服务。在传统的IP网络中,用户请求直接指向基于网络地址的原始服务器,而CDN业务提供了一个服务层,补充和延伸了Internet网络,把频繁访问的内容尽可能向用户推进,提供了处理基于内容进行流量转发的新能力,把路由导引到最佳服务器上,动态获得需要的内容,它改变了分布到使用者信息的方式,从被动的内容恢复转为主动的内容转发。提供CDN技术产品的厂商有各自的解决方案,CDN运营商的实现方式也不同,但CDN技术实现的功能是相同的,那就是将多点负载均衡,路由或缓存技术结合起来,利用智能分配技术,将内容根据来访用户的地点,按照就近访问的原则分配到多个节点。

3 CDN分层模型

一个CDN网络通常由三个部分构成:内容管理系统、内容路由系统、Cache节点网络。

它的逻辑结构如图1所示。内容管理系统主要负责整个CDN系统的管理,特别是内容管理,如内容的注入和发布、内容的分发、内容的审核、内容的服务等。内容路由系统负责将用户的请求调度到适当的设备上,内容路由通常通过负载均衡系统来实现。Cache节点网络是CDN的业务提供点,是面向最终用户的内容提供设备。从功能平面的角度,这三个部分分别构成了CDN的管理平面、控制平面和数据平面。此外,从完整的CDN内容提供的角度,CDN网络还可以包括内容源(媒体资源库)和用户终端(媒体播放器)[6]。

4 流媒体CDN的性能指标

传统的CDN或代理服务器的系统性能指标主要是命中率和字节命中率。CDN从根本上区别于传统的内容发布模式[7]。由于流媒体在数据量大小、传输特性等方面与Web页面存在显著差别,因此命中率不能直接反映CDN系统的性能。对于流媒体服务而言,用户接受的媒体质量、用户启动延迟以及流媒体数据传输对网络的消耗才是代理服务器最直接的设计目标和性能衡量指标[8]。

流媒体CDN的性能指标分为两部分,即用户关心的性能指标和系统性能指标。用户关心的指标包括所获取的媒体质量、启动延迟等。流媒体CDN的系统性能指标包括网络传输消耗、服务器带宽消耗、预取空间的消耗等。用户所关心的指标有时候会与系统性能指标相冲突,例如,为了降低用户的启动延迟,需要将绝大多数流媒体的前缀(开始部分)缓存到代理服务器,但是为了降低网络传输消耗,在单播环境下往往将流行程度最高的那些流媒体缓存下来更有效,因此需要在两个指标之间进行一定的折衷。

网络传输消耗是指流媒体在网络上传输所消耗的网络资源。在Internet上,代理服务器到原始服务器的距离(路由器跳数)不同,对应的网络消耗也不同;有时候即使网络距离相同,但是所经过的链路不一样,其网络消耗也可能不一样。为了评价网络传输的消耗,采用传输成本作为评价指标。首先分别为不同的链路设置单位传输成本,即传输单位数据量在链路上传输所消耗的网络成本,通过计算总体的传输成本或者每个请求的平均传输成本评价流媒体CDN系统的网络消耗。原始服务器和代理服务器的带宽是有限的,服务器的带宽消耗可以衡量CDN系统最大可同时支持的用户数。

在CDN技术发展的同时,流媒体的发展趋势和对宽带的需求也是在不断变化之中的[9]。流媒体传输是为了提高和平滑用户观看的媒体质量,因此在研究流媒体传输方案时主要采用媒体质量作为评价指标,即视频帧的峰值信噪比PSNR以及连续帧信噪比的波动。流媒体分发主要是为了减小用户的启动延迟、降低网络负载、实现系统负载均衡,因此在研究流媒体分发时,主要采用用户的启动延迟、网络传输成本、服务器带宽消耗作为性能指标进行评价。

5 结 语

流媒体内容分发网络是保障流媒体QoS的有效方法[10]。流媒体分发是为了降低网络负载、避免主干网的拥塞,缩短用户的启动延迟、提高和稳定流媒体的质量。本文分别从CDN的出现趋势,CDN技术基础,CDN分层模型,流媒体CDN的性能指标这几方面做了简要说明,希望能使人们对CDN网络有一个大概的了解。

参考文献

[1]王薇薇,李子木.基于CDN的流媒体分发技术研究综述[J].计算机工程与应用,2004,40(8):121-125.

[2]钟玉琢.流媒体和视频服务器[M].北京:清华大学出版社,2003.

[3]王裕邦.CDN流媒体服务器I/O机制的研究与实现[D].成都:电子科技大学,2007.

[4]Geoff Daily.Commoditization and the Future of ContentDelivery Networks[EB/OL].http://www.streamingme-dia.com.2005.

[5]徐卫东.基于IPv6的内容分发网络系统负载均衡技术研究与实现[D].重庆:重庆大学,2005.

[6]张晓燕.吉林通信宽带内容分发网络建设的研究[D].长春:吉林大学,2006.

[7]谭国权.流媒体与CDN承载技术[J].通信技术,2005(9):45-56.

[8]罗治国.流媒体内容分发网络的研究[D].北京:中国科学院研究生院,2004.

[9]李太君,吴泽晖.流媒体传输协议及其应用开发[J].计算机工程与应用,2004(10):27-30.

分发篮球的七种方法 第6篇

学生站成四排, 从排头学生开始依次报数, 然后沿篮球场地逆时针方向慢跑。学生问:“荷花荷花几时开?”教师答:“5点开。”每组的5号学生迅速跑到器材筐拿球, 拿球后可以抱球跑回原位, 也可以运球跑回原位。以此类推, 直至每人都拿到球。

二、中签者拿球

学生手拉手围成圆, 面向圆心站立并依次报数, 教师手拿10张分别写有0～9的号码牌。教师报出号码牌数字并举起相应号码牌, 学生听到教师报出的数字后, 学号尾数同数字一致的学生快速跑到指定地点拿球并返回, 以此类推, 直到所有学生都拿到球为止。

三、叫号拿球

学生围成圈形或其他队形, 教师手持篮球站在中间, 被报到学号的学生上前拿球并运球返回。依次进行, 直到所有学生都拿到球。

四、接力拿球

将学生分成四组, 距每组排头学生10米左右放篮球若干。教师鸣哨, 每组排头学生迅速跑步拿球后返回, 和组内同伴击掌完成接力后自动站到排尾, 下一位学生出发拿球, 以此类推, 直到所有学生都拿到球。此外, 还可以采用比赛的形式, 如看哪一组拿球的速度最快。

五、传球接力

学生成纵队或横队站位, 篮球集中在距离排头学生约1米远处。教师鸣哨后, 从排头学生开始, 依次手传球给后面的学生, 直到组内学生都拿到球为止。同样, 也可以采用游戏的形式, 如看哪一组球传递得最快, 最先传完球的组获胜。

六、跑步依次拿球

教师带学生慢跑成一个圆圈, 球被放置于相应固定处, 每个学生跑到放球处, 拿一个球, 继续跑步前进, 学生按顺序依次拿球, 当所有学生都拿到球以后慢跑结束, 然后开始利用球做热身操。

七、按组序拿球

新闻网站全球内容分发网络建设 第7篇

在新闻网站创办初期,大多通过租用带宽的形式为网民提供网上服务,各类问题层出不穷,比如南北互通,DDOS攻击,浏览网页缓慢,海外访问速度缓慢甚至无法打开等。

进入全球化互联网时代后,信息的来源渠道呈现多样化,信息的获取冲破了空间、距离、语言等种种限制。随着科技不断发展和创新,网民队伍日益壮大,网站访问量步步攀升。来自海外用户的访问从最初的接近忽略不计,到目前已相当可观。为提高新闻媒体的国际传播能力,紧跟时代步伐,新闻网站不应仅仅关注本地访问,而应放眼全世界,建设一个面向全球的内容分发网络,满足世界各地网民的访问需求。

二. 构建内容分发网络的方法

一般而言,构建一个内容分发网络不外乎以下三个方法。

1. 购买第三方CDN服务

其优势为专业的CDN厂商专注核心业务发展,具有成熟的运营机制和较高的服务能力。劣势在于购买服务后整个分发网络相当于黑盒,用户对CDN服务依赖性非常大,无法了解具体细节,不方便进行管理和功能改进。而且CDN服务的客户对象众多,一般默认的话提供通用配置,与业务结合程度不高,不易实现个性化定制和新功能研发。不能很好地解决某些问题,如多点分发、远距离视频传输等难点。

2. 自建内容分发网络

由于掌握了所有实施细节,可以精确控制整个分发网络,在自身架构上灵活调整,有效提升了可维护性、自主控制能力、扩展能力与灵活性。同时提高了自身的技术研发水平和竞争力,节约服务成本,免受CDN市场价格波动的困扰。但投入较大,需要相当的研发运维成本。国外例如Netflix,国内例如阿里巴巴,乐视等,开始阶段租用第三方CDN,后转为自建CDN,目前已作为服务正式商业化运作。

3. 混合型内容分发网络

购买CDN服务和自建CDN相结合,优势互补,相得益彰。新闻网站在全球范围内构建内容分发网络,也比较合适采用这种方式,可以在重点地区自建CDN,非重点地区购买第三方服务作为补充。但这种方法一定程度上增加了网络结构的复杂程度,适合规模较大、技术力量储备雄厚的公司。

三. 新闻门户网站建设全球内容分发网络的难点

与一般网站相比,新闻门户网站有其自身的特殊之处。新闻网站内容繁杂、栏目多、更新频率高、关联应用服务众多、访问量巨大。新闻网站的访问量变化与各种新闻、突发事件紧密相关。另外新闻网站一般具有访问地域性,某些图片、广告在不同地区展示效果不同。

新闻网站欲建设一个全球性的内容分发网络,绝非易事。首先,由于新闻具有高时效性的鲜明特点,内容分发的及时性尤为重要。而延时是CDN一直以来很难绕开的一个问题。其次是路由问题,远距离传输困难,国际链路延时长,易波动,极不稳定。再次,新闻的修改、删除等特殊情况,如何解决。

中新网作为知名的中文新闻门户网站,建站十余年来不断探索,在内容分发网络建设上积累了一定的经验。下面主要介绍一下中新网的全球内容分发网络的架构和机制。

四. 中新网全球内容分发网络的架构

中新网全球分发网络的分发流程(如图1所示):

1. 稿件在CMS新建、编辑,在CMS服务器生成相关文件。

2. 发送到分发服务器,由其进行统一分发

3. 采用同步分发模式,发送到链路情况相对较好的国内各个IDC镜像点。

4.采用异步分发模式,通过队列将内容传送至境外IDC镜像点。

5. 另外,同时采用rsync+inotify和定时rsync模式,将内容主动推送到境外IDC镜像点,作为“4”的有效补充,以确保镜像点数据的完整一致。

6. 主动push推送关键内容到CDN节点,如热点新闻视频、更新了的样式、js脚本等。合理设置CDN源站策略和缓存策略,遵循就近访问和最佳链路访问的原则,优化用户体验,提高网站的性能与可用性。

另外,我们对分发流程的各步骤采用了多维、全方面的监控与告警机制。包括服务器主机监控、网络设备监控、流量监控、程序监控,网络性能监控,以及人工监控等等,各层面监控相结合,发现异常立刻发送短信或邮件告警,第一时间通知相关技术人员进行处理。确保在实际应用环境中整个分发网络可靠、高效。

五. 全球IDC镜像点建设

根据上述网络架构和流程可以看出,中新网全球内容分发网络建设的第一步就是在各地部署多个镜像点。为了保证稳定可靠的网络链路、充足的带宽、快速的数据传输,互联网数据中心(IDC)的选择非常重要。

首先,IDC机房应优先选择国家骨干网络节点,以保证有较高的网络可靠性和传输质量,机房应具有较高的硬件设施和安全等级,具有良好的供电、温湿度、安保设备。

镜像点的布局和选择至关重要,要进行全局考虑、依据网站受众分布,所在国网络连通性,IDC机房之间的最大可接受延迟量等多个因素进行选择和布局。为实现网站在全球各地良好的浏览效果,应在各个重点区域部署IDC镜像点。如北美1-2个点,欧洲1-2个点,亚洲、大洋洲1-2点,镜像点建设完成后,再根据网络情况,定向提供给CDN或网民访问。

图2为IDC镜像点分布示意图。

六. 中新网内容分发网络的分发机制

为适应全球性的网民访问,将原有的网民集中性访问单一中心,调整为遍布全球的多个中心分别负责所在区域的网民访问,需要构建地理上较为分散的镜像点。为了及时、有效地进行内容分发,其分发机制必然不是简单、单一的,中新网采取一种较为复杂的多级分发机制。

1.由CMS调用同步程序,将内容发布到分发服务器,同时将内容写入队列。CMS服务器和分发服务器位于同一机房,保证可以即时到达。接下来的分发任务都将由分发服务器完成,减轻CMS服务器的压力,专注于提供新闻编辑处理的功能。

2.分发服务器调用分发程序,将内容同步到附近的IDC镜像点,同时将队列内容进行异步分发到较远距离的IDC镜像点。

由于分发的内容较多,远距离传输网络延迟较大,如果直接采用同步模式进行分发,CMS因需调用程序很有可能受到影响,阻碍了后续的正常发布。采取异步队列的方式较好地解决了这个问题。中新网目前使用HTTPSQS来实现异步分发。基于HTTP协议的轻量级开源简单队列服务HTTPSQS(HTTP Simple QueueService)是一款基于HTTP GET/POST协议的轻量级开源简单消息队列服务,使用Tokyo Cabinet的B+TreeKey/Value数据库来做数据的持久化存储。利用消息队列可以很好地异步处理数据传送和存储。我们主要利用HTTPSQS非常快速、高并发、低内存消耗、多语言支持等优点,将空间的压力通过线性化来化解。

图3为HTTPSQS原理示意图。

我们根据自身业务特点开发了HTTPSQS客户端程序,先将待同步文件列表放到队列中,再定时取队列中的内容进行分发同步,另外进行了判断:第一是由于队列中重复内容很多,同步之前要先利用数组去除相同元素,这样可以大大提高传送效率。第二点是,把待传输文件个数和rsync传输成功的文件个数进行比较,如果两个值不等,说明rsync执行出错,有部分文件没有成功传送,需要重新放入队列。

3.实际应用中发现,只采取1、2步骤进行分发,有时还是会出现数据丢失,导致镜像点浏览有时报404错误。后来增加了两个方法,加以改进。

(1)多级分发。从分发服务器A异步分发到B、C两个镜像点,A到B网络链路不错,A到C网络链路不佳,而B镜像点到C镜像点链路也不错,可以再增加一级异步分发,将B镜像点作为第二级分发服务器,向C镜像点进行分发。以此类推,如有需要可增加多级分发。这种方式优点类似路由选择,根据网络实际情况,可以进行调整、优化。

( 2 ) 多重分发 。如果上 一级分发的 异步队列 容易出现 数据丢失,为保证数据完整性,需要增加其他辅助手段。其中的一个方法是Rsync+Inotify和定时rsync相结合。Inotify是一个Linux特性,是一种文件系统的变化通知机制, 如文件增加、删除等事件可以立刻让用户态得知,该机制是著名的桌面搜索引擎项目beagle引入的,并在Gamin等项目中被应用。Inotify反应灵敏,用法非常简单,并且比cron任务的繁忙轮询高效得多。

图4为Rsync+Inotify原理示意图。

经过比较目前几个同类软件,我们选择使用开源的Sersync同步软件。

S e r s y n c是一款基于inotify + rsync的大量文件的多服务器自动同步程序。Sersync自带出错处理机制,通过失败队列对出错的文件重新同步,如果仍旧失败,则按设定时长对同步失败的文件重新同步。Sersync自带crontab功能,只需在xml配置文件中开启,即可按设置定时整体同步一次。无需再额外配置crontab功能。Sersync最近的版本增加debug功能,可以开启debug看同步的文件,便于监控查看同步效果。

S e r s y n c可以实现 一有文件 变更就进行分发,实时性比较好。与HTTPSQS相结合,使整个分发体系相对完善。

七. 其他关键点

1. 稿件查重管理模式

由于编辑众多,发稿量巨大,新闻热点集中等等,不同编辑可能会发布相同内容的文章。为避免重稿,在CMS增加稿件查重机制。编辑发布文章前,先根据标题关键字,通过内部搜索快速查重,得到稿件重复概率提示,或按照“相似度排序”的相关稿件。同时,我们再增加制度上的约束,使编辑人为性发重稿现象显著降低。

为了进一步提高效率,我们更可以将人工搜索查重进行改进,实现自动按内容进行重稿检查。我们可以将现有成熟的全文检索技术与中文分词以及词性标注技术相结合,自动从新闻稿件中提取时间要素组成关键词序列,甚至可以设计算法按文章中心思想而不是标题或某一两段相同句子来检查重稿,在全文检索系统中计算这些关键词的匹配度,并将结果以相似度高低顺序反馈给用户,从而实现对新闻稿件进行基于内容的自动查重。

2.触发机制

CMS中发布最多的是正文页(新闻通发页),每发布一篇正文,相关的很多页面也需要随之更新,如频道页、首页、更多页等等。如果全部由编辑手动触发这些页面,将非常低效繁琐。所以我们设计了类似数据库的Trigger触发机制,可以自动触发多个页面的自动生成,极大简化了发稿步骤。

另外,当大量稿件几乎同时被发布时,将会触发更多倍的相关页面,触发任务堆积在一起可能引起雪崩效应,导致页面没有更新,服务不可用等严重后果。解决方法从三点入手:1.设定各个触发页面的优先级。2.设置一个触发延时间隔,比如60s。3.将在60s内触发的内容放入列表,去除重复的发布内容,按优先级大小进行排序后再发布。实际应用发现,此法可以减少80%以上的无谓页面发布,在不影响数据更新的前提下,有效提高了发布效率。

3.缓存机制

为了减轻Web Server的压力,网站一般都会在其前端部署缓存服务器(Cache Server)。缓存服务器介于客户端和Web服务器之间,当第一次请求某个内容时,缓存服务器将请求转给后端的Web服务器,将响应的结果返回给客户端,同时自己保存一份数据。之后,当下一个相同请求到来时,缓存服务器直接从缓存中取出内容给客户端,无需向Web Server再次发送请求。Web缓存能够有效降低Web服务器、数据库的负载,提高访问的响应速度,增强用户体验。

新闻网站大部分内容均为静态内容,这对于缓存是相当方便、简单的,效果也非常理想。主流的缓存服务器有Squid,Varnish,Nginx等((如表1所示)。

简单比较一下,Varnish和Squid都是专业的Cache服务器,而Nginx功能全面,http和反向代理、负载均衡更为大家所熟知且广泛使用,但缓存功能则相对简单一些。Squid是老牌Cache服务,拥有完整的庞大的cache技术资料,和很多成熟的应用生产环境。Varnish在Squid之后推出,采用了“Visual Page Cache”技术,在内存的利用上,Varnish比Squid具有优势,它避免了Squid频繁在内存、磁盘中交换文件。同时,通过Varnish管理端口,可以使用正则表达式快速、批量地清除部分缓存。根据业务需求、缓存内容的特点,目前中新网选用Varnish作为缓存服务器的比例较大。下图为Varnish请求处理流程示意图。

第三方提供的CDN服务,Cache服务器是其中重要的组成部分,负责响应本地区域的用户访问请求。Web缓存的实现方法是多样的,但实现原理是类似的。

4. 负载均衡机制

为了保证高可用性和高性能等,一个节点单台Cache单个Web Server远远不够。负载均衡器可以监视各节点的流量、健康状况 ,根据负载策略分配请求,使各个节点协同工作。使用负载均衡技术,可以快速、有效地横向扩展网络架构,增加网络吞吐量,加强网络数据处理能力,提高网络的灵活性和可用性。

通常负载均衡可以分为两种:全局负载均衡(GSLB)和本地负载均衡(SLB)。全局负载均衡(GSLB)主要目的是在整个网络范围内将用户的请求定向到最近的节点(或者区域)。因此,就近性判断是全局负载均衡的主要功能。本地负载均衡一般局限于一定的区域范围内,其目标是在特定的区域范围内寻找一台最适合的节点提供服务,因此,节点的健康性、负载情况、支持的媒体格式等运行状态是本地负载均衡进行决策的主要依据。

就具体实现方法而言,有硬件负载均衡和软件负载均衡。硬件负载均衡一般使用F5、Netscaler等专业负载设备,软件负载均衡则通过LVS、Nginx、Haproxy、Keepalived,Heartbeat等一些开源软件配合使用。综合考虑性能、成本等因素,中新网软、硬件负载均衡皆有使用。

图6为LVS+Keepalived实现软件负载均衡的结构示意图,Nginx作为反向代理,Varnish作为Web服务器Apache前端的缓存。

5.同步检测及告警机制

正如本文一开始提出,新闻网站内容更新的及时性至关重要,也是建设内容分发网络的一个难点。为了掌握各IDC镜像点的内容更新情况,保证各地网民浏览网站均能获取到最新内容,我们编写了数据同步延迟检测及报警脚本。该脚本将各IDC镜像点的内容与CMS发布内容进行比较,设定报警的延时阀值t,若镜像点内容的发布时间-CMS内容发布时间>t,则认为该镜像点更新滞后,将触发报警,通过邮件、短信发送给技术人员。

同时,我们结合第三方网络监控系统和人工监控,尽可能比较全面的监测整个内容分发网络的数据更新情况。

八. 总结

浅谈流媒体内容分发技术 第8篇

Client-Server拓扑结构首先是Client向Server发出请求, Server收到请求后把数据直接发送到Client。这种方式的优点是具有集中管理的方便性。缺点也比较明显, 那就是当Client连接数较多时, Server的网络带宽常不能满足需求, 并且并发和并行请求的处理也引起Server不堪负荷。

在这种架构下, 采用集中计算方式, 客户端和服务器存在着明显的主从关系, 具体来说C/S结构有如下特点:

1.1该结构模型以服务器为中心, 各种各样的资源、信息和数据等都存放在服务器的硬盘上, 客户端通过网络连到服务器上检索、下载、上传资料或请求运算, 只有服务器端具有控制能力, 客户端基本上充当了一个高性能的I/O设备。

1.2服务器性能决定了网络的性能, 每台服务器所能提供的信息数量受到自身存储空间的限制, 而任意时刻它所能支持的客户端访问数量则既受到自身处理能力的限制也受到服务器所在网络吞吐能力的限制。

1.3被发布信息的分布与生存期十分稳定。服务器只发布机器所有者想公之于众的信息, 这些信息将会在该服务器上稳定地保存一段时间, 并且该服务器通常也不间断地运行在网络上。

1.4该结构的优点是被发布信息的存贮与管理比较集中、规范, 网络安全性较高。

2代理服务器技术

代理服务器 (Proxy Server) 是一种特殊类型的Internet服务器。在传统的Web应用中, 代理服务器用于扩展用户对Internet的数据访问能力。为提高代理服务的系统效率, 缓存 (Cache) 技术被引入到代理服务器中, 代理服务器将一些频繁访问的数据存贮在内存或硬盘中, 当用户通过代理服务器用户访问时, 如果数据在代理服务器的缓存中, 代理服务器就无需访问远程的服务器, 而只需通过本地缓存为用户服务。流媒体代理服务器的重要作用表现在:代理服务器承担了一部分用户访问, 有效的降低了主服务器的访问负载;可以提高用户访问的响应速度, 降低启动延迟;代理服务器离用户较近, 网络状况较好, 可以提供更好的流媒体服务;可以提高服务器的鲁棒性及节省网络资源。

然而代理服务器的主要问题在于如何保证主服务器的内容与代理缓存中的内容的一致性。即当服务器的内容更新后, 如何保证代理服务器中缓存的数据即时更新, 对这些问题的研究就产生了更智能的CDN技术。

3 CDN技术

CDN (Content Delivery Network) , 即互联网内容发布网络, 它是一个建立并覆盖在互联网 (Internet) 之上、由分布在不同区域的节点Server群组成的虚拟网络。CDN可以实现把Server的内容高效、稳定地发布到离Client最近的地方。其基本思路就是尽可能避开互联网上有一可能影响数据传输速度和稳定性的瓶颈和环节, 使内容传输的更快、更稳。通过在网络各处放置节点Server所构成的在现有的互联网基础之上的一层智能虚拟网络, CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。对用户来说, 通过CDN系统, 得到响应的时间被大大缩短, 连接质量也大大提高, 从而大大提高了上网访问的总体性能。然而, CDN高昂的部署成本始终是一个问题。

流媒体CDN的核心问题主要集中在以下几个方面, 一是缓存代理服务器的缓存机制研究, 包括缓存策略 (全部缓存、分段缓存、头部缓存等) 、替换算法和预取算法等;一是针对部分缓存策略的分发技术研究以及多代理服务器间的协作等。CDN系统的设计目标是通过将媒体缓存于距用户较近的缓存代理服务器以提高客户端的访问质量, 同时减轻流媒体对骨干网络上带宽的消耗传输成本) , 其缓存机制的设计、分发技术和多代理协作机制的研究等都是以此作为优化目标的。增加CDN系统容量的方法:一是增加各代理的容量, 但由于带宽限制, 其增加的空间极为有限, 整个系统依然受到C/S架构的因素的约束, 并且其成本也不低;二是增加代理服务器的数量, 但代理服务器的建设成本却是极其昂贵的。另外, CDN对实时数据的传输并不能起到作用。

4 IP组播技术

目前基于TCP/IP的Internet网络主要有三种传输模式:单播、广播和组播。

单播技术是一种单点到单点的数据传输模式, 这种模式也是最常见的Internet通信方式。HTTP和FTP等应用都采用这种单播模式。这种模式的缺点是如果多个用户同时请求同一份数据, 服务器必须通过网络给每个用户发送多份相同的数据。因为多媒体的数据量大, 随着客户端数目的增加, 很容易造成Server端的网络拥塞。

广播技术是一点到所有主机的数据传输模式, 服务器发送的一份数据, 将被发送到连接在网络上的所有主机。采用这种模式, 服务器只需要发送一次数据, 效率很高, 但是由于发送模式的盲目性, 数据会扩散到所有的网段而不关心网段中的主机是否需要接收。如果多媒体通信采用广播发送方式, 则大量的数据将造成“广播风暴”, 使网络通信处于瘫痪。

组播技术融合了以上两种传输模式的特点, 可以将一份数据同时发送给一组特定的用户, 避免了数据的冗余又不会盲目地造成网络带宽的浪费, 目前很多的流媒体应用都采用这种传输模式。

IP组播方式在网络上只有唯一的数据包在进行传输, 每个客户端都能接收到这个数据包, 这极大地减轻了服务器的带宽需求, 并且减轻了整个网络的负担。在这种模型中, 数据被有效地发送给对数据感兴趣的接收者。在大规模的应用中, 组播技术能够有效的节省网络带宽, 然而IP组播技术有着其自身的问题。虽然研究人员对IP组播技术做了很多研究, 并基于组播技术实现了一些应用, 如视频会议, 然而在实际的部署中, IP组播技术仍然存在一些很重要的关键问题, 主要包括:网络协议的复杂性、网络和终端系统的异构性、组播的可靠性。

4.1网络协议的复杂性

IP协议在现实中能够成功的应用和流行, 其中最重要的原因就是协议的简单性和健壮性。IP协议的设计遵循了端对端设计中的简单性原则, 使Internet的核心网络层保持简单、健壮并且易于理解, 而让其上层的协议提供其它复杂的服务。IP层只是简单地提供best effort的服务, 而传输可靠性、拥塞控制和流量控制等都由上层负责。然而, 组播要比单播复杂得多而难以部署。首先, 组播模型中缺乏有效的组管理。Internet缺少对于网络层的访问控制, 导致任何匿名的用户可以加入某些特定的会话组。任何用户都可以通过给一些著名的组播会话中的节点发送一些无用的信息发起拒绝服务攻击。虽然拒绝服务攻击在单播服务中也存在, 然而在组播系统中会严重得多。第二, 路由器需要维护组播中每个session的状态, 这不但增加了路由的复杂性, 同时也导致了路由的扩展性。第三, 组播要求给每个session分配一个全球唯一的组地址。组地址分配机制的缺乏将导致session间的地址冲突。第四, 组播监视和调试工具的缺乏导致难以管理。

4.2网络和终端系统的异构性

虽然组播能够有效地提高系统效率, 很多网络应用能够从组播服务中受益, 然而Internet是一个异构网络, 在异构环境中, 组播仍然存在一些问题和挑战。异构性表现在很多方面, 包括网络和终端。Internet的底层硬件平台千差万别, 可以是以太网、ATM, FDDI、令牌环网、帧中继、串行链路 (PSTN, xDSL) 、无线网络、卫星网络、移动网络等, 这些底层网络具有不同的带宽、硬件存取控制方式和时延特性, 在多链路情况下, 各链路的带宽与代价也可能不同。另外, 某些网络平台的数据链路具有非对称性, 比如xDSL和卫星网络。终端主机的硬件处理能力和操作系统各不相同。就操作系统而言, 主要操作系统包括UNIX, Windows, MacOS和OS2等以及各自不同的版本, 对IP组播的支持程度和进程调度与管理、TCP/IP的实现方式和API都存在差异。

此外, 互联设备具有差异性。路由器、交换机、网络服务器在包转发率、支持的路由协议的互操作性上存在差异。这些异构性都导致了实现IP组播网络中的复杂性。由于多个用户共享同一个通道, 组播虽然在网络效率上要远高于单播, 然而单通道的组播的用户只能接收同样的数据, 不能同时满足不同用户的不同需求, 单通道组播缺少扩展性。

4.3组播的可靠性

在组播中, 数据包的传输可靠性和单播中是一样的, 都只提供best effort服务, 然而上层系统为组播提供可靠性传输、拥塞控制和流量控制等服务要比为单播提供这些服务复杂得多。在单播中, 传输的可靠性、有序性和拥塞控制等基本上都已经在TCP里实现了, 而组播中, 不同的应用对可靠性、拥塞控制和流量控制有不同的需求, 这就使实现这些服务非常的复杂

参考文献

[1]秀慧.《计算机网络安全管理》清华大学出版社, 2003

船舶信息系统的数据分发与存储设计 第9篇

关键词：数据分发服务,非关系型数据库,发布/订阅,船舶信息系统

0 引言

船舶信息系统是利用计算机、通信、网络、自动控制等技术, 将相对独立的各个分系统纳入到统一的信息网络中, 实现信息集成, 集监测、控制、管理于一体的网络化、信息化综合系统[1 - 3]。由于船舶平台的各分系统采用不同的监控技术、通信标准和来自不同的制造商的监控设备, 给平台综合管理系统的信息集成设计带来了巨大的困难。而且随着实时性的需求越来越高, 在信息集成的同时, 必须保证各个子系统之间数据实时交互。目前, 船舶信息系统采用的客户机/服务器模型 ( 如CORBA[4]) 和消息队列模型 ( 如JMS[5]) 等模型虽然可以实现系统内部之间的互连、互通和互操作, 但针对船舶信息系统中越来越高的实时性应用需求, 仍存在通信的实时性、快捷性和灵活性问题。为了满足分布式实时应用的通信需求, 对象管理组OMG公布了全球第一个用于发布/订阅[6，7]数据分发服务DDS[8 - 10]的新规范。DDS为各种不同类型的分布式应用提供了数据通信模型, 能促使数据实时、高效地分发。

同时日益复杂的船舶信息系统, 伴随着通信分系统的扩充、通信节点的增加, 通信数据量日益加剧, 历史数据量成爆炸性趋势增加, 这些数据资源对存储系统的存储空间、存储可靠性、数据访问性能等方面的要求越来越高。目前, 船舶信息系统主要采用关系型数据库 ( 如SQL Server、DB2、Oracle等) , 随着数据爆炸性的增长, 这些传统的基于关系型的数据库的存储系统己经远远不能满足船舶网络综合信息系统对数据存储和管理的需求, 因此, 非关系型的数据库No SQL[11 - 13]现在成了一个极其热门的新领域, 发展非常迅速。

针对船舶系统集成中通信的实时、高效性问题和海量历史存储问题, 本文在对DDS进行深入分析和研究的基础上, 设计了以数据为中心的船舶信息系统数据分发服务模型, 并结合No SQL数据存储, 提出一种海量历史数据的存储、管理方法。最后搭建了平台仿真系统实现了基于DDS的船舶信息数据分发系统及其存储方案, 满足了信息集成系统的通信实时、高效性需求和海量历史数据的有效存储、高效查询。

1 基于Open DDS的船舶信息系统数据分发

1. 1 船舶信息系统数据分发服务

通过深入分析OMG发布的数据分发服务 ( DDS) 规范, 以开源Open DDS[14]产品为基础, 对其进行优化和封装后, 设计了一种以数据为中心的适合船舶信息系统的分布式实时通信的数据分发服务模型, 满足船舶信息系统的数据分发需求, 将采用不同监控技术、通信标准和来自不同制造商的监控设备的船舶分系统 ( 如航行、电站、损管、推进) 集成起来, 并实现了数据的高效、实时分发。

Open DDS中以数据为中心的发布/ 订阅模型构建了一个共享的全局数据空间的概念, 负责完成数据的发布、订阅, 以及相关服务质量的控制保证等。任何对该空间中的数据感兴趣的应用程序都可以通过接口接入: 向这个数据空间提供信息的应用程序通过声明意图可成为“发布者”, 从数据空间中获取数据的应用程序通过声明订阅意图和感兴趣主题成为“订阅者”。每当发布者将新数据发送到全局数据空间, 全局数据空间就会将感兴趣的订阅者与之进行关联, 把信息传送给所有感兴趣的订阅者。

船舶信息系统数据分发模型如图1 所示。船舶信息系统中节点的角色主要分为3 部分: ( 1) 发布各个分系统数据的数据源节点; ( 2) 订阅各个分系统数据的订阅节点; ( 3) 管理数据交互的监测节点。一个节点也可以起到3 个角色的作用, 即可以在发布、订阅数据的同时监测交互过程。根据角色需求, 数据分发服务中间件主要提供3 种接口: 发布接口、订阅接口和监测接口。

负责发布数据的船舶应用程序即数据发布者, 为不同分系统的数据构建主题, 然后通过发布接口建立实体对象将数据推入数据分发服务中间件中; 负责订阅数据的船舶应用程序即数据订阅者, 通过订阅接口建立实体对象, 到数据分发服务中间件中订阅感兴趣的主题; 负责监测交互过程的节点, 直接到数据分发服务中间件中订阅内置的主题, 当有主题、数据发布者、数据订阅者等通信实体进入数据分发服务中间件时, 监测节点就可以监听到消息、获得交互信息。

1. 2 船舶分系统数据发布和订阅流程

在上述构建的船舶信息系统中, 各个分系统的数据发布和订阅的流程如图2 所示。数据分发服务中间件的数据模型由“主题 ( Topic) ”和“类型 ( Data Type) ”标识。“主题”是惟一标志某种数据的标志符。“类型”则提供了中间件如何操纵这些数据所需的结构信息, 同时也允许中间件提供一定的类型保护措施。发布数据的应用需要注册声明为“发布者”, 注册时需要声明其发布的数据类型、主题号, 以及提供的服务质量 ( Qo S) , 然后针对每个数据类型创建相应的数据写入者, 将数据推送到中间件中。类似的, 获取数据的应用则注册声明成为一个“订阅者”, 注册时需要描述其需要的数据类型、主题号、以及要求的服务质量, 然后针对每个数据类型创建相应的数据读取者来获取数据。中间件根据双方的数据类型、主题号以及服务质量来进行关联, 若匹配则建立数据链路, 这样每次发布者将新的数据对象推送到中间件, 中间件将把数据正确地分发给所有的订阅者。

具体步骤如下所示: ( 1) 发布者在数据分发服务中间件上注册数据类型; ( 2) 返回; ( 3) 发布者通知数据分发服务中间件生成主题, 数据分发服务中间件根据数据类型定义主题并设置服务质量; ( 4) 返回; ( 5) 发布者根据数据类型创建相应的数据写入者 ( Data Writer) , 每个数据写入者只专注于应用程序的一种数据类型; ( 6) 返回; ( 7) 订阅者向中间件发出请求, 直接声明感兴趣的主题或在中间件中查找; ( 8) 返回; ( 9) 订阅者根据数据类型创建相应的数据读取者 ( DataReader) , 每个数据读取者只专注于应用程序的一种数据类型; ( 10) 返回; ( 11) 订阅者订阅主题, 中间件保存订阅信息; ( 12) 返回; ( 13) 中间件根据发布和订阅同一主题的双方的Qo S进行关联: 如果发布者提供的Qo S满足订阅者要求的Qo S, 匹配成功, 进入下一步; 否则不进行数据传递过程; ( 14) 关联的发布者和订阅者之间直接进行数据发布和传递。

1. 3 数据分发服务的通信过程监测

在数据分发服务的通信过程中, 发布者和订阅者是以通信实体的形式参与, 并且每个实体都有相应的Qo S绑定。这些通信实体包括: 主题 ( Topic) 、参与者 ( Participant) 、发布者 ( Publisher) 、订阅者 ( Subscriber) 、数据写入者 ( Data Writer) 和数据读取者 ( Data Writer) 。为了实时监控通信过程中实体的状态及其变化, 基于开源Open DDS在全局数据空间中封装了监控接口, 对通信实体及其交互关系、状态进行实时监测。对于每种通信实体, 数据分发服务中间都有相应的内置主题, 具体如下:

Built In Topic_Topic: 主题的内置主题, 发布或订阅的数据的标志符。

Built In Topic_Participant: 参与者的内置主题, 发布者和订阅者都是以参与者实体进行通信。

Built In Topic_Publisher: 发布者的内置主题, 发布者是一个负责分发数据的对象, 它可以发布不同类型的数据。

Built In Topic_Data Writer: 数据写入者的内置主题, 数据写入者是发布者的一个类型化的接入者。

Built In Topic_Subscriber: 订阅者的内置主题, 订阅者是负责接收已发布的数据并使接收方的应用程序能够获得此数据, 它可以接收并分派不同类型的数据。

Built In Topic_DataReader: 数据读取者的内置主题, 数据读取者是订阅者的一个类型化的读取者。

负责监测的应用直接订阅这些内置主题, 订阅流程同普通主题的订阅流程。每当有参与者、主题、发布者、订阅者、数据写入者或数据读取者进入船舶分发服务中间件时, 订阅这些内置主题的订阅者会收到相应通信实体的实体信息数据及相应的服务质量, 如果是发布者/订阅者, 则可以收到与其关联的订阅者/发布者信息。

2 海量历史数据的存储设计

为了将订阅到的数据进行数据持久化以保留历史数据以待查询、分析, 针对订阅的历史数据随着时间推移以爆炸性的趋势增长, 设计关系型数据库 ( RDB) 和非关系型数据库 ( No SQL) 相结合的混合分布式存储架构Hybrid DB: 当日的数据存储在传统的关系型数据库中, 以便快速查询; 历史数据存储在非关系型数据库中, 便于海量数据的持久保存、高效查询, 以及系统和数据的易扩展。存储系统的设计如图3 所示。

应用程序查询数据时, 具体查询步骤如下所示:

( 1) 用户的查询首先被传到查询引擎模块, 查询引擎对查询语句进行时间解析: 如是当日日期, 进入关系型数据库查询;如是历史信息, 进入非关系型数据库查询。

( 2) 查询引擎解析完后, 调用存储服务与数据库进行查询交互, 获取数据, 返回给用户。

Hybrid DB包含传统的数据库服务: 日志服务、事物服务和缓存服务, 并且包含数据拷贝模块。数据拷贝模块负责历史数据的拷贝加载工作, 即定期将关系型数据库中的数据加载到非关系型数据库中。为了提高海量数据的加载效率和性能, 数据拷贝模块采用分布式MapReduce算法。MapReduce算法的计算框架和逻辑如图4 所示。MapReduce算法是一个框架模型, 主要是通过简单的接口来实现自动的并行化和大规模的分布式计算, 通过使用MapReduce模型接口实现在大量普通的PC机上高性能计算。计算过程由称为Map和Reduce两部分用户程序组成, 然后利用框架在计算机集群上面根据需求运行多个程序实例来处理各个子任务, 然后再对结果进行归并。当调用MapReduce函数, 具体计算过程如下所示。

( 1) 用户程序首先调用MapReduce库将输入的RDB存储分成M个数据片度, 然后用户程序在机群中创建大量的程序副本。

( 2) 这些程序副本中有一个特殊的程序: 主程序。副本中其它的程序都是工作进程 ( 运行在工作机上) , 由主程序分配任务。有M个Map任务和R个Reduce任务将被分配, 主程序将一个Map任务或Reduce任务分配给一个工作进程。

( 3) 被分配了Map任务的工作进程将读取RDB存储片度的数据, 从输入的数据片段中解析出key/value对, 然后把key/value对传递给定义的Map函数, 由Map函数生成并输出中间key / value对, 并存储在本地磁盘中的中间文件中。

( 4) 中间文件在本地磁盘的存储位置被传递回主程序, 主程序负责把这些存储位置传送给Reduce工作进程。

( 5) 当Reduce进程收到这些存储位置信息后, 使用RPC从Map进程所在的磁盘上读取这些数据。当Reduce进程读取了所有的中间数据后, 通过对key进行排序后使得具有相同key值的数据聚合在一起。

( 6) Reduce进程遍历排序后的中间数据, 对于每一个唯一的中间key值, Reduce进程将这个key值和它相关的中间value值的集合传递给Reduce函数。Reduce函数的输出被追加到所属分区的No SQL存储片区中。

3 系统仿真实现验证

为了验证DDS技术和分布式存储技术在船舶信息系统上的应用可行性, 本文以船舶信息系统中的电力分系统、损管分系统、船桥分系统和舰长终端系统为例, 搭建了一套基于DDS和分布式存储的船舶信息仿真系统。系统仿真实现如图5 所示。

“数据源模拟-发布”是船舶信息系统的数据发布方。驾驶数据通过仿真控制台上的驾驶模拟器硬件设备模拟产生, 电力分系统、损管分系统和船桥分系统中的数据通过程序模拟产生。应用程序采集、解析模拟的数据, 为不同数据构建相应主题, 将数据发送到数据分发服务中间件中。

“数据显示-订阅”是船舶信息系统的数据订阅者。他们依角色登录, 订购各自感兴趣的数据。航行观测终端只订阅航行数据; 雷达观测终端只订阅雷达数据; 综合船桥终端订阅船桥分系统发布的所有设备数据, 包括GPS、测深仪、电罗经、计程仪和风速风向仪设备的数据; 损管观测终端订阅损管分系统发布的所有设备数据, 包括吃水、综合消防、火警探测设备的数据。其中舰长终端可以灵活地订阅各个分系统的数据, 对全部数据进行监测和统计。

“数据分发管理中心”监控发布方和订阅方的参与实体及其状态变化。包括主题、发布者、订阅者实体及其服务质量信息, 以及发布者和订阅者的匹配关系。

“数据存储管理”负责实时数据和历史数据的存储和管理, 当日的数据存储到关系型数据库中, 历史数据存储到非关系型数据库中。这里的关系型数据库采用SQL Server, 非关系型数据库采用Mongo DB, 是由5 台虚拟机组成的机群进行存储和管理的。每日的23: 00 将当日的数据从SQL Server导入到Mongo DB中。

利用上述的数据分发服务平台和混合存储数据库方案, 实现了船舶信息系统的集成, 各个系统之间能够灵活的通过发布/订阅进行数据分发, 消除了系统之间的紧密耦合性; 实现了海量历史数据的持久存储、高效查询, 以及数据存储系统的易扩展。

4 结语