IP存储范文

IP存储范文（精选6篇）

IP存储 第1篇

IP存储 (Storage over IP简称为SoIP) 是以高速以太网连接为基础, 通过IP协议进行数据交换的存储技术, 它将SCSI协议映射到TCP/IP协议上, 使得SCSI的命令、数据和状态可以在传统的以太网上传输, 其支持以数据块形式进行I/O访问和共享存储。它采用iFCP和iSCSI协议, 而光纤通道已经包含了SCSI协议, 这种方法不必进行大的技术改造, 就能满足SCSI协议的要求。

基于以太网的存储连接方式, 具有结构简单, 部署容易, 建设与后期维护成本低廉的优点, 一直是应用面最广泛的连接方式。同时, 在广播电视行业随着基于CPU+GPU结构的纯软非编的不断成熟, 通过在应用层使用大缓存机制, 使非编工作站、甚至整个视、音频制作网络使用纯以太网作为网络结构成为了可能。作为封闭的专有网络, FC协议存在着成本高昂、互操作性差、难以部署等众多不足之处, 而整个IP存储的平台是一个开放的标准化的平台, 以太网存储采用开放的通用标准, 不需要额外的投入和管理, 便于用户节省初次建设以及管理维护的成本。以往, 用户对采用以太网的犹豫和质疑更多的来自于对其性能的担忧, 当以太网传输迈入10Gb时代后, 对于其性能方面的顾虑已经大大减小, 用户在采购的时候会更多地考虑IP存储。

2007年4月, 以Brocade、Cisco、EMC为首的9个厂商组成的一个网络存储工作小组提出了一项新的标准, 旨在通过以太网直接传输光纤协议, 即FC over Ethernet (FCoE) 。这项技术标准已经被提交给美国标准协会 (ANSI) T11委员会审批。FCoE网络存储工作小组的成员厂商包括:Brocade, Cisco, EMC, Emulex, IBM, Intel, Nuova, QLogic和Sun Microsystems等众多厂商。FCoE面向的是10Gb以太网, 其应用的优点是在维持原有服务的基础上, 可以大幅减少服务器上的网络接口数量 (同时减少了电缆、节省了交换机端口和管理员需要管理的控制点数量) , 从而降低了功耗, 给管理带来方便。此外它还提高了系统的可用性。根据FCoE的路线图, FCoE标准将在今年批准, 10Gb的FCoE产品可望在2009年出现。

正因为如此, 近年来, IP存储产品市场持续升温, 各大厂商纷纷推出了各自的解决方案与相关产品, 并代表了不同的技术路线与方向。本文针对现有的比较成熟的IP集群存储技术, 选取了代表不同技术实现方式的典型产品进行比较, 从一些基础数据的测试中分析其优缺点, 为最终用户提供一些参考。

一技术分类

基于IP的集群式存储产品可以分为两大类集中式与分布式, 二者的特性及优缺点比较见表1。

1. 集中式分类

在集中式中, 有两种不同的实现方式, 一种是使用标准协议, 另外一种使用私有协议来提高传输效率、降低管理、维护的工作量, 二者的技术特征等数据参见表2。

2. 分布式分类

与集中式相似, 分布式结构也可细分为两类, 其最大的区别也在于客户端是否需要安装驱动程序 (见表3) 。

二测试和比较

为说明问题, 下面选择HP EFS、StorNext 3.0+UIT、ImageSAN、ISILON、MediaGrid这几个代表不同技术方向的产品进行测试, 测试分为共性测试和特点测试, 共性测试内容为:极限读、写性能、大IOPS性能等。特点测试是根据所选择的产品的技术特点而进行的针对性测试。

测试系统连接示意图如图1所示。

测试环境:

●服务器:DELL 2650/2003Server;

●以太网交换机:HUAWEI Quidway S5600;

●工作站:方正尊越P4 2.8/1GB内存/1000M TP-LINK RJ45接口网卡;

●测试软件:SOBEY StorCube。测试产品配置见表4。

1. 基础数据测试

测试采取主机优先的方式。即在每台工作站优先启动一个线程, 对存储进行读写, 当全部客户端都开始工作, 其压力依然不能达到存储最大值后, 再在客户端上开第二个进程, 以此类推, 等待所有任务开始执行后, 记录稳定的数据。

(1) Isilon

共3个存储节点 (36个磁盘) +2个网络加速节点。从图2中可以看出, Isilon在3个节点时的最大读性能发生在25个线程时;最大写性能发生在25线程;客户端读热点数据时有更好的性能表现, 写性能与客户端数量关系不大。总结的测试结果见表5。

(2) MediaGrid

共12个节点 (48个磁盘) , 版本1.2。MediaGrid在12个节点时的最大读性能发生在25个线程时;最大写性能发生在20线程 (参见图3和表6) 。客户端开多个线程读同一个文件时会失败。

(3) Avid

共1个节点 (32个磁盘) , 以Avid为测试产品的测试结果参见图4和表7。

(4) HP EFS (少了1个头的数据)

两个NAS头, 每个NAS头上有3个1000M接口, DNS方式的负载均衡。HP EFS最大读性能发生在20个线程时;最大写性能发生在20线程。读性能在线程数增加时有较明显的下降, 结果参见图5和表8。

(5) 容错性

对各品牌测试产品进行容错性测试的结果见表9。HP与A v i d产品均为一个盘箱, 故没有做盘箱测试。I s i l o n与MediaGrid无NAS头概念。

2. 测试总结

(1) 读写性能数据汇总

Isilon、MediaGrid、HP EFS、Avid产品的对外网络接口速度都远大于极限读写的性能 (见表10) , 因此网络不会成为性能的瓶颈, 而StorNext结构中, 由于只使用了3个NAS头, 因此其读写性能受限于网络接口。从原理分析, 其极限读写速度应近似于后端存储的性能, 随着NAS头数目的增加, 其极限读写性能也会相应增加。

(2) 大IOPS性能

表11中的数据是1000个进程同时往存储里读、写8M的文件情况下得出的。在StorNext LAN Client环境下, 在大IOPS时, 3个LAN SEVER同时蓝屏, 复测两次都是同样的结果。 (3) 测试结果分析

从测试的结果看, 由于Isilon使用标准协议, 客户端不需要安装驱动, 系统部署与维护的工作量小, 其内置的管理功能更为完善, 在大IOPS的情况时, 各客户端的访问速率波动小, 特别适宜于在客户端数量巨大的应用中部署 (如低码率编辑) 。

三总结

IP存储依托于高速发展的以太网技术, 它起点高, 发展也相当快, 从2003年诞生时的千兆, 到2007年推出了万兆, 不到五年时间, 速度就提升了10倍。照此发展, 预计到2011年, 整个IP的速度将会达到10万兆, 真到了那个时候, IP存储将会迎来一个新的发展阶段, 它在广播电视行业的应用也将开创一个全新的局面。

IP存储 第2篇

路施工铺设的旧小区, 可将原有电缆进行一定的改进, 完成宽带接入。对于新小区可应用以太无源光网同LAN结合的布设方案, 可利用五类双绞线进行连接, 实现光纤到楼、到户, 完成高效、快速的有线电视网络连接应用。

3 EPON技术应用策略

有线电视网络应用EPON技术阶段中, 应确保运行服务系统之中核心层同汇聚层网络端口具备千兆级别的比特率。运行系统骨干层中的交换机设备其处理能力则应在每秒100Gb以上。同时交换机进行数据信息的处理工作效率应近似100 Mpps, 进而有效确保EPON技术体现高效的信息数据传输、接收以及无障碍处理应用信息功能, 并持续的拓宽市场应用服务业务。当前, 信息化社会发展进程中, 呈现出的数据信息流量分布、总体容量与突发性故障均无法做出准确预测的问题, 该类影响会导致有线电视网络进行信息数据传输过程中, 较易引发信息阻塞, 并导致突发出现网络对存储的技术要求, 我们称之为IP集群存储技术。

IP集群存储技术, 兼具了传统SAN的高性能和传统NAS的数据共享优势, 为新的数据应用方式提供了更加先进的结构平台, 使企业在制定和实现“安全数据存储”的策略和方案时, 有了更多的选择空间。与传统存储构架相比, 拥有诸多优势, 高吞吐量、高I/O带宽, 较强的数据安全性设计, 支持ScaleOut系统架构, 存储扩展方便, 支持标

应用的高峰拥挤状况。倘若在此时期, 有线电视服务网络无法为社会大众提供优质服务, 确保网络信息的畅通无阻传输, 便会造成较严重的负面影响, 令自身信誉受损, 并给广大用户带来麻烦。为此, 有线电视网络应用EPON技术阶段中, 应位于系统骨干层以及汇聚层的交换机设备位置装设路由, 完善QQS安全保障, 进而最大限度保持有线电视网络数据信息、节目播出的流畅、高效。同时有线电视网络系统应创建健全合理的用户身份校验认证机制, 进而全面预防非授权用户的入侵, 杜绝数据信息被损毁破坏。同时有线电视网络服务机构应创建可行性管控体制, 确保EPON技术整体运行管控的可靠安全。例如, 创建各类网络运行管控、设备仪器维护管理体制等。伴随网络信息、计算机技术的快速发展, 为跟上时代形式, 全面满足受众需求, 有线电视网络应用设备仪器应体现良好的冗余性, 并充分重视各类数据信息的服务传输、汇总接收任务, 准传输协议和私有传输协议, 既有文件级的访问方式, 也有数据块级的访问方式, 集群文件系统可以部署在网关服务器上, 也可部署在存储节点上等等。当然, 集群存储还有一个最明显的特点就是使用以太网络构建, 可以在真正意义上组建全台网络, 而不会像SAN存储网络那样形成一个又一个的存储孤岛, 也不会像传统NAS存储一样造成网络的拥塞。简单的网络架构, 更大的容量, 更高的带宽, 完全冗余的安全机制, 都是

做好动态路由设备的比选应用。应全面提升服务质量, 以人为本, 主力应对并科学解决数据信息传输过程中的延时问题, 预防信息丢失, 实现科学发展。

4 结语

总之, 基于有线电视网络工作服务重要性, 针对EPON技术综合优势特征, 我们应探究其关键技术功能, 制定科学的技术应用方案与实践策略, 方能营造畅通、安全、可靠、优质的有线电视网络服务应用环境, 满足大众丰富需求, 激发EPON技术综合效能价值, 并促进有线电视网络系统的优质、全面与持续发展。

参考文献

[1]王孝杰.农村有线电视网络改建的规划和实施[J].价值工程2010, 29 (15)

[2]陆奎, 范虎.基于EPON技术的煤矿信息网建设的研究[J].安徽理工大学学报 (自然科学版) , 2011, 31 (1) .

(河北广电信息网络集团股份有限公司汉沽管理区分公司, 天津

301501)

IP集群存储的特点。

广电视音频领域对于存储的使用更关注高速的归档迁移带宽以及稳定的视频流读写能力。高并发的I/O密集型应用并不是很多, 而且随着高清时代的到来, 视音频文件的体积越来越大, 1小时百兆码率节目的体积在45GB左右。此外, 经过多年的发展, 广电视频行业对于网络设计方面的要求也发生了变化。电视台不满足一个个的制作孤岛或者媒资孤岛, 希望能组建全台网体系, 实现不同业务子网的互联互通, 实现高效的自动化工作流。SAN存储架构在实现系统互联时, 不光要打通FC网络链路, 各自SAN网间文件系统的互访也是个棘手的问题, 特别是异构文件系统间的互访, 这种情况基本上只能通过架设数据访问网关的方式来实现不同SAN网络的数据交换。从技术架构上, IP集群存储可以避免上述复杂的系统设计。但从具体的产品特性上看, IP集群存储和视音频应用的配合还不是十分契合。目前, 在视音频应用的业务场景下, 考虑到技术的可行性和集成的性价比, 播出二级近线存储和视频收录网, 以及新闻快编制作网比较适宜集成IP集群存储。

对于播出系统的二级近线存储而言, 其承担着播出系统的节目备播存储任务。在节目播出的前三天或一周内, 播控系统的备播模块会利用ESB+EMB的互联平台, 把制作域或媒资域的节目迁移到本域的二级近线存储。此后, 播控系统的迁移工作站根据需要将二级近线存储体内的节目上传到播出服务器的硬盘内, 以便视频服务器可以实现本地安全播出。考虑到播出系统对安全生产的苛刻要求, 二级近线存储系统的设计应本着架构简单和数据安全的原则。首先, 应避免二级存储罢工导致节目上传服务器失败;同时, 应避免二级存储上的数据丢失影响节目播出;此外, 一旦二级近线存储发生局部损坏, 应具有较快的系统自愈能力, 可以在较快的时间内完成不完整数据块的重建与校验。由于近线存储仅仅是数据的迁入迁出, 和视音频的关联较弱, 故在性能上对存储的要求不是非常苛刻。IP集群存储可以很好地满足播出系统对二级存储的要求, 而且考虑到未来系统的扩展能力, 采用Scale-Out架构的集群存储可以为未来的系统扩展预留富有弹性的扩展能力。对于收录系统而言, 其在线存储区需要具有较大的存储空间, 以配合长时间的并发收录任务。目前高清收录一般采用IBP 50Mb/s或I-FRAME 100Mb/s, 如果采用百兆码率进行收录, 单进程每小时的节目存储量在45GB左右, 如果收录站点数量较多, 其节目存储量相当庞大, 故采用IP集群存储可以解决收录系统对同一命名空间的大容量需求。此外, 虽然采集应用属于实时性I/O操作, 但单机任务并发少, 一般都是单路采集或者双路采集, 故收录网整体带宽需求不高, IP集群存储可以胜任收录网的业务。对于新闻系统而言, 由于该系统业务运行注重快速、安全、高效, 节目制作环节往往仅进行简单的剪辑和配音, 便经过串联单编辑后进入最终的新闻播出环节。每台新闻快编工作站往往只需要进行1~2层的实时编辑, 故对中心存储体的实时性能要求不很苛刻。同时, 采用IP集群存储后, 新闻中心的IT系统将得到较好的简化, 单网架构易于维护, 在新闻系统出现问题时易于排查。此外, IP集群存储具有多种数据访问方式, 包括:CIFS、NFS及FTP, 位于世界各地的记者可以通过FTP协议将第一手的新闻素材快速回传到本部的中心存储体上, 提升新闻报道的时效性, 对于新闻中心来说无需再架设和维护FTP服务器, 减少系统建设成本和维护负担。此外, 对于目前的视频网站等新媒体应用也较为适宜采用IP集群存储。在视频网站或视频点播应用中, 媒体服务器负责响应客户端发来的流媒体播放需求。媒体服务器接收到请求后, 或者进行广播前, 都要读取在线盘阵上的视频文件。大量媒体服务器的同时工作会对在线存储体的并发I/O处理能力提出较高的要求, IP集群存储的多控制器设计可以满足高并发的I/O请求。一旦日后业务增加, 存储无法响应过多请求, 也可以通过扩展集群节点来增加在线存储体的I/O处理能力。同时, 由于网络视频点播或广播要求在线存储体内的素材长年在线不得删除, 故在线存储区的可用空间会越来越小, 一旦空间饱和将无法支撑全新节目存储播放, IP集群存储具有超大的命名空间可以随时进行容量方面的灵活扩展, 从容应对新媒体应用不可预知的数据增长。所以, IP集群存储最为适宜在网络视频点播及广播等新媒体应用中集成。对于传统视音频行业的非线性编辑制作应用以及大型媒体资产管理应用, IP集群存储由于其自身的技术缺陷, 故暂无法得到大面积的普及。对于非线性编辑制作应用, 由于IP集群存储的网络延迟较大, 故无法实现大规模的多机并发编辑业务。此外, 目前千兆以太链路的单通道带宽较低, 无法支撑较复杂的节目制作。故在大型非线性编辑制作网络中不适宜采用IP集群存储。对于媒体资产管理系统应用, 为了避免数据流磁带机欠载工作所带来的带机寿命下降, 建议在大型媒资系统中选择FC-SAN架构。如果要集成IP集群存储, 则最好选择带10Gb接口的IP集群存储, 同时迁移服务器配备和存储端口相同10Gb标准的万兆以太网卡, 提升迁移服务器的迁移性能, 确保磁带机可以满负荷运转。

IP集群存储技术作为新兴的先进技术, 除了具有网络架构简单, 扩展灵活和安全可靠的优势外, 同时也面临着网络延时较大, 负载均衡算法有待优化等问题。因此, 在考虑选择新型集群存储之前, 需要分析特定广电业务系统的特点, 以此来确定该业务系统是否适宜集成IP集群存储。随着以太网技术的蓬勃发展, 相信IP集群存储一定会不断改善自身的缺陷, 在日后成为广播电视系统视音频存储方案中一个重要组成部分。

摘要：对IP集群存储技术进行了分析探讨, 针对目前广播电视媒体存储的现状, 和对未来存储发展的要求, 对其能否适用于广电系统进行了细致的总结。

关键词：IP集群存储,SAN,NAS,存储构架,近线存储,网络

参考文献

[1]郑毅, IP集群存储技术特点, 硅谷, 2011年1月

IP存储 第3篇

目前以太网在广电系统中广泛应用, 其具有结构简单、建设维护成本低、扩展方便、容灾能力强的优势。在广电系统拥有足够IP资源的支撑下, 大型纯以太网视频制作编辑网络、数据安全交互平台、远程新闻回传系统、自动网络收录系统将得到更大的规模应用。

但是目前电视台内部普遍存在多个局域网、多套系统, 如收录网、制作网、新闻网、媒资网、广告网、播出网等等, 形成多个孤岛, 无法充分利用、共享整个系统中的各种数据资源, 如何充分利用这些大数据, 实现全台一张网, 是节约成本, 提高工作效率的关键。

随着新媒体的快速发展, 节目频道数目的大量增加, 节目数据规模的不断扩大, 在播出节目中有相当一部分节目需要在不同的频道播出, 如广告素材、宣传片和电视剧等。这些节目素材占据播出服务器宝贵的存储空间, 由于播出服务器在线存储空间有限且扩容困难, 造成这些节目素材反复删除、重复上载, 同时也增加了节目管理的难度, 为了解决上述矛盾, 必须建立成本较低同时速度相对较快的二级近线存储。IP集群的存储使得这一目标变得更加简便易行, 能够建立安全高效的二级近线存储体系, 充分的满足硬盘播出系统的需求。

二、IP集群存储的定义

IP集群存储, 就是使用标准的TCP/IP协议, 通过以太网将各个平台的存储设备进行整合, 实现数据的快速传输、共享和存储。

三、IP集群存储的工作原理

播出系统牵涉到广电的各个部门节点, IP集群存储是由多个空间管理的存储节点所构成的。写入数据时, 数据被拆分为多个片段, 存储在所有的存储节点上, 每个存储节点基于IP的访问服务连接到以太网交换机。工作原理如图1。

四、硬盘播出系统IP集群存储的要求

1. 广泛兼容, 迁移快捷

由于硬盘播出系统每天播出大量电视节目, 为满足这些节目能快速传输、迁移的需要, IP集群存储的设计是面向通用的硬件和软件环境, 使用广电系统广泛使用的以太网络作为数据传输通道可以充分利用现有的环境, 无需做出过多的改造。不同的设备提供商的产品均采用统一的网络接口, 通过交换机连接不同的客户端和节点。采用标准TCP/IP协议的设备均可接入和使用IP集群存储。对于客户端来说, 增加节点或减少节点只是存储容量和性能发生变化, 不会影响业务的连续性。当存储机房需要升级改造时, 可以通过减少节点的方式保证不会影响正常的播出需求。

2. 更安全, 更简易

基于播出数据安全性方面的考虑, 播出系统中设置了相应的安全等级, 保证播出系统的绝对安全

1) IP集群存储系统可以同时使用多条高速数据通道, 可消除网络层的单点故障, 进一步提高系统的高可用性。在这样的情况下, 当出现存储服务器故障、网络中断、磁盘损坏时, 能够保障数据完整性和数据服务的持续运行成为必须。例如, 在运行中存储服务器由于磁盘损坏而丢失了该磁盘上的部分数据, IP集群存储系统将会立刻发现该异常并自发的启动数据恢复流程, 利用存放于其它存储服务器中该部分数据的校验数据重新生成一份以保证数据能够尽快恢复, 不影响播出的需要。

2) 由于该数据恢复是基于真实丢失的数据, 并且数据恢复是通过整个存储集群同时并发进行, 所以相对于传统的RAID技术具备更快的数据重建速度, 这也能够有效提升数据的安全性。

3) IP集群存储系统的用户可以在任何地方进行操作而不用安装任何专门的软件。用户可以通过简单培训, 即可进行操作。

五、IP集群二级近线存储的构建

播出系统的二级近线存储承担着播出系统的节目备播存储任务。在节目播出前的一周内, 播控系统的备播模块会通过迁移网把制作域或媒资域的节目迁移到本域的二级近线存储。然后技审系统会审核素材的内容、查看节目是否符合规定, 最后上载系统会将审核通过的素材上传到在线播出服务器。

在了解二级近线存储在播出的重要作用后, 可归纳出二级近线存储的需求

1. 提供二级近线存储到播出服务器的较高带宽

满足规定迁移时间内从二级近线存储到各播出服务器节目素材的迁移。

2. 存储容量较大, 支持动态扩容

按照播出码流8M计算, 存储7天的节目素材所需存储空间约为5TB, 考虑到以后必然增减频道及高清素材的不断增多, 必然要求二级近线存储能够方便、快速、安全扩容。

3. 存储素材能够实现完全共享

4. 能够与其他网络实现互联互通, 比如媒资系统。

5. 较强的数据自我恢复能力

一旦发生数据丢失情况, 能够利用在较短的时间内完成不完整数据块的重建和校验。

IP存储 第4篇

在网络环境日益复杂化的今天,数字图书馆在采用新技术高效利用大规模信息仓储方面提供了典范。数字图书馆拥有数字化资源、网络化存取、分布式管理三个基本要素。存储基础设施是数字图书馆的重要组成部分,而存储技术和存储设备是构造存储基础设施的重要组成部分。数字图书馆存储系统的特点是:实现了与网络及各种通讯系统的完美联结,存储具有数据安全性、响应速度及扩充性,并满足了数据的可访问性需求。

1 存储需求原则

(1)建成的系统应是模块化、开放式的系统

模块化的系统结构方便用户的升级管理,开放式的系统有利于和其它系统的互联实现资源的有效共享。

(2)采用标准化的技术和产品

在方案设计中,所有硬件、软件和网络产品必须坚持标准化原则,遵从国际化组织所制定的各种国际标准及各种工业标准,从而使系统实现具有如下特点:

①可移植性:系统中所开发的各种应用软件具有良好的可移植性;

②可扩展性:主机、存储设备、网络、数据库和应用系统均要有良好的扩展能力;

③互联性:构建网络灵活,支持各种网络结构以及多种通信媒体(光纤、UTP线、PSTN、DDN等),实现跨平台、跨应用的各种设备和网络的互联。

(3)建成的系统是容易管理和稳定可靠的系统

任何一个网络的建设都需要考虑到方便用户的管理,另外所建成的网络系统应该是一个稳定性好、可靠性高的系统。

2 数字图书馆系统中的存储技术

根据其出现时间的先后,大致可将数据存储技术的发展分为4个阶段:直接附属存储(DAS)、网络附属存储(NAS)、存储区域网(SAN)、IP真存储(IPS)。

2.1 DAS

20世纪90年代以前.存储产品大多作为服务器的附属设备,通过电缆直接连接到各种服务器,这种形式即是DAS。DAS完全以服务器为中心,不带有任何存储操作系统。DAS方式是长期以来大多数服务器采取的方式。主机通过专用接口与存储设备相连接,透过RAID技术将这些单个硬盘,按RAD LEVEL组合成更大的硬盘。当主机需要访问存储设备时,主机发出指令给存储设备,存储设备根据指令进行相应操作,将数据返回给主机,或者将主机传输过来的数据写入到磁盘。DAS中存储设备可以是磁盘驱动器,也可以是RAID子系统,或是其它存储设备。

DAS技术的数据安全性差,难以备份/恢复;性能一般,可扩充性差.容量有限;数据被存放在多台不同的服务器上.难于访问,不支持不同操作系统访问。DAS技术成本低廉,易于安装,但需停止用户现有系统,且难以维护,存储利用率低。

2.2 NAS

20世纪90年代出现了NAS技术,NAS包括存储部件和集成在一起的简易服务器管理软件。NAS是一种将分布、独立的数据整合为大型、集中化管理的数据中心。NAS通常在一个LAN上占有自己的节点。在这种配置中,一台NAS服务器处理网络上的所有数据,将负载从应用或企业服务器上卸载下来。集成在NAS设备中的定制服务器系统可以将有关存储的功能与应用服务器执行的其它功能分隔开。NAS设备的物理位置灵活,通过物理链路与网络连接。NAS无需应用服务器的干预,允许用户在网络上存取数据。

其特点是:易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同的存储器上,易于访问,支持不同操作系统访问。NAS技术成本低廉,易于安装和维护,存储利用率较高。

2.3 SAN

SAN是允许在存储设备和处理器(服务器)之间建立直接的高速网络连接,通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总路线概念的一个扩展,它使用局域网和广域网中类似的单元,实现存储设备和服务器之间的互联。SAN具有高传输速度、远传输距离和支持数量众多的设备等优点。采用了专用的拓朴结构,不能直接使用通用的IP网络连接各个SAN存储网络。目前,多数供应商的SAN解决方案大多采用光纤通道技术,即FCSAN。

SAN技术的特点是:易于备份/恢复;性能极高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,但不支持不同操作系统访问。SAN技术成本昂贵,需要长时间的设计和安装,且难以维护,存储利用率很高。

2.4 IP存储

IP存储技术就是以高速以太网连接为基础,通过IP协议进行数据交换的存储技术,它将SCSI协议映射到TCP/IP协议上,使得SCSI的命令、数据和状态可以在传统的IP网上传输,其支持数据块形式的I/0访问和共享存储。它采用iFCP和iSCSI协议,由于光纤通道已经包含了SCSI协议,这种方法无需重大技术改造,就能满足SCSI协议的要求。

IP技术的特点是:易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,支持不同操作系统访问。IP技术成本低廉,易于安装和维护,存储利用率最高。

3 基于IP的高校数字图书馆网络存储建设

在网络存储中,FCSAN在某些方面具有无可比拟的优势,如性能极高,可扩充性强等,使其能够满足数字图书馆大规模数据存储的需要。但光纤通道存在着成本昂贵和互操作性问题,这是一般高校图书馆所不能承受的。而NAS技术虽然成本低廉,但却受到带宽消耗的限制,无法完成大容量存储的应用,而且系统难以满足开放性的要求。针对以上技术的缺陷和不足,根据国际上基于IP的存储设备已逐步上市和日渐成熟的情况,提出了一种既有ANS和SAN技术的优点,又能克服两者缺点的存储网方案,即基于IP的SAN。它由两部分构成,第一部分是利用IP互连设备构成存储区域网SAN,第二部分是通过SAN中的交换机多路接入LAN回路,形成一种广义的附网存储NAS,存储设备都是商用的NAS设备以及iSCSI设备,或通过转换桥将SCSI和FC设备转换为IP接口,接入基于IP协议SAN中。它采用最广泛的TCP/IP作为网络协议,既具有NAS易于访问的特点,又有专用的存储网络架构。因此,基于IP的存储网络可以利用以太网技术和设备来构建专用的存储网络,由于使用了以太网设备,其成本大大低于使用光纤交换机的SAN网络,而且保持了SAN的传输速率高且稳定的优点。用户在这一技术中,面对的是非常熟悉的技术内容,即IP协议和以太网,而且各种IP通用设备保证了用户可以具有非常广泛的选择空间。事实上,由于IP存储技术的设计目标,就是充分利用现有设备,使传统的SCSI存储设备和光纤存储设备都可以在IPSAN中利用起来。随着带有IP标准接口的存储设备的出现,我们可以单纯使用本地IP存储技术,来扩展已有的存储网络,或构建新的存储网络。以千兆甚至万兆以太网为骨干的网络连接,保证了本地IP存储网络。由于采用的是IP协议,与LAN和Intemet的连接是无缝的,远程备份十分方便,效率工作很高。基于IP的SAN在性能及功能上都具有突出的优势,是目前高校数字图书馆建设中存储区域方案的首选设计。

4 结束语

充分考虑了未来的扩展,存储主机与存储设备间采用了光纤连接,对于目前应用来说,直接在前端服务器上配置一块光纤通道适配卡就可以与存储相连。但考虑到未来应用系统的发展,以后可以灵活地加入服务器,扩展为SAN存储区域网,提高存储效率。

参考文献

[1]郭建峰．数字图书馆信息存储系统架构的探析[J]．现代情报，2005，(6)．

[2]李培．数字图书馆馆原理与应用[M]．北京：高教出版社，2004．

[3]李村合．谈网络环境下的信息存储技术[J]．情报学报，2002，(1)．

[2]张伟．网络存储技术的发展现状与应用[J]．福建电脑，2003，(1)．

[3]Phillips B.Have Storage Area Networks Come Of Age [J].Computer,1998,31 (7):10--12.

IP存储 第5篇

1 学院网络视频监控状况与分析

1.1 前期状况

我校现有监控设备及录像情况是:监控服务器共计11台 (包括1台数据库服务器、5台录像服务器、5台代理服务器) , 其中T=1024GB为磁盘存储空间, IP为一个监控点, 15G代表每个监控点24小时所需要的存储空间即600M/H*24H (600M由学院录像记录属性查询所得) , H为小时。每台服务器录像存储空间分配如图1所示:

每台录像服务器存储时间分配如图2所示:

平均每台服务器录像天数{14T+ (4*8T) }÷{ (60+50+54+61+20) *15G}≈12.5天。

根据统筹公式:S=k A+r N的进一步估算最安全、清晰度高、最稳定、最具可信度的录像天数:其中S为可信赖录像天数、k与r为质、量系数, A为平均天数, N为录像服务器的台数;

设k与r取值50%计算:

∴S=12.5*50%+5*50%≈8.8天 (此值是取录像服务器的最小值作为最具可信的录像天数)

1.2 问题分析

如果是放十一国庆或者五一劳动节七天法定假日等“小假”, 那么按照上面的分析, 出现了上面问题都可以查询到录像, 如果是放暑假或者寒假都30天以上的呢?那么恐怕只有监控五搭个擦边球, 可是仔细分析一下, 监控五毕竟监控点只有20个, 如果想查的这个位置 (IP) 并不在监控五上, 那么可想而知, 录像是查不到的。假如某导员协助保卫处查询学生寝室走廊打仗斗殴事件, 想查办个月前的录像, 那么只有查监控一和五才有效, 如果打仗监控点不在这两个服务器上又是个棘手问题。存储时间及录像位置查询不到在数字网络监控系统中是较为普遍的现象, 因为某些单位在现有基础平台上为了满足磁盘空间的充分利用, 把所有监控点只能充分的应用到每个服务器上, 那么在不改变原有的硬件服务器平台的条件下, 该如何满足这些问题的发生呢?能不能有一个合理的可靠地方式, 把每个服务器都统一设置成一个月或者是两个月这样一个固定的范围, 又能在这个合理的时间范围内, 可靠地查询到监控点呢?

2 解决问题的设计与实现过程

不在扩充监控点的条件下, 假设要求录像达到30天为止, 并且稳定运行, 保证录像清晰度, 采用主码流技术, 那么就必须从物理设备上增加。根据现有学院的网络监控环境, 设计思想大概如下:

2.1 分析与设计过程

学院现正在使用所有监控点 (不包括图书馆) 每天录像占用空间为245IP*15G≈4T录像30天的结果为30*4T=120T, 目前所用的总存储空间为14+8+8+8+8=46T, 所以缺少空间至少为120-46=74T, 若想把图书馆的20个监控点也考虑进去, 图书馆缺少的空间为20IP*30天*15G≈10T共计缺少74+10=84T。

计划服务器及存储硬件所需数量如表1所示:

根据表1的分析得出:

若按照30天部署, 现有设备分配计算情况如下:

1) 可以分配的监控点 (IP) 总数=17+17+17+17+30+70=168

2) 剩余未录像IP=录像总数265-已经分配168=97IP

3) 那么97个IP需要的总存储空间=97IP*15G*30天≈45T

4) 由于原型号服务器单点不能超过70IP, 那么平均服务器97IP/48IP=2台

5) 每个服务器需要的存储空间48IP*15G*30天≈22T空间

因此选择12位*2T=24T空间的服务器正适合. (目前流行的单服务器空间为16T、24T、32T) 等等

2.2 实现与完成过程

除上述设计过程外, 还有一种方法, 就是使用扩展柜这种设备, 即可增加存储空间, 利用IPSAN技术。但是考虑到学院的网络设备, 一直未用IPSAN技术 (原因是建设初期利用过这种技术反复的测试, 而且厂家也来过工程师测试, 一直未达到理想的效果。经常有录像长时间离散问题。) 造成的结果:各个服务器的监控点存储完本地空间之后, 过渡到IPSAN服务器时或后所产生, 产生这个问题的原因是由于录像传输到IPSAN之间有较大延迟造成。造成此延迟原因综合概括为:网络设备为中端产品、磁盘设备为民用级, 并非录像专用企业级硬盘。但是这些因素并非我们需求分析时所造成的, 而是考虑节省学院的成本问题所规划的。

综上所述, 根据设计过程需要录像服务器2台, 单台为24T空间;需要同以前硬盘同型号2T硬盘16块;需要代理服务器4台; (反推理计算:原有46T+{后需24T*2+2T*16}=126T;126T÷265IP÷15G≈31天) , 为此可保存现有全部监控点30天录像。

经过研究设计和反复计算, 目前录像已经基本达到了学校预计的录像质量和效果的要求, 基本满足了学院网络视频监控运行与管理的需求。

3 结论

随着网络监控技术的发展, 人们对监控技术不断的探索与开发, 加上用户对业务的不断重视, 需求不断的增加, 数字网络视频监控在今后的发展中会得到更多的发展空间, 该文在研究过程中, 通过统筹分析公式分析了监控点 (IP) 、存储空间等占用空间的科学换算, 完成了硬件的需求设计过程, 最大程度保证了可靠性、安全性, 实用性的原则。虽然对于学院的网络视频监控系统有了这样的一种升级与改进过程, 但与更好的的数字化网络视频监控技术或者方案相比还是要有很多东西要深入和学习的。比如大型数据库 (oracle) 的性能优化, 代理服务器的端口映射, 监控服务器的阵列RAID管理, 基于LINUX的平台搭建与性能优化, 这些都可以使网络监控系统运行的更科学化, 更具有安全性, 更使用户方面使用和管理等等。在数字网络视频监控系统方面还要不断的投入更大的努力去探索和学习更多的理论知识与技术。

参考文献

[1]李双《.概率论与数理统计》教材与实践[J].数学教育学报, 2012 (10) .

[2]杨茂林.层次式网络视频监控系统的设计和实现[D].中国科学院研究生院 (软件研究所) , 2005.

[3]周云霞.智能网络磁盘存储关键技术研究[D].中南大学博士论文, 2011.

[4]张玉星.分布式数字网络视频系统的设计[D].电子科技大学硕士论文, 2009.

IP存储 第6篇

在校园网建设与改造中,海量数据的存取要求自控机房数据中心具有更高的数据吞吐量、更快的I/O传输速率和很高的安全性能。传统的以各自业务子系统服务器为中心的分散式存储系统在管理方式、容量和扩展性以及数据保护方面都已很难支持数据中心急速增长的信息服务需求,而主机服务器和存储设备的分离是当今计算机存储发展的一大趋势。选择合理的存储体系结构,实现校园信息资源的有效融合和共享已至关重要,基于IP的存储区域网络(Storage Area Network简称SAN)逐渐成为校园管理数据中心的发展方向[1]。

1 校园网络数据存储特点

为了能够更好的发挥校园网数据中心数据管理的作用,为校园用户提供高速、安全的数据信息服务以及海量的存储服务,有必要对于校园网络存储进行需求分析[2]。校园网数据中心作为校园信息化建设中的一个重要组成部分。以现代网络技术为平台,为图书管理、教学科研、后勤保障等工作提供全方位的数据支持。其主要具有以下特点:

1.1 应用系统多,管理难度大

校园网信息化建设,需要集成了学生选课、图书借阅、科研管理、人事管理等多个业务子系统,为了满足不同职能部门业务需求和差异化服务。不同的应用系统需要搭建在相互独立的业务服务器上,并且对操作系统也有不同的要求。因此,在数据中心中往往存在多种异构操作系统和大量的应用服务器,这对日常的管理和维护提出了更高的要求,管理工作量多、难度大。

1.2 数据类型多,存储需求复杂

数据中心为用户提供丰富的后勤保障和科研管理信息。比如:监控录像、师生管理、图书馆、一卡通与金融消费系统等,这些信息已不仅仅局限于以文本形式来传播,更多的是以文本、图形、图像、音视频等不同形式来展现。在数据中心应用中,存在着多种多样的数据类型,并且不同数据类型的保存周期不同,如图像监控录像要求至少半年,一卡通消费数据保持一年,图书借阅信息基本永久保存等。这些数据在实际应用中具有I/O请求频繁、响应要求快、系统可靠性要求高等特点.因此在应用上对数据存储容量、数据传输速度等方面有较高的要求。

1.3 系统用户多、访问量大

应用于校园正常业务开展的数据中心,需要同时为学校各单位、各部门服务,每天都有大量的用户访问数据中心的信息资源,这对数据中心的存储系统是一个严峻的考验:一方面,频繁的数据访问要求存储系统要有较快的响应速度和存取速度;另一方面,需要有足够的带宽保证大容量的数据流能够稳定的传输。综上可知,存储系统的性能和构架都是影响数据中心良好运行的重要因素。

2 校园网络数据存储要求

校园网络建设由于集成应用系统多、数据类型复杂、用户多的特点,决定了建设过程中,在数据中心络存储系统需要满足一些基本要求:

2.1 提供集中存储的平台

传统的校园信息网建设中分散独立存储存在两点不足:首先,对数据存储的管理必须通过对单独的服务器来进行,造成存储管理上的复杂性增大,牵扯学校管理精力;其次,不易实现校园数据存储空间的共享,无法充分利用已有的存储空间,造成资源的浪费。这些不足对于校园信息化系统建设集成特性显得更加突出,而集中的数据存储为所有业务应用系统提供统一的存储服务,既简化了存储的管理,又实现了存储空间的共享。

2.2 提供海量的存储空间

存储容量的大小是校园信息网存储设计的重点。对于校园信息网建设,数据的存储容量和周期明显提升,如图像监控录像、各类监控、能源管理、安防、一卡通等数据总容量超过几个TB,并且每天的数据量更新也多达几百个GB容量。以视频为代表的非结构化数据在校园信息网系统中使用的比重逐渐增加,大容量的非结构化数据极大的提高了数据中心对于海量存储的需求,海量存储空间、灵活的扩展方式都以成为数据中心存储系统的必要组成[2]。

2.3 具备快速的数据共享和高速交换能力

数据中心用户众多,I/O请求特别是结构化数据的请求频繁,要求存储系统必须有快速的响应速度,因此,存储系统高性能的I/O处理能力、充足的内部带宽是数据中心存储系统高效运行的保障。

2.4 实现了数据的快速备份

数据备份对于大型存储设备来说是非常必要的,由于重要的数据都在存储设备中,数据丢失会造成不可估量的损失。所以在数据库的应用中,数据备份是非常必要的日常维护工作。

3 基于IP-SAN架构存储系统的技术实现

IP-SAN是一项将利用IP网络将存储设备、连接设备和接口集成从而形成一个高速网络存储的技术。SAN一般以光纤通道技术为基础,由服务器、存储设备(磁盘阵列、磁带机等)、交换机(或集线器)及光纤通道连接而成,可以把一个或多个系统连接到存储设备和子系统[3]。校园网络的应用特点和不断发展的存储需求,IP-SAN存储区域网络技术是校园系统存储解决方案的理想选择。

3.1 IP-SAN存储系统架构

存储系统基本架构分为三层,底层为存储池,由多套磁盘阵列组成,每套磁盘阵列含1台主控机和多个磁盘扩展柜;中间层为数据链路层,由万兆通道交换机负责存储网络的联通,为主机和存储设备之间提供了Gigabitls的高速互联,数据读写层由(I/O层)服务器对磁盘阵列进行读写操作和应用服务,由于存储系统是基于万兆的传输链路,所以需在每台数据库服务上加装万兆网卡来实现服务器与存储系统传输速率统一[4]。

整个存储网络的互联结构如图1所示。

3.2 网络存储系统可靠性设计

系统可靠性是衡量校园网建设的重要指标,也是关乎建设成败的关键,为了提高可靠性,本文提出双服务器集群系统,其设计如下:

核心服务器系统采用两台机架式服务器构成的群集系统,通过数据库集群技术执行并行处理,主存储设备采用磁盘阵列,为多主机应用和集群服务器环境提供良好的性能和数据有效性,使用户可以在容量、性能和功能等方面作调整以适应各种应用需求,如高速持续读写的视频系统和多I/O操作的数据库系统和OLTP等,能够使存储系统的性能、扩展性和可用性达到最大化。

存储系统中主要的组成部分当属硬盘,当前IP-SAN系统应用中主流的硬盘类型可分为S-ATA、SAS两类。前者的优点是价格便宜、容量大,缺点是I/O速度稍低,常用于流媒体应用的存储。而SAS硬盘在速度、并行访问等方面均具有很高的性能,是当前高性能数据存储及检索系统的主流选择,常用于数据库应用、一级存储等应用[5]。根据此次校园网建设设计需求不同,可以灵活选用。但是对于大型的校园网信息管理系统数据平台主要用于数据库服务系统,存放的是大量结构化数据,对存储设备的I/O要求很高,所以数据载体建议使用SAS硬盘。

(1)双控制器设计。对于磁盘阵列主控器,主控器内部为双控制器结构,即内部为两套处理背板,通常工作状态下,2个控制器工作在负载均衡模式下,当其中1个控制器故障下,该控制器的数据业务会由另外一个控制器在线接管,完全具备在线热冗余功能。

(2)双磁盘阵列链路设计。控制器与挂载的磁盘柜均具备2个传输引擎,物理连接采用环形双光纤线路的方式保证线路的可靠,此种连接方式下,任意一条链路或任意一个传输引擎发生故障的情况下都不会造成服务中断。

(3)双传输链路设计。交换机作为存储网络传输链路的核心设备,需保证足够的链路可靠性,采用成熟的双链路结构是一个稳妥的选择,其结构是采用2台存储交换机组成双网结构,保证从上层应用服务器到底层存储磁盘阵列的物理链路上均为双线路,具有单条线路失效的冗余可靠性,每台交换机通过运行RVVP协议完成设备的故障切换。

4 总结

在校园信息网建设具有异构系统、多应用、多用户的环境下,网络存储系统的方案设计重点主要围绕集成化、高可靠、可扩展的存储服务器体系,包括功能强大的存储交换机、先进的存储设备、功能完备的数据存储管理软件,整合校园所有的存储资源,进行虚拟化和集中化管理,能够提供丰富的网络和平台连接功能,以解决数据共享和迁移问题,满足今后校园网络持续发展所面对的数据安全、可靠存储及有效利用的挑战和需要。

参考文献

[1]刘婷.基于网络的存储技术研究综述[J].计算机与数字工程,2011.

[2]陈慧.校园网数据存储及容错系统的应用与研究[J].科技信息(学术研究),2007(08).

[3]张建中,陈松乔.一种基于SAN架构的存储网络系统的设计与实现[J].中南大学学报(自然科学版)2008(2).

[4]蔡皖东.基于SAN的高可用性网络存储解决方案[J].小型微型计算机系统,2010(3):284-287.