IP网络存储技术

IP网络存储技术（精选7篇）

IP网络存储技术 第1篇

在网络环境日益复杂化的今天,数字图书馆在采用新技术高效利用大规模信息仓储方面提供了典范。数字图书馆拥有数字化资源、网络化存取、分布式管理三个基本要素。存储基础设施是数字图书馆的重要组成部分,而存储技术和存储设备是构造存储基础设施的重要组成部分。数字图书馆存储系统的特点是:实现了与网络及各种通讯系统的完美联结,存储具有数据安全性、响应速度及扩充性,并满足了数据的可访问性需求。

1 存储需求原则

(1)建成的系统应是模块化、开放式的系统

模块化的系统结构方便用户的升级管理,开放式的系统有利于和其它系统的互联实现资源的有效共享。

(2)采用标准化的技术和产品

在方案设计中,所有硬件、软件和网络产品必须坚持标准化原则,遵从国际化组织所制定的各种国际标准及各种工业标准,从而使系统实现具有如下特点:

①可移植性:系统中所开发的各种应用软件具有良好的可移植性;

②可扩展性:主机、存储设备、网络、数据库和应用系统均要有良好的扩展能力;

③互联性:构建网络灵活,支持各种网络结构以及多种通信媒体(光纤、UTP线、PSTN、DDN等),实现跨平台、跨应用的各种设备和网络的互联。

(3)建成的系统是容易管理和稳定可靠的系统

任何一个网络的建设都需要考虑到方便用户的管理,另外所建成的网络系统应该是一个稳定性好、可靠性高的系统。

2 数字图书馆系统中的存储技术

根据其出现时间的先后,大致可将数据存储技术的发展分为4个阶段:直接附属存储(DAS)、网络附属存储(NAS)、存储区域网(SAN)、IP真存储(IPS)。

2.1 DAS

20世纪90年代以前.存储产品大多作为服务器的附属设备,通过电缆直接连接到各种服务器,这种形式即是DAS。DAS完全以服务器为中心,不带有任何存储操作系统。DAS方式是长期以来大多数服务器采取的方式。主机通过专用接口与存储设备相连接,透过RAID技术将这些单个硬盘,按RAD LEVEL组合成更大的硬盘。当主机需要访问存储设备时,主机发出指令给存储设备,存储设备根据指令进行相应操作,将数据返回给主机,或者将主机传输过来的数据写入到磁盘。DAS中存储设备可以是磁盘驱动器,也可以是RAID子系统,或是其它存储设备。

DAS技术的数据安全性差,难以备份/恢复;性能一般,可扩充性差.容量有限;数据被存放在多台不同的服务器上.难于访问,不支持不同操作系统访问。DAS技术成本低廉,易于安装,但需停止用户现有系统,且难以维护,存储利用率低。

2.2 NAS

20世纪90年代出现了NAS技术,NAS包括存储部件和集成在一起的简易服务器管理软件。NAS是一种将分布、独立的数据整合为大型、集中化管理的数据中心。NAS通常在一个LAN上占有自己的节点。在这种配置中,一台NAS服务器处理网络上的所有数据,将负载从应用或企业服务器上卸载下来。集成在NAS设备中的定制服务器系统可以将有关存储的功能与应用服务器执行的其它功能分隔开。NAS设备的物理位置灵活,通过物理链路与网络连接。NAS无需应用服务器的干预,允许用户在网络上存取数据。

其特点是:易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同的存储器上,易于访问,支持不同操作系统访问。NAS技术成本低廉,易于安装和维护,存储利用率较高。

2.3 SAN

SAN是允许在存储设备和处理器(服务器)之间建立直接的高速网络连接,通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总路线概念的一个扩展,它使用局域网和广域网中类似的单元,实现存储设备和服务器之间的互联。SAN具有高传输速度、远传输距离和支持数量众多的设备等优点。采用了专用的拓朴结构,不能直接使用通用的IP网络连接各个SAN存储网络。目前,多数供应商的SAN解决方案大多采用光纤通道技术,即FCSAN。

SAN技术的特点是:易于备份/恢复;性能极高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,但不支持不同操作系统访问。SAN技术成本昂贵,需要长时间的设计和安装,且难以维护,存储利用率很高。

2.4 IP存储

IP存储技术就是以高速以太网连接为基础,通过IP协议进行数据交换的存储技术,它将SCSI协议映射到TCP/IP协议上,使得SCSI的命令、数据和状态可以在传统的IP网上传输,其支持数据块形式的I/0访问和共享存储。它采用iFCP和iSCSI协议,由于光纤通道已经包含了SCSI协议,这种方法无需重大技术改造,就能满足SCSI协议的要求。

IP技术的特点是:易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,支持不同操作系统访问。IP技术成本低廉,易于安装和维护,存储利用率最高。

3 基于IP的高校数字图书馆网络存储建设

在网络存储中,FCSAN在某些方面具有无可比拟的优势,如性能极高,可扩充性强等,使其能够满足数字图书馆大规模数据存储的需要。但光纤通道存在着成本昂贵和互操作性问题,这是一般高校图书馆所不能承受的。而NAS技术虽然成本低廉,但却受到带宽消耗的限制,无法完成大容量存储的应用,而且系统难以满足开放性的要求。针对以上技术的缺陷和不足,根据国际上基于IP的存储设备已逐步上市和日渐成熟的情况,提出了一种既有ANS和SAN技术的优点,又能克服两者缺点的存储网方案,即基于IP的SAN。它由两部分构成,第一部分是利用IP互连设备构成存储区域网SAN,第二部分是通过SAN中的交换机多路接入LAN回路,形成一种广义的附网存储NAS,存储设备都是商用的NAS设备以及iSCSI设备,或通过转换桥将SCSI和FC设备转换为IP接口,接入基于IP协议SAN中。它采用最广泛的TCP/IP作为网络协议,既具有NAS易于访问的特点,又有专用的存储网络架构。因此,基于IP的存储网络可以利用以太网技术和设备来构建专用的存储网络,由于使用了以太网设备,其成本大大低于使用光纤交换机的SAN网络,而且保持了SAN的传输速率高且稳定的优点。用户在这一技术中,面对的是非常熟悉的技术内容,即IP协议和以太网,而且各种IP通用设备保证了用户可以具有非常广泛的选择空间。事实上,由于IP存储技术的设计目标,就是充分利用现有设备,使传统的SCSI存储设备和光纤存储设备都可以在IPSAN中利用起来。随着带有IP标准接口的存储设备的出现,我们可以单纯使用本地IP存储技术,来扩展已有的存储网络,或构建新的存储网络。以千兆甚至万兆以太网为骨干的网络连接,保证了本地IP存储网络。由于采用的是IP协议,与LAN和Intemet的连接是无缝的,远程备份十分方便,效率工作很高。基于IP的SAN在性能及功能上都具有突出的优势,是目前高校数字图书馆建设中存储区域方案的首选设计。

4 结束语

充分考虑了未来的扩展,存储主机与存储设备间采用了光纤连接,对于目前应用来说,直接在前端服务器上配置一块光纤通道适配卡就可以与存储相连。但考虑到未来应用系统的发展,以后可以灵活地加入服务器,扩展为SAN存储区域网,提高存储效率。

参考文献

[1]郭建峰．数字图书馆信息存储系统架构的探析[J]．现代情报，2005，(6)．

[2]李培．数字图书馆馆原理与应用[M]．北京：高教出版社，2004．

[3]李村合．谈网络环境下的信息存储技术[J]．情报学报，2002，(1)．

[2]张伟．网络存储技术的发展现状与应用[J]．福建电脑，2003，(1)．

[3]Phillips B.Have Storage Area Networks Come Of Age [J].Computer,1998,31 (7):10--12.

IP网络存储技术 第2篇

在EMC World大会上宣布推出的EMC Unity是一个全新设计的现代中端存储解决方案, 旨在满足客户对全闪存、实惠性、灵活性和简洁性的需求。为了从EMC Unity系列解决方案中获取最大价值, 企业需要一个易于部署和管理, 并且无需牺牲性能或可靠性的现代存储网络。博科第六代光纤通道和IP存储技术在服务器与EMC Unity全闪存和混合存储之间提供了一个敏捷、易于部署的网络基础, 从而消除了闪存阵列中高频事务混合负载的瓶颈。

博科存储网络副总裁Jack Rondoni表示:“闪存从根本上改变了现代数据中心中对网络的要求。博科的专用存储网络和EMC Unity解决方案把简洁性、性能和实惠性完美融合到一起, 将支持任何存储部署。博科第六代光纤通道和IP存储网络将充分发挥EMC闪存存储的所有能力和效率。”

作为EMC Unity解决方案简洁性和易用性的完美补充, 博科Fabric Vision?技术还通过创新监测和诊断来预测问题, 并先发制人解决问题, 防患于未然, 从而简化了网络管理。该技术充分利用博科20 年来复杂任务自动化的最佳实践, 从而大大降低了运营成本。

IP网络存储技术 第3篇

博科委托Market Connections所做的IP存储调查采访了全美57 个联邦政府机构的200 位IT决策者。其它关键调查结果还包括:

美国政府机构45%的总存储容量是IP存储, 78%的受访者预计该容量未来一年至少增长10%。不断增加的服务器虚拟化、非结构化数据和融合系统部署是存储增长的最大驱动因素。

提高安全性 (57%) 、降低成本 (35%) 和改进应用性能 (35%) 是专用IP存储网络的三大优势。

44%的关键任务负载和超过三分之一的核心业务负载使用共享IP存储网络。

博科负责联邦政府机构事务的副总裁Anthony Robbins表示:“关键任务和核心业务负载使用共享存储网络会影响美国联邦政府机构的效率。光纤通道是核心业务负载最值得信赖、最广泛采用的存储网络基础架构。但是对于关键业务负载, 专用IP存储网络是确保安全、减轻数据丢失以及提供更好地应用性能所必需的。”

大数据、物联网和移动等第三平台技术为共享存储网络施加了额外压力, 威胁到了政府机构是否具备迅速地访问关键业务信息的能力。凭借专用IP存储网络, 政府机构可通过确保高优先级负载拥有一个直接路径而降低任务失败的风险, 并提供更高的性能、可靠性和安全性。

调查方法

浅析IP存储技术 第4篇

IP存储 (Storage over IP简称为SoIP) 是以高速以太网连接为基础, 通过IP协议进行数据交换的存储技术, 它将SCSI协议映射到TCP/IP协议上, 使得SCSI的命令、数据和状态可以在传统的以太网上传输, 其支持以数据块形式进行I/O访问和共享存储。它采用iFCP和iSCSI协议, 而光纤通道已经包含了SCSI协议, 这种方法不必进行大的技术改造, 就能满足SCSI协议的要求。

基于以太网的存储连接方式, 具有结构简单, 部署容易, 建设与后期维护成本低廉的优点, 一直是应用面最广泛的连接方式。同时, 在广播电视行业随着基于CPU+GPU结构的纯软非编的不断成熟, 通过在应用层使用大缓存机制, 使非编工作站、甚至整个视、音频制作网络使用纯以太网作为网络结构成为了可能。作为封闭的专有网络, FC协议存在着成本高昂、互操作性差、难以部署等众多不足之处, 而整个IP存储的平台是一个开放的标准化的平台, 以太网存储采用开放的通用标准, 不需要额外的投入和管理, 便于用户节省初次建设以及管理维护的成本。以往, 用户对采用以太网的犹豫和质疑更多的来自于对其性能的担忧, 当以太网传输迈入10Gb时代后, 对于其性能方面的顾虑已经大大减小, 用户在采购的时候会更多地考虑IP存储。

2007年4月, 以Brocade、Cisco、EMC为首的9个厂商组成的一个网络存储工作小组提出了一项新的标准, 旨在通过以太网直接传输光纤协议, 即FC over Ethernet (FCoE) 。这项技术标准已经被提交给美国标准协会 (ANSI) T11委员会审批。FCoE网络存储工作小组的成员厂商包括:Brocade, Cisco, EMC, Emulex, IBM, Intel, Nuova, QLogic和Sun Microsystems等众多厂商。FCoE面向的是10Gb以太网, 其应用的优点是在维持原有服务的基础上, 可以大幅减少服务器上的网络接口数量 (同时减少了电缆、节省了交换机端口和管理员需要管理的控制点数量) , 从而降低了功耗, 给管理带来方便。此外它还提高了系统的可用性。根据FCoE的路线图, FCoE标准将在今年批准, 10Gb的FCoE产品可望在2009年出现。

正因为如此, 近年来, IP存储产品市场持续升温, 各大厂商纷纷推出了各自的解决方案与相关产品, 并代表了不同的技术路线与方向。本文针对现有的比较成熟的IP集群存储技术, 选取了代表不同技术实现方式的典型产品进行比较, 从一些基础数据的测试中分析其优缺点, 为最终用户提供一些参考。

一技术分类

基于IP的集群式存储产品可以分为两大类集中式与分布式, 二者的特性及优缺点比较见表1。

1. 集中式分类

在集中式中, 有两种不同的实现方式, 一种是使用标准协议, 另外一种使用私有协议来提高传输效率、降低管理、维护的工作量, 二者的技术特征等数据参见表2。

2. 分布式分类

与集中式相似, 分布式结构也可细分为两类, 其最大的区别也在于客户端是否需要安装驱动程序 (见表3) 。

二测试和比较

为说明问题, 下面选择HP EFS、StorNext 3.0+UIT、ImageSAN、ISILON、MediaGrid这几个代表不同技术方向的产品进行测试, 测试分为共性测试和特点测试, 共性测试内容为:极限读、写性能、大IOPS性能等。特点测试是根据所选择的产品的技术特点而进行的针对性测试。

测试系统连接示意图如图1所示。

测试环境:

●服务器:DELL 2650/2003Server;

●以太网交换机:HUAWEI Quidway S5600;

●工作站:方正尊越P4 2.8/1GB内存/1000M TP-LINK RJ45接口网卡;

●测试软件:SOBEY StorCube。测试产品配置见表4。

1. 基础数据测试

测试采取主机优先的方式。即在每台工作站优先启动一个线程, 对存储进行读写, 当全部客户端都开始工作, 其压力依然不能达到存储最大值后, 再在客户端上开第二个进程, 以此类推, 等待所有任务开始执行后, 记录稳定的数据。

(1) Isilon

共3个存储节点 (36个磁盘) +2个网络加速节点。从图2中可以看出, Isilon在3个节点时的最大读性能发生在25个线程时;最大写性能发生在25线程;客户端读热点数据时有更好的性能表现, 写性能与客户端数量关系不大。总结的测试结果见表5。

(2) MediaGrid

共12个节点 (48个磁盘) , 版本1.2。MediaGrid在12个节点时的最大读性能发生在25个线程时;最大写性能发生在20线程 (参见图3和表6) 。客户端开多个线程读同一个文件时会失败。

(3) Avid

共1个节点 (32个磁盘) , 以Avid为测试产品的测试结果参见图4和表7。

(4) HP EFS (少了1个头的数据)

两个NAS头, 每个NAS头上有3个1000M接口, DNS方式的负载均衡。HP EFS最大读性能发生在20个线程时;最大写性能发生在20线程。读性能在线程数增加时有较明显的下降, 结果参见图5和表8。

(5) 容错性

对各品牌测试产品进行容错性测试的结果见表9。HP与A v i d产品均为一个盘箱, 故没有做盘箱测试。I s i l o n与MediaGrid无NAS头概念。

2. 测试总结

(1) 读写性能数据汇总

Isilon、MediaGrid、HP EFS、Avid产品的对外网络接口速度都远大于极限读写的性能 (见表10) , 因此网络不会成为性能的瓶颈, 而StorNext结构中, 由于只使用了3个NAS头, 因此其读写性能受限于网络接口。从原理分析, 其极限读写速度应近似于后端存储的性能, 随着NAS头数目的增加, 其极限读写性能也会相应增加。

(2) 大IOPS性能

表11中的数据是1000个进程同时往存储里读、写8M的文件情况下得出的。在StorNext LAN Client环境下, 在大IOPS时, 3个LAN SEVER同时蓝屏, 复测两次都是同样的结果。 (3) 测试结果分析

从测试的结果看, 由于Isilon使用标准协议, 客户端不需要安装驱动, 系统部署与维护的工作量小, 其内置的管理功能更为完善, 在大IOPS的情况时, 各客户端的访问速率波动小, 特别适宜于在客户端数量巨大的应用中部署 (如低码率编辑) 。

三总结

IP存储依托于高速发展的以太网技术, 它起点高, 发展也相当快, 从2003年诞生时的千兆, 到2007年推出了万兆, 不到五年时间, 速度就提升了10倍。照此发展, 预计到2011年, 整个IP的速度将会达到10万兆, 真到了那个时候, IP存储将会迎来一个新的发展阶段, 它在广播电视行业的应用也将开创一个全新的局面。

IP网络存储技术 第5篇

路施工铺设的旧小区, 可将原有电缆进行一定的改进, 完成宽带接入。对于新小区可应用以太无源光网同LAN结合的布设方案, 可利用五类双绞线进行连接, 实现光纤到楼、到户, 完成高效、快速的有线电视网络连接应用。

3 EPON技术应用策略

有线电视网络应用EPON技术阶段中, 应确保运行服务系统之中核心层同汇聚层网络端口具备千兆级别的比特率。运行系统骨干层中的交换机设备其处理能力则应在每秒100Gb以上。同时交换机进行数据信息的处理工作效率应近似100 Mpps, 进而有效确保EPON技术体现高效的信息数据传输、接收以及无障碍处理应用信息功能, 并持续的拓宽市场应用服务业务。当前, 信息化社会发展进程中, 呈现出的数据信息流量分布、总体容量与突发性故障均无法做出准确预测的问题, 该类影响会导致有线电视网络进行信息数据传输过程中, 较易引发信息阻塞, 并导致突发出现网络对存储的技术要求, 我们称之为IP集群存储技术。

IP集群存储技术, 兼具了传统SAN的高性能和传统NAS的数据共享优势, 为新的数据应用方式提供了更加先进的结构平台, 使企业在制定和实现“安全数据存储”的策略和方案时, 有了更多的选择空间。与传统存储构架相比, 拥有诸多优势, 高吞吐量、高I/O带宽, 较强的数据安全性设计, 支持ScaleOut系统架构, 存储扩展方便, 支持标

应用的高峰拥挤状况。倘若在此时期, 有线电视服务网络无法为社会大众提供优质服务, 确保网络信息的畅通无阻传输, 便会造成较严重的负面影响, 令自身信誉受损, 并给广大用户带来麻烦。为此, 有线电视网络应用EPON技术阶段中, 应位于系统骨干层以及汇聚层的交换机设备位置装设路由, 完善QQS安全保障, 进而最大限度保持有线电视网络数据信息、节目播出的流畅、高效。同时有线电视网络系统应创建健全合理的用户身份校验认证机制, 进而全面预防非授权用户的入侵, 杜绝数据信息被损毁破坏。同时有线电视网络服务机构应创建可行性管控体制, 确保EPON技术整体运行管控的可靠安全。例如, 创建各类网络运行管控、设备仪器维护管理体制等。伴随网络信息、计算机技术的快速发展, 为跟上时代形式, 全面满足受众需求, 有线电视网络应用设备仪器应体现良好的冗余性, 并充分重视各类数据信息的服务传输、汇总接收任务, 准传输协议和私有传输协议, 既有文件级的访问方式, 也有数据块级的访问方式, 集群文件系统可以部署在网关服务器上, 也可部署在存储节点上等等。当然, 集群存储还有一个最明显的特点就是使用以太网络构建, 可以在真正意义上组建全台网络, 而不会像SAN存储网络那样形成一个又一个的存储孤岛, 也不会像传统NAS存储一样造成网络的拥塞。简单的网络架构, 更大的容量, 更高的带宽, 完全冗余的安全机制, 都是

做好动态路由设备的比选应用。应全面提升服务质量, 以人为本, 主力应对并科学解决数据信息传输过程中的延时问题, 预防信息丢失, 实现科学发展。

4 结语

总之, 基于有线电视网络工作服务重要性, 针对EPON技术综合优势特征, 我们应探究其关键技术功能, 制定科学的技术应用方案与实践策略, 方能营造畅通、安全、可靠、优质的有线电视网络服务应用环境, 满足大众丰富需求, 激发EPON技术综合效能价值, 并促进有线电视网络系统的优质、全面与持续发展。

参考文献

[1]王孝杰.农村有线电视网络改建的规划和实施[J].价值工程2010, 29 (15)

[2]陆奎, 范虎.基于EPON技术的煤矿信息网建设的研究[J].安徽理工大学学报 (自然科学版) , 2011, 31 (1) .

(河北广电信息网络集团股份有限公司汉沽管理区分公司, 天津

301501)

IP集群存储的特点。

广电视音频领域对于存储的使用更关注高速的归档迁移带宽以及稳定的视频流读写能力。高并发的I/O密集型应用并不是很多, 而且随着高清时代的到来, 视音频文件的体积越来越大, 1小时百兆码率节目的体积在45GB左右。此外, 经过多年的发展, 广电视频行业对于网络设计方面的要求也发生了变化。电视台不满足一个个的制作孤岛或者媒资孤岛, 希望能组建全台网体系, 实现不同业务子网的互联互通, 实现高效的自动化工作流。SAN存储架构在实现系统互联时, 不光要打通FC网络链路, 各自SAN网间文件系统的互访也是个棘手的问题, 特别是异构文件系统间的互访, 这种情况基本上只能通过架设数据访问网关的方式来实现不同SAN网络的数据交换。从技术架构上, IP集群存储可以避免上述复杂的系统设计。但从具体的产品特性上看, IP集群存储和视音频应用的配合还不是十分契合。目前, 在视音频应用的业务场景下, 考虑到技术的可行性和集成的性价比, 播出二级近线存储和视频收录网, 以及新闻快编制作网比较适宜集成IP集群存储。

对于播出系统的二级近线存储而言, 其承担着播出系统的节目备播存储任务。在节目播出的前三天或一周内, 播控系统的备播模块会利用ESB+EMB的互联平台, 把制作域或媒资域的节目迁移到本域的二级近线存储。此后, 播控系统的迁移工作站根据需要将二级近线存储体内的节目上传到播出服务器的硬盘内, 以便视频服务器可以实现本地安全播出。考虑到播出系统对安全生产的苛刻要求, 二级近线存储系统的设计应本着架构简单和数据安全的原则。首先, 应避免二级存储罢工导致节目上传服务器失败;同时, 应避免二级存储上的数据丢失影响节目播出;此外, 一旦二级近线存储发生局部损坏, 应具有较快的系统自愈能力, 可以在较快的时间内完成不完整数据块的重建与校验。由于近线存储仅仅是数据的迁入迁出, 和视音频的关联较弱, 故在性能上对存储的要求不是非常苛刻。IP集群存储可以很好地满足播出系统对二级存储的要求, 而且考虑到未来系统的扩展能力, 采用Scale-Out架构的集群存储可以为未来的系统扩展预留富有弹性的扩展能力。对于收录系统而言, 其在线存储区需要具有较大的存储空间, 以配合长时间的并发收录任务。目前高清收录一般采用IBP 50Mb/s或I-FRAME 100Mb/s, 如果采用百兆码率进行收录, 单进程每小时的节目存储量在45GB左右, 如果收录站点数量较多, 其节目存储量相当庞大, 故采用IP集群存储可以解决收录系统对同一命名空间的大容量需求。此外, 虽然采集应用属于实时性I/O操作, 但单机任务并发少, 一般都是单路采集或者双路采集, 故收录网整体带宽需求不高, IP集群存储可以胜任收录网的业务。对于新闻系统而言, 由于该系统业务运行注重快速、安全、高效, 节目制作环节往往仅进行简单的剪辑和配音, 便经过串联单编辑后进入最终的新闻播出环节。每台新闻快编工作站往往只需要进行1~2层的实时编辑, 故对中心存储体的实时性能要求不很苛刻。同时, 采用IP集群存储后, 新闻中心的IT系统将得到较好的简化, 单网架构易于维护, 在新闻系统出现问题时易于排查。此外, IP集群存储具有多种数据访问方式, 包括:CIFS、NFS及FTP, 位于世界各地的记者可以通过FTP协议将第一手的新闻素材快速回传到本部的中心存储体上, 提升新闻报道的时效性, 对于新闻中心来说无需再架设和维护FTP服务器, 减少系统建设成本和维护负担。此外, 对于目前的视频网站等新媒体应用也较为适宜采用IP集群存储。在视频网站或视频点播应用中, 媒体服务器负责响应客户端发来的流媒体播放需求。媒体服务器接收到请求后, 或者进行广播前, 都要读取在线盘阵上的视频文件。大量媒体服务器的同时工作会对在线存储体的并发I/O处理能力提出较高的要求, IP集群存储的多控制器设计可以满足高并发的I/O请求。一旦日后业务增加, 存储无法响应过多请求, 也可以通过扩展集群节点来增加在线存储体的I/O处理能力。同时, 由于网络视频点播或广播要求在线存储体内的素材长年在线不得删除, 故在线存储区的可用空间会越来越小, 一旦空间饱和将无法支撑全新节目存储播放, IP集群存储具有超大的命名空间可以随时进行容量方面的灵活扩展, 从容应对新媒体应用不可预知的数据增长。所以, IP集群存储最为适宜在网络视频点播及广播等新媒体应用中集成。对于传统视音频行业的非线性编辑制作应用以及大型媒体资产管理应用, IP集群存储由于其自身的技术缺陷, 故暂无法得到大面积的普及。对于非线性编辑制作应用, 由于IP集群存储的网络延迟较大, 故无法实现大规模的多机并发编辑业务。此外, 目前千兆以太链路的单通道带宽较低, 无法支撑较复杂的节目制作。故在大型非线性编辑制作网络中不适宜采用IP集群存储。对于媒体资产管理系统应用, 为了避免数据流磁带机欠载工作所带来的带机寿命下降, 建议在大型媒资系统中选择FC-SAN架构。如果要集成IP集群存储, 则最好选择带10Gb接口的IP集群存储, 同时迁移服务器配备和存储端口相同10Gb标准的万兆以太网卡, 提升迁移服务器的迁移性能, 确保磁带机可以满负荷运转。

IP集群存储技术作为新兴的先进技术, 除了具有网络架构简单, 扩展灵活和安全可靠的优势外, 同时也面临着网络延时较大, 负载均衡算法有待优化等问题。因此, 在考虑选择新型集群存储之前, 需要分析特定广电业务系统的特点, 以此来确定该业务系统是否适宜集成IP集群存储。随着以太网技术的蓬勃发展, 相信IP集群存储一定会不断改善自身的缺陷, 在日后成为广播电视系统视音频存储方案中一个重要组成部分。

摘要：对IP集群存储技术进行了分析探讨, 针对目前广播电视媒体存储的现状, 和对未来存储发展的要求, 对其能否适用于广电系统进行了细致的总结。

关键词：IP集群存储,SAN,NAS,存储构架,近线存储,网络

参考文献

[1]郑毅, IP集群存储技术特点, 硅谷, 2011年1月

IP网络存储技术 第6篇

目前以太网在广电系统中广泛应用, 其具有结构简单、建设维护成本低、扩展方便、容灾能力强的优势。在广电系统拥有足够IP资源的支撑下, 大型纯以太网视频制作编辑网络、数据安全交互平台、远程新闻回传系统、自动网络收录系统将得到更大的规模应用。

但是目前电视台内部普遍存在多个局域网、多套系统, 如收录网、制作网、新闻网、媒资网、广告网、播出网等等, 形成多个孤岛, 无法充分利用、共享整个系统中的各种数据资源, 如何充分利用这些大数据, 实现全台一张网, 是节约成本, 提高工作效率的关键。

随着新媒体的快速发展, 节目频道数目的大量增加, 节目数据规模的不断扩大, 在播出节目中有相当一部分节目需要在不同的频道播出, 如广告素材、宣传片和电视剧等。这些节目素材占据播出服务器宝贵的存储空间, 由于播出服务器在线存储空间有限且扩容困难, 造成这些节目素材反复删除、重复上载, 同时也增加了节目管理的难度, 为了解决上述矛盾, 必须建立成本较低同时速度相对较快的二级近线存储。IP集群的存储使得这一目标变得更加简便易行, 能够建立安全高效的二级近线存储体系, 充分的满足硬盘播出系统的需求。

二、IP集群存储的定义

IP集群存储, 就是使用标准的TCP/IP协议, 通过以太网将各个平台的存储设备进行整合, 实现数据的快速传输、共享和存储。

三、IP集群存储的工作原理

播出系统牵涉到广电的各个部门节点, IP集群存储是由多个空间管理的存储节点所构成的。写入数据时, 数据被拆分为多个片段, 存储在所有的存储节点上, 每个存储节点基于IP的访问服务连接到以太网交换机。工作原理如图1。

四、硬盘播出系统IP集群存储的要求

1. 广泛兼容, 迁移快捷

由于硬盘播出系统每天播出大量电视节目, 为满足这些节目能快速传输、迁移的需要, IP集群存储的设计是面向通用的硬件和软件环境, 使用广电系统广泛使用的以太网络作为数据传输通道可以充分利用现有的环境, 无需做出过多的改造。不同的设备提供商的产品均采用统一的网络接口, 通过交换机连接不同的客户端和节点。采用标准TCP/IP协议的设备均可接入和使用IP集群存储。对于客户端来说, 增加节点或减少节点只是存储容量和性能发生变化, 不会影响业务的连续性。当存储机房需要升级改造时, 可以通过减少节点的方式保证不会影响正常的播出需求。

2. 更安全, 更简易

基于播出数据安全性方面的考虑, 播出系统中设置了相应的安全等级, 保证播出系统的绝对安全

1) IP集群存储系统可以同时使用多条高速数据通道, 可消除网络层的单点故障, 进一步提高系统的高可用性。在这样的情况下, 当出现存储服务器故障、网络中断、磁盘损坏时, 能够保障数据完整性和数据服务的持续运行成为必须。例如, 在运行中存储服务器由于磁盘损坏而丢失了该磁盘上的部分数据, IP集群存储系统将会立刻发现该异常并自发的启动数据恢复流程, 利用存放于其它存储服务器中该部分数据的校验数据重新生成一份以保证数据能够尽快恢复, 不影响播出的需要。

2) 由于该数据恢复是基于真实丢失的数据, 并且数据恢复是通过整个存储集群同时并发进行, 所以相对于传统的RAID技术具备更快的数据重建速度, 这也能够有效提升数据的安全性。

3) IP集群存储系统的用户可以在任何地方进行操作而不用安装任何专门的软件。用户可以通过简单培训, 即可进行操作。

五、IP集群二级近线存储的构建

播出系统的二级近线存储承担着播出系统的节目备播存储任务。在节目播出前的一周内, 播控系统的备播模块会通过迁移网把制作域或媒资域的节目迁移到本域的二级近线存储。然后技审系统会审核素材的内容、查看节目是否符合规定, 最后上载系统会将审核通过的素材上传到在线播出服务器。

在了解二级近线存储在播出的重要作用后, 可归纳出二级近线存储的需求

1. 提供二级近线存储到播出服务器的较高带宽

满足规定迁移时间内从二级近线存储到各播出服务器节目素材的迁移。

2. 存储容量较大, 支持动态扩容

按照播出码流8M计算, 存储7天的节目素材所需存储空间约为5TB, 考虑到以后必然增减频道及高清素材的不断增多, 必然要求二级近线存储能够方便、快速、安全扩容。

3. 存储素材能够实现完全共享

4. 能够与其他网络实现互联互通, 比如媒资系统。

5. 较强的数据自我恢复能力

一旦发生数据丢失情况, 能够利用在较短的时间内完成不完整数据块的重建和校验。

网络存储技术初探 第7篇

关键词：IP存储,SAN,块级存储,光纤通道,TCP/IP,FCIP,iSCSI iFCP,FC,IP架构,IP SAN

1 IP技术介绍

IP存储涉及到了一系列的技术, 它可以使块级存储的数据在基于IP的网路中传输, 这里面有两个技术需要阐明:IP技术的利用和块级存储。网络中块级存储的数据传输不是新技术, 今天的存储区域网络SAN即便采用是光纤通道FC技术业仍旧如此。然而, 新的IP存储协议则可将多个SAN通过IP如以太网的结构建立起来, 并且完全互联。通用互联网文件系统CIFS和网络文件系统NFS是将文件级的请求发送到拥有这些文件系统的服务器上, 这些请求得到那些文件服务器或网络存储NAS设备的响应, 并发送到网络上的主机。

2 IP存储适应不断增长的网络需求

今天, IP已经成为稳固的且重要的通用网络协议, IP存储自然成为最能适应日益增长的网络存储需求的技术。

2.1日益增长的网络存储

国际数据协会IDC预计在2008年以后, 存储容量将每年增长85%, 这一增长表明:重要数据在不断增长, 而对存储资源的管理越来越难。因此, 各个公司都在致力于开发基于SAN的网络存储系统, 用于存储、访问、保护和管理关键业务的数据。实事上, IDC预测到2009年, 全球92%的存储将实现网络化。

2.2 IP是早已应用在网络的协议

与其他网络协议相比, 在全球范伟内关键业务应用中, IP得到了更为广泛的认可, 在以太网环境中, IP技术也是较为经济实用的。得益于IP技术的广泛应用以及其低廉的价格, 很多信息专家都致力于IP技术的应用, 使得IP技术的开发拥有更广更扎实的基础。IP的这种质量服务体系、链接优先技术和安全机制推动了其技术的快速发展和开发的不断扩大。

2.3 IP存储是IP技术的下一个阶段

在早期的IP技术开发中, 多是IP构架在所有事情上, 像Ethernet、Token Ring、ATM等, 而今天的视频、声音, 以及块级存储技术则都是基于IP进行传输的, 形成了一切构架在IP上的态势。

3 IP存储的标准过程

目前IETF开发的三种IP存储压缩协议:i SCSI、基于TCP/IP的光纤通道FCIP和互联网光纤通道协议i FCP。

3.1 i SCSI通过IP方式传输SCSI指令

将来i SCSI可提供必要的映射, 通过IP传输SCSI指令就像今天的光纤通道可以传输SCSI指令一样。i SCSI是为主机到存储设备的端到端连接而设计的, 类似于光纤通道的SAN构架, i SCSI技术包括可使主机到兼容的存储设备之间通过IP交换机进行通讯。而驱动器仍可以使用真正的SCSI驱动器, 因为i SCSI并不等同于今天的硬盘连接技术。

3.2 FCIP光纤通道SAN环境的互联

就像i SCSI协议将SCSI指令压缩为IP包一样, FCIP协议将光纤通道指令压缩为IP包, FCIP协议允许独立的SAN环境通过IP网络互联在一起。每个SAN采用标准FC寻址, 在FCIP的端点之间建立IP隧道或网关, 一旦隧道建立, 扩展的FC设备将被视为标准的FC设备, 并予以FC寻址。典型的应用是在一个FCIP端点上连接两个或更多架构在标准IP网络之上的FC交换机, 通过内部交换链路与先前的SAN光纤环路相结合。

3.3 IFCP具有不同的寻址模式

在最新的IP存储协议中, i FCP介于前面介绍的两种协议之间, 如同FCIP一样, i FCP将FC帧压缩, 采用通用FC压缩格式, 通过IP架构进行传输, 与前两种协议的主要区别在寻址模式。FCIP协议是在两个SAN之间通过以太网建立点到点的隧道, 构成一个统一的SAN环境。与之相对应的是i FCP在FC和IP之间建立网关到网关的连接是FC帧可以路由到正确的目的地址。与FCIP协议寻址方式不同的是目前的i FCP寻址模式是它可以允许每一个互联的SAN都拥有独立的命名空间。

4 IP存储的寻址

IP存储是一个新兴的技术, 尽管其标准早已建立且应用, 但将其真正广泛应用到存储环境中还需要解决几个关键技术点。

4.1 TCP负载空闲

由于IP无法确保提交到对方, 而将TCP作为底层传输的三种IP存储协议则需要再拥挤的、远距离的IP空间中确保传输的可靠性, 由于IP包可以打乱次序传送, 因此, TCP层需要重新修正次序, 以提交到上一层的协议中, 如SCSI。TCP完成这一任务的典型操作是使用重调顺序缓冲器, 将数据包的顺序完全整理为正确方式, 完成这一操作后, TCP层将数据发送到下一层。

4.2 价格性能比

尽管IP技术很有可能得以应用, 但如果对性能较为看重的话, 不推荐使用标准的以太网卡。如前所述, TOE可以减少服务器的处理负载, 但由于TOE设备较新, 其硬件成本及复杂程序都比标准网卡更高。其广泛应用可能会由于价格性能比过高而受阻。像那些增强的i HBA都需要进一步改进, 已达到FC技术的水平。

4.3 安全性

当存储设备通过IP架构进行远距离连接时, 安全性变得愈加重要。生产厂家必须明确产品的安全级别, 并确保其安全性。在IP存储产品广泛应用之前, 这一问题时IETF需要解决的。

4.4 互联性

基于IP的技术并没有被所有厂家共同使用, 虽然这个协议的标准早已被公布, 但并不能保证厂家和厂家使用相同的协议或技术。为了保证这些产品能够互相配合得更好, 必须保证厂家之间采用相同的协议, 使各厂家产品具有良好的互联性。

5 IP存储的应用现状

IP存储解决方案会慢慢的被采用, 其技术的应用可能会经历三个发展阶段。

5.1 阶段一:

SAN扩展器随着SAN技术在全球的开发, 越来越需要长距离的SAN连接技术。IP存储技术定位于将多种设备紧密连接, 就像一个大企业多个站点间的数据共享, 以及远程数据镜像。这种技术是利用FC到IP的桥接或路由器, 将两个远程的SAN通过IP架构互联, 虽然i SCSI设备可以实现以上技术, 但是FCIP和i FCP对于此类应用更为适合, 因为他们采用的是光纤通道协议FCP。

5.2 阶段二:

有限区域IP存储在第二个阶段中的IP存储的开发主要集中在小型的低成本的产品, 目前还没有真正意义的全球SAN环境, 随之而来的技术是有限区域的、基于IP的SAN连接技术。可能会出现类似于可安装到NAS设备中的i SCSI卡, 因为这种技术和需求可使TOE设备弥补NAS技术的解决方案。

5.3 阶段三:

IP SAN。完全的端到端的、基于IP的全球SAN存储将会随之出现, 而i SCSI协议则是最为适合的。基于i SCSI的IP SAN将由i SCSI HBA构成, 它可释放出大量的TCP负载, 保证本地i SCSI存储设备在IP架构上可自由通讯, 一旦这些实现, 一些IP的先进功能, 如带宽集合、质量服务保证等都可能应用到SAN环境中。