中心媒资范文

中心媒资范文（精选7篇）

中心媒资 第1篇

媒体内容资产数字化、信息化、网络化、智能化的改造是当前音像资料管理发展的趋势。目前各机关、企事业单位因工作需要而购买或摄录的音像资料, 其审看或回放的业务流程是通过查找、调用录像带, 再通过录像机放像的方式操作, 效率非常低、共享性能差, 已经不能适应数字化时代的发展需要。另一方面, 随着岁月的流逝, 许多珍贵的历史资料和素材都急需加以复制和保护, 由于磁带存放保质期有限, 而磁带还在源源不断的增加, 因此急需对其进行整理、复制和保存。

媒体内容管理的实质是:只需创建内容资产一次, 然后就可以以不同的形式, 在不同的环境下进行管理, 使内容被重用和再销售的机会大大增加。由此可见, 只有通过对音像资料的合理存储和科学管理, 才能充分发挥音像资源的价值效益, 实现音像资源的共享, 并逐步建立全功能的信息数据管理中心, 以实现全方位地为音像资料的制作、存储、检索、使用和传输业务提供信息技术服务。具体来说, 也就是开发一个开放性的框架结构, 来实现媒体资产管理。以媒体的内容管理器 (Content Manager) 为基础层, 建立多极存储管理层, 可以使内容在多种媒体应用程序和系统之间实现数字化资产的存储、获取、管理和发布;将那些资产进行市场重新定位和包装所需的时间和工作量降至最低;通过工作流控制和增强整个企业内的合作来降低成本和制作周期;在核心系统中继承资产管理功能以提高效率, 并使处理流程更加高效。

一 数字电视中心媒资系统结构

数字电视中心媒资系统由上下载分系统、编目和检索分系统、库房管理分系统、系统后台部分、核心交换设备、防火墙和在线近线存储等七个分系统构成。具体构成如下:

●上下载分系统由媒资上载/下载工作站和录像机组成;

●编目和检索分系统由媒资编目工作站和媒资检索工作站构成;

●库房管理分系统是由库房管理工作站、条码打印机、条码扫描枪构成;

●媒资系统的后台的各应用服务分别由D B服务器、MDC服务器、转码服务器、迁移服务器、存储管理服务器、WEB服务器、FTP服务器、流媒体服务器、数据备份服务器、管理服务器和病毒防护服务器承担;

●在线存储体, 近线存储体数据流磁带库;

●核心交换设备、防火墙分别由4Gb FC交换机、千兆以太网交换机和防火墙组成。

二 数字电视中心媒资系统功能特点

数字电视中心媒资系统中使用了许多不同用途的服务器, 他们在系统中承担的任务不同, 发挥的作用也不同, 表1将它们进行了汇总。

三 数字电视中心媒资系统软件体系架构

1. 数字电视中心媒资系统的三层结构软件模型

数字电视中心媒资系统的软件体系结构采用基于客户端软件 (应用层) 、内容管理平台 (中间层) 、数据库 (数据层) 的三层体系结构, 客户端软件通过消息向内容管理服务器发出对象请求消息, 内容管理服务器处理各种请求消息队列, 通过服务器端应用程序及业务逻辑对数据库服务器发出数据请求并处理消息结果, 处理完成后将结果返回给客户端。存储管理用于完成媒体数据对象的存储与迁移, 实际上它为内容管理提供了非结构化数据的存储管理支持。

客户端可以采用B/S模式, 也可以是C/S模式。系统软件层次结构图如图1所示。

(1) 应用层

应用层主要包括系统所有与业务相关的应用软件, 如:编目、检索、资料整理、采集、资料复制交换等。应用层根据业务的需求和实际的工作流程, 向中间层发出数据对象请求, 中间层接到请求后, 进行相应的处理并将处理结果返回应用层。

(2) 中间层

中间层的核心内容就是内容管理与存储管理。内容管理负责对系统结构化数据对象 (索引类数据对象) 进行管理, 而存储管理则完成系统非结构化数据对象 (媒体数据对象) 的存储迁移。内容管理负责系统所有应用层面的数据请求, 并通过用户管理, 资源流程管理等实现应用与数据的分离。存储管理则通过客户化生成的存储策略以及内容管理生成的数据请求进行非结构化数据的存储管理, 并直接将数据发送到应用层。

(3) 数据层

数据层是对系统的数据平台支持, 在软件系统中主要指数据库平台, 而在系统中, 数据层主要包括抽象的结构化数据存储与非结构化数据存储。在数据层的下面需要硬件系统平台的支持, 如分级存储平台, 网络平台。图2给出了数字电视中心媒资系统功能软件三层架构的模块划分。

2. 数字电视中心媒资系统软件结构设计

(1) 工作流引擎对业务的支持

支持多种通用的工作流引擎, 同时也提供在媒资系统内建的工作流引擎。工作流引擎的使用, 使得媒体资产管理系统不仅内部拥有简单易用和规范的工作流管理, 同时也给多系统互联带来了极大的方便性和规范性。

(2) 工作流管理

在媒体资产管理系统与其他制作播出系统互联和数据交换过程中会出现工作流任务, 媒资系统内部几个子系统之间数据交换时也会通过工作流引擎完成个环节之间的衔接, 工作流管理可以监控所有工作流任务, 观察人物的执行状态和进度, 并对工作流进行详细的配置, 必要的时候还可以对工作任务的执行进行调度。

(3) 媒资系统管理控制台

根据媒资系统的不同功能的管理需要, 媒资系统管理控制台提供了统一的管理平台来实现不同模块化的管理功能, 通过管理控制台对不同模块的调用, 实现了完全开放、可视的全媒资系统的统一规范管理功能, 同时用户也可以根据自己不同的需求, 定制完全属于自己不同风格的媒体资产管理控制台。

(4) 统一用户认证管理

媒资管理系统在运行过程中, 不可避免的要和其他系统发生交互或数据共享, 这就对各系统使用同一用户认证系统提出了需求。媒资系统支持统一用户认证系统, 同时在媒资系统内部可配置用户的权限。根据权限的不同, 每个用户在系统中的登陆和使用权限也是不同的。

(5) 编目检索系统的用户定制

媒体资产管理系统为用户提供了方便易用的定制工具, 使得用户在增加、删改编目字段和修改编目界面时, 不需要对程序作任何更动, 通过图形化的界面修改配置既可完成编目系统的所有客户化定制工作。另外检索系统中的检索条件也可根据用户需要进行定制。

(6) 对其他业务的支持

媒资系统在使用过程中可方便地实现以下几种应用模式:大型音像资料馆类型的系统、电视台节目存储中心系统、支持总编室管理的媒资系统、支持新闻制作业务的媒资系统、支持播出系统的媒资系统、作为DVB系统内容管理平台的媒资系统等。

四 结束语

媒体资产管理是对媒体数据的加工、存档、索引、检索等实现管理。随着互联网等新媒体的发展, 媒体自身跨渠道精细化运作、多元产品服务的拓展, 对媒体数字内容资产的管理不仅仅包括各传统单一内容最终产品的管理, 而是需要对媒体内容的采集、创建、加工、生产、分发服务以及评价反馈各个环节的进行综合管理, 乃至包括对媒体工作者个人知识的学习、累积、交流和共享提供支持和管理。围绕内容为中心, 沿内容价值链, 在内容产品形成的各个过程实现内容的汇聚、共享和增值利用的多维度管理。同时随着内容管理的进一步发展, 媒体资产管理各技术逐步融合到企业内容管理整体概念下, 在新应用中, 会提供越来越多WEB交互界面接口和WEB服务以满足用户行为和体系架构的需要。

摘要：主要介绍了设计数字电视中心媒体资产管理系统时, 对数据编码方式、存储码率的选择、编目检索码率及编码方式的选择等几个方面的考虑, 介绍给大家, 以飨读者。

关键词：数据对象及编码,存储码率,编目检索码率及编码方式

参考文献

[1]GB/T17953-2000《4:2:2数字分量图像信号的接口》

[2]GB/T17975.1-2000《信息技术运动图像及其伴音信号的通用编码第1部分系统》

[3]GB/T17975.2-2000《信息技术运动图像及其伴音信号的通用编码第2部分视频》

[4]GY/T158-2000《演播室数字音频信号接口》

[5]GY/T160-2000《数字分量演播室接口中的附属数据信号格式》

[6]GY/T161-2000《数字电视附属数据空间内数字音频和辅助数据的传输规范》

[7]GY/T162-2000《可升级至高清晰度电视串行接口中作为附属数据信号的24比特数字音频格式》

[8]GY/T163-2000《数字电视附属数据空间内时间码和控制码的传输格式》

[9]GY/T164-2000《演播室串行数字光纤传输系统》

进阶媒资系统设计 第2篇

媒体资产管理从基本概念的提出到当前的快速发展, 其中经历了几个重要阶段, 从最初以媒体资料数字化保存为主要目的存储归档型媒资, 到面向多系统资源交换的互联型媒资, 再到为生产业务提供全面服务的服务型媒资, 目前更是发展为以开展运营和增值业务为目的的经营型媒资, 如图1。这期间, 媒体资产管理系统的系统架构也相应发生了多次有针对性的变革。从当前实际的系统建设情况来看, 不管是电视台、网络公司, 还是运营商, 他们在进行媒体资产管理系统建设时, 都要综合考虑多方面的问题和需求, 包括面向生产的服务、面向未来的经营、交易、管理, 以及对现有资源的共享和整合, 因此, 这样的一套系统可以称之为综合性的媒体资产管理系统。

如果我们换一个思路, 从再利用的角度来看待媒资系统, 总体上可以归纳为两种比较典型的再利用模式, 国外相关的媒体资产管理产品或系统也是采用这样一种分类方法:

●面向生产域的再利用模式:主要为生产制作业务服务, 其特点是以分类检索为主, 挑选、应用时也是比较紧密的耦合方式, 同时, 生产过程、内容的组织、存储容量以及所存内容的生命周期等方面的特点都是比较鲜明的;

●面向归档域的再利用模式:主要面向成品节目进行归档管理, 其特点是条目化的存储、存储容量大、资源的生命周期普遍较长, 有些甚至存储之后轻易不会删除, 另外, 整个检索模式也很明确, 主题检索与分类检索并重, 因为在面向海量存储的情况下, 仅靠分类是很难找到合适的内容的。

基于上述两种再利用模式, 我们将在下文中探讨如何进一步挖掘和优化系统的潜力, 即“面向运营的进阶”和“面向效率的进阶”。

二面向运营的进阶

面向运营一定会涉及到全媒体和融合业务的开展, 而融合业务会涉及到多方面的问题, 首先遇到的就是各种数据来源和数据类型的多种媒体内容也即全媒体内容的融合;同时也是渠道的融合, 我们原来可能更多的是广播电视这一个播出渠道, 一旦国家三网融合和三屏融合策略确定之后, 整个媒体运营的渠道就会非常丰富;同样, 也有多种内容组织模式和多种运营模式的融合, 所有这些融合带来的挑战归结为一个核心的问题就是我们如何构建一个面向融合时代的、具有运营体系的内容管理模式。

1. 几个关键点

在构建一个面向全媒体业务的运营平台时, 有三个非常关键的环节需要考虑:

第一是需要构建一个强大的内容资产管理平台, 这个平台实际上是面向多种融合渠道的内容组织手段, 它提供非常丰富的内容融合和汇聚方式, 而且这些内容应该是面向多种渠道的, 系统要提供相应的技术手段来保证所有的内容能够面向融合的多种渠道进行分发。

第二是逐步建立和完善运营管理系统, 广播电视在市场化方面有一定弱势, 可能更多的就是在运营角度, 而如何逐步建立完善的运营管理体系有两方面的问题需要关注:首先是谁掌握用户谁就能掌握运营, 这点恰恰是广播电视从业者需要向电信运营商学习的;其次, 构建在内容平台之上的运营管理系统是一切新媒体运营的基础游戏规则的制定者, 构建上述一个内容平台本身是广播电视体系的基础或者优势, 在面向全媒体、新媒体业务运营的过程之中, 我们需要担当游戏规则的制定者, 比如当我们面向网络电视时, 可能会涉及到轮播频道和虚拟频道如何建立、应该播出哪些内容、频道应该如何播出等多方面的问题, 这实际是很关键的一点。

第三是渠道的建立和合作, 简单来说, 三网融合不代表某一个网络吃掉另一个网络, 从很多西方国家的发展趋势来看, 它实际上也是一种有效的良性竞争模式, 因此在这种情况下, 我们一方面要通过开放的网络自建运营渠道, 另一方面要与现有的运营商合作, 这两方面是缺一不可的。

2. 典型的架构模型

结合上述几个关键点, 如果把现有行业内开展的面向整个运营体系的架构进行分类的话, 基本上可以分成三种比较典型的架构:

(1) 独立运营架构模型

如图2, 独立运营架构模型包括统一内容平台、统一集成播控平台、传输网络和终端, 在整个架构之中还包括统一运营管理平台, 其核心是用户管理和产品管理。这个模式是广播电视体系最容易切入的, 因为我们原来并不掌握终端用户, 即使拥有终端用户也是通过网络公司有线电视接入, 而这种方式最大的特点是建立了一个完整的经营业务链, 当我们已经能够做到端到端的处理时, 即使是CP亦或是SP, 要想实现三屏融合并不是一件难事;当然, 该模型也有弱点, 如缺乏经营和用户基础, 盈利模式不是非常明确等。

(2) Media Center架构模型

如图3, Media Center又可称之为内容交易平台, 它采用B2B交易模式, 终端客户可能是很多运营商, 这种架构拥有典型的业务场景, 以台湾地区某些商业集团为例, 他们通过整合自身全部内容来源渠道, 构建一个覆盖全台湾的Media Center平台;这个架构的特点首先是建立B2B的内容交易平台, 这个平台以内容准备为核心, 面向各种渠道和运营商, 同时采用B2B的交易模式建立BMS和OMS系统, 它对产品的定义、对交易和订单管理、对用户的管理和面向终端用户覆盖的方式与独立运营架构模式有较大的不同, 其内容推送一般也是通过一些专线或者是开放网络来实现, 平台的建设者并不掌握终端用户, 换句话说, 它实际是给运营商提供内容服务, 运营商和内容提供商本身是多对多的选择;Media Center的技术架构比较清晰, 也比较易于实现, 盈利模式相对来说比较单一, 主要依靠内容的重复销售来挣钱, 比如说某一条新闻或者某一条体育短片, 为了实现更多的盈利, 要尽可能在第一时间卖给更多的运营商。

(3) 合作运营架构模型

第三种是所有广播电视从业者最为头疼的模式:合作运营架构模型, 如图4。这种运营模型的架构已经逐渐清晰, 其技术架构本身也不存在什么障碍, 而产业政策或许是最大的障碍, 这种方式既避免不了, 同时又难以理清关系, 主要原因在于合作的业务边界切分上, 图4是按照广电总局的架构来做的切分, 从这幅图上, 我们不难看出, 内容提供商其实是游戏规则的制定者。

这种模式关键的一点是, 它通过现有的运营商构建一个完整的业务服务链, 重点在于业务边界的切分可以充分发挥广电行业内容组织和编排的优势尽管运营商可能在各种组织、盈利模式等方面有优势, 而且掌握终端用户, 但不管是从内容组织上还是对内容形态的把握以及内容策划上, 广电无疑具有非常充分的优势, 这一点一般的运营商很难做到;这种合作模式从广电的角度来看可能是优势互补, 但从电信的角度来看则会存在一些问题, 包括它是否愿意共享它的用户资源, 是否愿意内容组织者进行内容的编排, 因此对于这个架构, 如果业务边界不清晰, 会导致技术架构不明确。

3. 融合业务对内容平台的挑战

如图5, 在集成性的、面向运营的管理平台里, 实际管理的内容可能会是素材、成片、产品, 在产品定义方面, 和原来的概念已经有了很大的差别。

面向图6这样一个融合业务的内容管理平台, 需要考虑统一资源平台的设计思路, 包括统一的汇聚、统一的管理, 这种管理和传统媒资里的节目片段场景镜头有了本质的区别, 当我们面向产品和面向分发、发布、经营时, 对产品和成片的定义发生改变, 同样在资源管理模式、元数据描述结构和编目方式上也会发生改变。同时还需要有统一的生产编排, 因为这个平台不再是单纯的内容聚集者, 同时也是进行内容的挖掘和二次加工、面向经营随时调整存储战略和生产战略的机构, 它需要与运营系统的BMS、OMS进行对接, 这个生产和电视台的生产已经有了很大的不同, 我们可以把它理解为是一种内容的二次加工生产。系统工艺架构如图7。

三面向效率的进阶

面向运营我们更多谈的是架构和系统, 而面向效率更多涉及的是细节, 几乎所有的环节都跟效率密切相关, 例如媒资系统的质量管理体系就和效率密切相关, 如果为了保证质量步步设槛, 步步加审核, 带来的代价是效率一定会下降, 可见效率问题遍布各个业务环节。

我们可以从三个方面进行分析, 首先是设计合理的存储体系, 存储是媒体资产管理系统的核心;其次是检索查询效率的优化, 当我们的库存只有1万小时、2万小时、5万小时的时候, 检索一定不是问题, 因为百万级数据库的检索即使是非常复杂的数据结构, 对现在的数据库检索引擎来讲都不是问题, 但真正到了20万、30万、40万、50万小时, 甚至未来可能会更多的阶段, 查询检索效率会是很重要的因素;另外还有流程处理的效率问题。

1. 存储效率优化

存储效率是必须要考虑的, 但从设计角度来讲, 并无一定之规, 所有的媒资系统在设计分析时, 我们都需要因地制宜, 综合考虑面向的应用是什么、主要的服务对象是什么、存储核心都包括哪些部分、整个的数据调度和策略应该怎么安排等, 这些都是设计上需要考虑的, 包括存储对象及格式选择、存储设备选择、调度迁移策略的制定等多个方面。

(1) 存储格式和对象

如表1, 海量存储一定是多格式的, 从长远来看, 不管是高清还是标清压缩算法都会改变, 面向应用也会有不同的考虑, 我们可能会针对不同的节目形态在节目类型方面做一些优化, 例如改变文件的封装方式以有效提高效率等, 这些优化都是有针对性的, 需要因地制宜制定相应的策略。

(2) 存储体系的规划

存储体系的规划涉及到存储对象的规划和分析问题, 比如对于原始素材、成品节目、归档资料的存储应该采取何种模式才能充分发挥效率, 这需要结合其再利用的模式来考虑, 同时, 对于存储区的规划, 也需要结合实际应用来进行考虑。

(3) 存储网络技术选择

关于存储网络技术选择, 十个人可能有十种观点, 其实SAN架构和IP存储各有各的优势:SAN胜在高带宽, 尤其SAN架构单端口、单任务的带宽会比较有优势;而IP存储的总带宽也基本可以满足应用需求, 现在很多IP存储的产品性能都非常优异, 它们的优点就是接入成本较低, 但也存在一些问题, 单任务带宽会受到以太接入的限制, 以现在媒体资产管理分级存储的数据调度效率来讲, 主机的瓶颈往往是IP存储的问题。从技术发展的角度来讲, 万兆及以太FCOE技术逐渐成熟可能会使IP和FC的存储在万兆点上产生融合。

2. 检索效率优化

关于检索效率的优化, 第一个是合理的元数据结构, 第二个是在主题检索和分类检索上做到统筹协调, 因为这是两个维度, 面向两种截然不同的再利用模式。在整个检索的优化上, 从提高效率的角度来讲, 需要细致的考虑, 比如在检索方面, 我们有时会追求功能的复杂、追求检全率, 但复杂度和检全率的提高必然会带来检准率的下降, 同时检索的速度也可能会降低。另外还可考虑利用语音检索等技术, 降低检索成本。

图8是一个跨平台的联合检索系统, 这是中央电视台的设计思路, 包括音像资料馆、新址媒资和中央电视台现址磁带库两址三地联合检索的设计。

3. 流程优化

流程优化的主要设计点在于业务流程的梳理和整合以及设计合理的模型和流程引擎, 从工作流的角度来讲, 工作流在实现流程逻辑和应用软件剥离方面确实能够极大地提高系统的灵活性, 而且也便于拆解复杂的业务系统, 但它的问题是复杂度会增加, 流程逻辑剥离会导致流转效率降低, 往往越复杂的处理流程, 效率问题越突出。

在流程优化方面, 设计要点首先是业务流程和设计模型的双向优化, 业务本身要决定技术, 技术反过来要优化业务, 主要是指当技术体系引进之后, 在业务的操作模式层面也需要跟进做一些调整, 降低系统的复杂度;其次是流程模型的简化, 流程的效率和模型环节数量、参数结构、流转逻辑的复杂度成反比;另外, 流程环节的模块化、工具化和简单化也是整个流程设计节点非常关键的因素, 同时, 流程引擎与流程工具的处理都是针对整个流程的设计, 尤其是对于现在庞杂的系统, 因为灵活度非常高, 所以对工作流引擎的依赖度非常高, 这种情况下如何确保基础环节的效率是我们在设计时必须要细致分析的。

大洋ESB系统能够在一定程度上解决流程优化的问题, 比如支持动态流程发布、剥离交互逻辑、图形化配置模板和监控界面等。

气象影视媒资系统设计 第3篇

关键词：气象影视,媒体资产管理,系统设计

引言

经过三十多年的发展, 气象影视已经成为中国电视节目不可或缺的一部分, 中国气象局影视中心目前承担着中央电视台各频道、凤凰卫视、旅游卫视、新华社电视台等多个公共频道的天气预报节目制作工作, 同时独立运营中国气象频道, 随着业务的拓展和制播技术的更新, 原有的以“存”为主的媒资系统以不能够支撑现有业务运行, 迫切需要设计建设一套全新的媒资系统为新媒体和新业务的发展提供支撑。本文所提供的设计方案在保持原媒资系统传统功能的基础上, 重点考虑媒体资产自身业务管理的增强、丰富媒体资产服务模式以及对外服务标准化三个方向的发展, 旨在建设具备气象影视资源管理特色的媒资管理系统。

一、需求概述

1、整合现有媒资, 继承、迁移原有媒资系统数据, 将原系统LTO3磁带库数据平滑升级到硬盘数据管理模式, 提升数据利用效率。

2、提升新媒体等业务支撑能力, 完善媒资系统的生产、管理、运营业务。

3、建设对内、对外的媒体内容服务平台, 不仅能够实现资料数字化保存, 而且能够对内实现各生产系统如制作系统、新闻系统、城市预报系统、播出系统、网站等新媒体系统资源的入库、出库等服务, 对外实现与全国各级气象部门媒体内容服务平台, 实现资源的汇聚、发布等。

4、整合现有工艺规范和资料著录规范, 完善气象特色及气象标准建设。

二、方案设计

2.1媒资系统总体框架

整体系统由主干互联平台、信号收录子系统、节目制作网、安全传输网关、媒资子系统、播出子系统共六部分组成。彩色部分框图为新媒资系统设计建设部分, 黑白部分表示的是影视中心原有业务系统, 不在本次设计建设任务中, 但需考虑对接。

其中, 黄色框图部分媒资子系统为核心, 绿色部分主干互联平台、安全传输网关、节目制作网、信号收录子系统是媒资子系统的外延部分, 通过主干互联平台的串联, 实现影视中心全业务互联互通, 并完成与影视中心已有互动气象业务部实现文件化、数据化交互。

主干互联平台:作为整体系统的信息交换枢纽, 主干互联平台设计基于SOA架构, 采用企业总线技术, 实现影视中心业务流程上各节点系统的互联互通。

媒资子系统:基于多个业务体系的内容资源存储、管理及再利用的基础平台, 是影视中心素材和节目资料保存、节目生产的交互核心。

信号收录子系统:作为卫星、3G回传信号的采集系统, 通过收录服务器在媒资系统在线存储体保存收录的节目。

节目制作网:影视中心节目生产加工平台, 作为媒资前端具备对上传资料的分拣、初编功能。

安全传输网关:考虑到影视中心内部业务系统的安全级别不同, 设计安全传输网关作为中间缓冲区, 做数据摆渡传输。可通过网关实现安全策略制定、访问控制、安全防护、安全区划分等功能。

2.2数据对象

新建媒资系统中, 应主要包含素材 (含新闻通稿/条目) 、综合类成品、新闻类成品、其他数据格式文件 (图片、文档) 等重要数据对象。每种对象按照以下方式进行组合:视频文件、音频文件、字幕工程文件、元数据、附属图文资料[3]。

媒资素材和成品资源均按照MXF或者AVI (非结构化数据) +XML (结构化数据) +附属图文资料文件包的形式提交媒资系统[4]。依据综合因素考虑, 影视中心新媒资系统媒体选择的文件编码格式如下:

各种节目、素材在全台网中的存储生命周期如表2-3所示:

2.3基础平台设计

存储架构设计:对于未来海量媒体数据文件的存储, 考虑采用适应云计算需求的网络分布式文件系统 (DFS Distributed Software Systems) [1]。

计算资源设计:新媒资系统设计IT基础平台基于影视中心已建数据中心VMware虚拟化平台构建。

虚拟化设计:一般系统中上载、非编等工作站由于涉及到硬件结构、专业板卡或特殊板卡 (视音频类) , 无法实现虚拟化。高IO的核心计算存储资源 (例如FC存储元数据控制器MDS、数据库服务器ORACLE/SQL SERVER) 一般不使用虚拟化产品。资源检索、转码、发布、web服务等软件支持虚拟化, 部分需GPU资源加速的应用, 如非编、资源上载、QC等不采用虚拟化[2]。

虚拟机设计:通过虚拟机的设计, 可以确定CPU/内存/磁盘/网络结构等资源规格容量。虚拟机的用量按照表2-4来制定。

需要注意的是CPU越多会导致CPU分片的消耗, 因此尽量减少CPU个数的使用, 注意单个虚拟机最多使用物理主机CPU核数的一半。

主机设计:根据影视中心数据中心机房基础环境现状, 本系统云计算平台主机统一设计采用刀片服务器。

虚拟机存储设计:云平台在考虑存储设计时, 要兼顾存储空间和读取性能。虚拟机所需空间等于系统硬盘空间加上内存大小, 根据业务管理对磁盘空间使用率的规定, 考虑预留25%容量。考虑到虚拟化采用VMware技术, 为减少IO压力, 设计服务器虚拟化使用FC-SAN的架构。

网络结构设计:本系统设计中, 采用万兆以太网架构, 由NAS网络进行素材文件交互和元数据交互。系统中配置万兆核心交换机+千兆接入交换机, 采用万兆级联的接入方式, 大大提高系统以太链路交互带宽。

数据库设计:数据库服务器采用Linux系统, Oracle双机RAC的数据库模式。

2.4核心子系统设计

主干互联网平台设计:采用双总线架构, 由两个部分构成:ESB和EMB, ESB (企业服务总线) 主要用于完成全平台各业务系统之间的信息和元数据交互, 而EMB (企业媒体总线) 则用于完成各业务系统之间的媒体文件交换和传输。

主干互联平台设计通过部署在媒资系统中的接口服务器或部署在中心平台ESB上的接口程序, 实现以Web Service方式与系统双向交互, 最终可以为用户呈现便捷的交互效果[5]。

媒资子系统设计:媒资系统建成后, 将承担影视中心日常工作所产生的素材和成片文件的存储和管理工作。由入库子系统、核心数据系统、采集整理与下载子系统、资源管理及发布平台系统、内容审核子系统、运营管理子系统、资源汇聚及对外服务系统等子系统组成。

2.5互联及对外服务设计

主干互联平台采用Server-Agent+基于SOA架构的ESB+EMB双总线规范, 实现对原有系统业务的继承和扩展。针对原系统数据迁移的需求, 由大洋公司开发系统导出导入工具, 主要完成:分析原有数据库元数据、媒体数据的数据结构, 将系统中原有数据在线导出;根据原有数据的高码率文件进行验证和转码, 拷贝原有高码文件, 并生成新的流媒体在线文件, 低码率以MP4 H.264格式存储, 满足后续大规模流媒体发布;根据离线导出的文件, 重新写入到新的系统平台中, 完成系统数据的迁移。

2.6安全设计

媒资系统安全设计总体思路:在总体结构上减少相互间的依赖和影响, 系统中各子业务模块可独立运作, 需考虑资源安全、网络安全等问题[6]。

三、气象媒资系统的实现

媒资系统核心应用软件经过前期调研与测试, 多方对比后选择了中科大洋公司的浩瀚D3MAM媒体资产管理系统, 是一套结合云计算技术而推出的视音频存储、管理、运营解决方案, 提供面向广电媒体内部应用的私有云媒资解决方案, 与影视中心未来建设私有云的发展理念紧密对应。系统拓扑图如2所示。

参考文献

[1]刘幸.DAS、NAS、SAN、CAS存储技术在电台的应用-以福建广电新大楼为例[J].东南传播, 2012, (10) :179-182.

[2]李广涛.SAN存储设备的软/硬件架构设计与实现[D].电子科技大学, 2009.

[3]李春亮.数字媒体交换和分发协议研究[D].北京邮电大学, 2008.

[4]曹钢, 田军.MXF的技术构成及应用[J].电视技术, 2005, (5) :63-65.

[5]王明照.电视台全台网主干平台系统设计[J].数字技术与应用, 2011, (7) :112-115.

分级媒资系统量化设计的关键 第4篇

随着计算机技术与广电技术的飞速发展, 网络化制播系统在我国的电视台越来越普及。制播系统的建设和使用, 在电视台技术进步方面的作用显而易见。

随着制播系统应用的日益成熟, 基于共享和高效运作的制播要求, 媒体资产管理系统 (以下简称媒资系统) 应运而生;广播电视技术发展已有40 50余年, 各家电视台积累的历史节目内容资源也需要媒资系统的建立。

所以, 我们将媒资分为生产型媒资和资料型媒资:前者贴近生产线, 提供存储和快速回调服务, 同时向资料型媒资输送节目和元数据作为永久保存, 在生产型媒资内部保存一定的节目和素材供生产线快速回调使用;后者作为海量存储, 主要提供节目和素材的存储和检索功能, 并能被生产型媒资所调用;通过中心媒资将各个生产型媒资连接起来, 实现跨媒资检索和使用。生产型媒资的存储容量是一定的, 根据使用频率决定在线存储内容;资料型媒资的存储容量一直累加, 是随时间增加的存储。

这种媒资设计概念已得到普遍认可。笔者所在的SMG, 就是分级媒资概念的提出者、倡导者和先行者。SMG的数字化网络化发展的规划中, 就是以中心媒资为海量存储媒资, 生产型媒资根据贴近生产线的不同, 分为新闻媒资、生活时尚媒资、咨询类媒资和播出媒资等。如图1所示。

SMG在2000年做过媒资系统的建设探索, 已经建了一个媒资系统, 完成了1万多小时节目和素材的数字化工作。由于当时的格式不符合我们目前的要求, 需要将原来格式的数据重新导出, 定位为资料媒资, 并以此资料媒资为平台, 将目前片库中存在的磁带节目和素材做数字化工作。故SMG整个媒资架构分为生产型媒资、资料媒资和中心媒资三类。

媒资系统的各板块 (如新闻媒资系统、娱乐媒资系统、体育财经媒资系统等) 作为生产系统直接支撑频道栏目的节目制播工作, 中心媒资则在后台支撑各板块生产媒资系统的运行。生产媒资产生的媒体文件及素材统一归档到中心媒资系统, 并由中心媒资进行统一存储和编目管理。生产媒资所需的媒体资料或数据可通过检索在中心媒资及各板块生产媒资系统中查询到, 并可迁移到所需的生产媒资系统内。

SMG资料媒资系统是SMG媒资系统的一部分, 是特殊的生产型媒资, 其存在的生产线, 就是在资料媒资上所进行的数字化和标引工作。其总体设计目标是:为历年来积累的节目资料提供一个数字化管理和再利用的平台, 其节目经历了著录、转存、标引、终审之后, 会将媒体文件和元数据信息传递给中心媒资。

2 分级媒资系统中涉及的量化参数

找到量化的参数, 有两个步骤:

步骤一:全方位了解一个系统从进入到出口需要经过的每一个环节, 并搞清楚每个环节的使用者是谁, 知道需要设定多少工作站类型。

现有磁带节目数字化之后进入中心媒资, 分为两类:一是每天白天上载的节目转存节目, 二是晚上从原来的磁带库中导出的节目转码节目。

(1) 转存工作流程:从资料媒资中进行数字化和标引, 审核后入库到中心媒资, 如图2。

资料媒资的工作流程如图3。

*著录和著录审校称为著录模块, 实现对素材或节目的初级编目, 使系统和工作人员得知将要转存内容。

*转存计划、转存和转存审校, 统称为转存模块, 实现对录像带等介质所存储的资料的编码上载功能, 实现媒体数字化, 每个节目都有高低码率两份文件。

*转存终审, 通过对高低码率的审核, 确定其节目和素材质量达标。

*文件入库:将已经通过转存终审的节目和素材以及最初的著录信息发送给中心媒资。

*标引计划、标引和标引审校统称为标引模块:实现对素材或节目的二次编目。

*标引终审:对标引内容的审核。

*完全入库:标引终审之后, 元数据入库。至此, 全部流程完毕。

(2) 转码:转码设备就是转存设备, 故无需针对转码专门做工作站数量研究设计, 可以根据站点量来计算日产量。

入库到中心媒资之后, 中心媒资的工作流程如图4。

入库到缓存, 中心媒资通过暂时的缓存, 系统自动转入各生产型媒资的在线区, 经过配置策略, 系统自动将文件转入磁带库。

步骤二:找到每个工作环节需要的存储, 找到需要量化的存储有哪些。

资料媒资中, 转存和转码都需要空间存放。高码率存储过大, 低码率的工作流程又过长, 因此将高低码率分开存放, 高码率会被归档后删除, 低码率则保留在硬盘上留给用户做后续的标引工作。

中心媒资存储大部分用于高码率, 除每个生产型媒资导入的高低码节目和素材外, 还有检索调用的需求, 故设计一部分为回调区域。另有主题化服务, 故还有一个精编制作分区。

由此我们可以看出, 我们需要量化的指标有:

(1) 资料媒资系统

*存储体大小 (高码率、低码率)

*著录、著录审校、转存计划、转存、转存审校、标引计划、标引、标引审校、标引终审、转存终审、入库计划等各项用户所要用的工作站

*传输给中心媒资的通道大小

(2) 中心媒资系统

*接收各家生产型媒资的通道大小

*接受各家媒资系统进入中心媒资的缓存区

*各家媒资系统素材真正的在线存放区

*低码率存储体大小

*回调保存区保留空间

*精编制作区保留空间

*磁带库的容量

*磁带库的磁带机数量

3 媒资系统量化设计之站点数量

3.1 抓住最为重要的站点标引和转存

标引是整个工作流程中最为重要的环节, 我们以标引作为量化设计的基准。标引站点量的普通公式如下:

详解:假如年度标引产量为4万小时, 年度工作日我们按照320天计算, 每天需要完成125小时;如果一台标引机每天工作16个小时, 可平均标引完5小时的节目, 那么N标引需求=125÷5=25台。量化设计中另外一个重要原则余量原则:实际配给量需要再加上35% (具体余量数值可以根据项目资金大小、用户变动可能性大小、机器故障率等来实际决定) 的余量。因此N标引实际=25÷0.65=39台。

转存也是比较重要的环节, 转存工作站点的多少直接决定了存储大小。

详解:年度转存产量=年度标引产量, 因此都为4万小时。但年度工作日就要比标引时间少很多, 因为需要先转存后标引, 因此我们规定必须在300天内转存完毕所有的节目, 那么D年度工作日=300天。V每台转存机的效率每台转存机器的工作时间, 按照每天工作16小时计算, 因为转存机器的效率接近于1:1, 平均每台转存能完成12小时的上载量。因此N转存需求= (S年度转存产量÷D年度工作日) ÷V每台转存机的效率= (40000÷300) ÷12=12台。依据余量原则, N转存实际=12÷0.65=19台。

3.2 利用木桶原理设计其他站点量

*著录:每天必须完成134小时的转存量时, 著录量必须大于134小时。16小时的工作时间可以平均著录35小时的节目, 故N著录需求=S日著录量÷V每台著录机的效率=150÷35=5台, 按照余量原则, 故配备8台著录工作站。

*著录审校和标引计划:按每天著录150小时计算, 8小时工作时间。每台机器可以审校50小时, 故N著录审校需求=S日著录审校量÷V每台著录审校机的效率=150÷50=3台, 按照余量原则, 配备5台著录审校和标引计划工作站。

*转存审校:按每天转存134小时计算, 16小时工作时间 (此处又体现了需要了解用户工作流程的重要性) 每台机器可以审校35小时, 故N转存审校需求=S日转存审校量÷V每台转存审校机的效率=134÷35=4台, 按照余量原则, 配备6台著录审校和标引计划工作站。

*转存终审:此岗位只有1人, 我们需要改变计算模式。每天转存134小时, 必须每天入库, 此岗位每天必须完成134小时节目的转存终审工作, 那么如果该人每天工作8小时, 抽样率为:1/16。如果转存终审只有1人, 必须保证在8小时内完成所有节目的终审工作, 其抽样率只能在1/16以下。

*标引审校:如果每天标引完成125小时, 标引审校的量必须大于125小时, 如果审校的效率为2∶1, 则需要审校65小时, 每台机器工作10小时, 需要配备7台标引审校工作站, 余量原则之后为11台。

*标引二审:如果每天标引审校完成125小时, 标引二审的量必须大于125小时, 如果审校的效率为3∶1, 需要审校42小时, 而每台机器工作8小时, 需要配备6台标引审校工作站, 余量原则之后为9台。

*标引终审兼入库:如果每天标引二审完成125小时, 标引终审必须大于125小时, 如果审校的效率为4∶1, 需要审校31.25小时, 而每台机器工作7小时, 需要配备5台, 余量原则之后为8台。

*入库:每天产生125小时的节目和素材, 需要每天都搬运走, 搬运的效率为4∶1, 需要搬运32小时, 因晚上才是入库期, 入库的时间为10小时左右, 需要配备4台入库服务器。

*中心媒资接收通道:我们需要考虑所有生产媒资的入库通道, 并不单独针对资料媒资。资料媒资入库量=每日转存生产量+每日历史转码量=125+128=221小时, 其他生产型媒资每天入库50小时, 每天入库270小时, 入库的效率为4∶1, 故需要入库68小时, 晚上入库共10小时, 故N中心媒资接收通道数=S日入库时间÷V每台转存的时间=68÷10=7台, 按照余量原则, 应配备11台。

*迁移器数量:每天入库250小时, 每天需要迁移到磁带机的数量必须大于250小时, 迁移器工作10小时, 能完成80小时的节目的迁移, 故N迁移器=S总迁移量÷V每台能迁移的时间=250÷80=4台, 根据余量原则, 应配备6台迁移器。

*磁带机数量:每天入库250小时, 每天需要写到近线磁带的数量必须大于250小时, 磁带机工作10小时, 能完成100小时的节目的迁移, N磁带机=S总写入磁带量÷V每台能写入的量=250÷100=3台, 根据余量原则, 应配备5台迁移器。

以上计算仅以入库任务为例, 还需加上回调的工作量, 回调工作量为入库工作量的1/4, 后三个数据:N中心媒资接收通道数=1 1÷0.75=15台, N迁移器=6÷0.75=8台, N磁带机=5÷0.75=7台。

4 媒资系统量化设计之存储容量

4.1 资料媒资的存储容量设计

*资料媒资的存储包含以下几点:

*生产转存区:每日转存的高码率素材。

*历史转码区:每日转码的高码率素材。

*低码率存储区

*历史转码的原材料区

*回调素材存放区

(1) 生产转存区≥日转存量转存节目的生命周期

日转存量为134小时, 转存节目的生命周期是一个比较难计算的值, 高码率文件从产生到删除所需要的正常工作流程, 如图5所示。

计算容量时容易忽略第四天, 因为前3天都是用户需要做的工作, 工程师在后一天留给系统做校验反馈之后才能删除, 故真正的生命周期为4天。而到周末, 转存审校2用户因为周六周日不上班, 生命周期需要被延长至6天。

因此生产转存节目的生命周期为6天。

生产转存区容量= (1347) ÷0.65=1444h=31768G

(2) 历史转码区≥日转码量转码节目的生命周期

日转码量为12 (台转存机) 8 (小时工作) =96小时, 转码的生命周期如图6。

同理, 真正的生命周期起码为5天。而到周末, 发布用户因为周六周日不上班, 生命周期需要被延长至7天。

因此生产转存节目的生命周期为7天。

故生产转存区容量= (968) ÷0.65=1182H=26004G

(3) 历史转码原材料区=日转码量转码节目生命周期

依据历史转码的计算方法, 原材料区的生产周期比历史转码区要多1天, 生产转存区容量= (9 69) ÷0.65=1329H=29238G

(4) 低码率存储区≥年度产量

因为低码率需要用来做标引, 在标引制作过程中, 可以一直保存, 故年度产量即为低码率的存储体。故低码率存储区容量=40000小时0.220G÷0.65=13.6T

(5) 回调素材存放区

回调素材我们可以根据一个估算值, 每天回调10小时节目, 回调之后存放3天, 需要40小时的空间, 为40h22G/h÷0.65=1353G

4.2 中心媒资的存储容量设计

中心媒资的存储包含以下几点:

*接受各媒资系统进入中心媒资的缓存区

*各媒资系统素材真正的在线存放区

*低码率存储区:

*回调保存区保留空间

*精编制作区保留空间

我们分别来计算以上存储区需要的容量。

一份入库的文件, 同一时间只能要么在缓存区, 要么在在线存放区, 可以将两者的容量合并计算。

(1) 在线存放区 (包含缓存区) ≥日入库量转存节目的生命周期

日入库量, 需要将所有连接到中心媒资的系统的日入库量均相加, 我们记为S入库总和=S1资料媒资入库总和+S2新闻媒资入库总和+

转存节目的生产周期为4天, 故在线存放区需要

(2) 低码率存储

低码率存储比较特殊, 以上所有存储, 均为定值, 中心媒资定位决定低码率不可删除, 只可计算短期3-5年量值。

(3) 回调素材存放区

每天各子媒资共回调约50小时节目, 回调之后存放3天, 需要150小时的空间, 为150h22G/h÷0.65=5075G

(4) 精编制作区保留空间

估算精编需要200小时的素材空间, 且每天各个子媒资共回调50小时节目, 回调之后存放3天, 需要150小时的空间, 为200h22G/h÷0.65=6769G

5 总结

资料媒资和中心媒资已经正式运行半年有余, 遇到的困难和经验教训总结如下, 请同行和前辈一起探讨:

(1) 媒资系统的量化设计, 须先知道用户是如何用, 谁来用。用户工作流程的变更甚至更换使用的用户, 都将严重影响生命周期, 进而大幅度影响量化设计。因此, 必须在前期和用户做充分的沟通, 并告知用户工作流程中生产量的上限和下限, 督促用户必须运行在设计的工作产量中。

(2) 中心媒资系统不同于制播系统, 存储量为定值, 不同的是选择什么内容存储, 中心媒资存储的量, 是永远累加的, 需要改变设计的思路, 重视扩容的可操作性, 比如是否可以在不影响已有素材的情况下扩容等。

(3) 设计容量仅为所需存储产品的可用容量。以某些NAS厂商为例, 报价2T的NAS, Windows下可用的空间仅为1.36T, 相差非常大。设计时一定要用实际可用的存储量来计算, 并预留系统安全阀值0.8, 故2T的NAS最终最多存放1.088T的内容。

(4) 媒资系统每天入库海量的节目, 如何保证各个环节中不出差错是媒资系统面临的新问题, 所有转换环节和传输环节, 都将影响整个工作流程, 影响素材存在的生命周期, 进而影响工作站设计和存储容量的设计。

(5) 所有工作交给一家厂商去做, 和分别包给几个厂商去做, 计算出来的工作站点数量有所出入。因此, 运营模式分散的情况, 需要由各家外包厂家需求量求和, 而不是笼统计算总和。

(6) 系统流程中各工种效率须按实际情况测算。如根据系统运行将近半年的数据, 一台标引机器, 工作1小时, 可以产出7分钟的新闻 (1分钟左右的节目) 、15分钟的专题 (20-30分钟长度的节目) 、40分钟的体育赛事 (1.5-2小时的节目) , 需要分开设计。

(7) 对于分级媒资系统, 必须按照工作流的思路全盘考虑量化指标, 必须将生命周期概念用在每一个环节, 并用木桶原理测算出每一个环节的量化, 否则系统的流量, 永远被某个容易被忽略的环节所限制, 其他环节再设计如何宽松的余量都于事无补。

摘要：媒资系统设计除了系统定位和功能之外, 系统性能量化设计也是设计的难点。本文以上海文广新闻传媒集团 (SMG) 媒资系统为例, 介绍了在设计生产型媒资和资料性媒资系统量化参数时应用的木桶原理和生命周期概念, 重点阐述了木桶原理和生命周期的应用方法, 对存储量和站点等重要参数的量化方法提出了自己的观点, 并举例了各个重要量化参数的计算过程。

河源台媒资系统项目的建设 第5篇

河源台现每年视频存储空间需求达8.5TB, 再加上其它类型媒体资料一年存储空间约为10TB。如考虑未来几年实现高清播出, 每年媒体资料存储空间将会达到40TB。面对如此庞大空间需求, 台内现有的存储及管理设备已无法满足。因此, 在媒资项目建设中, 我们保留并利用现有小型媒资中的服务器和存储设备, 有效节约项目成本、加强媒资核心服务性能。

河源台节目制作存储容量基本统计。

1) 每天自办栏目总长120min (每秒8M) 计算得出所需存储容量大概7.2GB, 每年自办栏目存储空间需求:7.2×365=2628GB (2.6TB) ;

2) 每年直录播活动场次近百场, 以平均每场时长90min, 每秒30M码率计算得出每年活动录制所需存储空间需:90×60×100×3.75=2.025TB ;

3) 每年专题制作接近50 个, 以平均时长20min, 高码流每秒50M码率计算得出每年专题制作所需存储空间需:20×60×6.25×50=0.75TB, 根据所需素材的存储空间是成品的4 倍计算, 素材的存储空间需要3TB ;所以每年专题制作的存储总需求是3.75TB。

4) 目前台内拥有历史素材近7000 多小时, 基本采用早期广播级录像带保存, 在不考虑低码流、图文等元素的情况下, 以8M码流数字化转存所需的存储空间约为30TB。

面对日益增长的数据, 台内目前现有的10.6TB在线存储体已不能满足, 为降低存储成本和存储风险, 计划采用“在线+近线+离线”的存储方式进行存储和管理。需长期存储备份的资料, 将直接迁移至数据流磁带库上面并进行“离线”保存, 对于低使用率的素材我们将把素材从在线存储体迁移至数据流磁带库上面进行“近线”操作, 而对于需要经常反复调用的素材则直接存储至在线存储体以方便随时调用, 所有素材的低码率文件均存储至在线存储体。

系统网络设计:

系统架构:

系统设计说明:

网络系统采用NAS结构, 有在线存储、近线存储和离线存储三层存储体系架构。通过迁移服务器及相关软硬件设备来实现媒资系统中所有资料的三层存储。采用千兆以太网交换机, 提供级联光纤端口及模块, 满足本系统的以太网接口和带宽需要。数据迁移系统软件可根据具体的业务需要, 预先定制节目和素材文件存储策略和迁移策略, 也可由用户手送迁移或回迁指令, 进行在线存储和近线存储设备之间的数据迁移和备份。迁移系统可实现节目素材的整体迁移或部分迁移。素材上载和编辑系统采用高低两种不同码率编辑的方式。素材的编辑格式和存储格式采用MPEG2-I帧格式。同时制定了生产管理流程和管理策略, 实现用户管理、设备管理、素材管理、日志管理、存储空间管理等功能。用户的权限和策略可根据实际的工作需要进行定制和快速更改。系统中的编目信息通过XML文件格式与其它媒资系统进行信息交换以满足不同的用户使用要求和使用习惯。提供独立检索软件、Web检索方式和非编目系统内嵌检索媒体资产管理系统模块等3 种不同的资料检索方式, 并能够支持多样化的资料检索手段和发布方式。用户可在单独运行的检索软件上进行节目素材的检索查寻和在线浏览, 也可通过内嵌在非编软件中的检索模块进行查寻, 查寻到节目素材可通过鼠标直接拖放到时间线上进行编辑制作。系统中的用户也可以通过WEB  检索方式实现媒资资料的检索、下载等功能。

媒资系统在线网络存储解决方案 第6篇

关键词：媒资系统,FC,SAN,NAS,横向扩展,文件系统

0引言

媒资系统作为广电行业管理音、视频节目数据的核心系统,存储非结构化的音、视频节目数据十万小时以上,一般采用在线、近线二级结构的分级存储。近线存储采用低成本的数据流磁带库系统,永久保存海量的节目数据。在线存储,主要是采用SAN或NAS等网络存储,以提供数据生产和使用的高速性能。媒体融合的发展,媒资系统所管理的数据类型,从视、音频文件扩展到图片、图表、文档等全媒体文件,数据应用也从电视业务扩展到广播和新媒体业务。媒资系统的在线网络存储必须适应综合业务的发展。

1基于FC SAN的解决方案

媒资系统发展初期只面向电视业务,一般采用了与制作网相同的FC SAN的架构。媒资系统采用了“以太+FC”的双网结构,主流FC为8Gb/s和16Gb/s,以太网以10GE为核心和1GE接入。如湖北台媒资系统(图1),由相应的数据库、文件系统、WEB、流媒体服务器、转码服务器、迁移服务器、归档服务器、工作流/任务调度服务器、FC存储阵列和数据流磁带库组成媒资的核心系统;配置上载、编目、检索工作站点,组成数据生产系统。

1.1在线网络存储的I/O负荷

湖北台媒资数据处理流程为:上载、迁移、转码、归档、预览、下载和网间数据传输(图2),以处理100Mb/s的高清计,单个节点占用存储码率如下:

1.上载,是通过上载站点对视频磁带的信号进行采集,以恒定带宽写到上载区,1台上载站点占用100Mb/s写码率。

2. 迁移,是通过迁移服务器读取上载区的节目数据,写入到存储的媒资高码区。1台迁移服务器读/写各占用约1000 Mb/s码率。

3.转码,是通过服务器读取高码区的高码数据,转换成2Mb/s以内,可供编目和检索预览的低码率文件,写入媒资低码区。转码主要是读存储,1个转码进程约100Mb/s,1台服务器并发2个进程,约占用200Mb/s读码率。

4.预览,检索和编目通过流媒体服务器,读取低码区的数据。1台流媒体服务器支撑系统内100个应用的并发,约占用200Mb/s码率。

5.归档,归档服务器读高码区的数据,通过磁带驱动器(LT05),写入数据流磁带库。1台归档服务器读存储约占用1400Mb/s码率(为1台LT05驱动器的读写峰值)。

6.下载,是归档的逆过程,由归档服务器通过磁带驱动器(LT05),将数据磁带库中的数据,写入下载区。1台归档服务器写存储约占用1400Mb/s码率。

7.网间传输,由传输服务器读取高码区的数据,传输至与媒资互联的业务网;或从业务网写入高码区。千兆以太网互联,1台传输服务器读或写存储,峰值约占用1000Mb/s码率。

优化媒资流程后,迁移和网间传输可复用服务器,并单独配置归档的时间窗口。故存储最大吞吐负荷为上载、迁移(网间传输)、转码、预览、下载的并发。

湖北台媒资系统(图1)按表1所列,配置节点数量,其FC阵列承载的最大吞吐负荷为18.2Gb/s≈2.28GB/s;考虑20%裕量,FC阵列须提供2.85GB/s以上的吞吐带宽。图1所示的系统,配置了1台提供3GB/s吞吐带宽的阵列,。

1.2规划数据卷

按照图2的处理流程,需要规划存储高码流节目文件(50Mb/s标清、100Mb/s高清)的上载卷、下载卷、媒资高码卷,存储低码流预览文件(2Mb/s)的媒资低码卷;以及1个附件卷,存储k B级的小尺寸文件(为关键帧、文稿等)。根据业务流程和数据生产量规划数据卷空间,并估算阵列的物理容量。

1.3部署数据卷

部署数据卷的重点是将系统的I/O负荷分布到不同卷,直至不同RAID组,避免业务并发时负荷集中在某个RAID组或卷上,造成系统I/O性能的下降。

根据阵列配置一个RAID组(主要是RAID6或RAID5)性能最佳所需磁盘数量,结合数据卷的容量,确定其所需的RAID组数量和磁盘数。按照业务类型,确定不同RAID组RAID级别和数据分条大小。上载卷、下载卷为数据临时存储卷,且上载卷需要提供恒定高吞吐带宽,设置为RAID5;数据驻留时间较长的媒资高码卷、数据需要永久保存的媒资低码卷,设置为RAID6;以上卷应采用较大数据分条;永久在线保存的附件卷,可以设置为RAID6,应采用十几k B的小数据分条,以减少碎片。

根据阵列性能,在RAID组上划分LUN。可在文件系统中完成部署数据卷,实现LUN级别的细粒度配置。在文件系统中配置LUN的主、备控制器,阵列的双控制器各主/备控每个RAID组一半的LUN,实现每个卷的数据吞吐分布在阵列所有主机通道上。

在FC交换机上配置ZONE,在阵列配置LUN Masking,在节点上完成文件系统客户端配置,实现节点对卷的访问。

SAN的存储扩容是通过在FC阵列内增加扩展柜或增加FC阵列实现。但涉及FC网络、存储设备、文件系统及客户端的调整配置,部署复杂,影响业务连续。

2 SAN+NAS的解决方案

随着媒资业务扩展,需要通过一套媒资系统实现对电视和广播音频两类节目数据统一管理。广播音频数据为S48或WAV的文件,文件尺寸较小,数据流为kb/s级。虽然与视频数据相比,占用的网络存储吞吐带宽和空间很小。但直接在FC SAN中部署广播音频数据处理的站点和存储空间,一样涉及FC网络扩展,新增文件系统客户端,增加FC阵列容量,成本较高实施复杂。

传统NAS足以承载音频文件的存储和网络并发吞吐带宽。湖北台FC SAN架构的媒资系统,充分利用系统的千兆以太网,采取SAN+NAS的存储方案,利用即插即用的NAS存储广播音频数据(图3),省去了对SAN文件系统和FC的配置,简化系统集成。

2.1 NAS的负荷

媒资系统管理的广播音频数据为音频节目文件(WAV的音乐资料、S48的广播节目),供WEB浏览的音频预览文件(MP3)。

媒资音频数据处理流程为:上载、迁移、转码、预览、下载应用。对于随机并发的预览,每一个MP3的播放应用为kb/s级,全网并发约占用10Mb/s级的吞吐码率。NAS的主要I/O负荷为不同路径间的数据迁移。图3系统中,系统配置2台迁移服务器并发约占4000Mb/s码率,配置8Gb/s吞吐带宽NAS不存在I/O吞吐压力。NAS主要的压力是存储容量。

2.2 部署NAS

以1小时立体声WAV(48k Hz,24bit)格式音频文件约1GB计,1万小时约需10TB存储空间。NAS须具备存储几万小时音频数据的容量,满足媒资每年入库1万小时以上音频数据的存储,并具备后续扩容的功能。湖北台媒资系统(图3)一期部署的NAS,具备48TB裸容量,配置RAID后有效空间约30TB,可存储3万小时以上的音频数据。

部署NAS,必须按其文件系统空间大小、系统数据生产量和处理流程,配置存储路径,如上载路径、音频节目路径、音频预览路径、下载路径等。音频节目和预览文件的存储路径,应部署在不同RAID组上,以分布系统的主要吞吐负荷。由于这两个路径下的数据要永久保存,须采用安全级别较高的RAID6。所有的RAID组配置控制器的Active-Active(双活)策略,使I/O负荷分布在NAS的所有主机通道上,提高并发能力。

完善数据库对音频数据的管理,在媒资中建立音频业务流程后,只需将NAS和音频转码/迁移服务器接入以太网(图3),其它流程节点均复用原系统中的节点。

显然,SAN+NAS的方案能有效解决在FC SAN媒资系统中音频业务的部署。

3基于集群NAS的解决方案

媒资存储的媒体数据都是一次写入网络存储,反复进行读取的应用,网络存储主要I/O为大量数据的迁移和传输,并不是实时读写视频文件。这种业务特点适合采用NAS,可避免系统采用SAN带来的成本高、扩容和网络管理复杂等问题。但采用传统NAS作为网络存储,由于不具备横向扩展(scaleout)能力,会导致存储容量增加影响系统I/O性能;且传统NAS的文件系统空间有限,容量不断增加会导致存储路径的部署和管理变得复杂;若部署多个NAS,会导致存储间低速迁移的问题。

媒资系统采用集群NAS的解决方案,才能满足系统对容量和IO性能的需求,简化网络和数据的管理,降低投资。

3.1 集群NAS对媒资业务的适应

媒资系统存储台内所有媒体数据,且逐年新增海量数据,在线存储必须可扩容至PB级容量。媒体融合发展,媒资业务已逐步从其系统内部向外扩展,网间的大尺寸文件交互、流媒体应用和文件服务与日俱增,存储必须适应多种数据业务并存所导致不同的I/O性能需求。媒资的在线网络存储需要具备大容量和高I/O性能,具备横向扩展能力。

集群NAS是由多个节点构成的分布式存储系统。每个节点是一个包含前端通道(如1GE/10GE/40GE)、高速后端通道(如Infiniband)、磁盘控制器(CPU、内存)、缓存和磁盘的完整存储单元,同时具有处理和存储的功能。集群通过多节点的并行处理,具备很高的I/O的性能,并能实现集群中不同节点向不同的业务类型(如吞吐量、IOPS)提供不同的容量比率,以适应不同数据业务对存储的I/O需求。

集群NAS的分布式文件系统支持PB级存储,并实现了对集群中每个节点的处理能力和存储容量的聚合。在集群中增加节点,在增加容量的同时增加I/O能力,具备了很好的横向扩展性能。

3.2 集群NAS对媒资系统的优化

集群的分布式文件系统,将传统存储基于文件系统、卷管理器和数据保护(RAID)的三层结构进行了整合,形成了一个智能的分布式文件系统。结合其高速后端网络,采用集群NAS后,能优化媒资的系统结构、数据管理、系统扩展。

首先,优化系统结构。对比FC SAN,系统由“FC+以太”的“双网架构”简化为以太网的“单网架构”,减少了配置、管理FC网络带来的压力。且NAS自带文件系统,不必像SAN系统需部署网络文件系统(如Stor Next)用于SAN卷的共享管理,省去了MDS的配置和文件系统客户端的配置,系统更简洁(图4)。

其次,优化数据管理。集群NAS采用智能的文件系统,不存在LUN,卷等,避免了像传统存储对LUN和卷的复杂操作导致数据丢失的风险,管理更简便可靠。通过高速后端通道,按照策略在集群内将“冷热”数据向不同性能的节点(提供容量或性能)分布,实现数据分级管理,有助简化业务流程。

具备节点级和文件级的多级容错数据保护和快速数据恢复能力,提供更高的数据安全性。节点级容错,可在线灵活配置一个或多个节点的冗余保护,确保节点失效后数据安全;文件级容错,是在集群内对文件或目录进行镜像处理,并分布在不同节点上。磁盘故障时,则利用整个集群所有磁盘和硬件来重建数据恢复,大大缩短重建窗口。

第三,简化存储扩展。通过统一的文件系统管理,集群的扩展只是一个增加节点的过程。对比传统的SAN或NAS,省去了RAID、LUN、卷的配置,做到了在线扩容的即插即用。

3.3 集群NAS的部署

集群NAS通过NFS,CIFS,FTP等协议,为媒资系统的Windows和Linux客户端提供对集群的访问。媒资系统的基础网络必须具备足够的1GE、10GE的端口,供集群NAS前端接入。

集群NAS的关键是文件系统和后端网络的性能。集群NAS必须是由单一文件系统创建统一的命名空间,而不是将若干LUN挂载在一个根目录下形成的一个大命名空间,这样会带来热点数据集中的问题,影响系统的性能。同时,集群节点之间必须采用高速后端网络(图4)进行互联通信,元数据和数据分块后经后端网络分布到各节点,提供高性能的数据读写。

部署集群NAS须确定配置的节点。根据业务需求,确定初始配置的节点数量和节点类型,一般三个节点起配;扩展配置时,综合业务需求,考虑新增满足吞吐量或IOPS性能的节点。

系统接入集群NAS后,根据数据处理流程,配置存储路径;并可通过对集群的前端网络进行网络配置,实现基于路径的网间数据交互。从降低成本考虑,可继续使用近线数据流磁带库(图4)进行数据的归档备份和回调。

4结束语

媒资系统业务的扩展,其在线网络存储必须满足容量、吞吐量和IOPS性能的综合需求,高性能的集群NAS则提供了一个优化的解决方案。FC SAN架构的媒资系统,通过部署集群NAS,将数据业务平移到NAS上,逐步弱化SAN,这是保证业务连续和保护投资的有效策略。系统采用面向文件的NAS后,借助标准的TCP/IP协议和网络文件协议NFS/CIFS,具备了更好的虚拟化能力,也为媒资系统融入台内“私有云”打下了基础。

参考文献

[1]刘鹏,罗圣美,赵淦森等.中国云存储发展报告[M].北京:电子工业出版社,2013.

[2]张继平,龚靖,雷俊智,龙洋,黄种教,蔡丹倩.云存储解析[M].北京:人民邮电出版社,2013.

[3]鲁士文.存储网络技术及应用[M].北京:清华大学出版社,2010.

中小电视台媒资系统的探讨 第7篇

目前中小电视台的大多数节目资料基本上还是以模拟形式保留在磁带上, 因此遇到很多问题。首先资料保存寿命受到制约。这里有两方面原因, 一是模拟录像带本身的缺陷造成的。录像带由于不可避免磁粉脱落, 造成保存时间过短, 录像带对保存的环境有苛刻的要求, 录像带的寿命与使用的次数成反比。我们认为使用次数越多的节目, 越重要, 价值也越高。于是形成了一种非常不利的现象, 越是重要的节目保存的时间反而越短。更糟是, 由于对录像带的损坏程度是很难量化的, 所以无法精确计算录像带的真正寿命。二是由于录像带播放设备的更新换代, 使一些老式磁带上的信息面临无法读出的危险。现实的情况是许多电视台在设备升级换代的同时, 还不得不保留一些老式录像机。

其次, 查询困难。在现有节目存储系统查找素材主要分两步, 一是要找到存储相关节目的录像带, 然后再从录像带中找到相应的信息。目前录像带的查找方式是基于旧的图书馆检索系统, 主要是使用卡片检索方式, 个别的电视台使用计算机管理的电子卡片系统。检索的最小单位是录像带, 为了制作一个新的节目, 通常需要从几十盘录像带中截取片段。找到了所需要的录像带, 只是完成了检索工作量的20%, 然后就需要在每盘录像带顺序中查找节目片段, 通常一个小时的录像带上有用的节目只有几十秒。由于有用的节目片段可能在录像带的任何位置所以为了找到这个片段所需要的平均时间理论上应该是录像带总长度的一半, 但实际上用户经常需要反复查找比较之后才能找到有用的片段, 所以实际上找到这个片段所需要的时间经常是录像带总长度的一点五至两倍。

再次, 共享不方便。现实视音频信息的共享目前主要有两种途径:使用最多的是直接借用资料录像带, 这是最不可取的一种方式, 因为每个用户在一段时间内需要独占地使用他们所借阅的录像带, 而且录像带每借阅一次, 寿命都会缩短。另外一种方式是复制录像带, 这种方式的优点是可以多个人同时使用, 而且可以延长录像节目的寿命, 这还是目前不同的电视台之间交流录像节目的主要方式。它可以在一定程度上延长母带使用寿命, 但效率较低。

对于中小电视台而言, 如何建立媒体资产的管理系统、建立什么规模的管理系统、根据本台的财力如何确定投资规模, 这些都是值得认真研究的问题。电视台作为一个生产单位, 其主要产品为视音频节目, 同时包含了与其相关的文稿, 如新闻稿、解说词、拍摄脚本等。节目和素材构成了电视台资产的重要部分, 其价值可能超过固定设备的有形资产。节目和素材作为资产, 其巨大的经济价值已经为媒体和业界广泛认同, 随着电视设备及电子技术的发展, 利用新技术来保护和拯救这些珍贵的历史资料已成为可能。目前国内广播电视行业经过数年数字化、网络化的建设, 已经逐步实现了非线性节目制作网络、自动化播出、IT化演播室, 以及节目生产管理系统等一系列的数字化和网络化改造。接下来就是在完成了电视台采编播管存的局部数字化网络化后, 如何能够进一步整合资源, 提高效率, 建立并实现全程文件化的节目制播体系。媒体资产管理系统经过几年的发展, 技术方面已经相当成熟, 而随着电视台数字化网络化的技术发展进程, 媒体资产管理系统也从最开始的注重保存向注重再利用和注重存储管理服务发展。

2媒资系统的设计

2.1媒资系统的功能需求

媒体资产管理系统要满足电视台对媒体资产的收集、编辑、存储、查找、整理及再利用的功能需要, 为资产使用者提供访问内容的简便方法, 以便高效地保存和利用媒体资产。因此在系统功能设计上应考虑以下几点:

1. 资料采集:能够通过视频采集卡将磁带机和录像机输出的模拟信号转换为广播电视级的视音频媒体文件 (MPEG2标准) 。

2. 资料编目:完成资料上载, 对采集的素材添加相应的检索信息、关键帧信息, 并根据使用需要将素材上载至存储服务器。

3.素材再利用:在局域网内对素材进行查询、检索、点播、回放及回迁下载, 并能对视音频素材进行编辑。

4.网络性能:具有全面的网络管理体系, 能监控网络运行情况, 合理分配网络资源, 动态配置平衡网络负载, 满足网络中视音频高码率数据流交换与存储。

5.数据安全:存储数据的可靠性和安全性高。

6.系统设计必须具有良好的标准性、开放性、扩张性、升级性以及模块化应用, 能与现有的采、制、播一体化网络以及未来数字化网络无缝衔接。

2.2 设计方案

针对上述功能, 并综合考虑中小电视台对系统的需求与实际运用, 对系统的关键技术提出以下解决方案:

2.2.1 媒体存储格式

由于广播电视行业对视音频素材品质要求相当高, 但若采用无压缩方式, 将使存储成本、管理费用及日常维护费用提高, 中小电视台难以承担。随着视音频压缩技术的成熟, 由压缩所带来的信号损失越来越小, 已经完全符合制作和播出要求, 因此采用对信号先压缩再存储将大大降低存储成本, 并且现有的非编网络基本上采用MPEG-2的视频标准, 所以系统采用MPEG-2和MPEG-4两种媒体存储标准。

2.2.2 媒体存储技术

目前, 存储有三种模式:直接外挂存储 (DAS) 、网络连接存储 (NAS) 和存储区域网络 (SAN) 。对于广播电视的海量存储需求, 以及对存储的性能、可靠性、扩张性的高要求, DAS存储由于采取的是服务器扩展存储设备方式, 其无法满足存储容量的易扩展性, 并会造成主网络数据传输堵塞。SAN是以数据为中心, 将所有存储设备与所有服务器连接在一起的网络, 其优点是最大限度实现数据共享和优化, 减轻主要网络数据传输的负担, 结构灵活、性能高、扩张性好, 成为未来海量存储的发展方向, 如果考虑到光纤网的造价成本太高, 系统也可采用IPSAN存储模式, 以降低成本。

2.2.3 素材转码

目前, 中小电视台非编网络主要使用MPEG-2媒体格式, 因此为实现系统间无缝连接, 媒体资产管理系统亦采用此格式, 并且支持MPEG-2 IBP (4∶2∶2) PS流ES流、MPEG-2I Frame PS流ES流、DV25、DV50、MPEG-4等常用格式的转码, 包括素材的剪截、分段、合并, 可构成转码集群, 支持并行转码和协同转码。综合上述技术路线, 设计系统结构如图1所示。

该系统主要分为四个功能子系统:上载编目工作站、检索回迁工作站、转码 (转码集群) 工作站以及服务器管理子系统。

1.上载编目工作站:

采用SDI或YUV分量等方式, 实现将传统模拟信号 (如录像机) 经视频采集卡及计算机软件处理, 以标准的MPEG-2文件格式保存, 并且对采集的素材添加供检索使用的元数据, 其中包括媒体内容描述、场景描述、关键帧描述、视频采集及编辑相关信息等。将素材上载为在线或保存在光盘上, 并填写相应的在线存储路径或光盘信息, 并生成MPEG-4流媒体检索数据。该子系统实现资料素材的统一的、标准的归档入库, 把无序的信息变为有序的资源, 提高检索查询效率。

2.检索回迁工作站:

素材使用者通过填写相关查询条件, 方便、快速的访问媒体服务器提供MPEG-4低码率视音频游览数据, 实现素材回放。一旦确定所需数据信息, 可向系统发出下载回迁请求, 以获取所需素材数据。

3. 转码 (转码集群) 工作站:

支持多种媒体格式的广播级软、硬转码。该子系统采用分布式转码中心的方式, 实现集群处理, 通过系统服务器调度进行转码任务的自动分配和负载均衡, 支持对长时间关键任务的并行操作, 以及高优先级任务实现最快速度的转码, 并且提供回放功能通过非编卡实现硬件转码。

4. 服务器管理子系统:

提供各种任务调度, 申请信息转发, 数据库信息服务及系统信息维护, 权限分配管理等功能。

3结束语

媒体资产管理系统将成为未来电视台数字化采制播一体化网络系统的核心, 它将极大地提高节目制作效率与质量, 并且它是关系到各级电视台技术提升和多种业务开展的战略性行为, 具有极大的社会效益和经济效益, 将得到越来越广泛的应用。

摘要：本文对中小电视台节目存储和使用的现状作了分析, 提出了媒资系统的功能需求和解决方案。