电脑桌面
添加盘古文库-分享文档发现价值到电脑桌面
安装后可以在桌面快捷访问

存储管理范文

来源:火烈鸟作者:开心麻花2025-09-171

存储管理范文(精选11篇)

存储管理 第1篇

1 存储网络管理

只要网络中的服务器与存储器之间还存在隶属关系, 存储管理应用程序的工作重心就将只集中在服务器一端 (存储器的直接所有者) 和特定的操作系统上。存储网络将管理的重心从服务器转变到存储器, 并且允许存储管理程序可以独立于某台服务器和某个特定操作系统而处理数据问题。

SAN的管理具有层次性的功能, 这些功能可以作为单独的应用而存在, 也可以集成在一个管理系统中, 在这个层次结构中, 低层向高层传送一些状态和事件信息, 同时高层也向低层的特定代理 (agent) 发送命令 (command) 和查询 (query) 。管理结构建立在SAN中的可管理设备 (如主机适配器、交换机和桥接器等) 互连的基础之上, 这就好比管理实体存在于磁盘阵列和磁带子系统中一样。上面所列的这些设备通过一些协议, 与其相应的设备管理应用程序进行通信。然后设备管理应用程序进而还可能与上层的存储器以及存储器资源管理器进行通信, 这些存储器以及存储器资源管理器提供了到企业级系统管理平台的接口。光纤通道硬件和软件厂商都有一定的兴趣, 使他们的产品适应这种伞状的管理策略;为这种将组成SAN系统的各个层次聚合在一起的方法, 方便了所有产品的配置过程。

多个存储网络设备的管理就意味着需要多个设备管理器, 相应地, 也就是需要多个管理工作站或是控制台来支持不同厂商的应用程序。对于IT管理人员来说, 使用多个管理控制台并不是一个好办法。在局域网或广域网中并行开展网络管理的方法分割了管理平台的整体性, 这种方法可促进单个存储网络应用中设备管理器的合并。

2 存储资源管理

在SAN管理层次结构中, SRM (存储资源管理) 应用是更为集成的存储管理平台的一个子集。SRM应用既可作为独立的应用程序使用, 也可作为更大的管理应用的一个模块嵌入到其中使用, 同时SRM应用也可以为同构或是异构的操作系统平台编写[2]。对于SAN来说, SRM应用并不是独一无二的, 它的内部也可能包括工作站附接的 (workstation-attached) 、SCSI附接的 (SCSI-attached) 或者是NAS的存储器。存储资源管理应用只有在多个服务器访问同一存储磁盘阵列, 或者SRM应用工作站自身是SAN附接的 (SAN-attached) 时, 才是SAN特定 (SAN-specific) 的。

如果没有存储资源管理机制, 磁盘的管理就会被限制在一台服务器上。对于一个拥有成百上千甚至上万台服务器的企业来说, 人工收集大量的各种信息, 将是无法做到的。这样做的结果就是:在多台服务器上完全不必要地重复设置相同的应用一些部门的磁盘空间可能没有得到充分利用, 而另一些部门的磁盘空间却不够使用不能恰当地估计磁带备份需求;以及不可预见的磁盘短缺所带来的突然停机。

存储资源管理机制解决了上述问题。它将磁盘信息检索的过程自动化, 并为所有的磁盘资源提供了一个统一视图。每台服务器上的SRM客户程序周期性地更新分配给它的卷和目录信息, 并将更新之后的信息上报到SRM管理器。接着, SRM管理平台将来自于多个客户程序上的状态信息存储到相关的数据库中, 并且依据各厂商设计实现的不同, SBM管理平台还可能提供在超过存储使用上限的时候存储器发出警报的功能。与局域网和广域网中的传统工具相似, SRM应用也可能提供强化的容量规划功能, 该功能方便了存储资源的重新分配工作, 并提供了为可能发生的存储需求进行精确预算的功能。

由于SAN是一种以存储器为中心的模型, 所以SRM应用可以更有效地对存储器使用进行优化, 而不是用来巩固SCSI结构。举个例子来说, 存储网络上的JBOD和RAID在SAN附接的 (SAN-attached) 服务器之间磁盘空间的重新分配上提供了较高的灵活性, 同时也可以在不中断系统的情况下更方便地增加存储池的大小。在更高的层次上, 通过SRM的存储器使用数据信息可以与通过存储网络管理应用的传输利用信息结合起来决定最佳的服务器与存储器配置, 这样可以在满足存储容量需求的同时也考虑到网络的通信能力。

3 存储管理

存储管理是一种更广的存储功能范畴, 除了资产跟踪功能以外, 它的范围还包括磁带备份、存档、数据存放以及存储空间和文件管理策略等。存储管理应用可能是一种伞状的多功能平台, 它既可以作为一整套补充软件产品封装在一起, 也可以作为可完成一定管理功能的专门的独立程序而存在。像SRM应用一样, 存储区域网络结构使得存储管理更加容易一些, 但存储管理却不依赖于存储区域网络结构。然而, 存储管理产品的生产厂商却已经是SAN的支持者, 这主要是因为比起其他的存储结构SAN提供了更高、更好的适应性。

除了备份操作以外, 存储管理的功能还可能包括:监控共享资源的访问过程;调度运行不会造成混乱的磁盘整理程序管理文件系统的增长以及完整性;监视对存储器的跨平台访问。在单个应用中集成的功能越多, 那么对于日常的操作来说, 存储管理就会越简单, 随着SAN中存储器和存档系统越来越多, 系统的集成度就会越来越高。

摘要:SAN的管理是一种层析性的管理应用, 包括从硬件设备管理器层到企业级管理应用层的多个层次管理。由于服务器背后SAN形式网络的兴起, 数据的传输和数据本身的管理, 对于稳定运行来说都是至关重要的。本文对SAN存储网络管理、存储资源管理及存储管理进行了探讨。

关键词:SAN,存储网络管理,存储资源管理

参考文献

[1]刘琰.浅谈IPSAN存储技术在高校数据中心的应用研究[J].电脑知识与技术, 2008 (5) .

实验3存储管理模拟 第2篇

存储管理模拟

实验三

存储管理模拟

一、内容补充说明

实验中固定内存分区采用结构体数组实现,分区信息采用结构体初始化实现。由于结构体中含string类,VC++不能对含string类的结构体初始化,这里采用MinGW编译器作为程序平台。

MinGW,即 Minimalist GNU For Windows。它是一些头文件和端口库的集合,该集合允许人们在没有第三方动态链接库的情况下使用 GCC(GNU Compiler C)产生 Windows32 程序。实际上 MinGW 并不是一个 C/C++ 编译器,而是一套 GNU 工具集合。除开 GCC(GNU 编译器集合)以外,MinGW 还包含有一些其他的 GNU 程序开发工具(比如 gawk bison 等等)。开发 MinGW 是为了那些不喜欢工作在 Linux(FreeBSD)操作系统而留在 Windows 的人提供一套符合 GNU 的 GNU 工作环境。

内存的分配采用“最先适应算法”实现,由于是固定分区,采用该算法不仅简单,而且保证效率。

二、分析和设计

1.理论分析

初始状态内存中没有作业运行;以后每5 秒钟随机生成一个作业,如果不能满足作业需求(主存中没有分区能够容纳的下),则丢弃该作业。作业以秒为单位进行驱动,当一个作业运行时间结束后将释放内存空间。

2.总体设计

分区信息采用初始化实现。

作业以秒为单位进行驱动。

作业的生成、内存的释放采用永真循环实现,当作业全部运行完后跳出循环。

新作业的大小和运行时间由随机数函数rand生成。

结构体Job用于生成新作业时用;结构体District是内存分区,作业分配成功后,作业的信息全部保存在District内,不再由专门的作业队列记录。

作业运行时间由District[i].Remainder记录,当每秒驱动一次时,时间将减少一秒。当时间减少为0时,作业运行结束,释放内存空间。

每分配一个作业,变量Jump自加一次;每释放一个作业时Jump自减一次。因为作业先分配、内存后释放,所以当作业都运行完时Jump必定等于初始值,这时程序跳出永真循环。

三、详细实现

for(int j=0,clock=0,flag=0;1;clock++,flag=0,Sleep(1000))

//总循环,永真循环,flag为作业分配标志,clock为作业产生时钟,Sleep为程序步进驱动

{if(j

//每5秒产生一个新作业

{p=new Job;

//产生新作业

……

for(int k=0;k<10;k++)

if(District_table[k].Job_size==0 && p->Job_size<=District_table[k].District_size)

//如果分区未分配并且作业大小小于分区大小

{District_table[k].Job_num=j;

//分配内存,并将作业信息保存至分区信息中

……

for(int k=0;k<10;k++)

if(District_table[k].Job_size!=0)

//如果分区中有作业运行

District_table[k].Remainder-=1;

//程序步进驱动,作业运行减1 ……

for(int t=0;t<10;t++)if(District_table[t].Job_size!=0 && District_table[t].Remainder==0)

//如果分区中有作业运行,并且作业已运行完成 计算机操作系统实验

存储管理模拟

{District_table[t].Job_size=0;

//释放内存

……

四、操作界面

操作界面为命令提示符界面,实验截图如下:

1.编译、连接界面

计算机操作系统实验

存储管理模拟

五、心得体会

程序最后跳出永真循环是用break语句。原来是用goto语句,用break语句或exit语句应该也是可以的,但运行后死活都跳不出来,后来不知道为什么又好了。

MinGW是一个很好的编译器,安装包小、程序文件小、绿色环保、速度快、效率高。另外,还有很多人性化的设计,比如:现实代码行数、网格显示、配对括号激活时高亮显示方便检查、括号代码折叠方便查看上下段程序等等。可惜Windows Vista用户没福气,幸好我是Windows XP。

六、附录

#include #include #include

using namespace std;

计算机操作系统实验

存储管理模拟

cout<<“/\/\/\/分区表初始化完成\/\/\/\”<

//打印内存分区内容

cout<>Counter;for(int j=0,clock=0,flag=0;1;clock++,flag=0,Sleep(1000))

//总循环,永真循环,flag为作业分配标志,clock为作业产生时钟,Sleep为程序步进驱动

{if(j

//每5秒产生一个新作业

{p=new Job;

//产生新作业

p->Job_size=rand()%34+1;

//作业大小随机

p->Job_time=rand()%40+1;

//作业运行时间随机

cout<Job_size<<“K 运行时间:”<

Job_time<<“S”<

for(int k=0;k<10;k++)

if(District_table[k].Job_size==0 && p->Job_size<=District_table[k].District_size)

//如果分区未分配并且作业大小小于分区大小

{District_table[k].Job_num=j;

//分配内存,并将作业信息保存至分区信息中

District_table[k].Job_size=p->Job_size;

District_table[k].Remainder=p->Job_time;

District_table[k].District_state=“Allocated”;

cout<<“↓↓↓↓↓↓↓↓↓↓分配成功,分配信息如下↓↓↓↓↓↓↓↓↓↓”<

cout<<“分区号码 分区大小 作业大小 分区状态”<

for(int t=0;t<10;t++)

cout<

flag=1;

//分配成功

Jump+=1;

//内存中作业数

break;

}

if(flag==0)

//如果作业分配不成功

cout<<“→→→→→→→→→空间不足,分配失败,已丢弃→→→→→→→→→”<

j++;

//生成作业数

}

for(int k=0;k<10;k++)

if(District_table[k].Job_size!=0)

//如果分区中有作业运行

District_table[k].Remainder-=1;

//程序步进驱动,作业运行减1

for(int t=0;t<10;t++)

if(District_table[t].Job_size!=0 && District_table[t].Remainder==0)

//如果分区中有作业运行,并且作业已运行完成 {District_table[t].Job_size=0;

//释放内存

District_table[t].District_state=“Unallocated”;

cout<

District_table[t].Job_num=0;

cout<<“分区号码 分区大小 作业大小 分区状态”<

for(int r=0;r<10;r++)

cout<

Jump-=1;

五大要素管理动态存储基础设施 第3篇

随着刀片式服务器、融合基础设施、各种绿色节能技术以及智能管理软件的应用,特别是云计算技术的不断成熟和应用,新一代数据中心的主要特征日益清晰起来,那就是更节能、更环保、更智能、按需成长、按需分配等。不过,要构建这样的数据中心并不容易,其中不仅涉及数据中心的规划、设计、部署以及维护,也与云计算的部署和落地存在密切关系。

日前,在由本报联合工业和信息化部电子科学技术情报研究所云计算研究与促进中心主办的“2011云计算暨下一代数据中心大会”上,来自行业用户、厂商代表和业内专家近500人围绕如何顺利实现数据中心的升级、让云计算顺利落地等一系列热点话题进行了探讨。

拥抱云计算

云计算是当今IT界的热门话题。借助基于互联网的一系列创新技术,云计算给我们带来了一种更经济、更高效、更灵活的使用IT的方式。

正是基于此,业界对云计算给予高度关注,国际IT企业纷纷推出自己的云战略,以在云计算生态系统中抢占地盘。据不完全统计,2010年与云计算相关的并购案已达20多例,VMware、CA、SAP、HP、EMC等都先后进行了相关收购。这种关注还延伸到政府层面。美国先后推出了“联邦云计算计划”和“联邦云计算战略”,IT管理改革也明确了“云优先”路线;日本刚刚出台了“智能云战略”来加快推进云计算的应用与研究;韩国也出台了专门的云计算发展战略规划——“云计算活性化”综合规划,计划投入6146亿韩元把韩国建成云计算的最强国。

我国各级政府也加紧了云计算落地的步伐。目前,国家发改委、工信部、科技部等多部委共同参与制订的《加快发展高技术服务业的指导意见》已进入起草阶段,其中,云计算产业将被作为未来高技术服务业的主角。而此前的2010年10月18日国家发展改革委与工业和信息化部联合发布的《关于做好云计算服务创新发展试点示范工作的通知》更是具有标志意义,宣布将在北京、上海等五个城市先行开展云计算创新发展试点示范工作。各地政府也都纷纷发布了有关推进当地云计算的战略,北京启动了“祥云计划”,上海启动了“云海计划”,全国各地还悄然掀起了一股云基地建设的热潮。而电信行业更是早早动手,中国移动研究院早就启动了“大云”计划,中国电信去年也分别在上海、四川、广州、江西等四地启动了云计算的试点项目,力求成为云计算管道的主导者、综合平台的提供者、内容应用的参与者。

“在我国,云计算产业整体还处于市场导入阶段,但是发展非常快。比如,我国已实施云计算的企业数占比在亚太几个国家中还是比较低的,大约只有16%,但是计划实施或者对云计算比较感兴趣的企业数量在亚太国家中却领先。”工业和信息化部电子科学技术情报研究所软件与信息服务研究部主任黄鹏在演讲中说。

数据中心升级

云计算并不是一个孤立的市场,它是一个产业链的调整和资源的重新分配,这也正是人们高度重视云计算的重要原因之一。

“云计算服务价值链是以网络运营商、云计算平台运营商为核心,由内容应用运营商、网络运营商、设备供应商、系统集成商、代理商和最终用户等上中下游多个部分共同组成一条生态链,来共同推动产业链上各个行业的发展。”四川通信科研规划设计有限责任公司总工程师张德良表示。

云计算普及的一个重要影响是数据中心的升级换代。由于云计算本质上是通过集约化、规模化和专业化来提升IT效率,因此,构建大型数据中心的需求日益凸显出来,于是如何构建一个高效率、绿色、环保的数据中心也就成为用户普遍关注的问题。

“现有数据中心的主要问题表现在可靠性和可用性不足,缺乏灵活性,建设周期长,扩展性不强,能耗成本居高不下,资源利用率低等。”北京云立方科技有限公司CEO徐红忠说,“云时代的数据中心需要解决这些问题,它应该是可靠、灵活可扩展、绿色节能、自动化、安全和分布式的。”

徐红忠认为,模块化是下一代数据中心的发展趋势。所谓模块化数据中心是指数据中心的每个模块具有独立的功能、统一的输入输出接口,不同区域的模块可以互相备份,通过相关模块的排列组合形成一个完整的数据中心。这些模块包括机架、制冷系统、不间断电源和电池、灭火系统、配电、冷却系统和远程监测。与传统的数据中心相比,模块化数据中心可以最多节约30%的成本,所占面积也可以减少多达50%。

集装箱式数据中心是模块化数据中心的典型代表。集装箱预装经过测试的组件,可以快速部署,不受建设周期的限制,能满足应用灵活和快速移动的要求。不仅非常适合应急性和临时性的场合,而且很多企业也开始把它作为一种常规的数据中心来使用。据微软软件架构资深顾问曹骏介绍,微软在芝加哥的数据中心就采用了微软自己设计和研发的集装箱模式,每个集装箱内放置了1800到2500台服务器。

绿色环保也是下一代数据中心的主要特征,随着环保意识的增强和能源供应的持续紧张,企业在构建数据中心时都高度重视其用电问题。“云时代的数据中心除了灵活、高效、自动化和智能化以外,还一定是可以实现边成长边投资,是绿色、低碳和环保的。”施耐德电气IT事业部大中华区战略市场总监谢卫刚说,为此需要对数据中心从规划、设计、部署到运维的全生命周期进行监控和管理。

另外,数据中心的升级不仅体现在数据中心的基础设施上,还体现在运行在这些基础设施之上的IT系统的运维上。“在云计算时代,还依靠传统的管理和运维工具来进行IT系统的维护是不现实的,因为跟不上需求的变化。”NOVELL东亚区支持与服务总监李岩表示。而实际上,此类管理工具的升级引发IBM、HP、BMC等公司一系列并购。

带动云存储市场

云计算对IT产业的影响是多方面的,云计算的兴起还推动云存储市场的成熟和繁荣。

“云存储其实是大规模的数据依附于存储介质聚集在一起,按照一定的物理及逻辑关系,实现价值效用的最大化。”西部数据首席行业存储产品总监王啸虎表示。

实际上,缺少了基于云存储系统的资源池的支撑,云计算也根本无从谈起。云计算要在云存储的支持下根据实际业务类型提供不同的应用服务。同时,云存储中各种不同的存储设备之间要能协同工作、备份、调用等,使多个存储设备可以实现对外统一的标准化、能动态调整的服务。

“其中的一个关键环节是存储设备的统一管理和协调,这也是构建云计算系统的必须考虑的一个部分。” 红帽软件(中国)公司首席架构师忽志刚表示。

另一个环节则是存储设备本身,因为不管云计算的数据计算及管理能力如何发展与强大,存储单元及存储介质的技术仍然是至关重要的。正是基于此,传统的存储设备商一方面在不断改进传统存储设备(如硬盘)的性能,同时也在积极研发新的存储设备,其中包括SSD硬盘等。据金士顿大中国区闪存业务部SSD产品经理张延军介绍,该公司推出的SSD产品的连续读取速度已经达到了230MB/秒,连续写入速度180MB/秒,极大地提升了存储效率,也推动了IT系统效能的改进。

存储管理 第4篇

蓝光光盘作为一种近十年才兴起的存储介质, 具有容量大、保存期长、价格便宜和安全性高等特点。一个单层的蓝光光碟的容量为25 GB或27 GB, 全新Archival Disc光盘介质容量目前已可实现300 GB存储容量, 未来可以达到600 GB甚至更大。可以把经常访问的数据存放在磁盘或磁盘阵列上, 不经常访问的数据放在超大容量蓝光光盘库中, 由此得到数百TB的总存储容量, 但付出的代价仅仅是同等容量磁盘的10%~20%。TRIP是No SQL文档数据库和全文搜索引擎的一个混合系统。TRIP是集成所有搜索引擎的数据库系统, 是处理海量非结构化和半结构化数据的完美操作平台。

利用高性价比的蓝光存储设备作为硬件支撑, 结合具有搜索功能的TRIP数据库, 开发电子档案数据存储管理系统, 实现气象电子档案规范化管理以及图像文件和数据文件的快速统一查询, 为气象数据的应用提供便利的工具。

1 总体设计

1.1 系统结构

系统将目前繁重的档案管理工作分为三个工作流程执行, 即光盘档案的接收上架、光盘档案的著录、光盘档案的查询调档。系统严格按照软件开发进度和质量规范要求, 采用当今国内、国际上比较成熟的计算机硬件技术, 使系统最大限度地适应今后技术和业务发展变化的需要。人机界面的设计, 使界面操作简洁、风格一致, 便于用户学习和掌握, 同时提供了必要的帮助功能。

本项目在研究电子数据标准化归档存储的基础上, 开展两个方面的应用研究:以蓝光光盘为硬件基础设施, 实现气象电子档案标准化存储管理;基于TRIP数据库, 实现气象结构化数据和非结构化数据的快速检索。项目整体结构设计如图1所示。

1.2 归档策略制定

根据不同数据类型, 制定不同的数据归档策略。按照《单子文件归档与管理规范》对电子文件进行编目, 同时根据不同的数据光盘, 每张光盘设置不同的二维条码。归档项目电子文件的光盘编号, 由档案类目号、项目代号、单子文件类别打码以及光盘序号组成。具体形式如图2所示。

1.2.1 档案类目号

军事M (Military affairs)

政治P (Politics)

社会E (Economy)

科学C (Community)

历史H (History)

娱乐R (Recreation)

1.2.2 项目代号

项目代号指产品代号、课题代号以及建设项目代号等 (限5位大写字母) 。

1.2.3 电子文件类别打码

G——图形文件

I——图形文件

T——图形文件

P——图形文件

V——图形文件

1.2.4 光盘序号

光盘序号是光盘排列的顺序号, 由阿拉伯数字组成, 如01、02、03……。

1.3 数据光盘管理

利用成熟的光盘管理技术, 实现气象数据光盘的规范化管理。具体流程如图3所示。

1.3.1 光盘档案上架管理

按照国家及行业相关标准, 对每张上架光盘进行条码赋码, 系统通过读取光盘外标识的条形码, 为每张光盘分配上架的物理位置。

1.3.2 光盘档案著录

本方案可对每张光盘进行卷宗级、案卷级和文件级著录 (建立文件索引) , 并可提取文件相关信息, 真正做到“只需动手, 无需动脑”。

1.3.3 档案查询

用户通过输入关键字等信息, 可快速查询到目标文件光盘的具体位置。与智能光盘柜结合进行具体光盘档案查询。可采用多种模式快速定位所查光盘档案所属的物理位置。

1.3.4 档案调档

根据需要调用档案。

1.4 气象数据查询利用

如图4所示, 利用非关系型数据库, 实现气象扫描图像和要素的快速统一查询。基于TRIP数据库进行查询, TRIP数据库支持布尔检索、位置检索、模糊检索、二次检索、词表检索、间接检索、浏览字段等, 可同时250个数据库一个内容或多个内容进行检索;同时, TRIP具有灵活的输出显示, 可按预先编辑好的输出格式输出命中结果, 按临时组配的格式显示命中结果及生成文件, 对命中结果进行排序、分析、统计, 命中结果可作为查找词去挖掘另一个数据库, 极大地方便了气象观测数据和图像扫描数据的查询, 为省级新一代数据查询和数据服务提供支撑。

在安全方面, TRIP具有四级安全控制机制:可分别对系统级、数据库级、记录及字段级进行授权, 并建立严密的用户管理机制, 对系统管理员、数据管理员和用户管理员进行分别授权, 且可以对用户进行分组授权, 实现用户群组的批量授权, 为数据查询和数据对外服务提供便利。

关键技术难点主要是, 为光盘建立信息索引数据库, 实现光盘的快速定位。建立光盘归档规范, 为光盘建立索引是实现光盘快速查找的前提条件。索引设计的合理性、规范性、统一性以及可扩展性将直接影响光盘查找的效率, 以及数据检索的效率。如何利用TRIP数据库, 解决非结构化数据的查询, 海量数据的检索。为气象部门引入非关系型数据库, 解决目前科技档案、视频会议、人事档案等数据的存储问题。同时, TRIP数据库强大的搜索功能, 为气象数据检索提供全文检索、二次检索等功能。

2 结语

随着气象事业的发展, 原有气象记录档案管理办法已不能完全适用于现在这个信息网络时代。气象电子档案将逐步涵盖气象业务中各类观测、预报等信息, 气象电子档案的管理也将成为气象现代化建设的重要组成部分。随着蓝光光盘存储设备的引进, 气象部门将逐步淘汰磁带库、DVD光盘存储等原始方式, 也将加快推进气象电子档案馆的建设步伐。基于TRIP数据库的软件开发将提高气象非结构化数据的应用, 同时在气象观测数据、气象天气图、观测报表图像、视频文件等数据搜索利用的效率也将大幅提升。规范气象电子档案的归档和管理, 提高气象电子档案的管理能力和数据的利用率, 培养一批气象数据管理、气象数据应用以及非关系型数据应用方面的高层次人才是我们下一步努力的方向。

摘要:气象行业每天都要产生大量的观测数据以及档案数字化文件需要归档存储, 然而这些数据仍然依靠传统的磁带库、磁盘阵列或DVD光盘进行保存和利用。如何安全保存、科学管理和高效利用这些气象电子档案是目前急需解决的问题。本文提出利用高性价比的蓝光存储设备作为硬件支撑, 结合具有搜索功能的TRIP数据库, 开发电子档案数据存储管理系统, 实现气象电子档案的规范化管理以及图像文件和数据文件的快速统一查询。

关键词:气象电子档案,蓝光存储设备,管理系统

参考文献

[1]何晓.电子档案归档系统的设计与实现[D].长春:吉林大学, 2010.

[2]王晓明, 李红革, 刘春雪.浅谈气象记录电子档案的有效管理[J].黑龙江气象, 2010 (1) :36-37.

[3]刘秀荣.浅谈内蒙古气象电子档案管理现状与改进办法[J].内蒙古气象, 2014 (3) :47-48.

气瓶存储使用管理规定 第5篇

1目的

为了加强各种瓶装压力气体的存放和领用、使用安全管理,防范事故,消除隐患,特制定此规定。

2.范围

适用于生产作业活动中使用的各种钢制压缩气体气瓶。3.气瓶使用

3.1 使用气瓶前使用者应对气瓶进行安全状况检查,检查项目包括 3.1.1气瓶的外表是否存在腐蚀、变形、磨损、裂纹等严重缺陷。3.1.2气瓶的附件(防震圈、瓶帽、瓶阀)是否齐全、完好。3.1.3气瓶是否超过定期检验周期。

3.1.4气瓶的使用状态(满瓶、使用中、空瓶)。

3.1.5检查减压器、流量表、软管、防回火装置是否有泄漏、磨损及接头松懈等现象;

3.1.6对盛装气体进行确认。检查不合格的气瓶不能使用。

3.2气瓶应在通风良好的场所使用。如果在通风条件差或狭窄的场地里使用气瓶,应采取相应的安全措施,以防止出现氧气不足,或危险气体浓度加大的现象。安全措施主要包括强制通风、氧气检测和气体检测等。

3.3气瓶的放置地点不得靠近热源,应与办公、居住区域保持10m以上,气瓶应防止曝晒、雨淋、水浸,环境温度超过40℃时,应采取遮阳等措施降温。

3.4氧气瓶和乙炔气瓶使用时应分开放置,至少保持5m间距,且距明火10m以外。盛装易发生聚合反应或分解反应气体的气瓶,如乙炔气瓶,应避开放射源。

3.5气瓶应立放使用,严禁卧放,并应采取防止倾倒的措施。乙炔气瓶使用前,必须先直立20min后,然后连接减压阀使用。

3.6气瓶及附件应保持清洁、干燥,防止沾染腐蚀性介质、灰尘等。氧气瓶阀不得沾有油脂,焊工不得用沾有油脂的工具、手套或油污工作服去接触氧气瓶阀、减压器等。

3.7禁止将气瓶与电气设备及电路接触,以免形成电气回路。与气瓶接触的管道和设备要有接地装置,防止产生静电造成燃烧或爆炸。在气、电焊混合作业的场地,要防止氧气瓶带电,如地面是铁板,要垫木板或胶垫加以绝缘。乙炔气瓶不得放在橡胶等绝缘体上。3.8气瓶瓶阀或减压器有冻结、结霜现象时,不得用火烤,可将气瓶移入室内或气温较高的地方,使用40℃以下的温水冲浇,再缓慢地打开瓶阀。严禁用温度超过40℃的热源对气瓶加热。

3.9开启或关闭瓶阀时,应用手或专用扳手,不准使用其他工具,以防损坏阀件。装有手轮的阀门不能使用扳手。如果阀门损坏,应将气瓶隔离并及时维修。

3.10应缓慢地开启或关闭瓶阀,特别是盛装可燃气体的气瓶,以防止产生摩擦热或静电火花。打开气瓶阀门时,人站的位置要避开气瓶出气口。

3.11乙炔气瓶使用过程中,开闭乙炔气瓶瓶阀的专用扳手应始终装在阀上。暂时中断使用时,必须关闭焊、割工具的阀门和乙炔气瓶瓶阀,严禁手持点燃的焊、割工具调节减压器或开、闭乙炔气瓶瓶阀。3.12乙炔气瓶瓶阀出口处必须配置专用的减压器或回火防止器。使用减压器时必须带有加紧装置与瓶阀结合。正常使用时,乙炔气瓶的放气压降不得超过0.1MPa/h,如需较大流量时,应采用多只乙炔气瓶汇流供气。

3.13气瓶使用完毕后应关闭阀门,释放减压器压力,并佩戴好瓶帽。3.14不得擅自更改气瓶的钢印和颜色标记。严禁敲击、碰撞气瓶。严禁在气瓶上进行电焊引弧。

3.15瓶内气体不得用尽,必须留有剩余压力。压缩气体气瓶的剩余压力应不小于0.05MPa,液化气体气瓶应留有不少于0.5~1.0%规定充装量的剩余气体,并关紧阀门,防止漏气,使气压保持正压。禁止自行处理气瓶内的残液。

3.16在可能造成回流的使用场合,使用设备上必须配置防止回流的装置,如单向阀、止回阀、缓冲器等。3.17气瓶投入使用后,不得对瓶体进行挖补、焊接修理。严禁将气瓶用做支架等其他用途。

3.18气瓶使用完毕,要妥善保管。空瓶上应标有“空瓶”标签;已用部分气体的气瓶,应标有“使用中”标签;未使用的满瓶气瓶,应标有“满瓶”标签。

3.19使用过程中发现气瓶泄漏,要查找原因,及时采取整改措施。严禁在泄漏的情况下使用气瓶。4气瓶存储

4.1气瓶宜存储在室外带遮阳、雨篷的场所。存储在室内时,建筑物应符合有关标准要求。气瓶存储室不得设在地下室或半地下室,也不能和办公室或休息室设在一起。

4.2 存储场所应通风、干燥、防止雨(雪)淋、水浸,避免阳光直射,严禁明火和其他热源,不得有地沟、暗道和底部通风孔,并且严禁任何管线穿过。

4.3存储可燃、爆炸性气体气瓶的库房内照明设备必须防爆,电器开关和熔断器都应设置在库房外,同时应设避雷装置。禁止将气瓶放置到可能导电的地方。

4.4气瓶应分类存储,并设置标签。空瓶和满瓶分开存放。氧气或其他氧化性气体的气瓶应与燃料气瓶和其他易燃材料分开存放,间隔至少6m。氧气瓶周围不得有可燃物品、油渍及其他杂物。严禁乙炔气瓶与氧气瓶、氯气瓶及易燃物品同室储存。毒性气体气瓶或瓶内介质相互接触能引起燃烧、爆炸、产生毒物的气瓶应分室存放,并在附件配备防毒用具和适当的灭火器材。

4.5对于装有易燃气体的气瓶,在储存场所的15m范围以内,禁止吸烟、从事明火和生成火花的工作,并设置相应的警示标志。4.6气瓶应直立存储,用栏杆或支架加以固定或扎牢,禁止利用气瓶的瓶阀或头部来固定气瓶。支架或扎牢应采用阻燃的材料,同时应保护气瓶的底部免受腐蚀。

4.7气瓶(包括空瓶)存储时应将瓶阀关闭,卸下减压器,戴上并旋紧气瓶帽,整齐排放。

4.8如果气瓶漏气,首先应根据气体性质做好相应的人体保护,在保证安全的前提下,关闭瓶阀,如果瓶阀失控或漏气点不在瓶阀上,应采取相应紧急处理措施。

存储管理 第6篇

关键词:文件生命周期电子邮件分级存储归档

随着互联网与通讯技术的发展,电子邮件作为政府、企业与外界的主要沟通桥梁,已经成为政府部门之间、企业与客户(供应商)之间保持互动的重要工具。在办公自动化系统中,电子邮件是其最基本的功能。政府、企事业单位通过电子邮件迅速便捷地起草、发送、浏览、分类各类文件、信函等,实现其在政府、企事业单位各部门及个人之间快速的传递。目前,电子邮件的应用已确立一种协同工作的机制,更多的办公自动化系统可以依据不同工作流的处理流程,自动地将文档以电子邮件的方式传递给下一处理对象,通过文档的自动传递,实现复杂的工作流应用。

1 传统存储与归档的分级方式及其弊端

传统的存储与归档的分级主要是从数据的访问率的角度来考虑的,根据数据的重要程度、可用性、访问频率和存储成本等技术指标对数据实施差异化管理,把数据存放在相应的存储设备上,一般分为在线存储、近线存储和离线存储三级存储方式。如郑州大学白广思的《信息资源分级存储实现信息生命周期管理》、广东交通职业技术学院周淦淼等人的《分级存储管理在电子邮件系统中的研究与应用》和安徽省经济信息中心缪辉宇的《分级存储技术在数字媒体资源管理中的应用》等都提出了数据三级存储方式的观点。这三级存储的最大优点就是提高整体系统性能,把不经常使用的数据转移到下级存储设备上,需要时刻保持在线的数据就少,这样就减少了系统资源的占用,自然也就提高了整体系统性能。但是,这种传统的存储与归档分级方式有着一定的弊端,主要表现在以下几个方面。

1.1电子邮件数据存储的成本较高

在线存储多采用高速磁盘阵列等存储设备及高端存储系统和技术如:SAN、点对点直连技术、S2A等。这些高端存储系统具有一些“高端”属性,高容量、高性能、高可用性、冗余性等。在电子邮件数据收集的过程中,需要一定的自动化软件作支撑,WindowsLiveMailDesktop、KooMail、IncrediMail、Foxmail、Mozilla Thunderbird、Outlook Express和MailWasher等,这些都需要增加投资,提高电子邮件存储的成本。

1.2分级过分依赖于访问率高低

把访问量不大的电子邮件数据转移到存储性能稍低的磁盘(如IDE或SATA接口磁盘)或光盘存储设备上,其目的是减轻电子邮件数据存储的压力。但这样做并不合理,因为根据档案的保管期限划分标准并不是以“利用的频率”作为唯一标准。决定档案保管期限的因素:一是档案价值的大小,或者说档案重要程度的高低;二是档案价值发生作用的时间范围。同时,在较短时间内对工作有参考利用价值的文件材料,列为短期保存,而在较长时间内对工作具有查考利用价值的档案,则列为长期以上保存。因此,电子邮件数据访问量并不能成为存储与归档分级的唯一标准。

1.3相关信息具有后验性的特点①

对于电子邮件管理系统,并不能从接受电子邮件数据始端就能判断电子邮件访问率的高低,仅仅依靠经验判断将电子邮件数据存储在某一层次的存储设备上并不科学。而且,短期内访问率高的电子邮件数据并不代表它的使用价值就大。

1.4不同厂商的数据访问难以自动迁移

目前尽管有许多厂商都推出了相应产品支持电子邮件数据自动迁移,但从技术角度来看,对于同一厂商的存储产品实现电子邮件数据间的自动迁移并不困难,而不同厂商之间的存储产品实现电子邮件数据自动迁移就有一定的局限性,这要考虑到数据迁移频度对电子邮件系统运行的稳定是否有影响。

2 电子邮件分级存储与归档的保障目标

1940年,美国档案学者菲利普·布鲁克斯最早提出了“文件生命周期”概念。“文件生命周期”指的是文件从产生直至因丧失作用而被销毁或者因具有长远历史价值而被档案馆永久保存的整体运动过程。引入“文件生命周期”概念的目的是强调文件运动的一种时间跨度,表明文件具有从最初形成到最终销毁或永久保存的整体运动过程。电子邮件作为电子文件的重要组成部分,文件生命周期理论同样适用于电子邮件的存储与归档。

2.1确保电子邮件的可用性

电子邮件的可用性是指电子邮件的数据与电子邮件系统在任何情况下都能够在满足基本需求的前提下被使用的特性。这一特性反映在物理安全、运行安全层面上,确保信息网络与重要电子邮件系统的正常运行,包括保障电子邮件的正常传递,保证电子邮件系统正常提供服务等,反映出电子邮件系统的可用性的基本属性。保证合法用户对电子邮件的使用不会被不正当地拒绝。

2.2确保电子邮件的可控性

电子邮件的可控性是指在电子邮件系统中加强对电子邮件的监测与控制。互联网上针对电子邮件的主动监测、过滤、限制、阻断等控制能力,反映出电子邮件及电子邮件系统的可控性的基本属性。在电子政务、电子商务中表现为电子邮件系统对电子邮件服务和电子邮件的访问具有很强的控制能力。

2.3确保电子邮件的机密性

电子邮件机密性反映在电子邮件具有不被非授权解析,电子邮件信息系统不被非授权使用的特性。这一特性反映在物理安全、运行安全、数据安全层面上,保证电子邮件数据即使被黑客捕获也不会被解析,保证电子邮件系统即使被访问也不能够越权访问与其身份不相符的信息,达到电子邮件机密性保障目标的实现。

2.4确保电子邮件的完整性

电子邮件完整性是指电子邮件数据信息不被篡改的特性,即电子邮件在存储和传输过程中保持不被非法修改和破坏,并且能够判别出电子邮件数据是否已被改变。其目的是保证政务信息、商务信息处于一种完整和未受损状态,在数据安全层面上,确保电子邮件系统中所传输的电子邮件数据的完整性。

2.5确保电子邮件的真实性

电子邮件真实性是指电子邮件系统在交互运行中确保并确认电子邮件的来源以及电子邮件发布者的真实可信及不可否认的特性。这一特性反映在运行安全、数据安全层面上,保证电子邮件交互双方身份的真实可信、以及交互电子邮件数据及其来源的真实可信。在电子政务、电子商务中要实现的目标是任何电子邮件的提供者和其使用者双方都要建立有效的责任机制,防止用户否认其行为。

3 电子邮件分级存储与归档方案的实施

在电子政务、电子商务等活动中,电子邮件作为发布信息、传递文件的重要渠道,其数据保护是其关键。但是,并非所有的电子邮件数据都具有同样的价值,也并非所有的政府、企事业单位都具有同样的需求。电子邮件数据的存储与归档目的“是将当前高效运行的网络、计算机和信息系统中长期呆滞的数据从当前在线存储系统中剥离出来,以减轻现行系统的运行负担,提高系统的服务性能和运行效率。”②

3.1电子邮件的鉴定

根据电子邮件的内容确定其是否具有公文性质,是否具有保存价值。对于涉及公务但以个人名义收发的电子邮件应视为公务电子邮件。对于公务电子邮件保管期限和密级的划分工作,参照国家有关纸质文件材料的保管期限和密级的有关规定执行。另外,档案部门必须对需要归档的公务电子邮件进行真实性、完整性、有效性鉴定。为拒绝垃圾邮件,首先要查看发件人的IP,查询收到的电子邮件IP所属的区域。其次,如果网站上有计数器,同时可以参考一下计数器里面的IP记录,查看该IP是否浏览过收件方的网站。第三,查看电子邮件发来的时间,根据时差判断发送电子邮件的时间是否准确。第四,查看电子邮件里面是否留下详细的联系资料,如果有网址、详细电话、传真地址等,一般比较可信。第五,分析电子邮件的内容是否有价值。

3.2电子邮件的分级

电子邮件分级就是要将用户拥有的所有存储资源统一管理,提高每种存储设备的利用率,节约成本。在分级过程中,存储的分级是十分明显的,仅从设备上说,就有磁带机、磁带库、NAS、中低端盘阵、高端存储系统等等。对于电子邮件数据的存储,采用分级别进行,在保持对归档数据可访问的前提下,根据电子邮件内容的具体情况和保管期限,结合档案分类方案,把电子邮件按不同级别存储到硬盘或磁带上。对重要的电子邮件,具有永久保存价值的将电子邮件数据存储在一级硬盘;对于比较重要,具有长期保存价值的电子邮件数据存储在二级硬盘。同时,也应把电子邮件数据保存拷贝在磁带上,因为相对于硬盘来说磁带的成本低得多。

3.3电子邮件的存储

OE全称Microsoft Outlook Express,这是微软公司出品的邮件管理程序,功能强大。该软件已经整合在IE浏览器中。在OE程序里,默认的邮件文件夹地址在系统盘,但重装电脑的时候很容易丢失该程序,所以正常情况应将电子邮件存储到非系统盘。另外,在OE里面,按照单位名称、邮件类别、地区等有关选项新建电子邮件的存储文件夹,并将相关的电子邮件存储到对应的文件夹里面。定期将电子邮件内容整理出来,也可以打印以纸质档案的形式同时保存。

3.4电子邮件的归档

电子邮件归档作为文件生命周期管理中不可缺少的一环,就是要把需要长期存储却又不会被经常访问的数据迁移到更经济合理的存储介质上,在需要时又能及时检索,从而降低系统的整体拥有成本,简化存储管理。根据《公务电子邮件归档与管理规则》的有关规定,“办理完毕且具有保存价值的电子邮件应及时从原有邮箱中迁移出来,进行逻辑归档,保存到专门的电子文件管理系统中。”③需要注意的是,采用物理归档的公务电子邮件应采用或转换为规定的标准格式进行归档,有些电子邮件的存储格式无法完整、准确地转换,应将相关的应用程序同时归档。

总之,在电子邮件存储与数据归档中,文件生命周期管理的理念同样适用于电子邮件的管理,它能帮助政府、企事业单位科学有效地加强对电子邮件的管理,以最低的成本来实现电子邮件大量数据的有效管理与高效利用。随着通讯技术、网络技术等现代技术在电子邮件归档系统中应用的成熟,数据加密、身份认证、虚拟化等技术也逐步走进电子邮件存储与归档的应用中,有效地提高了电子邮件存储与归档应用的效率,使电子邮件的存储与归档做到既科学规范又节约高效。

盐城师范学院2012年度校级教授、博士基金项目(项目编号为:12YSYJB0107)《基于文件管理的电子邮件归档研究》阶段性研究成果。

注释:

①傅佳.基于应用等级的存储分级管理策略[J].中国金融电脑,2012(1):72-74.

②陈永生,薛四新.基于分级存储的数字化档案利用模式研究[J].档案学研究,2006(5):33-37.

控制管理成本的分层存储策略 第7篇

一、信息分层

在大量数据中, 有80%在30天内没有被访问过, 这些数据被视为非活动的数据。80%的非活数据会消耗大量资源, 影响整体效率, 这是我们适度提高效率降低成本的一个关键, 由此引出层次存储的概念。存储的容量和速度有这样一个关系:速度越快, 整体的存储越小。在所有介质中, 磁带机的成本最便宜, 但是它的速度是最慢的。反过来, 成本一样, 速度越快的, 价格越高, 速度越慢, 价格越低。那么, 可以考虑是否把80%的数据转到速度慢但价格低的地方。这就是层次存储的概念。

二、业务驱动

信息生命周期管理 (简称ILM) 的价值就是希望能够降低成本系统的总体拥有成本。总的来说, 数据信息生命周期是数据根据不同的阶段分成一级存储二级存储的迁移, 这并不是简单的迁移, 需要通过业务驱动。数据可以分为几种类型, 一类是文件型的数据, 属非结构化数据;另一类是数据库的数据, 属结构化的数据;而像邮件和短信等, 属半结构化的数据。不同类型的数据有相应的迁移策略。文件级的数据可以用分离软件, 可以直接在不同的存储之间穿越, 但是像数据库等结构化数据, 作为第三方不太容易迁移, 需要在内部增加迁移的模块, 像邮件和短信这种半结构化的数据可以通过接口来迁移。

三、核心是分类和策略服务

在整个迁移的过程中, 真正的核心是分类和策略服务。以学校举例, 学生要查课的信息, 这一层的服务, 要求查询响应的时间非常短, 可能在1秒钟之内, 信息的时间应该是存储处理, 可能是30天或更短一些, 这部分信息需要备份保存。一旦出现故障, 整个业务就停下来。这一层级是服务层的, 不仅仅是存储反应时间快不快的问题。第二层的数据是一些文档, 这些文档的数据反应不会以秒计。第三层的数据则是归档数据。

因此, 要根据单位的需求确定不同的服务层次, 通过不同的存储设备、软件和架构使用户得到服务。信息生命周期管理的目标就是效用存储, 根据服务的分层、用户的分级、业务的优先级, 把整个数据放到不同的管理层次, 从某种层面上, 它就是一个服务层次分类的概念。

四、三阶段实现存储策略

分级存储是一个较好的技术选择, 可以充分利用现有资源, 不需要一次从无到有大规模的投资。比如5 TB的空间存储, 大概需要20万元, 但是由于80%的数据是非活动的, 迁移4 TB数据到低端存储系统, 每TB投入2万元, 将节省7万元;如果迁移到磁带上, 每TB投入2 000元, 将节省14.2万元。并且, 80%的非活动数据迁移之后, 整个数据的备份和恢复需要的时间也会大大缩短。存储策略的实现是分几个阶段。

海量数据存储管理方法的研究 第8篇

关键词:数据库,存储原则,数据查询

0 引言

当今数据库应用中,经常面临大数据信息的管理,如视频、音频、图形图像等数据的管理。单个数据文件的数据量往往高达几GB,甚至几十或上百GB。特别是近几年来,视频数据的积累成集合增长,如何有效地将此类数据存储到数据库中,以及在数据库中实现数据的查询是数据库应用技术必须面对的问题。

1 海量数据存储的原则

随着人们对音频、视频以及高清视频的需求,传统意义的服务器硬盘存储已无法满足此类数据的存储要求。为了解决这一问题,引入两个新的概念,分级存储和SAN。分级存储是将“一级Cache”、“二级Cache”、“内存”和“硬盘”的层级模式再次扩展,将最常用的数据存放在性能极高的大型磁盘阵列或超大型磁盘阵列,不常用的数据存储在低速磁盘阵列,几乎不用的数据存储在磁带介质上。大型的存储系统中可能要连接成百上千台存储设备,而传统的SCSI,IDE的数据连接方式由于其先天的缺陷无法胜任这样庞大的系统,因此引入存储区域网的概念,可将整个存储系统构架在一个网络架构上面,将各种计算设备、存储设备通过光纤连接在一起实现各种数据的高速互通[1]。

在组建大型存储系统时,存储设备型号的选择是重要核心环节之一,根据系统需求选择存储设备的性能、扩展性、安全性、稳定性和容量等方面的因素。访问频率高但价值不高的数据可采用在线系统的磁盘阵列存储,访问频率低、价值高、安全要求高的数据可采用非在线的电子磁盘或磁带存储[2]。同时磁盘阵列与磁带库之间的配合也尤为重要,将常用的数据存储到在线系统的磁盘阵列中,实现数据的正常访问和使用;定时采用覆盖或非覆盖的模式可将数据备份到磁带。当数据量达到一定程度后,人工实现数据的备份、迁移、归档和恢复等操作不仅工作量特别大,同时也无法保证工作的准确性和实效性。针对这种需求,必须在配备足够容量的高性能阵列的基础上再配置能够胜任存储海量数据的高性能自动化磁带库,并配置与之相关的数据管理软件来实现数据的自动备份、迁移、归档和恢复等存储管理操作。

2 海量数据存储的设计与实现

设计海量数据存储系统时,不仅要考虑系统的高性能,同时其数据的安全、可靠存储也是系统的关键问题。数据存储的任何失误,会给系统带来巨大的损失,甚至造成整个系统的瘫痪。数据丢失的隐患具有长期性、多样性和不可预测性等特点,其原因主要有设备故障、人为因素、黑客攻击和各种灾害等。因此数据存储系统必须拥有一套稳定、安全、可靠的存储框架来承担系统数据的增长,并能够主动对不可预测的灾难事先进行有效的预防。

海量数据存储系统业务应用管理主要有两个方面:基于应用层面,主要解决具有不同数据特性信息资料的应用管理,为用户提供准确、快速的检索手段;针对安全存储层面,主要解决系统和数据的备份、恢复、归档、分级管理、数据共享等,在为用户提供透明数据访问的基础上,以最安全、最经济和最有效率的方式在系统中管理全部数据资料。在系统设计和建设中仅考虑应用层面是远远不够的,应用层面虽然给用户一个很好的数据查询检索手段,但这一切都是建立在系统完全正常的基础上,同时也是完全不计存储成本的。一旦存储层面出现故障,再优秀的数据管理机制也会陷入瘫痪。因此海量数据存储系统不仅在设计时应考虑两个层面的协调建设,同时应将两个层面都纳入使用维护体系中,不能片面地只考虑某一层面。第一层面建立在第二层面的基础上,第二层面为第一层面提供有效保障。为更好实现第二层面对第一层面的有益补充,仅有一个高效的硬件存储平台是远远不够的,必须通过相关管理软件和性能优越的硬件平台相配合来达到目标。同时,这个实现过程还要以科学准确的管理策略、全面应用测试为基础,来完成这个数据管理过程。

2.1 备份与恢复

任何拥有大量数据的存储系统,都必须具有备份功能和恢复功能来保证数据不会因为逻辑故障而损失,包括操作系统的备份与恢复、业务数据的备份与恢复。备份是对操作系统或者是应用数据做出一个或多个复制版本,在系统发生问题时可以使用这个复制的版本进行恢复,使得系统应用中断时间最小、业务数据损失最少。系统中断时间取决于系统架构的搭建,系统如果有冗余设备就不会因为部分设备损坏而中断,但可能因为管理员的误删除导致系统无法正常运行;业务数据的损失控制取决于备份的粒度,备份的粒度越密集,业务数据损失的越小。同时对于应用架构搭建的非常合理的系统采用多点备份,几乎可以完全杜绝数据的缺失。

海量数据存储系统必须采用基于软硬件平台相互配合的自动备份方式。备份主要包括下面几个环节:各环节服务器操作系统的备份;各种结构化数据库的备份;各种非结构化数据的备份;对需要长期保存数据的归档备份;各种备份过程制定备份策略。

2.2 数据归档

当海量数据存储系统中磁盘阵列内的数据积累到一定程度,可以将这些文件按照一定的策略迁移到磁带库中。数据存储系统的特点决定数据资料的保存期限几乎是没有限期的,所以磁带库中的数据会不断膨胀,最终会膨胀到巨型磁带库难以承受的程度。为提高磁带库的利用率,可采用离线归档的手段将磁带库中使用率最低的数据归档移出磁带库,将这些归档磁带存放在另外一个大型仓库内,同时管理软件会记录所有的归档信息和过程,将来需要调用时可根据管理软件提示信息,找到归档数据、回调数据。

另外,从数据容灾的角度考虑,可以采用管理软件的备份、迁移或复制等自动功能,一份在线保管,另一份离线归档提高系统容灾能力。这一切都有管理软件全程监控和管理,简化了对大量数据的查找和使用。

2.3 迁移与分级管理

海量数据存储系统在日常资料收集过程中会产生大量的数据,这些数据不管其性质如何,使用频率如何,对大型数据中心来讲都是十分重要的,需要永久保存。访问频率极低的数据保存到在线存储上是对存储资源的浪费,但是完全对这些数据进行离线存储又会给应用带来不便,因此可利用存储系统运行的硬件平台配置相关软件来实现分级存储的解决方案。分级存储方案的功能实际上就是系统根据策略实现一定的数据迁移和数据回迁过程。数据的迁移与回迁是发生在在线存储盘阵与离线磁带库之间的,并且这个过程是自动化的,对用户的应用来讲是透明的[3]。

将阵列中不常使用的数据迁移到磁带库上,以节省阵列的数据存放空间,优化空间利用率,当数据被访问时再将数据从磁带库中装载进阵列。通过虚拟存储管理软件,对磁盘存储阵列与自动磁带库进行逻辑虚拟,构成了一个透明的存储系统。通过这种分层存储管理,可实现拥有“无限”的硬盘空间。

2.4 SAN文件共享

在海量数据存储系统中,多个服务器之间的应用需求仅仅依靠网络传输数据是无法满足的。如存储系统中多个服务器都需要对同一个视频进行编辑,传统的做法是一个服务器编辑完后,传送给另外一个服务器,依此类推。这种方法不仅网络传输占用大量时间,同时还需占用服务器大量的存储空间。为了解决这个问题,可建立一套基于SAN的共享文件系统,SAN共享文件系统是在需要共享资料的各个服务器之间形成一个类似于共享文件夹的存储池,各个服务器与这个存储器之间的数据交换是通过SAN网来传输的。IP网络只用来传输他们之间的一些控制信息、同步信息等内容。

通过使用SAN共享文件系统虚拟化存储系统,为系统内服务器提供数据共享,是数据高效率使用的基础。通过使用SAN共享文件系统,可以使系统内现有的以及未来各种异构平台,如AIX,Solaris,W2K等都使用相同的文件系统,并通过SAN系统保证为存储系统提供所需的高速数据访问,如图1所示。

3 数据查询

3.1 数据查询的优化方法

海量数据的查询优化方法主要有:(1)代数优化,对查询语句进行变换不涉及存储路径,变换后的语句执行更有效;(2)物理优化,根据存储路径选择存储策略;(3)规则优化,根据启发式规则选择执行策略;(4)代价估算优化:对已有优化策略进行代价估算,选择执行代价最小策略。对于海量数据查询方式优化往往采用一种综合的方法,以获得最好的效果[4]。

海量数据的查询优化最终实现是查询优化程序,确定每一次查询的最佳策略。查询优化程序转换SQL语句,使复杂的语句转换成为等价的但执行性能更好的SQL语句。查询优化程序的典型特征是基于开销。在基于开销的优化策略中,对于给定查询生成多个执行计划,查询优化程序选用估算开销最低的计划。查询计划是用户所编写的确定后提交的SQL语句的集合,是经过优化处理之后所产生的语句集合。DBMS处理查询计划要经历这样的过程:在执行完查询语句的词法、语法查询之后,将语句提交给DBMS的查询优化器,查询优化器先做代数优化和存取路径的优化,执行完毕后,由预编译模块对语言进行处理并生成查询规划,然后在合适的时间提交给系统处理执行,最后将执行结果返回给用户。因此用户所写语句的优劣至关重要。

3.2 海量数据的查询优化处理

代数优化处理。它是优化过程中的一个最基本的方法,是对查询进行等效变换,以减少执行开销。在变换查询时,总是让选择和投影先作,在做连接等二元操作。在连接时先做小关系的连接再做大关系的连接。在关系数据库系统中,用户使用SQL语言发出查询请求时,要采用不同的处理步骤对原始查询进行变换,这些变换工作都必须在处理查询请求和返回查询结果前处理完毕,首先词法分析处理,将最初的SQL查询语句转换成标准化的规范查询树。接着是标准后查询优化处理,即由查询处理器将规范查询树转换成有效的执行计划。常用的优化技术有启发式优化、语法优化、基于成本的优化和语义优化等[5]。

规则优化处理。合理的选择存储路径对海量数据表现的优化效果会特别明显。数据库内核向系统发出的数据查询操作,先是查询分析,优化器查询由规范查询树表示的有关查询的每个短语,确定它是可以被优化。接着索引选择,对于每个可优化子句,优化器首先检查数据库系统,看是否存在对访问数据有用的管理索引,如果子句中存在有用的索引,优化器就试图确定该子句的选择性,并根据海量数据的统计信息计算出子句的成本估计值。最后进行连接选择,优化器比较句子的各种顺序,然后选择能使连接物理磁盘I/O有最低估计处理成本的连接计划。

代价优化处理。优化过程的目的是为了提高海量数据查询的效率和性能,还要考虑各种数据库系统产品的硬件因素,如:网络性能、服务器的性能、操作系统的性能,甚至网卡、交换机等。在网络数据库系统中,系统的性能主要受I/O,CPU或网络的瓶颈的影响,为了提高系统性能,必须精心设置服务器、数据库、进程并减少数据库的冲突,消除瓶颈,使系统的处理时间最短。

3.3 海量数据查询优化的具体方法

合理使用索引。索引的使用要恰到好处,对海量数据尤为重要。其使用原则如下:在最频繁使用,用以缩小查询范围的,需要排序或分组的字段上建立索引。如果待排序的列有多个,可以在这些列上建立符合索引。尽量使用聚合索引,用聚合索引比用不是聚合索引的主键速度明显的快。

变换正规表达式。MATCHES和LIKE关键字支持通配符匹配,属于正规表达式,但这种匹配效率特低。如果把语句改为SELECT*FROM product WHERE pdate>“19980000”,在执行查询时就会利用索引来查询,显然会大大提高速度。

注意使用临时表。把表的一个子集进行排序并创建临时表,也能加速查询。临时表中的行要比主表中的行少,而且物理顺序就是所要求的顺序,减少了磁盘I/O,所以对海量数据的查询的工作量可以得到大幅减少。

4 结束语

随着现代科技水平的提高和人们对科技信息的依赖,使得数据存储量迅速增加,海量数据存储逐渐起到越来越重要的作用,怎样建设一个合理、优化的海量数据存储系统已成为数据存储服务面临的问题。在介绍海量数据存储原则的基础上,对海量数据存储的备份与恢复、归档、迁移和数据共享等方面进行设计,并对怎样优化数据查询的效率进行了分析。为海量数据存储系统的建设和优化进行了技术探索和尝试,对海量数据库的建立具有一定的意义。

参考文献

[1]路川,胡欣杰等.Oracle 10g宝典[M].北京:电子工业出版社,2008:205-240.

[2]姚书怀,刘兴伟.大型数据中心海量数据存储解决方案的设计[J].四川工业学院学报,2004,27(4):27-30.

[3]谭平平.基于ORACLE的海量数据实时处理系统的性能优化[J].华南金融电脑,2002,2:46-48.

[4]韩中,汪伟.海量数据的查询优化[J].科技资讯,2008,14:3-4.

企业存储数据管理与安全 第9篇

关键词:企业数据,存储安全,管理手段

一、企业数据信息面临的威胁

企业数据信息面临的安全威胁是多方面的, 常见的有内部不可信和外部恶意攻击, 既包括物理层、应用层的缺陷, 也有因使用者误操作或病毒攻击造成的数据丢失等。

不法黑客、恶意程序给企业数据信息带来破坏和损失, 应用系统缺陷、操作系统的宕机、使用者非法操作、硬盘物理损伤等, 都会给企业信息数据造成不同程度的损失, 轻者会造成时间延误, 影响企业生产效率, 重者则会威胁到企业的长远发展。解决这些问题, 必须有完备的数据保护策略, 并选用可靠的数据库系统, 且关键数据要进行多重备份, 并加强对企业员工的管理督导。

二、企业数据安全管理主要内容及技术手段

2.1历史数据归档。数据归档对于大数据管理至关重要, 有利于历史信息和关键数据的科学分类管理和长期保存, 便于公司决策管理。

在技术手段上, 早期的磁带库是最常用的备份技术。如今, 伴随微观元器件制造技术的日益精进, 硬盘造价越来越低廉, 磁盘阵列技术也已经迈入成熟阶段。但是受限于磁盘阵列技术的特性, 存储于其中的数据资料都处于热状态, 也即磁盘存储系统要一直处于通电状态, 这无疑会增加能耗。而且, 某些年限较久远的历史资料, 使用频率较低, 让资料一直处于热状态从经济上来说并不合适。因此, 综合看来, 磁带库对于数据归档而言仍是一项重要选择。

光盘存储也是数据归档的一种手段, 价格低廉、技术含量不高, 覆盖面宽广。但是光盘存储容量较小, 扩展性能不佳, 不适用于企业大数据的归档应用。随着各类软件应用的快速发展, 数据加密技术、身份认证、虚拟现实等逐步与数据归档相融合, 并提高了数据归档管理工作的效率, 在增强数据安全性的同时, 还削减了成本和操作复杂度。

根据相关法律规定和技术标准, 在数据归档工作中有关电子文档鉴定、检测、存档、保存环节要严格执行规章制度。文档鉴定要完成对电子文件实用性、完备性和原创性的检验, 并确定保密级别、存档类别和保存周期。在归档前应有专门人员对电子文档的情况进行审核, 并签署审核意见, 检验和审核结果记入《电子文件移交接收记录》。在进行归档工作前, 应对相应的技术条件进行检查, 包括硬件环境、软件环境、病毒感染情况等。依照鉴定标识进行电子文档归类。电子文档归档工作分两步进行, 先进性逻辑归类, 后定期完成物理归类。

2.2代码管理。对于那些计算机信息系统集成度较高的企业, 代码的安全保存、数据共享、协同管理是一个关键因素。随着软件规模的扩大, 软件团队的协同工作已经代替了单一程序员的独立开发模式。在进行协作时, 需要特别注意软件版本问题, 以免后期因版本不兼容而带来重复劳动量。

常用的代码版本控制软件有微软公司出品的VSS, CVS版本控制系统, 后者属于GNU软件包, 主要用于多人开发情形下的源代码维护。事实上, CVS对于任意文档的开发使用都能起到良好的维护作用, 例如可对共享文件进行编辑调整, 不仅仅是程序设计范畴。另外, SVN也是常用的版本控制工具, 属于开源型, 既可以对程序源代码进行管理, 也可协同管理其他数据。

SVN属于后起之秀, 目前应用范围越来越宽广。SVN在Windows和Linux操作系统中都可以使用, 可以使用客户端或命令行模式。如果已经安装客户端, 可在Windows资源管理器中直接操作SVN, 进行团队项目文件协同管理, 方便易行。由于SVN属于开源型免费软件, 它与众多软件有着良好接口。例如Eclipse, 只要安装一个插件, 就可以让SVN在开发环境中顺畅工作。

VSS采用“锁定-修改-解锁”模式, 限定为线性但用户操作, 并发性一般, 工作效率不高, 只适合于小型团队开发。SVN采用复制-修改-合并模式, 多用户可进行协同开发, 具有良好的并行处理功能, 也支持VSS的工作模式。

2.3资源安全共享。为了方便内部工作, 不少单位组建了局域网, 共享单位内部重要资料, 方便员工进行查阅、信息交换。信息数字化不仅大幅改善了人们的工作效率, 使得大数据存储和处理成为可能, 也衍生出一些全新的工作模式, 例如SOHO办公一族。但不得不承认, 计算机在带给人们巨大方便的同时, 也带来了信息资源共享的安全性问题, 近年来企业商业机密失窃案件频发。

为实现共享信息资源的安全传输、共享和存储, 有公司开发了基于数字证书技术的“安全型文件共享系统”。它采用PKI技术、操作系统核心技术和其他内置创新技术, 以数据安全为核心, 通过服务端身份认证、客户端稳健配置、用户组权限划分管理等方式, 对数据的整个生命周期内的行为进行全面控制和保护, 确保数据完整性和私密性, 很好地保证了共享资源信息的安全性。安全型文件系统的基本架构如下图所示:

该系统包括两个主要部分: (1) 文件共享系统服务端。服务端使用安全稳定的Linux操作系统和专用文件服务器。系统配备专门的服务器管理工具, 对服务器用户组进行远程管理, 远程配置, 以及用户组访问权限设置问题。 (2) 文件共享系统客户端。资源管理器以Windows名字空间方式将客户端浏览工具归入资源管理目录, 操作服务器端文件也很方便

服务器对个人数字证书进行统一认证管理, 只有通过认证的用户才可以根据分配的权限对相应服务器文件进行访问和读取。

该系统具有以下七方面功能: (1) 用户身份认证。基于数字签名技术, 能够实现对客户端用户的有效认证, 同时将用户身份锁定到其持有资源上, 这是一种一一映射的关系。 (2) 访问权限管理。某些服务者对共享目录文件享有“完全控制”权, 他可以设定用户的权限值, 这只有少数高级管理者才能得到这样的特权。目录文件包括“完全控制”、“读取写入”、“数据更改”、“列表处理”。 (3) 用户组管理。系统管理员对所有访问人员进行全方位综合管理。 (4) 文件目录管理。只有用户获得了一定的访问权限, 才可以藉由客户端对被访问文件和目录进行一定的修改操作, 如增加、删除、重命名、上传下载、复制粘贴等。 (5) 传输数据加密处理。利用诸如AES一类的高强加密算法对客户端和服务器之间的传输数据进行加密处理, 保证数据安全性。 (6) 数据备份恢复。采用Raid技术, 尽量降低因网络攻击和硬件物理损伤造成的损失。 (7) 管理系统工作日志。对用户和管理员针对系统的各种操作行为进行详细记录, 保证对使用者进行完备的监控。安全性文件共享系统能够满足企事业单位在信息资源安全共享方面的需求, 通用性较佳。

2.4业务系统数据安全。伴随互联网产业的腾飞, 移动式办公普及率越来越高, 很多企业在全国各地设立多个办事处, 需要解决远程办公的安全问题, 业务系统需要对远程介入的员工、服务代理商进行身份认证, 防止不法访问。结合数字证书技术, 可以实现以下几个功能: (1) 将身份认证机制和数字证书相结合, 确保系统安全性。 (2) 对于关键操作环节进行数字签名, 确保数据完整性和真实性, 并留存电子证据, 一旦出现发生了纠纷, 能够提供有力证明。 (3) 加密敏感信息, 确保敏感信息在传输和存储过程中不外泄。

结语

威胁企业信息安全的因素此起彼伏, 防御手法也很丰富, 本文简单介绍了一些防护手段。相信随着技术进步, 会有更多可供选择的道路。不得不承认, “人”才是企业安全的重中之重, 只有加强对员工的全方位管理, 结合先进的安全技术, 才能真正实现企业存储数据的高效安全管理。

参考文献

[1]刘新华, 胡纯蓉.云计算中数据安全关键技术和解决方案[J].全国商情 (理论研究) , 2011 (04) .

计算机存储系统的有效管理 第10篇

对存储器进行管理,合理扩充容量满足系统的要求,不外乎从两方面着手,一个就是硬件方面,另一个就是软件方面。

1. 从硬件方面提高利用率

存储器芯片容量以位bit为单位,那么存储器容量就是芯片所能存储的二进制数的位数。例如,某芯片有N个存储单元,每个存储单元有M个二进制位bit,则该芯片的容量为N*M个二进制位。微型计算机中,位是基本单位,但数据大多以字节为单位来表示,所以存储器容量也用字节为单位表示。

容量=字数*字长

例如:1KB可以表示1K*8位,1MB可以表示1M*8位。

不同的场合会对存储芯片提出不同的要求,那么如果芯片不能完全满足系统的要求,其原因我们可以从上面的公式分析得出:可能是字数不满足,也可能是字长不满足,再有可能就是字数和字长同时不满足。下面来逐一解释和解决以上问题:

1.1 位扩展

当单个芯片的容量满足要求,但是输出的位数不满足系统的输出要求时,即需要位扩展,可以通过几个芯片同时输出的方式进行扩展。

例如,系统需要的存储容量为128K*8位,但是芯片只有128K*4位。那么,很显然单个芯片的容量满足系统128K的要求,但是位数4位不满足8位的要求。为了满足系统8位的要求,需要由两个4位组成一个8位,也就是需要两片芯片同时输出。实际连接电路时需要将片选信号和地址线连在一起,同时确定那个高4位,那是低4位。

1.2 字扩展

当单个芯片的位数满足要求,但是容量不满足系统的输出要求,即需要字扩展,可以采用多个芯片地址分段的方式进行扩展。

例如,系统需要256K*8位,但是芯片只有128K*8位。那么,很显然单个芯片的位数满足8位要求,但是容量不满足256K的要求。为了满足系统256K的要求,需要2个128K一起工作,可以直接将控制器的一根地址线与芯片的使能端相连。

1.3 字位扩展

当单个芯片的位数和容量同时不满足系统要求时,用多个芯片结合位扩展和字扩展的方法进行扩展。

例如,系统需要256K*8位,但是芯片只有128K*4位。那么,很显然单个芯片无论是容量还是位数,都不能满足系统的要求。为了满足系统的要求,需要多个芯片结合字扩展和位扩展的方法同时对字和位进行扩展。

对位进行扩展,由4位到8位需要两片芯片,两片芯片的引脚接同一个片选信号,保证两片芯片同时被选中。

对字进行扩展,进行了位扩展虽然两片芯片同时工作了,但是容量仍然还是128K,所以我们需要两片芯片构成一组,由两组芯片同时工作。

2. 从软件方面提高利用率

依靠增加芯片的数量来增加系统的容量,在一定程度上确实可以满足系统对容量的要求。但是芯片数量的增加无疑会导致成本的急剧提高,所以这并不是一个完美的方法。如何在现有的容量基础上,利用一定的方法提高容量的利用率,让计算机可以运行比自身内存大的多的程序便成了首要任务,于是虚拟技术应运而生了。

所谓虚拟技术就是借助外存的力量,得到一个比内存大得多的空间,然后通过一定的方法对程序进行管理,使程序的运行不受内存大小的限制。它的实现依赖程序的两个特性:顺序性和局部性。

2.1 页式存储

将作业按统一的大小划分成多个“页”,同时也将内存按页面大小划分成若干个“物理块”,并对页和块按地址从低到高的顺序编号。分配内存时,每个页对应一个块,只要剩余块的数量不小于页的数量就可以了。

不将作业所有的页都同时放入内存,只给作业分配尽可能少的物理块,当作业运行需要某页时,如果该页恰巧不在内存中,则请求中断然后从外存中调入内存。这样通过一定的置换机制实现用少量的物理块运行较大的作业。例如,内存分配了3个物理块给作业,分别存放作业的1、3、7号页,如果这是需要运行作业的5号页,那么可以选择一种置换方法淘汰1、3、7号页中的一个,将5号页调入内存。

采用页式存储,可以使用内存中不连续的存储空间来保存作业,那么随之带来的问题就是,当前面的页面运行完的时候如何正确的寻找下一个该运行的页,也就是如何保证作业的逻辑关系不改变。那么,为了解决这个问题,应运而生了一种新的数据结构——页表。页表的每一行包括两项,一项是页号,另一项是块号。每执行一块程序前,先参照页表,按照页号从低到高进行查找,根据页表记录找到将要运行的页对应的块,进而执行该块中得程序和数据。

2.2 段式存储

页式存储的页和物理块的大小相同,在一定程度上解决了碎片的问题,但是由于按照固定的大小对作业分页,极有可能会破坏作业本身的逻辑结构,破坏了程序的模块化。模块化思想是解决软件危机的最基本思想,编程要注意模块化,存储管理更要注意保持子程序的完整性。

段式存储保证了程序的模块化。在段式存储中,按照程序的逻辑性将作业分成了若干段,程序的每一个模块都可以划分为一个段,那么在给程序分配存储空间的时候只需要给每个段分配一个连续的空间就可以了。由于内存空间的不连续,逻辑上连续的段,可能在实际的物理地址上是不连续的,为了按照程序的逻辑顺序正确的运行,就需要一张类似页表的参照表,即段表。段表就是这样一种物理结构,可以记录段的空间的各种信息,它包括段号、段空间的起始地址和长度等信息。

2.3 段页式存储

段式存储保证了程序的逻辑性,但是每个段需要占用一段连续的存储空间。例如,一个作业分了4段,分别需要10KB、20KB、30KB和40KB,如果目前内存中有5个20KB的空闲空间,按照段式存储的思想这4段都要求占用连续的存储空间,那么这5个空闲空间之和虽然跟作业的大小相同,但是仍然无法满足作业的需求,作业无法运行。这无疑就造成了资源浪费,但是页式存储就可以客服这个问题。所以可以尝试把段式和页式管理方法相结合,形成一种新的管理方法,即段页式存储管理方式。

段页式存储管理方式,是按照作业的逻辑结构将作业分成几段,然后把每一段按照固定的大小进行分页,同时对内存按照页的大小进行分块。这样,作业的内存分配不再受空闲空间大小的限制,只要空闲块不少于页的数量就可以了,同时也不需要内存块的连续。

3. 总结

对存储系统进行扩充的方法有很多并且各有千秋,不过无论采取何种方式进行扩充,都是为了让存储器可以满足现代软件发展的需求,满足系统的需求,让存储器可以更好的服务于整个计算机系统。

摘要:存储器用来存储计算机要执行的程序和数据, 而内存又是cpu可直接访问的存储器, 所以说存储器是计算机系统的重要组成部分。近年来, 存储器的存储容量一直在不断的扩大, 但是仍然无法满足现代软件发展的需求。如何对存储器进行有效的管理, 合理扩充容量满足系统的要求, 是一个非常严肃的问题。

关键词:存储器,容量,扩大,管理

参考文献

[1]解福、宋吉和.《计算机文化基础》[M].东营:中国石油大学出版社, 2009

[2]原菊梅、田生喜.《微型计算机原理及其接口技术》[M].机械工业出版社, 2007

PACS数据存储与安全管理 第11篇

关键词:PACS,SAN网络,数据存储,安全管理

医学影像存储与传输系统(Picture Archiving and Communication System,PACS)是以数字成像技术、计算机技术和网络技术为基础,旨在全面解决医学影像获取、显示、处理存储、传输和管理为目的的综合系统[1]。随着医院影像设备的发展、影像数据量的激增,如何更好地存储并保证这些数据的安全,是PACS系统建设的核心。

我院2000年在全国率先建成全院性FULL-PACS。随着各种海量影像设备如PET-CT、64排CT、3.0MRI及数字钼钯等设备的不断引进和检查量的迅速上升,医院决定对原有PACS系统软硬件进行升级换代。系统自运行以来(近三年时间),从未出现过数据丢失现象,且所有影像数据调阅速度均在5s之内,大大方便了临床、病人检查随访和教学。本文着重介绍存储系统与安全管理的建设方案。

1 PACS存储系统的建设原则

PACS系统是数字化医院建设的重要组成部分,它为医院的电子病历、区域协同医疗等提供重要支撑,所以,如何设计一套符合医院发展,具备整体性能优越、容错能力强和可伸缩性的PACS存储系统,是PACS系统建设的核心。因此在规划PACS数据存储系统时,重点把握以下几个原则。

1.1 高性能

为了提高医院的工作效率与竞争力,PACS存储系统应当可以实现高速查询调阅图像:2幅DR胸片图像(10M/幅)在2s内完成在线调阅;1000幅CT图像(0.5M/幅)在5s内完成在线调阅。

1.2 高可靠

PACS存储系统应当支持7×24h不间断运行,在单台或局部设备(网络、服务器、存储)发生故障恢复前,仍能保证整个系统正常运行。根据不同的用户ID,对数据访问范围分配不同的使用权限[2]。每一个影像实例至少有三个拷贝同时存在于两地,实现院区级系统容灾的解决方案。

1.3 可扩展

可以在保证业务连续性的前提下,自由增加磁盘阵列、带库和服务器等设备,使得整个系统的存储空间和处理能力得以不断扩大。同时,为了存储日益激增的影像数据,存储系统必须支持以无损压缩和有损压缩的形式保存,压缩倍数至少要达到2~4倍。

1.4 可管理

PACS存储系统应当具备完整的日志管理,每一个存储实例和操作均能全程追踪[2]。

1.5 性价比

在保证满足以上4点要求的前提下,性价比也是我们要考虑的因素。

2 我院的建设方案

2.1 搭建性能优异的SAN存储架构

我院PACS每天的数据增长量平均在40GB左右,大量的影像数据需要进行存储、调用和压缩备份,如果仍延用以太网的方式进行存取,远远不能满足系统的要求。所以,我院选用SAN方式将整个系统规划出两张网:一张是面对应用网(Client/Server架构或Brower/Web server架构);另一张是存储网(由主机中的HBA卡、光纤交换机及存储设备三层结构组成的SAN网络),它专门解决主机系统对磁盘的块级(Block-Level)存储数据调用。这样,业务的调用仍通过以太网的方式进行数据传输,而大量的数据存储/备份则通过以光纤为架构的SAN网络进行,减少业务网的压力,提高整个PACS系统的性能。

2.2 科学规划合理存储

由于我院住院病人的平均住院天数约为14d,因此近半个月的影像数据调阅最为频繁,对调阅速度要求最高,而半个月之后的数据调阅频率相对就没那么高了。如果在线存储规划过大的话,对医院而言这部分的投资就显得浪费。因此,根据PACS信息生命周期管理并结合我院的实际情况,最终我院将最近三个月的影像数据,存储在存取速度最快的全光纤磁盘阵列,容量规划为3.6TB(按40G/d×90d计算)。

而大量的近三个月前的所有影像数据,临床经常用于影像对比,相对调阅频率较低,所以我们分别存储在两套物理空间不同的、存取较慢、但存储量大且价格相对低廉的SATA磁盘阵列中,两套归档存储容量均为30TB。

我们都知道,医学图像的存储占据大得惊人的存储空间,由于我院采用的是SAN架构,所以能够在保证业务连续性的前提下自由增加磁盘阵列、带库和服务器等设备,使得整个系统的存储空间和处理能力得以不断扩大。同时,由于医学图像中含有很多的无用信息,浪费宝贵的数字资源,因此必须进行有效的图像压缩再进行存储[3]。由于医学图像的特殊性,在进行图像压缩时不能丢失任何对它有用的信息,为了不丢失图像的有用信息,我院对两套归档存储数据采用了无损压缩,压缩比例可达3:1,节省了对归档存储的投资,同时又不影响PACS系统整体性能。

2.3 构建不间断的服务器群

作为PACS系统的核心组成部分,PACS服务器控制着放射科工作流程和医院整个图像数据流程。它负责接收图像采集设备送来的图像,并把它们存储到存储设备中;对于临床用户,PACS服务器还提供病人图像查询提取服务。

我院PACS数据中心将这些服务器按功能模块划分为:数据管理服务器(共两台,互为备份)、数据获取服务器(共三台,分别获取不同设备的影像资料)、RIS服务器。这些功能模块不同的服务器单独运行在不同的刀片机上,通过SAN网络交换机相互连接,这样就形成了均衡负载、互为镜像和备份、容错功能强大的服务器群,从而保证了PACS数据中心能够不间断地稳定工作[4]。

3 安全策略

3.1 数据存储安全

在我院,影像获取服务器在获取图像后首先存储在速度最快的光纤主存储中。同时,根据相应的策略,将数据分别复制到两套物理位置不同的归档备份存储中。这样,每一个影像实例至少有三个拷贝同时存于两地,各级存储间互为冗余,可以有效保护数据安全。虽然,三套存储物理上不在一起,但对应用来说是透明的。当在线存储故障时,系统自动启用第一套归档备份存储替代在线存储工作。当第一套归档备份存储也故障时,系统自动启用第二套归档存储替代在线存储工作。

由于PACS系统会相对频繁地访问到在线存储,而备份存储很少被用户直接访问,所以物理上将在线和其中一套归档备份存储放置在信息中心机房里;同时另一方面出于安全方面的考虑(如信息中心机房意外断电等情况),提高数据和应用的可靠性,将另一套归档备份存储放置在影像楼机房里,这样就形成了院区级的容灾备份[5]。

3.2 硬件冗余

为了解决SAN网络中的单点故障问题,我院在SAN网络中采用两台光纤交换机形成冗余的结构。同时,为了解决由于磁盘阵列中磁盘故障问题而引发的数据丢失,我们还购置两块光纤通道磁盘和四块SATA接口磁盘放在仓库备用。一旦阵列磁盘报警或故障,就可以及时更换磁盘,然后再向存储阵列厂商报修,避免数据丢失。

3.3 其它安全及配套的工作制度

在我院PACS的网络结构中,所有的影像设备直接连接到服务器,在服务器上统一管理这些影像设备[6],防止未授权的设备给服务器带来安全隐患;所有的影像浏览终端也直接连接到服务器,由服务器统一提供影像数据和权限控制,防止用户对数据修改或删除;影像设备的网段和业务网段划分不同的虚拟网络(VLAN)[7],这样就避免了业务网的工作站对影像设备的直接访问,保证了影像设备和系统数据的安全性。

同时,我院还建立了配套的日常维护制度,主要包括:(1)每天上班前半小时查看网络、存储阵列、服务器等硬件是否存在异常或警告等情况;(2)严禁在PACS服务器上安装与系统无关的其它软件,定期查杀病毒;(3)定期更换系统管理员密码;(4)每天查看服务器后台日志和存储空间情况;(5)每天查看系统压缩归档备份是否正常[8]。对于系统出现的异常现象,立即向领导汇报并与有关公司联系解决。

4 下一步存储系统的扩展

随着我院旧PACS系统影像数据的不断导入和256排CT的引进,我院的PACS存储容量和服务器也需要进一步扩展。由于我院采用的是SAN存储架构,因此将来扩展就很方便。

5 结论

随着数字化医院建设的不断深入,PACS系统数据已经成为电子病历不可或缺的部分。建设一套符合医院发展、具备整体性能优越、容错能力强和可伸缩性的PACS存储系统与相应的安全管理策略,不但可以极大提高PACS系统整体性能和经济效益,同时作为PACS数据载体的存储系统,也为区域医疗提供了坚实可靠的基础。

参考文献

[1]许三忠.PACS建设中的存储技术[J].医学与工程,2003,5(1):106-109.

[2]陈金雄.PACS规划与选型决定系统建设的成败[J].中国数字医学,2009,4(8):7-10.

[3]何洪林,刘英.PACS系统中医学图像的交互式异地存储系统[J].数理医药学杂志,2008,21(3):342-344.

[4]李尚忠.数据备份策略分析研究[J].中国科技信息,2008(3):102.

[5]金爱兰.医院信息系统数据备份与容灾策略[J].医学信息,2007,6(70):6.

[6]刘波.关于PACS的安全问题[J].医用放射技术杂志,2003(10):1-2.

[7]郭雷,等.影像资料的特殊性给PACS带来的网络安全问题[J].中国医院统计,2005,12(4):382-383.

存储管理范文

存储管理范文(精选11篇)存储管理 第1篇1 存储网络管理只要网络中的服务器与存储器之间还存在隶属关系, 存储管理应用程序的工作重心就...
点击下载文档文档为doc格式

声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。

确认删除?
回到顶部