存储虚拟化整合

存储虚拟化整合（精选8篇）

存储虚拟化整合 第1篇

关键词：异构存储,存储虚拟化,整合设计

0 引言

随着SG186工程的实施、ERP的上线,华中电网公司的信息化水平有了跨越式的发展,一体化信息平台及各业务系统的逐步上线运行,特别是ERP项目的实施,对存储系统的依赖越来越高。因此,如何重新整合华中电网公司的存储系统,使得存储这种稀缺资源能够动态响应业务对信息化资源日趋紧密的依赖,对公司来说至关重要。而存储虚拟化[1]已逐渐成为共享存储管理的主流技术。

1 存储系统现状及存在问题

1.1 存储系统现状

华中电网公司的存储系统是存储区域网络(SAN)结构,采用光纤信道(Fiber Channel)技术,通过光纤、博科(Brocade)交换机将磁盘阵列、磁带库及服务器连接起来,从而形成了使用光纤信道的数据专用网络区域。SAN在物理上与其他网络相隔离,保持独立。这一系统较好满足了公司大容量数据集中存储和备份的需求。

华中电网公司存储系统整合前的体系架构如图1所示。

从图1中可以看出,整合前,华中电网公司生产环境有HP XP12000磁盘阵列、HDS AMS200磁盘阵列各1套,以及备份用的HP ESL 712E带库。其中HP XP12000主要用于Oracle数据库以及ERP等应用关键数据的集中存储;HDS AMS200主要用于数据的分级存储以及D2D的数据备份;HP712E采用Veritas NBU软件进行D2D 2T的备份。

1.2 存在的问题

1)已经分配给各应用系统的存储空间,如果没有使用,则无法回收给其他应用系统。存储系统的空间供给是分散的、被动的,因此造成资源浪费。有些系统存储空间利用率低,有些应用系统的存储空间无法满足其快速增长的数据要求。

2)国家电网公司大力推广新应用系统,数据增长较快,对存储空间的需求针对性较差。公司推广的新应用系统按照典型设计分配其存储空间,针对性不足导致存储空间的分配过大,资源浪费较大。

3)高端存储HP XP12000存储空间不够,其存储空间需求的快速增长,要求其不断进行扩容。

4)华中电网公司统一规划建设了SAN网络,存储设备存在单点故障。一旦数据中心发生“灾难”事件,由于存储设备存在单点故障,而且没有异地备份,将可能导致公司数据丢失,恢复应用系统事件较长,需要整体考虑公司同城异地数据存储的问题。

2 虚拟化整合方案

2.1 存储虚拟化技术

虚拟化是一种实现对逻辑环境进行简单管理的有效手段,通过虚拟化,应用将摆脱底层物理环境的复杂性,用户不用再花费精力和时间去关心存储环境中底层物理环境的复杂性[2]。具体来说,虚拟化存储是一种智能化的系统,它允许用户以透明有效的方式在磁盘和磁带上存储数据,使得用户的存储系统容纳更多的数据,也使得更多的用户可以共享同一个系统。目前,已经有很多关于利用虚拟化技术来整合存储系统的研究和实践[3,4]。

存储虚拟化技术按照虚拟化实现层面可以分为:基于主机的虚拟化、基于存储网络的虚拟化和基于存储设备的虚拟化。

1)基于主机的存储虚拟化技术由主机操作系统下的逻辑卷管理软件在服务器上完成,经过虚拟化的存储空间可以跨越多个异构的磁盘阵列。此类技术的优点有:支持异构的存储系统,不占用磁盘控制器资源;缺点有:占用主机资源,降低应用性能,存在操作系统和应用的兼容性问题,主机数量越多,实施及管理成本越高。基于主机的存储虚拟化技术代表性的产品是Symentac的StorageFoundation(SF)。

2)基于存储网络的虚拟化技术是通过在存储域网(SAN)中添加虚拟化引擎实现的。此类技术的优点为:与主机无关,不占用主机资源,能够支持异构主机、异构存储设备,使不同存储设备的数据管理功能统一,构建统一管理平台,可扩展性好;缺点为:占用交换机资源,面临带内、带外的选择,存储阵列的兼容性需要严格验证,原有磁盘阵列的高级存储功能将不能使用。

3)基于存储设备的虚拟化技术通常用于多个主机服务器需要访问同一个磁盘阵列的情形。此时的虚拟化工作是在存储设备的控制器上完成,通过在存储设备控制器中添加虚拟化功能,将一个存储设备(如磁盘阵列)上的存储容量划分为多个存储空间(LUN),供不同的主机系统访问。此类技术的优点为:与主机无关,不占用主机资源,数据管理功能丰富,技术成熟度高;缺点为:消耗存储控制器的资源,接口数量有限,异构厂商磁盘阵列的高级存储功能将不能使用。

2.2 规划方案

华中电网公司存储系统的现状是存储空间不足,需要扩容,而且部分主机已经采用了Symantec SF的基于主机的虚拟化存储技术。结合华中电网公司的存储现状和存在的问题,采用HDS USP VM+Symantec SF 2种方法相结合的方案来实现公司数据中心虚拟化存储整合的规划方案。虚拟化后的存储架构如图2所示。

由图2可以看出,虽然只是物理上增加了一台HDS USP VM连接公司的SAN存储网络,实际逻辑上是HDS USP VM完全接管了HDS AMS200的工作,使其完全虚拟化为USP VM的外部盘,而HP XP12000由于为了实现核心业务的高可用性,只有部分空间被HDS USP VM接管做成虚拟化卷。

2.2.1 HDS USP VM虚拟化集成方案

USP VM接管HP XP12000、HDS AMS200的工作,通过HDS USP VM提供的虚拟化软件在存储层面上实现存储动态空间分配,通过VM分层存储管理软件实现公司数据的分级存储,通过VM远程数据复制和克隆实现数据的高可用性。

2.2.2 Symantec虚拟化集成规划方案

在华中电网公司数据中心内,部分应用已经使用了SF,还有部分应用,例如HP-UX平台的ERP等还没有使用。借助SF的文件系统(VxFS)和卷管理器(即存储虚拟程序VxVM),在主机层面上实现存储空间的虚拟化管理,空间动态分配,自动回收,分层存储,通过SF Mirror实现应用高可用。

2.2.3 Oracle数据库服务器集成优化规划

华中电网公司之前的Oracle数据库通过HP ServiceGuard集群软件+RAC实现系统的高可用性。本次虚拟化存储的整合势必会影响到Oracle数据库的部署方式。结合现有数据库存在的一些问题,规划Oracle数据库采用O-racle ClusterWare集群软件+Oracle ASM自动存储管理方式实现数据实时数据镜像,实现存储级的高可用。该方案能保证任一存储失效的情况下都不会对核心数据库的业务造成影响,Oracle ASM数据存储管理方式可以更方便地进行以后核心数据库空间的扩容,有效利用总体分配空间。

2.3 实施方案

因存储系统虚拟化整合会造成计划性停机,这对华中电网公司来说,意义相当重大。而且由于涉及到公司的核心存储系统的整合,会造成大部分核心业务的停机,存在着很大的风险。为了规避可能存在的潜在风险,在虚拟化整合的实施方案中,制定了各种技术应急预案和行政规定,如在做数据迁移时,要求各业务系统的运维管理人员必须到场,迁移之前做停机操作,迁移完成之后,启动业务应用,并签字验证应用系统是否正常工作。

2.3.1 XP12000、AMS200数据丢失及其预防措施

整个过程不涉及应用级数据迁移,所有数据移动都是使用存储底层的迁移工具完成,不会产生数据丢失问题,实施风险很小。同时为了确保不发生意外,在对存储进行数据迁移的实施过程中,制定严格的备份与校验措施,数据至少提供2份备份,因此整个实施过程中数据丢失的风险非常小。

2.3.2 Oracle数据库服务器无法按期完成部署及防范措施

针对华中电网公司关键应用的Oracle数据库应用,制定了紧急预案,即预先准备2台HP RX 4640作为临时的数据库环境,在预定的工作时间内如果无法完成优化部署,应急预案的2台Oracle数据库可以继续提供对外提供应用。

2.3.3 其他业务系统在规定的时间内无法按期完成及采取的相关措施

由于虚拟化整合的特殊性,规定了各业务系统迁移时间是从周五17:30下班以后到周日晚上24:00。针对每个业务系统均制定了应急预案,即通过备用应用服务器的方式提供服务。如果规定的时间内无法按期完成应用迁移,将由应急备用服务器提供服务。

2.3.4 业务停顿的风险及其防范措施

虚拟化改造项目中除了卷虚拟化过程中,需要很短的停机时间外(修改存储映射关系),整个过程不需要中断业务。其他应用系统业务停顿只在用户的非工作时间内进行定期停顿,业务停顿之前通过各种方式告知用户,在规定的时间内完成业务应用系统的重新配置和优化等工作

3 实施效果

经过此次虚拟化整合之后,不仅实现了数据虚拟化功能,还完善了关键应用的数据级高可用性。

3.1 通用卷管理及精简空间分配

通过新购置的USP VM实现了对现有的XP12000、AMS200的接管,将XP12000、AMS200作为USP VM的外部存储。通过USP VM对其进行虚拟化,从而实现了对不同厂家的存储产品进行统一管理。通过USP VM HDP(Hitachi Dynamic Provisionin)软件功能来实现存储空间的精简预分配。

3.2 空间的自动回收

针对华中电网公司存储系统目前存在的问题,即国网推广的新应用系统按照典型设计分配其存储空间,针对性不足导致存储空间的分配过大,资源浪费较大等,在整合方案中,对于已有SF软件的应用系统,未使用存储空间的回收采用自动回收(SF+HDP);对于未使用SF软件的应用系统,未使用存储空间的回收采用手动回收。

3.3 数据和应用的高可用性

华中电网公司虚拟化整合还需要解决一个问题,即存储系统单点故障。本次整合新增一套HDS USP VM硬件设备,对关键应用和数据,在HDS USP VM和HP XP 12000或者HDS AMS200中均有数据镜像。针对应用系统的高可用,沿用原有的Symantec SF软件和相关的集群软件来实现应用的高可用功能。

3.4 自动分层存储

针对华中电网公司不同时期的数据,可以根据策略实现在不同存储上的分层存储,降低公司数据存储的成本。通过部署该架构,可以把不同的应用和相对应的存储层相挂钩,根据其所需的性能不同配置相应的存储资源。HTSM(HiCommand Tiered Storage Manager)分层存储管理软件可以把LUN从一个存储层迁移到另一个存储层,可以轻松地在异构设备之间进行数据迁移,满足最终用户的实际应用需求。

4 结语

通过虚拟化存储的整合,一方面可以为华中电网公司提供大容量的存储空间,另一方面还可以降低运维管理人员规划存储空间的难度,建立华中电网公司完善的数据生命周期管理方式,使其作为一个先进的、功能全面的存储平台,完善业务系统的存储架构,从而全面解决数据中心在存储管理方面存在的诸多难题。

参考文献

[1]王楠,蒋金虎.存储虚拟化技术的研究与比较[J].洛阳师范学院学报,2007(2):73-76.WANG Nan,JIANG Jin-hu.Research and comparion on techniques of storage virtu alization[J].Journal of Luoyang Normal University,2007(2):73-76.

[2]李聪.服务器、网络、存储虚拟化技术在数据中心的应用研究[D].天津:天津大学,2009.

[3]杨宗博,郭玉东.提高存储资源利用率的存储虚拟化技术研究[J].计算机工程与设计,2008(12):3224-3226.YANG Zong-bo,GUO Yu-dong.Techno-logical research about storage virtualization based on promoting utilization of storage resources[J].Computer Engineering and De-sign,2008(12):3224-3226.

存储虚拟化整合 第2篇

新疆油田公司数据中心 金云华 朱玉凤 王晓军

新疆油田公司近年来逐步建立了由决策层、管理层、执行层和支撑层构成的信息化管理体系，成功地研发了油田数据管理平台、油田空间数字平台、业务流程管理平台等数字油田信息平台，同时，收集整理了自1941年以来的油田生产数据，目前拥有数据78TB，各类应用系统120套及强大的数据库服务器和应用服务器。为了实现油田数据的共享，充分发挥数据在油田各行业中的作用，各二级单位数据和应用需要逐渐实现集中管理，并对现有资源进行整合。

目前，油田公司数据中心存储设备主要有4套：用于油田公司中心数据库数据存储的容量为6TB的HDS 9585；用于为地球科学和钻井系统及上游生产信息系统(A1A2系统)数据存储的容量为24TB的EMC CX700、一套IBM 3584自动带库以及一套IBM 3494自动带库。为了充分利用这4套设备资源，便于应用和管理，需要对这4套存储设备进行整合，做到统一规划、数据共享。

生产经营数据存储设备使用现状及需求分析

，油田公司数据中心先后购置了一台容量为6TB的HDS 9585数据存储和三台Sun E4900数据库服务器，实现了中心数据库集群，使勘探、开发、经营、管理数据实现集中管理。

由于HDS 9585和EMC CX700存储设备相互独立，且各系统发展不均衡，导致某些系统建设之初规划了很大的容量和很高的性能，但实际运行过程中却没有那么大的需求，而另一些应用建设之初却陷入了容量和性能不足的困境，而其他系统富裕的资源却不能拿来使用，导致HDS 9585存储必须升级扩容，而EMC CX700存储资源却被闲置的局面，各存储资源不能做到统一规划，协调利用。此外，由于HDS 9585和EMC CX700存储设备厂商不同而形成了数据孤岛，资源不能互通和有效利用，同时为系统的维护管理、性能优化、故障排查、数据迁移、容灾备份等都带来极大的不便和困难。

因此，油田公司需要建设一套集中统一的高性能、高可靠性的存储平台。新平台必须能够对原有的异构存储环境进行整合，能将原有的存储设备作为新存储平台的外部存储设备，使新的存储设备和原有的存储设备形成一个统一完整的存储池，由新的存储设备进行统一管理，最大限度地发挥原有存储资源的再利用能力。同时，新的平台能够提高原有存储环境的整体运行性能，整个存储环境对各业务透明，存储平台可以根据各业务的特性和需要，灵活分配存储容量、处理能力等各种资源，确保关键业务的稳定可靠运行。借助新的存储平台，存储设备能方便扩容，各存储设备能够方便地进行无缝的数据迁移，并且实现集中的存储备份，并满足未来容灾的需要。

存储整合技术思路

在存储整合过程中，需要着重考虑以下几方面原则：

平台整合 整合不但要满足数据中心目前和未来集中存储的需要，还要对已有系统的存储环境进行最大限度地整合，实现服务器的集中访问、数据资源的集中存储和处理。

高性能 新的存储平台整合了所有的应用后，必须具备强大的处理能力，能消除原有存储设备的性能瓶颈。

可扩充性 应确保在原有的系统平台上扩展和实现新功能、新业务的增加。

高可靠性 存储平台具有高可靠性，支持服务器平台的高可用性集群技术；具备先进的容灾设计；充分保证系统的高扩展能力和高容错能力，具有通道负载自动均衡能力和存储系统性能调节能力。

高可用性 在存储和其他应用系统尽量不停机的情况下，实现扩容、维护、升级等服务，提高性能以满足新的业务需求，具备7×24连续工作的能力，系统的可用性应能达到100%，可以实现磁盘数据的在线不停机备份。

可管理性 要求配置实时性能监测管理软件，可对CPU使用率、内存使用率、交换区使用情况、I/O操作、队列状态、磁盘空间、卷磁盘错误、系统事件、系统中各进程对系统资源占用等性能和操作数据等服务器性能进行实时监控、管理和调配。

技术先进性 系统设计采用当前先进而成熟的技术，不仅可以满足现实工作的需求，也应把握未来存储整合的发展方向。

虚拟化存储设计方案

根据以上分析，公司决定采用日立数据系统(HDS)有限公司企业级存储产品TagmaStore NSC55网络存储控制器或Universal Storage Platform. V(USP V)作为数据中心存储整合的核心设备，配合HDS的存储管理软件、数据快照镜像软件，形成一套完整、高效的存储整合解决方案。本项目采用SAN架构进行整个存储系统的建设，存储网络将分为服务器层、网络交换层和集中存储平台三个层次。

服务器层 需要对公司数据中心各业务系统的服务器进行改造，增加光纤通道主机卡HBA，使这些主机具有访问存储网络的能力。

网络交换层 采用Brocade企业级大吞吐量的SAN交换机，保证服务器和外部存储设备到网络存储控制器的高速连接。

集中存储平台 这是本次存储整合系统建设最核心的部分。我们采用HDS TagmaStore USP V网络存储控制器，为其配置1块前后端混合处理板，提供16个4GB的前端主机接口和8个后端磁盘接口，为其配置5GB控制缓存和16GB数据缓存，在其内部配置20块300GB FC磁盘共计6TB裸容量，作为整个集中存储环境的基础。

对于数据中心正在使用的HDS 9585和EMC CX700等设备，可以通过SAN交换机直接连接到USP V的后端，作为它的外部存储设备，通过HDS UVM通用卷管理软件，可以把外部存储设备的逻辑卷直接映射到USP V上去，由USP V统一管理和使用，而对前端服务器来说所有的工作都是透明的。通过USP V的存储整合，整个存储平台提供给服务器访问的是由USP V统一管理的存储空间，存储容量包括6TB的USP V内部容量和30TB外部容量（分布在HDS 9585的6TB、EMC CX700的24TB），最大限度地保护了油田公司的投资，同时未来可以很轻松地根据各业务的繁忙程度、数据量增长情况、性能需求等灵活地进行存储资源的再分配，真正实现数据分级存储和应用优化存储。

由于采用USP V进行了存储环境的整合，就可以很方便地通过USP V对原来异构的存储设备进行集中的数据备份和容灾。本次我们在备份中心选择IBM 3494(40TB)作为近线备份设备，可选用HDS AMS 200存储产品作为远程实时数据备份的存储设备，将AMS 200通过油田公司已有的光纤链路直接连接到数据中心的SAN交换机上，并且将AMS 200也作为USP V的外部设备来管理和使用。同时，选择HDS Insystem Replication Suite系统内数据复制套件来实现数据的快照/镜像复制，将数据中心各个业务系统的数据通过镜像的方式复制到AMS 200上进行保存，当数据中心发生故障时，可迅速从AMS 200上进行数据恢复，或直接将应用系统服务器连接到AMS 200，先恢复业务的正常运作，

项目实施：整合原有存储，形成统一平台

从附图中可以看出，以HDS USP V作为核心搭建的存储系统架构由三个层面组成：应用主机层，集中了所有的业务系统主机；核心存储和虚拟化引擎层，由HDS USP V搭建；异构存储池，由系统中的若干利旧设备，如HDS、EMC等厂商的各档存储设备组成。

上述的三层架构实现的存储优化拓展功能包括：

1．核心引擎――满足高性能及高可靠性需求。在上述三层架构中，HDS USP V智能控制器系统和磁盘子系统由HDS公司进行统一设计，传承了延续数代的高可靠性技术和高性能技术，因此完全能够担负起整个存储系统的核心指挥职能。

2．存储分区――增强数据可靠性及访问性能。目前核心关键数据保存在HDS USP V的内置磁盘上。为了进一步保证各省关键业务的存储响应时间，HDS USP V可以端口、Cache以及磁盘为单位，划分独立的存储分区，形成数个存储子系统与各业务相对应，在每个子系统内部存储资源的访问可以被相应的应用业务所独享，保证关键业务系统具有稳定的I/O服务质量。

3．存储整合――通过存储虚拟化技术实现利旧整合。在HDS USP V自带虚拟化引擎的驱动下，异构存储池被映射成HDS USP V的内部存储资源。应用主机层不必关心异构存储池的设备组成，只需使用面向HDS USP V的统一接口就能够透明的访问异构存储池资源。

4．分级存储――通过存储虚拟化技术实现数据自动分级转移部署。非关键的业务数据、以及随着时间发展重要性渐渐降低的历史数据被HDS USP V虚拟化引擎逐步迁移到异构存储池中，关键业务数据、最新业务数据在HDS USP V的自带内置硬盘空间上进行保留。

5．应急系统联机恢复――通过存储虚拟化技术实现在线应急恢复。利用HDS USP V进行数据迁移的功能，虚拟化之后的CX700作为应急系统启用后，可在主机业务运行的情况下，在线转移回到HDS USP V主存储系统，无需调度生产业务系统的停机。

6.异构系统灾备――通过存储虚拟化技术实现异构数据统一复制。HDS USP V虚拟化引擎的异构容灾技术，支持异构存储池中的任意存储设备进行远程互备，大大简化了容灾系统的部署和管理。

无缝数据迁移，真正实现数据分级存储

数据迁移是企业IT经常面对的工作，本次需要面对的是存储领域的数据迁移。在采用了HDS的USP V网络存储控制器之后，所有的数据复制问题显得非常简单。仅仅需要将原有的光纤存储设备挂接到USP V的后端，然后修改原有设备的LUN属性使得USP V能够看到外部设备，此时应用系统既可以进行数据访问，而USP V数据迁移软件可以自动在后台进行，当迁移完成后用户就可以释放外部存储设备上的空间。通过HDS的USP V网络存储控制器不但可以将外部存储设备的数据无缝平滑的迁移到内部，还可以很方便的将USP VU内部的数据迁移到外部存储设备上去或者在两个外部设备之间进行数据迁移。这样，我们就可以根据各个应用的生命周期，灵活的进行数据部署，确保最有效地存储资源分配给了最关键的业务系统，或是在业务系统最关键的反展阶段能够获得最高效的存储资源。

存储分区保证关键业务

经过对油田公司数据中心各个业务系统的运行特点进行分析，发现油田公司数据中心各个业务系统具有很大的不均衡性，某些业务可能产生的效益非常高非常关键，而另一些业务却十分低。因此，对于效益非常高的关键应用就有必要给予特别的关照，给予足够的系统资源，保证这些应用的连续不间断运行。HDS USP V的虚拟分区技术正好可以满足这一要求。

USP V独有的存储虚拟分区技术，通过选配分区软件，可以将一台USP V分成多个专用虚拟存储机，每个专用虚拟存储机都拥有专用的高速缓存、前端主机通道、后端磁盘通道、磁盘组等存储资源，可以为油田公司数据中心中最关键的业务分配独立的分区，不同分区之间可以实现完全隔离和安全保证，确保最重要的应用能够享受到最好的服务质量。如下图所示：

设备配置说明

1、数据中心核心存储平台HDS USP V：

配置20快300GB 10Krpm双活端口光纤磁盘，存储阵列物理容量共6TB，采用RAID1（2D＋2D）数据保护方式，系统可用容量为3TB

配置16GB数据缓存（Cache），5GB控制缓存

配置一对前后端混合处理板，包括16口2GB/4GB FC前端接口

配置了1对16口主机接口板，共32个2Gbps主机端口

配置1块300GB10Krpm全局热备盘

2、USP V存储系统软件：

配置Resource Manager资源管理套件，包含SAN环境下LUN安全管理的软件许可SANtinel，包含性能优化的软件许可FlashAccess

配置USP V存储系统内数据复制套件，包括ShadowImage数据镜像软件和QuickShadow数据快照软件，共15TB软件许可，可以通用于USP V内部数据卷和外部存储数据卷

Hitachi Dynamic Provisioning（日立动态配置）软件、增强型Universal Volumn Manager（通用卷管理软件）在企业级虚拟层实现了动态精细化预配置功能，使用户首次能够在一个整合的解决方案中就可同时获得外部存储虚拟化的益处，根据自身所预期的未来需求合理分配虚拟磁盘存储，而无需预先分配专用的物理磁盘存储,通过对主机的容量欺骗来实现存储容量动态的最大化利用。许可容量15TB，用于管理HDS 9585和EMC CX700和新购的AMS 200这些外部设备

3．灾备中心存储设备HDS AMS 200：

配置双控制器，2GB缓存

配置48块300GB FC硬盘或等同量SATA盘，裸容量10.8TB，采用（6D＋2P）RAID6组来进行数据保护，共计7.2TB可用容量

配置2块300GB FC硬盘或400GB SATA磁盘为为全局热备盘

整合方案具体连接方案

原有服务器的光纤连接不动,将原有的HDS9585V和EMC CX700各自的8个主机端口分别连接到HDS USP V虚拟化引擎上。将HDS USP V的16个4Gb主机端口分别连接到，原有交换机上空出的（因存储系统的端口调整到HDS USP V上）4个FC端口上。

存储虚拟化整合 第3篇

随着计算机技术和存储技术的飞速发展,军事、气象、石油等高性能运算领域技术得以迅速发展,其数据量也呈几何级数增长,计算机的存储能力,必须适应大规模数据存储和高速数据传输的严峻挑战。对于传统的DAS(Direct Attached Storage) 直连方式存储和SCSI(Small Computer System Interface)存储已经无法满足海量数据的需要,新一代存储设备,SAN(存储域网络)[1,2]架构光纤存储系统,开始越来越多应用于高性能运算领域。但是,对一个数据处理中心而言,不同类型、不同厂家、不同时期的SAN存储系统,各自技术差异较大,难以实现存储资源共享和负载均衡[3,4]。目前的高端SAN存储系统,具有高性能、高可靠性、高可用性、高稳定性、集中统一管理等特点。应用这些技术特点,把多套SAN存储系统进行整合,是一项技术难题,国内外同行业用户都在积极地探索和研究中。

目前,本文例举的处理中心配置了HP XP24000,HDS AMS1000,HP EVA6100,SUN STK-FLX280,IBM FAStT700等7套SAN架构异种光纤存储系统,磁盘存储总容量560TB。这些存储系统分别于不同时期购进,存储技术、I/O带宽、数据读写速度差异较大,而且分布在不同PC集群计算机上,相互分立,无法实现存储资源共享和负载均衡,很大程度影响存储系统的性能。

通过对高端SAN存储系统虚拟整合技术研究[5],利用HP XP24000高端SAN存储系统的外部存储功能[6],使用存储网络整合、Zoning整合、逻辑卷映射整合、外挂存储整合等技术,将不同类型的中低端存储设备实现虚拟化集中管理,对异构的存储环境进行整合,构建大规模SAN存储中心,使其形成统一完整的存储池,最大限度地发挥存储资源的利用率,提高存储系统的整体运行性能,整个存储环境对业务完全透明,实现对存储资源统一管理、按需分配、灵活访问,保证有限的存储资源得到合理和高效的利用。

本文着重阐述了高端SAN存储系统虚拟整合其它存储设备的技术原理和实施方案。

1 HP XP24000高端SAN存储系统技术优势[7]

HP XP24000是HP公司高端SAN存储系统的代表产品。它提供了业界最优的I/O吞吐率(350万IOPS,Cache命中率达100%)。内部采用交叉交换结构(Crossbar Switch),内部连接带宽106.4GB/s。同时数据连接和内部控制连接完全分开,保证了数据信息和控制信息的传输不互相干扰。其最重要的结构创新是采用纵横交换设备代替了传统的总线连接。其技术优势从高可用、可靠性,可扩展性,易管理性,系统安全性等方面全面考虑。

1.1 高可用性和高可靠性

高可用性和高可靠性是整个存储系统设计的基本出发点。HP XP24000系列存储系统可以确保99.999%的高可用性和高可靠性,也就是年平均非计划性宕机时间不超过5分钟。在其整体结构设计中,充分考虑了系统的自身特性,采用100%的冗余体系结构,消除系统中所有的单点故障,充分保证用户数据的高可用性和高可靠性。

1.2 可扩展性

存储系统的高可扩展性对于业务快速增长的行业是十分重要的,主要体现在I/O、系统容量等方面的扩展能力。用户数据可能随时增加,系统必须能够满足用户对存储空间的各种要求。良好的扩展能力为今后系统的平滑升级和能力提升预留了广泛的空间;同时也最大限度地保护用户的现有投资。而且由于整个存储系统网络是按照开放的存储局域网的架构设计,通过光纤交换机连接所有设备(包括服务器节点和存储节点)。所以从理论上来说,系统可以像网络一样自由在线扩展,充分满足存储容量迅速增长的需要。

1.3 易管理性

HP XP24000存储系统主要采用Web界面管理软件Remote Web Console,提供图形化的存储管理界面,方便用户的操作,系统管理员可以方便,直观地监控所有设备的状态,快速及时地隔离出问题的设备,并采取相应步骤进行诊断。同时Remote Web Console可以显示监控存储系统所有部件状态,磁盘空间使用情况,并可将系统信息自动传输到网络管理平台OpenView中,可以使用户统一管理存储网络设备和XP存储设备。

1.4 系统安全性

关键数据的安全性对于最终用户来讲是至关重要的。如何防止操作员误操作而引起的数据损坏,黑客恶意攻击,未授权用户访问,都是在制订存储数据安全策略时所需要考虑的重要方面,用户在SAN环境下应使用一个绝对可靠的安全管理器,以防止数据的非法访问,达到光纤通道或存储区域网(SAN)环境中最大的数据安全性和完整性。HP Security Manager软件可以对用户的数据提供可靠的保障,它可以和光纤交换机的分区(Zoning)功能相结合,控制不同主机对不同LUN的访问,可以在阵列内设置LUN许可,以保护敏感的数据,使用户可以方便地控制服务器主机对LUN的访问,只允许经授权的服务器对某些磁盘区域进行操作,而屏蔽其他主机对这些磁盘单元的读写访问。这样可以有效地保护系统各个用户和应用的安全性及相对独立性。

2 高端SAN存储系统虚拟整合技术

处理中心拥有IBM 512、HP 512、IBM 128等3套PC集群计算机用于地震资料处理,CPU总数2526个,总核数达6432个,双精度浮点运算速度共达到58.2万亿次/秒。各套集群系统分别独立地配置了HP XP24000(2套)、HDS AMS1000(2套)、HP EVA6100、SUN STK-FLX280、IBM FAStT700等7套SAN架构光纤存储系统,总容量为560TB。

2.1 高端SAN存储网络整合技术

在3套PC集群计算机的各个I/O节点上,分别配置2块HBA光纤通道接口卡,与7套SAN存储系统所有主控制器接口,分别连接到2台64端口HP SW4900光纤交换机、4台32端口HP SW4100光纤交换机、2台32端口Brocade SW4100光纤交换机,构建成为一套全4Gb带宽、完全冗余、多通道的大规模SAN光纤存储区域网[8]。SAN存储系统网络整合拓扑如图1所示。技术方案如下。

(1)采用2台64端口的HP SW4900高端光纤交换机作为SAN存储区域网的核心交换设备,与4台32端口HP SW4100光纤交换机和2台32端口Brocade SW4100光纤交换机级联,构建一个大规模SAN存储网络。

(2)2台64端口HP SW4900高端光纤交换机分别连接HP XP24000(200TB)的主控制器接口和24台I/O节点的HBA光纤通道接口。

(3)2台32端口HP SW4100光纤交换机分别连接HP XP24000(100TB)的主控制器接口、8台I/O节点的HBA光纤通道接口。

(4)2台32端口Brocade SW4100光纤交换机分别连接HDS AMS1000(215TB)的主控制器接口和20台I/O节点的HBA光纤通道接口[9]。

(5)2台32端口HP SW4100光纤交换机分别连接HP XP24000(200TB)的连接外挂存储主控制器接口、HP EVA6100的控制器接口、SUN STK-FLX280的控制器接口、IBM FAStT700的控制器接口和10台I/O节点的HBA光纤通道接口。

(6)HP EVA6100、SUN STK-FLX280、IBM FAStT700等3套SAN存储系统与HP XP24000(200TB)的外挂存储控制器接口连在一起,成为HP XP24000的外挂存储设备。

2.2 高端SAN存储Zoning整合技术[10,11]

Zoning整合技术是在光纤交换机上实现的功能。通过在SAN存储网络光纤交换机上进行Zone配置,可以将连接在SAN网络中的设备,逻辑上划分为不同的区域,使各区域的设备相互间不能访问,网络中的主机和设备间相互隔离。Zoning分区是SAN存储网络的一种分区方式,通过Zoning分区,可以进行资源的负载平衡分配,同时也可以帮助计算机系统管理员对访问服务器数据的用户进行权限分配。

根据处理中心SAN存储系统虚拟整合的需求,在2台互相冗余的64端口的HP SW4900高端光纤交换机开发统一的Zone程序文件,并且在SAN存储网络的其它光纤交换机上使能该程序文件,使SAN存储网络中的Zone程序文件统一,从而实现处理中心机房的任何一台I/O节点都能管理任何SAN存储设备中的文件系统。统一的Zone程序文件应包括以下5部分Zone分区。

(1)IBM 512 节点PC集群I/O节点与2套HP XP24000存储系统划分的Zone。

(2)HP 512 节点PC集群I/O节点与2套HDS AMS1000存储系统划分的Zone。

(3)IBM 512节点PC集群I/O节点识别2套HDS AMS1000存储系统和IBM FAStT700、SUN STK-FLX280、HP EVA6100等3套外挂存储系统划分的Zone。

(4)HP 512节点PC集群I/O节点识别2套HP XP24000存储系统和3套外挂存储系统划分的Zone。

(5)IBM 128节点PC集群I/O节点识别2套HP XP24000存储系统和2套HDS AMS1000存储系统划分的Zone。

2.3 高端SAN存储逻辑卷映射整合技术[12]

在SAN存储系统中,逻辑卷映射技术要与光纤交换机上的Zoning功能结合使用,目的是通过系统配置和程序开发,使不同的I/O节点能访问到不同的逻辑卷。逻辑卷映射是存储系统的逻辑卷与I/O节点的HBA光纤通道接口(主机接口)进行绑定,服务器连接不同的主机接口所能访问的逻辑卷也不同。当一个存储系统同时为多个应用系统提供数据存储服务,且不同应用系统的I/O节点分别处于不同的物理地址时,需要将不同的逻辑卷与不同的主机接口绑定,不同的主机接口与不同的光纤交换机或者不同的Zoning分区连接,从而实现不同的I/O节点能够访问不同的存储系统。在处理中心7套SAN存储系统的整合中,通过对每套PC集群存储管理软件逻辑卷映射技术的开发,使所有I/O节点不仅能识别本存储系统的逻辑卷,还要识别其它存储系统的逻辑卷,实现全部I/O节点能够映射识别到SAN存储网络的全部逻辑卷设备,从而实现7套SAN存储系统区域网整合。

2.4 高端SAN存储外挂管理整合技术[13,14,15]

本文利用HP XP24000高端SAN存储系统的外部存储功能,对IBM FAStT700、SUN STK-FLX280、HP EVA6100等不同类型的中、低端存储设备实现虚拟化管理,成为高端存储的外挂设备,虚拟化的外挂设备相当于HP XP24000高端存储系统的一个内部逻辑磁盘设备,由HP XP24000存储系统进行统一管理,最大限度地发挥原有中、低端存储资源的再利用能力。同时,虚拟整合后的存储系统能够较大地提高原有存储的整体运行性能,对用户使用完全透明,并且能够根据不同应用业务的特点和需求,进行灵活分配存储系统、存储容量等各种资源,确保关键业务的高效运行。

为了使处理中心7套存储系统形成统一的存储池,在经过以上硬件架构整合的基础上,在HP XP24000高端存储系统的管理软件上进行技术开发,实现存储资源的统一调度和管理,保证所有存储系统的性能提高。主要技术步骤如下。

(1)登录至HP XP2400存储系统管理操作界面,选择“外部存储管理”,进入编程模式。

(2)选择“端口扫描”, 定义连接外挂存储的端口,进行外挂存储的搜索,包括HP EVA6100、SUN STK-FLX280和IBM FAStT700等3套外挂存储。

(3)选中搜索出来的设备,再逐一对应选中其外挂的端口,将所有的HBA光纤通道接口的WWN(World Wide Name,全球唯一名字)加入到外挂配置中。

(4)检查每个外挂逻辑卷是否都有完全的端口来访问,并将这些外挂的逻辑卷,映射到HP XP24000的控制端口上。

(5)选择“分区定义”菜单,依次在HP XP24000存储系统的控制器缓存(128GB)创建三个缓存分区,并调整缓存分区大小分别为两个4GB和一个8GB。

(6)把创建的三个缓存分区分别增加到3套外挂存储原有的缓存分区中, HP EVA6100 的控制器缓存大小由4GB调整为12GB,SUN STK-FLX280和IBM FAStT700 控制器缓存大小由2GB调整为6GB。

(7)更新并保存控制器中的配置程序文件,确保修改生效。

通过以上存储系统配置和程序开发,IBM FAStT700,SUN STK-FLX280,HP EVA6100等3套SAN存储系统通过HP XP24000高端存储实现统一虚拟化管理,共享HP XP24000存储系统的控制器缓存资源,可以大幅度提高3套外挂存储系统的数据读写速度,用户可以在HP XP24000存储系统和3套外挂存储系统之间灵活访问。

至此,处理中心的7套SAN存储系统之间实现互联、整合,3套PC集群访问SAN存储系统上的地震数据,既可以通过TCP/IP网络实现,也可以通过SAN存储网络实现,不仅缓解了服务器网络和存储网络的数据传输压力,还能够提高地震数据读写速度,提高7套SAN存储系统的整体性能和使用效率。

3 SAN存储系统虚拟整合前后性能对比测试

本文对虚拟整合后的3套中低端SAN存储系统进行性能对比测试,分别在I/O节点和计算节点的操作系统下执行以下测试命令:

dd if=/dev/zero of=/fsname/`hostname` bs=10k count=1024000

SAN存储系统虚拟整合前后性能对比结果如表1所示。通过测试案例可看出,虚拟整合后的中低端SAN存储系统性能有较大提高。

4 结束语

通过高端SAN存储系统虚拟整合技术的研究,把IBM FAStT700、SUN STK-FLX280、HP EVA6100、HDS AMS1000等多套相互分立的存储系统整合成为一个多通道、双链路、双冗余、负载均衡和统一共享的超大规模存储系统,取得的主要成果包括:

(1)中、低端外部存储设备可以共享HP XP24000高端存储设备的性能,提高了中、低端设备的可靠性和数据读写、传输速率。

(2)通过提高原有中、低端存储设备性能,降低总体建设成本,保护原有存储设备的投资。

(3)利用高端存储设备的高级数据管理功能, 实现HP XP24000存储系统内部和外部存储间数据透明地拷贝和迁移,大大简化数据存储管理的复杂性,降低管理成本。

(4)支持分层存储,根据业务需求配置不同性能的存储设备,从而降低总的系统成本。

(5)通过与HP XP24000磁盘阵列的分区功能相结合,可以将整合的外部存储系统划分到特定的分区中,便于管理,并且可以根据应用的需要灵活地将外部存储整合进(或拆分出)HP XP24000存储系统。

目前,该项技术在国内石油勘探行业属首创,技术先进,实用性强,可以在各个地震资料处理等高性能运算领域进行推广和应用,具有一定的指导和借鉴作用。

摘要：随着计算机存储技术的飞速发展,高端SAN存储系统越来越多应用于高性能运算领域。通过存储网络整合、zoning整合、逻辑卷映射整合、外挂存储整合等技术,基于高端SAN存储系统,整合中低端系统,使其共享I/O通道带宽和缓存资源,实现多套SAN存储资源共享,提高存储系统整体性能。对保护设备投资,最大限度地发挥存储效率有着重要作用。

存储虚拟化关键技术研究 第4篇

1 存储虚拟化的使用优点

虽然是计算机网络上的虚拟模式, 但在现实运用中却体现出了多个方面的功能。这些先进的功能不仅促进了计算机网络功能的调整, 也给用户创造了多元化的运用平台。存储虚拟化技术的优点体现在:

(1) 整合数据。用户在计算机内运用了虚拟化存储技术后, 能够将各种不同的数据信息集中到一起整合处理。通过对信息资源的针对处理把信息进行归类划分, 让用户在选择数据信息时更加便捷, 同时还能显著提高数据的使用效率。

(2) 降低成本。虚拟化操作平台的创建要比现实数据处理平台更容易, 由于现实信息处理平台创建要添加诸多硬件设备, 在投资成本上消耗较大[2]。存储虚拟化则通过服务水平协议处理信息, 大大降低了整个流程的运行成本。

(3) 增强性能。存储器是计算机系统的核心组成, 对于数据信息来说是重要的存储区域。通过引进存储虚拟化技术能有效改善计算机存储环境, 见图1, 对不同的数据能及时监控操作, 防止“漏存、少存、错存”等问题的出现。

(4) 管理数据。随着市场经济的不断发展, 计算机已经成为企业日常经营的重要设备。通过存储虚拟化技术能改善企业数据管理效率, 包括备份/恢复、数据归档、资源分配等方面的操作都能有效管理, 降低了企业经营的难度。

2 存储虚拟化的关键技术

存储虚拟化技术推广后显现出来的功能优势是强大的, 我们对于这种先进的计算机技术必须要深入分析, 掌握存储虚拟化的重点环节。对于现有的虚拟化技术应熟练掌握运用方式, 这样才能更好的服务于用户需求。目前情况看, 存储虚拟化关键技术主要有:

(1) 逻辑表示技术。“逻辑表示”是存储虚拟化技术的前提, 用户在运行存储虚拟化技术后必将用到逻辑表示。逻辑表示可用于单个资源、多个资源之间的表示, 对于数据信息的处理调控有很大的促进作用。在逻辑表示技术的作用下, 不同信息资源之间可以交替使用。

(2) 复合分层技术。“复合”是指将不同的数据资源进行整合, 建立广泛的数据库;“分层”是指将数据库资源逐渐划分, 以将资源运用到各个不同的方面。复合分层技术运用于存储虚拟化体现了该项技术的灵活性, 对计算机内部存储的信息可以灵活调配控制。

(3) 数据共享技术。数据共享是虚拟化存储的重要功能, 但不同操作系统、数据库在使用时会出现各种兼容问题, 往往会导致用户对某一数据库难以分享资源使用[3]。数据共享技术的调整能有效缓解数据存储、运用时的冲突, 以此维持数据资源操作的连贯性。

(4) 设备操作技术。存储虚拟化技术仅仅是一个网络操作系统, 而虚拟化技术作用的发挥必须要借助于各种计算机设备才能实现。设备操作技术成为了存储虚拟化的关键技术之一, 用户应通过程序操控指令对各项设备控制, 让设备安全指令要求逐一执行操作。

(5) 动态扩展技术。这主要是针对系统存储空间而言, 通过不断放大空间的方式来优化计算机资源的运用控制。该技术运用时需要管理人员对系统进行结构调整, 以此来掌握不同的存储容量大小, 根据实际需要进行数据存储处理, 在需要使用时也能及时调控系统。

(6) 容错功能技术。鉴于存储虚拟化操作过程会常受到外在入侵的袭击, 虚拟化存储操作应当重视数据信息的安全性。容错功能技术可避免系统运行发生单点故障, 对重要的信息备份、存储, 计算机出现问题后能及时对数据信息进行备份处理, 减少了数据丢失。

3 存储虚拟化的应对措施

一项新技术的革新带来的影响是多个方面的, 其不仅给用户带来了计算机运用上的方便, 同时也需要用户采取针对性的措施去应对新技术。企业是运用计算机网络技术最多的用户, 结合虚拟化技术的自身特点看, 目前企业对存储虚拟化技术需要采取的措施包括:

(1) 合理规划。随着市场经济的广泛发展, 企业在经营时开始走“科技化”道路, 积极引进先进的技术是企业增强竞争力的重要手段。面对存储虚拟化技术, 企业应该制定完整的计划, 将各种形式的网络系统融合在虚拟化技术中, 这样才能让虚拟技术的功能得到全面发挥。

(2) 数据分类。企业日常经营中需要做好许多数据信息的处理, 如:财务信息、人力信息、市场信息等, 这些都是大量数据构成的资料。存储虚拟化技术引进后, 经营者要安排专业人员做好信息划分, 让数据上传到网络上后能合理分配, 也给计算机网络管理带来了方便。

(3) 提升级别。对企业的服务级别进行优化改进, 这是降低企业经营成本的重点。企业为降低存储成本, 不仅要加强存储系统中硬件设施的控制, 还应对现有的存储服务优化升级, 如:数据访问、数据可用性、数据安全、数据响应时间等等, 这些都是需要优化调整的内容[4]。

(4) 维护安全。计算机网络系统是存在漏洞的, 在使用存储虚拟化技术时必须要对网络结构的安全加以维护, 这是保证数据信息不被窃取的有效方式。存储虚拟化能满足相同数据库之间的数据转移, 企业可通过复制、拷贝等获得数据信息, 在操作处理时安全级别是注意要点。

4 结语

存储虚拟化技术是最近几年的新计算机功能, 在运行存储虚拟化技术时应该把握好虚拟化的重点内容, 积极配合先进的操控模式创造良好的虚拟化环境。企业在应对虚拟化技术时, 需制定科学的技术引进规划, 这样才能让存储虚拟化作用发挥到最大。

摘要：在计算机技术不断推广的过程中, 网络虚拟化技术也被不断研究使用。存储虚拟化是计算机虚拟化技术的重要结构, 用户对于这种新技术的运用与实现还存在诸多不解。为了提高存储虚拟化技术的推广运用, 本文主要分析了存储虚拟化技术的使用优点、关键技术、应对措施等方面的问题。

关键词：存储虚拟化,优点,关键技术,措施

参考文献

[1]游宝丰.虚拟化技术是计算机运用的新趋势[J].计算机技术应用, 2009, 19 (2) :72-74.

[2]包家明.分析存储虚拟化技术的硬件设备[J].硬件设施, 2010, 16 (11) :54-56.

[3]张燕霞.现代存储虚拟化过程运用到的技术[J].上海理工大学学报, 2010, 22 (8) :40-42.

存储虚拟化分配技术研究 第5篇

关键词：网络,存储虚拟化,用户

随着经济全球化的发展, 技术以及信息化也是高速发展, 而对于信息技术中的存储技术越来越受到人们的关注。由于目前的数据呈现一个快速增长的趋势, 在企业中数据管理已经是企业相对比较重视的板块。但是在实际操作中存在着很多困难, 比如因为设备的差异性带来的一些困难;怎么像用户提供统一接口的问题;系统的兼容性、可靠性都不高等问题。目前都是需要我们去解决的。

1 虚拟化的存储系统

存储虚拟化简而言之就是通过一种虚拟的映射、流数据的定位、虚拟机等技术将存储设备进行统一性的管理, 为了更好的解决用户中的管理问题给用户提供一种显而易见的访问方式。上文也提到当前数据信息量持续增长, 所以急需要一种大容量的存储模式来存储它, 而虚拟化的存储系统正好可以有效的实现这一点。

传统的储存方式通常是经过USB连接到电脑或者服务器上, 对于电脑的储存它其实是私有存储, 并不能实现有效的统一管理, 也不能实现共享功能, 扩展性低。而现有的虚拟化存储技术是可以实现上诉的功能的, 它分为文件的访问模式和设备的访问模式, 分别是对文件进行安全控制和共享以及对数据的访问和传输。实现这两块的功能要分别实现NAS和SAN。下面分别对NAS和SAN作阐述:

1.1 NAS

网络附加储存, 它是组建在局域网中的存储服务器主要是为了实现文件的共享, 具有高性能的文件共享特性。这种服务器只要是针对文件的共享, 具有存储速度快, 检索功能以及文件的存储、共享访问和服务方面都有很好的功效。具体的网络结构如图1。

1.2 SAN

存储区域网络, 它是基于网络的多服务器的存储设备进行共享, 让设备可以进行高速的存取访问独立于服务器上而直接连接到无线局域网中。这种服务器的存储方式就是我们所说的存储区域网络, 它具有高可靠性以及高扩展的优点, 唯一不足就是不能兼容系统, 在存储区域网络中又可以将其细化为对称的SAN和不对称的SAN。

2 存储虚拟化的实现方式

通常我们所说的存储虚拟化要在以下三个层次实现, 基于主机的虚拟化、基于存储网络的虚拟以及基于存储设备的虚拟化。

2.1 基于主机的虚拟化

它也可以说是基于服务器的虚拟化, 是将服务器的系统添加或者是嵌套在虚拟层来实现设备的虚拟化的, 这种方法比较简单硬件部分仅需要安装虚拟化功能的模块。它是将驱动程序有效的镶嵌在了应用服务器的操作系统中, 然后给操作系统呈现出逻辑卷的状态, 通过这个将多级的物力映射成了存储设备进行统一的逻辑空间。

基于主机的虚拟化方式是最容易实现的, 但是它存在着很大的问题, 会对内存以及CPU占用比较大, 同时消费也高系统依赖性太强, 同时它还不能实现多平台的兼容。

2.2 基于网络的存储虚拟化

这是当前存储虚拟化的主要发展方向, 商业已经有很多的产品。比如我们熟知的腾讯微云以及百度的云盘, 以及各种邮箱, 它都实现了网络的存储模式。我们通常所说的网络的存储模式所运用的技术是上面我们提到的NAS以及SAN, 这两种系统的结构、通信协议以及数据的管理方式都存在着不同, 前文也提到了NAS主要是负责文件的共享, 而SAN主要是实现数据库的应用, 目前应用比较多的技术是存储区域网络SAN。虚拟化的存储网络可以将主机的到存储设备间的路径进行设置从而达到不同化。

2.3 基于设备的虚拟化

主要是在储存设备中实现的, 我们还可以把它叫做存储控制器去你话。这种方式主要是直接面对物理设备, 所以性能上可以实现最优化, 也可以实现管理方式简单以及对用户透明的作用, 但是就目前来说, 它还没有一种统一标准, 所以不可能实现广泛的应用只能为特定的企业服务。因为在异结构产品中很难实现存储级连, 所以这种方式的扩展性在很大程度上受到了限制。

3 结语

本文仅仅是针对存储虚拟化技术做了很简单的介绍, 对于目前这方面的研究可能贡献并不大, 在实际生活中还需要更深层的探讨, 还需要更多的实践证明。但就这么简单的叙述中我们也不难发现存储虚拟化技术对于当前的数据信息发展形势是非常必要的, 它符合目前的信息数据的高速发展要求。所以我们应该加强这方面的人力物力进行有效的研究, 促进虚拟存储化技术的发展, 为数据的储存提供更好的保证, 同时也为我国的信息化产业做出一个巨大的贡献。

参考文献

[1]刘飞, 易乐天, 刘青昆, 等.基于Windows平台的存储虚拟化按需分配技术[J].小型微型计算机系统, 2012, 33 (5) :976-980.

[2]姚昌伟.基于网络的存储虚拟化技术的研究[D].电子科技大学, 2010.

[3]邓永龙.云存储环境下具有高可扩展性的存储虚拟化结构的研究[D].重庆邮电大学, 2011.

存储虚拟化的前景展望 第6篇

最近, 存储市场对两种主要存储虚拟化架构即带内结构和带外结构的优缺点进行了全方位的探讨。对于一个非常重视24X7数据可用性和数据保护的市场而言, 这种探讨无疑是十分必要的。

另外, 一项技术不可适用于所有的客户解决方案, 许多商家的日常经营都与全面生产环境的虚拟化息息相关, 通过存储管理和部署出色的存储保护, 节省了巨大的开支。其他许多企业对这这解决方案的需求也都非常迫切, 而这些应用只有虚拟化平台才能够提供。

可满足上述存储需求的单点解决方案十分普遍, 但是客户越来越需要整合管理和应用, 以便节省时间和财力。这种整合不仅包括存储自身, 也包括存储管理和应用, 而正是整个推动了新兴存储市场的发展。

能够解决上述所有IT问题的唯一解决方案集中管理支持, 就是一种为混合存储应用奠定了基础的, 功能强大的虚拟化产品。唯有虚拟化能够从分立数据镜像企业级数据、对整个存储库进行快照和复制, 或在多供应商存储阵列中自动分配磁盘。在这一技术水平上, 目前尚无其他解决手段。

二、关键问题质疑

但是, 并非所有的虚拟化解决方案都用同等的方式创建。需要最终整合存储和存储管理的公司必须考虑虚拟化产品的底层实施问题, 以及对环境的影响程度。必须考虑以下几个问题:

1) 该技术是否成熟?一项产品存在于实际生产环境的时间长度是产品成熟度的一个重要指标, 在实际客户场所实施的产品种类和规模也是参考标准之一, 一个虚拟化解决方案应是够灵活, 以便处理SQL, Oracle, Exchange, SAP和其他多种数据组和网络配置。

2) 是否提供真正的价值?仅采用虚拟化技术只会为您带来卷管理和磁盘分享。该平台是否提供了一个快照、复制和镜像解决方案?它是否能方便的集中管理和控制?

3) 从长远的角度是否可扩展?虚拟化对一个网络分段上某个应用的作用可能是显著的, 但是, 企业是否可以在整个网络和所有存储中使用该技术?从一个试用计划到在整个企业范围内部部署解决方案, 实际成本多少?它是否能够容纳未来的数据增长、技术和应用?对网络性能有何影响?

4) 对业务连续性的支付如何?面向信息使用周期管理的发展趋势, 使公司意识到, 仅仅核心业务数据得到灾难恢复保护是不够的。电子邮件、文档处理、客户端应管理和其他中级应用正逐渐成为机构的关键任务, 因此也成为业务连续性流程的一部分。

三、智能交换机下一代虚拟化平台

随着存储交换机不断获得智能和其他处理功能, 虚拟化应该处于存储网络自身的矩阵中。实际上, 这一方案同时包含了带内和带外两种属性, 这对于需要短期内升级其存储交换机至更高带宽和最新技术的客户可能更具吸引力。除了为托管虚拟引擎提供经济有效的可升级功能外, 智能交换机可能是运行整个企业快照和复制等应用解决方案的最佳地点, 且对生产服务器和应用的性能不会造成任何影响。基于交换机的存储应用也更便于实现集中管理。可在交换机层次实施升级和新型存储应用, 与其他方案相比, 在存储网络中的实施对运行影响最小。此外, 在交换机上加载软件与在主机网络上部署多个带内服务器或单点解决方案相比, 成本大大降低。

四、多存储协议

事实上, 多协议存储的采用可以真正提高FC和虚拟化的价值, 目前许多企业都可以将从前由于成本的关系未能链接的客户端和服务器链接到FC SAN.ISCSI还使企业能够将其数据网络分段链接到FC设备, 这一前所未有的举措不仅使设备更有价值, 更实用于关键任务, 而且也加强了FC作为集中管理点和存储应用地点的作用。现在FCIP和SAN的孤岛互联和数据远程复制的成本更为低廉, 适用于越来越多的企业。目前, 更多分散的数据源提供更多的数据, 基于交换机或基于带外的虚拟化将在保护和增强这种新数据源的管理方面发挥重要的作用。

目前市场上对于“解决方案”的关注胜过技术, 这无疑是非常令人鼓舞的, 因为越来越多的用户正在部署虚拟化结构, 以便支持快照、复制、移植和镜像混合解决方案。

参考文献

云计算中存储虚拟化技术浅析 第7篇

关键词：云计算,虚拟化,存储虚拟化

1 云计算

随着企业的成长, 业务和应用不断增加, IT系统规模日益庞大, 带来高能耗、数据中心空间紧张、IT系统总体拥有成本过高等问题;而现有服务器、存储系统等设备又没有充分被利用起来, 资源极度浪费;IT基础架构对业务需求反映不够灵活, 不能有效的调配系统资源适应业务需求。因此, 企业需要建立一种可以降低成本、具有智能化和安全特性、并能够与当前的业务环境相适应的灵活、动态的基础设施和应用环境, 以更为快速的响应业务环境的变化, 并且降低数据中心的运营成本。“云计算”作为一种模式和思想进入到人们的视野。

云计算是以数据为中心的一种数据密集型的超级计算, 在数据存储、数据管理、编程模式、并发控制、系统管理等方面具有自身独特的技术。云计算的出现, 改变了信息服务的提供方式。“云”中的资源在使用者看来是可以无限扩张的, 并且可以及时获取, 随时扩展或缩小, 按需使用。而实际上, 它并不是一个单独的服务, 而是一个服务集合。它以前所未有的规模为使用者提供IT服务能力。云计算研究的重点是网络计算, 实际上它的本质是计算机的虚拟化。

2 虚拟化技术

虚拟化技术是一种调配计算资源的方法, 它将应用系统的不同层面, 包括硬件、软件、数据、网络、存储等一一隔离开来, 从而打破数据中心、服务器、存储、网络、数据和应用中的物理设备之间的划分, 实现架构动态化, 并达到集中管理和动态使用物理资源及虚拟资源, 以提高系统结构的弹性和灵活性, 降低成本、改进服务、减少管理风险等目的。

云环境中, 虚拟化技术按系统层级划分, 可以分为:服务器虚拟化、存储虚拟化、网络虚拟化、应用虚拟化以及客户端虚拟化。不同种类的虚拟化技术致力于从不同的角度解决不同的系统性能问题。虚拟化技术加入到云计算中, 简化了资源管理的复杂度, 提高了资源利用率。对于用户而言, 可以通过互联网随时获得自己需要的服务, 可以自由取用, 按需付费。存储虚拟化技术作为虚拟化的重要技术之一, 特别是在数据安全性和完整性要求更高的时代, 存储系统变得尤为重要, 存储虚拟化技术得到了较快的发展和应用。

3 存储虚拟化技术

随着大数据时代的到来, 数据量的存储需求迅速增长, 存储技术越来越受到业界关注, 使越来越多的企业把数据存储作为重要项目来管理, 从而带来存储管理技术的快速发展。然而, 存储设备的差异性, 使高效管理这些设备面临诸多困难。对存储管理而言, 虚拟化是一种具有广阔前景的解决方案。存储虚拟化技术解决了存储设备管理效率的问题, 不同类型的存储资源整合问题, 异构存储系统的兼容性、扩展性、可靠性、容错容灾等问题。

SNIA (存储网络工业协会) 对存储虚拟化的定义:通过对存储 (子) 系统或存储服务的内部功能进行抽象、隐藏或隔离, 使存储或数据的管理应用、服务器、网络资源的管理分离, 从而实现应用和网络的独立管理。

存储虚拟化技术是计算机虚拟化技术的重要结构, 它的思想是将资源的逻辑映像与物理存储分开, 为系统和管理员提供一幅简化、无缝的资源虚拟视图。对于用户来说, 虚拟化的存储资源就像是一个巨大的“存储池”, 看不到具体的磁盘, 也不关心自己的数据在具体的哪个存储设备中。存储虚拟化技术具有提高动态适应能力。它将存储资源统一集中到一个大容量的资源池, 无需中断应用即可改变存储系统和实现数据移动, 对存储系统能够实现单点统一管理。

存储虚拟化可在三个层次上实现, 分别是:基于主机的虚拟化、基于存储设备的虚拟化、基于网络的虚拟化。它有两种实现方式, 分别是带内虚拟化、带外虚拟化。实现的结果有:块虚拟化, 磁盘虚拟化, 磁带、磁带驱动器、磁带库虚拟化, 文件系统虚拟化, 文件/记录虚拟化。如图1为存储虚拟化实现模式。

(1) 基于主机的存储虚拟化

基于主机的的存储虚拟化一般是由操作系统下的逻辑卷管理软件完成, 不同操作系统的逻辑卷管理软件也不相同。这种实现方式使服务器的存储空间可以跨越多个异构的磁盘阵列, 常用于在不同磁盘阵列之间做数据镜像保护。但它也有缺点:第一, 占用主机资源, 降低应用性能;第二, 存在操作系统和应用的兼容性问题;第三, 导致主机升级、维护和扩展非常复杂, 而且容易造成系统不稳定;第四, 需要复杂的数据迁移过程, 会影响业务连续性。常见的产品有SymantecVeritas VolumeManager。

(2) 基于存储设备的存储虚拟化

基于存储设备的存储虚拟化是在存储控制器上添加虚拟化功能, 常见于中高端存储设备。它的目的是面向用户的应用进行优化, 可以把用户不同的存储系统融合成单一的平台, 解决数据管理难题, 并通过分级存储实现信息的生命周期管理, 从而进一步优化应用环境。

这种技术主要用在同一存储设备内部, 进行数据保护和数据迁移。它的优势是与主机无关, 不占用主机资源, 数据管理功能丰富。但也存在缺点:第一, 一般只能实现对本设备内磁盘的虚拟化;第二, 不同厂商的数据管理功能不能互操作;第三, 多套存储设备需配置多套数据管理软件, 成本较高。常见的产品有H3C IX/EX系列、HP EVA、HDS TagmaStor、SUN 6920系列。

(3) 基于网络的存储虚拟化

基于网络的存储虚拟化是通过在存储区域网 (SAN) 中添加虚拟化引擎实现的。主要用于异构存储系统的整合和统一数据管理。它的优势是:第一, 与主机无关, 不占用主机资源;第二, 能够支持异构主机、异构存储设备;第三, 能使不同存储设备的数据管理功能统一;第四, 可以构建统一管理平台, 可扩展性好。但也存在缺点:第一, 部分厂商数据管理功能弱, 难以达到虚拟化统一数据管理的目的;第二, 部分厂商产品成熟度较低, 仍然存在和不同存储和主机的兼容性问题。常见产品有:H3C IV系列、IBM SVC、EMC VPLEX、NetApp GFiler系列。

很多人关注虚拟化在哪里部署, 到底是基于主机, 基于网络还是基于存储。当然所有这些选择都有各自的优点和缺点。最主要的是让存储虚拟化合并异质存储系统, 将这些系统合并到一个公共的存储池并进行共同的管理和保护。存储虚拟化的目标是让企业和用户有向不同厂商选择存储阵列的能力, 向他们提供各种企业级功能, 比如动态配置和动态数据迁移等。在企业用户应用存储虚拟化技术时, 需要做好几项工作:第一, 规划好企业的存储虚拟化策略;第二, 将企业业务数据进行合理分类规划;第三, 了解数据生命周期;第四, 规划好存储层次以及服务级别;第五, 考虑安全性和兼容性问题。尽可能的实现存储虚拟化的最大效用, 更好的节约资源, 简化管理。

4 存储虚拟化技术的应用

虚拟化技术已经在存储领域得到广泛的应用。各个存储设备厂商也陆续推出了自己的虚拟化存储产品。存储虚拟化技术在各行各业中已经开始了大规模应用。这些应用包括数据中心、电信行业、银行证券保险行业、政府信息系统等。

存储技术不断的发展, 用户对于数据的需求增加, 而存储虚拟化并没有完全普及。原因主要是对数据安全问题的考虑;其次是忽略了我国庞大的中小企业需求;再就是价格问题, 很多中小型企业采用存储虚拟化技术方案投入的成本可能比传统的存储管理成本更高。

但相信在不久的将来, 虚拟存储技术在克服了面临的困难后, 会更广泛的得到应用, 从而有效实现企业和用户的存储系统效率提高, 系统安全稳定的运行, 总体拥有成本减少, 投资回报得到增加等。

5 结语

虽然存储虚拟化技术已经得到了较大的发展, 但对于企业和用户而言, 存储虚拟化并不是万能的, 企业存储管理人员需要把自己现有的存储资源、存储技术和存储虚拟化相关联, 找到最适合自己企业的存储策略才是最为重要的, 从而更好的利用资源、节约成本、简化存储管理。

在大数据云计算环境中, 数据在哪里存储, 数据都有谁访问, 数据是否安全, 这些问题引起了人们的思考, 数据安全问题变得尤为重要。在虚拟存储中数据可能面临着存取权限、数据备份和销毁等风险, 这是在云计算应用中需要进一步解决的存储安全问题。

参考文献

[1][美]张猛, 译.云计算与数据中心自动化[M].北京:人民邮电出版社, 2012.

[2]叶娟.试论云计算中虚拟化技术的应用[J].计算机光盘软件与应用, 2012.

[3]谭生龙.存储虚拟化技术的研究[J].微计算机应用, 2010.

企业存储虚拟化与服务器虚拟化探析 第8篇

存储虚拟化是指对硬件资源抽象化。以虚拟形式来表示它们。虚拟化可将物理存储系统从数据驱动的具体工作负荷中分离出来,从而使你能够随心所欲地按需分配存储资源。虚拟化包括将多个物理存储资源池化成一个虚拟的存储资源,然后可对其实施集中管理或者以逻辑方式将其分区成若干个虚拟机。虚拟化还可用于使磁盘对应用程序呈现为磁带的方式。

业界普遍认为利用虚拟化技术能使存储的效率、可管理性明显提升。设备总体拥有成本大幅下降。尽管各大厂商极力推广,存储虚拟化却始终叫座不叫好。有三个主要原因导致了存储虚拟化的应用进展迟缓。首先。存储系统的标准化进程缓慢,直到今天,各存储厂商虚拟化产品的整合仍然困难重重;其次,存储虚拟化产品在几年前价格普遍较为昂贵且专注于高端用户,IT决策者对虚拟化技术的了解程度普遍较低,存储厂商和用户对虚拟化持观望态度;最后,存储虚拟化领域存在孤军奋战的现象,厂商间始终未能合力共谋发展。事实证明,只针对存储本身,而忽略其它IT组件的虚拟存储方案很难获得用户的认同。

2 服务器虚拟化的催化效应

首先,服务器虚拟化为存储虚拟化的最终落地提供了绝佳的应用平台。从虚拟化发展的历程看,在PC服务器采用虚拟化之前,存储虚拟化多在Unix小型机上采用,并不适用于Windows/Linux等x86平台。直至1998年,VMware公司率先将虚拟化技术引入x86平台。这使存储虚拟化的应用得以扩展至PC服务器,从而挣脱了平台的束缚。

其次,服务器虚拟化本身已将存储虚拟化层包含其中。以VMware vStorage为例,它是目前市场上唯一可供生产环境使用的服务器虚拟化套件VMware Infrastructure的核心技术与接口之一。VMware vStorage采用虚拟化技术创建了高效而灵活的存储池,不仅简化了虚拟机的存储操作过程,还可以直接利用存储基础架构的各项功能,为在虚拟环境中使用和管理存储系统提供了最有效的方式。

作为VMware Infrastructure的重要组件,VMware Storage VMotion在共享存储位置之间和跨共享存储位置上重新分配虚拟机磁盘文件,保证了服务供应的连续性和事务处理的完整性。而VMware vStorage VMFS是使用共享存储的群集文件系统,作为存储架构中额外的虚拟化层,它可以让用户将虚拟机后台的存储资源作为一个大型LUN来进行管理。

3 有效融合相得益彰

一方面,服务器层的虚拟化为存储设备层的虚拟化搭建了绝佳的平台;另一方面,如果存储设备本身没有虚拟化能力,任何RAID级别或其它配置的调整等都会引起存储设备的停机,并导致相关虚拟机停机的情况发生。这意味着,服务器层的虚拟化和存储设备层的虚拟化需要更好地融合,才能将虚拟化的价值完美地释放。

4 存储虚拟化对中小型企业的作用

毫无疑问,虚拟化已经改变了数据中心的面貌。虚拟化意味着更少的硬件,更低的成本和更高的IT效率,而且虚拟化这项技术和它的优点开始渗透到数据中心的其他领域。我们已经听到和看到许多服务器虚拟化,同时存储虚拟化正在成为数据中心的主流。这里,我们讨论一下为什么存储虚拟化对中小型企业来说也是非常重要的,同时我们看看存储虚拟化的现状以及未来几年它将发生什么样的变化。

数据增长的管理是所有大小规模的公司都要面临的挑战,但是对于中小型企业来说,数据增长管理这个问题尤其严重:中小型企业所面临的数据增长和与数据增长相关的问题的水平和大型企业类似,但是中小企业的IT预算和人力资源要少得多。存储虚拟化可以帮助这些公司降低单位存储容量成本,而且可以简化目前正在消耗它们有限IT资源的许多数据管理任务。

存储虚拟化为成本敏感的中小企业提供了一种方法来合并资源,创建利用效率更高的环境,从而最终减少IT成本。FalconStor Software营销副总裁Fadi Albatal表示:“一旦虚拟化的合并的存储环境准备就绪,IT管理人员可以在大幅减少的成本的基础上提供一系列差异化的存储服务,包括数据保护服务,比如针对灾难恢复的备份和复制。”

从存储虚拟化格局改变的角度来看,存储虚拟化将走服务器虚拟化所走过的路。几年前,服务器虚拟化的焦点还在虚拟机管理器。现在,虚拟机管理器已经变成商品。所有的虚拟化公司都在关注管理性,以便为虚拟化客户提供成本节约和灵敏性。在笔者看来,几年后,存储虚拟化也将接着服务器虚拟化进入成熟期。尽管服务器虚拟化已经成为主流,但是存储虚拟化离主流还有一定距离。现在的主要焦点是证明这个技术是有效的。几年后,管理性将更加重要如何充分利用现有的硬件,如何在不同主机上动态迁移VM(虚拟机)等。

存储虚拟化的第一阶段是要能够整合和处理来自不同厂商的存储硬件的I/O命令。在存储虚拟化的下一阶段,下列这些问题将变得更加重要:向外扩展存储,分层和虚拟化存储,针对云数据中心的虚拟化存储,以及负载均衡。

在虚拟化环境中使用向上扩展存储只会增加容量和导致不必要的资源浪费;只有向外扩展架构可以提高存储性能和获取来自虚拟化的好处。虚拟化存储可以提供不同层次的存储管理服务,包括SSD、SAS、SATA甚至VTL(虚拟磁带库)。

至于云服务要求,虚拟化的存储可以提供不同的好处,包括可扩展性、无宕机数据管理以及更低的成本。这表示另一个关键问题将是当多个存储控制器引入一个虚拟化存储池的时候如何平衡控制器工作负荷和主机带宽。厂商们可以部署智能主机代理端或利用网络层协议来进行负载共享。

5 发展趋势

目前与存储虚拟化相关的最热门的技术和趋势是什么?重复数据删除和云存储是两个值得关注的对象。由于数据继续快速增长,许多企业不断寻找可以进一步降低存储成本的方式。存储虚拟化是这些技术的关键因素之一,因为它可以排除这些技术应用的主要障碍。存储虚拟化可以自动化哪些数据适合哪些存储类型的判别流程,而且可以在不干扰用户和应用程序的情况下,根据预先定义的政策迁移数据。

一些值得关注的新技术潮流包括异质虚拟存储环境下同质数据保护服务,改善SAN(存储局域网)性能的SSD应用,根据QoS(服务质量)要求所进行的自动化的在存储架构上进行的数据迁移。存储虚拟化可以在IT界中广泛应用为一种最佳实践。虚拟化SAN将成为存储环境部署和管理事实上的标准。

中小企业预计可以看到更多的异质存储虚拟化解决方案,以及对新协议的支持,比如光纤通道以太网在IP上提供高性能服务。

许多人关注虚拟化在哪里部署基于主机,基于网络或是基于存储。所有这些选择都有各自的优点和缺点。许多人强调的是让存储虚拟化合并异质存储系统,将这些系统合并到一个公共的存储池并采用共同的管理和保护。存储虚拟化的目标是让你有向不同厂商选择存储阵列的能力,向你提供各种企业级功能,比如动态配置和动态数据迁移。

摘要：从CPU、内存、主板到服务器,当越来越多的IT系统核心构件选择投身虚拟化阵营时,谁将是虚拟化阵营的下一个受益者?从目前的发展态势看,服务器虚拟化渐成主流。存储极有可能成为下一个因虚拟化而发生重要变革的IT构件。

关键词：云服务,存储虚拟化,服务器虚拟化

参考文献

[1]刘朝斌,谢长生,张琨.存储网络虚拟化关键技术的研究与实现[J].计算机科学2004(31).

[2]谢川,虞勤.虚拟存储及应用分析[J].数据库与信息管理,2007(4).

[3]周庆佐,贾瑞新,柯冬香,等.多信息系统数据交换的研究与实现[J].计算机工程与应用,2004(3).