高速公路监控系统存储应用方案

高速公路监控系统存储应用方案（精选8篇）

高速公路监控系统存储应用方案 第1篇

高速公路监控系统存储应用方案

高速公路, 监控系统, 存储高速公路介绍

交通运输是经济建设的基础设施，高速公路具有车速快、通行能力大、运输成本低、经济效益好、行车安全等特点，在我国始建于上个世纪八十年代，现已成为我国综合交通运输系统的重要组成部分。自1988年我国建成了第一条高速公路，经过20多年的飞速发展，实现我国高速公路事业从无到有，取得了显著的成绩，预计2010年里程将达5.5万公里。

高速公路监控系统通过监控中心及时、准确、全面地收集前方道路信息，当发生交通异常时，实现快速定位、指挥调度相关部门及发起救援等。高速公路监控主要包括高速公路、收费站两个部分。收费监控系统主要是对收费情况、通过车辆信息以及收费过程中的事件进行观察、记录和有效监督。监控系统主要是对高速公路干线、隧道等高速公路重点路段进行监视，掌握高速公路交通状况。

高速公路监控系统为三级或四级架构，采用分级控制，由下至上级分别是收费站、路段监控分中心、监控中心及省监控中心，按照要求部分下级的图像要上传至上级监控中心，进行统一监控和管理。高速公路监控系统建设

高速公路监控系统的建设面临着远距离、室外环境恶劣等困难，目前多数采取铺设光纤网络，使用光端机和硬盘录像机。光纤远距离传输具有信号稳定、性价比高、维护成本低的特点，前端的监控信息经过光端机转换为光信号由收费站或监控点传输到监控分/总中心的硬盘录像机内置硬盘上，实现有效的保存。

随着以太网络的全面建设、监控画面高质量要求及监控系统自动化、智能化建设，网络摄像机的应用成为必然的趋势，高清IPC主要应用于高速公路沿线、立交、收费站等，其中收费车道、收费亭一般采用交通专用枪型摄像机，收费广场多采用一体化球机。相对于模拟摄像机，它的优势在于：

完成路段联网的同时实现图像联网，录像信息可传输到路段中心、分控中心、省中心，实现监控图像的相互交换；

满足更多部门访问图像的要求，不受地理位置局限，上下级访问，跨城市访问，省中心直接调度前端图像等，随时了解路况信息并做出及时的响应；

监控图像通过网络传输，不再需要考虑地理位置，只要保证足够带宽；

图像按需传输，用户可指定观看的监控点图像，网络带宽得到充分灵活的利用；

高清画面清晰度高，满足车牌识别等卡口系统的图像抓拍要求。监控系统的数据存储

高速公路监控系统的数据存储涉及两个方面，一是公路全程监控录像的保存，另外一个是收费站录像信息、图片信息等多种类型数据的保存。

3.1 公路全程监控录像的保存

公路全程监控录像保存在硬盘录像机内，伴随着延长保存周期、高清摄像机的应用，硬盘录像机模式逐步暴露不足：

硬盘录像机容量有限，不易扩展，延长保存周期时，不能提供足够的存储空间；

硬盘录像机硬盘非冗余模式工作，数据容易丢失；

硬盘顺序工作，减少硬盘损耗，检索与回放性能较差；

设备分布式放置，设备维护较为困难；

数据保存较为分散，不能实现数据的集中存储和管理；

分布式存储形成信息孤岛，不能实现互通互联；

网络摄像机的大量应用，数据存储亟待解决。

搭建IP SAN网络存储架构，采用专业数据存储的磁盘阵列，改变数据存储方式，可解决硬盘录像机上述不足。IP SAN存储系统可应用于路段中心、监控分中心、监控中心，集中存储前端录像信息，通过监控中心实现图像的实时预览、历史图像回放。根据存储系统的部署可分为分布式集中存储和集中式存储。分布式集中存储模式主要应用于多级监控系统，每一级监控中心保存所管辖区域的监控录像，上级监控中心可调取下级监控中心图像。集中式存储模式是将所有的监控图像经过网络集中存放在监控中心的存储设备内，真正实现了数据的集中保存和管理。无论是哪种存储模式都是建立的网络存储区域――SAN，该存储方案的优势在于：

存储设备提供较多的硬盘通道，支持多种规格硬盘，设备扩展性强，方便后期扩容；

硬盘并发写入，读写性能更高，满足监控多路并发写入的性能要求；

多种硬件、软件冗余机制，设备可靠性更高；

传输带宽更灵活，存储区域网络可以建设成千兆网络，也可以建设成百兆网络；能够最大程度的满足前端设备的存储压力需要；

无论是模拟摄像机还是网络摄像机的录像，都能得到高效的存储。

3.2 收费监控系统数据的保存

收费监控系统主要监控的对象是收费站的车道、收费广场、收费亭，包括识别车牌信息，抓拍车辆图片、收费过程以及特殊事件等进行有效的监督，所以监控系统的数据类型较多，视频、图片、字符信息等，并具有图像分析、数据库等信息处理系统，收费监控系统的数据特点可概括为以下几个方面：

多采用高清摄像机或全景高清摄像机，码率大，保存时间至少30天，数据量可达到上百TB；

车辆识别系统快速的抓拍获取车辆信息，由数据库进行数据分析、信息对比，发现可疑时触动警报等，系统处理能力较高，以便满足数据库快速写入和读取数据的要求；

卡口部分要求具备共享属性，满足联网查询和及时更新车辆黑名单功能的要求。

故存储系统不仅要提供可靠、稳定、大容量的存储服务，同时提供高性能满足数据的快速访问与共享要求。邦诺存储优势及案例

北京邦诺存储科技有限公司专注于网络存储的技术研发、产品生产、销售及服务，为用户提供全面的存储产品，特别能面向视频监控、非线性编辑、视频点播、网络安全等多个行业应用特点，推出行业存储解决方案。在视频监控领域中，成功完成多项平安城市、全球眼、宽视界、道路监控、边防港口等监控存储系统的建设。邦诺存储产品具有自主可控、智能个性、安全可靠、经济实用等特点：

高性能――采用高性能硬件平台和面向行业的优化算法，实现更多监控点的并发写入，并具有较好的性能扩展；

大容量――单台设备最多高达48个硬盘通道，支持多种规格硬盘，提供海量存储空间，支持设备扩展和设备堆叠模式，实现无限扩展；

多种存储服务――集成FC SAN、IP SAN、NAS功能于一体，使用更为灵活，且面向视频监控支持前端图像直接写入存储的高可靠、高性能存储模式；

高性价比――丰富的产品线包括经济型、高性价比、高性能产品，满足用户存储需求的同时，保证系统的实用性、合理性和经济性。

成功案例

应用背景：

交管局卡口系统主要应用在城市的交通要道，用来自动获取过往机动车的车牌号码、车体特征等信息，保存到数据库，并具备联网查询功能。该系统可在2秒种内，完成拍摄、比对、发出指令等程序，及时发现可疑车辆，成为新城市道路交通建设的智能控制和指挥中心。

需求：

某收费站建设存储系统，保存收费站管辖区域内所有的道路监控录像和卡口系统数据。道路监控录像的数据类型为连续的视频信息，卡口系统数据类型分为图片和车速、车体颜色等记录信息，总数据量大，传统的服务器内置硬盘已经不能提供足够的存储空间，亟待于寻找有效、合理的保存方式，满足以下几个方面：

道路监控每天以持续写入为主，要求存储设备满足大码率多路并发写入的特点；

针对卡口系统，满足数据库快速写入和读取数据的要求；

存储系统能提供海量空间用于存放数据，具备灵活的扩展性，便于系统后续扩容；

满足数据库文件夹具备共享属性的要求，以便实现联网查询和及时更新车辆黑名单功能；

监控录像要不间断、有效、完整的保存下来，历史数据可读取，突发事件可追溯，存储系统的可靠性是有力的保障。

解决方案：

根据某收费站的业务特点和系统建设的合理性，为用户设计了IP NAN与NAS结合的存储架构，提供大容量存储空间，提供文件共享服务，建设千兆网络实现数据的快速传输。本方案采用了邦诺高性能的SMI-200-R16SA和高容量、高性价比的SMI-100-R24，满足用户对容量、对文件共享、对可靠性的要求。

下载(84.97 KB)

2010-10-11 18:37

方案特点：

SMI-100-R24采用独特的缓存算法，以写入为主，实现性能优化，满足道路监控的多路并发写入；

SMI-100-R24单体设备最大提供24TB（采用1TB磁盘），真正实现了单设备为用户提供最大的存储空间，同时支持扩展柜、设备堆叠，轻松实现容量扩展；

本方案同时提供iSCSI卷、NAS卷，供用户灵活分配空间，单个NAS卷大于2TB，最大能达到16TB的空间，支持多NAS卷；

SMI-200-R16SA配置SAS磁盘，满足数据库高IO响应与命中率；通过分配8TB的NAS卷，提供良好的文件共享满足卡口系统联网服务的要求；

选用两种不同配置的存储设备，能满足监控系统不同数据不同存储要求，更充分考虑到了系统建设的性价比；

邦诺存储采用高性能的硬件平台，通过优化的软件设计充分发挥硬件性能，提供较高的IO访问率，满足数据库等对数据处理效能要求较高的各种应用环境；

邦诺存储采用模块化、热插拔设计，提供冗余电源、风扇，支持多种RAID级别，提高数据安全性，支持网口绑定技术实现负载均衡和链路冗余，保障整个存储设备的高可用性。

高速公路监控系统存储应用方案 第2篇

1.1 存储需求概述

XX天网二期需要建设XX个高清监控点位，随着城市防控体系系统规模越来越大，以及高清视频的大规模应用，对系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。

面对数百TB甚至上PB级的海量视频存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性扩展，这对于本项目存储系统来说是一个新选择。

视频云存储通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中的存储设备集合起来协同工作，共同对外提供数据存储和业务访问功能。为满足本次高清点位视频存储的需求，同时符合行业发展趋势，满足业务使用需求，本次XX天网二期拟建设云存储系统进行录像存储和业务访问接口。 大容量存储需求

随着各地城市视频监控系统建设的深入，摄像头数量日益增多。前端建设普遍采用1080P高清摄像机。依据平安城市的建设要求，高清图像存储30天，那么一万路视频的总存储容量需要大致为十几个PB。 集中存储需求

对于城市级系统数十PB的存储需求，若采用通用IPSAN存储方案，则需上千台IPSAN，难以实现高效、统一的存储与设备管理，无法高效支撑公安视频实战应用。

 高IO性能需求

基于视频大数据的智能实战应用对大量视频的快速收集与分析有非常高的要求，而传统IPSAN存储方式由于IO性能低，无法满足视频大数据应用的存储与应用要求。

1.2 存储系统基本要求

在设计XX天网视频监控系统存储系统时，依据以下设计要求：

(1)监控点的录像过程将对网络交换设备产生很大的压力，核心交换机应能负担如此大的交换压力，需考虑网络故障以后录像数据的缓存功能以及网络恢复以后的补录功能。

(2)能集中管理所有存储资源并统一调度，统一部署存储策略。与存储资源物理位置无关，只要IP网可达，便可实现对存储资源随时随地检索和回放。（3）保障存储系统数据的安全性，对访问权限进行集中管理与分配。（4）存储空间统一管理、统一分配，可实现无缝在线扩容。(5)存储系统具有冗余备份的能力，提供持续稳定的性能。(6)存储系统提供标准的运维接口，维护简单方便。

(8)存储系统具备高可靠性，出现设备故障后，存储业务不中断。本项目在XX分局建设分布式视频云存储中心，每个存储中心依据接入到该区的视频前端的数量实际情况，规划建设分布式云存储系统。

1.3 云存储拓扑示意图

UCS的存储节点通过Uni-FS分布式文件系统，将多台存储节点上的物理资

源形成一个统一的大存储池对外提供数据存储空间，并提供数据保护功能。 云存储提供标准的CIFS/NFS/FTP/HTTP等文件传输访问协议；  通过流媒体服务器过存储服务器实现照片流，视频流的转存；  提供标准访问接口，兼容性好；

 利用云存储提供的纠删码、复制卷等多种基础数据可靠性，解决视频数据冗余问题，当存储节点、磁盘故障保证业务不中断，数据不丢失。

1.4 云存储架构

下图为分布式云视频存储解决方案总体架构图。

图：分布式云视频存储解决方案总体架构图

本次项目所采用的分布式云存储方案主要包含三大模块，分别为：业务服务层，数据处理层以及物理硬盘层。

业务服务层作为云存储系统的对外管理GUI界面和业务功能服务层，实现云存储相关的功能，如负载均衡、故障自动切换、认证管理、配额管理等，并可基

于标准协议ISCSI/NFS/CIFS/FTP、POSIX接口等提供对外的业务连接接口；

数据处理层作为云存储系统所有存储节点之上的分布式文件系统，它将各物理存储设备节点组成一个集群，对外提供文件存取和数据保护等功能。完成内部文件系统的管理，完成各存储节点间的通信和任务调度、任务监测等。完成存储节点和设备的虚拟化。它采用无元数据设计的全对称分布式架构，支持3～300个存储节点的弹性无缝扩展，可提供PB级单一存储空间。

物理磁盘层为云存储系统的基本组成单元，对外提供数据存储空间，包含实际的存储节点及其所插入的硬盘等。

本次项目新建的摄像机通过运营商提供的网络直达区分局机房，各分局对应的摄像机视频存储在各分局建设的分布式视频存储中心中，其中XX分局的视频资源就近接入XX分局分布式视频存储中心，XX分局视频资源就近接入到XX分局分布式视频存储中心。

1.5 云存储功能特性

1.5.1 无元数据设计

元数据就是记录数据逻辑与物理位置的映像关系，以及诸如属性和访问权限等信息。传统分布式文件系统一般采用集中式元数据服务或分布式元数据服务来维护元数据。

集中式元数据服务会导致单点故障和性能瓶颈问题，一般情况采用双机主备方式来解决单点故障问题但无法解决性能瓶颈问题，因此此类分布式文件系统的扩展性相对来说较差；而分布式元数据服务存在增加算法的复杂度，在性能负载和元数据同步一致性上存在问题，特别是对于海量文件的应用，元数据问题是个非常大的挑战。

本次宇视UCS云存储系统采用无元数据服务的设计，取而代之使用算法来定位文件。集群中的所有存储系统管理单元都可以智能地对文件数据分片进行定位，仅仅根据文件名和路径并运用算法即可，而不需要查询索引或者其他服务器。这使得数据访问完全并行化，从而实现线性性能扩展。

1.5.2 弹性算法

本次设计的UCS云存储系统，不需要将元数据与数据进行分离，集群中的任何存储节点和客户端只需根据路径和文件名通过弹性HASH算法就可以对数据进行定位和读写访问，且文件定位可独立并行化进行。

1.5.3 全局统一命名空间

分布式文件系统最大的特点之一就是提供全局统一的命名空间。全局统一命名空间就是将多个存储服务器的磁盘和内存资源聚集成一个单一的虚拟存储池，对上层用户和应用屏蔽了底层的物理硬件。存储资源可以根据需要在虚拟存储池中进行弹性扩展。全局统一命名空间可以让不同的用户通过单一挂载点进行数据共享，I/O可在命名空间内的所有存储设备上自动进行负载均衡。

本次项目采用的宇视UCS云存储系统是基于文件系统提供统一命名空间，在同一个、云存储系统中可以同时有多个文件系统的卷（物理资源池，由多个存储设备的资源组成），不同的卷创建的文件系统有不同的命名空间。云存储系统同时也是基于文件系统的卷提供共享文件目录，因此不同用户可通过访问这个单一的共享文件目录，实现IO在这个文件系统命名空间内的所有存储设备上自动负载均衡。

1.5.4 纠删码数据保护

本次项目宇视UCS云存储系统的数据保护采用数据N＋M纠删码保护模式，通过N＋M纠删码实现M个节点冗余，资源利用率为N/(N＋M)

云存储支持基于文件系统级别（卷级别）的N＋M纠删码，对文件采用原数据＋冗余数据的保护模式，N为文件原始数据分片份数，M为冗余数据分片份数。在N＋M卷模式下，最多可允许M个节点故障，数据仍可被正常访问，并自动恢复。如下以4＋2为例介绍 ：

文件写入，文件被分为多个固定大小的数据块，而1个数据块被分为N个数据分片，通过N+M纠删码算法得到M个冗余分片，存入N＋M个存储节点，如下图；在没有存储节点故障时，文件直接从数据分片中读取。

当M个节点故障时，文件读取恢复：可通过其他节点数据算出数据，如下图：

1.5.5 弹性扩展

本次项目UCS云存储系统采用无元数据设计，通过弹性HASH算法定位文件访问的架构，决定了云存储系统获得了接近线性的高扩展性。

UCS云存储系统支持从横向和纵向的扩展模式，实现在容量、性能和带宽三方面的线性扩展。

横向扩展：通过增加存储节点，实现系统容量、性能和带宽的扩展。存储节点最大可扩展至300个。

纵向扩展：在单节点的硬件性能范围内，通过增加磁盘扩展柜和磁盘实现系统容量和性能的扩展。

1.5.6 负载均衡与故障切换

本次采用的UCS云存储系统提供前端虚拟IP地址池，为节点分配动态IP地址，客户端根据域名访问云存储系统，采用轮询的方式为客户端（流媒体服务器等）返回不同的IP地址，实现业务在不同节点上进行读写访问，从而达到业务负载均衡的目的。

客户端访问云存储系统如图示：

① 客户端使用域名访问云存储系统，发送域名解析请求到DNS服务器；

② DNS服务器轮询返回云存储系统前端虚拟IP池中的IP给客户端； ③ 客户端使用DNS返回的IP访问云存储中相应的节点。

故障切换功能是当节点宕机之后，可以将该节点上的动态IP地址漂移到其他节点上，由其他节点继续提供服务，保持业务的连续性，待故障存储节点恢复之后，重新为该节点分配动态IP地址，继续提供服务。

1.5.7 访问协议

本次采用的UCS云存储系统支持NFS、CIFS、FTP、HTTP、iSCSI协议访问。

NFS主要应用于流媒体服务器为Linux的操作系统；CIFS主要应用于流媒

体服务器为windows的操作系统，实现视频文件和照片文件的存储与访问。

FTP是TCP/IP网络上两台计算机传送文件的协议，FTP客户机可以给服务器发出命令来下载文件，上传文件，创建或改变服务器上的目录，支持间接使用远程计算机，使用户不因各类主机文件存储器系统的差异而受影响； 可靠且有效的传输数据。

HTTP协议（HyperText Transfer Protocol，超文本转移协议）是用于从WWW服务器传输超文本到本地浏览器的传送协议。

1.5.8 认证方式

UCS云存储系统支持本地认证和外部域认证，域认证支持外部AD域服务器认证，外部LDAP域服务器认证和外部NIS域服务器认证。

1.5.9 系统管理

管理同时支持图形界面和命令行方式。管理员可以通过Master浮动IP地址访问统一的网管界面，完成对集群系统的监控、配置、资源分配、性能统计和告警浏览等操作。

支持Email，SNMP Trap，短信，蜂鸣器，指示灯，数码管等多种告警方式。

当卷处于挂载状态时（工作状态），对共享文件夹设置系统用户的配额，可以限制该系统用户在共享文件夹下的最大写入数据大小。一个用户可以在多个共享文件夹下拥有不同配额，一个共享文件夹下也可以有多个不同配额的用户。

配额的设置又分为硬配额和软配额的配置，先介绍下硬配额和软配额的定义：  硬配额：一旦设置了硬配额大小，当用户数据达到配额大小时用户无法再写入新的数据，系统可根据设定发送配额通知邮件给用户。 软配额：一旦设置了软配额大小，当用户数据达到配额大小时系统可根据设定发送通知邮件给用户，但用户仍可以在容许时间内写入新的数据，如果未配置硬配额，则可以写入数据直到达到可用卷资源的大小；如果设置了硬配额，则可以写入到硬配额的大小。

1.6 存储系统配置及设备性能要求

分布式视频存储节点配置如下：

存储系统为无单独元数据节点的对称分布式存储设备，采用横向扩展架构，最少支持200个存储节点，全Active并行模式，节点地位均等、数据均衡分布，支持无单独元数据管理节点的对称分布式架构，简化云存储管理，消除性能瓶颈。

支持负载均衡与故障保护，配置负载均衡功能；业务自动在各节点间负载均衡，当任意节点故障时，故障节点上的业务能自动切到其他节点，并实现自动负载均衡；

支持多副本及跨节点冗余校验技术：可提供全局数据灵活多级别冗余设置保护，支持纠删码、多副本、RAID2.0等保护技术；节点间可通过N+M纠删码技术和复制技术实现数据保护；

提供统一的命名空间；支持多种认证方式；支持配额管理和权限管理； 支持POSIX、iSCSI、NFS、CIFS、FTP、HTTP、REST等标准访问协议，兼容HDFS API，支持Hadoop应用；

存储单节点性能配置：

1)双核处理器, 不少于8GB缓存,可扩容至32 GB；4个千兆以太网数据接口，配置万兆网卡；支持硬盘前面板热插拔便于后续安装和维护；支持网口聚合、负载均衡；支持多个网口设置同一IP地址实现数据链路冗余，其中一条链路失效不影响数据存储；

2)4U高度/24盘位；支持扩展柜，最大可接9级扩展柜，支持最大接入240个硬盘；

3)RAID功能：支持RAID 5、0、1、10、6、50等RAID级别，支持基于磁盘块做RAID；RAID阵列可即建即用；当RAID出现故障失效时，RAID中的录像可进行回放；

4)在RAID中磁盘发生故障时，空白磁盘可自动转换为热备盘以替换故障硬盘并重建RAID；

5)局部重建功能：当RAID中的磁盘拔掉之后短时间内再插上，该磁盘能恢复到原有RAID中,RAID阵列恢复正常；

6)支持磁盘漫游，磁盘更换槽位后可在图形界面上显示新的磁盘槽位，不影响RAID使用；

7)磁盘休眠：支持对不使用的磁盘休眠；

8)冗余功能：支持电源、风扇、电池的冗余及热插拔； 9)支持异构虚拟化功能；支持NAS的本地备份、远程备份功能；

10)双bios功能：支持主bios及备bios，主bios故障时可从备bios启动； 11)支持磁盘顺序加电；支持异常掉电来电后业务自动恢复；

12)降级、重建功能：RAID中磁盘发生故障，RAID处于降级、重建状态，不影

响数据写入；

13)数据保险功能：电池保护缓存下刷功能，掉电后存储数码管有显示缓存数据下刷的进度，重启后数据无丢失；

14)支持硬件和环境监控功能，可对设备电压、环境温度、网络接口及CPU使用率等状态信息进行实时查看；支持SNMP设备管理协议，实现SNMP报警；

1.7 存储连接网络设计

存储系统采用业务端口和管理计算端口相互分离的网络结构。任何一台存储都通过网线/光纤连接到2台不同的交换机上，实现链路备份和负载均衡。

存储前端采用千兆业务接口和业务交换机相连，实现对服务器转发过来的码流的存储和完成服务器对码流的调取请求等。

存储节点后端采用万兆业务接口和后端的云存储管理网络相连接，实现存储的管理，纠删码的冗余计算和恢复等。同时在堆叠交换机上对相应的端口做聚合。

1.8 云存储系统与平台的业务接口

UCS云存储系统支持POSIX、iSCSI、NFS、CIFS、FTP、HTTP、REST等标准访问协议，兼容HDFS API，支持Hadoop应用。可根据标准协议接口连接平台的流媒体服务器，也可提供API接口供平台侧进行对接接入等。

高速公路监控系统存储应用方案 第3篇

关键词：视频存储,文件式存储系统,分布式云存储系统

伴随着安防监控技术的不断进步, 越来越多的现代监控技术应用到高速公路的监控系统中, 视频图像高清、IP压缩传输、智能分析与视频管理融合、存储云化等技术得到快速发展。

一、系统的特点

高速公路监控摄像头除了在收费站、服务区部署外, 还有相当一部分部署在高速公路沿线、隧道、互通桥梁、重点观测区等不便维护的地方。因此, 监控存储模式大多采用便于扩展、长期维护成本低的集中式网络视频存储方式, 如采用IP-SAN或F-SAN等连接方式。该方式让每台监控服务器或工控机直接接入到SAN存储网络中, 进行集中存储。但是, 这样会随着监控点位的不断增加而造成线路广泛并相对集中, 音视频数据量大并密度高、数据保存周期长及安全性要求较高。如果采用传统的文件存储方式, 视频文件数据量会呈几何级增长, 数GB大小的文件非常普遍, 而且后续还要和报警联动中心、应急指挥中心等其他业务的数据进行整合, 采用管理数亿个KB大小的小文件的方式是一种风险。

如今Linux操作系统中标准的ext3/4等POSIX接口的文件系统, 都位于内核中VFS的下一层, 在内核层实现, 这种普通文件系统由于考虑磁盘空间的利用率、功能复杂性以及接口标准等, 无法满足点数日益增多的监控系统存储的要求。同时, 音视频数据在存储时绝大部分文件的修改是采用在文件尾部追加数据, 而不是覆盖原有数据的方式, 在实际运行中传统的对文件的随机写入操作几乎不会发生。当存储完成后, 对文件的操作只有读操作, 而且是按顺序读操作, 予以回放。因此存储系统在安全、先进、实用的原则下必须考虑存储系统的扩展性、性价比、性能、管理性、稳定性的要求。

二、系统的应用

分布式文件系统起步于20世纪70年代, 从早期的NFS到现在的Storage Tank、Lust、Pan F等, 在体系结构、系统规模、性能、可扩展性、可用性等方面经历了巨大的变化。

当前分布式文件系统有大容量、高性能、高可用性、可扩展性、可管理性等特点, 但是, 监控行业的存储特性决定了其分布式文件系统和已有的分布式文件系统有一定区别, 除了解决物理存储资源多样化、海量音视频数据存储问题、还要解决迅速检索查询的难题。因此, 监控行业的分布式文件系统应是以音视频帧、图片为存储和管理核心 (单元) 的、面向大规模数据密集型应用的、可伸缩的分布式文件系统。

基于视频监控行业的分布式文件系统是以块存储为实现目标, 直接在块设备文件上构建而成。

三、进一步的扩展

分布式文件系统具有高扩展性、高性能、高可用性、可横向扩展的弹性分布式文件系统, 在架构设计上非常有特点, 比如无元数据服务器设计、堆栈式架构等。然而, 存储应用问题是很复杂的, 也不可能满足所有的存储需求, 设计实现上也存在考虑不足之处。

1、无元数据服务器的设计导致数据一致问题更加复杂, 文件目录遍历操作效率低下, 缺乏全局监控管理功能。

同时也导致客户端承担了更多的职能, 比如文件定位、名字空间缓存、逻辑卷视图维护等等, 这些都增加了客户端的负载, 占用相当的CPU和内存。

采用的堆栈式设计具有很强的系统扩展能力, 系统的设计复杂性降低很多, 基本功能模块的堆栈式组合就可以实现强大的功能。一层一层进行调用, 效率可见一斑。而非堆栈式设计可看成类似Linux的单一内核设计, 系统调用通过中断实现, 简便高效。

2、使用原始格式存储文件或数据分片, 可以直接使用各种标准的工具进行访问, 数据互操作性好, 迁移和数据管理非常方便。

然而, 数据安全成了问题, 因为数据是以平常的方式保存的, 接触数据的人可以直接复制和查看。这对很多应用显然是不能接受的, 比如云存储系统, 用户特别关心数据安全, 这也是影响公有云存储发展的一个重要原因。我们采用私有存储格式可以保证数据的安全性, 即使泄露也是不可知的。

3、

采用弹性哈希算法和Stripe数据分布策略, 移除了元数据依赖, 优化了数据分布, 提高数据访问并行性, 能够大幅提高大文件存储的性能。对于小文件, 无元数据服务设计解决了元数据的问题。但是还需要在I/O方面作优化, 目前在存储服务器底层文件系统上仍然是大量小文件, 本地文件系统元数据访问是一个瓶颈, 数据分布和并行性也无法充分发挥作用。因此, 目前仅适合存储大文件, 小文件性能较差, 还存在很大优化空间。

4、使用复制技术来提供数据高可用性, 复制数量没有限制, 自动修复功能基于复制来实现。

可用性与存储利用率是一个矛盾体, 可用性高存储利用率就低, 反之亦然。采用复制技术, 存储利用率为1/复制数, 镜像是50%, 三路复制则只有33%。其实, 可以有方法来同时提高可用性和存储利用率, 比如RAID5的利用率是 (n-1) /n, RAID6是 (n-2) /n, 而纠错码技术可以提供更高的存储利用率。但是, 鱼和熊掌不可得兼, 它们都会对性能产生较大影响。

四、结束语

尽管分布式文件系统从整体设计上看, 还存在着一些不足, 但是不可否认, 其线性横向扩展能力具有天生的优势, 在大数据量的监控存储系统中, 尤其是对于云存储系统, 这是一个有着先天优势的集群文件管理系统, 符合监控存储系统发展的未来。

参考文献

[1]邓见光等, 云存储及其分布式文件系统研究, 东莞理工学院学报.2012年05期

高速公路监控系统存储应用方案 第4篇

摘 要：随着我国经济和信息化的快速发展，同时也为了满足各种方面的需要，我们国内的高速公路监控项目越来越多的应用了网络存储系统。根据实际应用中反映出的结果来看，不同类型的网络存储系统有着不同的需求关系。文章对高速公路中各种网络存储系统的应用进行了分析和讨论，以此怎样合理的选择网络存储系统。

关键词：高速公路监控；网络存储系统；应用

中图分类号：TP87 文献标识码：A 文章编号：1006-8937（2015）20-0092-02

因为网络存储系统的实际安装情况和传统的模拟存储系统在安装方面，以及接线和使用上，都有非常大的区别，所以在应用上，我们在传统的安装方法上是没有什么可以借鉴的，所以只能学习这种网络存储系统的应用。接下来我们对高速公路监控中的网络存储系统的安装，及接线和使用做进一步的分析。

1 高速公路监控中常用的网络存储系统简介

下面介绍在高速公路监控项目中常用的几种网络存储系统。

1.1 DAS，同时也可以称为直接附加存储系统

DAS选用了SCSI技术和FC技术。它们把外置的存储设备，通过线缆的连接，就把数据直接连接到了服务器的内部总线上。这种直接连接的方法，不仅可以满足单台服务器的存储空间，同时也满足了服务器的扩展需求，但同时也有一个缺点，就是外置存储设备在进行数据的UO读写，还有存储维护的管理上，是需要借助服务器本身的操作系统才能实现。

1.2 NAS，同时也称为网络附加存储

NAS是一种在局域网中所应用的程序，其在中国应用，是按照TCP和IP的协议进行通信设置，通过文件的1/0方法对数据的网络文件进行传输，对数据的存储和文件设备进行传导。NAS系统在标准的情况下包括核心处理器、文件的服务管理工具，还有硬盘驱动器三个重要组件等。

在实际的操作中，服务器和客户端，在自身的局域网中，可以非常方便的在NAS上对文件进行存取，可是因为受到了NAS协议的控制，NAS在网络的使用率上基本上都是低于40%，所以对高性能的数据写入服务是根本没有办法提供的。

1.3 FC_SAN，同时也可以称为光纤存储区域网络

FC_SAN可以通过光纤的交换机，还有其他的配套设备，把磁盘的阵列服务，和对服务器的服务进行有效的连接，也就是说FC_SAN是一种依靠光通道的存储网络，因为光纤网络的一些特征，FC-5AN在数据传输的速率上，不仅非常快，而且工作状态也非常稳定，但是其同时又选用了集中化的管理模式，所以可以很方便地对现有的存储设备进行扩容，但是就目前的市场价格而言，它非常的昂贵，所以暂时很难被普及。

1.4 IP_SAN，也称以太网存储区域网络

4IP_SAN存储区域网络在实际的应用中，是先通过普通的IP网络，然后把磁盘阵列以及服务器二者进行连接，基本上是继承了FC-SAN的全部特点，在对外提供的存储性能上，在以前大都是只有FC-AN才能提供的存储性能，但是由于选用了普通的IP网络作为其传输的主线路，所以IP-SAN的价格比FC-SAN要便宜很多。

2 高速公路监控中常用的网络存储系统的特性

以上就是在高速公路监控项目中，现在常用的几种网络存储系统，它们的特征对比见表1。

3 高速公路监控中对网络存储系统的选择方法

通过上面的几种常用的网络存储系统的分析，下面我们针对高速公路视频监控的网络存储系统的选择方面，作进一步的分析。在选择网络存储系统的时候，我们一定要依据项目的实际情况进行选择。在高速公路监控视频源比较多，而且其存储点的分布非常分散的情况下，如果我们把全部的数据都实行实时上传，那么监控中心的存储设施就会形成网络的流量过大，因此影响网络数据共享的稳定性，以及控制中心网络数据的安全性。在这种情况下，我们可以选择NVR的存储方式。这种存储方法是把所有的在线数据，在各个监控点进行分散的存储方式，就可以有效的避免了上述的种种弊端。如果是在视频源非常少的情况下，但是存储点却相对比较较集中的情况下，我们则可以选择IP一AN模式进行数据的在线传输，这种是在数据比较集中的情况下选择的一种存储方式。

3.1 IP SAN在高速公路视频存储中的应用实例

在辽宁省的阜朝高速公路上，网络视频传输方法的选择和存储系统的选择是非常科学的。这个高速公路全程共有177个监控系统，在视频传输上，选择的是全光数字视频编码的压缩方式，视频传输是以太网的三层组播路由方式，整个视频器的结构选用了IP SAN的存储模式。因为整个系统的图像线路非常多，所以在分中心配置了一套全千兆，三层以太网的交换机是整个视频传输系统的核心，同时也由于全千兆三层以太网交换机可以提供24个以太网口，而且全是全千兆，所以提高了视频在存储上的性能，进而确保视频码流的存储速度。这样因为外场的视频输入路数的扩展，相当于增加了其视频传输的端口，所以就不需要分中心的视频存储设备，再进行对应的路径数据的传输变化了，最终实现了弹性的扩展的存储网络，改变了传统的应用，可以自己调节数据的传输压力。

3.2 粤湘高速公路对网络存储系统的选择方法

以粤湘高速公路的博罗到深圳段（以下简称博深高速）为例，在机电工程中领域中，这个路段一共设置了24台收费广场摄像机，有52台主线的高清摄像机，在隧道中，共设置了摄像机181台，在室内设置了66台摄像机，这300多台摄像机，如果全部用实时上传的方法，在监控中心进行集中的存储，那么整个监控中心的视频网络所产生的流量压力将是不言而喻的，对于这样的工程，我们一定要选用DVR分散的存储方式，在16个通信站上，我们共设置了102台的DVR，通过后期的情况反馈，博深高速网络存储系统在实际的运行中，不仅提高了高数据的可靠性，而且还展现了其高读写速度，以及易扩展的特点。

4 结 语

在以后的社会发展中，存储技术将继续向前发展。在目前，高速公路网络存储系统多以IP-SAN和NVR应用为主，即使在应用中还存在一些问题，但这些问题却远远要小于其在实际应用中所展示的优点，随着网络存储系统技术不断的发展，这些问题在以后是一定能解决的，而未来的高速公路的监控存储系统，也一定会步入数字化和网络化时代。

参考文献：

[1] 张艳，谭怀亮，刘霖.基于IP-SAN的容灾备份系统数据一致性研究[J].科学技术与工程，2008，（7）.

[2] 叶宾，须文波.IP-SAN环境下RAID远程管理系统设计与实现[J].微计算机应用，2007，（7）.

高速公路监控系统存储应用方案 第5篇

在分布式存储系统中，系统可用性是最重要的指标之一，需要保证在机器发生故障时，系统可用性不受影响，为了做到这点，数据就需要保存多个副本，并且 多个副本要分布在不同的机器上，只要多个副本的数据是一致的，在机器故障引起某些副本失效时，其它副本仍然能提供服务。本文主要介绍数据备份的方式，以及 如何保证多个数据副本的一致性，在系统出现机器或网络故障时，如何保持系统的高可用性。数据备份

数据备份是指存储数据的多个副本，备份方式可以分为热备和冷备，热备是指直接提供服务的备副本，或者在主副本失效时能立即提供服务的备副本，冷备是用于恢复数据的副本，一般通过Dump的方式生成。

数据热备按副本的分布方式可分为同构系统和异步系统。同构系统是把存储节点分成若干组，每组节点存储相同的数据，其中一个主节点，其他为备节点;异 构系统是把数据划分成很多分片，每个分片的多个副本分布在不同的存储节点，存储节点之间是异构的，即每个节点存储的数据分片集合都不相同。在同构系统中，只有主节点提供写服务，备节点只提供读服务，每个主节点的备节点数可以不一样，这样在部署上会有更大的灵活性。在异构系统中，所有节点都是可以提供写服务 的，并且在某个节点发生故障时，会有多个节点参与故障节点的数据恢复，但这种方式需要比较多的元数据来确定各个分片的主副本所在的节点，数据同步机制也会 比较复杂。相比较而言，异构系统能提供更好的写性能，但实现比较复杂，而同构系统架构更简单，部署上也更灵活。鉴于互联网大部分业务场景具有写少读多的特 性，我们选择了更易于实现的同构系统的设计。

系统数据备份的架构如下图所示，每个节点代表一台物理机器，所有节点按数据分布划分为多个组，每一组的主备节点存储相同的数据，只有主节点能提供写 服务，主节点负责把数据变更同步到所有的备节点，所有节点都能提供读服务。主节点上会分布全量的数据，所以主节点的数量决定了系统能存储的数据量，在系统 容量不足时，就需要扩容主节点数量。在系统的处理能力上，如果是写能力不足，只能通过扩容主节点数来解决;而在写能力不足时，则可以通过增加备节点来提 升。每个主节点拥有的备节点数量可以不一样，这在各个节点的数据热度不一样时特别有用，可以通过给比较热的节点增加更多的备节点实现用更少的资源来提升系 统的处理能力。

同步机制

在上面的备份架构中，每个分组只有主节点接收写请求，然后由主节点负责把数据同步到所有的备节点，如下图所示，主节点采用一对多的方式进行同步，相 对于级联的方式，这种方式在某个备节点故障时，不会影响其它备节点的同步。在CAP理论中，可用性和一致性是一对矛盾体，在这里主节点执行写操作后会立即 回复客户端，然后再异步同步数据到备节点，这样并不能保证主备节点的数据强一致性，主备数据会有短暂的不一致，通过牺牲一定的一致性来保证系统的可用性。在这种机制下，客户端可能在备节点读到老数据，如果业务要求数据强一致性，则可以在读请求中设置只读主选项，这样读请求就会被接口层转发到主节点，这种情 况下备节点只用于容灾，不提供服务。

为了保证主备节点的数据一致性，需要一种高效可靠的数据同步机制。同步分为增量同步和全量同步，增量同步是主节点把写请求直接转发到备节点执行，全量同步是主节点把本地的数据发到备节点进行覆盖。接下来详细介绍同步机制的实现，同步的整体流程如下图所示。

系统中数据分片的单位是一致性哈希环中的VNode(虚拟节点)，每个VNode有一个自增的同步序列号SyncSeq，VNode中所包含的数据 的每一个写操作都会触发它的SyncSeq进行自增，这样在每个VNode内SyncSeq就标识了每一次写操作，并且SyncSeq的大小也反映了写操 作的执行顺序。数据的每次写操作除了修改数据，还会保存写操作对应的SyncSeq，后面可以看到，SyncSeq是同步机制可靠性的基础。

主节点的写进程收到写请求后，先修改数据，把当前VNode的SyncSeq加1并更新到数据中。接下来会记录Binlog，Binlog是一个三元组

主备节点的数据同步由主节点上的同步进程异步进行，通过扫描上图的同步进度表中主备节点的SyncSeq差异就可知备节点需要同步哪些数据。同步进程通过同步进度表确定需要同步的二元组

接下来介绍一下同步协议如何保证同步的高效和可靠。为了让同步包严格按照主节点的发送顺序到达备节点，采用TCP协议进行同步，在主节点的每个 VNode上到每一个备节点建立一个TCP连接，记为一个同步连接。在每一个同步连接上，主节点会一次性批量发送多个同步包，备节点也会记录已同步的 SyncSeq，对每一个同步包会检查携带的SyncSeq是否符合预期，如果符合预期，则执行同步写操作，执行成功是更新已同步的SyncSeq，在这 种情况写备节点也不需要回应主节点，主节点在未收到备节点的回应时，会认为同步一切正常。只有以下异常情况下，备节点才会回应主节点：

在正常同步后第一次收到错误的SyncSeq，回应主节点自己所期望的SyncSeq，主节点收到回应后，会从备节点所期望的SyncSeq开始同步，需要注意的是，备节点在连续收到错误SyncSeq时，只需对第一个错误回应，否则主节点会出现重复同步的情况;同步连接在断连后重新连接时，备节点告知主节点自己所期望开始同步的SyncSeq，主节点从该SyncSeq开始同步;SyncSeq符合期望但执行出错，一般是增量同步才可能出现，备节点回应主节点同步出错，主节点收到回应后，把出错的同步包改为全量同步。

在增量同步和全量同步交叉进行的情况下，如果某次全量同步已同步了最新的数据，后续的增量同步可能导致写操作重复执行，为了避免这种情况，备节点会 校验同步包中的SyncSeq和数据中的SyncSeq，如果前者不大于后者，说明数据已执行了这次写操作，直接跳过不执行，也不需要回应主节点，这就是 为什么需要在数据中保存SyncSeq的原因。

通过上面介绍和分析，可以看出采用同步连接、批量同步的方法，正常情况下只有单向的同步流量，是非常高效的;而在异常情况下，通过出错回应、SyncSeq校验等机制，保证了同步的可靠性。容灾机制

如果系统需要具有容灾能力，即在机器发生故障时，系统的可用性基本不受影响，那么系统中所有数据至少需要有两个以上的副本，并且系统的处理能力要有 一定的冗余，需要保证在故障机器不能提供服务时，系统不会过载。一般来说，数据的副本数量越多，系统的处理能力越冗余，系统的容灾能力越强。更进一步，还 需要考虑物理部署，通过把数据的不同副本分布在不同机架、不同机房、甚至是不同城市，来把系统的容灾能力提升到不同的级别。

配置运维中心会监控系统存储层所有节点的状态，存储节点会定时上报心跳，如果配置运维中心在一段时间未收到某个存储节点的心跳，则把该节点的状态标 记为故障，并进行故障处理流程。首先需要禁止故障节点继续提供服务，即通知接口层不再把客户端请求转发的故障节点，如果故障节点是主节点，配置运维中心会 查询并对比所有备节点的同步进度，选择数据最新的备节点，将其切换为主节点。由于所有备节点也会记录Binlog，所以在切换为主节点之后，可以直接向其 它备节点进行同步。这里的主备切换可能会导致少量的数据丢失，如果业务不能容忍这样的数据丢失，则需要使用其它强一致性的方案。

在容灾切换之后，还需要进行故障节点的恢复，以便系统恢复到正常的状态。故障机器恢复后，就会进入死机恢复流程，无论故障节点在故障前是主节点还是 备节点，故障恢复后的角色都是备节点。首先待恢复节点需要把机器上所有的数据清空;接着主节点会把当前所有VNode的SyncSeq复制到待恢复节点，并且全量复制所有数据;在全量复制完成之后，开始进行数据同步，由前面的同步机制可知，同步的SyncSeq会从之前复制到待恢复节点的状态开始追赶;在 主节点和待恢复节点之间的SyncSeq差异缩小到正常范围时，待恢复节点的角色就变为备节点，开始提供服务。

配置运维中心会监控主备节点之间的SyncSeq差异，如果某个备节点差异达到一定的阈值，则禁止该备节点提供服务，如果差异在比较长的时间之后仍然无法恢复，则会触发死机恢复流程。数据回档

最后再简单介绍下数据冷备和回档，主要是由备份系统负责。备份任务一般是手动或定时发起，属于业务级别的，备份系统收到一个业务的备份任务后，会远 程备份业务的所有数据，过程比较简单，就是遍历所有的存储节点，把属于该业务的所有数据写入到远程文件系统中，每次备份都需要记录开始时间和结束时间，作 为数据回档的基准。

高速公路监控系统存储应用方案 第6篇

5月初，美光斥资12亿美元收购恒忆，完成收购后美光成为同时拥有DRAM、NAND以及NOR技术的记忆体晶片大厂。对于这么大的收购举动，有传言，是英特尔在后面起到的推动作用，因为三星的快速崛起，不想一家独大的局面在存储市场出现。当然，也有传言，美光收购恒忆的动机是为了满足诺基亚(Nokia)等客户的一站式购足需求。无论如何，着眼技术创新方面，记者本人认为这种收购的出现，是能够起到推进作用的。在收购后不久，我们有幸在第十五届IIC CHINA上邀请了，美光亚洲区嵌入式业务部的刘群先生，就相变存储技术

未来发展的状况，做精彩的演讲。

随着世界各国尤其是中美两国在智能电网上的实质性启动，智能电表市场也在起步腾飞。智能电表担负着存储客户使用信息和网络信息的作用，同时在不远的将来更多的功能也将被加入进来，如绿色能源的双向接入，终端的用户也可以把自家屋顶太阳能产生的电力传输到电网上。由于上述需求的推动，对智能电表的存储系统就提出了更高容量，成本降低控

制和可靠性提高的要求。

相变存储器即是英文Phase Change Memory--PCM 的缩写。就是一种利用六族与第四、五族的化合物作为存储材料的存储器。该种化合物是一种相态可逆变的物质。可以在有序结构(晶态-低阻)和无序结构(非晶态-高阻)之间变化。

通过图片可以看出，电流电压曲线图是从一个PCM的存储单元获得。读取操作是工作在电压500毫伏且电流小于100微安以下的区间内，所以没有对GSt产生加热的效应。晶态和非晶态的存储状态也就没有变化。当电压大于500毫伏且电流大于500微安时，电阻加热器就会融化GST材料。此时晶态和非晶体的状态就会发生变化。

基于相变技术的存储器具有三个特性，包括位修改(直接写入)，高写入次数，工艺和成本的可延续性。下面图片是对现在流行的存储器之间的比较。

对产品带来这么多特性的PCM相变存储器，那么具体的应用又如何?刘群先生表示，现在目前智能能电表的存储系统采用NVRAM，EEPROM等方案，但是这些解决方案都存在有成本高、容量小、设计复杂等缺点，而运用PCM相变存储器设计的智能电表可以很好地规避这些缺点。由于PCM具有位改写，成本和工艺的可持续性，高擦写次数，从而可以很好的整合原有的存储系统。只使用一颗PCM相变存储器就可以整合NOR flash, EEPROM, NVRAM, 从而提供更低的成本，更加环保，更加可靠，以及更大的容量。

针对采用相变存储器的智能电表设计，刘群也谈到，作为存储器的重要生产厂商，为满足客户的需求，美光也推出了两款代号为“omneo”的相变存储器。分别是：P8P –高速并行接口，128Mb 容量，100万次的写入次数。P5Q-高速SPI 接口，支持1、2，4位输入输出，也是128Mb 容量, 高达66Mhz。100万次的写入次数。Omneo 给嵌入式提供了一种更快写入速度，更高的写入次数的存储器。从而拓展了客户对存储系统的设计。并且在本次西安站IIC CHINA展览会现场，观众可以参观样品展示。

高速公路监控系统存储应用方案 第7篇

1>小容量缓存的MCU+铁电存储器

2>大容量缓存的MCU+EEPROM

3>小容量缓存的MCU+SRAM+EEPROM

现在介绍两套关于无线公话的典型的应用方案：

1) 1SST89C58+FRAM;

2) 2)SST89C554+EEPROM

1).SST89C58+FM24C64;( 小容量缓存的MCU+铁电存储器)

FM24C64的功能:主要用:

1)SST89C58的SRAM的扩展;

2)存储通话清单,SST89C58的内嵌256字节的SRAM,由于GSM数据流比较大,系统的临时数据量多,256字节的SRAM不够,须外扩SRAM作为缓冲,系统因I/O用于其他功能,所以不能外挂并口的SRAM,且比串口SRAM的价格贵,所以客户选用FM24C64,FM24C64可以作SRAM使用(读写速度快,写无等待周期).

为何不能用EEPROM用于缓冲, 缓冲数更新快,EEPROM的`擦写次数有限,EEPROM有写的等待周期,速度不能跟上数据流.

2)SST89C554+EEPROM (大容量缓存的MCU+EEPROM) SST89C554

由于89C554内嵌1K字节的SRAM,GSM的数据流可以在SRAM中缓存,通话数据的存储可以在GSM的数据流接收完毕以后,所以在该方案中不必使用FRAM.

3).对于小容量缓存的MCU+SRAM+EEPROM,此方案与方案一相似如果把EEPROM直接换成FRAM,就不用再需要加SRAM. 由于铁电存储器有EEPROM的非易失性,又具有SRAM的速度,总体而言,它可以取代MCU的SRAM或者外扩SRAM,同时可以取代EEPROM来存储器非易失性的数据.并且它取代EEPROM时,它的速度要快,擦写次数要多,切功耗要低很多.

以上通过几种无线公话方案的对比,用铁电存储器的方案一方面可以提高整机的性能,在成本方面也略有下降.

高速公路监控系统存储应用方案 第8篇

存储技术的更新换代越来越快, 存储系统的稳定性与安全性等特征也得到了进一步提升, 手机的海量存储问题已经得到解决, 高速大容量存储系统凭借着其高速的存储速度、低廉的成本、便利性等得到了企业用户的青睐。但是随着图片乃至视频存储等数据量的逐渐增大, 其对内存容量大小也提出了更高的要求。

由于闪存技术的控制程序较为复杂, 且其对于序列的排序具有一定要求;同时所产生的无效块也在很大程度影响了存储系统的管理等。面对这类问题, 存储系统还是需要有控制器协调处理。

本文探讨了并行总线操作、无效块管理、流水线操作以及数据校验等关键技术。

1 系统硬件结构

存储系统主要利用一种LVDS (即Low Voltage Differential Signaling) 低压差分信号技术接口, 来获取相关的图像与文字数据信息。利用RS232串口获取相应的附加数据, 例如时间、焦距等相关的数据信息, 并将其处理成BMP格式的文件。然后, 根据数据信息频率的大小进行一定程度的筛选, 并按照时间前后进行一定顺序的排列储存;最后, 通过相关的接口对外输出图像以及相关的附加数据, 并通过控制器和屏幕进行相应显示。系统硬件外观如图1所示。

根据时间顺序排列对其进行相关的存储、格式化以及读写等操作, 并对鉴别出来的存储失效块进行标志管理或修理恢复, 以提升数据存储的可靠性与安全性[1]。

接口板的PCI地址映射如表1所示。

2 系统存储的关键技术

采用LVDS输出接口传输数据可以使实现数据的高速率、低噪声、远距离、高准确度的传输。如在液晶显示器驱动板输出的数字信号中, 除了包括RGB数据信号外, 还包括行同步、场同步、像素时钟等信号, 其中像素时钟信号的最高频率可超过28 MHz。

2.1 并行总线操作

并行总线操作主要是利用数据线的宽带来达到并行操作的目的, 并行操作需要将存储系统内部的多个闪存芯片的数据线共同连接, 使其能够被同时操作与读写, 以提升数据读写的效率与速度, 在并行操作中, 可以将连接起来的多个芯片系统看作一个模块, 然后将其作为整个存储系统的基本读写单位, 所有的操作都可以在上面进行, 例如, 一片具有8块闪存芯片的存储卡就会有64位的基本模块, 其通过相同的操作进行控制, 其不仅包括片选信号, 还包括读写信号等, 芯片的地址一般是通过FPGA进行提供的, 因此, 8块闪存芯片组成的存储系统, 其能够储存的数据容量是一块芯片的8倍, 且其并行速度也是没有并行时的8倍, 因此, 存储系统并行总线操作能够在很大程度提升数据存储的速度, 提升工作效率。

2.2 无效块管理

闪存存储芯片在被制造时就已经产生部分的无效块了, 且在后续的使用过程中, 由于使用不当, 也会造成存储模块的损坏, 产生一定的无效块, 因此, 在对存储卡片进行操作之前, 就应该清楚无效块的分布与具体情况, 避免对无效块进行操作, 保证所有的操作都能够对应正确的数据, 提升工作效率, 保证工作质量。为了不对无效块进行操作, 相关的工作人员采取了一定的解决措施, 例如建立必要的无效块屏蔽系统以及FAT文件系统的无效块处理方法等, 但是该类解决措施总是各有利弊[2]。但是, 在本文提到的方法中, 其可以直接对FPGA内部开辟相关的存储模块以用于存储无效块具体位置的信息, 在进行相关操作之前, 应该进行必要的无效块读取, 将无效块的具体位置储存入相关的存储模块中, 在进行每次的操作之前, 可以避开对无效块的操作, 实现对无效块的高效管理。需要特别注意的是, 在进行无效块的存储时, 由于其位置的相关信息是储存在FPGA内部的, 因此, 一旦断电之后, 其相关的数据都会被抹掉, 因此, 每次接电后, 都应该对存储卡的无效块进行一定的管理与操作, 总而言之, 无效块的管理主要是通过制造时对无效块进行屏蔽, 回避对其的操作, 实现无效块的高效管理。

2.3 流水线操作

流水线操作能够在很大程度上提升存储卡的储存效率, 例如, 对一张存储卡进行相关的读写操作时, 其输入的时间频率为30 MHz, 若需要编写一页的编程, 则相关数据的下载时间平均为133μs, 但是, 闪存存储卡的所用时间则需要800μs, 每当抹掉一个模块的数据信息时, 其所需要的时间高达1 500μs, 远远高于其相关数据的加载时间, 因此, 显而易见, 编程花费了大量的操作时间, 大大影响了存储卡的存储效率。目前, 我国使用的流水线操作, 在一定程度上解决了编程的效率问题, 实现了其在时间上的相对平等, 当流水线开始正常运转的时候, 相关的操作甚至可以累加进行, 实现了最大程度的时间利用, 其总体效率明显提升。

2.4 据校验

由于操作时间排序的错误以及电力不稳定等问题, 一般情况下是不会造成闪存的整个模块出现错误的, 一般只会造成较小的“位”出现差错, 为了校验并改正这类差错, 数据校验一直被采用。其主要包括纠正单比特错误与检测双比特错误两大功能, 并且其处理的速度较快, 效率较高, 一般情况下, 当闪存芯片开始读取数据时, 每512个字节即可生成相关的校验码, 随后的数据读取依此类推, 于是不断产生新的校验码。当进行相关的数据校验时, 原来的校验码与新产生的校验码会进行对应的配对与对比。若不存在差错, 则结果为0;反之, 则产生了相关的错误, 就需要对其进行一定的纠正。

3 软件设计与验证

软件设计与验证以三星存储芯片为例, 其外观结构如图2所示。

3.1 检查无效块操作

无效块数据都记录在每个存储模块的最后一个字节, 当数据读出的是FFh时, 则表示其为有效块;反之, 则为无效块。在无效块的检验操作中, 由于对8块存储芯片进行并行操作, 因此其能够读出64位的数据信息, 只要其中一位信息显示为非F, 则表示该模块为无效块, 需要将无效块的相关位置信息存储到FPGA内部的存储单位中。对8块芯片进行并行操作时, 一旦发现一块芯片存在无效块, 则往往也认为其他7块芯片的相同位置也是无效块, 其就导致了资源的浪费。在一般情况下, 2.5 T的存储卡若每一块芯片浪费18 GB, 则8块芯片就浪费144 GB, 其对于存储卡的相对空间而言, 不算大, 属于可接受的范围。

3.2 写编程操作

当读取完相应的命令与具体位置之后, 闪存芯片便会进入自动的编程操作, 编程的一般时间为800μs, 但是其他芯片的编程时间则长达3 ms, 并且在高速大容量存储系统中一般是使用8块芯片的并行操作以及流水线的操作, 因此, 在编写操作时所需要的时间一般为8块芯片自动编程所需的最大时间值, 由于每块芯片自动编程所需要的时间不同[2]。因此, 在进行流水线操作时, 流水线的层数应该在最大程度拓展, 若流水线层数偏少, 则就会产生命令结束流水线进行操作, 可是外界还在不停地输入数据, 在该种情况下就会导致数据的丢失。

3.3 擦除操作

一般情况下, 由于闪存芯片的擦除操作所需要的时间偏大, 因此, 为了在最大程度提升擦除操作的效率, 则对擦除操作进行流水线的进程安排, 例如, 当第一组的闪存芯片进行编程操作时, 第二组的芯片就会进行自动的擦除操作, 以在最大程度减少操作时间, 达到高效的目的。但是必须注意的一点是, 闪存芯片在擦除数据时, 会将其无效块的位置数据一起删除, 因此, 在开展擦除操作之前, 必须对无效块的位置信息进行读取与存储, 以保证在擦除数据时能够避开对无效块的操作, 提升操作效率。

3.4 读操作

读操作的进行最重要的是其数据的连续性, 一般情况下, 为了保证读取的数据与存储的数据的相同性, 则需要按照编写数据的顺序依次读取数据, 以达到保证数据连续性的要求。例如, 通过Chip Scope软件对闪存芯片的原始数据进行读取时, 因为芯片在制作时, 其内部的全部数据都被设置为了1, 因此, 通过读取的数据也能够对其进行检验。并且, 若在数据读取的过程中, 其正确率能够达到百分百, 则说明芯片的原始设置中已经对无效块的处理进行了信息的屏蔽, 例如, 当对一块储存卡上的信息进行读取时, 由于目前存储卡一般采取的是8块闪存芯片共同操作的并行结构, 则数据的位数一般为64位, 每位数据的加载都能得到一路信号, 只要保证读取的数据与存储的数据的相同性, 则数据就能进行精确的加载与存数, 同时也能被完整地读取[3]。

4 结束语

高速大容量存储系统在最高程度上其速度能够高达每秒320 MHz, 即使考虑无效块的干扰, 其容量也可高达2.5 TB。本文针对该系统硬件结构进行了介绍, 并对其系统存储的关键技术进行了阐述。希望在未来的技术发展中, 存储系统的发展能够支持更大容量、更高速度的数据存储, 且希望其能够具有一定通用性, 能为其他领域的数据存储应用创造价值、发挥积极作用。

摘要：存储系统对容量、速度、稳定性、连续性以及使用环境等都提出了更高的要求。由于闪存能够对大量数据进行快速、高效、可靠、安全地读写操作, 应用日益广泛。主要阐述了系统存储的具体技术, 针对高速大容量的存储系统提出了相应的改进方案, 并介绍了软件设计与验证的相关操作。希望能够为高速大容量存储系统应用技术应用提供参考。

关键词：高速大容量,存储系统,应用设计

参考文献

[1]李华, 王文英.高速大容量存储系统设计[J].电子元器件应用, 2009 (5) :58-59.

[2]杨剑, 张月, 宿绍莹, 等.高分辨宽带雷达高速数据大容量存储系统设计[J].计算机工程与应用, 2010, 46 (16) :23-26.