存储器电路设计的论文范文
存储器电路设计的论文范文第1篇
存储深度是数字存储示波器的一项重要指标, 其表征了示波器连续采集并存储信号的能力, 通常用单次采样下的最大数据存储量来表征。深存储功能是使用大容量的内存, 存储大量的采样数据后停止采集, 将采集波形显示在屏幕上供用户观测或搜索波形来找到关心的问题点。
众所周知, 实时采样率是数字存储示波器中的重要指标, 然而由于存储深度的限制, 示波器的采集系统不可能将所有的采集数据都存储下来, 故示波器的采集系统实际上都是根据时基档位显示需要按照一定比例对ADC的采样数据抽点之后进行存储。假设被抽掉的点中刚好有被测信号的异常波形数据的话, 则这个异常波形将不会被显示出来。因此, 在普通存储的条件下, 高采样率在大部分实际档位就发挥不了作用, 而深存储则可以避免这种问题的产生。由于深存储功能相对于普通存储而言可以存储更多的采样数据, 实际上就相当于提高了各个时基档位的实际采样率, 更容易捕获到异常波形。
同时, 存储深度的大小决定了示波器在任意的采样速率设置下, 能够连续采集信号的最大时长。当存储深度一定时, 用户必须在连续捕获时间和实时采样率两个因素之间折衷。提高存储深度, 则可以同时提高实时采样率和连续捕获时间两项技术指标。数字示波器的海量内存, 可为观测信号带来很多好处[1]。
2 硬件系统设计
2.1 系统总体设计
数字示波器中波形存储介质的选择, 主要考虑数据传输率、存储容量以及单位成本等几个因素。首先, 必须要保证连续采集一帧数据不中断, 所以存储器的数据传输率必须大于前端ADC的数据吞吐量。在此基础上, 兼顾存储容量和成本等因素。在本系统中, 普通存储中使用的数据缓存器是FPGA内部存储资源构成的FIFO, 但是FPGA内部的存储容量有限, 而单独的FIFO芯片价格昂贵。所以系统选择用SRAM芯片IS61LPS25672A来作为深存储的数据缓存器。这样, 我们的系统中深存储的深度达到了256K*32b。
系统的总体设计框图如图1所示。外界输入的模拟信号经过模拟通道调整到模数转换器 (ADC) 的输入范围之内, 再由ADC转换成数字信号, 这些数字信号以数据流的形式源源不断的传到FPGA内部, 再经过FPGA内部的数据接收模块, 当用户设定示波器工作于普通存储模式时, 这些数据就存入到FIFO中, 而当用户设定示波器工作于深存储模式时, 由ADC传过来的采样数据就存储到SRAM中。当FIFO或者SRAM满时, DSP就会从FIFO或者SRAM中读取采样数据, 再对这些数据进行软件抽点等处理, 处理好之后的数据存入显存即SDRAM中, 此后, DSP用DMA的方式将显存中的数据传到PPI口进行显示。图1中的FLASH用来存储DSP的源程序, 时钟产生电路用来给ADC产生一个1GHz的采样时钟。
2.2 采样数据的接收与存储
采样数据接收示意图如图2所示, 系统采用位宽为8位、采样率为1Gsps的ADC, 该ADC将采样数据降速分成2路输出, 故输出数据流为16位宽、500MHz, 数据以差分信号传输给FPGA, 同时, ADC输出一个250MHz的数据同步时钟给FPGA。
FPGA内, 首先用IBUFDS接收ADC输出的差分信号, 即图2中所示的LVDS接收。由于ADC输出的数据流为500MHz, 这种高速数据流对FPGA内进一步的数据处理带来困难, 需要对其降速, 利用FPGA中的IDDR可以解决这个问题。为PCB板上布线的方便, ADC输出的差分线的P端和N端并不是都接在FPGA差分输入口的P端和N端, 故需要对那些交换了输入端口的数据进行数据反向操作, 即将交换了输入端口的数据位与1做异或运算。
经过如图2所示的接收流程之后, ADC的数据变为32位宽、250MHz, 选用的SRAM为ISSI公司的IS61LPS25672A, 其时钟速度可达250MHz, 故此时的数据已可以直接存入SRAM中。
如前所述, 并不是将所有ADC的采样数据都存入SRAM, 对哪些数据进行存储由示波器所处的时基档所需的采样率决定。示波器各个档位所需要的实际采样率如式 (1) 所示。
式 (1) 中, 软件抽点数由存储深度、屏幕显示所需采样点数及系统最高采样率共同决定。大部分时基档位的软件抽点数为存储深度与屏幕显示所需采样点数之比, 当按此抽点数计算出来的所需采样率高于系统最高采样率时, 软件抽点数就需变小, 使得所需采样率不高于系统最高采样率。
大部分时基档位的所需实际采样率都比系统最高采样率要低, 所以此时需要对采样数据进行抽点之后才进行存储, 抽点比例为系统最高采样率和所需实际采样率之比。抽点用一个高速计数器来实现, 通过该高速计数器来产生SRAM的写使能信号。例如, 某档位下的抽点比例为25:1, 那么此高速计数器每隔24个时钟周期输出一个持续一个时钟周期的脉冲信号, 此脉冲信号就是SRAM的写使能信号。
2.3 FPGA与SRAM之间数据的传输
SRAM的数据线是双向的, 在对SRAM进行写操作时, 数据线是输入端, 而在对SRAM进行读操作时, 数据线是输出端。为了使数据线按照要求进行输入输出, 我们必须利用一个模块来管理数据线, 具体实现框图如图3。
图3中, SRAM_DATABUS为SRA M的实际数据总线, SRAM_RD_DATA为从SRAM中读出来的数据, SRAM_WR_DATA为要写入SRAM中的数据, SRAM_REN为SRAM读使能, SRAM_WEN为SRAM写使能。IBUF和OBUF为FPGA内部的原语, IBUF为输入缓冲器, OBUF为三态输出缓冲器。
当SRAMRE N有效时, 说明此时是从S R A M读数据, SRAM_DATABUS可以经过IBUF和D触发器传到SRAM_RD_DATA, SRAM的数据可以传到FPGA。由于最后SRAM的数据要传给DSP, DSP和FPGA之间同步时钟频率为133MHz, 因此SRAM的读时钟设置的是133MHz。
当SRAM_WEN有效时, 说明此时是往SRAM写数据, 三态输出缓冲区OBUF开启, SRAM_WR_DATA可以经过OBUF到SRAM_DATABUS, ADC采集到的数据可以写入SRAM。SRAM写时钟设置为250MHz。
2.4 深存储时的触发
触发功能示波器中的不可缺少的, 深存储时也需要稳定的触发。数字存储示波器中的触发分为预触发和后触发。预触发是触发点在屏幕以内, 即用户可以观察到触发点之前的信号。后触发是触发点在屏幕以外, 即触发到来之后并不马上进行数据存储, 而是经过一定的时间后才开始收存储采样数据。
后触发相对较为简单, 触发条件到来时启动一个后触发计数器, 该计数器的值由触发点离屏幕最左端的距离决定, DSP中将该距离根据时基档位计算出触发点离屏幕左端的时间, 由于后触发计数器的时钟为250MHz, 即每计一次数的时间间隔为4ns, 故将这段时间再除以4ns就可以得出计数器所需计数的值, 将其传给FPGA, 当计数值满时, 允许SRAM的写使能开启, 开始存储波形。
预触发流程如图4所示, 首先开启SRAM写使能, 开始存储采样数据;当预触发深度满时, 开启读地址计数器, 等待触发到来, 触发信号到时关闭读地址计数器, 继续写SRAM直到SRAM满, 关闭SRAM写使能, 一次采样结束。
整个预触发过程由3个高速计数器来实现, 分别为预触发深度计数器, 写地址计数器, 读地址计数器。预触发深度计数器用来判断预触发深度是否满, 当SRAM写使能有效时, 预触发深度计数器工作, 当计数值达到用户设定的预触发值时, 输出一个ready信号, 表示预触发深度满。读地址计数器用来对预触发深度满到触发信号到来这段时间内SRAM中写入的数据个数计数, 其作用是用来标识真正的触发点在SRAM中的存储位置。假设用户设置的预触发深度为3K, 而当触发到来时读地址计数器的计数值为1k, 则说明触发点此时存储在第4k个位置上, DSP读取采样数据时从第1k个位置开始读, 就可以保证预触发深度为3k。写地址计数器对写入SRAM的数据计数, 用来判断SRAM是否满。当写地址计数器比读地址计数器的值大256K时, 说明此时SRAM已满, 关闭写操作。
2.5 DSP读取采样数据
SRAM满后, DSP就可以读取采样数据进行处理及显示。DSP与FPGA之间交换数据的速度大概为10M左右, 而SRAM的读时钟为133MHz, 因此, 当DSP主程序运行到采集数据函数, 且示波器处于深存储模式, DSP发出读SRAM的命令时, FPGA中需要将SRAM输出的数据利用寄存器进行锁存, 而且SRAM接收到一个读命令后只能输出一个数据, 否则会由于DSP读取数据不及时造成丢点。
为控制SRAM一次只输出一个数据, 设计中, 当FPGA接收到DSP发出的读SRAM的命令时, 产生一个持续一个读时钟周期的读使能信号, 这样, DSP每发一个读指令就只从SRAM中读取一个数据。DSP读取采样数据必须以读地址计数器的计数值为首地址开始读, 每读一个地址的数据后需发出一个读SRAM的命令, 同时地址加一, 如果地址达到256k的话, 地址又回到0开始, 直到读完整个SRAM的256K个地址。
3 软件系统设计
深存储功能的控制流程图如图5。系统开始工作时, 将SRAM进行初始化, 包括将SRAM置于写模式, 地址清零。这样, SRAM可以存储ADC的采样数据, 当SRAM满后, 将SRAM置于读模式, 然后获得SRAM数据存储的开始地址, 即读地址计数器所产生的地址, 该地址实际上就是SRAM在预触发深度满到触发到来的这段时间中所存储的数据个数。获得开始地址之后, DSP就从该地址开始从SRAM中读取数据并存到SDRAM中, 读数完成后再次将SRAM于写模式, 开始新的一次采集过程, 同时, DSP对SDRAM中的数据进行处理并显示。
4 实验结果
图6为深存储模式下采集的波形。图6的波形相对较粗, 这是由于示波器在深存储模式下采样率更高, 则更容易捕获到波形中的毛刺等。同时, 深存储模式下, 由于采集一次所需要的时间更长, 采集的数据量大, 波形显示时所需要处理的数据也比普通存储模式下多, 故完成一次采集并显示的周期较普通存储长得多, 这导致深存储模式下波形的刷新比普通存储模式下要慢。
5 结论
在日益复杂的硬件调试过程中, 深存储深度的示波器为观测和调试带来许多便利。本文利用FPGA和SRAM平台, 实现了数字存储示波器采样率为1GSPS、存储深度为1M的深存储功能设计。此设计目前已在某型号示波器上应用。
摘要:存储深度决定了数字存储示波器能够连续采集信号的最大时长, 也决定了示波器在各个时基档位的实时采样率, 提高存储深度有助于提高示波器的连续捕获时间和实时采样率。文章采用SRAM进行数据存储, 利用FPGA接收采样率为1Gsps的ADC的采样数据及控制SRAM的读写等, 实现了采样率为1Gsps、存储深度为1M的深存储功能设计。
关键词:深存储,数字存储示波器,SRAM,FPGA
参考文献
[1] 彭鹏.2Gsps多功能数字存储示波器硬件系统:数字电路设计[D].电子科技大学.
[2] 邹闰平.500MHz数据流高速存储的设计与实现[J].世界电子元器件, 2007 (9) :106-109.
存储器电路设计的论文范文第2篇
现在身边充斥着互联网+、大数据、云计算等等新概念, 如果你不曾体会到, 那么你手机的容量是不是越来越打, 你的U盘是不是动辄按GB计算, 电脑硬盘是不是按TB计算。智能相机的普及也使得我们的照片越拍越多。突然有一天, 多年积累和收藏的数据因为突然爆发的病毒和一次误操作而文件丢失、打不开或成为乱码?一不小心删除了熬夜写的重要文件让你追悔莫及、损失惨重。一次重装系统导致所有数据分区在你眼前消失。昨晚睡前还正常使用的电脑, 今早开机突然检测不到硬盘, 所有数据都无情地拒绝你的访问。优盘莫名其妙的提示请格式化。更有甚者, 单位的服务器崩溃, 核心数据丢失, 无法开工, 濒临倒闭。有过上述经历, 谁不想找回数据, 找回的方法根据故障原因有逻辑恢复和物理恢复, 本文讨论硬盘外部物理故障的检修。
二、硬盘外部物理故障的种类与判定方法
硬盘的物理结构可分为外部结构和内部结构。外部结构包括硬盘的外壳和电路板, 外壳非常结实基本上不会发生故障, 所以硬盘外部物理故障基本出现在电路板上。硬盘外部电路板上面分布着主控芯片、缓存、电机驱动芯片、BIOS及其它电子元器件, 电路板的一端还焊接着电源接口与数据线接口。针对电路板的组成部分可能出现的故障, 下面逐一介绍。
电路板的供电故障是发生概率最高也是可修复概率最高的部分。不同于逻辑故障, 数据存储的逻辑技术手册很容易在网上或其它资料上找到, 硬盘厂家的硬件电路图一般是不公开的, 即使公开了, 通过简单更换受损原件, 特别是芯片是无法修复硬件的, 因为相同的硬件都有不同内部序列号, 就像从一台好的苹果手机上拆下HOME按钮安装到另一台同型号苹果手机上是无法正常工作, 或无法发挥所有功能一样。但供电电路是没有加密的, 所以可修复概率最高。现在的硬盘电路板为了保护元器件一般是反扣安装的, 所以首先要将电路板从硬盘上拆下来, 供电电路如果出现问题, 会直接导致硬盘不能正常工作。往往表现为不通电、BIOS检测不到硬盘、盘片不转、磁头无法寻道。供电电路容易出问题的地方有:接线柱、滤波电容、二极管、三极管、场效应管、电感以及保险。3.5英寸硬盘上的保护二极管遇到超过一定限度的电压, 就会被烧毁, 严重情况下会被高压毁成两半, 如果现场第一时间发现, 能闻到刺鼻的烧焦味。对于2.5英寸的笔记本硬盘, 一般没有保护二极管, 但也会提供一颗保护电阻, 起到类似作用。遇到这种故障, 只要更换保护二极管或电阻即可解决。
电路板缓存故障, 现在的硬盘缓存芯片大小一般为16MB~128MB。该芯片是用于临时存放主机与硬盘之间的缓冲数据, 硬盘的微处理芯片使用特定的管理器对缓存芯片的空间进行分割、读取、管理。当主机与硬盘需要多通道频繁交换数据时, 较大的缓存能大大提高数据传输速度。同时还能降低意外震动导致磁头故障的几率。如果出现开机检测不到硬盘, 乱码, 进入操作系统 (OS) 频繁发生异常实际等现象, 可以检测缓存芯片, 但发生故障的可能性很低。
电路板BIOS故障, BIOS芯片中存有硬盘的固件信息, 用于保存硬盘容量、接口信息等重要参数, 市面上很多以小充大的优盘就是通过修改BIOS信息重新量产化得来的。可以通过刷新BIOS来解决, 严重的需要把BIOS拆下来用紫外线灯照射抹掉数据后, 从生产厂家的官网下载BIOS固件用专用工具刷入。
三、硬盘内部物理故障的种类与判定方法
首先要重点讲一点, 对硬盘开壳一定要在无尘工作台进行。打开硬盘的外壳, 就能看到封闭在里面的磁头组件、盘片等部件了。这些部件非常紧密和重要, 任何一点部件出现故障都会导致硬盘无法工作。现在有的新出的大容量硬盘甚至在里面充满了氦气。
磁头组件故障, 如果磁头卡住无法归位, 可以用螺丝刀逆时针拧动盘片中心的螺丝, 请求抬起磁头。边拧动盘片边移动磁头就可以让磁头回到盘片边缘的位置, 期间千万不要让磁头与盘片发生接触, 否则划伤盘片。如果磁头无法抬起寻道, 则应该是音圈电机故障。磁头臂前端有两个磁头, 除了最上面的只有一个磁头, 下面的都是两个磁头。磁头故障包括磁头磨损、磁头接触面受污染、磁头摆臂变形, 磁头偏移等。还要检测定位卡子对于磁头停留再启的功能。
主轴电机故障, 硬盘的主轴电机大部分都是液态轴承, 精度极高、剧烈碰撞和震动、突然断电都有可能造成其间隙变大或电机抱死。通过更换主轴电机可以修复故障。
盘片故障分为盘片划伤和坏扇区。盘片划伤可以肉眼观察到, 坏扇区可以用R-Studio等软件检测, 只有不可逆的扇区缺陷才是坏扇区。遇到盘片故障可以通过低级格式化修复, 如果无法解决可以几下故障大概区域, 再分区是特意绕开达到不适用不触发的目的。如果有重要数据需要恢复, 就必须把盘片取出来, 用专门的盘片读取工具把数据全部以二进制读取, 利用纠错码、ECC检错、冗余码等手段恢复数据。
四、结束语
信息爆炸的时代, 硬件有价数据无价。再好的维修技术和数据恢复手段都是事后弥补, 要保护好数据还是要防范于未然。磁盘冗余阵列 (RAID) 、备份、分散存储、云存储, 多手段并用才是最好的办法。现代硬盘技术越来越先进, 特别是硬件越来越复杂, 而且硬件资料非常稀少, 硬件故障的排除一般都是从实践中摸索总结而来, 这里提供笔者一点经验供大家分享。
摘要:信息化时代, 不管什么数据都要存放, 无论是网络存放还是本地存放, 数据最后都要保存在某种存储介质上, 是硬件就会发生故障。当问题发生时宝贵的数据如何挽救是用户最关心的事情, 但不同于逻辑恢复, 物理故障的恢复技能很多时候都是来源于实践中的经验总结, 每个人遭到同样的故障, 解决的办法也许会有差别, 但都能成功恢复出数据。所以物理恢复技术, 可能每个人都有自己不同的技巧, 本篇结合笔者的一些心得, 只是提供给读者一种思路, 并不是唯一的方法。
关键词:存储介质,数据恢复
参考文献
[1] 胡静, 高文彬.信息技术环境数据恢复的技巧[J].计算机科学, 2013 (1) :45.
[2] 胡益.浅谈教师掌握信息保护的重要性[J].南方农机, 2015 (2) :35.
存储器电路设计的论文范文第3篇
关键词:档案管理;信息处理;缩微复制技术;数字影像技术
从上世纪开始,随着计算机技术和现代通信技术的迅速发展,为实现档案信息化,档案管理工作正处于从传统纸质文件存储转向电子文件存储的发展期。而数字文献资源长期保存最核心的问题是技术问题,这是一项复杂的系统工程。而缩微复制技术和数字影像技术在档案管理的发展中正发挥着重要作用。
一、缩微复制技术
缩微复制技术即缩微技术,是一种模拟信息存储技术,又称为缩微摄影技术。通过专业的工艺把原始信息以原有的状态通过摄影技术得到缩小的影像并将其记录在感光材料上,在此基础上加工制作成缩微品(也称为“缩微复制品”或“缩微文献”)。之后可以通过一定的技术方法和手段对记录在缩微品上的缩微影像进行自动处理、保存、检索、再现、复制、还原。总体来说,缩微技术相较于其他信息载体,具有技术稳定成熟、适用于长期保存、便于安全保管、节省存储空间等优点;不足之处包括难以实现即时地远距离传输共享、不可自由编辑处理、调阅流程较为繁琐。
1.缩微复制技术的发展
缩微技术在1839年正式诞生。经过一个世纪的发展,我国图书馆在1936年引入缩微复制技术并一直使用至今。20世纪30年代,正值二战时期,我国很多图书馆在战火中遭受重大损失,许多珍贵的文献资料受损,无法有效保存。同时为引进西方学术文献,中美两国开始互相交换学术资料。而在战争的影响下,文献资料的传输十分困难,因此在美国图书馆的帮助下,当时的国立北平图书馆装设了国内第一套缩微设备,以供中美双方交换文献。但由于后期国际形势变化,我国的缩微技术发展止步不前,这也导致当时的缩微品只可以用于保存,却没有能力使用。后来,在萧彩瑜、费正清等国内外学者和相关机关的大力推动下,我国图书馆的缩微事业在逐渐进入正轨。
1949年中华人民共和国成立后,我国开始了缩微设备和阅读设备的自主研发工作。虽然取得了较为显著的成果,但由于缺乏行业规范化标准以及经济条件等因素,缩微技术仍然只在少数图书馆自发零散地运用,未能形成规模。
1981年,中央发布关于古籍抢救的重要文献,同时恢复了以文献整理修复为主要任务的古籍整理出版规划小组。在此之后,我国公共图书馆缩微工作开始有组织有计划地进行。1985年,全国图书馆文献缩微复制中心正式成立,这也是我国缩微技术发展史上的重要的里程碑。
1995年,北京图书馆建立光盘阅览室,自此光盘在各大图书馆逐渐推广并有取代缩微技术的趋势。随着计算机网络的飞速发展,数字技术兴起,一时间,缩微文献数字化成了一大趋势,缩微技术式微。
2015年,全国公共数字缩微建设启动,次年国家图书馆筹建了国家文献战略储备库项目。从长久保存的战略目标下,缩微技术巩固了其无可替代的地位。至此,缩微技术依然在文献保存领域发挥着无比重要的作用。
2.缩微复制技术的现状
缩微复制技术从学术研究层面来看, 当前数字缩微主要包括缩微胶片数字化、数转模和彩色缩微三项工作, 而它作为一项成熟的档案保存技术,早已脱离了学术研究的层面,其技术应用现已广泛应用于全国各大档案相关工作机构。数字缩微, 即彩色缩微、数转模 (COM) 、缩微胶片数字化 (CIM) 加工等项目都在很多档案馆逐渐启动应用。在当前档案信息化的趋势下,缩微技术正逐渐和数字技术相融合,进入全新的阶段。例如, 全国图书馆文献缩微复制中心的工作已纳入“全国图书馆事业发展十三五规划,中央档案馆档案文件缩微化占全部馆藏的三分之二, 欧美发达国家档案产业的大半收入是由档案缩微品开发和利用产生的, 这也是国内档案产业将来的发展方向之一。
3.缩微胶片的保护和修复
缩微复制技术所使用的缩微胶片是以感光材料为主体的科技产品,由于其早在数十年前就已被广泛使用,很多缩微胶片已经被保存了数年时间。而在过去的几十年里,相关保存条件并不完备,经过霉变、污染等外界因素的影响,缩微胶片容易产生醋酸综合征,对胶片的直接影响是使其扭曲变形和影像劣化,甚至会导致其自毁。为了解决这一世纪难题,学会影像保护专业委员会主任、历史文化遗产保护教育部工程研究中心主任李玉虎教授于2017年发表了其团队的“感光影像档案修复与保护关键技术研究”成果。
针对缩微胶片的醋酸综合征,该项目研究了相关化学物质的降解机理,通过对其微观机制的分析,从治理和预防两个角度研究了缩微胶片对醋酸溶剂的耐受性和对其的保护性清洗等七项创新技术,从根本上解决了醋酸综合征的影响,有效保护和修复了因为醋酸综合征而损坏的缩微胶片档案。通过该项技术恢复原本状态的缩微胶片可以正常地进行数字化复制和使用。
从1999年开始,该研究团队利用其成果修复了包括关于南京大屠杀、第二长沙会战和汶川地震在内的记录中国重要历史信息的缩微胶片,为我国历史档案的保存做出了重大贡献。纵观国内外实践,当前已经研发出多种技术在內的数字资源长期保存技术,其中包括仿真技术、迁移法、封装技术数据恢复等 ,但唯有数字缩微技术这样,既能保持传统模拟缩微技术长期稳定等优点,又能满足信息传播飞速发展的环境下档案文献安全交流和传递的需要。
二、数字影像技术
数字影像技术即数字技术,通过数字相机和扫描仪等技术手段,以计算机为存储媒介,把档案文件等信息以数字图像的形式进行保存的技术。各类信息依照不同使用标准和精度需求进行不同格式的数字化,生成数字图像存储在硬盘、光盘和磁盘等媒体中。同时随着档案信息化的高速发展,作为其核心技术内容的数字影像技术也必须不断进步和创新。目前,数字存储媒介已不再只有硬盘等实体存储媒介,而是扩展到了云存储领域。
1.数字影像技术的背景
随着时代的发展与进步,办公数字化和自动化的进程逐渐加快,档案信息化建设已经进入了全新的时代。传统纸质档案的手工整理和调阅以及缩微胶片的放映渐渐难以满足人群对信息查阅速度的需求。过去的时代中,历史档案的存储一直都是工作重心,档案的调阅方面也一直都存在诸多不便之处。而今,传统工作逐渐被现代化管理取代,信息化也已经渗透到了各个层面的工作中,档案信息化是大势所趋。
2.数字影像技术的发展
上世纪八十到九十年代末,随着扫描技术、摄像技术、OCR识别技术和网络通讯技术的高速发展,数字影像技术因而问世。该技术的发展一度改变了以传统纸质档案和缩微胶片为主的档案工作节奏,直接影响了整个行业领域的发展走向。
相比传统的缩微技术,数字影像技术的优点十分明显:第一,对档案进行信息化和数字化,可以建立更加规范和系统的管理体系,可以更加方便快速高效地对信息进行复制、保存和管理。第二,缩微技术依赖感光胶片,每一次还原,都会造成一定程度的失真,而数字档案则不会受制于使用次数等因素,可以十分稳定地用以重复使用。第三,对档案进行缩微处理的工作十分繁琐,需要专业培训人员和专业设备,而数字档案在这方面则十分灵活,具有更低的处理成本。第四,缩微胶片对保存环境要求很高,保存场所的温湿度控制也极为严格,而保存在硬盘等存储设备中的数字档案对保存环境的要求并不高,其保存成本更低。
然而,数字影像技术的保存时间十分有限,以硬盘存储媒介为例,其寿命大概只有十年左右,而由安全片基银盐缩微胶片制成的缩微品可以保存800年以上,相差悬殊。同时,缩微技术是对档案原件进行完全复制的模拟技术,在这个过程中无法对信息进行篡改,故可保证其信息的原始性,也因此,缩微品同原件一样具有法律效力,但数字影像技术依赖于读写设备,在处理过程中可以对信息进行修改,无法保证其信息的原始性和真实性,不具备法律效力。
3.数字影像的前瞻
数字影像技术的便捷性是时代发展趋势,而其在存储时间和信息真实性方面存在的问题也制约了该技术的发展,因此,如果可以解决这两点问题,数字影像技术可能会在未来彻底取代缩微技术。其保存时间方面存在的问题主要源自存储媒介的寿命限制,那么,以寿命更久的存储媒介来替代传统存储媒介也许可以在这个问题上有所突破。现如今,云存储作为一项新兴技术,其发展十分迅猛,正逐渐向个人和企业中渗透。云存储所用的网络硬盘可突破本地存储媒介的寿命限制,从而长期稳定地保存数据。此外,由于云存储依赖互联网,通过新一代云存储技术,存储在云端的数据可以传输到用户所需的任何存储设备上,在档案的查询调阅方面尤为重要。但也正是因为其对互联网的高依赖性,其安全性即云安全问题依然未完全得到解决,以目前的发展状况来看,云存储可结合传统本地存储技术用于一般级别档案的管理,而针对安全级别较高的档案文件,使用云存储技术还为时尚早。
三、小结
当前时代是信息时代,信息处理速度不断加快正是必然的趋势,在档案工作领域,档案的本质就是信息,信息处理速度加快也意味着档案系统的运转速度需要继续加快。传统的档案处理系统已经渐渐无法满足现如今的使用要求,唯有不断改革创新,才能不断优化档案处理系统,使其更加快速高效地运转。因此,缩微影像技术和数字影像技术的结合使用在档案信息化时代下是大势所趋,這也正是我国图书档案工作自2015年至今的核心理念。
参考文献:
[1]丁晓阳.数字档案长期存储问题探究及解决方案[J].信息记录材料,2018.
[2]王崇燕,刘巧平.缩微影像技术与数字影像技术在档案现代化管理中的重要作用[J].机电兵船档案,2008.
[3]刘慧云,陈定权.我国图书馆缩微技术的发展历程和未来走向[J].图书馆论坛,2017.
存储器电路设计的论文范文第4篇
〔摘要〕文章首先阐述了大数据的特征与内涵,指出了大数据在图书馆工作中的重要性及两者之间的关系,分析了大数据所带来的数据管理、数据存储、数据挖掘等方面的挑战。然后研究了图书馆应从数据管理、数据技术及数据队伍建设上所采取的策略。最后探讨了大数据驱动下的图书馆服务新模式,如基于数据整合的一站式资源服务,基于数据处理的学科知识服务、信息可视化服务及基于数据挖掘的个性化智慧服务。
〔关键词〕大数据;数据处理;数据挖掘;数据服务;图书馆
DOI:10.3969/j.issn.1008-0821.2013.05.003
〔
随着社会高速的发展,泛互联网的进程加快,数据量的增加已经到达了前所未有的速度。Facebook每天生成300TB(注:1024GB=1TB;1024TB=1PB;1024PB=1EB;1024 EB=1ZB)以上的日志数据,Google公司每个月处理的数据量超过400PB,百度每天约处理几十PB数据,淘宝网每天交易能产生约20TB数据[1]。根据国际数据公司IDC 2011年发布的Digital Universe Study,全球信息总量每过2年,就会增长1倍。仅在2011年,全球被创建和被复制的数据总量为18ZB,且每年以60%增加,2020年全球每年产生的数字信息将达到35ZB[2]。数据的爆炸式增长超出人们的想象,“大数据”(Big Data)时代已经来临。大数据是继云计算、物联网以后,信息科技等行业又一次大的技术变革。
最早提出“大数据”概念是麦肯锡公司(Mckinsey and Company)。2011年5月,麦肯锡公司在大数据的报告中指出[3]:数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素。其后,大数据迅速成为政府及信息科技等行业关注的热点。2012年3月,美国政府启动“大数据研究和发展计划”,将“大数据研究”上升为国家战略高度[4];一些著名企业如IBM、EMC、Microsoft开始对大数据进行研究。大数据最典型的应用是在沃尔玛公司利用大数据技术创造的“啤酒与尿布”的经典商业案例[5]。互联网企业Google及Facebook之所以取得令人瞩目的成绩,其核心的本质就是其公司记录和分析了用户网络操作的大数据,从而精确掌握用户行为、形成预判。图书馆是信息搜集、存储和进行知识服务的机构。在大数据时代下,如何进行数据管理;如何以“大数据”为基础,帮助用户从海量的数据中快捷发现与获取信息资源;如何挖掘用户行为特征,实现个性化、定制化的智慧服务等等都是图书馆面临的新的挑战与机遇。本文对此进行了深入的分析与研究,主要阐述了大数据带给图书馆的影响与挑战,分析了大数据对图书馆的重要性,重点探讨了图书馆的大数据建设若干策略及图书馆的大数据服务模式。
1大数据的特征与内涵
什么是大数据?目前,还没有一个统一的定义,简单一点可以理解为超出传统数据管理工具处理能力的大规模、复杂的数据集合。IBM公司认为大数据具有“3V”特点,即种类(Variety)多、速度(Velocity),快、容量(Volume)大[6]。但以IDC为代表的业界将其归纳为具有“4V”特征——海量(Volume)、多样性(Variety)、高速(Velocity)和易变性(Variability)。不管是“3V”,还是“4V”,其内涵包含了以下这些特性。第一,数据体量巨大。“大”是指数据规模,一般指在10TB规模以上的数据量。一部《史记》,共526 500字,约1MB数据,一组用于基因研究的染色体照片数据量超过2TB。第二,数据类型繁多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。互联网的迅猛发展,现在的数据类型早已不是单一的文本形式,还包含了大量的网络日志、微博、视频、图片、邮件等大量的半结构化与非结构化数据。第三,价值密度低。价值密度的高低与数据总量的大小成反比。大数据中有很多垃圾,有很多不相关的信息,只有一些有用的信息隐藏在大数据信息里面。以视频为例,一部一小时的视频监控过程中,可能有用的数据仅仅只有一两秒。第四,处理速度快。大数据里面很多是实时数据,像微博、社会网络、SNS这些,要求它进行立竿见影的分析和处理,而不是事后追诉。
随着信息化建设的发展,图书馆除了本身包含的大量数字资源外,日益增长的电子资源,高速网络及移动图书馆的普及,云计算、RFID、语义网、社交网络等新技术的发展提供了广泛的数据来源,图书馆正在迎接大数据时代的到来。
21各种电子资源(电子书刊,多媒体资源等)的积累,给图书馆提供了海量数据信息技术的发展极大地促进了图书馆数字资源的生产,形成了包括电子图书、电子期刊、数据库、音视频资源、网络资源在内的海量数字资源,电子资源种类和数量正在超越纸本资源。据调查,全球新产出的信息量每3年翻一番,大约90%的信息都是以数据形式储存。截至2011年底,中文网页数量达866亿个,年增长率达443%。文献的出版方式发生巨大的变化,数字出版日益普及,截至2010年底,中国电子书总量已达115万种,年新增18万种。单独出版的数字报已达700份以上,电子期刊已近万种。2010年底,清华图书馆机房有110台服务器,集中存储170TB,国家图书馆资源总量达到470TB。这些资源分布在不同的系统中,形态不同,组织方式各异,既包括传统文献的数字化,也包括各种类型的原生数字资源,还包括其它虚拟馆藏等各种多媒体资源。各种电子资源的积累,给图书馆提供了海量数据。
22智能手机、高速网络及移动图书馆的普及, 使数据量呈现指数上升的趋势信息技术、网络技术迅猛发展,手机上网、数字电视等跨网络等业务发展迅速。截至2011年底,我国网民人数达513亿,互联网普及率达383%,手机用户已突破9亿人,其中手机上网达356亿,数字电视用户超过1 000万户,以上为数字图书馆提供了基于多网络平台的信息传输途径和服务渠道。近几年,移动设备如雨后春笋,智能手机、平板电脑为学习者提供了新的学习途径,并以其它设备无法比拟的优势提高学习体验并与人产生更多的交互,使得数据快速增加。自2003年以来,移动图书馆越来越普及,移动阅读,移动搜索等服务类型也不断增加。未来3年内,移动设备所产生的数据量呈现翻倍的趋势。
23云计算、RFID、语义网、社交网络等新技术的发展,为大数据提供了广泛的数据来源云计算的到来,突破了传统图书馆发展局限,超强的数据处理能力,信息资源的整合,动态资源分配,简化的IT结构,云计算为大数据的诞生创造了物质基础。利用RFID技术,可实现图书自动借还,智能盘点,自动分拣,图书位置与信息的实时跟踪导航。以Facebook、Twitter/微博为代表的社会网络因为体现了开放、共享、参与、个性化、用户驱动等Web20特性而深入人心。语义网是人们经过研究,期待已久,能够使信息发生“革命”,从而上升到“知识”的技术。2009年,美国康奈尔大学和六家机构筹建一个Facebook风格的专业社交网络——VIVO网,其宗旨是建立一个连接开发数据的语义Web。科学家通过VIVO网可以看到网络中的研究人员正在进行的其它科学研究,便于快捷地找到同行并建立联系,致力于新的发现和创新。
由此可知,信息时代的发展使得图书馆具备大数据的特征。科学研究和科技创新越来越依赖于对数据的管理和利用,学科知识服务依赖于大数据的分析与挖掘。但是,要面临的数据非常复杂,图书馆将遇到很多挑战。
3大数据时代下图书馆的挑战与建设策略
大数据不仅挑战图书馆传统的IT架构与数据获取、数据存储、数据处理的模式,而且来自数据管理及数据应用、数据服务对图书馆的挑战将更为突出。但从潜在的机会看,数据量的增加为图书馆提供了精确把握用户群体和个体网络行为模式的基础,如果能够充分利用,就可以探索个性化,精确化和智能化地进行推送和服务,帮助用户从海量的信息中迅速找到所需要的信息,提升图书馆的数字知识服务水平,促进数字图书馆领域的发展。当前,图书馆的大数据挑战主要集中在以下3个方面:
问题一:传统的网络架构不适应“大数据”时代
传统的网络结构设计是以用户端向服务器发出请求,由服务器应答返回结果给客户的垂直结构。而在大数据时代,这种垂直结构的服务请求将变得越来越少,取而代之的是水平结构的横向请求服务。“大数据”时代,大量的数据都存储在分布广泛、不同地域、各种类型的服务器中。当用户发出一个搜索或查询请求时,最多的运算是服务器之间的信息交换,最后将结果返回给用户。传统的网络架构已经不能满足大数据时代网络应用需求。新一代网络架构要适应Web20时代的水平服务应用[7]。
问题二:数据中心将面临巨大压力
传统的数据仓库是通过ETL工具将数字资源中的数据抽取到数据仓库进行集中存储和管理,然后组织数据进一步从数据仓库中读取及访问数据,并进行数据分析。但在大数据时代,图书馆数据库里的内容不仅仅是多,而且结构已发生了极大改变,不是以二维表的规范结构存储。大量的数据是非结构化的办公文档、文本、图片、XML、HTML、各类报表、图片和音频/视频等,面临如此大量的非结构化数据,其移动和修改将耗费大量的人力物力,数据移动代价太高,读取效率也将越来越低。更多的网络设备将同时访问数据中心,传统数据中心难以适应快速变化,面临巨大压力[7]。
问题三:如何快速找到自已的资源,如何获取、管理和分析这些用户信息行为数据并加以利用及服务。
在大数据时代,用户面对众多图书馆的数据资源,深受大数据所带来的困扰,很难方便、快捷、准确地检索到所需数据资料。2011年麦肯锡公司在报告中指出全球新的数据不断增长,但是却有875%的数据,并没有形成真正的知识源以供研究人员利用[3]。
大数据时代,图书馆面临大数据管理、技术和应用等方面存在的问题和挑战,对这些问题的思考,未来图书馆,是以数据为纽带,其形态将从物理图书馆逐渐转变为“数据图书馆”及“智慧图书馆”。由此,图书馆应采取以下应对策略:
31管理层次上:成立数据管理部门与机构,制定数据管理政策、统一的标准及共享平台大数据建设是一项有序的、动态的、可持续发展的系统工程,必须建立良好的运行机制,以促进建设过程中各个环节的正规有序,实现统合,搞好顶层设计。为此,图书馆应成立新的数据管理部门,负责数据管理,建立统一的数据获取、使用、管理、分享的政策,加强校内,外各部门的数据协调工作。如在美国高校中,现在有些学校如MIT、弗吉尼亚大学及康奈尔大学图书馆成立了专门的“研究数据管理服务工作组(RDMSG)”,负责有关数据管理中所涉及的问题:如元数据标准、数据存储、数据共享和重用、数据管理计划、处理数据版权和合理使用数据问题、举办知识产权、开放数据、开放科研等主题的培训和讲座、研究数据知识库的评估、管理、推介、导航服务等[8]。
32技术层次上:构建图书馆大数据架构,研究解决大数据采集、存储,处理及分析相关技术问题大数据技术是指从各种各样类型的巨量数据中,快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。迎战大数据,进行技术前倾是关键。要把大数据作为一系统工程来考虑,从数据采集,数据存储到数据处理,数据分析及数据应用等方面考虑,构成图书馆大数据架构图,见图1。
在大数据技术中,从图书馆系统角度,主要解决下面几方面的关键技术:
321大数据的统一表示及融合
图书馆大数据中包括越来越多不同格式的数据,从电子资源,到简单的电子邮件、数据日志和阅读记录,社交网络,再到实验等科研中收集到的科学研究数据以及丰富的媒体数据(包括课件,照片、音乐、视频资源等),这些不同格式的数据也需要不同的处理方法,给我们处理数据带来了一定麻烦。从某种意义上来说,目前表示数据的方法,不一定能直观地展现出数据本身的意义。数据不整合就发挥不出大数据的重大价值。大数据面临的一个基本问题是各种数据和信息能否规范、统一的表示及方便地融合,构建文献与数字资源体系。因此,要研究通过对海量的,来自异构资源的数据和各种对象数据进行抽取、映射、收割、导入等手段进行预收集,归并映射到一个标准表达式,进行预聚合及融合,形成格式统一,内容丰富、结构清晰的数据,灵活构建各种分类和界面,按照知识本体进行组织和揭示,进而保障强大高效的检索能力和良好的结果相关度排序。
322解决大数据量存储的问题
在大数据的挑战问题中,大数据的第一个关键技术问题:就是对大数据的高效率存储和访问需求,对数据库高可扩展性和高可用性的需求,随着数据库技术以及云计算技术的迅猛发展,大规模数据存储要借助非关系型的数据库分析技术——NoSQL、MapReduce和Hadoop。它们的优势具有大规模并行处理、简单易用等特点,非常适合非结构数据处理,也成为大数据分析领域的主流技术。大数据存储也可采用基于云计算的分布式存储技术,利用分布式的数据云存储技术和与之相关的虚拟技术使得整合后的图书馆海量数据更加统一有序,能够方便快捷地通过网络,根据需求访问计算与存储等服务。
323解决非结构化数据的分析和挖掘的问题
大数据中包含数据信息量大且复杂多样,因此数据分析和挖掘工作具有重要作用。传统的数据挖掘对关系型数据,非结构化的、半结构化的数据显得力不从心。对于图书馆大数据中,待处理的非结构化数据与读者兴趣密切相关,通过分析读者显性行为和挖掘隐性行为,为读者提供个性化服务。目前使用的推荐方法是基于内容的推荐方法和协同过滤的推荐方法。协同过滤算法是目前最为成功的算法,但依然存在读者兴趣变化、数据稀疏性、读者评分的真实性及差异性等问题,根据读者信息数据构建个性化读者行为模型,结合基于读者行为的协同过滤算法,挖掘模型中存在的规则,从而产生个性化服务值得研究。
33队伍建设上:培养一支高素质的数据管理的馆员队伍大数据环境下,图书馆传统的管理模式、工作内容、工作方式发生了本质的变化。而目前不断增长的数据共享和数据管理需求为图书馆服务开辟了新的领域,图书馆需要抓住这个机遇,尽快开展数据管理服务,拓展支持研究的服务内容和能力,使图书馆员成为数据管理服务的提供者。美国国家科学委员会(NSB)提出的以数据获取、处理、保存、分析、利用和可视化为职业的\"数据科学家(Data Scientist)中,其中含信息与计算机科学家,学科专家、数据处理员及图书馆员等。美国研究图书馆协会也已提出,研究数据管理将成为下一代图书馆员的能力之一[9-10]。因此必须培养和造就一支懂技术、懂管理的大数据建设专业队伍。当前的任务是如何在现有基础上,拓宽馆员知识面,增强业务能力,培养出能满足图书馆数据服务需求的高素质的“数据馆员”,并使之成为学科信息资源的组织者、传播者、导航者、教育者,促进图书馆事业更好的发展。
4基于大数据的图书馆的服务模式研究
大数据时代下的图书馆将从“物理图书馆”转变为“数据图书馆”。图书馆服务不管是服务的方式、途径、模式等也都将发生改变。从服务的理念上转变为基于数据的服务。以“大数据”为基础,围绕从数据汇聚到信息加工,知识服务,智慧服务的四个层次展开服务,见图2。下面具体对数据驱动下的图书馆的服务模式进行分析研究。
41基于数据整合的一站式资源服务
大数据时代下,数据资源是海量的,理论上一个图书馆可以收集所有的数据资源,如各类文献资源,科研成果,学术交流,甚至包括各种访问,社交等日志信息等各种网络资源等。但是,这些数据来源于不同的机构知识库或读者个人,图书馆可以充分利用机构优势有组织地通过对各类数据源的定位和连接,实现数据的采集、传输和汇聚。鼓励读者开放存取各种数字资源,使用户不仅是资源的接受者和学习者,而且是资源的的发布者和贡献者[11]。由于数据资源具有数量巨大、类型多样、变化快、无序等特点,因此很有必要建立数据的统一标准,迎合对于飞速增长的异构系统进行有效整合的需求。提供资源之间的无缝链接,提供各种数据管理服务,包括存储备份、元数据加工、数据发布,数据共享等。在数据的洪流中,异构、分布和海量的各种数据资源得以汇聚及融合,形成中心知识库,通过预索引的方式,为用户提供快速,简单,易用的资源发现及获取服务,建立一站式数据资源服务平台[8]。
42基于数据分析的学科知识服务
图书馆作为知识服务平台,通过对汇集数据的加工整理,数据建模,提高数据的价值密度。探索以数据为基础的知识发现分析,通过基于数据的增值服务,面向用户、满足用户的学科知识需求,开展知识服务。如以学科为基础,将不同学科用户的检索浏览下载的信息行为数据进行分类;分析用户检索浏览下载的文献(全文、摘要、关键词)特征,加入时间纬度,归纳出某个学科某一时期的用户感兴趣的主题;利用数据挖掘、数据检验、相关性分析、回归分析、聚类分析、社会网络分析等进行学科热点预测和交叉学科分析研究。构建基于图书馆流通日志的图书借阅数据仓库维度模型,构建基于OPAC日志点击流数据仓库,基于大数据的关联关系分析,发现及展示学者、合作者、期刊、会议、文章之间的知识网络;基于大数据的学科趋势分析,通过对大数据的有序处理来提升图书馆服务的品质。
43基于数据应用的信息可视化服务
大数据中包含大量重要信息,人们期待进行深层次分析,以便更好的从数据中发现知识。信息可视化作为一种关键服务理念与技术手段,在处理复杂异构的图书馆大数据方面有很大的优势,能为用户提供了一个方便易用的知识环境。如从检索过程、检索结果以及结果之间关系的角度实现主题可视化,到数据库分布可视化、时间分布可视化和作者合著关系可视化。也可将信息可视化技术与科学计量学方法等相结合,生成具有各种属性的科学地图,表达学科、领域、专业、文献、著者之间的关系,解释知识领域的结构、映射知识领域的发展趋势,促进信息获取、使知识结构更加明显,将数据集中看不见的抽象数据和数据之间的语义关系以一种可视化的方式呈现在用户场景中。让用户充分发掘信息资源中潜在的价值资源,帮助用户更好地组织、分析与利用信息。信息可视化作为将信息有效组织、分析、揭示的一种新技术,为大数据提供了一种新的服务模式。
44基于数据挖掘的智慧服务
随着读者对知识需求的转变,知识服务正在朝个性化,智慧化的方向发展。个性化服务是基于读者对信息使用行为习惯及对信息的特定需求,是一种在分析预测用户个体信息需求基础上向用户主动提供其可能需求但又无法获取的信息资源的服务方式,是解决海量信息困惑问题的重要方法。智慧服务是知识服务的升华。智慧服务则是建在知识服务基础上的的创造性服务模式,是图书馆知识服务的核心。图书馆大数据存在大量的用户信息行为产生的数据,如用户查询书目产生的OPAC日志,用户借还书产生的流通日志数据,用户检索浏览下载电子资源产生的日志数据,用户访问产生的流量数据及各种社交网络等。这些数据中除了用于记录读者的个人信息外,还隐藏着许多重要的信息,因此可通过对这些数据进行挖掘分析,知识发现、智能代理等技术,描述用户的行为,准确定位读者需求,向读者提供主动式推送服务,满足其个性化的智能服务。
5结语
数字信息的爆炸式增长催生出“大数据”概念,正席卷整个IT相关行业,大数据已经渐渐的渗入到了图书情报工作中,挑战与机遇同在。展望未来,大数据服务技术等热点将不断涌现,将对图书馆知识服务的拓展和深化带来重大影响,未来的工作将是“数据驱动”的图书情报工作。本文重点探讨了在大数据时代下图书馆的建设策略及基于大数据的一站式服务,学科知识及个性化智慧服务等服务模式。但是图书馆的大数据技术及服务是一项复杂的系统工程,涉及到数据管理的水平,数据处理的技术及数据服务的创新等等,均需要图书馆员的共同努力。
参考文献
[1]李国杰.大数据研究的科学价值[J].中国计算机学会通讯,2012,(9):8-15.
[2]海量数据爆发大数据时代来临的五个转变[EB/OL].http:∥labs.chinamobile.com/news/76217,2012-08-01.
[3]Big data:The next frontier for innovation,competition,and productivity[EB/OL].http∥www.mckinsey.com/Insights/MGI/Research/TechnologyandInnovation/BigdataThenextfrontierforinnovation,2011-05.
[4]Big Data is a Big Deal[EB/OL].http:∥www.whitehouse.gov/blog/2012/03/29/big-data-big-deal,2012-03-29.
[5]高勇.啤酒与尿布:神奇的购物篮分析[M].北京:清华大学出版社,2008.
[6]MapR and Informatica Combine to Conquer Volume,Variety and Velocity of Big Data[EB/OL].http:∥www.dbta.com/Articles/Editorial/News -Flashes/-MapR-and-Informatica-Join-Forces-to-Tackle-Volume-Variety-and-Velocity-of-Big-Data-81231.aspx,2012-07-21.
[7]王珊,王会举,覃雄派,等.架构大数据:挑战、现状与展望[J].计算机学报,2011,(10):1741-1752.
[8]马建玲,祝忠明,王楠,等.美国高校图书馆参与研究数据管理服务研究[J].图书情报工作,2012,(21):77-82.
[9]Geoffrey Little.MANAGING TECHNOLOGY·Managing the Data Deluge[J].The Journal of Academic Librarianship,2012,(5):263-264.
[10]王学勤,Amy Stout,Howard Silver.建立数据驱动的e-Science图书馆服务:机遇和挑战[J].图书情报工作,2011,(13):80-83.
[11]张晓林,李麟,刘细文,等.开放获取学术信息资源:逼近“主流化”转折点[J].图书情报工作,2012,(9):42-47.
(本文责任编辑:马卓)
存储器电路设计的论文范文第5篇
随着时代的不断进步,计算机信息技术也正高速发展。在党中央提出的互联网加的大背景下,计算机信息技术在各个行业中的融合度也呈现出空前繁荣的景象。做为计算机信息技术核心之一的信息存储技术也不断发展。传统的以人工进行的数据存储与处理方式有着较多的弊端,例如人为录入的误操作导致数据的完整性失真,数据处理时无校验导致错误的结果输出,管理的漏洞导致存储文件的丢失,数据恢复时无从查找备份的源文件等等,诸多问题都会导致工作效率的低下。目前各企事业单位已经充分意识到信息存储的重要性,信息时代所带来的便捷性正逐步改变着我们的生产与生活方式。计算机信息技术存储平台的开发与应用研究是值得我们研究的一项重要内容。
1 计算机信息技术存储平台的形成分析
对任何一个企事业单位来说,在正常的工作流程中都会涉及到数据的处 理,其中包括数据录入,数据处理,数据存储,数据分析,数据模型建立,数据更新以及数据备份操作。人工操作方式相对于计算机信息处理方式来说容易出现很多错误,同时由于人工方式在进行数据存储时需要耗费大量的物理资源,其已经不适用于目前信息时代低碳的工作方式。
计算机信息技术的出现很好的解决了以上的问题。计算机信息技术的特点是拥有极大的存储空间,极强的运算效率。理想情况下数据可以永久的存储在计算机当中。同时,当整个应用系统出现问题时,例如数据丢失这种情况,用户可以通过计算机系统进行数据的恢复,保障工作的正常进行。目前各企事业单位大多采用了计算机信息存储技术作为后台的服务核心,因此研究计算机存储技术以及调用程序有着十分重要的意义。本文结合实践,抛开了信息系统的宏观概念,从信息系统最基本的组成元素入手,即存储平台的开发与应用进行了系统的分析,以期能够更好的促进信息技术的不断发展。
在具体的实践中,计算机存储技术研究的内容并不仅仅只是数据的存储。要完成数据的科学存储,除了要将数据录入并记录到存储介质上,还要关注数据与数据之间的关系,即要在数据结构的理论基础上进行存储实现。同时还要考虑到各种存储介质的特点,从物理和逻辑两方面考虑选择何种存储介质能最大的发挥应用系统的作用,提高系统的性价比和运行效率。
2 计算机存储技术的设计问题探讨
如何更加高效的提升计算机信息系统的效率是各个研究部门主要研究的问题之一,从整个计算机信息系统发展的过程来看,总结一点经验就是要深入的研究系统的核心问题——计算机信息系统存储技术。各企事业单位所用的应用系统大多都不相同,因此各系统所用到的存储技术也都大相径庭。例如企业员工信息大多采用基于人事部门的层次型结构进行存储;各公司之间的业务往来信息大多采用基于网络拓扑的网状型结构进行存储。在进行计算机信息技术存储平台的设计过程中,E-R 模型是十分典型的形式,以下举例分析计算机信息技术存储平台的开发和应用进行分析。
E-R 模型是计算机存储技术开发过程中一种十分重要的模型,这种模型能够比较有效的实现对于用户需求的可视化分析,并由此得出正确的结果。在一般的情况下,该模型的作用是能够提供进行数据分析的理论依据,具体步骤为将不同的需求展开成多条用户需求,然后将这些用户需求依次放入表格之中进行数据分离,进而找到这些用户需求之间的差异与联系,针对不同的需求点进行系统设计。目前 E-R模型被广泛的应用在计算机的存储技术的开发之中,同时也为数据的开发和设计提供了一定的技术支撑。在 E-R 模型中能够直观的展现实体之间的联系,同时也可以实现关系集和属性,这些结构之间有着十分严密的逻辑关系,可以将不同的实体通过一定的附属关系进行连接,进而实现完整的 E-R 模型。在 E-R 模型之中,实体的属性用椭圆形的形状来表达,实体的关系用菱形框来表达,而实体则由矩形框来表示,下面通过一个企业的行政级别关系来进行讨论。
例如实现一个企业对于员工进行招聘的E-R模型,这其中存在着一定的数据的对应关系,一个企业可以同时聘请多名员工,所以企业和员工之间的实体关系是 1—N。
3 计算机信息技术存储平台开发设计的流程
3.1 计算机信息技术存储平台的需求设计
任何一个项目的需求设计阶段都是最为重要的,计算机信息技术存储平台的设计也不例外。它在计算机存储技术的开发和设计中属于最基础的阶段,只有明确了用户的实际需求,才能够为后续的开发打下良好的基础。需求分析设计的最终目的是要生成需求分析报告,该报告是通过将用户的需求进行科学的归纳整理,然后明确每一个细节和具体的需求实现的。这样才能够更好的设计出符合实际情况的信息技术的存储平台。
3.2 计算机信息技术存储平台的概念理解设计的具体阶段
需求分析实际上就是将各种需求进行具体的定义,因此项目组成员首先要做的就是需要对这些概念进行最终的定义,同时要将彼此之间的关系进行必要的解析,以便后期进行系统开发的时候更够更好的适应系统设计。除了完成以上这些阶段设计意外,计算机信息技术存储平台还需要开展逻辑设计、物理实现和平台维护,这些都是开发的重要过程。
4 计算机存储技术的应用和开发研究
以上对于计算机的存储技术开展了比较详细的分析,同时也明确了在每一个设计阶段的核心内容。对于计算机的存储技术来讲,首先要有相应的物理数据供给用户进行录入,录入完毕之后进行数据存储时还要考虑对录入的数据进行有选择的备份,便于后期进行数据恢复的时候使用。数据的存储功能是整个计算机储存技术的核心,只有确保存储功能的正常,才能够保障整个系统的正常运行。在具体应用过程中,计算机中的文件一般都会被设置为只读,这样做的主要目的是为了在一定程度上保护用户的个人信息安全为了进一步保证数据的安全,用户一般都会考虑到个人信息以及管理员的权限设置,也只有经过了这样的处理,才可以更好的保障信息的安全。
5 小结
伴随着社会的不断发展,计算机的存储技术越来越受到了企业的重视,并且得到了快速的发展。存储技术的核心在于如何对不同系统进行科学的需求分析,然后完成需求的定义,最后还要保障数据的安全性。这就需要行业人员进行不断的努力和创新,使得计算机信息存储平台能够更好的服务社会的发展,促进社会的进步。未来计算机存储技术将会得到不断的更新和发展,并且发挥出越来越大的作用。
参考文献:
[1] 白 凤 娈 . 浙 江 中 控 ECS-700 DCS 与 AllLink数采终端数据采集的设计与实现[J].河北企业 ,2013(02).
[2] 郑迎凤 , 李莺 . 网络计算机存储技术加密在高校数字化校園建设中的设计与应用[J]. 电脑与信息技术 ,2013(01).
[3] 孙晓伟 , 毕晓清 , 吴洪越 , 赵卫东 . 基于DOM 和 VBA 的 Word 文档数据交互式抽取[J]. 计算机应用与软件,2013(02).
[4] 李元 , 王伟 . 我国大陆体育科学研究国际化进展考察—基于 WOS 计算机存储技术的文献计量分析 [J]. 成都体育学院学报 ,2013(01).
作者简介:
王雪,女,1984年4月,黑龙江省安达市人,研究方向:计算机硬件,中学一级,本科学历。
存储器电路设计的论文范文第6篇
[摘 要] 网络数据信息爆炸性的增长,使网络存储技术变得越来越重要,已成为Internet及其相关行业进一步发展的关键。本文详细介绍了常见的三种网络存储技术的优缺点及应用范围,并介绍了几种新的网络存储技术,使读者对网络存储技术有一个全面的了解。
[关键词] 网络存储 直接连接存储 网络附加存储 存储区域网络
一、引言
信息是一个企业可持续发展的核心动力之一,信息的可靠存储是一个企业得以正常运作和发展壮大的根本所在。随着越来越多的关键信息转化为数字形式并存储在可管理的介质中,用户对存储和管理信息的能力产生了新的需求。为更有效地使用和管理信息,用户对信息系统的搭建、数据中心的建设、数据的管理模式、数据的有效使用、信息存储介质的选择以及信息的安全存储等方面,提出多样化的要求,以达到数据的最佳利用。
网络存储设备提供网络信息系统的信息存取和共享服务,其主要特征体现在:超大存储容量、大数据传输率以及高可用性。要实现存储设备的性能特征,采用RAID作为存储实体是必然选择。传统的网络存储设备都是将RAID硬盘阵列直接连接到网络系统的服务器上,这种形式的网络存储结构称为(DAS Direct Attached Storage),目前,按照信息存储系统的构成,SAN(Storage Area Net- work)和NAS(Network Attached Storage)是最常见的两种选择。本文将详细介绍这三种存储技术的优缺点和应用范围,并将介绍几种新的网络存储技术。
二、传统网络存储技术
1.DAS存储
直接连接存储(DAS——Direct Attached Storage)是指将存储设备通过SCSI接口或光纤通道直接连接到服务器上的方式。这种连接方式主要应用于单机或两台主机的集群环境中,主要优点是存储容量扩展的实施简单,投入成本少、见效快。
DAS适用于以下几种情况:(1)服务器在地理分布上很分散,通过SAN或NAS在它们之间进行互连非常困难时;(2)存储系统必须被直接连接到应用服务器,如某些数据库使用的“原始分区”上时;(3)包括许多数据库应用和应用服务器在内的应用,它们需要直接连接到存储器上。
当服务器在地理上比较分散很难通过远程连接进行互连时,或传输速率并不很高的网络系统,直接连接存储是比较好的解决方案,甚至可能是唯一的解决方案,但是由于DAS存储没有网络结构,存在许多缺点:一方面该技术不具备共享性,每种客户机类型都需要一个服务器,从而增加了存储管理和维护的难度;另一方面,当存储容量增加时,扩容变得十分困难,而且当服务器发生故障时,数据也难以获取。因此,难以满足现今的存储要求。
2.NAS存储
网络附加存储(NAS——Network Attached Storage)即将存储设备通过标准的网络拓扑结构例如(以太网),连接到一群计算机上,提供数据和文件服务。NAS服务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。简单的说,NAS是通过与网络直接连接的磁盘阵列,它具备了磁盘阵列的所有主要特征:高容量、高效能、高可靠。
NAS由于其较好的可扩展性、可访问性、低价位、安装简单、易于管理等优点,广泛应用于电子出版、CAD、图像、教育、银行、政府、法律环境等那些对数据量有较大需求的应用中。多媒体、Internet下载以及在线数据的增长,特别是那些要求存储器能随着公司文件大小规模而增长的企业、小型公司、大型组织的部门网络,更需要这样一个简单的可扩展的方案。
但在实际应用中,NAS也存在着以下不足:(1)在文件访问的速度方面。NAS采用的是File I/O方式,这带来巨大的网络协议开销。正是因为这个原因,NAS不适合在对访问速度要求高的应用场合,如数据库应用、在线事务处理。(2)在数据备份方面。需要占用LAN的带宽,浪费宝贵的网络资源,严重时甚至影响客户应用的顺利进行。(3)在资源的整合和NAS的管理方面。NAS只能对单个存储(单个NAS内部)设备之中的磁盘进行资源的整合,目前还无法跨越不同的NAS设备,难以将多个NAS设备整合成一个统一的存储池,因而难以对多个NAS设备进行统一的集中管理,只能进行单独管理。
3.SAN存储
存储区域网络(SAN--Storage Area Network)是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用SAN的接入点。SAN是一种特殊的高速网络,连接网络服务器和诸如大磁盘阵列或备份磁带库的存储设备,SAN置于LAN之下,而不涉及LAN。利用SAN,不仅可以提供大容量的存储数据,而且地域上可以分散,并缓解了大量数据传输对于局域网的影响。SAN的结构允许任何服务器连接到任何存储阵列,不管数据置放在哪里,服务器都可直接存取所需的数据。
SAN的应用主要可以归纳为下面集中应用:构造群集环境,利用存储局域网可以很方便地通过光纤通道把各种服务器、存储设备连接在一起构成一个具有高性能、较好的数据可用性、可扩展的群集环境。(1)数据保护,存储局域网可以做到无服务器的数据备份,数据也可以后台的方式在存储局域网上传递,大大减少了主要网络和服务器上的负载,所以存储局域网可以很方便地实现诸如磁盘冗余、关键数据备份、远程群集、远程镜像等许多防止数据丢失的数据保护技术;(2)数据迁移,可以方便地进行两个存储设备之间的数据移动;(3)灾难恢复,特别是远程的灾难恢复;(4)数据仓库,用来构建一个网络系统的存储仓库,使得整个存储系统可以很好地共享。
在实际应用中,SAN也存在着一些不足:(1)设备的互操作性较差。目前采用最早和最多的SAN互连技术还是FibreChannel,对于不同的制造商,光纤通道协议的具体实现是不同的,这在客观上造成不同厂商的产品之间难以互相操作。(2)构建和维护SAN需要有丰富经验的、并接受过专门训练的专业人员,这大大增加了构建和维护费用。(3)在异构环境下的文件共享方面,SAN中存储资源的共享一般指的是不同平台下的存储空间的共享,而非数据文件的共享。(4)连接距离限制在10km左右等。更为重要的是,目前的存储区域网采用的光纤通道的网络互连设备都非常昂贵。这些都阻碍了SAN技术的普及应用和推广。
三、新的网络存储技术
1.NAS网关技术
NAS网关与NAS专用设备不同,它不是直接与安装在专用设备中的存储相连接,而是经由外置的交换设备,连接到存储阵列上——无论是交换设备还是磁盘阵列,通常都是采用光纤通道接口——正因为如此,NAS网关可以访问SAN上连接的多个存储阵列中的存储资源。它使得IP连接的客户机可以以文件的方式访问SAN上的块级存储,并通过标准的文件共享协议(如NFS和CIFS)处理来自客户机的请求。当网关收到客户机请求后,便将该请求转换为向存储阵列发出的块数据请求。存储阵列处理这个请求,并将处理结果发回给网关。然后网关将这个块信息转换为文件数据,再将它发给客户机。对于终端用户而言,整个过程是无缝和透明的。NAS网关技术使得管理人员能够将分散的NAS filers整合在一起,增强了系统的灵活性与可伸缩性,为企业升级文件系统、管理后端的存储阵列提供了方便。
2.IP-SAN技术
网络存储的发展产生了一种新技术IP-SAN。IP-SAN是以IP为基础的SAN存储方案,是一种可共同使用SAN与NAS,并遵循各项标准的纯软件解决方案。IP-SAN可让用户同时使用Gigabit Ethernet SCSI与Fibre Channel,建立以IP为基础的网络存储基本架构,由于IP在局域网和广域网上的应用以及良好的技术支持,在IP网络中也可实现远距离的块级存储,以IP协议替代光纤通道协议,IP协议用于网络中实现用户和服务器连接,随着用于执行IP协议的计算机的速度的提高及G比特的以太网的出现,基于IP协议的存储网络实现方案成为SAN的更佳选择。IP-SAN不仅成本低,而且可以解决FC的传播距离有限、互操作性较差等问题。
四、结束语
数据的重要性越来越得到人们的广泛认同。未来网络的核心将是数据,网络化存储正是数据存储的一个发展方向。这里我们简要的介绍了几种当前比较流行的网络存储技术,当前网络存储技术还在不断的快速发展,SAN和NAS的融合、统一虚拟存储技术是未来发展的两个趋势。
参考文献:
[1]江小云:浅谈存储技术的发展历程[J].中国科技信息,2005,(15)
[2]周 可 黄永峰 张江陵:网络存储技术研究[J].电子计算机与外部设备,2005,24(2)
[3]范 涛:网络存储技术的研究与应用[J].福建电脑,2008,(6)
存储器电路设计的论文范文
声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。