数据传输技术范文

数据传输技术范文（精选12篇）

数据传输技术 第1篇

1 概述

GPRS的英文全称是:“General Packet Radio Service” (译作“通用分组无线服务”) 。通俗地讲, GPRS是在现有GSM网络上开通的一项高速数据处理技术, 方法是以“分组”的形式传送数据到用户设备。其高速的特性理论上可达171.2 kb/s, 除了速度上的优势外, GPRS还有接入速度快、永远在线、按流量计费等优点。

因此GPRS无线通信很快成为了一种广泛使用的无线通信方式, 主要被用于数据传输, 传输对象可以是GPRS设备之间或者是网络互联设备之间。

2 如何通过GPRS网络收发数据

通过GPRS网络发送数据, 最简单的办法就是使用GPRS数据传输设备DTU (Data Terminal Unit) , 图1为DTU的典型应用方案。

数据通信过程如下:DTU上电后, 首先完成网络注册等初始化工作, 然后自动进行PPP拔号, 再通过TCP/IP协议与位于互联网上的数据中心建立连接, 为用户设备建立一条双向透明传输的无线通信链路。

建立透明通道后, 用户设备便可以通过串口向DTU发送数据, DTU收到数据后将其封装成IP包, 经过GPRS网络及Internet网络发送到数据中心, 数据中心通过网络程序可以获取到这些数据。这个过程也称之为“上行”, 反向过程则称之为“下行”。

整个通信过程虽然看似简单, 但是要想实现DTU的功能并使其稳定可靠地工作, 还是有许多地方需要注意。

首先, DTU中的TCP/IP和PPP协议栈是一套复杂的协议程序, 需要多年的积累才能可靠稳定。而市面上许多GPRS模块中内嵌的协议栈或多或少存在一些问题, 需要用户在使用过程中不断发现和规避。

其次, 抗干扰性能是工业产品重要指标之一, 在硬件设计上需要特别重视。例如防静电、抗群脉冲、浪涌等等, 这都要求在设计过程中要注意干扰源以及干扰作用方式, 并设计出消除干扰的电路或预防干扰的措施, 才能让设备更加稳定地工作。

最后, GPRS设备在长期工作中, 还会遇到许多外界的特殊情况。如信号弱、SIM卡欠费、SIM卡不兼容、无可用网络、通信链路异常断开、服务器出错等, 这些都有可能造成设备故障而且无法恢复, 所以必需针对各种可能出现的故障制定有效的解决方法才能保证设备可靠地工作。

3 快速搭建可靠的无线通信系统

广州致远电子有限公司长期致力于无线数传产品的研发, 推出了一款非常易于使用且稳定可靠、能够适应长期不间断工作的工业级数据传输设备ZWG-28A, 产品外形如图2所示。

(1) 产品特性

大缓存区设计 (收发各30 KB) , 采用动态划分技术, 提高缓存区使用效率;

最多可缓存480帧数据 (每帧64 B) , 适合小数据帧快速连续传输;

每帧可设置为1 024 B长度 (缓存30帧) , 适合大数据量连续传输;

使用西门子工业级GPRS模块;

6 V～25 V宽范围供电;

具有设备电源关断功能, 方便用户控制;

数据全透明传输, 用户无需了解复杂的TCP/IP、PPP等协议;

支持数据中心动态域名或IP地址访问;

支持备用数据中心;

支持APN虚拟专网业务;

支持永远在线、空闲下线和空闲掉电三种工作方式;

支持短信和电话唤醒功能;

支持断线自动重连功能;

具有连接时机可控功能, 节约流量;

支持本地和远程图形化界面配置与维护;

支持短信配置与维护;

支持本地和远程固件升级;

支持数据中心虚拟串口功能, 无缝衔接现有上位机软件;

多重软硬件可靠设计, 复合式看门狗技术, 使设备安全运行。

(2) 内嵌可靠PPP、TCP/IP协议栈

ZWG-28A使用西门子工业级GPRS模块, 内嵌可靠的PPP及TCP/IP协议栈。用户使用DTU时无需了解复杂的协议栈, 只要向DTU的串口发送数据即可。

(3) 动态划分技术的大容量缓存

数据缓存的大小直接影响着用户的收发数据量, 因此ZWG-28A提供了较大缓存区 (收发各30 KB, 可定制扩展至8 MB以上) , 并采用缓存区动态划分技术, 可以高效利用缓存区并提高传输效率。例如, 系统最多可缓存480帧数据 (每帧64 B) , 这样适合小数据帧快速连续传输, 当设置为1 024 B长度 (缓存30帧) , 则适合大数据量连续传输。

(4) 成熟稳固的硬件设计

设备需要长期稳定的工作, 必须依托可靠的硬件电路设计。例如, ZWG-28A在电源方面采取了防反接、防浪涌、过压保护等措施。为了增强其抗干扰性能, 还在通信端子上添加ESD、TVS等保护器件, 同时天线与设备外壳相隔离, 有效地缓解了雷击的影响。ZWG-28A所用的器件均为工业级, 并通过了高低温测试、静电、浪涌、群脉冲等测试, 产品下线后还要经历24小时的老化测试。

(5) 串口数据透明传输功能

ZWG系列DTU提供多种串行接口 (RS-232、RS-485/RS-422、CAN-bus等) , 采用“透明数据通信”的方式与用户的串口设备通信。透明数据通信的意思是用户设备与DTU之间没有通信协议, DTU将用户设备发送过来的数据不做修改地传送到目标PC上, 运行于PC上的软件可以完整地接收到DTU发来的数据包。比如用户设备发送一个字节数据为0xAA, 那么在PC端运行的软件就会收到一个字节数据0xAA。从PC到用户设备的通信过程与之相同。

(6) 支持断线自动重连、自动心跳包、保持永久在线

DTU设备连接上服务器后, 当长时间没有数据通信时, 移动网关将断开DTU与中心的连接。心跳包就是维持连接不被切断的一个小数据包。

(7) 连接时机可控

在网络故障或服务器关闭的情况下, 普通DTU会不停地尝试连接服务器, 导致GPRS流量激增。而ZWG-28A具有连接时机可控的功能, 用户可以根据实际情况灵活设置, 让DTU既可以及时重连上服务器, 又不会产生过大的流量费用。

(8) 灵活的配置方法

ZWG-28A支持三种配置方式, 分别为本地串口配置、远程数据中心配置和短信配置, 而且配置参数掉电不丢失, 上电后DTU就按照配置好的参数自动进行工作。灵活的配置方法可以让系统操作者足不出户就完成系统调整。

(9) 应用方案

数字电视数据传输技术研究论文 第2篇

数字电视数据传输网络有3种传输途径，即卫星、有线和地面，每种传输方式有各自的特点。卫星数字电视广播网络是当前应用最广泛的电视数据传输方式，它集中了数字电视节目信息，利用微波方式经过卫星地面发射站发射到地球的同步卫星上，再由卫星以微波方式发送回地面，最后用户可以通过卫星制式机顶盒接收数字电视信号。由于模拟电视传输网络无法解决多径干扰、噪声积累等问题，所以，人们需要在室外架设天线，但随着科学技术的快速发展，逐渐出现了公用天线系统。近年来，模拟电视光纤宽带数据传输技术快速发展，基于光纤传输的有线电视、广播、网络取得了较大突破，有线电视、广播、网络管理和运营更加方便，采用一地一网或者一城一网的方式，用户可以通过有线制式的机顶盒接收有线电视广播信号，其应用和发展前景广阔。地面数字传输途径是数字电视传播广播信号最重要的途径，利用电视台天线发射无线电视信号，在信号辐射覆盖范围内的用户可以利用天线接收器接收电视信号，收看电视节目，但是，这种传输方式的信号覆盖范围是有限的。

2数字电视数据传输技术

2.1电视信号传输技术

在数字电视的应用和发展过程中，从制作电视节目到用户接收电视信号，主要采用的是数字传输方式，从而全面实现数字化。数字电视视频标准为1080i、720p的分辨率，采用5.1数字格式的音频，电视屏幕的高宽比为9∶16时最佳。近年来，随着我国数字电视技术的快速发展，一些技术项目已经非常完善了，数字电视节目的编辑、制造和储存实现了全高清化。在电视台录制节目的过程中，采用高清摄像机拍摄，然后将这些拍摄的高清图像进行专业的编辑、处理，将其转化为HD-SDI高清数字信号，经过加工处理后完成传输。另外，在这个过程中，可以利用编码器设备对数字信号进行编码压缩，使HD-SDI数字信号适用于卫星传输或有线网络传输。目前，我国高清数字电视信号编码主要采用MPEG-2编码格式，节目宽带需22Mbps，而国际标准是H264编码格式，宽带为7～11Mbps，与国际标准相比还存在较大的差距。将H264编码器技术与ASIC芯片有效结合起来，利用Ambarella公司开发的A系列应用平台，虽然编码质量较高，但是，该芯片的开放性较差，难以实现新功能模块扩展，并且其更新速度较慢。在数字电视信号传输之前，要对数字电视信号编码，之后便可在卫星或有线网络中无损传输。例如，中央电视台的数字电视节目，电视台将数字电视节目传输到卫星上，各地方电视台通过无线信号接收器接收中央电视台的数字电视信号，然后在当地对中央电视台的数字电视信号进行加扰、EPG插入和复用等处理，最后通过同轴电缆输送数字电视信号。这时，用户端可利用机顶盒接收器接收信号，并通过电视机观看中央电视台的数字电视信号。

2.2有线网络处理技术

当前，数字电视信号都是数字化格式，对有线网络来说，信号处理相对比较简单，电视台向有线运营商传输数字电视节目，主要通过2种方式：①卫星覆盖传输模式；②SDH地面传输模式。数字电视信号经过编码处理后转化为传输流格式，由有线前端接收，然后经过VOD、插入、加扰等系统对数字电视信号进行时移和点播处理，再通过QAM调制输送到有线网络，最后传输到用户电视。当前，有线数字电视信号编码处理主要采用MPEG-2编码格式，例如，我国各个省市的卫视台和中央电视台，它们的每个QAM频点可以配置2套数字电视节目，采用H264编码格式的数字电视信号，每个频点可配置4套电视节目。

2.3数据传输中的转码技术

近年来，各电视台的高清数字节目不断增多，电视VOD业务进一步扩展，有线电视频点资源日益紧张。传统MPEG-2编码格式的数字电视信号占用宽带大、频谱利用率低，因此，随着数字电视数据传输中转码技术的快速发展，可将MPEG-2编码格式的数字电视信号转化为宽带占有率较低的H264编码格式的数字电视信号。一般情况下，不同编码格式的数据模块是不同的，将MPEG-2编码格式数据流转化为H264编码格式的难度较大。当前，市场上主要有以下3种转化方案：①码流压缩方式，通过码流控制；②以英特尔CPU和相关软件系统为基础实现转码，比如TAGMCT编码器、EnvivioC4编码器等；③利用ASIC芯片编码，比如H264编码器。

3结束语

数据传输技术 第3篇

2.1 大数据数据库的特点

传统的关系数据库，从其创立至现在，长期占据数据库的绝对统治地位。但是，数据挖掘、商业智能和可视化技术的发展，特别是它们处理非结构化数据的能力，动摇了传统数据库的牢固地位。于是善于处理非结构化数据的种种数据库工具大量产生，这其中必须优先提及的便是NoSQL（意为Not Only SQL）及NewSQL（意为New SQL）两大数据库阵营。

现在随着大数据时代的到来，由Carlo Strozzi开创的NoSQL以其技术上的先进性、方便性得到了越来越多的认可。NoSQL改变了数据的定义范围，其“数据类型”可以是文本、图片、影像、网页，也可以是整个文件；NoSQL数据库是非关系式的、数据间的关系更加复杂、多样，类型和相互关系具有多种扩展可能、存储方式也多采用分布式结构。经过十多年的发展，NoSQL取得了成功，采用NoSQL技术的产品也不断增长，目前NoSQL网站上（NoSQL-database.org）已经收集了150余个相关产品，人们也把采用类似NoSQL结构和原理的数据库统称为NoSQL数据库。

最初NoSQL有意排斥关系数据库的ACID规则和SQL特性（后发现其弱点又在一定程度和一定范围内支持数据的一致性要求和SQL特性）。NoSQL坚持分布式领域的CAP理论，CAP的含义为：

Consistency，一致性。数据一致更新，所有节点访问同一份最新的数据副本；

Availability，可用性。对数据更新具备高可用性；

Partition tolerance，分区容错性。能容忍网络分区。

CAP理论主张任何基于网络的数据共享系统，都最多只能拥有以下三条中的两条。而这种“三取二”的法则以及具体理解与执行的争论就一直存在。想同时满足三者，或者过分强化割舍三者之间联系均会破坏数据系统的效率和效果。32岁便获得加州大学伯克利分校终身教授的Eric Brewer提出了BASE理论（Basically Available， Soft state， Eventually consistent；基本可用、软状态、最终一致性），它用一种更注重可用性、更便于理解的方式解释分布式系统的特点。

NewSQL注意到关系数据库的灵活性不足、数据库互锁机制效率低下的特点，同时也意识到NoSQL不支持SQL所带来的不便，它采用了一种近似折中的方案，既支持SQL并保证一定程度的数据一致性，同时也提供NoSQL数据库的非关系数据处理的扩展功能，因而从产生之初便受到业界的喜爱，相关产品不断涌现。NoSQL和NewSQL常见产品及其分类情况如图所示。

2.2 NoSQL及其发展趋势

在NoSQL潮流中，最重要的莫过于Apache基金会的Hadoop。它是一个领导者，是一个典型的分布式文件系统，是一个开源系统。用户可以在不了解分布式底层细节的情况下，借助Hadoop开发分布式程序，它取得了成功，成为分布式数据处理界的巨兽（Hadoop的Logo就是只大象）。 现在甚至出来了“无分布不Hadoop”——每个传统的数据库提供商都急切地声明支持Hadoop。关系数据库的传统霸主Oracle公司也将Hadoop集成到自己的NoSQL数据库中，Microsoft、Sybase、IBM也加入了收纳Hadoop功能的竞赛中。

第二位领导者，MongoDB，是一个成功的文档处理型数据库系统，它被称为“非关系式数据库中最像关系式数据库的产品”。MongoDB查询功能强大，特别适合高性能的Web数据处理。

Cassandra是这个领域中的一个另类产品，它兼有键值数据库和列值数据库两者的长处，它的查询功能很优秀。虽然运行Cassandra集群难度较高，但它升级后的分析能力使得很多人感到惊讶。

Redis也是相当好的一个产品。对故障恢复的良好支持以及使用Lua的服务器端脚本语言是明显区别于其他软件之处。使用Lua确实带来了一些震动，因为更多的人喜欢和习惯JavaScript服务器端语言。但是，Lua是一个整洁的语言，它并为Redis开启了潘多拉盒子。

CouchBase在可扩展性和其他潜在因素，使其看起来是一个很好的选择，尽管Facebook以及Zynga面临着关键开发者离开的风波。CouchDB会变得更好抑或相反？只要数据库做得好受众就会欢迎，现在看来，它确实做的很好。

还需要提及的是Riak，在功能性和监控方面它也有了巨大的提升。在稳定性方面，它继续得到大家的赞美：“像巨石一般稳定、可靠且不显眼……”。Riak 数据模块化方面做得很有特色。

在图中，涉及了多个维度：关系型的与非关系型的、分析型的或操作型的、NoSQL类型与NewSQL类型的。最后的两个分类中，对于NoSQL有著名的子分类“键值类数据库、文档数据库、图存数据库和列存数据库。对于NewSQL本已建立“存储引擎、簇享数据、云服务”等类别。

最初，NoSQL破坏并引以为荣的特点是它不满足ACID（原子性、一致性、隔离性和持久性），这是它的优点，也是其问题所在。据美国Forrester的统计数据，在企业中的业务数据将有25%是结构化数据。无论是传统企业，还是引领技术潮流的大型网络公司，其数据库体系中都不可避免的共存着传统的结构化数据（如用户的标准信息，数据库元数据信息等），也存在着图片、视频、文档或网页等非结构化数据，所以关系数据库与NoSQL数据库并存将是数据库技术发展的基本面。另一方面，关系数据库、NoSQL和NewSQL都充分认识到了对方的长处和客户需求，每一个新数据处理技术都在“拼命地集成”其他范围数据库中的特性。NewSQL系统实现NoSQL的核心特性，而NoSQL越来越多地试图实现“传统”数据库的功能如支持SQL或在一定范围内“有保留地支持ACID，至少是可配置的持久化机制”。

超宽带高速数据传输技术研究 第4篇

超宽带信号采用冲击脉冲进行信息传输, 由于其占用1 GHz或更宽的频率带宽, 所以能够方便地进行信息的高速传输。目前, UWB技术是通信领域的一个重要发展方向, 已成为国内外通信界近年来关注的热点问题之一。但是高速信息的无线传输不像低速信息调制传输那么简单, 实现时可能会有许多具体技术问题, 例如实现芯片的处理速度瓶颈限制、码间干扰问题和多径影响等等, 制约了其发展和应用[1]。利用多个伪码并行调制传输的方法可以很好的解决这些技术瓶颈, 大大提高超宽带高速数据传输的可靠度。

1 超宽带冲击信号的直接调制传输

重复周期为Tf的超宽带冲击信号表达式[2]为:

式中, w ( t) 为单个脉冲的函数, 令待传输的高速二进制数据为d ( t) , 则根据数据调制的方式不同, 可有调制幅度和调制时延相位2种方式[3]。调幅和调相的表达式[4]为:

式中, τ1为调相方式的时延步进量。这是数据传输的2种基本传输方式, 实际传输时因为抗干扰能力比较差, 高速传输容易造成码间干扰, 所以一般采用直扩方式 ( DS-UWB) 或跳时编码 ( TH-UWB) 方式工作[5]。为了获得更高的扩频增益, 有时要和伪码复合对信号进行调制, 这种调制方式的扩频增益等于脉冲扩频和伪码扩频增益的乘积。基于式 ( 2) 的一种脉冲幅度伪码复合调制表达式[4]为:

式中, PN ( t) 为直扩的伪码。显然, 由于采用了进一步伪码的扩频方式, 数据的抗干扰能力提高了, 但是, 由于采用复合扩频方式工作, 传输符号速率大大降低, 不能满足高速数据传输需要。例如采用1 ns的冲击脉冲, 脉冲占空比为10%, 则采用长度100的伪码 ( 跳时码) 扩频后, 数据传输速率仅为10 Mb- ps。所以必须采用其他措施解决高速传输[7]; 另外即使理论上能够完成直接高速传输, 实际实现会遇到码间干扰和芯片处理的瓶颈。

2 基于多伪码调制的并行传输

为了解决高速传输的码间干扰和降低高速数据的处理瓶颈, 可以采用并行传输技术。采用多伪码并行传输信号形式, 既可以解决高速传输问题, 又可以兼顾抗干扰问题。

2. 1 多伪码并行超宽带信号的调制发射

多伪码并行传输发射实现如图1所示。传送数据之前, 首先将高速数据进行串并转换, 将一路高速数据d ( t) 变为N路并行的低速数据di ( t) , i = 1 - K; 然后将每一路低速数据分别与对应的伪码PNi ( t) 相乘 ( 模2加) , 并将它们之和变成多进制数据后再调制冲击脉冲函数[8]。

发射信号形式定义如下:

式中, PNi ( t) 为K个准正交的PN码之一; di ( t) 为串并转换后的其中一路低速数据。为了保证系统正常工作, 必须使这K个伪码保持一定的隔离度, 或者说, 这K个伪码保证一定程度的近似正交。Gold码是能够满足上述要求的伪码组之一[9], 例如码长1 000左右的Gold码可以保证有23 dB左右的隔离度。

2. 2 多伪码并行超宽带信号的接收解调

多伪码并行传输的接收示意图如图2所示。接收信号含有传输时延和接收机噪声, 其归一化的表达式为:

接收信号首先进行冲击脉冲的相关解扩, 解扩方法与前面的类似; 脉冲相关解扩后的信号, 在与多路伪码分别进行并行相关运算, 解调输出多路并行数据, 然后进行并串转换, 输出高速数据[10]。

2. 3 多伪码并行传输的性能分析

采用如图1和图2所示的多码扩频发送和接收系统, 待传输的信息数据先经过串并转换变成并行K路的低速数据流, 再用不同的扩频序列进行扩频调制, 由于各支路之间保持精确地同步, 理论上采用准正交的扩频码时, 序列之间的干扰几乎为零[11]。

若输入的数据流位持续时间为Tb, 经串并转换, 变成K路并行数据流后, 每位数据的持续时间为T, 有T = KTb。

K组并行数据流中每一路变成了低速率数据, 然后对每一数据支路用一个码元 ( chip) 宽度为Tc、周期为N ( N = T/Tc) 的PN序列进行扩频调制。

设为发送信息位的带宽, B'1= 1 / T为发送数据符号的基带带宽, B2= 1 / Tc为频谱扩展后的信号带宽, 此时系统的扩频因子为:

不失一般性, 考虑任意第i支路, 设P为第i支路接收信号的平均功率, 信号带宽为B2, 则其平均功率谱密度是P/B2, 其他数据流支路对第i支路的干扰信号平均功率谱密度是 ( K - 1) P/B2, 设N0为带宽B2内的噪声和其他外部干扰功率谱密度, 因此, 接收第i数据支路信号的输入信噪比为:

经过接收机解扩处理后, 在支路基带带宽B'1= 1 / T内, 接收数据流支路的平均功率谱密度为P / B'1, 而其他数据流支路和外界干扰信号不被相关解扩, 所以干扰信号的平均功率谱密度保持不变, 因此第i支路接收信号经过相关解扩输出信噪比为:

所以, 系统支路的扩频处理增益为:

分析整个系统, 输入有用信号平均功率是支路信号平均功率的K倍[12], 即KP。则对系统而言, 伪码扩频处理增益为:

3 系统体制可行性试验

对多路伪码超宽带并行传输的可行性进行实物平台试验, 高速4路并行传输或多目标通信发射端基带脉冲波形如图3 ( a) 所示, 超宽带脉冲是重复周期频率50 MHz, 脉冲宽度2. 0 ns。每路传输信息6. 25 Mbps, 4路并行传输25 Mbps。高速并行传输基带信号调制到射频 ( 中心频率5. 55 GHz) 的频谱波形如图3 ( b) 所示, 频谱带宽超过500 MHz带宽。通过实物试验验证了系统体制的可行性。

4 结束语

提出了一种采用多伪码并行复合的DS-UWB高速数据传输方案, 并进行了实物可行性体制试验。该传输方案与DS-UWB系统相比, 在相同的传输带宽下, 信息速率提高了K ( K为并行伪码路数) 倍, 可以实现在一定条件下的高速数据传输, 而且, 提高了高速数据传输系统的抗干扰性能, 当然, 设备的复杂度大大增加。但是, 随着集成器件的技术发展, 这一缺点必定会得到解决。

摘要：为了解决超宽带 (UWB) 高速数据传输中的硬件处理速度瓶颈、码间干扰和多径影响等问题, 可采用多个伪码并行调制传输的方法, 该方法可以有效提高超宽带系统的传输速率, 降低码间干扰和实际工程处理难度。经过对多伪码并行超宽带信号的调制发射、接收解调的性能分析, 并通过实物试验, 验证了其工程可实现性。与DS-UWB系统相比, 在相同的传输带宽下, 提高了信息速率, 但这是以设备的复杂度增大为代价的。

关键词：超宽带,高速数据传输,多路伪码

参考文献

[1]王鹏毅.超宽带传输体制研究[J].无线电工程, 2004, 34 (11) :3-4.

[2]ESHIMA K, HASE Y, OOMORI S, et al.M-ary UWB System Using Walsh Codes[C]∥IEEE Conference on Ultra Wideband Systems and Technologies, Digest of Papers, 2002:37-40.

[3]ADACHI F, SAWAHASHI M, OKAWA K.Tree-structured Generation of Orthogonal Spreading Codes with Different Lengths for Forward Link of DS-CDMA Mobile Radio[J].Electronics Letters, 1997, 33 (1) :27-28.

[4]CONROY J T.Spectral Characteristics of Monopulse Communication Signals[M].Illinois Institute of Technology, Department on Electrical and Computer Engineering, M.S.Thesis, Chicago, IL, 1997.

[5]SCHOLT R A.Multiple Access with Time-hopping Impulse Modulation[J].Military Communication Conf., Boston, MA, 1993, 2 (10) :447-450.

[6]樊祥宁.超宽带无线通信关键技术研究[D].南京:东南大学, 2005:83-84.

[7]余金磊, 冯晓东.多速率调制解调器设计与实现[J].无线电通信技术, 2013, 39 (6) :91-92.

[8]涂春江.超宽带通信收发机研究[D].北京:清华大学, 2005:77-78.

[9]刘悦.TH-UWB无线通信系统多用户检测技术的研究[D].哈尔滨:哈尔滨工程大学, 2010:12-13.

[10]李晓彤.基于Chirp函数的超宽带系统干扰抑制设计与研究[D].济南:山东大学, 2011:27-31.

[11]康晓非.超宽带系统中接收技术研究[D].西安:西安电子科技大学, 2012:41-42.

大数据时代下数据挖掘技术与应用 第5篇

【摘要】人类进入信息化时代以后，短短的数年时间，积累了大量的数据，步入了大数据时代，数据技术也就应运而生，成为了一种新的主流技术。而研究数据挖掘技术的理念、方法以及应用领域，将对我国各个领域的未来带来更多的机遇和挑战。本文就大数据时代下数据挖掘技术与应用进行探究。

【关键词】大数据，数据挖掘，互联网

数据挖掘是一门新兴的学科，它诞生于20世纪80年代，主要面向商业应用的人工只能研究领域。从技术角度来看，数据挖掘就是从大量的复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值和知识的过程。从商业角度来说，数据挖掘就是从庞大的数据库中抽取、转换、分析一些潜在规律和价值，从中获取辅助商业决策的关键信息和有用知识。

1.数据挖掘的基本分析方法

分析方法是数据挖掘的核心工作，通过科学可靠的算法才能实现数据的挖掘，找出数据中潜在的规律，通过不同的分析方法，将解决不同类型的问题。目前常用的方法有聚类分析、特征数据分析法、关联性分析等。

1.1聚类分析法。简单来说聚类分析就是通过将数据对象进行聚类分组，然后形成板块，将毫无逻辑的数据变成了有联系性的分组数据，然后从其中获取具有一定价值的数据内容进行进一步的利用。由于这种分析方法不能够较好的就数据类别、属性进行分类，所以聚类分析法一般都运用心理学、统计学、数据识别等方面。

1.2特征性数据分析法。网络数据随着信息时代的到来变成了数据爆炸式，其数据资源十分广泛并且得到了一定的普及，如何就网络爆炸式数据进行关于特性的分类就成为了当下数据整理分类的主要内容。此外还有很多方法都是通过计算机来进行虚拟数据的分类，寻找数据之间存在的普遍规律性完成数据的特性分析从而进行进一步分类。

1.3关联性分析法。有时数据本身存在一定的隐蔽性使得很难通过普通的数据分析法进行数据挖掘和利用，这就需要通过关联性分析法完成对于数据信息的关联性识别，来帮助人力完成对于数据分辨的任务，这种数据分析方法通常是带着某种目的性进行的，因此比较适用于对数据精准度相对较高的信息管理工作。

2.数据挖掘技术的应用

数据挖掘技术的具体流程就是先通过对于海量数据的保存，然后就已有数据中进行分析、整理、选择、转换等，数据的准备工作是数据挖掘技术的前提，也是决定数据挖掘技术效率及质量的主要因素。在完成数据准备工作后进一步对数据进行挖掘，然后对数据进行评估，最后实现运用。因此，数据挖掘能够运用到很多方面。如数据量巨大的互联网行业、天文学、气象学、生物技术，以及医疗保健、教育教学、银行、金融、零售等行业。通过数据挖掘技术将大数据融合在各种社会应用中，数据挖掘的结果参与到政府、企业、个人的决策中，发挥数据挖掘的社会价值，改变人们的生活方式，最大化数据挖掘的积极作用。以教育行业为例，探究数据挖掘技术在高校教育教学活动中的应用。

2.1在高校管理中的应用。数据挖掘技术在高校管理的内容主要包括：高校招生录取工作、贫困生选定以及优秀生评定等。高校每年的招生工作是学校可持续发展的重要环节，直接影响到高校教学质量以及发展情况。比如数据挖掘技术在高校管理中的应用主要是对学生高考成绩、志愿填报、以及生源来源地等多方面信息进行整理分类汇总。具体步骤是通过进行数据的收集和预处理，建立相关数据模型，采用分类算法，提取和挖掘对用户有用的信息，然后进行数据挖掘的数据存储形式。目前高校数据挖掘技术应用的范围比较广泛，由于高校管理内容比较复杂，因此在其管理内容的每个小部分也开始利用数据挖掘技术进行管理，比如学生成绩管理，课堂教学评价系统等。

2.2在高校课堂教学评价中的应用。数据挖掘技术在高校课堂教学评价系统中的应用主要也是利用关联分析法。首先先对数据进行预处理工作，数据的预处理是数据挖掘技术的关键步骤，并且直接影响着数据挖掘技术的应用效率。数据预处中要将教师的基本信息、教师教授课程以及教师的职称、学历、学生信息以及学生课表相关信息进行数据初始记录。对于教师的评价内容根据高校自身的条件和需求而定，学校教学评价管理部门登录学校教务系统后，将学生所选择的选项对应转换为教师的分值，通过计算机计算总分后得出教师的学期得分。学生对于教师教学的评价在一定程度上也反映了自己的学习情况，如对教师的评价为零分，则说明学生也否定了自己的学习效果。2.3在高校学生信息管理系统中的应用。高校学生信息管理系统中管理要素主要是学校的领导、任课教师、学生以及家长。系统的功能要包括：对不同的用户设置不同的使用权限；对学生的基本信息以及学生浏览管理网站的记录要做到明确记录；各个学院不同专业的学生课程要能准确公布并允许学生根据实际情况修改；成绩管理要能实现大批量添加及修改；还有比如评优活动、党务管理等具体功能。数据挖掘技术在高校学生信息管理系统中的应用主要是利用决策树的方法。学生信息管理的基本数据就是学生入学时填写的基本信息表，内容包括学生的姓名、学号、考勤以及学习成绩等，这些都是学生特有的属性，学生信息管理利用决策树方法就是将学生的这些属性作为决策元素，监理不同的决策节点，实现对学生全方位的考核和评价，完整的了解到每位学生的具体信息。

2.4高校图书馆信息系统中的应用。数据挖掘技术最基本的应用就是通过对现有的数据进行分析来了解学校图书馆现有资源利用情况，为图书馆的未来建设提供可靠数据。数据挖掘技术能够使图书馆资源得到极大程度的优化整合。比如数据挖掘技术可以对检索记录进行整理，将手工数据转变为电子数据记录。其最大的优势就是利用数据挖掘技术更加全面的分析总结数据库资源，帮助图书馆管理人员对于图书馆信息的补充和调整，还能够为高校图书馆的馆藏工作建设提供有效的引导。数据挖掘还能应用于图书馆的多媒体数字资源，多媒体数据挖掘技术能够更为快捷和准确的为读者提供相应的服务。

3.结语

数据挖掘技术是近几年新产生的网络技术，可是它的广泛应用性受到了很多公司以及研究人员的喜爱。这些年来，伴随着时间的推移以及网络技术的不断发展大数据挖掘技术不断的被更新，开发，而且在金融、管理、教学等行业中都得到了广泛的应用。我相信随着网络技术的不断发展，大数据挖掘技术的应用面将会越来越广。

【参考文献】

数据传输技术 第6篇

摘 要：针对双CPU遥控模型直升机机载飞控系统中微处理器间高速可靠数据传输这一关 键性问题，设计了双口RAM数据共享的软硬件，在基于旗语逻辑的令牌仲裁方式下，实现了DSP 和单片机的双向数据通信。测试结果表明，本文所设计的双口RAM软硬件可满足机载飞控系统 双CPU间高速可靠数据通信的要求，数据传输效率高，为后续机载飞控系统的开发奠定了基础， 并对其他多CPU系统数据传输有很好的借鉴意义。

关键词：遥控模型直升机；机载飞控系统；数据传输；双口RAM；令牌仲裁

中图分类号：TN79 文献标识码：A 文章编号：1673-5048（2014）01-0053-04

TheTechnologyofHighSpeedDataTransmission BasedonDualPortRAMinTokenArbitrationMethod

LUYingyue，JIANGJu，WANGXinhua，HANShengnan

（CollegeofAutomationEngineering，NanjingUniversityofAeronauticsandAstronautics，Nanjing210016，China）

Abstract：Forthekeyproblemofhighspeedreliabledatatransmissionbetweenmicroprocessorsin theairborneflightcontrolsystemofdoubleCPUremotemodelhelicopter，thispaperdevisesboththesoft wareandthehardwareofdualportRAMdatasharingsystem，andrealizesthetwowaydatacommunica tionbetweenDSPandsinglechipprocessor.TestresultsshowthatthedualportRAMsystemcansatisfy theneedofhighspeedreliabledatacommunicationintheairborneflightcontrolsystemwithhighdata transferefficiency.Ithaslaidthefoundationforthedevelopmentoffollowupairborneflightcontrolsys tem，andisagoodreferencetodatatransmissioninothermultiCPUsystem.

Keywords：remotecontrolmodelhelicopter；airborneflightcontrolsystem；datatransmission；du alportRAM；tokenarbitration

0 引 言

无人直升机自主飞行控制系统的设计一直是飞控领域的研究热点[1]。单CPU由于其控制能力 和信息处理能力有限，难以满足部分飞控系统实 时性和高效数据处理的要求[2]。因此，本文给出了 一种双CPU遥控模型直升机自主飞行控制机载电 路方案。

多CPU间常采用串行方式进行通信，这种方 法的缺点是传输速率低、数据提取困难[3]。若采用 标准总线结构进行并行数据传输，其硬件结构和 软件协议都比较复杂，开发周期长[4]。对飞控系统 而言，双CPU间快速可靠的数据传输是整个系统 正常运行的基础，而高性能的双口RAM可保证高效的数据传送，其传输速度快、电路结构简单、可 靠性高，能满足多CPU系统的要求[5-6]。在此基 础上，本文设计了采用令牌仲裁方式、基于双口 RAM的双CPU间通信方案，完成了硬件搭建和软 件编程，并进行了性能测试。

1 基于DSP和单片机的模型直升机飞控系 统方案设计

遥控模型直升机机载飞控系统的结构设计框 图如图1所示。其结构按功能模块划分，主要分为 CPU最小系统模块、外扩存储器模块、无线通信模 块、传感器模块和执行器控制模块。本系统充分考 虑了系统接口的灵活性和可拓展性，飞控机硬件 资源丰富、成本低，便于调试。其主控制器采用双 CPU结构：DSP为主CPU，负责控制律解算、导航 算法、飞行管理以及舵面输出等功能；单片机作为 CPU，负责机载设备的信息采集、与地面监控设备 通信等功能；DSP和单片机之间通过双口RAM进 行实时通信。

如图1所示，传感器子系统采集姿态角速度、 线加速度等数据，以数据帧的形式送往单片机，单 片机通过双口RAM将数据传输到DSP，DSP解帧 后即可提取出传感器数据；借助一对相互通信的 无线数传模块，地面站发送控制指令帧给单片机， 单片机通过双口RAM将指令传输到DSP，DSP解 帧后即可提取出指令：获取了必要的数据和指令后 DSP可进行控制律解算，产生PWM脉冲输出至4 个航模舵机，用于控制纵向周期变距、横向周期变 距、总距和尾桨桨距。此外，DSP输出的舵机PWM 占空比可以通过双口RAM传送至单片机，单片机 再通过无线数传模块发送到地面站显示，供地面实时监控用。

由此可见，在以上的飞控计算机工作流程中， 双口RAM是单片机和DSP之间通信的桥梁，双 CPU间高速可靠的数据通信是系统得以正常运作 的关键技术。

2 双CPU间数据通信的硬件设计

作为一种不同于单端口RAM的高速并行传输 芯片，双口RAM配备两套独立的地址、数据和控 制线，数据存取功能与普通单端口RAM相同，存 取速度能满足不同CPU的要求而无需插入等待状 态，允许两个独立CPU同时异步地访问存储单元， 因此在多CPU系统中应用广泛。本文采用IDT公 司高性能CMOS工艺生产的容量4K×16位的高速 双口静态数据存储逻辑器件IDT70V24[7]，可满足 应用需求。endprint

当两侧CPU在同一时刻对双口RAM的同一 内存单元写数据，或对同一存储单元一读一写数 据时，会发生竞争使用现象，此时大多数双口 RAM内部集成的几种仲裁逻辑可以仲裁CPU使用 权，以避免竞争发生。常见的有硬件地址仲裁 （BUSY）、令牌仲裁（SEM）和中断仲裁（INT） 等[8]。芯片自身并不具备以上这些仲裁功能，需要 用户编写软件以配合实现硬件的功能。本文采用 的是令牌仲裁方式。令牌仲裁方式与旗语（Sema phore，或SEM）有关。

2.1 IDT70V24的旗语逻辑

旗语单元是IDT70V24的8个不同于存储单元 的独立标志单元，用作端口间的标志（或称为令 牌）传送，以申明对某一块共享资源的使用权。从 硬件上来说旗语逻辑是8个锁存器，其闭锁逻辑框 图如图2所示。两个D触发器在初始化时均使 SEM输出高电平，等待双方申请SEM。如果收到 一方写入SEM低电平信号，仲裁电路将使该方的 触发器输出端为0，同时继续闭锁另一个SEM输 出端，使其继续保持1。只有当先请求的一方撤销 SEM信号，即写入1，才使得另一方SEM输出端的 闭锁信号得以解除，恢复等待新的SEM申请。也 就是说，任何想使用RAM共享资源的一方CPU首 先要申请令牌，即向SEM写0；然后通过读取SEM 的值以确定是否申请成功。若申请成功，则该CPU 获取了对RAM资源的使用权；若未成功，则表明 另一方CPU获取了令牌且正在使用共享资源，此 时用查询的方式等待另一方CPU释放了SEM后即 可获取对RAM资源的使用权。

旗语单元内部的读写机制能保证在读写周期 间隙系统级竞争现象不会发生。旗语模式下，CPU 间的这种软件握手机制与硬件操作无关，因此为 资源共享提供了最大的灵活度。但需注意，旗语初 始化并不是自动发生的，程序初始阶段要用软件 释放所有要使用的令牌。

2.2 双口RAM与CPU的硬件连接

IDT70V24的引脚接线参照图1所示，电源引 脚和未使用到的引脚没有画出。其片选使能引脚 和旗语使能引脚与CPU的通用I/O口相连；读写 引脚与CPU的读写引脚相连，无需软件控制；本 文中只使用低8位数据，据此设置高/低位数据使 能引脚；每侧各12根地址线和8根数据线分别和 CPU的地址引脚、数据引脚对应相连，以便正确寻 址和读写。

在开始针对飞控系统的特殊应用之前，首先 完成了一个全功能测试，即

（1）测试是否每个地址空间都能正确读写数 据；

（2）使用双CPU对双口RAM的同一地址单 元进行读写，观察双口RAM的通信功能是否正 常。

本文对双口RAM的两种测试方案都编写了相 应的测试代码，并在飞控板硬件平台上进行了测 试验证。结果表明，双口RAM的每个地址单元都 能正确读写数据，且双CPU对同一地址单元的读 写也正确无误。这为下一步飞控系统特定功能的 实现奠定了保证。

模拟遥控直升机飞控板的工作，验证令牌判 优下双口RAM在本系统中实现双CPU间数据通 信的流程，本文设计以下两种实验方案：

（1）单片机通过串口接收地面监控站发送来 的指令帧并解帧，将指令存于双口RAM中；DSP 在定时器中断中从双口RAM里提取出指令，调用 相应的舵机PWM脉冲产生函数，控制某一通道舵 面偏转；

（2）单片机采集航姿传感器AHRS每50ms发 送来的数据帧，于定时器中断处理程序中解帧，将 数据存储于双口RAM中；DSP也在定时器中断中从 双口RAM里提取出数据，以便做解算处理用。

首先分析本文飞控系统CPU间数据传输软硬 件设计的可靠性：

以上方案中，（1）是不定时接收小规模数据， （2）是定时接收大规模数据。实验证明，两者都取 得了满意的效果：方案（1）中，地面站发送对油门 通道的某一指令后，油门通道PWM脉冲输出的波 形能按既定规律变化，这一方案已在试飞中验证 成功，这表明指令帧读取正确；方案（2）中，多次 运行程序，对比单片机收到的数据帧和DSP接收 该数据帧的数组中的内容，发现每次结果两者都 几乎一致，误码率在1%以下，这表明数据帧读取 基本正确。以上说明令牌判优下基于双口RAM的 数据通信是可靠的，数据传输没有出现明显错误。

再来分析本文飞控系统CPU间数据传输软硬 件设计的高速性。DSP部分的程序全速运行时，将双口RAM的写信号接往示波器观察，如图5所 示：图5（a）是读使能和写使能的总线时序，图5 （b）是放大后的某次写使能总线时序。

首先分析图5（a）。图中体现出的是读写信号 之间的时序关系。写使能拉高后，经过不到80ns 的时间进入读使能时序，这对应于测试代码中，写 操作过后立刻进入读操作，在此期间需要经历一 个地址建立时间，估算值为42ns，因此这部分时 序正确。读使能拉低后，经过约500ns的时间进入 写使能时序；测试代码中，读操作过后，软件延时 了约600ns，才进入下一个写操作，故而这部分时 序也是正确的。

再来分析图5（b）。低电平表示写信号使能， 从图中读出其持续时间约为180ns。可以通过计算 来验证：程序中根据DSP外设时钟配置知，读写外 扩RAM时前导阶段（LEAD）、有效阶段（ACTIVE） 和结束阶段（TRAIL）分别为3，7和3个机器周期， 而DSP初始化设置为2分频，其机器周期为6.67 ns，故理论上的写信号使能时间为（3+7+3）×2× 6.67ns=173ns，这表明计算值与实际值相当。endprint

当两侧CPU在同一时刻对双口RAM的同一 内存单元写数据，或对同一存储单元一读一写数 据时，会发生竞争使用现象，此时大多数双口 RAM内部集成的几种仲裁逻辑可以仲裁CPU使用 权，以避免竞争发生。常见的有硬件地址仲裁 （BUSY）、令牌仲裁（SEM）和中断仲裁（INT） 等[8]。芯片自身并不具备以上这些仲裁功能，需要 用户编写软件以配合实现硬件的功能。本文采用 的是令牌仲裁方式。令牌仲裁方式与旗语（Sema phore，或SEM）有关。

2.1 IDT70V24的旗语逻辑

旗语单元是IDT70V24的8个不同于存储单元 的独立标志单元，用作端口间的标志（或称为令 牌）传送，以申明对某一块共享资源的使用权。从 硬件上来说旗语逻辑是8个锁存器，其闭锁逻辑框 图如图2所示。两个D触发器在初始化时均使 SEM输出高电平，等待双方申请SEM。如果收到 一方写入SEM低电平信号，仲裁电路将使该方的 触发器输出端为0，同时继续闭锁另一个SEM输 出端，使其继续保持1。只有当先请求的一方撤销 SEM信号，即写入1，才使得另一方SEM输出端的 闭锁信号得以解除，恢复等待新的SEM申请。也 就是说，任何想使用RAM共享资源的一方CPU首 先要申请令牌，即向SEM写0；然后通过读取SEM 的值以确定是否申请成功。若申请成功，则该CPU 获取了对RAM资源的使用权；若未成功，则表明 另一方CPU获取了令牌且正在使用共享资源，此 时用查询的方式等待另一方CPU释放了SEM后即 可获取对RAM资源的使用权。

旗语单元内部的读写机制能保证在读写周期 间隙系统级竞争现象不会发生。旗语模式下，CPU 间的这种软件握手机制与硬件操作无关，因此为 资源共享提供了最大的灵活度。但需注意，旗语初 始化并不是自动发生的，程序初始阶段要用软件 释放所有要使用的令牌。

2.2 双口RAM与CPU的硬件连接

IDT70V24的引脚接线参照图1所示，电源引 脚和未使用到的引脚没有画出。其片选使能引脚 和旗语使能引脚与CPU的通用I/O口相连；读写 引脚与CPU的读写引脚相连，无需软件控制；本 文中只使用低8位数据，据此设置高/低位数据使 能引脚；每侧各12根地址线和8根数据线分别和 CPU的地址引脚、数据引脚对应相连，以便正确寻 址和读写。

在开始针对飞控系统的特殊应用之前，首先 完成了一个全功能测试，即

（1）测试是否每个地址空间都能正确读写数 据；

（2）使用双CPU对双口RAM的同一地址单 元进行读写，观察双口RAM的通信功能是否正 常。

本文对双口RAM的两种测试方案都编写了相 应的测试代码，并在飞控板硬件平台上进行了测 试验证。结果表明，双口RAM的每个地址单元都 能正确读写数据，且双CPU对同一地址单元的读 写也正确无误。这为下一步飞控系统特定功能的 实现奠定了保证。

模拟遥控直升机飞控板的工作，验证令牌判 优下双口RAM在本系统中实现双CPU间数据通 信的流程，本文设计以下两种实验方案：

（1）单片机通过串口接收地面监控站发送来 的指令帧并解帧，将指令存于双口RAM中；DSP 在定时器中断中从双口RAM里提取出指令，调用 相应的舵机PWM脉冲产生函数，控制某一通道舵 面偏转；

（2）单片机采集航姿传感器AHRS每50ms发 送来的数据帧，于定时器中断处理程序中解帧，将 数据存储于双口RAM中；DSP也在定时器中断中从 双口RAM里提取出数据，以便做解算处理用。

首先分析本文飞控系统CPU间数据传输软硬 件设计的可靠性：

以上方案中，（1）是不定时接收小规模数据， （2）是定时接收大规模数据。实验证明，两者都取 得了满意的效果：方案（1）中，地面站发送对油门 通道的某一指令后，油门通道PWM脉冲输出的波 形能按既定规律变化，这一方案已在试飞中验证 成功，这表明指令帧读取正确；方案（2）中，多次 运行程序，对比单片机收到的数据帧和DSP接收 该数据帧的数组中的内容，发现每次结果两者都 几乎一致，误码率在1%以下，这表明数据帧读取 基本正确。以上说明令牌判优下基于双口RAM的 数据通信是可靠的，数据传输没有出现明显错误。

再来分析本文飞控系统CPU间数据传输软硬 件设计的高速性。DSP部分的程序全速运行时，将双口RAM的写信号接往示波器观察，如图5所 示：图5（a）是读使能和写使能的总线时序，图5 （b）是放大后的某次写使能总线时序。

首先分析图5（a）。图中体现出的是读写信号 之间的时序关系。写使能拉高后，经过不到80ns 的时间进入读使能时序，这对应于测试代码中，写 操作过后立刻进入读操作，在此期间需要经历一 个地址建立时间，估算值为42ns，因此这部分时 序正确。读使能拉低后，经过约500ns的时间进入 写使能时序；测试代码中，读操作过后，软件延时 了约600ns，才进入下一个写操作，故而这部分时 序也是正确的。

再来分析图5（b）。低电平表示写信号使能， 从图中读出其持续时间约为180ns。可以通过计算 来验证：程序中根据DSP外设时钟配置知，读写外 扩RAM时前导阶段（LEAD）、有效阶段（ACTIVE） 和结束阶段（TRAIL）分别为3，7和3个机器周期， 而DSP初始化设置为2分频，其机器周期为6.67 ns，故理论上的写信号使能时间为（3+7+3）×2× 6.67ns=173ns，这表明计算值与实际值相当。endprint

当两侧CPU在同一时刻对双口RAM的同一 内存单元写数据，或对同一存储单元一读一写数 据时，会发生竞争使用现象，此时大多数双口 RAM内部集成的几种仲裁逻辑可以仲裁CPU使用 权，以避免竞争发生。常见的有硬件地址仲裁 （BUSY）、令牌仲裁（SEM）和中断仲裁（INT） 等[8]。芯片自身并不具备以上这些仲裁功能，需要 用户编写软件以配合实现硬件的功能。本文采用 的是令牌仲裁方式。令牌仲裁方式与旗语（Sema phore，或SEM）有关。

2.1 IDT70V24的旗语逻辑

旗语单元是IDT70V24的8个不同于存储单元 的独立标志单元，用作端口间的标志（或称为令 牌）传送，以申明对某一块共享资源的使用权。从 硬件上来说旗语逻辑是8个锁存器，其闭锁逻辑框 图如图2所示。两个D触发器在初始化时均使 SEM输出高电平，等待双方申请SEM。如果收到 一方写入SEM低电平信号，仲裁电路将使该方的 触发器输出端为0，同时继续闭锁另一个SEM输 出端，使其继续保持1。只有当先请求的一方撤销 SEM信号，即写入1，才使得另一方SEM输出端的 闭锁信号得以解除，恢复等待新的SEM申请。也 就是说，任何想使用RAM共享资源的一方CPU首 先要申请令牌，即向SEM写0；然后通过读取SEM 的值以确定是否申请成功。若申请成功，则该CPU 获取了对RAM资源的使用权；若未成功，则表明 另一方CPU获取了令牌且正在使用共享资源，此 时用查询的方式等待另一方CPU释放了SEM后即 可获取对RAM资源的使用权。

旗语单元内部的读写机制能保证在读写周期 间隙系统级竞争现象不会发生。旗语模式下，CPU 间的这种软件握手机制与硬件操作无关，因此为 资源共享提供了最大的灵活度。但需注意，旗语初 始化并不是自动发生的，程序初始阶段要用软件 释放所有要使用的令牌。

2.2 双口RAM与CPU的硬件连接

IDT70V24的引脚接线参照图1所示，电源引 脚和未使用到的引脚没有画出。其片选使能引脚 和旗语使能引脚与CPU的通用I/O口相连；读写 引脚与CPU的读写引脚相连，无需软件控制；本 文中只使用低8位数据，据此设置高/低位数据使 能引脚；每侧各12根地址线和8根数据线分别和 CPU的地址引脚、数据引脚对应相连，以便正确寻 址和读写。

在开始针对飞控系统的特殊应用之前，首先 完成了一个全功能测试，即

（1）测试是否每个地址空间都能正确读写数 据；

（2）使用双CPU对双口RAM的同一地址单 元进行读写，观察双口RAM的通信功能是否正 常。

本文对双口RAM的两种测试方案都编写了相 应的测试代码，并在飞控板硬件平台上进行了测 试验证。结果表明，双口RAM的每个地址单元都 能正确读写数据，且双CPU对同一地址单元的读 写也正确无误。这为下一步飞控系统特定功能的 实现奠定了保证。

模拟遥控直升机飞控板的工作，验证令牌判 优下双口RAM在本系统中实现双CPU间数据通 信的流程，本文设计以下两种实验方案：

（1）单片机通过串口接收地面监控站发送来 的指令帧并解帧，将指令存于双口RAM中；DSP 在定时器中断中从双口RAM里提取出指令，调用 相应的舵机PWM脉冲产生函数，控制某一通道舵 面偏转；

（2）单片机采集航姿传感器AHRS每50ms发 送来的数据帧，于定时器中断处理程序中解帧，将 数据存储于双口RAM中；DSP也在定时器中断中从 双口RAM里提取出数据，以便做解算处理用。

首先分析本文飞控系统CPU间数据传输软硬 件设计的可靠性：

以上方案中，（1）是不定时接收小规模数据， （2）是定时接收大规模数据。实验证明，两者都取 得了满意的效果：方案（1）中，地面站发送对油门 通道的某一指令后，油门通道PWM脉冲输出的波 形能按既定规律变化，这一方案已在试飞中验证 成功，这表明指令帧读取正确；方案（2）中，多次 运行程序，对比单片机收到的数据帧和DSP接收 该数据帧的数组中的内容，发现每次结果两者都 几乎一致，误码率在1%以下，这表明数据帧读取 基本正确。以上说明令牌判优下基于双口RAM的 数据通信是可靠的，数据传输没有出现明显错误。

再来分析本文飞控系统CPU间数据传输软硬 件设计的高速性。DSP部分的程序全速运行时，将双口RAM的写信号接往示波器观察，如图5所 示：图5（a）是读使能和写使能的总线时序，图5 （b）是放大后的某次写使能总线时序。

首先分析图5（a）。图中体现出的是读写信号 之间的时序关系。写使能拉高后，经过不到80ns 的时间进入读使能时序，这对应于测试代码中，写 操作过后立刻进入读操作，在此期间需要经历一 个地址建立时间，估算值为42ns，因此这部分时 序正确。读使能拉低后，经过约500ns的时间进入 写使能时序；测试代码中，读操作过后，软件延时 了约600ns，才进入下一个写操作，故而这部分时 序也是正确的。

数据传输通信技术发展趋势 第7篇

目前, 在网络技术、数字化技术和络管理技术的不断冲击下, 调制解调器在该系统中一统天下的局面已经被打破, 数据传输网络化、数字化.设备智能化, 管理自动化的趋势已初露端倪。主要表现在两个方面:

一是当今通信任务中的数据传输采用点到点数据专用电路方式。这种方式的弊端是通信源浪费严重;中心计算机每增加一个通信对象就要增加一个接口和一条数据电路。这样给数据传输系统的调试、维护和管理带来不便。

二是不具备电路的实时监测功能, 也不能进行集中监控和管理。当出现故障时, 往往不能及时进行故障定位和故障排除。为确保通信任务中电路的可靠性, 需要在任务前对电路行反复的测试和调整, 任务准备时间长, 操作维护人员多。

为彻底解决上述问题, 只能采用新的数据传输体制和新的数据传输技术, 这决定了今后数据传输系统的发展方向。数据传输系统应从现在的点到点专用电路方式向分组交换电路方式过渡。

采用计算机技术和网络管理技术, 建立数据电路的自动监测和集中管理系统, 实时在线监测数据电路的性能, 这样当发现故障时, 才能及时定位故障和排除故障。与此相适应, 数据通信设备应进一步提高智能化水平, 适应电路监测和网络管理的要求。

2 IP技术对今后数据通信发展的影响

从通信技术的发展趋势来看, 所用的通信业务最终必将在一个统一的通信平台上进行。这个平台极有可能建立在IP技术的基础之上。下面对IP技术对数据通信发展的影响作一展望。

近年来, 因特网和基于IP的网络呈现出爆炸性的增长。因特网的成功在于采用IP协议。IP协议是因特网的核心和基础, 其关键是为互联的异种物理网络提供了统一的IP地址, 从而屏蔽了下层物理网络地址的差异性, 统一了异种网地址, 保证了异种网互通。

在公用网上, 数据业务量的增长速度比话音业务量的增长速度快10倍。根据预测, 近几年内, 公用网络上的数据业务量将占80%。在这种情况下, 用电话网络来直接承载数据越来越不合理。

未来占主导地位的通信网应该是数据网络, 用数据网络承载话音、数据、图像等各种业务。IP等技术的出现和普及, 给现代通信网络带来了很大的机遇和挑战。如果说ATM的出现使人们对数据、话音和图像综合的网络平台充满了希望, 那么IP技术的出现使人对未来信息网络结构又有了更深刻的理解。信息技术、IP网络的应用已成为通信网络发展的关键因素。1998年9月, 国际电信联盟标准化部门根据国际电信联盟顾问委员会的意见, 对通信标准化的研究工作进行了重大战略转移, 将第13研究组 (网络总体组) 作为IP相关标准的主导研究组, 全面开展IP相关标准的研究工作, 重点研究IP网络与通信网络的无缝连接、应用/业务的互操作。IP网络与通信网络交互的目的是增强通信网对因特网的接人能力和通信业务的互操作能力, 提供实时的因特网或其他IP多媒体业务, 同时使这些业务具有当今遍布全球的电话网络的一些主要特性, 如速度、容量、易用性、可靠性和完整性等。IP与电信网络交互的最终形式是形成一个集成网络。

未来的网络是信息网络已无可争议, 但对现有的通信网如何演进到未来的信息网络, 却有众多不同的学术观点。不管怎样, IP网络最终离不开现有通信网络环境。IP协议是第三层协议, 这使网络能够通过综合的第三层网络协议, 提供各种不同的应用, 而与各自的物理接口无关。这就需要建立以通信网和基于IP的网络的混合技术为特征的体系结构。从目前研究的情况看, 该体系结构可能有以下几种。

(1) 基于IP网络的叠加体系结构。在这种体系结构中, 端到端传送IP协议。IP协议叠加在下层任何通信网协议上, 如X.25、帧中继、ATM、ISDN等。对于基于IP的网络中的不同部分, 可以使用不同的通信网协议。使用下层通信承载网有两种不同的方案;即透明使用电信承载网和利用电话网j网综合业务数字网作为接人。

(2) 电话业务的互通体系结构。在该体系结构下, 互通在业务一级实现, 通过互通单元提供一种端到端的话音业务。IP协议在互通单元处终止。

(3) 并存体系结构。在这种体系结构中, 基于IP的网络和电信网络以互为补充、协同工作的方式共存。将IP的应用扩展到通信网络环境中, IP的作用将会有所不同。目前, IP应用仅限于传递信息, 将来IP应提供综合的控制和管理功能, 所以未来基于IP的网络可能有基于IP的多媒体网络、综合的控制网络和综合的管理网络等3种应用。从目前和近期的应用来看, IP的主要应用需求是话音、基于IP的应用和非基于IP的应用。基于IP的应用, 具有很强的客户机/服务器的应用机理, 并逐渐被通信公用网所采用。但是基于IP的网络在技术上还存在很多限制。用IP技术完成现有通信网的任务, 无论在业务性能, 还是网络的可扩展性、网络管理、安全性等方面仍有很多技术问题尚未解决。例如, IP网能够较好地支持各种非实时业务, 但由于过去没有考虑IP业务的性能参数如分组的时延、分组错误率、分组丢失率、虚假分组率、吞吐量等, 使得IP对实时性业务的支持能力还不够。IP与其他技术的互通及相互关系的标准化工作距其成熟应用还有相当的距离。

IP技术的迅猛发展使IP网络极有可能成为各种数据通信的平台, 因此应研究IP网络如何满足各种实时性数据通信业务的要求以及IP网络对数据通信业务性能的影响。在数据通信系统领域, 也应不断加强研究和应用IP技术。

摘要：本文介绍了当今数据传输通信的现状及IP技术对今后数据通信发展的影响。以及进一步论述IP技术的迅猛发展使IP网络极有可能成为各种数据通信的平台, 因此应研究IP网络如何满足各种实时性数据通信业务的要求以及IP网络对数据通信业务性能的影响。

关键词：数据通信,IP技术,信息网络

参考文献

[1]曹志刚, 钱旺生.现代通信原理[M].清华大学出版社, 2000

[2]郭彬.数字通信世界[M].2010

数据传输技术 第8篇

关键词：TCP,数据中心网络,以太网,RDMA

0 引言

随着云计算和大数据应用的不断发展, 互联网中的计算和存储服务越来越依赖于数据中心。近年来国内许多学者针对数据中心在不同场景之下的应用也展开了广泛研究[30,31,32,33]。数据中心大多基于成熟且廉价的服务器和以太网设备搭建, 采用广泛使用的TCP/IP协议来完成数据的传输。随着以太网技术的快速发展以及数据中心应用对网络性能需求不断上升, 通常我们通过带宽、延迟和CPU占有率来作为性能指标, 而TCP越来越成为数据传输的性能瓶颈。TCP主要带来两个方面的问题, 首先是数据在网络传输过程中遇到的挑战。TCP的传输控制机制依赖于端到端反馈, 并采用重传机制来实现可靠传输, 对数据中心常见的短流来讲调整过于缓慢;再加上慢启动和丢包时的速率减半带来的流量剧烈变化, 其过于繁杂的算法机制并不适用于数据中心高带宽低延迟的情况, 对于网络性能而言这都是需要提升和解决的问题。另一个方面整个TCP/IP协议栈在主机端都是通过Socket软件实现, 整个数据传输过程需要CPU的参与, 在高包速率情况下会大量占用CPU时间, 甚至使得CPU变成数据传输的瓶颈。另外在Socket的架构下数据会在系统内存、处理器缓存和网卡缓存之间来回进行拷贝, 给服务器的CPU和内存带来严重的负担。这些因素都会造成数据中心网络性能受损, 为此研究者们尝试了不同思路来解决这个问题。首先提出了对TCP协议的优化, Jeonghoon[19]提出了TCP速率调整的算法, Hammann[20,27]提出了ECN标记算法, Tang[21]提出了DMA零拷贝技术等等, 这些对TCP和主机端的改进在一定程度上都改善了传输性能。

为了更进一步提升数据中心网络性能, 本文综述了目前常见的网络性能优化方式, 第二章节论述了在保持数据中心网络整体架构不变的情况下采用硬件实现来提速网络处理能力的典型技术。在第三章节论述了从网络协议优化的角度来针对性地改进数据中心网络传输性能的主要方法。第四章节更进一步论述了将RDMA技术引入以太网架构的主要方案及其特点。最后进行了总结。

1 TCP硬件加速方案

随着以太网的速度提升, 带来更高的带宽, 但是TCP/IP协议是无法满足高带宽下数据中心网络的高带宽、低延迟, 低CPU占有率等需求的, 这些标准也是对网络性能的衡量方式, 而且TCP协议在主机端的处理占用了大量CPU, 当包处理量很高的时候对网络性能影响极大, 在这一部分如果做到进一步优化, 那对网络性能是一个极大的好处, 考虑到硬件的处理速度快, 使用硬件来处理部分TCP协议会对性能有一个极大的提升。

1.1 TCP引擎卸载技术 (TCP offload engine, TOE)

TOE是基于传统以太网结构下的一种TCP加速技术, 由于数据在主机内的来回拷贝, 中断处理给CPU带来过高的负载, TOE技术的中心思想是利用硬件来分担CPU对TCP/IP协议的处理所造成负担, 其做法就是将部分TCP协议迁移至网卡中减少主机上CPU对协议栈的校验和检查等处理的需求, 减少系统总线之间的数据复制, 在处理程序的时候和传统的网卡每发送一个数据包就中断一次不同, 它通过运行一个完整的数据处理进程后才触发一次中端, 以此来减少主机CPU的中断次数, 通过上述的方式TOE大大提升了TCP/IP的效率。

K.Kant[7]对比了使用TOE和不使用TOE情况下网络的吞吐率, 在传输速度越快的网络下吞吐率提升就越明显。

W.Feng[8]在MTU为1500和9000的情况下对比了延迟, 在两种情况下TOE对延迟都只提高了2微秒左右, 但是对CPU的占有率下降非常大。尤其是在多服务器和多流的情况下带宽从无TOE的3000 Mbps上升到7000Mbps.

Jeffrey[9]从基本性能和部署两个问题上描述了TOE并不是很适合现有的网络。作者指出TOE作为一种TCP改进方式无疑是成功的, 但是在实际上性能和各方面因素却导致了他日渐衰退的趋势。

首先从基本性能上来说, 由于TOE是硬件上的实现, 其更新换代的速度可能比不上CPU性能的增加速度, 通过硬件做TCP引擎卸载代价过大, Sarker[10]指出现在的NIC系统产品速度可能还不够快, TOE会影响到真实环境下的性能甚至增加延迟, 同时由于网卡和主机接口的复杂性, 不兼容性, 短时间的TCP连接都会导致浪费额外的性能。从部署上来说, 基于RAM的可用性TOE可能会有些许限制, 使其扩展性受损, 同时由于硬件出现问题导致的错误以及质量问题都很难保证。

1.2 Intel加速技术 (intel acceleration technology, IOAT/IOAT2)

从TOE的思想出发, 使用硬件来减少CPU的占有率是一个可行的方法, 从多个角度去降低整个系统花费对网络性能提升必然更加有优势, IOAT就是为此提出的。

IOAT (intel acceleration technology) 也是Intel为了应对网络I/O瓶颈, IOAT是第一代intel I/O加速技术, 是一种平台化策略, 因特尔I/O加速技术表达了“以应用为中心的服务器观点”, 即I/OAT是将整个平台的整体优化作为解决I/O开销的方案。

Intel I/OAT分析了现有操作系统带来的问题, 提出了从三个方面进行优化:

降低系统开销 (System overhead)

实现流线型内存访问 (Memory access)

优化TCP/IP协议计算 (TCP/IP processing)

IOAT采用增强型的DMA技术, 在主机端加入了TOE的方式, 使得在数据复制时的时间更少以提升CPU的利用率, 同时也对TCP协议进行了改进, 优化数据包的分离, 使得数据得到更快的处理。IOAT的优化是整个系统可能在某一方面优化的力度不够, 但是多个方位同步实现, 确实提供了更加高效的网络数据传输。I/OAT作为一项开源技术对硬件的支持需求很高, 还需要操作系统和特殊的驱动这些都是亟待考虑的问题。

IOAT2在IOAT的基础上增加了多端口, 虚拟化, 网络存储, 应用快速响应, 增加了附加协议, 附加平台级加速, 增加了高级缓存访问 (DCA) , MSI-X终端快速响应等机制进一步优化整个平台的性能。

Intel公司[11]给出了在不使用优化的状态下CPU的利用率, 文中可以看出I/O大小在8KB左右就出现了I/O瓶颈, 系统开销、内存访问和TCP处理对CPU利用率从60%下降到30%, 在使用IOAT技术后, 对比了IOAT和普通以太网下CPU的利用率, 明显可以看出CPU的占有率下降, 而吞吐率上升。Intel公司[12]从性能上对IOAT技术与TOE技术进行了论证与分析, 在吞吐率和延迟上的性能IOAT都远胜于TOE, 这两种基于硬件优化网络性能的方式针对有特殊需求的网络使很有意义的, 但是对于目前传统的以太网而言想要大规模部署代价过于高昂, 研究者期望寻找一种在以太网架构下获得高质量网络的方式。

2 面向数据中心的TCP协议优化

硬件带来的网络性能优化是毋庸置疑的, 但是部署起来过于麻烦, 研究者们更希望在已有的软件基础上进行优化来获得性能提升, 为此首先要了解数据中心的流量结构特征。

数据中心内部常用的网络拓扑如图1所示, 应用数据在节点处来进行频繁交互, 而数据中心的庞大流量会给节点带来巨大的负载, 从而引起丢包, 吞吐量降低的问题, 进而可能会造成连接中断, 延迟上升, 同时数据中心大量采用Partition/Aggregate的工作模式, 高层将自己的deadline分为若干片向下传递, 由下层完成, 而无法完成时则会放弃任务, 这带来的时延代价和响应问题是用户无法接受的。

尤其是在数据中心网络中的短流的比例占90%, TCP Incast现象在高带宽、低延迟, 短流多的情况下更易发生, 造成性能浪费严重。

但是传统的TCP/IP协议是无法保证数据中心的性能的, 由于TCP的“贪婪性”, TCP在发送流量是以尽最大可能交付, 所以很有可能在传输过程中引发拥塞, TCP产生拥塞丢包后会进行重发, M.Allman[1]指出TCP在重传初期会经历慢开始的阶段, 所以数据在传输时发生拥塞导致重传, 会使性能大幅下降, 表现在交换机的队列长度产生震荡。同时因为目前的交换机出于商业考虑大部分是浅缓存交换机, 而且其缓存是在端口间共享, 因此某一个端口的短流很容易因为缺少缓存受到其他端口的大流的影响, 这都会大大增加数据传输在网络的延迟。

而且针对TCP的突发流量其效果也并不好, 所以对TCP协议的改进就显得很重要, 本章详细描述了DCTCP、D2TCP、L2DCT并进行了总结。

2.1 DCTCP

DCTCP使用了一个非常简单的活动管理队列的机制, 仅仅使用了标记门限K这一个参数, 当队列的长度超过门限K就用CE标记这个数据包, 否则就不打标记, 这样发送端就可以根据标记的数据包的比例调整窗口的大小, 当标记的值越多则下一次发送窗口就降低更多。

M.Alizadeh[4]在文中得出的实验结果可以看出, 在1Gbps的带宽下TCP和DCTCP的吞吐量都在0.95Gps左右, 链路利用率都接近100%, 但是DCTCP的队列长度基本保持在20个包左右, 而TCP的队列长度比DCTCP的十倍还要大, 在带宽为10Gbps下TCP算法的队列长度抖动的情况非常严重远远超于DCTCP, 综上DCTCP能实低延迟和和一定突发流量的容忍能力, 在吞吐量上比TCP维持更高且稳定的吞吐量。

DCTCP依赖于ECN标记进行多位反馈, 需要依赖于支持这个功能的商业交换机, 在早期搭建的数据中心中采用的交换机有可能缺乏对ECN功能的支持, 从而影响到DCTCP的部署。

2.2 D2TCP

D2TCP在设计时就明确了两个目标, 不需要调整交换机硬件和支持传统的TCP协议, D2TCP算法通过ECN的标记数量和数据流的截止时间提供的信息通过伽马函数来调节拥塞窗口的大小。D2TCP可以根据截至时间的不同让数据流获得不同优先级, 截止时间比较远的流放弃带宽让截止时间快到的流保证流可以在截止时间内完成传输, 这对有时延要求的流来说效果是显著的。

B.Vamanan[5]得出的实验结果可以看出, DCTCP中的流在传输过程被授予相同带宽, 而D2TCP中的其他流带宽全部下降这样使得第一个流的完成时间缩短, 整个传输过程大约减少了400ms的时延, 对突发数据流的容忍能力和带宽都有一定程度提升, 比DCTCP错过截止时间的比率降低了75%。

2.3 L2DCT

L2DCT也是通过ECN显示拥塞反馈来进行发送窗口的调控同时兼容现有TCP协议。L2DCT通过数据流的大小定义优先级, 通过数据流的拥塞程度和权重来调整发送窗口, 权重取决于以及发送的数目, 这些权重隐式定义了流的优先级, 当流的数据量变大时算法就会将他的优先级调低。由于短流的数量庞大, L2DCT更加关注短流的完成时间, 当长流和短流并存的时候, 长流会放弃自己部分带宽给短流, 通过这种方式来减少数据流的完成时间。

A.Munir[29]中得出的实验结果来看, L2DCT相比于DCTCP数据流传输平均完成时间提高了50%, 相比于TCP协议提高了95%, 错过截至时间的百分率约为TCP的30%, 在突发流量的情况和高负载下长流的性能下长流的吞吐量会下降。

L2DCT和D2TCP都是为了尽量少的deadline miss, 所以牺牲了一部分长流的性能, 对于时延敏感的应用有效, 而不同的应用可能采取别的权重分配方式, 也有人可以将长流分割为短流作为进一步研究方向。

3 基于RDMA的新型协议

3.1 RDMA的技术来源

为了更高效的提高网络性能, 研究者们认为TCP的网络僵化、协议创新困难、配置复杂、流量管理繁琐、安全问题凸显, 服务尽力而为无法保证服务质量。根据摆脱TCP协议、从新的网络架构下获得高质量网络服务的想法, 研究者提出了不基于TCP/IP和以太网的专有网络技术。现在的主流的高速互联网络互联技术有Fiber Channel和Infiniband, 一般专用与存储集群。

Infiniband又称为无限带宽技术, 是一种异于传统网络架构的新体系, Buyya[15]在文中对Infiniband的体系结构做了详细的介绍, IB基于链路层的流控机制和先进的拥塞控制机制可以防止拥塞, 完全的CPU卸载功能, 基于硬件的传输协议, 内核旁路技术都保证了可靠传输, 在IB体系架构里, 网络总线DMA技术以RDMA的形式体现, 服务器之间通过RDMA来实现数据高效的传输, TCA (通道适配器) 结合RDMA技术也在主机端优化了网络性能, 可以使得CPU直接移动其他服务器上的数据, 这可以带来更高的效率和灵活性。

Fibre Channel是一种灵活的、扩展性强的高速数据传输接口, 光纤通道具有很高的传输带宽, 无论是在铜线或者是光纤上数据率大约是现在的通信接口的250倍, 它的目的就是使用最低的延迟最快的速度进行传输, 但是和IB一样安装复杂需要特殊的IB交换机, 可扩展的成本较高, 传输和普适性方面显得很笨拙, 于是研究者们将FC技术和RDMA协议结合起来, 将FC搬迁至以太网实现。

3.2 RDMA技术特征

针对RDMA给IB和FC带来的网络性能提升, 但是却需要特殊的硬件支持, 为了使网络更加具有普适性, 在结合的RDMA技术所带来的优越的特性进行了调研。

RDMA (Remote Direct Memory Access, RDMA) 远程数据存储存取起源于DMA, DMA可以使设备不经过CPU直接和系统内存交换数据, 为了使这种性能能在整个网络中使用, 又将可靠传输协议固化到网卡 (称为RNIC) , 通过这两种途径数据在传输时不经过内核和部分TCP协议直接从源主机的存储区发送到目的主机的存储区, 避免了主机内部之间的重复拷贝, 这也形成了RDMA的两大主要特点, 零拷贝技术 (Zero-copy) 和内核旁路技术 (Bypass) 。零拷贝技术, 使数据在接收发送时直接进入缓存而不需要网络层之间的拷贝。内核旁路技术, 从用户空间直接访问和控制设备内存, 避免了数据从设备拷贝到内核, 又再一次从内核拷贝至用户空间。RDMA的数据拷贝计传输实现流程如图2所示

有CPU的参与, 就减少了CPU的占有率。同时在RDMA中数据处理事离散的消息而不是以一个流的方式, 消除了应用程序区分不同流的信息的需要, 这些特点都使得RDMA成为一种数据移动处理的高效方式, 在低延迟, 高带宽, 低CPU占有率的场景下RDMA的应用非常常见, 比如HPC, Cloud Computing, Storage and Backup system等等由于解放了CPU网络性能得到巨幅提升。

没这些新型的计算机网络模型在网络性能上确实也得到了显著的增加, 但是由于新型体系结构网络模型的更改, RDMA协议在传统的TCP/IP体系下是不支持的, 原有在TCP上的服务因为Socket适合协议端口绑定的原因, 就无法继续在新的体系架构下, 如果想要新的网络模型支持这种应用, 势必需要提供新的Socket, 这样代价也随之而来。但是由于传统TCP体系结构的落后, 导致现在网络的性能很差, 应用数据在网络体系上传输的速度没有达到理想中的需求, 这也逐渐成为网络性能的瓶颈。新引入的RDMA技术虽然能够达到数据传输的需求, 但是由于Socket的不同, 所以可能需要针对这项技术提供专门的RDMA应用, 考虑到应用大规模部署在以太网中, 所以直接革新式的制作新的应用显然代价过于高昂。

从上述的论述中可以得出我们在考虑网络性能的同时也要考虑到现实的应用场景, 随着以太网速度提升至40Gbps以上, 相比于IB和FC的速度也毫不逊色, 所以如果将RDMA协议布置到传统以太网中, 那么无论是网络的性能还是从实用上来说都会得到质的飞跃。

3.3 i WARP (internet Wide Area RDMA Protocol) 技术

传统以太网的从应用处理到操作系统的开销, 网络处理, I/O处理, 线路延迟等一系列流程导致延迟快速积累, 但是随着以太网的提速延迟大大下降, 直逼毫秒级延迟, 完全可以满足现有的网络架构, 如果将RDMA技术布置在以太网上必然能带来性能的大幅提升。

i WARP是一个计算机网络中的协议, 能够通过以太网实现远程数据直接访问。i WARP在设计上就是为了适用于现有的TCP传输, 利用传统TCP协议达到可靠传输, 由于RDMA提供了应用程序到应用程序之间直接通信的能力, 跳过了操作系统, 实现远程内存应用程序的访问, 使得IWARP低延迟变得可能, 同时由于IWARP使用普通交换机就可以完成RDMA, 所以对比Ether fabric这种私有技术和IB特殊的体系结构, 显然更加具有普适性, 但是带来的代价就是, IWARP协议族使用了一个复杂的混合层。

在2007年, IETF发布了五个RFC标准定义i WARP, 如图4所示, 在RFC标准中[22,23,24,25,26]中详细解释了i WARP的协议分工, 在DDP (Data Placement Protocol) 层上定义了远程数据直接存取协议, 这个协议告诉RDMA如何读写数据, MPA层上的DDP定义了如何将数据不通过间接缓存区直接放入上层协议的接收缓存区等。从图3可以清楚的看出有无i WARP协议对整个数据处理的影响。数据直接在硬件部分通过i WARP协议寻址定位到用户空间, 避免了内存拷贝。

i WARP协议主要组件包括了DDP (direct data placement, 实现数据传输零拷贝) , RDMA (RDMA读和RDMA写) , MPA (Maker PDU Aligned framing, 数据单元组帧以确保和TCP的消息边界) , 这种架构使得RDMA在现有的网络中传输变的可能, 由于i WARP是通过TCP/IP的RDMA, 也享受了TCP/IP提供了可靠的通信路径, 支持多地子网寻址功能, 以及TCP/IP带来的可扩展性。i WARP由硬件执行TCP/IP的处理, 从应用里完全提取出网络协议占的处理, 同时由于传统网络对TCP的支持我们在传统网络中部署的应用可以直接使用, 这种方式大大减少了我们在硬件, 资源等方面的消耗。

Rashti[17]在10Gbps以太网下对比了i WARP和Infiniband的性能, 实验显示消息字节在1byte到1Kbyte的情况下i WARP在时延和带宽的性能都是比Infiniband高的。这也说明在高速的网络下即使不适用新的体系结构我们仍旧可以通过RDMA技术来实现性能的提升。而将RDMA应用到以太网上无论从网络性能的角度还是经济适用上都是一个不错的选择。

3.4 Ro CE (RDMA over Converged Ethernet) 技术

随着IEEE提出的数据中心桥接技术 (Data Center Bridging, DCB) , 使得数据链路层性能急剧提升。

由于DCB提供了拥塞控制, 在i WARP的TCP, SCTP和RDDP中提供的拥塞控制功能就变得冗余起来, 在DCB中, TCP慢启动行为能够被减弱或者移除, 因此在DCB中布置一个最合适的协议来减少i WARP的复杂性和布置问题, Ro CE就是在这种情况下提出来的。

IEEE数据中心桥接技术主要包括基于优先级的流量控制 (Priority-based Flow Control, PFC) , 量化拥塞通知 (Quantized Congestion Notification, QCN) 在DCB技术支撑下实现了无损以太网, 以及对RDMA的支持。

Ro CE基于融合以太网的RDMA是一种可以极低延迟在无损以太网络上提供高效数据传输的机制, 由于Ro CE以及Ro CEv2的提出使RDMA更加高效的运行在以太网上, Ro CEV2是对IB协议栈的一种改进和增强, 保留了IB的传输层, 使用IP和UDP封装代替了IB的网络层, 同时使用以太网代替了IB的链路层, 在UDP报头中加入了ECMP, 为了有效的运转Ro CE同时提供了无损的第二层。图5为Ro CE的网络协议栈, 相比于i WARP复杂的网络层, Ro CE的模型显得更加简单。

相比于i WARP, 一个包仅仅观察他的UDP目的地端口的值和IANA分配的端口值是否匹配, 就可以知道他是否为ROCE包, 这种方式在很大程度简化了流量分析和管理。

i WARP使用传统TCP协议栈共享端口, 所以会限制了它的高消费和布置的难度。ROCE包头封装了IP和UDP, 意味着Ro CE可以在L2和L3层运行, 可以在L3层路由可以使RDMA带来构造多子网的功能, 同时由于Soft-Ro CE的布置, Ro CE可以通过软件布置而不需要本地硬件, 这使得ROCE可以在数据中心获得更加灵活的性能。

在文献[18]中Mellanox对Ro CE和i WARP进行了性能的比较, 在消息字节大小为100B的情况下, 平均延迟相差20微秒, 99%的情况下Ro CE的延迟比i WARP低40微秒, 同时Ro CE具有更低的CPU占用率。

4 总结

本文从TCP协议和主机端的数据传输方式分析了传统的网络结构的弊端, 总结了几种高效的网络性能提升的方式.

对当前无线数据传输技术的研究 第9篇

1 无线高速数据传输技术介绍

近年来, 无线数据传输技术的发展速度日益加快, 发展水平也越来越高。无线数据传输技术的基本工作原理是利用固定的无线信号发射器、无线信号处理器, 以及其他一些相配使用的信号接收器和转换器等机器设备, 来进行信息的发送与传递。使用方在进行信息传递时, 只需要根据基本的使用方法来操作终端设备, 将发送信息转换为无线电信号, 信号在发送出去之后会被接收方的终端设备接收, 并转换为相应的信息, 最终达到信息传输的目的。无线数据传输技术的发展经历了一个由高到低的阶段, 从一开始的传播范围小、传播速度低发展到今天的现代化的无线电数据传输技术, 经历了一个翻天覆地的发展变化。

近年来无线电数据传输技术在社会生产中多个行业领域都有了应用与推广, 航海领域、通讯领域、军事领域、抢险救灾领域、医疗治病领域, 可以说无线数据传输技术已经成为我们生活中至关重要的一项信息技术。该技术的应用与推广, 具有重大的积极意义。利用无线电数据传输技术, 信息的传送不再受限于距离、环境的困扰。随着使用范围的日益扩大, 无线电数据传输技术也经历了一系列的变革与创新, 无论是从数据传输设备等硬件配置上还是从无线传输技术等技术层面上, 都有了新的飞跃。纵观将来, 无线电数据传输技术的使用市场是相当广阔的, 在人类社会生产、生活中的作用也将越来越大。

2 无线数据传输技术具体类型

无线数据传输技术经历了较长时间的发展历程, 内在的技术体系也逐渐衍生出了很多技术种类。按照不同的数据传输方式可以分为不同的无线传输技术类型, 每一种无线数据传输技术都有其固定的信息传递途径, 而且有其各自的优势与局限性。以下主要介绍了几种目前使用较为广泛的无线数据传输技术类型。

2.1 GPRS无线数据传输技术

GPRS无线数据传输技术主要是为移动通讯设备与互联网数据系统二者之间提供一种无线性的连接方式, 使移动通讯设备使用者可以通过终端通讯设备就能达到数据传输, 使用网络的目的。GPRS无线传输技术使用最为广泛的就是在手机通讯中, 就目前的社会实际情况而言, 绝大多数的手机都具备利用GPRS无线数据传输技术来进行链接互联网的功能。人们通过简单的操作, 就能实现远距离的数据传输、信息交流。

GPRS无线传输技术主要依靠分组交换的技术来实现数据传输, 实现了数据信息利用的最大化。在使用GPRS无线传输技术的过程中, 用户按照数据使用流量额来进行缴费, 而且基本的数据传输费用也相对比较低, 有效地降低了传统的无线数据传输工作高成本的弊端。此外, GPRS无线传输技术在系统上主要分为移动通信模块和数据通讯处理模块两个部分, 通过对通讯工作与数据传输工作的分离实现了二者的高速化运行, 大大提高了无线数据传输工作的效率。GPRS无线数据传输技术是目前最重要的无线传输技术之一。

2.2 3G无线数据传输技术

在数据的处理上, 相比于传统的无线数据传输技术, 3G无线数据传输技术的信息传播速度更快、数据传送量也有了较大的提升、数据的传送范围也有了较大的扩展。可以说3G无线数据传输技术是现代化科技水平下改良出来的一种现代化无线传输技术。

在技术基本原理上, 3G无线传输技术与GPRS数据传输技术的基本原理是大体相同的, 都采用移动通讯与数据传输结合的模式来进行数据传送。3G无线数据传输技术可以称得上是第三代的移动通讯技术, 结合了前两代信息技术的发展与使用经验, 该技术在数据信息的处理与传送工作上有了极大的改进与创新。

在当下智能化时代到来的背景下, 3G无线数据传输技术的应用越发重要, 结合智能终端设备的使用, 最大程度地发挥了无线数据传输技术的优越性, 真正实现了不同地域、不同环境、随时随地的信息传播与分享。3G无线数据传播技术逐渐成为当下社会中无线数据传输技术的中流砥柱。

2.3 Wi-Fi无线数据传输技术

Wi-Fi无线数据传输技术是近年来兴起的一种新型的数据传输技术, 该技术是立足于蜂窝移动数据流量使用情况较为紧张的背景而产生的, 有效地缓解了传统的无线数据传输技术使用紧张的情况。到目前为止, 越来越多的运营商开始推出允许Wi-Fi无线数据传输的通信服务, 大大地促进了Wi-Fi无线数据传输技术的使用和推广。

Wi-Fi无线传输技术是无线局域网类型中的一种, 基础的工作原理是在一块固定的局域网范围内设置一个网络接入口, 连接到固定的网络系统中, 同时使用无线路由器作为无线信号发射的媒介, 这样, 移动设备使用方在进入该无线局域网覆盖的范围内时, 就能通过连接Wi-Fi无线网来进行数据传输, 以达到顺利上网的目的。

Wi-Fi无线数据传输技术与GPRS网络、3G无线网络相比, 最大的区别就是其数据传输不计数量、无限制额度。而且在数据传输速度上, Wi-Fi无线传输技术有着极大的优势, 能够十分快速地实现各种信息数据的传输与接收。Wi-Fi无线数据传输技术目前正面临着一个新的发展阶段, 正在被大规模地推广使用, 受到越来越多人的认可与喜爱。Wi-Fi无线数据传输技术在将来的无线数据传输领域中必然会发挥出极大的作用。

3 无线数据传输技术中存在的问题

无线数据传输技术在当下的通讯行业中的发展态势是越来越强盛的, 然而, 在关注该技术的积极优势的同时却也不能忽视其发展过程中存在的问题, 只能正确地认识到无线数据传输技术中存在的问题和缺陷, 才能有效地促进这一信息技术的良好发展, 才能提供更强大的服务作用。下面主要分析一下目前的无线数据传输技术中存在的一些问题。

3.1 数据传输信号衰弱

无线数据传输信号衰弱是无线数据传输工作中面临的一种最常见的挑战, 这是在无线数据信号的传输过程中出现的一个问题。基于无线数据传输技术的工作原理, 在使用该技术时主要依靠无线电信号的发射来进行信息传递。区别于传统的有线数据传输和其他信息数据传输方式, 无线数据传输并没有固定的数据传输线路或是传输渠道, 这就从客观上决定了无线数据传输时信号的脆弱性。加之一些数据在进行传输时相隔的距离比较远, 这也就导致了无线数据在进行传送时受到的影响要大得多。因为受到地表各类事物的影响程度不同, 无线数据在传输过程中受到的干扰情况也相对不同。最常见的是无线数据传输信号受到障碍物的干扰这一情况, 无线数据信号在受到干扰物阻碍时, 信号的波长和频率会受到影响, 导致无线数据的传输出现轻微的差错。无线数据信号衰弱是当下的无线数据传输工作中最为普遍的一种问题, 需要采取相应的措施加以避免。

3.2 传输信号受干扰问题

无线数据传输技术中存在的另一个常见的问题是传输信号受干扰的问题, 这也是目前亟需解决的问题之一。尤其是在一些急需使用无线数据传输工作的紧要关头, 传输信号受干扰是一件相当麻烦的事。因为无线数据传输的特殊性, 数据传输基本都是在空中进行的, 这也就导致了数据信号受到干扰的概率大。移动终端设备在进行数据传输时, 会发射出固定的数据信号, 需要另一端的接收设备来接收以实现数据传输。而在这个过程中, 就可能出现传输信号受干扰的情况。导致无线数据传输信号受到干扰的另一个因素是数据信号的差异性, 不同的数据信号波长、频率也都各不相同, 这样在进行数据传输时, 就可能因为信号的特殊性导致传输信号受到干扰, 这样也会造成无线数据传输工作的中断。

4 如何促进无线数据传输技术的发展

针对无线数据传输技术在发展过程中所面临的一系列问题与挑战, 我们应当采取适当的措施加以改进与防范, 尽可能地提高该技术的实际使用效果, 尤其是在配套的无线发射与接收设备的装置与安装上, 要准确地把握质量, 保证无线数据传输工作的稳定性。

4.1 提高无线数据传输网络的配置

提高无线数据传输网络的配置水准, 引进先进技术水平作为支撑。对于无线数据传输工作来说, 传输网络的配置水平是决定数据传输质量的一个重要因素。针对于无线数据传输过程中存在的信号衰弱、信号受干扰的问题, 首要的改进措施就是加强传输网络的建设工作。拥有一个良好的数据传输网络, 能够大大降低无线数据在传输过程中出现故障的概率。作为一个整体性的通讯网络, 提高数据传输网络的配置水准, 能够保证无线数据在长期运作过程中的稳定性。区别于有线数据传输和其他数据传输方式, 无线数据传输的网络是相对比较特殊的, 这也就决定了其独特性和特殊性, 因此在设计无线数据传输网络时, 必然要考虑到多方面的客观要求, 包括数据传输的最大限度、能承载的最大传输频率等。

4.2 改进无线数据传输的方式与方法

有效地提高无线数据传输效果的另一个举措是改进无线数据在传输过程中所使用的转化方式, 尤其是考虑到数据传输的速度与容量。因为使用方的要求不尽相同, 也就导致了无线数据在传输的过程中也面临着不同的情况。因此要提高无线数据传输技术的更新周期。

针对无线数据传输技术在实际生活中存在的一系列问题, 需要采取措施予以改进。首先, 要提高该传输技术的更新周期, 积极引进先进的科学技术。当下的信息技术发展速度较快, 技术更新周期也缩短。因此需要及时将先进的信息技术应用到无线数据传输工作中, 保证该项信息技术的先进性。其次, 还要提高数据处理速度。目前的信息技术系统下, 对各项数据的处理不仅要保证准确性, 还要保证高效性。这就需要提高无线传输的数据处理速度, 保证信息数据能够高效快速处理, 才能提高无线传输系统的工作效率, 保证信息传输的及时性和高效性。

4.3 保证无线传输基站选择的合理性

改进无线数据传输效率的另一个有效措施是保证基站在建设选择工作中的合理性。无线传输技术的正常开展是需要依靠一系列的配套设施来进行开展的, 而无线基站则是最为重要的一个配套设施。基站相当于数据传输的中转站, 能够在远距离数据传输的过程中充当中转的角色, 可以说是发挥着至关重要的作用。因此, 在进行无线传输基站建设时, 一定要选择合适的、科学的、合理的建设位置。保证基站的选择能够实现数据传输工作的效率最大化, 保证无线数据传输工作的正常运转。

5 总结

通过以上对无线高速数据传输技术的发展进程, 其详细技术类型等多个方面的内容的研究与探讨, 我们可以发现, 无线高速数据传输技术在当下通讯领域中的应用已经达到了一个空前强盛的时期, 其将来的发展空间也是相当广阔的。因此, 深入地了解无线数据传输技术的内在特点, 对其发展的优势与存在的问题做出详细的分析, 才能更好地促进无线高速数据传输技术的发展与应用。

摘要：随着社会发展的信息化程度日益增高, 无线数据传输技术在社会生产过程中的作用性越来越突出。本文针对当下信息领域中无线数据传输技术的发展现状做了详细的研究。

关键词：无线传输技术,GPRS,3G,Wi-Fi

参考文献

[1]魏宝刚.对当前无线高速数据传输技术的研究[J].中国新通信, 2014 (13) :64.

[2]吴景志.对当今无线数据传输技术的研究[J].电子测试, 2013 (06) :153-154.

[3]姚秦.测控通信中高速数据传输系统的设计与实现[D].西安电子科技大学, 2013.

[4]蒲文.软件无线电平台中高速数据传输IPC驱动及协议软件设计与实现[D].电子科技大学, 2013.

[5]卞美琴.基于USB3.0接口的高速数据传输技术研究[D].南京理工大学, 2014.

[6]沈琳.无线传感器网络结构与数据传输技术的研究[D].南京理工大学, 2011.

XML解析技术及数据传输分析 第10篇

XML (Extensible Markup Language, 可扩展标记语言) 是互联网联合组织W3C (World Wide Web Con-sortium) 在1998年发布的一种数据传输和交换的标准语言, 其最新版本是该组织在2006年8月推出的1.1版。该语言将SGML (标准通用标记语言) 的功能和HTML的易用性结合在了Web应用中, 扩展性和可验证性较好, 而且易于使用和易于移植。因此, 在SOAP和Web服务领域的成功应用, 使之成为下一代商业计算基础设施的重要组成部分[1]。

XML解析技术和传输作为XML应用的基础一直是XML领域的研究热点。在提高解析性能、降低资源占用、改善XML传输协议等可用性上, 人们做了大量的研究和实践工作。希望能随着XML应用领域的扩展, XML解析和传输的性能能够满足大部分应用的需要。

2 XML解析技术

XML属于说明性语言, 主要目的是正确的存储、传输和处理数据, 数据是纯文本数据, 当开发的应用程序需要读取XML文档中的数据时就需要有XML接口, 该接口将XML文档和目标程序结合在一块, 即该接口将从XML文档中解析提取出的有用信息发送给目标程序, 本文主要介绍两种XML经典的解析技术:DOM和SAX。

DOM (Document Object Model, 文档对象模型) 是W3C组织提出的应用程序官方接口, 可实现对XML文档的随机访问。DOM分析器将XML文档转换成了DOM树 (分层对象模型集合) , 用DOM树中的节点表示XML文档中的内容, 节点包含的信息有节点名、节点类型和节点值等。一个节点还可以包含其他节点, 节点对象模型主要包括文档根部、元素、文档类型、命名空间、处理命令、注释等多种对象模型, 而且这些对象模型实现了表示和操作文档的接口、接口的属性和行为以及接口间的关系或者互操作等。所以DOM在描述了节点相关信息的基础上还提供了操作节点的方法, 因此提供了随机访问机制, 应用程序就是通过对DOM树中节点的操作实现对XML文档的解析[2]。DOM树的结构如图1所示。

SAX (Simple APIs for XML, XML简单应用程序接口) 是XML_DEV邮件列表成员提出的应用程序民间接口。SAX提供的是顺序访问XML文档的内容, 属于事件驱动型。程序员事先定义好事件处理函数, SAX分析器通过触发相关事件并激活其事件处理函数实现对XML文档的分析, SAX在读取XML文档的同时就对其内容进行解析。SAX接口可以通过Java语言或者C++语言实现, SAX接口比较简单, 许多事情都需要应用程序自己处理, 所以其开发者的工作量较大, 因此SAX接口又被称为“简单”应用程序接口[3], SAX分析器的结构如图2所示。

DOM和SAX的应用体系如图3所示。由图可知, 应用程序需要借助XML分析器和其相关解析技术实现对XML文档内容的处理。分析器负责读取和分析XML文档的具体内容, 然后由XML解析技术 (DOM或者SAX) 将前一阶段的分析结果处理后提交给应用程序, 最终实现应用程序对XML文档的访问。

DOM创建DOM树的过程是在系统内存中进行的, 而且需要首先将整个XML文档读入到系统内存, 然后才能实现对文档的处理, 这对系统的内存要求比较高。所以, DOM不适合处理较大型的XML文档。但是DOM的随机访问特性可以提高开发应该系统的灵活性, 而且DOM易于理解。所以, DOM技术适合在对XML文档的修改或者随机访问较多的情况下使用。

SAX只能顺序访问XML文档, 不支持随机访问。SAX只能依序读取并处理文档内容, 不能对其内容进行修改。和DOM技术相比, SAX灵活性不高, 但是因为SAX分析XML文档时不需要将整个文档内容全部读入系统内存, 所以SAX技术对系统内存要求较低, 适合处理较大型的XML文档。因此, SAX技术适合于处理较大型文档时使用。

3 XML格式的数据传输

目前, 支持XML格式的消息传输技术有很多。例如基于XML的远程过程调用 (XML Remote Procedure Calls) 、简单对象访问协议 (Simple Object Access Protocol) 以及消息中间件 (Message-Oriented Middleware) 等。

XML-RPC, 以HTTP作为传输协议, XML作为消息请求的传输主体。XML-RPC把以XML格式作为消息体的HTTP POST请求发送至服务器端, 服务器端将处理后的结果再以同样的格式返回。其主要优点是简单、轻量级, 基于XML的编码增强了可读性, HTTP的传输可方便使用SSL加密并且能穿透防火墙, 但是XML-RPC一般只能用Base64编码来解决中文问题, 对字符编码的支持不够, 而且其Datetime数据类型没有时区[4]。

SOAP是基于XML格式的协议, 是在分布式环境中进行信息交互的协议, 包括以下4部分: (1) SOAP封装, 封装定义了一个框架。主要包括信息内容的具体描述、信息的发送端、信息的接收端和信息的处理方法; (2) SOAP编码规则, 详细说明了应用程序中应该遵循的数据类型的具体规则; (3) SOAP RPC表示, 详细说明了远程过程调用以及应答的协定; (4) SOAP绑定, 使用底层协议交换信息。

SOAP的这4部分在功能上是相交的、彼此独立的。SOAP的主要设计目标是简单性和可扩展性, 而且可以精确的控制序列化和反序列化的过程, 并可以序列化对象的非公共成员。虽然SOAP的功能强大并且比较全面, 但是, SOAP比较复杂, 难以应用[5]。

面向XML的消息中间件通过消息队列完成系统之间的数据交互, 而且允许系统之间的交互是异步的或者是非实时的。异步通信是消息发送方以及接收方在通信过程中不需要了解对方目前所处状态。消息发送方只负责发送消息, 不需要等待消息接收方的反馈, 而消息接收方只负责接收消息, 但不要求必须是实时接收, 通信双方之间是松耦合的、是非阻塞的。

数据传输是实现系统内部数据交换一个重要的步骤, 消息中间件则是实现系统内部业务间的数据共享或者数据交换的基础, 并且可以提供基于同步或者异步等多种数据通信模式, 对系统的管理及后期的扩展具有重要的作用。

4 结语

XML解析和数据传输是XML应用的关键技术之一。文章简单介绍了XML解析技术, 对现有两种经典解析技术DOM和SAX详细分析。经典的解析模型提供了规范的接口, 具有较强的通用性, 有成熟的实现, 能够满足一般的应用需求。其中, DOM的随机访问特性可以提高开发应该系统的灵活性, 具有较好的可用性;SAX技术对系统内存要求较低, 适合处理较大型的XML文档。同时结合XML技术在数据通信方面的优势, 希望能够使XML技术的应用有一个新的突破。

参考文献

[1]XML on Wall Street[EB/OL].[2007-05-30].http://light-house-partners.com/xml.

[2]贾福林, 王国仁, 于戈.基于DOM的XML数据库的索引技术研究[J].计算机研究与发展, 2004, 40 (1) :175-186.

[3]侯双, 王兰成, 田梅, 等.XML Schema数据库优势及XML文档转换[J].上海交通大学学报, 2003, 9 (37) :195-197.

[4]Widom Jennifer.Data management for XML:research directions[J].IEEE Data Engineering Bulletin, 1999, 22 (3) :4452.

探究大数据下的智能数据分析技术 第11篇

关键词：大数据 智能 数据分析

中图分类号：F503文献标识码：A文章编号：1674-098X（2014）04（a）-0021-01

对于数据分析来说，其主要的目的就是通过对数据的分析去发现问题或预测趋势。从数据钻取、大规模分析的技术手段、以及算法执行上来说，大规模分析是和小规模数据在技术上是有很大差异的。想要探究大数据下的智能数据分析技术，首先要对数据分析这一概念进行深入研究。

1 数据分析

数据分析的过程其实简单的说就是做报告，做什么样的报告反映什么样的指标。最开始的时候基本上是data processing。例如零售行业来說，最主要的指标就是库存、销售同比增长情况、利润同比增长情况、促销率等等。对于不同的行业会有不同的相关的KPI需要跟踪，所以报告的内容也会有所侧重，但是只要你一个行业做久了，熟悉了套路之后，基本上就是以同样的方法开展。

对于数据分析，如果公司部门分的比较细的（例如可能有建模组），那么做数据分析可能永远都是做data processing了。对于模型的分析，需要你对业务有了深入的了解就可以建立一些模型出来（例如推荐模型）等等。

数据分析主要涉及的技能：

（1）数据库的能力。越全面越好，如果不是理工科的，最起码要会select那些简单的查询语句。

（2）EXCEL、PPT的能力。报告的呈现一般都是Excel+PPT的形式，最好VBA，这样就可以将很多人工的工作转化为自动化的能力，提高工作效率，领导也对你刮目相看，自己也有更多空余的时间准备其他方面的知识。

（3）市场分析能力。学会观察市场的走向和关注的内容，例如零售行业，现在大家都对CRM很热衷，那相关的分析方法和方式是怎么样的，你要自己去了解。从来不会有人手把手的将所有东西都告诉你，你必须自己学会去增长知识。

（4）一些会计的知识。因为通过以上分析，就是会计管理的一部分内容，最后还是公司盈利问题。有兴趣的也可以去看看战略管理方面的，对于做数据分析也很有好处的说。

综合来看，可以说数据分析=技术+市场+战略。

2 如何培养数据分析能力

理论：

基础的数据分析知识，至少知道如何做趋势分析、比较分析和细分，不然拿到一份数据就无从下手；

（2）基础的统计学知识，至少基础的统计量要认识，知道这些统计量的定义和适用条件，统计学方法可以让分析过程更加严谨，结论更有说服力；

（3）对数据的兴趣，以及其它的知识多多益善，让分析过程有趣起来。

实践：

（1）明确分析的目的。如果分析前没有明确分析的最终目标，很容易被数据绕进去，最终自己都不知道自己得出的结论到底是用来干嘛的；

（2）多结合业务去看数据。数据从业务运营中来，分析当然要回归到业务中去，多熟悉了解业务可以使数据看起来更加透彻；

（3）了解数据的定义和获取。最好从数据最初是怎么获取的开始了解，当然指标的统计逻辑和规则是必须熟记于心的，不然很容易就被数据给坑了；

（4）最后就是不断地看数据、分析数据，这是个必经的过程，往往一个工作经验丰富的非数据分析的运营人员要比刚进来不久的数据分析师对数据的了解要深入得多，就是这个原因。

3 大数据

大数据就是通过统计分析计算机收集的数据，在人们可能不知道“为什么”的前提下，了解到事物的状态、趋势、结果等“是什么”。

对于大数据，一直来说，数据规模导致的存储、运算等技术问题从来不是最重要的瓶颈。瓶颈只在于前端数据的收集途径，以及后端商业思想引领的模型和算法问题。早期的各类OLAP工具已经足够了，后来类似海杜普这样的研究则彻底降低了分布式数据的架构成本和门槛，就彻底将大数据带入了一个普及的领域。

从技术层面说，大数据和以前的数据时代的最大差异在于，以前是数据找应用/算法的过程（例如各大银行的大集中项目，以及数据建仓），而大数据时代的重要技术特征之一，是应用/算法去找数据的过程，因为数据规模变成了技术上最大的挑战。

大数据的特点：

（1）大数据不等同于数据大，我们处理问题是根据这个问题的所有数据而非样本数据，即样本就是总体；不是精确性而是混杂性；不是因果关系而是相关关系。

（2）大数据应用的几个可能：当文字变成数据，此时人可以用之阅读，机器可以用之分析；当方位变成数据，商业广告，疫情传染监控，雅安地震时的谷歌寻人；当沟通变成数据，就成了社交图谱。一切都可以量化，将世界看作可以理解的数据的海洋，为我们提供了一个从来未有过的审视现实的视角。

（3）数据创新的价值：数据的再利用。例如重组数据：随着大数据出现，数据的总和比部分更有价值，重组总和和本身价值也比单个总和更大；可扩展数据：在设计数据收集时就设计好了它的可扩展性，可以增加数据的潜在价值；数据的折旧值：数据会无用，需淘汰更新；数据废气：比如语音识别，当用户指出语音识别程序误解了他的意思，实际上就有效的训练了这个系统。

总之，大数据是因为对它的分析使用，才产生和体现它的价值，而不是因为其用到了突出的技术和算法才体现了它的价值。

4 大数据下的智能数据分析

在大数据的背景下，必须考虑数据之间的关联性。一个单独的数据是没有意义的，实际中，选择处在两个极端的数据往往更容易找出它们之间的联系，把它们放在一个框架中看才能发现问题。因此，可以用以下四种方法在大数据背景下进行智能数据分析：

（1）从解决问题的角度出发收集数据；

（2）把收集的数据整理好，放入一个框架内，并利用这个框架帮助决策者做出决定；

（3）评估决定与行动的效果，这将告诉我们框架是否合理；

（4）如果有新的数据出现，我们将考察能否利用它对前面三步做出改进，以及我们今天是否还需要收集更多种类的数据。

5 结语

数据分析的最终目的是帮助业务发现问题并解决问题，提升公司价值，而这些是从数据发觉的，而不是盲目下结论。每家公司都有自己业务生产的数据，通过数据分析、同比环比、漏斗分析及模型等，发现业务上存在的问题，帮助公司业务的优化。

参考文献

[1]李贵兵，罗洪.大数据下的智能数据分析技术研究[J].科技资讯，2013（30）.

[2]魏凯.大数据的技术挑战及发展趋势[J].信息通信技术，2013（6）.

高清数字电视数据传输技术分析 第12篇

关键词：高清数字电视,数据传输,优缺点,标准

我们知道, 曾经的DVD时代给我们带来了在VCD时代无法享受和感知的视听效果, 如今, 在一代又一代科技创新和科技革命的带领中, 高清数字电视已经走进了千家万户。HDTV是数字电视的进一步发展, , 其技术完全来源于数字电视, 目前, 高清数字电视和数字电视都采用了数字信号而非模拟信号来传输数据, 这就使得高清数字电视有了更加高清, 又标准的视音频。

一、高清数字电视数据传输的分类

高清数字电视数据传输技术主要是通过有线传输, 地面传输和卫星传输三种主要的方式进行数据传输的, 并结合了多种技术, 如计算机技术, 网络技术, 电子技术和数据传输技术等等。下面我简要的介绍一下这些技术的核心思想。

(一) 通过有线传输的高清数字电视

中国的电视产业起步晚于世界发达国家, 但是我国的有线数字电视的基础较好, 有线传输技术普遍采用双绞线, 同轴电缆和光纤作为传输介质, 他们都有各自的优点和长处。有线传输的成本低廉, 适应性好, 扩展性好又能是设备维护荣易于实现。欧洲的DVB标准相当复杂, 但是, 却能很好的接受信号, 无论是在室内还是在移动过程当中。

(二) 通过地面传输的高清数字电视

有线传输技术和卫星传输技术的传输环境与物理中理想状态下的白噪声的环境是很相近的, 往往设计出一个好的信号调制方式和信道编码都是参照理想状态下白噪声的模型设计出来的。但是, 地面传输所需要的环境肯定营造不了理想状态下的白噪声的模型出来, 也就使得地面传输不能使用任何的信号编码调制技术。

(三) 通过卫星传输的高清数字电视

在过去十多年里, 越来越多的视频内容向着高清晰格式转换。我国均采用的是DVB-S标准系统。可惜, DVB-S标准如今已被证实在带宽分配中存在着严重的问题。

二、高清数字电视数据传输技术的特点

高清数字电视数据传输是模拟电视升级, 也是数字电视的最高标准。与模拟电视相比, 数字电视有很多的优点:传输效率高, 图片清晰度好, 也可以与计算机相衔接, 便于存储、检索、共享, 应用范围广。但是也存在解析码的错误, 语音和图像的不同步等等问题抗干扰、质量损失小等等。

(一) 传输效率高。

数字电视的频道数是成倍增加的, 在采用了数字电视数据传输技术的系统中, 可以传送的电视频道数远远超出在视频压缩光盘和数字通用磁盘中所能传送的节目数量。相当于数字压缩光盘中能传送的500套电视节目。

(二) 高清晰画面。

数字电视在传输过程中音频质量高, 扛干扰能力强, 数字电视采用的是二进制信息, 在传递信息和加工处理信息的时候很少受到干扰, 数字电视信号在传输过程中不会出现噪音积累效应, 几乎完全不受噪音干扰, 电视信号的强度衰减与失真度很低, 电视画面十分逼近演播室水平, 充分满足人们感官的需求。

(三) 兼容性强。能兼容现有的模拟电视机, 通过在普通电视机前加装数字机顶盒即可收视数字电视节目。

总之, 数字电视替代模拟电视的趋势是现代科技发展的必然结果, 广播电视数字化提高了节目质量, 增加了传送容量, 扩大了服务领域, 拓宽了发展空间, 在节目质量, 内容形态, 服务方式, 盈利模式等方面发生了革命性的变化。

三、高清数字电视数据传输技术的技术突破

(一) 光纤通信技术。

光纤通信技术为高清数字电视数据传输提供了便利。它是以光纤为传输媒介, 光波为载波的通信方式。光波作为电磁波的一种, 频率的数量级是1014Hz, 这就使得光波的通信量要比微波的大。

在科技不断发达的今天, 人们对通信的要求也在逐步提高, 70年代初, 光纤开始使用, 光纤技术的产生就轰动了世界, 未来我们也将长期使用光纤作为传输媒介来快速高效的传送信息。目前, 有些发达地区已经实现了光纤到小区, 光纤到户。

对于光纤技术来说, 人们一直不懈的追求着超大容量, 可以传输更多的信息。同时也要求超快速度, 能快速上传并下载所需要的信息。对于距离的要求也在逐步提高, 希望传送的距离越远越好, 那么, 全光网络也就是新技术的目标。全光网络是光纤通信技术的最高和理想的状态, 借助光节点从而替代以往普遍使用的电节点, 实现信息均以光的形式传输。这一技术正在实验室模拟和研究当中, 希望尽快找到类似的媒质实现此设想。

(二) 3TNET通信技术。

3TNET技术是目前出现的又一个划时代意义的技术, 3TNET是高性能宽带信息网的简称, 是指T比特的交换、T比特的路由、T比特的传输。

高清数字电视的核心系统是数据传输信号系统, 它不但能够改善信号兼容性, 还能提高数字电视的清晰度, 而且还确保了对数据信号系统的完全接收。

高清数字电视仍在不断的发展当中, 越来越多的技术也正在不断涌出, 以上只是挑选了目前正在使用的被人们普遍关注的技术做出阐释, 当然, 未来的新的技术和产品会给数字电视带来更加大的提高。

结语

伴随着信息技术的不断变革更新, 高清数字电视也在不断对自身的标进行完善和提高。根据目前世界上人们对于高清数字电视数据传输技术的使用情况来看, 欧洲的DVB标准是使用国家和地区最广泛的, 远远超出了美国的ATSC标准, 其中, 我国也是DVB标准的忠实用户。如今, 人们对于电视的要求也在不断的提高, 大量的公司正在加速对高清数字电视数据传输技术不断的研究改进。目前, 也取得了一点小小的成绩, 多载波技术 (OPDM) 成为当下新兴的核心技术。我想, 高清数字电视数据传输技术还会有更大的突破。希望技术越来越先进, 不断满足人们对于技术的需求, 与此同时, 能带给人类更多的便利。

参考文献

[1]陈燕莉.数字电视技术与发展研究[M].北京:清华法学出版社, 广电总局检测数据处理中心, 2006.