红外图像处理范文
红外图像处理范文(精选10篇)
红外图像处理 第1篇
关键词:RapidIO,多路图像,QDR2,交换网络,FPGA
电子设备之间的图像数据传输率越来越高,尤其在多路图像传输处理系统中,需要高速的数据传输及存储速度,来实现数据实时并行处理,现代军事电子技术发展至今,基本上经历了分散、联合、综合到高度综合这四个阶段。以往多输入视频系统往往采用LVDS接口的板间互连或多设备间的以太网连接,这些总线的瓶颈在于数据传输速度低、分机设备繁多,难以满足多输入视频设备的小型化、实时性要求。
文中介绍的基于Rapid IO协议的多路图像高速处理平台,采用Rapid IO网络+高速并行存储器QDR2 的架构,很好地满足了多路图像并行处理的实时性要求,可广泛应用于嵌入式图像处理系统中。
1 系统组成
系统的硬件架构如图1 所示。系统以FPGA+DSP为核心,采用Rapid IO网络互联的方式,FPGA器件选用Xilinx公司的Virtex5系列的XC5VSX240T,该芯片不仅含有丰富的逻辑资源和I/0资源,其并行处理架构,可实现多路图像数据的并行处理,而且内嵌了Rocket IO GTP收发器模块,可采用Serial Rapid IO协议,实现大容量数据的高速传输。DSP选用TI公司基于Key Stone架构高性能的超长指令字(VLIW)架构芯片TMS320C6678,片内有八个内核,每个核频率为1.25 GHz,单核每秒高达40 GB MAC定点运算和20 GB FLOP浮点运算能力,工作速度可达10 GHz,可同时实现多幅图像的算法实现。大容量存储芯片采用容量8 MB的可双端同时读写QDR2 芯片和单端的DDR2 芯片。
系统中三路红外图像通过Camlink接口输入,每路输入带宽为250 Mb/s。三路图像可同时输入,FPGA将三路图像分时打包后从QDR2 的一端存入缓存,图像算法处理单元需要时,只需从QDR2的另一端读出所需数据,不会与图像数据缓存端缓存数据相冲突。DDR2 可以作为多帧图像缓存或者算法处理中间数据的缓存。TMS320C6678 通过Rapid IO总线接收来自FPGA的多路红外图像数据,并统一调度各个内核协同工作。
2 Rapid IO总线接口
Rapid IO总线是新一代高速互连技术,采用3.3 V LVDS接口电路,支持1x/4x串行接口。1x链路支持一对串行差分通道,波特率可以配置为1.25 Gbps、2.5 Gbps、3.125 Gbps[1]。在4x链路模式下,Rapid IO提供四对并行收发器,因此数据传输速率最高可到达10 Gbps。
串行Rapid IO互连架构是一个开放的标准,该架构包括三层层次结构[2],如图2所示。
Rapid IO系统多采用基于交叉交换的拓扑结构[3],其中FPGA、DSP分别作为网络的一个结点,设备间不是直接连接而是通过交换芯片互连,任意两个端点设备间为对等关系,可以方便进行数据交换和并行运算。
在以交换芯片为核心构建的Rapid IO互连系统中,Rapid IO采用源路由方法路由事务,报文传输层包含有源设备指定的目的地址,交换机中包含路由表,通过查找路由表确定输出路径进行路由而确保包的正确传输[4]。这种路由方法使得系统中的多个设备可以并行通信,有效地提高了系统效率和可靠性。 Rapid IO交换芯片选用Tsi578,它是Tundra公司推出的第三代SRIO交换芯片,支持高达80 Gbps的聚合带宽,具有八个4x端口,每个4x端口可以配置成两个独立的1x端口,支持1.25 Gbps、2.5 Gbps、3.125 Gbps三种传输速率。SRIO的路由和交换是通过每个端点设备的ID号来实现的,每个端点设备都会分配一个唯一的ID号,当一个端点发出一个数据包时,在它的包头中包含有目的终端的ID号和发送源端的ID号。
Tsi578 交换芯片的每个端口上都有一个交换路由表,根据路由表就可以决定此数据包由哪一个端口送出。Tsi578为每个端口提供了寄存器设置来完成端口的配置。通过每个端口的寄存器可以使能端口、设置端口1x或4x的工作模式及端口的速率。 Tsi578 的每个端口都设有“RIOPort x Route Config Dest ID CSR”和“RIO Port x Route Config Out⁃put Port CSR”寄存器,前一个寄存器指明进入该端口的Rapid IO包的“目的ID”,后一个寄存器指明接收到该ID的包路由的端口。对每个端口对应的这两个寄存器进行连续的初始化操作,即可完成该端口查找表的配置。
设计FPGA需要实现两个4x Rapid IO全交换。下面结合实际的Rapid IO交换模块具体说明。
FPGA逻辑的SRIO部分包含Initiator( 主端) 模块、Target(从端)模块、Maintenance(维护)模块、Man⁃agement管理模块[5]。Initiator(主端)模块、Target(从端)模块作为FPGA的传输控制部分,可以向任意Rapid IO节点发送以下几种传输格式包信息:NWRITE(写操作)、SWRITE( 流写)、NREAD( 读操作)、Message passing( 消息传递)、DOORBELL(门铃)。FPGA节点逻辑框图如图3所示。
3 多Camlink图像输入接口
每路探测器图像采用Base模式的Camlink接口输入,包含四路LVDS差分数据和一路时钟数据。根据所用FPGA引脚数量可接入多路采用Camlink接口的红外图像探测器,本系统为三路输入图像,输入图像在FPGA内部经过解码缓存后转换为串行数据发送到Rapid IO局域网络。
4 QDR2快速缓存单元
QDR2 RAM是一种特殊结构的SRAM,它的读写端口是分开的,有两套读写数据总线[6]。地址是读写共享的,对BURST长度为4的QDR2来说,读地址在时钟CK的上跳沿锁存,写地址在时钟CK的下跳沿锁存。 它的这种结构消除了数据总线的turn-around的必要,延迟更小。可近似实现数据的同时读写。文中选取Cypress公司的CY7C1515KV18芯片,存储空间为8 MB[7]。
为了设计好存储器的接口控制器,Xilinx公司推出了MIG(memory interface gen-erator)工具,即存储器接口控制的IP核,它可以支持DDR、DDR2、QDRII等架构的存储器。该工具的优点是用户只需编写用户端程序,无需关心端口时序等外部RAM事项[8]。
MIG核生成的内部逻辑对用户开放的写接口如图4 所示。用户只需编写基于FIFO的写时序逻辑,如图5 所示。MIG核的读时序与写时序结构类似。
5 逻辑处理
FPGA接收的各路图像数据,以行为单位经内部缓存后发送至图像预处理单元,预处理后的各路图像由分时复用控制逻辑分时发送至QDR2存储单元存储。在QDR2内部各路图像分别对应固定的存储空间。当其中某一路图像存储完成后分时复用控制逻辑产生中断,通知QDR2 的读出逻辑读出所需图像并对图像进行算法处理,处理完成后将处理结果及图像发送到Rapid IO网络,通过Rapid IO路由后发送至各DSP内部各处理单元。FPGA实时处理逻辑框图如图6所示。
6 功能验证
系统是为解决多路红外图像的实时传输处理而设计的,所以通过对三路红外图像的实时拼接显示进行验证。
系统前端接入三路红外图像,拼接完成后通过基于光纤的FC传输至显控终端并显示。三路探测器原始图像如图7所示。拼接增强后图像如图8所示。拼接图像视场为180°×60°。
7 结论
针对多图像大数据的传输处理需求,提出了基于Rapid IO网络互联的高速数据互联模块,该模块以FPGA+DSP为核心,实现了基于Rapid IO网络的多路红外图像的传输处理,经实测最高数据速率达到2 Gb/s。该模块结构简单,易于硬件实现,并且该模块具有通用的Rapid IO总线接口,可以方便地集成到更大规模的系统中。
在多路红外图像处理嵌入式系统中该模块得到了应用,获得了比较好的实时三路拼接图像。证明该设计能达到预期的效果,各项性能指标可满足应用需求。
参考文献
[1]王建,高莹.无专用测试接口设备的TPS设计[J].光电技术应用,2015,30(3):45-48.
[2]王培利,陈伟.一种双路图像融合处理系统的设计[J].光电技术应用,2015,3(2):61-65.
[3]杨卿.Rapid IO高速互联接口的设计研究与应用[D].成都:电子科技大学,2009.
[4]Sam Fuller.Rapid IO-The Embedded System Interconnect[M].USA:John Wiley&Sons Ltd,2009.
[5]全青松,余厚全.嵌入式视频监控终端的设计与实现[J].光电技术应用,2010,25(6):53-55.
[6]张晟翀.一种红外图像伪彩色显示算法及其硬件设计[J].光电技术应用,2014,29(4):50-53.
[7]杨居朋,王军民,刘迪仁.基于线性光耦HCNR201双极性信号隔离电路[J].光电技术应用,2009,24(6):51-54.
[8]陈楚,张雅虹,黄春晖.高速差分光电检测电路的设计[J].光电技术应用,2008,23(1):45-49.
[9]程佩青.数字信号处理教程[M].北京:清华大学出版社,1995.
红外图像处理 第2篇
首先提出了基于模型表示的红外图像增强算法,然后用遗传算法实现该增强算法并进行了计算机仿真实验.实验表明,该算法是可行的和有效的.,并且优于Wiener滤波的效果.
作 者:李宏贵 李兴国 李国桢 罗正发 Li Honggui Li Xingguo Li Guozhen Luo Zhengfa 作者单位:李宏贵,李兴国,Li Honggui,Li Xingguo(南京理工大学电子工程系,210094)
李国桢,罗正发,Li Guozhen,Luo Zhengfa(昆明物理研究所,650223)
红外图像处理 第3篇
关键词:绝缘子;红外图像;二值形态学;Hough变换;自动提取;铁帽;纹理特性
中图分类号:TP301.6;TM85文献标识码:A
绝缘子被广泛应用于输电线路中,是输电网络的重要组成部分.因此绝缘子的状态检测将是一个繁重的工作.相较于传统的人工登杆巡线检测方式,利用红外热像仪进行巡线拍摄[1],并使用图像处理技术自动检测故障的巡线方式更为高效[2],是目前智能巡线检查的主要发展方向.
同串绝缘子污湿状态相似,环境因素也一致,因此各绝缘子承载电压基本一致、发热情况也基本相同,同串才有可比性.正常绝缘子串以铁帽为主要发热中心,其温度分布和电压分布规律相似,也呈现不对称的马鞍型,但相邻绝缘子温差很小.低值绝缘子发热比正常绝缘子温度高,零值绝缘子发热比正常绝缘子温度要低,而表面污秽绝缘子其热像特征以瓷盘面为发热区,表现为瓷盘温升偏高而铁帽温升正常[3].因此,获取绝缘子盘面和铁帽区域的信息至关重要,而红外图像中绝缘子的自动识别提取则是其中的基础步骤.
目前有基于航拍图像的绝缘子提取方法,但航拍图像和红外热像图像有本质的不同,航拍图像保留了绝缘子本来的外貌特性和性质,如颜色.而红外热像图像是基于温度的信息.对于绝缘子的零低值检测温度才是最关键的信息.
1模型的构建
劣化绝缘子的红外识别主要由图像处理、特征集提取以及模式识别这三部分组成.
图像处理是在兼顾运行速度的前提下,采用合适的算法将绝缘子串有效地分割出来;特征参数的选取必须能反映出串中正常绝缘子与劣化绝缘子之间的差异;模式识别主要采用人工智能算法,通过挖掘特征参数所含信息来判断是否含有劣化绝缘子.图1为识别模型流程.
2绝缘子自动提取的基本原理
瓷质绝缘子的红外图像具有以下4个特征[7]:
1)瓷质绝缘子为轴对称结构,由铁帽、钢脚和瓷盘面3部分组成;
2)红外图像中的单片绝缘子盘面常呈现为椭圆形状,铁帽呈等腰梯形;
3)绝缘子一般成串出现,其数量随着输电线路的电压等级而不同,一般110 kV输电线路为7片,220 kV输电线路为14片;
4)同串绝缘子一般由同一型号、物理外形相同的绝缘子组成,在红外图像中表现为尺寸基本一致,且等间距排列.
基于绝缘子串的上述特征,本文提出绝缘子红外图像目标区域自动提取的方法,其流程图如图1中右半图所示,实现了自动提取绝缘子盘面和铁帽区域的功能,整个提取过程包括红外图像预处理、特征点提取、角度校正和区域提取4个部分.
2.1灰度化和去噪
在YUV颜色模型中,Y分量表示的是亮度;将RGB颜色转换成YUV颜色,只取其中的Y分量,即可表示为灰度图像.如下式[8]:
[Y U V]=[R G B]0.299-0.1480.6150.587-0.289-0.5150.1140.437-0.100
f=Y=0.299R+0.587G+0.114B
红外热像图像具有大噪声、低对比度的特点,普通的滤波方法虽能滤去部分噪声,但同时也模糊了图像本身,丢失了图像的部分边缘和细节.因此,本文采用自适应平滑滤波算法对其滤波去噪[9].
2.2OTSU分割
OTSU算法也称最大类间差法[10],是图像分割中阈值选取的最佳算法,计算简单,不受图像亮度和对比度的影响.本文将采用该算法确定阈值T,然后对其进行二值化处理:
2.3二值形态学
数学形态学中二值图像的形态变换是一种针对集合的处理过程.将二值图像看成是集合,并用结构元素去度量和提取图像中的对应形状,去除不相干的结构,以达到图像分析和识别的目的.它的最基本运算有:腐蚀和膨胀[11].
骨架,可以理解为图像的中轴.集合A的骨架化:反复移除图像A的边界像素,但不允许原本连接的目标图像断裂,且操作保持欧拉数不变.所谓细化,就是从原来的图中去掉一些边界点,但仍要保持原来的形状.
先膨胀后腐蚀的过程称为闭运算,它具有填充细小空洞、连接邻近物体和平滑边界的作用.先腐蚀后膨胀的过程称为开运算,它具有消除细小物体、在纤细处分离物体和平滑较大物体边界的作用,如消除导线干扰[12].
在不同的应用场合,结构元素的选择及其相应的处理算法是不一样的,结构元素的大小、形状选择合适与否,将直接影响图像的形态运算结果.为了保证图像处理的最佳效果,本文中不同地方的膨胀或腐蚀所用到的结构元素都有所不同.
2.4绝缘子图像的倾斜角度校正
当红外图像中绝缘子倾斜时,利用绝缘子图像的几何特征,对绝缘子倾斜角度进行估计校正.校正的基本思路为:1)对二值化图像细化,获取绝缘子骨架;2)从骨架图中计算出交点,作为Hough变换的特征点集S;3)采用Hough变换对S进行直线拟合,计算出最长的拟合直线L和其倾斜角θ,即用该倾斜角对绝缘子图像进行倾斜校正[13],能将倾斜校正误差控制在1°左右.
最简单的Hough变换是在图像中检测直线.在平面直角坐标系(x-y)中,用方程y=kx+b表示一条直线.该直线上任意一点(x,y)变换到(k-b)参数空间将只变成一个“点”,即点(k,b).(k-b)参数空间中的一个局部峰值点就很有可能对应着原图像空间中的一条直线.对图像上所有的点进行Hough变换,最终所要检测的直线对应的一定是参数平面中出现频率最多的那个点.这样就在图像中检测出了直线.由于直线的斜率可能为无穷小,或者无穷大,则在(k-b)参数空间不便于对直线进行刻画和描述.所以,文献[14-15]提出了采用极坐标参数空间(ρ-θ)进行直线检测:
ρ=xcosθ+ysinθ
在Hough变换中,检测倾斜角的基本思路是由图像空间中的特征数据点去计算参数空间中的参数点的可能轨迹,并在一个累加器J(ρ,θ)中统计参考点,检测Hough域中曲线最频繁的交点(即J(ρ,θ)的最大值),如图2(b)所示,该交点对应着直角坐标系中最长直线,求得θ=2.04°.
2.5盘面和铁帽区域提取算法
2.5.1投影统计法
根据灰度图像的投影统计计算过程,对于绝缘子和导线像素点所构成的二值图像f′(x,y),其中m为图像f′(x,y)的高度,n为f′(x,y)的宽度,则垂直方向的投影信号表示为:
2.5.2区域定位提取算法
输入:倾斜校正后的二值图像f′.输出:盘面和铁帽区域的二值图像.算法步骤:
1)对图像f′的起始列进行逐行扫描,像素点间距d定义为一列0,1的数组中连续1的最大长度,记录在二维数组D中,终点(i,j)的长度记为D(i,j)=d.统计d出现的频数并记录在数组P中,即进行P(d)++操作;
2)对图像的下一列,同样按1)的方法进行操作,直至遍历整个图像;
3)滤去导线的干扰,导线的像素间距一般较小,且出现频数较高,设定阈值φ,令P(i≤φ)=0;
4)去除边缘干扰,规定在间距值10%以内的都认为是等间距,则P1(d)=∑1.1di=0.9dP(i);
5)求出P1中频数最大的两极大值所对应的i,j,有P1(i)=max1,P2(j)=max2,(i 6)根据i,j分别反向计算求出铁帽和盘面的二值图像; 7)形态学处理,角度恢复; 8)结束. 关于上述算法的一些说明:对于步骤1),如有二值图像矩阵: 步骤3)中,对P中的结果再过滤,以剔除某些符合特征的电线等其他干扰.因为绝缘子的盘面和铁帽有一定的宽度,而其频率通常是整幅图像中最高的,根据这一特点将绝缘子盘面和铁帽区域提取出来.实际间距又不完全是个定值,所以规定间距值的10%以内都认为是等间距的. 在无步骤4)的情况下极值有时不明显,经过该操作处理后极值较容易得到,如图2(d)所示,求得两极大值在i=20和j=46处. 形态学处理能达到将不相关的细小区域滤除,而将相关的邻近区域连接并平滑边界的作用. 3状态识别 绝缘子一旦出现某种内部或外部故障,则故障发热通过热传导或其他形式热交换,改变绝缘子相应表面部位的温升或温度分布,从而表现出其红外图谱的差异.本文模型主要针对实用性设计,应尽量排除变量因素的干扰,对于某一变电站,某一时间段内(一般1~2 h内可以测试完),其外界环境对其绝缘子的影响基本不变(如环境温度,湿度,日照等);本文模型具体到同串的每个绝缘子,对于同串来说,其绝缘子的外界环境也是基本一致;且不同变电站,不同环境变量因素太多,可比性不强,反而增大模型识别误差.为抽取故障特征集,分析异常绝缘子和正常绝缘子在温度和灰度特征上的差异,取热像图中绝缘子铁帽区域的平均温度作为该绝缘子的温度,并定义以下3个参数:绝对温度T、纹理H和相对温差率δt. 3.1绝对温度判断法 绝缘子表面绝对温度判断法是根据检测得到绝缘子表面绝对温度值,结合串中不同位置绝缘子的温度和温升极限的有关规定,分析判断绝缘子温度过热部位(铁帽和盘面)状态的正常与否[3]. 这种方法的优点是分析简单直观,但由于受环境、距离和辐射率等方面的影响,绝对温度值不十分准确,但也能在一定程度上反映绝缘子的状态,其结果可对其他方法起一定的参考作用. 3.2图像纹理特征判断法 根据绝缘子串的红外热像图谱来判断设备是否正常.将红外图像灰度化处理后,利用其纹理特征来表征绝缘子之间的差异,图像纹理表现为二维空间的灰度变化模式,是一种区域特征,反映图中各像素之间空间分布的特性[16],如方差H1、熵H2和平均梯度H3. 3.3相对温差率判断法 绝缘子在串中的位置不同所承载的电压也不同,环境温度也会影响红外诊断的结果,当环境温度低,尤其是承载电压小时,设备的温度值虽未超过相关标准,但在电压增长或环境温度上升后,会引发设备故障.可使用相对温差法解决上述问题.该方法是指同串中的某绝缘子与环境温度的温差(即温升)与相邻绝缘子的温升之比的百分数,相对温差率的计算如式: 3.4辅助判别法 尽管红外诊断是一种先进的诊断方法,上述各种判别方法也可以从不同的角度提高诊断的准确性,但是有些绝缘子的内部故障用红外成像很难诊断,因此需要一种可靠性高的检测方法(如电压分布法等)来对上述方法的准确性进行测试.由于该方法需要登杆作业,费时费力,只能作为一种对上述检测方法进行实时校正的辅助方法,从而将校验后的方便、准确模型应用于现场绝缘子的检测中. 4结果分析 上述分割方法抗干扰性强,为了验证本文方法的有效性,具体分析了一个试验算例,提取结果如 图2所示.并另外随机选取了江西省某地区2个220 kV变电 站(白沙站和珠珊站)的各50张现场拍摄的复杂背景的红外绝缘子图像和试验图像50张,利用本文的提取方法批量进行绝缘子盘面和铁帽区域的提取,其正确提取率都在90%以上.表1为本文方法从试验算例中提取出的铁帽区域特征集和识别结果. 根据随机选取的30张现场红外图像和10张试验红外图像分析可得以下结论: 1)良好绝缘子串的发热温度分布于其电压分布规律基本相同,呈不对称的马鞍形.当绝缘子串中含有低值绝缘子时,其绝缘子的承载电压将降低,且由于自身阻值的大大减小,低值绝缘子的发热远大于良好绝缘子的发热.如图3所示. 关键词:FPGA,交互式处理,亮度,对比度,图像极性 热像仪能将景物因温度和发射率不同而产生的红外辐射空间分布转换成红外图像[1]。其采用了被动方式工作, 抗扰能力强、环境适应性好, 且可全天候工作。在工业、农业等领域应用广泛。尤其在军事领域中发挥着重要作用, 故在军队中被大量装备。由于热像仪是一种高技术含量、高集成度的设备, 自身结构复杂, 对操作步骤和方法有着严格要求, 因此专业培训以及日常性的操作使用训练是关键。而现有的热像仪训练主要采取实物训练的方法, 其训练成本高, 效果差, 存在较多问题。 热像仪操作控制功能中与图像处理相关的主要有亮度调节、对比度调节以及图像极性转换, 据此本文提出了一种FPGA平台上的红外图像亮度、对比度、极性交互式处理的实现方法, 实现了热像仪操作功能的仿真。 1 亮度、对比度的调节原理 亮度指图像整体的亮或暗, 对比度指不同物体或区域的亮度差[2]。对图像亮度、对比度的调整主要采用图像处理的方法, 通过在YCbCr颜色空间使用亮度变换函数以及对比度拉伸变换函数处理像素点的亮度分量Y来实现。 图像亮度、对比度变换函数的形式如式 (1) 所示, 其中, Yi表示输入图像中某点的亮度;Yo表示输出图像中相应点的亮度;T表示变换函数 通过在图像原有亮度信息上叠加亮度值ΔY, 可实现图像亮度的调整。当ΔY=0时亮度保持不变, 如图1 (a) 所示;ΔY>0时增加亮度, 如图1 (b) 所示;ΔY<0时减少亮度, 如图1 (c) 所示。故亮度变换函数形式如式 (2) 所示 图2 (a) 所示为对比度拉伸变换函数。该函数可将输入图像中亮度值<m的亮度范围压缩到输出图像中较窄较暗的亮度范围内;同样可将亮度值>m的亮度范围压缩到输出图像中较窄较亮的亮度范围内。从而得到一幅高对比度的输出图像, 其函数形式如式 (3) [3] 为了便于硬件实现交互式多档位调节, 根据对比度的定义, 可将图2 (a) 所示的对比度拉伸变换曲线近似为图2 (b) 所示的分段曲线, 再进一步近似为图2 (c) 所示的变换曲线。当C=1时对比度保持不变如图3 (a) 所示;C>1时增加对比度如图3 (b) 所示;C>1时减少对比度所图3 (c) 所示, 其函数形式为 故图像亮度、对比度变换函数最终变成式 (5) 所示的形式, 改变C和ΔY的值即可实现多档亮度、对比度的调节 2 硬件设计方案 系统原理框图如图4所示, 主要分为图像读取、交互式处理和图像显示3大模块。系统选用的FPGA为Altera Cyclone II系列的EP2C35F672C6, 具有33 216个逻辑单元, 内嵌35个乘法器, 4个锁相环, 可用最大I/O口为475个[4]。视频D/A转换器为ADI ADV7123, 外部晶振产生50 MHz时钟信号经FPGA内部锁相环分频后产生25 MHz时钟信号作为系统时钟。 2.1 图像读取 热像仪输出的信号为标准的PAL制式信号, 场扫描频率50 Hz, 帧扫描频率25 Hz, 每帧图像625行[5]。经视频解码后转换为符合ITU656标准的YCbCr4∶2∶2格式数字信号, 其中亮度信号Y与蓝、红色差信号CbCr各占8 bit即256级灰度。为便于演示文中提取红外图像中的一帧, 将其裁剪成256×128大小的图像文件, 利用Matlab软件将每个像素的亮度分量Y写入.mif数据文件, 并存储在ROM中[6]。根据图像大小, 地址总线需15 bit (32 768像素) , 顶层模块调用地址控制模块实现图像读取。 2.2 交互式处理 2.2.1 亮度对比度处理 亮度对比度处理模块实例化如图5所示。SW1为拨动开关, 用于选择调节亮度或对比度;KEY1和KEY2为按钮, 分别用于增加或减少调节量;Yi为输入调节模块的8 bit像素亮度分量, Yo为处理后输出的像素亮度分量;i CLK和iRST_N分别为时钟信号和复位信号。 硬件实现时首先判断开关SW1, 输出低电平时标志位flag置1, 按动按钮增减亮度调节量;输出高电平时标志位flag置0, 按动按钮增减对比度调节量。由于亮度分量为256级灰度值, 故将对比度拉伸变换函数m值设为128, 即调节曲线均过点 (128, 128) 。亮度每档调节20灰度, 对比度每档C值增减0.2。对比度系数C可采用有限字长定点无符号二进制数表示, 计算输出亮度时, 首先将公式系数扩大2n倍, 利用乘法器得出结果后再右移n位。为保证转换的精度, 可在运算时加上0.5, 然后对运算结果4舍5入取整数[7]。 2.2.2 色彩空间转换 VGA接口显示时接收RGB 3色信号, 因此需将YCbCr色彩空间转换至RGB色彩空间, 转换如式 (6) 所示[8]。其中Y的范围是[16, 235], Cb和Cr的范围是[16, 240]。 红外图像为灰度图像, 每个像素点的红、蓝色差均为128, 即Cr=Cb=128, 故转换公式化简为R=G=B=1.64 (Y-16) , 调用乘法器采用定点运算即可实现。需注意的是, 处理后输出的RGB数字信号将通过视频D/A (ADV7123) 转换为模拟信号, ADV7123接收3路30 bit RGB数字信号[9]。因此, 计算时首先将系数扩大2n倍, 运算结果则右移n-2位, 使输入为8 bit, 输出为10 bit。 2.2.3 极性处理 红外图像极性的调节分为黑热和白热两档, 主要根据观察者视觉灵敏度、目标所处环境以及目标温度选择, 白热表示高温显示低灰度值, 黑热表示高温显示高灰度值[10]。硬件实现时, 判断开关SW2, 输出低电平时反相, 其中, oRGB为色彩转换模块处理后输出的10 bit数字信号。 2.3 VGA显示 系统采用VGA模式 (640×480@60 Hz) 显示红外图像, 基本时序如图6所示, 水平同步时间参数如表1所示, 垂直同步时间参数如表2所示[11]。 由于存储的红外图像大小为256×128, 而系统采用了640×480分辨率的显示模式, 因此需控制图像的显示位置, 如图7所示, 并由显示位置生成像素查找地址。 3 系统测试 系统采用Altera DE2作为测试平台, 在Quartus II环境中完成系统设计后下载至FPGA。为了便于对比亮度、对比度、极性调节效果, 程序运行后将并列显示输入图像和处理后的红外图像, 显示在上方的为输入的红外图像。开关SW2向下拨动, 切换极性如图8 (a) 所示。开关SW1向下拨动后, 按动KEY1时亮度增加一档, 图8 (b) 为亮度增加2档的效果, 按动KEY2时亮度降低一档, 图8 (c) 为亮度降低3档效果。开关SW1向上拨动后, 按动KEY1时对比度增加一档, 图8 (d) 为对比度增加2档效果, 按动KEY2时对比度降低一档, 图8 (e) 为对比度降低4档效果。图8 (f) 为降低对比度后增加亮度的效果。测试结果表明, 本设计可实现对红外图像亮度、对比度的多档调节及极性切换。 4 结束语 关键词: 可见光图像; 红外图像; 图像融合; 边缘检测 中图分类号: TN 911.73文献标识码: Adoi: 10.3969/ 引言随着现代科学技术的发展,单一传感器提供的信息已不能全面反映探测对象的目标特性,单一的探测模式也逐渐向多波段多频谱协同探测模式发展。其中,红外成像传感器和可见光成像传感器是两种常用波段的传感器,采用两者数据融合处理技术,利用信息的互补性,可提高系统的空间分辨率、全天候工作能力以及目标检测和抗干扰能力,有效扩展系统目标探测的空间和时间覆盖范围[1]。近年来,对同一场景的可见光与红外图像的融合已成为国际上的研究热点,各种方法不断出现。对于像素级图像融合,其算法主要可分为以下三种:简单算法,塔形分解基础上的图像融合及小波分解基础上的图像融合。本文在论述以上方法理论的基础上,针对现有的红外与可见光图像融合方法的不足,提出了一种基于边缘检测的小波变换图像融合方法,并对融合效果进行了评价。1图像融合算法 1.1图像融合的简单方法图像融合的简单方法是直接对参加融合的各对应像素进行选择、平均、加权平均等简单处理后,融合得到新的图像。它是一种典型的图像融合算法,其特点是不对各源图像进行任何的分解或变换。简单的融合方法主要有:(1)选大像素灰度值;(2)选小像素灰度值;(3)像素灰度值的平均或加权平均(简称加权平均)。由于简单的图像融合方法会造成融合图像对比度下降,因此它的使用范围及其有限,只适合对图像质量要求不高的场合,并且该算法的融合过程参杂了人工的干预,对目标的自动识别造成一定影响[2]。 光学仪器第35卷 第1期李茜,等:基于边缘检测小波变换的红外与可见光图像融合方法 1.2基于塔形分解的图像融合方法图1所示为基于塔形分解的融合过程,这种图像融合方法的特点是多尺度、多分辨率,且其融合过程是在不同尺度、不同空间分辨率、不同分解层上分别进行的。基于塔形分解的图像融合方法主要有:(1)基于比率塔形分解;(2)基于梯度塔形分解;(3)基于对比度塔形分解;(4)基于拉普拉斯塔形分解。与图像融合的简单方法相比,经该方法融合的图像质量有了明显的改善,但是,使用该方法进行融合后的图像,图像数据总量有所增加,这是由于在进行塔形分解的过程中产生了冗余分解。其中,图像的比率、拉普拉斯和对比度塔形分解没有方向性[34]。 森林火灾具有时空突发性、短时间内能造成巨大损失的特点。林火探测已成为越来越多的有林国家进行林火管理的重要研究工作。但是对林火图像采集却没有给予足够的重视, 现有的林火图像采集系统采集的图像模糊, 精确率不高, 并且价格昂贵[1,2], 虽然也能够起到一定的作用, 但是缺少对林火的进一步分析、火焰的蔓延速度、火焰的高度等信息。为解决上述问题, 本文采用FPGA嵌入式技术应用于CZ45135非制冷型热像仪, 可有效地实现LVDS数据的实时采集功能。 1 红外林火探测仪的结构 红外林火探测仪从结构上说, 由非制冷IRFPA热像仪、FPGA模块、DSP处理器、RS422数据传输线、云台和电源六大部分组成。本文主要介绍由非制冷IRFPA热像仪、FPGA模块和RS422数据传输线三部分组成的图像数据采集功能模块。 1.1 非制冷IRFPA热像仪 采用的非制冷IRFPA热像仪型号是CZ45135, 其主要特点是启动时间短, 功耗低, 温度灵敏度高。其环境指标为:工作温度在-40℃~+60℃, 其它的一般为-25℃~+45℃, 比较知其工作环境的约束降低了许多, 同时也降低了环境对本系统的工作要求, 技术指标与其他的改进之处为:镜头焦距为45 mm~135 mm连续变化, 其它一般为60 mm~120 mm, 从而增大了视场变化范围;温度灵敏度 (NETD) ≤60 mK, 其它一般为≤100 mK, 提高了采集到的灰度图像的对比度, 因为热像仪输出的灰度图像的灰度等级就是根据温度差来判断的, 温度灵敏度越高, 输出灰度图像的对比度就要高。 1.2 FPGA模块 FPGA模块能将传出的串行数据写入SRAM存储器或将数据从SRAM读出数据;并将读出的数据通过Nios处理器打包, 存入SDRAM存储器中。此部分从功能上主要由以下几个模块组成:图像数据接收逻辑、图像数据采集模块、数据打包和数据传输。原理框图见图1;各个模块的功能介绍如下: (1) 图像数据接收逻辑:根据探测器输出的数字视频信号的场同步, 行同步以及时钟信号, 发送控制信号接收图像数据; (2) 图像数据采集模块:利用verilog硬件描述语言控制FPGA主芯片完成对热像仪中的灰度图像信号的采集; (3) 数据打包:运用Nios处理器将存储的数据打包存储到16M的SDRAM中等待传输; (4) 数据传输:通过无线监控系统把SDRAM中的数据传输到图像处理设备中等待伪彩色处理。 1.3 其他部分 DSP处理器主要控制云台的转角速度及转动的方位如仰角的大小;RS422通过两对双绞线可以全双工工作收发互不影响, 提高了系统的实时性;电源采用太阳能, 一方面符合现代社会能源要求节约了能源需求, 另一方面太阳能来自天然容易获得, 源源不竭可以给设备持续提供电源, 避免因电源不足导致失效所带来的后果。 2 系统硬件设计 林火图像采集是林火探测技术中的一项重要研究内容, 采集图像的质量直接影响林火探测的结果。系统结合林火图像的特点[3], 采用Altera公司的Cyclone系列FPGA (型号为EP1C12Q240C8N) 作为核心器件实现采集功能;采用FPGA作为核心芯片的最大优点为可以改进FPGA内部程序, 使用更高的时钟频率, 能更快准确地对图像进行采集, 并使它在不同分辨率下的自适应能力更强。 2.1 FPGA整体模块结构 FPGA模块中采用从左到右, 自上而下的设计原则, 重点在于模块的划分。本系统根据接口和功能的不同, 大致分为四个模块:主控制模块、SRAM模块、Nios处理器模块和SDRAM模块。结构框图见图2。 系统通过云台获得图像信号, 经过非制冷热像仪将图像信号转化为数字信号传输到FPGA中, FPGA将接收到的数据送入扩充的存储器SRAM中作为暂存, 同时还从SRAM中读出数据送入Nios处理器中进行数据打包, 打包结束, 将数据存入SDRAM中准备通过无线设备进行传输。 2.2 SRAM与SDRAM 存储一帧图像需要的容量太大, 不可能存放在芯片内部的RAM中, 所以必须使用外部存储器来解决这个问题。SRAM外扩存储器实现图像数据帧缓存功能, 操作简单, 高速访问时间为10.12 ns, 减少延时, 提高数据传输速率, 并且实时性高; SDRAM存储器容量大, 专门为CPU服务并用来存储Nios处理器处理好的数据。采用一片SRAM与SDRAM相结合, 同时利用FPGA内部存储单元的特性, 大大提高了系统运行的性能, 实现了对图像信号的无损传输。 FPGA通过18根地址线和5根控制线实现对SRAM的控制。SRAM与FPGA接口电路原理图如图3。 2.3 Nios处理器 Nios CPU采用五级流水线设计, 采用了Harvard结构, 使用指令和数据存储器分离的存储器结构, 具有灵活的结构可修改性, 可以支持自定制指令。Nios CPU通过Avalon总线与FPGA、SDRAM通信。此系统的Nios处理器主要完成对FPGA从SRAM中读出的数据进行打包功能。 3 系统软件设计 本系统的软件部分主要包括数据的采集、SRAM存储器的读写与数据的打包三大部分。本设计采用QuartusII开发软件, Verilog HDL硬件描述语言, 此语言具有简捷、高效、功能强, 可满足各个层次设计人员的需要等特点。具体的采集流程图见图4。 4 试验结果与分析 图5-1是热像仪扫描到的现场图像。 图5-2是此系统采集热像仪的320240的红外灰度图像。 图5-3, 图5-4分别为图5-1, 图5-2的直方图, 通过观察直方图数据对比可知:只有在灰度值为80与175左右两幅图像有点差别, 经试验分析得知, 这两部分灰度值对林火图像的分析几乎没影响, 其余部分两幅图像几乎是一样的, 即运用本系统获得的红外林火图像与实际图像数据拟合好, 图像边缘清晰, 对比度高, 几乎无错位, 有利于进一步伪彩色处理。 5 结论 本系统充分利用了FPGA和NiosII处理器的强大功能。通过实验表明, 此系统与已有系统比较最大改进之处为:可以改变FPGA内部程序, 使用更高的时钟频率, 使采集的图像更快速准确;同时采用最先进的热像仪, 使输出的红外灰度图像对比度高;能获得清晰的林火图像, 采集的图像具有高分辨率、低误码率等特点;并且响应速度快, 实时性高, 延迟最小、程序可移植性强等优势。 摘要:林火是一种破坏性极强的灾害, 林火探测已成为林火研究中重要的研究内容之一。给出了利用FPGA嵌入式技术实现林火图像信号的采集、数据打包和传输等功能的系统。该系统稳定可靠, 通用性强, 提高了火灾探测的实时性、准确性, 并已在林火探测系统中得到实际应用。 关键词:林火图像,FPGA,图像采集,红外图像 参考文献 [1] Chi Jiannan.A detection method of infrared image small targetbased on order morphology transformation and image entropydiffer-ence.Guangzhou:Proceedings of the Fourth International Confer-ence on Machine Learning and Cybernetics, EEE, 2005 [2] Micorn Techonology.Synchronous DRAM MT48LCM16A2 Datashe-et, 2003 1 模糊评判模型 1965年Zadeh提出了著名的模糊集理论,它是对一类客观事物和性质更合理的抽象和描述,可以通过一个隶属函数对事物进行模糊识别.应用模糊模式识别理论建立红外图像辐射源样本评判模型,其识别过程原理如图1所示.虚线上部为识别过程,下部是特征模式识别库建立过程. (1)设U代表评判模型专家诊断库中目标红外辐射样本模式类别的全体,它是通过训练样本以及专家的经验得到的一个模糊集合,集合中有N个客观红外辐射源的特征参数. U=(U1,U2,,UN) (1) 式中,表示红外辐射源中有N种不同形式的特征模式,对于每个特征模式中的某一类对象类别j用1个特征矢量来表示: Uj=(Uj1,Uj2,,Ujn)T (2) 其中Uji代表第j类对象类别的第i个特征参数,由专家选择或提取某些典型的参数作为特征参数集组成特征矢量. (2)X是待识别目标红外辐射源的特征参数, X=(x1,x2,,xn)T (3) 其中xi是待识别红外辐射源的第i个特征参数. (3)建立模糊隶属函数.隶属函数的确定通常有以下几种方法:专家确定法、客观尺度法、统计法、对比排序法和综合加权法等.常用的隶属函数有正态分布、矩形分布等. 红外图像信号具有模糊性、欺骗性、不确定性.但对于正态随机变量来说,它的值落在3倍标准差范围内是肯定的.误差范围的大小可以根据精度的要求确定.这里以3倍标准差为例,可定义特征参数xi隶属于Uji模糊隶属函数[2]: undefined (4)假设第i种红外辐射源特征参数的权重系数为αi,且有undefined,其中i=1,2,,n,则待识别辐射源xi的模糊隶属度uUj(X)为 undefined 由此可得出待识别红外辐射源特征参数矢量X对于论域U的一组模糊隶属度uU1(X),uU2(X),,uUN(X). 2 模糊模式识别的方法 利用上面建立的模糊评判模型,可对红外辐射源进行模糊识别.利用贴近原则方法对红外信号进行模糊筛选[3,4,5,6]: 设Ai(i=1,2,,n)是论域U上n的模糊集,待识别对象B也是U上的模糊集.如果贴近度undefined,则称B与Ak最贴近,可以将B和Ak归一模糊集.根据情况可以规定一个合适的模糊隶属度门限值λ∈[0,1],如果有uUk≥λ,则:Χ∈Uk. 如果有 k1,k2,∈1,2,,N,且有k1≠k2≠都满足uUk≥λ(k=k1,k2,且 k1≠k2≠),则:X∈Uk1∪Uk2∪U. 可以判断X∈Uk1∪Uk2∪U,也就可判定红外辐射源X可能属于模式(U1,U2,,UN)中某几个Uk所代表的红外辐射目标类型,这样模式识别之后再由操作员根据经验和其他细节进行重点判断. 而对于论域中不存在的观测样本X无法进行分类.但可作为待测的未知参数保存在数据库中,便于资料的积累. 3 算 例 这里采用一个模拟诊断对象的数据来说明红外图像识别专家数据库系统的建立及运行方案.在该对象中,输入表现为6种红外辐射源的特征参数,特征参数经过归一化处理,输出表现为客观红外目标辐射源.表1列出的是经过归一化处理后的5组已确诊样本和3组待诊样本的数据.表1中已确诊样本是指过去诊断过且诊断结论是正确的征兆数据和诊断结果集合. 依据模糊识别数据库,对上面的3个待诊断样本进行诊断: (1)根据与特征参数相关的权重组建系统知识库,经过专家分析,各征兆隶属度权重的取值分别为α1=α3=0.1,α2=0.05,α4=0.15,α5=0.3,α6=0.3. 以一种数据库语言作为专家系统的设计语言,将训练样本的数据作为记录存入数据库中.在本例中已存入记录为5条. (2)训练样本得到的数据构成评判模型专家诊断库中目标红外辐射样本模式类别的全体,这里只选已记录的5个训练样本为例. 并通过大量的训练样本和专家的经验得出归一化后的6种特征参数的标准差为1%,1.3%,2.1%,3%,1%,0.8%,2.5%. (3)求解待诊断目标与数据库中的特征样本的贴近度,对上面的3个待诊断红外目标进行计算得表3. 用贴近原则来表示,且当λ=0.7时,可以判断: X1∈(A,B,C) X2∈(A,B) X3∉(A,B,C) (8) 从式(8)可以判断X1可能为(A,B,C) 3个目标中的一个,而X2可能为(A,B)这2个中的一个,X3不属于3个目标的任何一个.通过这样的模糊识别筛选之后,操作人员可以根据经验对待诊断目标在筛选后的集合中判断,这样既能发挥专家诊断系统对复杂运算判断的优势,还可以最大可能地发挥操作人员的主观能动性.显然,这种方法可以提高对红外图像处理的运算效率和准确性.对于集合中没有的目标可以进行认真分析,如果是一个新的辐射目标则可以将其添加到模型数据库. (4) 对知识库进行充实 若能保证某待诊样本的诊断结果是正确的,则可以将其特征数据和诊断结果加入到知识库中,随着诊断数据的增加,诊断模型的数据库系统将越来越完善. 4 结 论 本文根据模糊数学理论建立的模型,并依据专家诊断系统原理,对海量红外图像信息进行了针对性的目标模糊筛选识别,通过筛选可以把待识别红外目标的可能结果限定在一定范围内,然后由操作人员进行重点判断和处理.显然,通过模糊识别筛选的方法不仅可以提高操作人员的识别效率,而且识别库的建立和充实也提高了识别的科学性和准确性.但是,模糊识别的关键是对红外辐射源信号进行适当的处理,从红外辐射源原始信号众多特征中求出那些对分类识别最有效的特征,以实现特征空间维数的压缩,即特征提取和选择.特征提取和选择的优劣极大影响着分类器的设计和性能. 摘要:研究了一种针对海量图像信息进行模糊识别筛选的方法.运用该方法可大大减少操作人员的工作量,提高处理效率. 关键词:红外图像,模糊识别,隶属函数 参考文献 [1]宣益民,韩玉阁.地面目标与背景的红外特征[M].北京:国防工业出版社,2004. [2]科文,郑孝勇.雷达模糊识别方法[J].电子对抗,2001. [3]张河.探测与识别技术[M].北京:北京理工大学出版社,2005. [4]边肇祺,张学工.模式识别[M].北京:清华大学出版社,2000. [5]Pieter A.Jacobs(Holland).Thermal Infrared Character-ization of Ground Targets and Backgrounds[M].北京:国防工业出版社,2004. 红外热像监测诊断技术已经成功在变压器、断路器、隔离开关等电气设备中得到应用,效果显著[1]。对电气设备采用无人巡检的自动化监测方式,利用红外图像处理技术获取电气设备的红外图像,采用图像处理获取红外图像的信息,通过建立图像的温度数据特征并结合设备运行的正常温度,可实现电气设备红外检测智能诊断。段少辉[2]等人提出了基于红外图像识别的电气设备温升检测;李宏贵[3]等人在Gabor小波和神经网络的研究分析基础上,有效地将神经网络和像元进行结合,开展了对红外图像识别算法的进一步分析;陶硕[4]等人结合图像处理技术,通过试验进行对比研究和论证,对变电站红外图像的故障区域进行了有效识别。本文将建立系统的基于红外图像处理技术的电气设备故障智能监测诊断方法,为现代装备安全运行及科学管理提供技术支撑。 1 红外图像故障识别 1.1 红外图像的温度值 根据红外图像的温度分布和对应的灰度映射特征,确定红外图像每一个像素点温度和灰度的对应关系,设定一定的温度阈值,转化成灰度阈值,从而将温升区域进行定位。故障识别的流程图如图1。 对于通过红外热像仪获取的一幅电气设备红外图像,通过Therm CAMTMQuick Report软件可以快速获取任意测量点温度和任意测量区域温度。温度提取流程如下: (1)使用红外热像仪拍摄红外图像; (2)使用USB线缆移动图像,将图像从热像仪传输至电脑; (3)在Therm CAMTMQuick Report软件中生成红外图像温度数据。 图2与图3反映的是设备红外成像流程和红外图像对应的温度数据报告信息。 1.2 红外图像的灰度值 将红外图像转换成灰度图像以后,灰度图像不能显示温度信息,而是得到强度信息矩阵f(m,n),其值域是[0,255]。矩阵的每个元素代表不同的亮度或灰度级,当亮度值为0时,表示的是黑色,亮度值为255时,表示的是白色。以空气开关的灰度图像为例,选取灰度图像的某一区域,灰度值见图4。 1.3 温度和灰度映射关系 由于像素点的数据信息是由热像仪接收到的热辐射能转换而来的,故像素点的灰度值与对应点的温度值之间存在着特定的函数关系。以空气开关的红外图像为例,选取21个像素点(16个作为数据拟合点,5个作为检验点)作为取样点,见表1和表2。利用对应的温度值和灰度值进行数据拟合,分析出温度和灰度的对应映射关系。 交互式红外图像处理的FPGA实现 第4篇
红外图像处理 第5篇
红外林火图像采集系统设计 第6篇
红外图像模糊识别筛选方法 第7篇
红外图像处理 第8篇
根据样本点数据,借助Matlab数据拟合工具箱可得出灰度和温度的拟合关系:
式(1)中,T表示温度,G表示灰度值。
根据拟合关系式(1),对样本点和检验点的实际灰度和拟合灰度进行对比检验,如表3和表4所示。
2 红外图像的高温区域提取
在电气正常运行的情况下,电气设备和导线之间都有轻微发热。以空气开关的三相线路为例,正常运行时三相线路温度一致,热像图无色彩差别或只有微小差别。但某一相发生故障时,可能会导致故障点温度升高。根据国内标准,通常将故障点绝对温度或相对温升作为划分故障或缺陷程度的主要依据,通常可分为三级缺陷[5],即:
(1)一般热缺陷,热斑温度>50℃,温升范围在10℃~40℃之间,或相间温差超过10℃,或δ≥35%,未达到严重缺陷的标准;
(2)严重热缺陷,热斑温度>80℃,温升范围在40℃~70℃之间,相间温差超过30℃,或δ≥80%;
(3)危险热缺陷,热斑温度>110℃,温升超70℃,相间温差超过60℃或δ≥95%。
其中δ表示相对温差,表示为[5]:
式(2)中,T1为故障相发热点的温度,℃;T2为正常相对应点的温度,℃;T0为环境温度或环境参照体温度,℃。
由温度和灰度的对应关系式(1),只要知道相关设备的正常工作温度,将其转换成灰度信息,采用灰度阈值进行分割,就可以对电气设备的故障在红外图像上进行识别和定位。以空气开关为例,正常相温度为55℃,对应的灰度为150。根据故障标准设定的温度限值确定灰度阈值,从而对红外图像进行识别和分析。以空气开关为例,设定温度阈值为65℃,对应的灰度值为176.861,利用灰度阈值对故障区域进行识别和定位,如图5所示。
3 红外图像的故障区域特征
故障区域特征主要是借助构成该区域的像素来描述该区域。常见的区域特征描述因子有区域面积和区域质心等。可以借助Matlab中的region⁃props函数对区域特征进行计算。
(1)故障区域面积
故障区域的面积描述了故障区域的大小。一种简单的计算方法就是对区域的像素进行计数。利用语法STATS=regionprops(L,’Area’)对空气开关红外图像故障区域进行计算,计算结果为Area=4134。
(2)故障区域质心
区域质心的坐标是根据所有区域的点计算出来的,可以表示为:
式(3)、(4)中,A表示的是故障区域的面积,即故障区域总的像素点;R为故障区域;x是以x轴计数的像素数;y是以y轴计数的像素数。
利用语法STATS=regionprops(L,’Centroid’)对图5的故障区域质心进行表示和计算,结果显示质心坐标分别为:(438,206),(431,125)。
(3)故障等级的确定
根据质心坐标可以结合灰度矩阵得出质心处的灰度值分别为197.237和199.896,利用灰度和温度的对应关系,进而反推出故障区域质心的温度分别为78℃和82℃,利用绝对温差法[5],可以判定故障等级为严重性热故障。
4 结论
本文针对电气设备故障诊断问题,提出利用图像处理的方法进行故障识别和定位。具体方法是,利用红外热像仪对电气设备进行红外成像,采用软件Therm CAMTM Quick Re⁃port获取红外图像中的温度信息,再利用数学工具Matlab进行图像处理获得红外图像的灰度值矩阵,并建立温度和灰度之间的映射关系函数。利用该映射关系函数并参考国家相应标准设定温度阈值,从而实现对设备红外图像的灰度转换、二值分割、故障区域的识别和定位、故障等级判定等。
参考文献
[1]杨立,杨帧.红外热成像测温原理与技术[M].北京:科学出版社,2012.
[2]段少辉,丁庆,夏晶,等.基于红外图像识别的电气设备温升检测[J].2014,31(1):13-15.
[3]李宏贵,李兴国.基于Gabor小波和神经网络的红外图像识别算法[J].系统工程与电子技术,2003,25(2):34-36.
[4]陶硕.变电站红外图像的分割和识别研究[D].西安:西安科技大学,2008.
红外图像处理 第9篇
红外弱小目标的检测与识别在目标探测、捕获和跟踪等信息获取技术中有着重要作用,是红外图像处理的热点与难点技术之一。采用红外系统以空间环境为背景进行远距离目标观测时,目标信号非常微弱,图像信噪比很低,增加了系统检测弱红外目标的难度。因而研究如何对获取的红外图像做预处理,以提高红外系统的探测能力,是小目标检测与识别方法中必须要探讨的问题[1,2]。本文首先从理论上分析了制约红外系统探测距离的几个因素,提出了通过改善信噪比提高系统探测距离的方案。然后论证了多种图像滤波方法性能的优劣、多帧累加算法对改善图像信噪比的效果,在适合于本系统应用背景下采用将图像滤波、多帧累加相结合的红外图像预处理算法,以改善图像信噪比,提高系统的探测距离。实验表明:本文提出的红外图像预处理方法能够有效地改善图像信噪比,提升红外系统的探测能力。
1红外系统探测距离分析
通常,探测系统为了有足够的时间对目标作识别、跟踪,在目标距离探测系统较远时,便开始对目标成像。此时目标在图像中表现为点目标或小目标。因此,一般依据点(小)目标的情况来评估系统的探测距离[3]。
点(小)目标的作用距离方程如式(1)。
式(1)中各参数含义:
D0:光学系统的入瞳孔径(单位:m);τa:大气透过率;τ0:光学系统的透过率;D*:探测器比探测率(单位:mHz1/2W-1);Ad:探测器有效光敏面面积(单位:m2);Δf:噪声等效带宽(单位:Hz);SNR:红外探测系统最小可探测信噪比[4];It:目标辐射强度(单位:W/sr);R:作用距离(单位:m)。
对式(1)重新整理如式(2)所示(各参数单位同式(1))。
从式(2)可知,红外系统的作用距离是由目标辐射、大气传输、光学系统性能、探测器性能、系统特性和信号处理能力等几项因素所决定的。由于目前红外探测器性能所限,在一定的目标辐射强度、大气传输条件下,从图像处理角度分析,降低系统可探测到的信噪比SNR,提高系统处理低信噪比红外图像的能力,便能提高系统的探测距离,提升系统的探测能力。
2红外图像预处理技术的研究
2.1小目标红外场景的成像模型
一幅含有小目标的深空场景图像可以使用下面的场景模型进行描述[3]。
S(i,j)为场景图像,T(i,j)为小目标区域,B(i,j)为背景图像,N(i,j)为图像噪声。
背景图像B(i,j)是大面积平缓变化场景,构成了场景S(i,j)的大部分低频成分。目标区域T(i,j)比背景图像亮度高,是图像中的孤立亮斑,与背景不相关,并且其运动速度相对于背景稍快,是图像序列中变化的部分,占据图像的高频成分。噪声图像N(i,j)是各类噪声的总和,与背景图像不相关,其空间分布具有随机性,并且没有帧间相关性,主要分布在图像频谱的高频部分。
根据含有小目标的红外图像场景模型及其分布特性分析,对红外图像一般要先进行滤波处理,滤除图像中低频背景成分及少量的低频噪声,便于图像的后续处理。
2.2图像滤波算法的研究
目前小目标检测识别领域较为常用的滤波方法有中值滤波[3]、高通滤波[3]、形态学滤波[4,5]、均值滤波、自适应滤波等。本文研究了高通滤波、回形窗滤波、双尺度滤波三种滤波算法的原理及其实现方法。
2.2.1高通滤波
空域高通滤波器是目前小目标识别领域中较常用的图像处理方法。利用2.1小节所述图像频域特性,对图像做高通滤波,分离得到图像的高频分量。高通滤波相当于用低通模板对原始图像做低频分量的估计,得到对原图像的预测背景,然后将原始图像减去该预测背景便得到背景抑制后的输出图像,如式(4)所示。
式(4)中:f(i,j)为原始图像、f(i,j)^为预测背景即低频分量、fT(i,j)为目标分量、n(i,j)为高频噪声分量、h(i,j)为低通模板。
不同的模板可以得到不同的滤波效果,结果的好坏取决于实际场景模型和期望保留的特征。对于全1的低通平滑模板H如下:
假设红外目标大小为33,中心坐标为(i,j)。用模板H做滤波时,滤波结果中目标所占比重为:W=9/81100%=11.1%,这会导致(i,j)点上背景预测值过高,从而使目标在最终的滤波结果中对比度降低,不利于目标检测。因此考虑将中心点的权重降低,减小目标对背景预测的影响。
本文构造一种基于绝对值距离的低通权重模板,这种模板中,离预测点越远则权重越大,改进后的模板如H'图1所示:
用模板H'做滤波时,滤波结果中目标所占比重为:W=18/240100%=3.3%,中心点目标对背景预测的影响降低。因此,在做背景抑制之后,滤波处理对中心点目标灰度的衰减将大大减小,有效增强了输出图像中目标与背景的对比度。
2.2.2双尺度滤波
双尺度滤波法的基本思想是用两个阶数不同的滤波模板分别对图像进行滤波,以达到不同的处理目的。两个不同阶数的滤波模板分别为大尺度滤波模板和小尺度滤波模板,小尺度模板为尺度SS的线性滤波器,用来消除噪声的干扰;大尺度模板为尺度LL的线性滤波器,用来实现背景的估计。双尺度滤波的流程如下图2所示。
假定原始图像为f(m,n),对于图像中的每一个像元,其经过SS小尺度模板线性滤波和LL大尺度模板的线性滤波后的输出图像分别为:
式(5)中:f(m,n)为原始图像、fs(m,n)为小尺度滤波输出图像、fL(m,n)为大尺度滤波输出图像、g(m,n)为小尺度滤波输出图像减去大尺度滤波输出图像后输出图像、KS(i,j)、KL(i,j)分别为小尺度滤波模板和大尺度滤波模板。KS、KL分别为小尺度滤波模板和大尺度滤波模板的模板系数加权和。
即:
双尺度滤波算法首先对原始图像分别进行小尺度滤波和大尺度滤波,用于保护原始图像中的目标和进行背景估计;然后从小尺度滤波输出图像中减去大尺度滤波得到的背景估计,达到增强目标的效果;后续处理从融合图像中进行目标的搜索和虚警检测,去除虚假目标,保留可能的目标。
2.2.3 回形窗算法
回形窗算法探测点目标是基于以下事实:目标与目标附近的背景总存在一定的对比度,即目标灰度与背景灰度相比是有一定的起伏的,因此不论目标处于强的背景或弱的背景之中,只要达到一定的对比度就可以认为是潜在目标而给予保留。如图3所示,回形窗由一个外窗口和一个内窗口组成,内、外窗口分别完成对目标平均强度和背景平均强度的估计。
式(6)、式(7)中:f(i,j)为原始图像,N为内窗大小,M为外窗大小;IT(xi,yi)和Ib(xi,yi)分别为目标平均强度和背景平均强度。图2给出了示意图。
将目标平均强度减去背景平均强度得到目标与背景灰度的对比值Io(xi,yi),若Io(xi,yi)小于某一阈值,就将该像素置0。
实际情形中,若某个像素正好受到噪声影响,会形成一个孤立的亮斑,其像素灰度值相对于周围像素会比较大,那么对该像素做回形窗滤波时,输出内外窗口像素的灰度对比值也会比较大,便对目标像素的检测造成干扰。
为避免此种情况的出现,本文对回形窗滤波算法做了一定的改进,先比较中心像素(记为Center_Data)与其8邻域像素的灰度平均值(Neighbor_MeanData)。若某像素受到单点噪声的影响,那么Center_Data/ Neighbor_MeanData将比较大;而若为目标像素,由于在成像过程中,目标会被弥散,则值Center_Data/ Neighbor_MeanData接近于1。
Io(xi,yi)=IT(xi,yi)-Ib(xi,yi) (8)
本文经试验分析,取值Center_Data/ Neighbor_MeanData>1.5倍时,认为该像素为噪声,直接剔除该点,否则对该像素按上式(6)~式(8)进一步做内外窗像素灰度的对比度分析。
在目标与背景有较明显的灰度对比度时,本文改进的回形窗滤波方法能有效获得目标与背景的对比度,有效剔除单点噪声,通过后续处理容易提取得到目标。
2.3 序列图像多帧累加算法的研究
红外图像经过滤波处理后,低频背景成分得到抑制,噪声强度得以减弱,但同时目标信号的能量也被衰减,最终滤波输出的红外图像信噪比增强效果不明显。因此,本文对红外图像经滤波输出后的序列图像做多帧累加处理,当目标帧间相对运动速度较小时,直接采用多帧图像累加的方法可以有效地抑制噪声,提高信噪比[6]。
设图像序列为Fn=1,2,,N,取累加长度为L,则多帧累加后的序列:
当目标帧间相对运动速度较小时,目标在帧间具有相关性,而噪声则是随机的,因此经L帧累加平均后,目标的灰度均值基本不变,而噪声强度则降为原图像的
3 算法性能分析
测试图像由实验室红外目标模拟器生成,图像大小240240,帧率10帧/s。如2.1小节及式(3)所述,场景中包含目标、背景、噪声三部分,实验采用生成的SNR为3左右的一组序列图像,目标大小22个像素做算法性能测试。图4中Pic1、Pic2、Pic3分别是从该组实验中抽取的三张原始图像,SNR分别是3.07、2.85、2.87,具体的图像特性参数如表1所示。
对图5中的图Pic1、Pic2、Pic3分别作高通滤波、双尺度滤波、回形窗滤波,滤波输出图像如图5所示,其中第一行三帧图像分别代表对图像Pic1做三种滤波处理,记为Pic1_a、Pic1_b、Pic1_c,第二行三帧图像分别代表对图像Pic2做三种滤波处理,记为Pic2_a、Pic2_b、Pic2_c第三行三帧图像分别代表对图像Pic3做三种滤波处理,记为Pic3_a、Pic3_b、Pic3_c,相应图像的特性参数如表1所示。
表中符号定义为:μt为目标区域灰度均值,μn为图像背景区域灰度均值,μt-μn为目标信号幅值,σn为图像中噪声强度,SNR为图像信噪比。
对同一张原始图像分别做不同的滤波处理,结合图5与表1比较各种滤波处理前后图像的特征变化。最明显的一个特点是,相比于双尺度滤波图像Pic1_b、Pic2_b、Pic3_b、回形窗滤波图像Pic1_c、Pic2_c、Pic3_c,高通滤波图像Pic1_a、Pic2_a、Pic3_a的目标点最亮,但同时噪声强度也较大,因而本文所使用的高通滤波算法对目标灰度衰减最小,但对噪声的抑制效果较差。
通过对大量的实验图像做算法测试,比较图像经上述三种滤波处理后SNR改善效果,结合图4原始图像Pic1、Pic2、Pic3滤波处理前后的图像特征分析,有如下结论:高通滤波对原始图像的SNR改善效果明显劣于双尺度滤波、回形窗滤波;回形窗滤波对目标的衰减程度比双尺度滤波更小,而它对噪声的抑制效果与双尺度滤波相当,因此回形窗滤波算法对SNR的改善效果优于双尺度滤波。
从算法实现角度考虑三种滤波的性能。高通滤波虽是滤波处理领域较为常用,运算较简单的一种方法,但高通滤波的性能很大程度上取决于滤波模板的选择。要优化滤波性能,必须根据图像特性经过多次试验优化滤波模板;双尺度滤波性能也受滤波模板影响,而且需同时优化大、小尺度滤波模板尺寸和模板参数才能得到优化性能,软件的试验量较大;回形窗滤波性能只取决于内外窗口尺寸,选取合适的窗口大小便可获得较好的滤波效果。
综合以上因素,回形窗滤波算法易于实现,对原始图像的整体滤波性能最优。因此,在滤波处理过程中本文采用回形窗滤波算法。
对回形窗滤波后输出图像,即图5中图Pic1_c、Pic2_c、Pic3_c在序列图像中做连续三帧累加处理,以进一步增强目标,抑制噪声。三帧累加后图像如图6(a)、图6(b)、图6(c)所示,图像特性参数如表2所示。
分析表2中累加前后目标灰度均值μt-μn的变化,图6(b)相比于Pic2_c的目标灰度均值大幅度增强,而图6(c)相比于Pic3_c的目标灰度均值则衰减较大,与理论上多帧累加前后目标灰度均值基本不变不符,这主要是因为在红外序列图像中原始图像及其前后几帧图像的目标强度水平不一。
分析表2中累加前后噪声强度值σn抑制效果,与理论上多帧累加后噪声强度衰减为原来的
表2中“SNR改善效果”一栏表示对回形窗滤波输出图像做三帧累加处理,其SNR相比回形窗滤波图像的改善程度。由图6及表2可知,图5中回形窗滤波图像Pic1_c、Pic2_c、Pic3_c经三帧累加处理后明显改善了图像SNR,其SNR增强程度与理论上3帧累加SNR增强
当然,随着累加长度的增加,对目标与探测系统相对运动的限制将更为严格,算法运算量也会增加,信息处理的实时性变差。因此,在满足系统探测需求的前提下,应选取合适的多帧累加长度,既保证图像处理性能,又降低算法运算的复杂度。
同时,在不增加系统复杂度的前提下,算法中可以采用图像配准技术,消除因系统的抖动而引入的目标与系统的相对运动量,从而更好的保障多帧累加的效果。
4 结论
基于图像滤波处理,本文采用多帧累加算法,进一步提高图像SNR。实验表明,在保障多帧累加算法性能的基础上,采用经过改进的回形窗滤波,有效抑制了孤立噪声的影响,保障了滤波算法的性能;在对红外图像做回形窗滤波的基础上,进一步采取多帧累加,该算法处理流程,明显改善了原始图像SNR,满足了常规算法对目标捕获的SNR要求,提高了低信噪比图像的处理能力,进而提升了红外系统的探测距离,为实现远距离目标的稳定跟踪奠定基础。同时,在今后的研究中,突破基于单波段成像的弱小目标检测的传统方法,探讨基于多波段成像的图像融合检测技术[8,9],进一步提高目标检测算法的性能。
参考文献
[1]周世椿.高级红外光电工程导论.上海:中科院上海技术物理研究所研究生部,2010年修订版:225—226
[2]徐蒙,冯旗,危峻.遥感应用中短波红外探测器系统的信噪比计算.红外技术,2006;28(10):588—590
[3]曹原.红外图像中弱小目标的检测技术研究.上海:上海交通大学电子信息与电气工程学院图像处理与模式识别研究所,2007:17
[4]邹江威,姜卫东.基于形态学的低信噪比图像序列目标提取方法.光电子技术与信息,2005;18(3):3—4
[5] Zhang Shijun,Jing Zhongliang,Li Jianrun,et al.Small target detec-tion of infrared image based on energy features.IEEE Int Conf NeuralNetworks&Signal Processing,2003:672—676
[6]王勇,汪建业.低信噪比图像中目标检测提取方法.大气与环境光学学报,2008;3(3):228—233
[7]莫凡,张涛,凌丽.运动点目标序列图像检测性能分析.科学技术与工程,2011;11(26):6337—6340
[8] Sun Yuqiu,Tian Jinwen,Liu Jian.Dim small targets detection basedon dualband infrared image fusion.IEEE,2006:3003—3007
红外监控图像红眼检测与消除 第10篇
随着社会对安防的重视,视频监控技术特别是红外夜视监控得到了空前应用。国内外在夜视监控技术领域,普遍使用的是低照度摄像机加红外补光照明技术,但是由于红眼效应,瞳孔位置会在监控图像上形成一个明亮的圆斑,破坏图像的真实性。为了解决此缺陷,本文从红眼检测和红眼消除两方面进行研究,以提高红外夜视监控质量。
从1989年Hutchinson发现近红外光源摄像的红眼效应开始[1],红眼检测发展迅速,日渐成熟。张昌明,Rizon,Yoo,Chen等大多数研究员都在人脸特征检测的基础上,缩小范围再定位红眼[2,3,4,5]。Gaubatz和Ali研究团队结合颜色和强度变化创建检测掩膜实现红眼检测,得到了很好的监测效果[6,7],由于红外监控是灰度图像,没有颜色信息,此方法并不适用。陈春波和Morimoto等人利用近轴光照射瞳孔的亮状态和远轴光照射瞳孔的暗状态对两张图像进行差分处理[8,9],很好地提取出人眼位置,但该方法需要复杂的设备,并不适合室外夜视监控。
Zhao和王基帆在室内理想条件下拍摄红眼图片,使用数理形态学的开运算或者Quoit滤波处理红外图像并与原图像进行差分,从而实现瞳孔定位,具有很好的参考价值[10,11]。
柯达公司的Dobbs和Goodwin最早提出采用图像处理方法进行红眼消除[12],之后DeLuca,Steinberg等人申请了大量消除红眼效应的专利,Schettini,赵全友,路明等国内外研究人员都致力于研究自动红眼消除算法[13,14,15,16,17],并取得了一定效果,但这些方法都是基于RBG或者YUV颜色空间的,并不能直接应用于红外监控图像。
由于受到室外夜视环境和成像系统本身等多种因素的影响,主动式红外监控图像无色彩信息,人脸检测难度大,前人研究方法都无法直接应用,所以本文针对红外夜视监控图像的特点提出具有可靠性的红眼检测和红眼消除新方法。
1 红眼检测
一般情况下,为了保证室外监控范围,监控图像中的人物都比较小,加之黑暗条件下,摄像系统为取得合适亮度而提高感光度引起图像噪声,导致人物图像模糊,人脸特征不明显,无法检测人脸。但是红眼效应所产生的明亮小圆斑,其“亮”、“圆”特征非常明显,通过图1所示的流程,基本上可以剔除复杂的背景干扰,准确得到红眼位置的掩膜。
(1)对输入的红外监控图像采用Canny算子进行边缘检测。Canny算法在检测前会进行高斯滤波,有效地抑制噪声;使用4个mask检测水平、垂直以及对角线方向的边缘,没有方向性,对圆形的检测最有效果,能够精确检测出红眼效应的边缘。
(2)将边缘图像进行形态学闭操作,即先膨胀后腐蚀操作,形成封闭的连通域。
(3)对所有的连通域进行条件筛选,通过分析红眼亮斑特征,其判定内容分别为:连通域的长短轴之比、连通域面积、连通域平均灰度值。
根据连通域的形状,可以计算得到与该区域具有相同标准二阶中心矩的椭圆的长轴a和短轴b(像素意义下),对于标准的圆形来说,长短轴之比K=a b=1,虽然红眼效果在图像上产生一个圆斑,但是由于环境影响,K值在[1,2]之间都是可能出现的。
红外夜视图像的红眼效应产生的圆斑是有一定面积的,对连通域的面积进行限制,可以抑制环境背景中出现圆形物体的干扰,更重要的是可以剔除高亮噪点。其面积大小A应该根据监控范围以及摄像机像素大小确定,一般情况下A值在[10,100]之间。
边缘检测会提取出所有明显的边界,包括光亮和灰暗的边界,所以需要通过连通域的平均灰度值S大小剔除暗圆斑连通域,调查发现图像亮度适中情况下,红眼效应的圆斑平均灰度值S普遍大于150。
以上三个判定条件虽然都比较粗糙,但是各自独立,结合在一起可以严格筛选出红眼亮斑。算法采用的门限为1K2,10A100,S150,符合条件的连通域即为红眼所在位置,输出为红眼掩膜,为下一步的红眼消除提供依据。
2 红眼消除
国内外研究人员多数致力于彩色图像的红眼消除,主要用G,B颜色信息对红眼位置的R分量进行矫正,几乎没有涉及到灰度图像的红眼消除,但是夜视红外监控图像的红眼效应非常明显,给观测者带来不舒服的视感刺激,所以解决此问题对提高监控质量还是很有必要的。在夜视红外监控中,红眼效应已经完全破坏了眼睛位置的真实信息,本文只能凭借人们的观察习惯,用人脸的灰度值作为参考,对红眼进行矫正消除。
首先对红眼掩膜用3×3大小的正方形为结构元素进行膨胀操作,提选出红眼周围宽为3个像素的圆环,作为矫正参考区域。该区域避开眼睛,但在人脸范围内,如图2所示。然后计算矫正参考区域的灰度平均值V,并将红眼区域的像素灰度值修改为V 2。这样眼睛位置要比人脸稍暗一点,但是修正后的红眼边界过渡不自然,通过高斯平滑处理使边界模糊达到目的。平滑范围包括修正后的眼睛和作为矫正参考的区域,使用如下3×3高斯算子:
3 实验结果
实验在室外树林环境下进行,截取其中一张夜视红外监控图像进行处理分析。图3(a)是直接从摄像机输出的原始监控图像,人脸模糊,环境复杂,但是红眼效应产生的明亮圆斑非常明显。经过Canny算子边缘检测和闭运算后,图3(b)中显示了树叶复杂轮廓对红眼检测带来一定的干扰。但是对连通域进行1K2,10A100,S150三个条件筛选限定后,只留下了红眼连通域,形成红眼掩膜,如图3(c)所示。图3(d)是将该红眼掩膜在原图中标记出来,可见定位非常准确,为红眼消除提供了准确依据。通过本文提出的红眼消除算法处理后,得到图3(e)结果,通过放大图可以看出消除效果是理想的,过渡平滑,红眼不再突出。不过由于左边的人佩戴眼镜造成反光,带来一定的影响。
另外,对一段视频共150帧图片进行实验,94%的红眼能够检测出并被修正,达到了很好的效果。但也有8%的图片出现了误检,将图片中类似于红眼效应的亮斑进行了错误的修正。
4 结语
红外图像处理范文
声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。