超分辨算法范文

超分辨算法范文（精选7篇）

超分辨算法 第1篇

超分辨率图像重建[1]是指由同一场景的低分辨率退化图像重建出一幅清晰的高分辨率图像。它借助信号估计理论, 很好地解决了固有的传感器阵列排列密度限制引起的图像分辨率低的问题, 弥补了传感器硬件方面的不足。同时, 超分辨率重建可以有效地克服图像获取过程中的模糊、噪声等退化因素的影响, 在工业控制、医学成像、遥感、安全监控、视频信号传输等领域具有广阔的应用前景。超分辨率重建技术具有重要的理论意义和应用价值, 成为图像处理、计算机视觉和应用数学等领域研究的国际热点问题。经过近30年的研究与发展, 出现了大量关于图像超分辨率技术的研究成果。一般说来, 图像超分辨技术主要分为三种类型:基于插值的方法、基于重构的方法和基于学习的方法。

1 基于插值的超分辨率方法

基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。这类方法首先估计各帧图像之间的相对运动信息, 获得高分辨率图像在非均匀间距采样点上的像素值, 接着通过非均匀插值得到高分辨率图像栅格上的像素值, 最后采用图像恢复技术来去除模糊和降低噪声。典型的方法包括:Rajan和Chaudhuri[2]通过分解、插值和融合3个步骤实现的通用插值方法;Taohj等[3]提出的小波域的双线性插值;Lertrat-tanapanich和Bose[4]提出的使用基于光滑性约束的Delaunay三角化插值算法等。

插值法虽能实现快速重构、有效地保持图像边缘, 但通常实际图像的降质信息不可能准确已知, 从而设定的先验模型是不稳定的, 所以实际的超分辨水平并不理想。总体来看, 插值法重构的优点是算法简单从而易实时处理, 缺点是重构的图像边缘模糊、超分辨能力有限。

2 基于重建的超分辨率方法

基于重建的方法是得到最广泛研究的方法, 主要分为频域法和空域法两类。频域法通过在频率域消除频谱混叠来改善图像的空间分辨率。Tsai和Huang于1984[1]年提出在傅里叶变换域内由多帧图像恢复出额外高频信息的超分辨重构, 由此拉开多帧图像SRR的序幕。Irani和Peleg提出了迭代反向投影 (Iterative back projection) 算法[5], 这就是空域法的一种, 即投影初始估计得到LR模拟图像, 计算与低分辨率观测图像的误差并反向投影, 迭代地更新输出估计。凸集投影法采用集合论把超分辨图像解空间投影在各约束凸集的交集中, 迭代地收缩可行解空间, 最终获得估计的HR图像。概率论法以MAP准则建立由高分辨率到低分辨率的条件概率方程, 图像先验和噪声统计分别作为先验知识和条件概率项, 通过最优化得到重构边缘较好的超分辨图像。正则参数平衡最优问题中的逼近项与正则项的基于正则化技术的超分辨是一子类优秀的方法。吸收不同算法优势的MAP/POCS等混合法是目前重建法中超分辨效果最佳的一类[6]。

3 基于学习的超分辨率方法

基于学习的超分辨率方法是近年来超分辨率研究的热点, 它采用机器学习技术, 通过事先给定的范例学习得到低分辨率和高分辨率图像块间的映射先验。超分辨率重建中图像的建模与表示是图像处理领域一个根本性的问题, 模型的选取直接影响到后续图像处理的开展, 过完备图像稀疏表示是一种新兴的图像表示模型, 过完备稀疏表示理论认为在合适的冗余字典的条件下, 图像存在最为稀疏的表示, 即能够用很少量的大系数捕获图像中的重要信息。

3.1 最近邻搜索

这种方法简单、直接, 但只考虑到样本图像块本身的局部特征信息, 稳定性很差。

3.2 K-NN算法

为提高NN算法的鲁棒性, Freeman等[7]提出一种马尔可夫网络 (Markov Network) 模型, 采用马尔可夫网络学习样本库中低分辨率图像块与高分辨图像块的对应关系, 再利用学习到的关系估计图像的细节信息, 该方法开创了基于学习的超分辨率重建研究的先河。该算法将图像块作为马尔可夫网络上的一个节点, 并假定节点间在统计量上相互独立, 生成训练库, 最终应用传播算法求解马尔可夫网络问题, 这种模型相当于最大后验概率问题, 在公式 (1) 基础上加入先验约束, 加强相邻图像块间匹配约束, 其目标函数为:

Datsenko等[8]提出基于MAP的框架, 将K-NN方法提取的高、低分辨率样本图像块作为先验信息, 融入到全局MAP的惩罚函数中, 有利于剔除不相干的样本, 进一步提高了超分辨率重建质量。这类K-NN方法相对NN算法质量有一定提高, 但有限;如果采用不适当的样本, 超分辨率重建效果可能会更差。

3.3 流形学习方法

Chan等[10]考虑样本图像对超分辨率重建算法的影响, 对上述模型进行改进, 他们考虑到不同类型的图像直方图也不同, 利用直方图来筛选样本图像, 之后再通过上述LLE模型进行超分辨率重建。Sung等[11]将流形学习理论中的局部保持投影方法用于人脸虚幻, 更有效地学习输入图像与样本图像间的对应关系。

3.4 稀疏表示法

2008年, Yang等[12]人提出了使用图像块的稀疏表示来实现超分辨率重建。这种方法是通过随机选取图像块的方式组成一个超完备字典, 然后对于每一个测试块, 通过线性规划的方法求得该测试块在这个过完备字典下的稀疏表示, 最后以这组系数加权重构出高分辨率的图像。这种方法克服了邻域嵌入方法中对于邻域大小的选择问题, 即在求解稀疏表示的时候, 无需指定重构所需要基的个数, 其表示系数和基的个数将同时通过线性规划求解得到。然而, 该方法的缺陷在于如何随机选择通用图像超分辨率效果较好的过完备字典。Yu等[13]在方向插值方法中引入稀疏先验约束, 提出空间匹配追踪的稀疏超分辨率方法。Mallat等[14]利用图像的多种先验信息, 融合多个线性反演估计方法, 并采用稀疏优化方法估计系数, 提出了一个自适应的超分辨率重建框架。Wang等[15]将中频和高频图像块进行稀疏编码, 对图像损失的高频信息进行估计。朱胜火等[16]人提出了一种迭代学习冗余字典的方法, 提高了超分辨率重建的效率。在超分辨率重建快速算法方面, 孙玉宝等[17]人提出了基于前向后向算子分裂法和两步迭代算法的超分辨率重建, Elad等[18]人提出了基于收缩学习方法的超分辨率重建。为了更好地保留图像的几何和纹理结构, 孙玉宝等[19]人提出了多形态稀疏性正则化的图像超分辨率算法。

4 总结与展望

一种亚像素级图像超分辨恢复算法 第2篇

遥感相机是获取地面信息的重要技术手段,相机作为遥感器的主要载荷形式之一,被世界各国广泛用于资源普查、地形测绘、军事侦察等许多领域.相机按成像介质可分为胶片型和 CCD 传输型2类.胶片型相机照相分辨率高,实时性差;CCD传输型相机照相分辨率较胶片型低,但实时性强.因此,目前处于2种介质形式相机共存的态势.

影响相机成像质量因素较多,主要有:设计、制造误差;装调、检测误差;载机运动(前向移动、姿态改变、照相距离改变、冲击振动等)引起的误差;相机所处的环境条件(温度、压力)引起的误差;相机成像过程中运动(扫描、调焦、补偿运动等)引起的误差,故保证相机的成像质量需采用多种措施.从CCD传输型相机入手,对其所成图像进行超分辨显示研究.CCD分为线阵列和面阵列CCD,应实际需求,文中只研究线阵列CCD.

CCD相机在获取图像的过程中受其固有的传感器阵列像元几何尺寸的限制,图像的空间分辨率不可能很高.如果采用减小像元几何尺寸的办法来提高图像分辨率和消除变形效应,则因技术难度很大、费用昂贵而很难实现.CCD图像几何超分辨方法主要有2种:软件插值及亚像元成像方法.软件插值只是利用低分辨率图像原始信息,而并未获得新的图像信息,因此,分辨率很难提高;亚像元成像方法的核心思想是获得同一目标的多幅低分辨率图像,各图像之间存在移位信息,通过软件提取移位图像中的冗余信息,以达到提高CCD几何分辨力的目的.

1 半像元错位图像成像技术方法

半像元错位图像,就是使获得的2帧图像之间在垂直和平行传感器飞行方向均相差半个像元.目前有2种技术措施可以达到图像半像元错位的效果,一种是有直接采用半像元错开排列的CCD器件成像,另一种是采用光锥耦合技术使2条分置的CCD器件产生半像元错开效果.在此选用前一种方法.在同一CCD器件内部,集成2片相同的线阵CCD,像元数目为N、像元尺寸为aa,2片CCD在线阵方向上错开a/2,在扫描方向上错开na(n为整数),示意图如图1所示.

在扫描过程中,CCD读出时间减半,即CCD扫描步进距离为a/2.对于单个线阵CCD推扫成像,其在线阵方向和扫描方向上的采样距离均为a;对于半像元成像,2片线阵CCD在线阵方向上的错位使得线阵方向上的采样距离减半,而读出时间的减半使推扫方向上的采样距离减半.

尽管半像元错位图像的2种成像方式存在着一定的差异,但从CCD成像的物理原理可知,CCD像元的灰度值是该像元内光能量的平均值,因此对低分辨率图像而言,每一个像元都是高分辨率图像的4个相邻像元的灰度均值,故2种方式获得的低分辨率图像和高分辨率图像都存在着如图2所示的关系.

2 迭代分解像元法

在图3中设CCD像面上原图像分辨率为2N.

当采用分辨率为2N的CCD传感器H时,每个CCD单元的间隔为d,获取图像的分辨率为2N.当采用分辨率为N的CCD传感器L1时,每个CCD单元的间隔为2d,获取图像的分辨率为N.把CCD传感器L1在垂直方向上错开距离d(即低分辨率半个像元的大小)放置在L2的位置,那么同样可以获取分辨率为N的图像,由于错开距离d的原因,L2获取的图像与L1获取的图像并不完全相同.

因为CCD像元的灰度值是该像元内光能量的平均值,则由2个小像元组成的大像元的灰度值就是2个小像元灰度值的平均值.因此可以认为L1和L2中每一个像元的灰度值都是H中对应的2个相邻像元的灰度值的平均值.即

$\begin{array}{l}L1{}_n=\frac{{\rm H}{}_{2n}+{\rm H}{}_{2n+1}}{2}\\ L2{}_n=\frac{{\rm H}{}_{2n+1}+{\rm H}{}_{2n+2}}{2}(1)\\ L1{}_{n+1}=\frac{{\rm H}{}_{2n+2}+{\rm H}{}_{2n+3}}{2}\\ L2{}_{n+1}=\frac{{\rm H}{}_{2n+3}+{\rm H}{}_{2n+4}}{2}\end{array}$

从式(1)中可以求出

H2n+1=2L1n-H2n

H2n+2=2L2n-H2n+1

H2n+3=2L1n+1-H2n+2

H2n+4=2L2n+1-H2n+3 (2)

只要己知H0,根据式(2)可以依次求出H1,H2,,H2n+1.H0的初值可以取L10,即H0=L10.式(2)针对的图像只是在垂直方向有错位发生,当2幅低分辨率图像之间在垂直和水平方向均有错位时,只须按照式(2)对2个方向的像元同时进行重建操作即可达到重建的目的.

3 仿真实验

为验证文中提出方法的有效性,利用MATLAB7.0.1软件进行了仿真.仿真是建立在半像元超分辨数学模型及上述成像方法的基础上.

仿真实验的最终目标是将一幅图像在水平方向和垂直方向上的分辨率各提高一倍,即:分辨率增长因子kh=kv=2.其仿真思想为:取一幅256256的灰度图像模拟地面景物的采样图像,采样频率满足采样定理,该图像也是通过半像元方法欲重构的高分辨率图像.依据CCD成像原理,CCD1及CCD2输出图像的灰度值为高分辨率图像临近4个像元灰度值的均值,该过程模拟了CCD 1/2欠采样.CCD在线阵方向上的错位及读出时间减半则分别描述了高分辨率图像在水平方向和垂直方向上的平移运动.根据图1所示几何关系及式(1)可以得到4个灰度矩阵,即得到4幅低分辨率图像,p=4.最后依据式(2)合成高分辨率图像.

仿真结果如图4所示.图4a为欲重构的高分辨率图像,图4b为其中一幅低分辨率图像,为方便比较,显示图像为原低分辨率图像在水平方向和垂直方向分别放大一倍后的图像.依据成像过程可知,其分辨率为图4a的1/2.从图像4b可以看出,欠采样引起了图像模糊:图4a中人物条纹头巾上的黑白条纹清晰可见,而在图4b中无法识别.对图4b进行双线性插值,得到图4c.插值后图像质量稍微有些好转,但插值过程对图像进行了平滑处理,不能恢复图像中的高频细节信息,模糊现象依然严重.利用文中给出方法合成的图像如图4d所示,可以分辨出人物头巾上的黑白条纹,但与图4a相比,还有差别,说明该方法可以有效减小欠采样引起的频率混迭,但不能完全消除.

峰值信噪比是一种比较接近人眼视觉效果的客观评价,在此,选用峰值信噪比对双线性插值图像及半像元合成图像进行定量分析,结果如表1.

从上述结果中可以看出,半像元合成图像的PSNR比双线性插值图像高出0.2 dB.

峰值信噪比计算公式为

$\text{Ρ}\text{S}\text{Ν}\text{R}=10\log \frac{255{}^2{\rm M}{\rm N}}{{\displaystyle \sum _{i=0}^{{\rm M}-1}{\displaystyle \sum _{j=0}^{{\rm N}-1}[}}{\rm O}(i,j)-{{\rm O}}^{\prime }(i,j)]{}^2}$

式中,O(i,j)、O′(i,j)分别为原始图像及重建图像中第(i,j)个像素灰度值.

4 结 束 语

CCD传感器的物理结构决定了其像元成像分辨力受像元尺寸限制.文中提出了在CCD器件内部集成2片CCD,2片CCD在线阵方向上错开半个像元,并减小CCD读出时间的半像元成像方法.CCD在线阵方向上的错位及读出时间减半的等效结果是2个方向上采样间隔减小为原来的1/2,即采样频率提高为原来的2倍,理论分辨率能达到原来的2倍,但CCD采集数据有重叠区域,因而合成图像实际分辨率低于低分辨率图像的2倍.实验结果显示:该方法可以有效减小CCD有限尺寸带来的混迭现象,且PSNR比双线性插值图像高0.2 dB.

该方法利用读出时间减半来提高扫描方向上的采样频率,这对于光照强度不高的目标景物来说是不利的.但该方法对于光照强度足够的目标景物,可以实时合成出高分辨率图像.为进一步提高合成图像分辨率,在不要求实时性的条件下,可以依据半像元成像数学模型来建立高分辨图像与低分辨率图像之间的关系,利用梯度下降或共轭梯度算法最优化求解,以合成高分辨率图像.

摘要：随着光学成像到光电数字成像的转变,如何提高CCD的几何分辨率,已成为研制高分辨光电成像系统亟待解决的问题.建立了半像元超分辨成像数学模型,提出了半像元的CCD几何超分辨方法.该方法将2片线阵CCD集成在同一器件中,在线阵方向上错开半个像元,同时读出时间减半,最终交织重组图像数据,以合成高分辨率图像.利用MATLAB软件对双线性插值方法及半像元成像方法进行了仿真,并定性定量地分析了2种方法的效果.结果显示:半像元方法合成图像分辨率约为低分辨率图像的2倍,且2组仿真图像中的PSNR比双线性插值图像分别高出1.486 4 dB和2.207 0 dB.该方法可以显著地减轻欠采样引起的图像模糊,且实时性优于双线性插值方法.

关键词：半像元,超分辨,CCD

参考文献

[1]徐正平,翟林培,葛文奇,等.亚像元的CCD几何超分辨方法[J].光学精密工程,2008,16(12):2447-2453.

[2]Jae H Cha,Eddie Jacobs.Superresolution reconstructionand its impact on sensor performance[J].Proceedings ofSPIE,2005,5784:107-113.

[3]楚恒,朱维乐.基于DCT变换的图像融合方法研究[J].光学精密工程,2006,14(2):266-273.

[4]黄勇,陈琳.一种基于SOFM聚类的星图识别算法[J].光学精密工程,2004,12(6):346-351.

[5]潘梅森,荣秋生.基于SOFM神经网络的图像融合二值化方法[J].光学精密工程,2007,15(3):401-406.

[6]何永义,夏俊日升.工程图像的矢量化技术[J].光学精密工程,2002,10(8):374-378.

[7]王凌,张平,冯华君,等.用多次移位成像提高CCD成像分辨力的反演解析法[J].光电工程,2003,30(3):62-65.

[8]刘其涛,李金萍,张峻.用像元重叠采样提高CCD成像分辨率的方法[J].激光与红外,2005,35(3):210-213.

超分辨算法 第3篇

高分辨率遥感图像的获得方法有两种:一种是通过提高遥感成像系统性能直接获得高分辨率图像;另一种则是采用超分辨率处理技术间接获得高分辨率遥感图像。采用提高遥感成像系统性能时, 通常是通过增大相机镜头或减小CCD单个像元尺寸实现, 但随着人们对高分辨率遥感图像的需求越来越多, 增大相机镜头或者减小CCD像元面积的实现越来越无法满足实际需求, 获取成本也越来越高。通过超分辨率处理技术获得高分辨率遥感图像的方法越来越受到遥感图像应用界人士的青睐。

对遥感图像进行超分辨率复原处理最早由Harris于20世纪60年代提出, 复原算法中采用傅里叶级数展开的方式获得了分辨率提高的遥感图像, 但该技术在实际中应用效果并不理想, 所以并没有被广泛应用。直到20世纪80年代超分辨率复原技术在图像处理领域才得到突破性的进展, 如H.Stark和P.Oskoui提出的基于凸集合投影理论的复原算法 (POCS) , S.E.Meinel提出的泊松最大似然复原算法 (泊松-ML) , B. R.Hunt和P.J.Sementilli提出的泊松最大后验概率复原算法 (泊松-MAP) 等。近年来又不断有新的算法产生, 例如由Michal Irani和Shmuel Peleg提出的迭代反投影 (IBP) 算法、Andrew J.Patti[1]和M.Ibrahim等人在H.Stark和P.Oskoui的POCS算法基础上的改进算法、Nimish R.Shah和Avidech Zakhor提出了非均匀空域样本内插算法[2]。

超分辨率图像复原算法中, POCS算法可以用于处理复杂的成像模型, 并可以充分利用先验知识, 成为国内外广泛采用和改进的超分辨率图像复原算法[3,4,5,6,7], 这里对遥感图像分辨率增强的仿真将采用POCS算法进行。

1 超分辨率复原算法分析

超分辨率复原算法是指由一序列低分辨率变形图像来估计一幅或多幅高分辨率的非变形图像, 同时还能够消除加性噪声以及由有限检测器尺寸和光学产生的模糊, 是图像融合领域中的一个重要分支。

超分辨率复原算法包括空域算法和频域算法, 由于频域算法的观察模型仅限于全局位移, 频域中数据缺乏相关性, 难以将空域先验信息考虑进来, 因此频域算法的研究较为缓慢。空域算法中较为常用的算法包括:非均匀空域样本内插算法、IBP算法以及POCS算法。

非均匀空域样本内插法由Nimish R Shah和Avidech Zakhor提出, 算法中充分考虑了重建过程中运动估计的不准确性, 同时利用颜色分量进一步提高运动矢量的精度。非均匀空域内插算法的系统框图如图1所示。

该观测模型只适用于所有的低分辨率图像的模糊和噪声特性都相同的情况, 当采集的图像来自于不同的几个相机时具有的模糊和噪声便无法保持相同, 此外由于恢复时忽略了插值过程中引入的误差, 无法保证整个恢复算法的最优。

IBP (Iterated Back Projection) 算法由Michal Irani和Shmuel Peleg提出, 该算法通过连续仿真和校正来恢复超分辨率图像。IBP算法实现框图如图2所示。

该算法解不惟一, 并且无法将先验知识引入到复原算法中去。

POCS算法最早由H.Stark和P.Oskoui提出, 后由Andrew J.Patti, M.Ibrahim等人对该算法进行优化改进, 成为超分辨率复原算法中使用较为广泛的一种, 此后人们常使用的是Andrew J.Patti, M.Ibrahim等人改进的POCS算法。该算法的实现框图如图3所示。

该算法首先将低分辨率图像中的一帧作为参考图像, 进行插值放大, 并作为超分辨率复原图像的初始估计, 其他低分辨率图像则以参考图像为基准进行图像的配准。根据先验信息可以定义多个凸集合, 这些集合的交集便包含了超分辨率复原图像。通过迭代低分辨率图像序列使之满足对应的凸集合要求, 便可得到超分辨率图像。该算法具有可以充分利用先验信息简化解空间, 并且可以处理复杂的退化模型等特点, 成为众多学者研究改进的算法。

2 遥感图像超分辨率复原算法的仿真实现

研究遥感图像分辨率提高的方法, 首先要对遥感图像分辨率降低的过程进行研究, 通过分析高分辨率遥感图像的降质模型, 即可反推出遥感图像超分辨率的复原过程。高分辨率遥感图像经过遥感成像系统的采样、变形、模糊及下采样后送入信道传输, 传输过程中信道的噪声加入到已经变坏的遥感图像信号中, 接收端获得的遥感图像也就是观测到的低分辨率遥感图像。通过分析降质模型可知, 遥感图像复原过程如图4所示。

该部分提出了一种用Matlab对一组低分辨率遥感图像进行超分辨率处理的仿真方法。首先模拟高分辨率遥感图像的降质过程得到一组低分辨率遥感图像, 再结合文献[8]中介绍的POCS算法的原理进行遥感图像的超分辨率复原仿真。降质过程中低分辨率遥感图像均采用全局平移, 点传播函数使用高斯型矩阵, 分辨率放大因子为2。

其中采用POCS算法原理进行编程时, 遥感图像超分辨率处理的流程图如图5所示。

所提仿真方法的具体步骤如下:

(1) 低分辨率图像获得, 如图6所示。

使用Matlab软件模拟图像降质过程, 获得一组低分辨率图像, 作为超分辨率复原处理的输入。

(2) 参考图像选取

选取低分辨率遥感图像序列中的一帧作为参考图像, 参考图像选取后定义所对应的高分辨率栅格, 并以参考图像为基准计算其他低分辨率图像相对于参考图像的运动估计。如图7所示。

(3) 超分辨率遥感图像初始估计获得, 如图8所示。

选取参考图像后, 将参考图像进行线性插值放大2倍, 作为程序运行的初始估计, 根据框图5进行估计图像的更新, 更新过程中可以使用以下几种凸集合约束 (如式 (1) 、式 (2) 所示) 。

数据保持约束:

$C{}_i=\{f:\mathit{\delta }{}_i^{\text{Τ}}f=y{}_i\},1i{\rm M}{}_1{\rm M}{}_2(1)$

图像的幅度约束:

$C{}_{\text{A}}=\{f:\alpha f\beta ,\alpha <\beta \}(2)$

(4) 超分辨率遥感图像获得, 如图9所示。

低分辨率遥感图像序列循环结束后通过比较相邻两迭代帧的误差决定程序是否跳出, 条件不满足时再进行低分辨率遥感图像序列的迭代, 直至满足条件或循环次数达到最大的设定值, 程序结束。程序结束后得到的估计图像即为复原的超分辨率遥感图像。对比仿真前后的遥感图像, 低分辨率遥感图像序列及初始估计的超分辨率遥感图像中的建筑以及道路均无法识别, 但通过采用遥感图像超分辨率处理技术使得图像中的各目标可以识别。遥感图像中部的机场部分跑道轮廓清晰, 机场周边建筑可以明显的辨别。仿真结果表明使用遥感图像超分辨率处理技术后遥感图像分辨率可以明显提高, 更有利于目标的识别和遥感图像的应用。

3 结 语

通过对超分辨率复原算法的分析, 在此采用一组低分辨率遥感图像实现了遥感图像的超分辨率复原, 所得复原遥感图像分辨率明显提高, 图像中目标可以清晰识别。近年来随着超分辨率复原算法广泛应用, 这一技术已经成为一种新型的高分辨率图像获取方式, 并在遥感图像处理领域得到了一定的发展[9]。但现有超分辨率处理技术仍存在着一定的问题, 未来超分辨率处理技术的发展将集中在更准确的图像配准算法、更接近实际情况的降质模型以及结合新的知识领域对现有算法进行改进等方面。

参考文献

[1]Patti A J, Sezan M I, Tekalp A M.Superresolution VideoReconstruction with Arbitrary Sampling Lattices and Non-zero Aperture Time[J].IEEE Trans.on IP, 1997, 6 (8) :1 064-1 076.

[2]Shah N R, Zakhor A.Resolution Enhancement of ColorVideo Sequences[J].IEEE Trans.on IP, 1999, 8 (6) :879-885.

[3]李惠芳, 杜明辉.基于改进的POCS算法的超分辨率图像恢复[J].华南理工大学学报:自然科学版, 2003, 31 (10) :25-27.

[4]徐宏财, 向健勇, 潘皓.一种改进的POCS算法的超分辨率图像重建[J].红外技术, 2005, 27 (6) :477-480.

[5]张嵩, 栾素娟.基于改进量化约束集的块效应消除算法[J].计算机工程与应用, 2007, 43 (20) :82-85.

[6]Huang Hua, Fan Xin, Qi Chun.A Learning-based POCS Al-gorithm for Face Image Super-resolution Reconstruction[J].Proceedings of 2005 International Conference on MachineLearning and Cybernetics[C].2005:5 071-5 076.

[7]Kim M, Lee S W, Kim S D.Spatial Error ConcealmentMethod Based on POCS with a Correlation-based InitialBlock[J].IEEE Image Process., 2007, 1 (2) :134-140.

[8]徐青, 谭兵.遥感影像融合与分辨率增强技术[J].北京:科学出版社, 2007.

一种优化的人脸图像超分辨率算法 第4篇

图像超分辨率(Super Resolution,SR)技术是一种基于信号处理方法获得较高分辨率图像的技术。SR以若干模糊、有噪、频谱混叠的低分辨率图像(Low Resolution,LR)为输入,通过信号处理技术融合出一幅高分辨率(High Resolution,HR)图像。SR技术能克服图像系统内在的分辨率的限制,改善图像处理中大多数图像的质量,且具有低成本的特点,已成为图像处理中的一大热点[1]。在视频会议、新闻广播、人脸识别和公共安全等很多场合,利用现有设备通过SR技术获取HR图像具有重要的现实意义。

1相关工作

目前已有众多学者对人脸图像超分辨率算法进行了研究,提出了一系列具有一定实用价值的方法,总结起来可以分为2类:第1类是基于重建的方法[2,3],该方法只利用输入低分辨率图像的信息进行重建,一般要求输入的是同一场景的多帧低分辨率图像,利用这些低分辨率图像各自包含的亚像素信息的不同来恢复出一幅高分辨率图像。但是这个条件过于苛刻,如果只有一张输入图像或者这些输入图像不能够进行比较精确的配准,得到的结果不够理想,因此在实际应用中局限性较大;第2类是基于学习的方法[4,5],其基本思想是建立一个由若干HR和对应LR图像对组成的训练集,然后学习HR与LR图像之间的统计关系,将这种先验知识应用到SR过程。但是该方法同样面临着如何加快网络的收敛、如何最大限度地缩小训练集以及如何使输出图像更加逼近原始图像等问题。由于基于学习的方法打破了传统重建技术仅从给定LR图像获取信息的局限,利用大量现存自然图像之间的统计关系,为SR算法寻找新的知识来源,为解决不确定性逆向问题开辟了新的途径。下面基于学习的思想,提出一种改进的算法,该算法以马尔科夫网络模型为基础,通过分块、相容性检查以及Sigmoid加权处理等一系列操作,来提高图像匹配的精确度和效率,最后通过实验验证了本文算法的有效性。

2图像超分辨率问题描述

一般都假定低分辨率图像IL是由高分辨率图像IH通过模糊、降采样并加入噪声得到的。加入的噪声是独立同分布的,一般假定为高斯噪声。用公式表示为:

${\rm I}{}_L(i,j)={\displaystyle \sum _{(p,q)}{\rm H}}(i,j,p,q){\rm I}{}_{{\rm H}}(p,q)+\eta (p,q)$。 (1)

式中,η(p,q)为独立同分布的随机噪声。权值H(i,j,p,q)表示高分辨率像素(p,q)对构成低分辨率像素(i,j)的贡献值。将式(1)所表示的图像展开成一个列向量,则可以得到图像分辨率的退化模型为:

IL=AIH+η。 (2)

式中,矩阵A代表着几何变换、模糊处理及欠采样等线性降级操作;η为标准差为σ的零均高斯随机向量。在已知IH的条件下,可以直接计算出对应的IL,但在已知IL的情况下求IH却存在多组满足式(1)的解。寻找最优的IH最常用的方法是最大后验概率法(MAP)。根据贝叶斯理论,后验概率可由下式生成:

${\rm P}\left({\rm I}{}_{{\rm H}}|{\rm I}{}_L\right)=\frac{{\rm P}\left({\rm I}{}_L|{\rm I}{}_{{\rm H}}\right)\cdot {\rm P}\left({\rm I}{}_{{\rm H}}\right)}{{\rm P}\left({\rm I}{}_L\right)}$。 (3)

式中,P(IL)和P(IH)分别为IL和IH的先验概率;P(IL|IH)已知IH的条件下观测IL的条件概率,而要求的就是在最大后验概率P(IL|IH)条件下的最优高分辨率图像I*H,表示为:

${\rm I}{}_{{\rm H}}^{*}=\arg \max {\rm P}\left({\rm I}{}_{{\rm H}}|{\rm I}{}_L\right)=\arg \max {\rm P}\left({\rm I}{}_L|{\rm I}{}_{{\rm H}}\right){\rm P}\left({\rm I}{}_{{\rm H}}\right)$。 (4)

这样,SR问题的关键就是如何确定相关性函数P(IL|IH)和先验知识P(IH)。

3马尔可夫模型

众多的研究表明[1,2,3,4,5],马尔可夫网络(Markov Network,MN)模型能够较好地描述自然图像的分布特性,该模型提供了关于图像的一种统计描述。假定低分辨率LR小块I${}_L^{{\rm P}}$[i,j]的观察节点为模型顶部的y节点;待估计的高分辨率HR小块I${}_{{\rm H}}^{{\rm P}}$[i,j]的图像数据为模型底部的x节点(又称隐节点);βi(xi,yi)是对变量xi的观测函数;αi(xi,yj)是对变量xi和相邻变量yj之间的相关性函数。整个系统的目标就是使每一个HR分块最可能地匹配一个已知的LR分块,并同时使HR分块之间达到最相容。其数学描述如下:

$\begin{array}{l}p({\rm I}{}_{{\rm H}}|{\rm I}{}_L)=\frac{1}{{\rm Z}}{\displaystyle \prod \alpha }({\rm I}{}_{{\rm H}}^{{\rm P}}[i,j],{\rm I}{}_{{\rm H}}^{{\rm P}}[i\pm 1,j\pm 1])\cdot \\ {\displaystyle \prod \beta }({\rm I}{}_{{\rm H}}^{{\rm P}}[i,j],{\rm I}{}_L^{{\rm P}}[i,j])。(5)\end{array}$

式中,Z为归一化常数。按照上述MN模型,观察函数β定义如下:

$\beta ({\rm I}{}_{{\rm H}}^{{\rm P}}[i,j],{\rm I}{}_L^{{\rm P}}[i,j])=\exp (-\frac{[d({\rm I}{}_{{\rm H}}^{{\rm P}}[i,j],{\rm I}{}_L^{{\rm P}}[i,j])]{}^2}{2\zeta {}^2})$。 (6)

式中,ζ为噪声因子。对于相关性函数α,根据隐节点间相容性的准则,这里采用基于重叠区域间的欧几里得距离来定义:

$\begin{array}{l}\alpha ({\rm I}{}_{{\rm H}}^{{\rm P}}[i,j],{\rm I}{}_{{\rm H}}^{{\rm P}}[i\pm 1‚j\pm 1])=\\ \exp (-\frac{[d({\rm I}{}_{{\rm H}}^{{\rm P}}[i,j]{}_h,{\rm I}{}_{{\rm H}}^{{\rm P}}[i\pm 1,j\pm 1]{}_{-h}]{}^2}{2\zeta {}^2})。(7)\end{array}$

式中,I${}_{{\rm H}}^{{\rm P}}$[i,j]h为I${}_{{\rm H}}^{{\rm P}}$[i,j]的右、下、左和上重叠区域;I${}_{{\rm H}}^{{\rm P}}$[i±1,j±1]-h为相邻块I${}_{{\rm H}}^{{\rm P}}$[i±1,j±1]对应的左、上、右和下重叠区域。

4图像超分辨率算法的改进

4.1图像质量下降的原因分析

在小样本训练集下,人脸图像超分辨率学习算法都或多或少的存在局部失真和块效应现象。特别是在放大倍数下,局部失真和块效应的现象就更加严重,由一般的MN学习算法产生的结果图像如图1所示。

图1中3列分别为:原始的HR图像、经下采样再简单复制放大的图像(可视为输入LR图像)、分区MN学习算法的图像。从分区MN算法结果图中已经可以看到比较明显的局部失真和块效应现象,在下采样率更大的情况下,局部失真和块效应现象会更加严重。

仔细分析出现上述现象的原因,从SR算法的处理过程来看,由于训练集样本较小,所以训练集里也许根本就不存在对应于输入图像的HR图像信息,或者选择出来的所谓最匹配的HR图像块,其实只是相对于训练集里其他图像块而言稍好而已,而对输入图像真正所要求的HR图像块而言仍然存在较大差异。由此可见,SR融合算法里相邻块之间的兼容性约束较粗糙以及训练集样本缺少输入图像所需的高频信息是造成图像质量下降的主要原因。

4.2算法基本思想

一般有效人脸图像重构必须满足如下的约束条件:① 经过算法重构后的图像进行平滑和下采样后,必须和输入的图像很接近;② 重构后的图像必须具有人脸的一般特征,并具有对称性;③ 重构后的人脸图像和原始图像在局部细节特征上要求很接近。

基于以上的约束条件,经过对人脸图像的大量观察注意到,人脸的眼睛、眉毛、嘴巴和牙齿等部位主要是在水平方向上伸展和排列的,因此从纹理结构以及人类视觉特性的角度看,分块在水平方向上的相容性比垂直方向更为重要。

另外,大量的实验结果表明,在人脸图像的相同区域,高、低分辨率图像之间的整体灰度值基本上保持一致。这也就意味着对于输入图像上的任意一个像素点,若训练集里候选匹配块上相对应像素点的灰度值与它相差越大,那么这样的像素点越不可能包含输入图像所需的高频信息。依据以上分析,本文算法的主要思想包含以下3点:① 针对训练集人脸图像的差异,采用非线性局部搜索技术在训练图像集中找到与原始图像最匹配的块,以降低搜索的空间复杂度,提高匹配的效率和相关性。② 引入基于视觉特性的水平相容性检查准则[4]。优先检查水平相容性,为传递函数计算块间相容性时,将优先考虑水平方向上的检查结果,在不能找到一个分块使其在水平和垂直方向上同时与前一个分块最相容时,算法将取在水平方向上与之最相容者。③ 基于Sigmoid函数进行加权处理。

4.3图像超分辨率算法描述

依据上述介绍的算法思想,仅给出图像超分辨率算法的主要步骤如下:

输入:LR图像

输出:HR图像

步骤1 将输入的LR图像与训练集图像根据两眼坐标偏差进行预对齐,并构造训练集图像的马尔可夫模型;

步骤2 对输入图像以及训练集人脸图像进行定位和分块,定义不同属性块所使用的不同搜索策略;

步骤3 对于输入图像中的每个待处理分块I${}_L^{{\rm P}}$,计算待处理的小分块与训练集对应分块的欧式距离,从而在训练集里选择出最匹配的K(K为不小于1的整数)个图像块IPHi,其中1ik;

步骤4 设I${}_R^{{\rm P}}$是超分辨率结果图像中相对应的图像块,f(x,y)为图像上任意点(x,y)的灰度值,令

θi=|I${}_L^{{\rm P}}$(f(x,y))-I${}_{{\rm H}{}_i}^{{\rm P}}$(f(x,y))|, (8)

则得到了K个灰度差值,分别为θ1、θ2、θ3θk;

步骤5 设输入图像块I${}_L^{{\rm P}}$所对应的加权系数为λ0(0λ01),利用式(8)计算步骤3中k个匹配块的k个权值:

$\lambda {}_i=(1-\lambda {}_0)\frac{1}{\theta {}_i}/{\displaystyle \sum _{i=1}^k\frac{1}{\theta {}_i}}$; (9)

步骤6 利用Sigmoid函数进行加权,得到超分辨率图像块I${}_R^{{\rm P}}$上点(x,y)的灰度值(其中σ表示Sigmoid函数):

${\rm I}{}_R^{{\rm P}}(F(x,y))=\lambda {}_0{\rm I}{}_L(f(x,y))+$

; (10)

步骤7 重复步骤3～步骤6,直至I${}_R^{{\rm P}}$中所有像素点全都具有灰度值和生成超分辨率图像。

5实验结果与分析

这里给出算法使用Visual C++6.0实现,实验所用的训练图像来自中科院是CAS-PEAL的人脸图像数据库。在实验之前,对于每张图片都进行了正规化预处理,并裁剪96128的尺寸大小。选取其中150幅原始HR图像作为训练集,另外选了100幅不同人脸图像,对它们进行4倍、9倍和16倍降采样,然后简单地复制放大作为测试输入的LR图像,且测试图像均不包含在训练集中。本文实验的结果如图2所示。

其中5组从左到右依次为:原HR图像、LR输入图像、Bi-cubic算法、MN分区算法和本文算法。图2给出了3行图像,其中第1行、第2行和第3行显示的分别是采样率在2、3、4的情况下的实验结果。从实验结果中可以看到,随着采样率的提高,作为传统插值算法的Bi-cubic算法,高频信息丢失严重;而MN分区算法明显比插值算法引入了更多的高频成分,但图像局部失真和块效应的现象却也越来越突出;本文算法引入高频信息的能力优于MN算法,同时能有效地抑制局部失真和块效应现象的出现,从主观输出效果看,其结果图像融合自然,与原始HR图像相似度更高。

6结束语

针对目前人脸图像超分辨率算法中普遍存在的局部失真和块效应现象进行了研究,提出了一种鲁棒性较强的改进算法,该算法在图像重构时能够保证兼容性以及提取出更多的高频信息,从而改善了超分辨率图像的质量。实验结果也表明了本文算法是有效的。

未来的工作包括以下2个方面:① 进一步研究更优的图像超分辨率算法,从而重构出更高质量的高分辨率图像;② 结合公共安全、视频会议等现实场景的需要,对本文算法进行验证、修改以及推广应用。

参考文献

[1]浦剑,张军平,黄华.超分辨率算法研究综述[J].山东大学学报(工学版),2009,39(1):1-7.

[2]孙琰玥,何小海,陈为龙.小波局部适应插值的图像超分辨率重建[J].计算机工程,2010,36(13):183-185.

[3]侯跃谦,谭庆昌,孙秋成.基于低分辨率图像的自适应超分辨率重构算法[J].计算机工程,2010,36(16):192-194.

[4]黄东军,考特斯,维安尼,等.人脸图像超分辨率非线性学习算法[J].计算机工程,2010,36(3):203-205.

[5]郑丽贤,何小海,吴炜,等.基于学习的超分辨率技术[J].计算机工程,2008,34(5):193-195.

超分辨算法 第5篇

在计算机视觉领域,随着图像处理技术的不断发展,人们开始尝试使用数字图像处理技术来提高图像分辨率。图像的分辨率越高,细节表达就越清晰,从而提供的信息就越精确。图像的超分辨重建研究成为图像处理领域里的一个研究热点,研究学者致力于使用超分辨率重建技术对输入的低分辨率 (LR)图像进行处理,以得到一幅或多幅高分辨率 (HR)图像。经过处理后得到的高分辨率图像一方面在图像的视觉质量上得到了改善,另一方面也更利于图像特征提取与目标识别。图像超分辨重建是一种图像融合技术,其基本思想是结合一定的先验信息,通过对图像之间的相关或相似信息进行融合来重构出高分辨率图像,弥补了观测图像在信息提供方面的局限性。

目前图像超分辨重建技术已成为获得高分辨率图像的一个实用且有效的方法,它不仅可以克服图像在成像过程中的限制,达到提高图像分辨率、改善视觉质量的目的,同时也能在不改变成像设备的前提下节约经济成本。

支持向量机回归(SVR)是一种基于核函数的回归方法,具有较好的非线性映射能力。在文献[1]中将超分辨率重建看成是一个回归问题, 使用SVR方法在DCT域中解决超分辨重建问题, 随后又提出了一些改进方法[2],但传统SVR方法需要大量的图像来获得训练模型,计算复杂度比较高,而现有图像统计研究[3]表明,图像可以从过完备字典中通过稀疏线性组合很好地表示。当图像块特征用稀疏表示系数表征后, 能够更加简单、明了地对图像块进行表示,从而使计算复杂度降低,同时图像的重建效果还能有一定的提高。

1 传统的基于支持向量回归的算法

传统的基于SVR的超分辨算法主要分两步:训练过程和学习预测过程,具体算法流程图如图1所示。

图1(a)训练过程 (b)预测过程

训练过程中的图像退化模型一般可以表示为:

Y=HFX+V (1)

其中的X是已知的标准数据集的高分辨率图像, H为相应的模糊函数,F是下采样矩阵,V是噪声。

传统的SVR的特征一般是用简单二维高斯分布来确定小图像块中像素的权重。

图像的特征提取的合理与否,对SVR训练的模型将产生巨大的影响,而在预测阶段,通过训练得到模型的优劣很大程度上决定SVR在图像重建时效果的好坏。因此,图像特征表示方法将决定SVR算法对图像超分辨重建的结果。

2 改进的基于支持向量回归的算法

我们提出的改进的不同于传统SVR的算法中, 并不是用传统简单的二维高斯分布来确定小图像块中像素的权重作为特征来进行训练。我们采用分割的小图像块的稀疏表示系数向量作为小图像块的特征用于SVR训练。下面将详细介绍。

(1)在训练阶段时,先将原来已知的训练样本的HR图像X进行模糊和下采样得到相应的LR图像Y, 用Mean-Shift算法提取Y图像的高频部分并标记,再通过插值将LR图像变换成与原来HR一样大小的图像X1,X1图像中将会含有Y中标记的图像块,以用于X1图像中标记高频图像块部分和低频图像块部分分别训练。

(2)特征提取用稀疏表示系数时,不是直接建立LR和HR对应的分割图像块训练对,而是用Dh和D1分别对应低频和高频的图像块对的字典,然后用K-SVD[4]字典算法来得到训练字典。当输入一幅图像时,通过OMP[6]算法来获得图像的稀疏表示系数向量。

(3)下面介绍稀疏表示系数的建立过程。

稀疏表示要解决的问题用公式可以表示为:

其中D1是低频部分的训练字典,d1是低频图像块的稀疏表示向量,F是图像块的特征表示算子,y是低频图像块。

上式零阶范数是一个NP问题,但最近的研究结果表示,只要d1稀疏表示向量是足够稀疏,那么它可以有效地从最小化一阶范数恢复出来,即:

而一阶范数可以用拉格朗日乘子法得到等价的公式:

其中λ用来平衡稀疏结果和图像块y的保真度。上式能比较容易地求解得到特征系数。

高频图像块的特征表示和低频图像块的特征表示过程是一样的。

(4)改进的SVR特征表示不是用传统简单的二维高斯分布来确定像素值的权重作为特征来进行训练。我们分别通过OMP[5]算法根据训练好的字典获得低频图像块和高频图像块的稀疏表示系数向量, 替代原来支持向量回归中用的特征表示方法,用于训练阶段的模型的建立过程。

而在预测过程中也是用同样的稀疏表示系数向量来表示特征的。

(5)在训练阶段,SVR要解决的问题可以表示为:

其中y是一个标签表示在图像块中的心位置;n是训练样例个数;φ (ai)是图像块稀疏表示向量;w表示被学习的非线性映射函数;C是松弛变量ζ , ζ*的平衡因子。

其对偶问题是:

这就变成一个容易计算的凸二次规划问题。训练完成后得到训练模型用于预测输入的低分辨的图像块对应的高分辨图像中的像素值。

(6)在预测阶段,对输入的图像进行与训练阶段一样的预处理后,用OMP[5]算法,分别获得相应低频和高频块的稀疏系数向量用作SVR的预测的输入,通过上面已经训练的模型获得高分辨率图像中对应的低频和高频图像块的中心像素值,至此,高分辨率图像重建完成。

3 实验结果

实验图像来源于南加利福尼亚大学图像数据库 (USC-SIPI),下采样和图像超分辨率重建倍数均为2。SVR是用的LIBSVM[6],其中核函数采用的是高斯核函数,在SVR中的参数是经交叉验证,其中C=363, ε=1.8,高斯核函数的标准差为1。用于训练和测试的图像分别如图1和图2所示。PSNR为峰值信噪比,常用来作为图像重建结果的客观评价指标, 其数学定义形式如下:

其中M,N分别为重建图像的尺寸大小,f表示重建后的图像,f表示原始的高分辨率图像。PSNR的值越大,表示重建图像和原始图像越接近。

训练图像分别为lena,man,tree,lake,truck,house,Elaine,girl

测试图像分别为boat,cameraman,pepper,clock,synthetic,car

PSNR的实验结果如表1所示。

通过PSNR表可以看出,本文提出的方法与已有三种方法相比在重建效果上有一定的提高。由于篇幅 所限仅给 出其中两 幅图像 (boat如图3, cameraman如图4)的重建效果图。

boat (a)原图(b)插值法(c)传统SVR[2]d)稀疏方法[3] (e)本文

cameraman(a)原图(b)插值法(c)传统SVR[2] (d)稀疏方法[3](e)本文

4 结束语

本文提出了一种基于SVR和稀疏表示的图像超分辨率重建算法,是对传统SVR方法的一种改进。算法中用图像块的稀疏系数作为支持向量机的输入, 通过学习低分辨率图像块的稀疏系数和高分辨率图像块的中心像素点之间的关系进行重建,这种SVR和稀疏表示的有效结合实现了图像超分辨率重建质量的提高,实验结果验证了算法的有效性。本文中只是简单的运用了图像块的稀疏表示系数与SVR结合进行图像重建,在未来,SVR的非线性预测能力和稀疏表示对信号的线性逼近能力如何更有效地联合运用是一个值得研究的方向。

参考文献

[1]Ni K S,Kumar S,Vasconcelos N,et al.Single image super resolution based on support vector regression[C]//Acoustics,Speech and Signal Processing,2006.ICASSP 2006 Proceedings.2006,2:II-II.

[2]An Le,Bhanu Bir.Improved image super-resolution by support vector regression[C]//Neural Networks(IJCNN),The 2011 International Joint Conference on.IEEE,2011:696-700.

[3]Yang J C,Wright J,Huang T S,et al.Image superresolution as sparse representation of raw image patches[C].CVPR,2008.

[4]Aharon M,Elad M,Bruckstein A.The K-SVD:An algorithm for designing of over-complete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing,2006,54(11):4311-4322.

[5]Needell D,Vershynin R.Signal recovery from incomplete and inaccurate measurements via regularized orthogonal matching pursuit[J].IEEE Journal of Selected Topics in Signal Processing,2010,4(2):310-316.

超分辨算法 第6篇

光纤耦合成像系统采用六角形排列叠层结构的光纤束耦合图像, 可获得超高空间分辨率的遥感图像[1]。然而耦合系统的波特率高达480 Mbps, 如不进行压缩处理, 很难做到实时传输。利用传像光纤束耦合的扫描系统成像时, 由于加工工艺所限, 目前国内只能加工六角形排列的光纤束, 且相邻层光纤间存在水平方向上的错位[2], 这些特性使得耦合图像细节信息比一般的遥感图像更为丰富, 为保证图像的完全重构, 系统需采用无损压缩技术来解决带宽资源不足的问题。

随着小波的发展, 小波变换在图像压缩领域的表现已经得到广泛学者的认可。基于小波分解, 近些年来也涌现出很多能有效组织和压缩小波系数的嵌入式编解码算法, 其中以嵌入式零树编码 (EZW) [3]、集合树的分裂算法 (SPIHT) [4]和嵌入式优化截断块编码 (EBCOT) [5]最为流行。EBCOT算法虽然压缩比性能极高且已被JPEG2000[6]标准采用, 但由于采用了复杂的率失真优化控制单元和自适应算术编码技术, 算法复杂度高, 硬件实现困难且成本较高。而作为EZW改进的SPIHT则以简单高效而被广泛采用, 其输出码流即使不经过熵编码或算数编码仍可达到很高的压缩比。

本文的编解码器采用基于整型提升实现的双正交5/3小波变换来去除图像数据的相关性, 选用基于小波变换的集合树分裂 (SPIHT) 编码算法进行无损压缩编解码。

1 双正交整数小波变换的提升实现

1.1 提升算法简介

自从Sweldens提出了不依赖傅里叶变换的小波提升方法[7], 小波变换便摆脱了傅里叶变换的限制, 从而使得第一代小波变换算法的性能得到很大的改进。提升算法的运算量相比经典的Mallat算法减少了一半, 并能实现小波变换的原位计算, 即整个计算过程不需要申请辅助存储空间, 可以节省存储单元。整数小波变换以及逆小波变换的实现也非常简单快捷, 再加上简单有效的边界处理机制, 使其可以应用于图像的无损压缩。

1.2 小波变换性能的分析

图像无损压缩中小波变换的提升实现需考虑到以下两个问题:小波基的选取和边界滤波问题。

(1) 小波基的选取

计算复杂度被认为是评价整数小波变换性能好坏最重要的标准[8], 而小波基的选择直接决定了整数小波变换在无损压缩中的性能。文献[8]中给出了12种备受关注的整数小波变换, 并对这12个变换的无损压缩性能做了全面的比较。在本文中, 笔者旨在找到符合系统需求且计算复杂度和内存需求不高的整数小波变换。

由于除法运算可以采用移位实现, 从而对小波变换计算复杂度影响最大的便是乘法运算, 相同条件下乘法运算所占的比例越高, 计算复杂度越高。在文献[9]中列举了常用的小波滤波器的整数提升实现。其中, 5/3、2/6、5/11-C、6/14和5/11-A变换所采用的提升滤波器系数都是严格的2的整数次幂, 所以实现他们不需要乘法运算。5/3小波和2/6小波是上述12个小波中计算复杂度最小的两个变换。相比于实数运算, 整数运算过程中, 采用16位数存放变量, 内存需求更低, 同时采用取模整数算法可以保证数据的可逆性。

相比于2/6小波, 5/3小波在无损压缩中的表现更佳, JPEG2000标准将用提升算法实现的5/3双正交小波滤波器作为无损压缩的默认滤波器。所以本文选择5/3小波滤波器来去除光纤耦合图像的相关性。

(2) 边界处理

对有限长信号进行小波变换时需采用延拓与截取操作来处理边界信号, 以确保小波变换量与输入数据量一致, 才能完全重构[10]。延拓的方法一般有三种:周期延拓、对称延拓和单步取代延拓。周期延拓是处理有限长信号最简单的方法, 但是由于周期延拓通常会再信号边界引入不必要的高频成分, 所以在图像无损压缩编码中应用很少。对称延拓是处理有限长信号的重要方法, 它同时又是周期延拓, 具有周期延拓的优点, 但同时不会再边界引入高频成分。5/3小波滤波器是严格对称的双正交滤波器, 采用对称周期延拓的信号边界处理方案则不仅可以实现小波变换的完全重构, 同时又不增加变换后的数据量。设N为输入信号长度, 5/3滤波器两端延拓信号长度都为2, 变换后截取中间的N/2的信号量既为变换结果。

1.3 5/3整数小波变换的提升实现

正向小波变换的提升实现算法:

步骤1懒小波变换

步骤2提升与对偶提升

对于i=0, 1, , n, 有:

即先用偶序列去预测奇序列dli-1来实现提升, 再用奇序列的预测误差di来更新偶序列sli-1来完成对偶提升。

步骤3比例变换

对于l=0, 1, , N/2-1, 有:

其中K为比例系数, 最后得到的s和d分别为小波分解的低频分量和高频分量。

逆变换只需简单地调整一下变换中的正负号, 并改变一下预测更新的顺序就可实现, 其算法复杂度和正变换的算法复杂度相当。

5/3小波滤波器如下:

对5/3小波滤波器的多相位矩阵进行因式分解得到其Z域表达式为:

其中τ=-0.5, υ=0.25, 。

通过提升算法, 并将算子 (下取整算子) 作用于每个提升步骤中且忽略归一化因子即可得到JPEG2000标准中推荐的5/3小波的提升实现的整数形式:

式 (9) 至式 (10) 为一次提升的表达式, 其实现流程图如图1所示。同时, 改变更新和预测的顺序并将图中减号改成加号即可实现逆小波变换, 计算复杂度和正小波变换完全一样。

5/3提升算法核心代码如下:

2 集合树分裂算法 (SPIHT)

SPIHT算法的基本思想是:伴随着一个集合的分裂, 依据幅值大小对系数进行排序并且对重要的比特位平面优先传输。整个算法分为初始化、排序、细化和阈值更新四个步骤。

SPIHT算法采用如下集合定义表示层次树结构 (为简单起见用 (i, j) 表示坐标 (i, j) 位置上的小波系数) :

(1) O (i, j) :结点 (i, j) 所有直接后代组成的集合;

(2) D (i, j) :结点 (i, j) 所有后代系数组成的集合 (D型)

(3) L (i, j) :L (i, j) =D (i, j) -O (i, j) , (L型) ;

(4) H:树根结点。

重要性测试:

即定义函数Sn (T) 指示集合T的重要性, 重要则其值为1, 否则为0。

建立3个链表LIP, LSP, LIS分别存放不重要系数、重要系数和不重要集合。在LIS中, 节点 (i, j) 代表集合D (i, j) 或L (i, j) , 并分别标记为D型与L型以示区分。

对于给定阈值T, SPIHT算法排序过程如下:

首先, 检测LIP中各系数的重要性, 输出测试结果, 如果重要则一并输出其系数正负符号;

其次, 对LIS中的各项 (i, j) 做如下操作:

若为D型集合, 输出Sn ( (i, j) D) , 如果Sn ( (i, j) D) =1, 则将D (i, j) 分裂为O (i, j) 和L (i, j) , 并分别处理。对O (i, j) 中的各个系数检测其重要性并输出结果, 重要则加入LSP, 不重要则加入LIP;如果L (i, j) 不为空集, 把L (i, j) 项移至LIS表尾并标记为L型, 若为空集, 则直接将其从LIS中删除;

若为L型集合, 输出Sn ( (i, j) L) , 如果Sn ( (i, j) L) =1, 则将L (i, j) 分裂为以O (i, j) 中各结点为根的树, 并将根结点坐标加入LIS中标记为D型。

细化过程输出LSP中除当前排序过程得到的系数以外的各系数的当前位平面值。如果没有达到要求的码率且量化阈值大于0, 则阈值减半 (n=n-1) 重复上述排序和细化过程, 直到编码完成。

SPIHT算法的伪码描述如下:

1) 初始化

2) 排序扫描

2.1) for each entry (i, j) ∈LIP do:

2.1.1) output Sn (i, j) ;

2.1.2) if Sn (i, j) ==1then move (i, j) to the LSP and output the sign of ci, j;

2.2) for each entry (i, j) ∈LIS do:

2.2.1) if the entry is of type D then

2.2.2) if the entry is of type L then

3) 细化扫描

for each entry (i, j) ∈LSP, except those included in the last sorting pass, output the nth MSB of|ci, j|;

4) 阈值更新

decrement n by 1 and go to Step2。

3 系统分析与实现

我们在VC++6.0环境下对上述无损压缩方案进行了仿真。在对耦合图像进行无损压缩和解压时我们发现, 耦合图像的压缩比均低于标准测试图像的压缩比 (如表1所示) 。而当对其采用有损压缩时, 即使控制为很低的压缩比, 解压的耦合图像也出现了明显的失真, 重构图像如图2所示, 这将严重影响后期的处理。所以系统在对光纤耦合图像进行压缩编码前, 需先对其做预处理以提高压缩比。我们加入如下预处理模块来改善压缩效果:

(1) 图像分割

将图像划分为大小相等的若干区域, 对每一个区域独立进行压缩处理。这样不仅可以较好地避免处理过多的图像断层而引入的边界细节信息, 还可以降低压缩过程中的内存需求。

(2) 直流电平 (DC) 移位

在对图像原始数据进行采样时, 将采样精度为p的无符号整数减去2p-1, 使原来位于[0, 2p-1-1]范围内的样本移位到关于0对称的范围[-2p-1, 2p-1-1]内。比如, 处理的是8 bit的BMP格式的图片, 图像数据分布在[0, 255]区间, 通过直流电平移位处理, 图像数据分布在[-128, 127]区间。这在简化处理数值溢出等问题的同时不会影响编码的编码效率, 与此同时比特率还有略微的提高。

图3给出了系统的信号流程图。

4 实验结果及结论

实验选取的双正交5/3整数小波变换, 采取对称的周期延拓方式, 分解级数为5级。在算法性能的度量上, 我们采用压缩比作为系统压缩性能的评价依据;选用波特率作为系统传输效率的评价标准。压缩率定义如下:

为了验证压缩方案的可行性, 我们先在PC机上对算法进行了仿真。在配置信息为Intel Core2 Dou CPU 2.80GHz、3GB内存、windows XP环境下的Visual C++6.0开发环境下, 我们将成像系统采集的图像转换为2562568 bit的bmp图, 同时采用了标准的2562568 bit lena.bmp, gold hill.bmp, mandill.bmp, barbara.bmp图像用于对比, 压缩比如表1所示。从表1中可以看出, 耦合图像由于纹理细节丰富, 压缩比极低, 不宜于直接压缩, 同时若对图像进行低压缩率的有损压缩, 重构图像 (如图2所示) 表现出了明显的失真。

压缩系统信号流如图3所示。我们加入了文中的预处理模块先对图像进行预处理, 设定的图像分割的区域大小为500470 (像素) , 总计256个序列单元 (全图空间分辨率8 0007 520) 。随机抽取了9张分割的耦合序列图, 对其进行解压重构 (如图4所示) , 并分别计算它们的压缩比 (如表2所示) , 可以看到压缩比较表1中的耦合图像压缩比有了很大程度的提高。然后我们对全部的压缩后的序列图进行解压并拼接重构, 256张 (500470) 耦合图像序列解压后拼接还原的图像 (8 0007 520) 如图5所示。对比图2和图5我们可以看到, 图5实现了完全重构。图4中的各图像区域也都实现了无损重构, 且各区域的压缩比相比表1中的数据均有提高, 通过统计计算, 各分割区域的平均压缩比达到了2.3, 同时图像分割更便于硬件实现。

实验结果表明, 解压的图像能完全重构, 且未出现数据丢失不能重构图像的现象。经计算系统平均压缩比达到2.3以上, 传输波特率降到了200 Mbps, 说明本文无损压缩编解码器的引入, 解决了传输系统带宽不足的问题, 并保证了图像最终的完全重构。

参考文献

[1]安博文, 崔安杰, 薛冰玢, 等.光纤耦合的亚像元超分辨率扫描成像图像处理[J].红外与激光工程, 2012, 41 (4) :1107-1112.

[2]安博文, 陈桂林.光纤耦合系统中非均匀性校正[J].红外技术, 2007, 29 (5) :262-264.

[3]Shapiro J M.Embedded Image Coding Using Zerotrees of Wavelet Coefficients[J].IEEE Trans.Signal Processing, 1993, 41 (12) :3445-3462.

[4]Said A, Pearlman W A.A New, Fast, and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees[J].IEEE Trans.Circuits and Systems for Video Technology, 1996, 6 (3) :243-250.

[5]Taubman D.High performance scalable image compression with EBCOT[J].IEEE Trans.Image Processing, 1999 (3) :344-348.

[6]Skodras A, Christopoulos C, Ebrahimi T.The JPEG-2000 Still Image Compression Standard[J].Signal Processing Magazine, IEEE, 2001, 18 (5) :36-58.

[7]Sweldens W.The Lifting scheme:A custom-design construction of biorthogonal wavelets[J].Appl Comput Harmon Anal, 1996, 3 (2) :186-200.

[8]Adams M D.Reversible integer-to-integer wavelet transforms for image coding[D].University of British Columbia, 2002.

[9]钱昌松, 刘志刚, 刘代志, 等.基于可逆整数小波变换的图像无损压缩[J].计算机工程与应用, 2004 (23) :89-91.

超分辨算法 第7篇

随着图像在各行各业中日益广泛的应用,人们对图像分辨率的要求也越来越高,比如在视频监控系统中,人们要求高清晰的目标图像,以便对相关目标进行准确的辨识。然而,单单从硬件方面来提高传感器的分辨率代价昂贵,经济效益十分低下,因此,如何在不改变传感器的前提下,通过图像处理算法来获得更高空间分辨率的图像,这便是超分辨率图像重建所面临的问题。

图像超分辨率是指由一副或几幅低分辨率的图像恢复出原始高分辨率的图像,本文主要探讨基于单幅图像的超分辨率重建算法。单幅图像的超分辨率重建算法主要可以分为三类:基于内插的超分辨率算法、基于重建的超分辨率算法和基于学习的超分辨率算法。基于内插的方法建立在假设图像中相邻像素间具有很强相关性的基础上,该方法会对图像中不连续的部分以及图像的边缘部分造成模糊。基于重建的方法的基本原理是首先对低分辨率图像和高分辨率图像之间的关系建立一个数学模型,然后利用该模型直接将输入的低分辨率图像映射成高分辨率图像,整个过程相当于一个信息提取和信息融合的问题[1,2]。由于图像含义未知,不知道模糊因子,以及噪声、图像偏移等的影响,所有信息只能全部从输入图像中获取,因此,随着放大系数的增加,图像的重构质量会快速下降。针对重建算法的局限性,基于学习的超分辨率算法作为一个前沿的研究领域应运而生。其基本原理是首先利用学习算法从训练样例中学习低分辨率和高分辨率图像之间的对应关系,然后再利用所学习到的关系,计算出测试图像样例与训练集之间的邻域关系,构造最优全职约束以获得先验知识,对输入的低分辨率图像中的信息进行补充,从而得到对应的高分辨率图像。

1 基于学习的超分辨率研究方法

基于学习的超分辨率算法的基本雏形是由Freeman等人[3]在2002年提出的。他们通过马尔科夫随机场来学习训练集中低分辨率图像与高分辨率图像之间的关系,再利用学习到的关系通过信任传播算法来预测输入低分辨率图像的细节信息。

Sun等人[4]则对其做了进一步改进,通过先验细节信息加强重构图像的边缘轮廓部分。以上两种方法均需要由大量低分辨率和高分辨率图像构成的训练集,并且目标高分辨率图像中的每个块都来自于训练集中与其最匹配的其中一个图像块。Chang等人[5]采用局部线性嵌入法(locally linear embedding, LLE)来重建目标图像,该图像中的每个高分辨率图像块都是由训练集中的k个最近邻域块得到的,因此,该方法比以上两种方法需要较少的训练集。

Yang等人[6]从压缩感知理论出发,提出利用稀疏表示方法实现一种新的基于学习的超分辨率重建算法。该方法首先从一组高分辨率和对应的低分辨率训练图像中学习一组稀疏表示基,该组基的集合构成字典,使得训练集中的每个图像块都能由该字典进行稀疏表示。在超分辨率重建过程中,对于输入的低分辨率图像中的每个块而言,首先获得其在低分辨率字典下的稀疏表示系数,则对应的高分辨率块可以由高分辨率字典和该稀疏系数的乘积表示。与前面几种方法相比,基于稀疏表示的方法首先需要由训练集学习一个高分辨率和低分辨率字典,这样一方面保证了足够的先验知识,另一方面又减少了重构时所需的数据,提高了算法效率。此外,不同于LLE方法中用训练集中固定的k个最近邻域得到高分辨率图像块,该方法自适应地选择字典中若干个最相关的基,以达到最好的重建效果。然而,该方法是基于任意图像块都能在一个过完备字典上进行稀疏表示的假设基础上,事实上,这一点可能并不一定满足;此外,由任意图像所构成的训练集中学习到的字典,仅仅只对具有相同统计特性的图像适用,对于一般的图像而言,重建的高分辨率图像效果并不是十分良好。

2 基于稀疏表示的图像超分辨率算法

2.1 理论基础

低分辨率图像Zl与高分辨率图像Xh之间满足如下关系:Zl=SHXh,其中H表示一个模糊滤波器,S是一个下采样因子。

基于文献[6]中图像块的稀疏性假设,超分辨率任务可以描述为下式:

$f(\{\alpha {}_{ij}\},X{}_h)=arg\underset{X{}_h,\{\alpha {}_{ij}\}}{{\displaystyle \min }}\{\lambda \parallel S{\rm H}X{}_h-{\rm Z}{}_l\parallel {}_2^2+{\displaystyle \sum _{i,j}\mu }{}_{i,j}\parallel \alpha {}_{i,j}\parallel {}_0+{\displaystyle \sum _{i,j}\parallel }D{}_h\alpha {}_{i,j}-R{}_{i,j}X{}_h\parallel {}_2^2\}(1)$

Ri,j是一个投影矩阵,Ri,jXh表示从图像Xh中选取第(i, j)个块,αi,j为该图像块在字典Dh下的稀疏表示稀疏。式中第一项表示重建出的高分辨率图像Xh与原始低分辨率图像Zl之间应尽可能满足重建约束条件;第三项表明Xh中的任一图像块均能在字典Dh下得到有效的表示,且表示系数αi,j(式中第二项)应尽可能的稀疏。

为避免因Zl与Xh分辨率不同所导致的麻烦,此后均假设Zl被一个内插操作Q(比如bicubic内插法)放大到与Xh相同大小的分辨率,内插后的图像ZLF满足下式:

ZLF=QZl=QSHXh=LallXh (2)

ZLF是Xh的低频部分,目标是从ZLF中恢复出$\widehat{X}{}_h$。

假设Dh∈RnK是一个有K个基的过完备字典(K>n),并且假设图像块xi,j=Ri,jXh能被稀疏表示为xi,j=Dhαi,j,其中‖αi,j‖<<n。考虑对应的低分辨率块zi,j=Ri,jZLF=Ri,jLallXh:因为Lall=QSH将整个高分辨率图像Xh转化为低分辨率图像Zl,因此可以认为$z{}_{i,j}=Lx{}_{i,j}+\widehat{v}{}_{i,j}$,其中,L是Lall的一个局部操作因子,$\widehat{v}{}_{i,j}$为加性噪声。基于以上考虑,可以得到下式:

‖zi,j-LDhαi,j‖${}_2^2$ϵ (3)

从上式可以得到一个重要结论:低分辨率图像块zi,j可以用相同的稀疏向量αi,j在字典Dl=LDh上进行稀疏表示。这意味着如果能够得到一个低分辨率图像块在低分辨率字典上的稀疏表示系数,那么对应的高分辨率图像块可以用所得到的系数与高分辨率字典相乘来重建。

2.2 本文工作

注意到文献[6]中所提算法的前提是任一图像块都能用稀疏表示,事实上,这一点可能并不一定满足。自然图像统计学认为,图像基元(primitive)区域(图像中的边缘、轮廓等部分)的图像块内在维度很低,因而可以很好地用少量的训练样例来表达[4]。基于此,做出如下假设:自然图像中的基元图像块在由基元块构成的字典上满足稀疏表示假设。因此,本文只对图像中的基元图像块采用基于稀疏表示的超分辨率重建方法。此外,在文献[6]中,Yang等人从训练集中的任意图像块中学习一个通用的字典,并将该字典稀疏表示测试图像中的每一个块。然而,不同图像之间以及同一图像中不同区域的图像块的内容往往差别很大,对于测试图像中的任一图像块,由于字典中的很多基与该给定的块并不相关,导致一个先学习的通用字典并不能很有效地稀疏表示所有的图像结构。基于此点考虑,在本文中,先将训练集中的基元图像块分成很多不同的子集,每个子集都是由很多具有相同结构特征的基元块组成,然后再从每个子集中学习一个子字典,这样就得到一系列低分辨率和高分辨率子字典对。在重建过程中, 对于测试图像中的任意基元图像块,自适应地选择与该块结构特征一致的子字典作为最佳稀疏表示字典。

3 基于自适应字典学习的超分辨率算法

本文所提基于基元块自适应字典稀疏表示的超分辨率算法可以概括为:对于一个给定的低分辨率图像Yl,希望在一系列低分辨率图像{Gl}和高分辨率图像{Gh}构成的训练集的帮助下,恢复其对应的高分辨率图像Yh。整个算法的流程图如图 1所示,它主要包含两个部分:学习过程和合成过程。在学习过程中,先提取出训练集中图像的基元部分,并将位于基元区域的图像块按其结构特征分成很多不同的子集,然后再从每个子集中学习一个子字典,这样我们就得到一系列高分辨率和低分辨率子字典对(sub-dictionary pairs)。在重建过程中,对于测试图像中的任意低分辨率基元图像块,自适应地选择与该块结构特征一致的子字典作为最佳稀疏表示字典,合成出对应的高分辨率块,最终得到高分辨率图像。

3.1 基元图像块的提取

图像的基元部分主要由图像中的边、角以及轮廓部分组成。有多种方法来获得图像中的基元区域,本文采用Sun等人[4]的方法,使用一组高斯差分滤波器组来提取方向能量以获得图像中的基元区域:

OEσ,θ=(I*f${}_{\sigma ,\theta }^{odd}$)2+(I*f${}_{\sigma ‚\theta }^{even}$)2 (4)

式中,f${}_{\sigma ,\theta }^{odd}$和f${}_{\sigma ,\theta }^{even}$是尺度σ和方向θ上的一阶和二阶高斯差分滤波器。图 2(b)显示了从图2(a)所示低分辨率图像中提取的基元区域,图2(c)是图2(a)中丢失的高频信息。由后两幅图也可以看出,需要通过超分辨率算法合成的高频信息主要分布在图像的基元区域,这也是只对图像基元块使用稀疏表示的另一个原因。

3.2 学习过程

为了学习一组子字典块{T${}_l^i$,T${}_h^i$}i,i=1, 2,,K以表示各种不同的局部图像特征,需要建立一个由局部图像块构成的训练集。基于此,首先按照一定的退化模糊获得高分辨率训练图像{Gh}所对应的低分辨率图像{Gl}。作为一种选择,可以分别将该高分辨率图像与对应低分辨率图像中的基元块的像素值直接串接起来构成一个特征向量,而然,这种方法带来的结果并不是很好。如2.1节所述,低分辨率图像先被内插以达到原始分辨率大小,内插后的图像{Glf}包含了{Gh}中的低频部分。对于高分辨率图像{Gh}所做的预处理即将其减去低频部分以获得高频信息{Ghf},此项操作的目的在于使训练过程能够集中刻画低分辨率图像块与高分辨率块中的边缘和纹理之间的关系,此外,在合成过程中,通过在低分辨率快上增加高频信息而非直接取代整个块,超分辨率后的图像的自然特征能够得到更好地保留。

假设从{Glf}和{Ghf}的基元区域获得M个基元图像块Fl=[f${}_l^1$,f${}_l^2$,,f${}_l^{{\rm M}}$]和Fh=[f${}_h^1$,f${}_h^2$,,f${}_h^{{\rm M}}$]。目的是从{Fl,Fh}中学习K个子字典对{T${}_l^k$,T${}_h^k$}k,k=1, 2,,K。为此,首先将{Fl,Fh}分成K个子集,然后再从每个子集中学习一个子字典。考虑到图像的基元区域主要是由图像中的边缘、角、结点等具有不同方向和尺度的部分组成,这使根据基元块的方向(定义16个方向)和尺度特征(3个尺度)将{Fl,Fh}分为K个子集{F${}_l^k$,F${}_h^k$}k,k=1, 2,,K。

现在剩下的问题就是如何从一个训练子集{F${}_l^k$,F${}_h^k$}中学习一个对应的子字典{T${}_l^k$,T${}_h^k$},使得{F${}_l^k$,F${}_h^k$}中的所有原子都能在该字典上得到有效的稀疏表示。该字典的学习过程可以被描述为:

$({\rm T}{}_k,\Phi {}_k)=arg\underset{{\rm T}{}_k,\Phi {}_k}{{\displaystyle min}}\{\parallel F{}_k-{\rm T}{}_k\Phi {}_k\parallel {}_2^2+\lambda \parallel \Phi {}_k\parallel {}_1\}(5)$

式中,是Fk在Tk上的表示系数。公式(5)是一个在Φk和Fk上的l2-l1范式联合最小化问题,能够通过交替固定一个变量迭代优化另一个变量求解[7,8]。然而,K个该联合优化问题计算复杂度太高,因此并不直接使用该式来学习子字典。基于以下几点考虑,直接将作为最后的子字典Tk来使用。首先,Fk是{Fl,Fh}的一个子集,其维数要比后者低得多,这意味着对于一个给定基元图像块,其在Fk上稀疏表示的计算量很小;此外,由于图像基元块的内在维度很低,因此用少量样例基元块有效地表示其他基元块是有可能的[9]。

3.3 合成过程

如图1所示,对于一个给定的低分辨率图像Yl,通过内插获得其低频部分Ylf。对于Ylf中的一个基元块pl,首先根据其方向和尺度获得它的特征值,然后选择与该基元块具有相同特征值的子字典作为最佳子字典{T${}_l^i$,T${}_h^i$}。合成对应高频基元块ph的思路如下:求出pl在T${}_l^i$下的稀疏表示系数α,以α作为权值与T${}_h^i$中的基相乘,获得对应高频基元块ph。

求解pt的最稀疏表示系数可以表示成下式:

min‖α‖0s.t.‖T${}_l^i$α-fl‖${}_2^2$ϵ (6)

式中,T${}_l^i$∈Rmk,且m<<k,fl∈Rm。这个NP问题并不能直接求解,然而Donoho[10]在2006年指出,只要α足够稀疏,该问题能够通过如下的l1-范数来求解:

minλ‖α‖1+‖T${}_l^i$α-fl‖${}_2^2$ (7)

这是一个非线性凸优化问题,并且已经有很多种不同方法来求解该问题[11]。

一旦α被解出,对应的高频基元块ph可以通过下式获得:ph=T${}_h^i$α。当所有的高频图像块都合成以后,通过在重叠图像块上添加局部一致性和平滑性约束,可以得到相应的高频图像Yhf,将高频图像Yhf与低频图像Ylf相加,就是最终合成的高分辨率图像Yh。

4 实验结果与分析

为验证本文算法的有效性,在一系列的图片上做了实验,实验中的放大因子均设为3。从训练样例提取出大约100,000对基元图像块用来获得48个子字典对。因为人眼对亮度的变化更为敏感,所以仅对亮度分量使用本文提出的超分辨率算法。

在图3中,将本文的方法与双立方插值法(bicubic) 以及Yang等人[6]将稀疏表示约束用在任意图像块上的方法进行了比较,更多图像的结果如表1所示。实验结果表明,双立方插值法效果最差,Yang等人的方法由于假设的不合理,因此在重建图像中会看到一些错误。与这些方法相比,本文所提的图像超分辨率算法重建出来的图像无论是在主观上还是客观上都是效果最好的。

5 结束语

本文从图像超分辨率的实际需求出发,在经典的基于学习的超分辨算法基础上,对目前已有的一种基于稀疏表示的超分辨率算法进行改进,提出一种新的基于基元块自适应字典稀疏表示的超分辨率算法。实验结果表明,该方法无论在主观上还是客观上都取得了比已有的方法更好的效果。

参考文献

[1]Morse B,Schwartzwald D.Image magnification using level-set re-construction[C].Proceedings of the 2001 IEEE.Conf CVPR.2001,1:Ⅰ-333-Ⅰ-340.

[2]Zhang L,Wu X.Nonlocal back-projection for adaptive image en-largement[C].2009 16th IEEE International Conf on Image Pro-cessing.Nov.2009:349-352.

[3]Freeman W T,Jones T R,Pasztor E C.Example-based Superreso-lution[J].IEEE Computer Graphics and Applications,2002,22(2):56-65.

[4] Sun J, Zheng N, Tao H, et al. Image Hallucination with Primal Sketch Priors[C]. Proceedings of the 2003 IEEE. Conf. CVPR.2003, 2:II - 729-736.

[5] Chang H, Yeung D, Xiong Y. Super-resolution through neighbor embedding[C]. Proceedings of the 2004 IEEE Conf. CVPR, 2004, 1: I- 275-282.

[6] Yang J, Wright J, Huang T, et al. Image Super-Resolution via Sparse Representation[J]. IEEE transactions on image processing, May 2010, 19(11): 2861-2873.

[7]Aharon M,Elad M,Bruckstein A.K-SVD:An algorithm for de-signing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing,Nov.2006,54:4311-4322.

[8] Lee H, Ng A Y. Efficient sparse coding algorithms[J]. Advances in neural information processing systems, 2007.

[9]Lee A,Pedersen K,Mumford D.The Complex Statistics of High-Contrast Patches in Natural Images[R].IEEE Workshop on Statisti-cal and Computational Theories of Vision,2001.

[10] Donoho D. For Most Large Underdetermined Systems of Linear Equations the Minimal l1-norm Solution is also the Sparsest Solution[J]. Communications on Pure and Applied Mathematics, 2006, 59: 797-829.