特征量跟踪算法

特征量跟踪算法（精选7篇）

特征量跟踪算法 第1篇

关键词：目标跟踪,卡尔曼滤波,转换量测,条件均值和协方差,性能分析

在航天器目标跟踪系统中,量测一般是在极( 球)坐标系下获得,但目标状态方程通常是在直角坐标系下描述,这就涉及利用极( 球) 坐标下的量测实现直角坐标系下目标跟踪问题,即非线性系统下目标跟踪问题。通常采用两种方法: ( 1) 采用扩展卡尔曼滤波( EKF) 算法,形成所谓混合坐标滤波器; ( 2) 将极坐标系量测转换到直角坐标系下,再用转换量测算法。

传统转换量测算法通过一阶泰勒级数展开近似转换后直角坐标系下的量测误差,在远距离角度误差较大时性能明显下降。第一个针对二维情况去偏转换算法( DCMKF ) 由Lerro[1]等于1993 年提出,后由Suchomski等扩展到3 维情况。它采用加性偏差补偿措施,先求得转换量测误差基于真实极坐标位置( 距离,方位角) 下条件均值和方差,因实际真实位置不可获得,要再基于量测信息对上述均值和方差求条件期望来获得近似解。实际由于这种双重条件均值,算法[1]并不是真正无偏[2,3]。1998 年Mo等[2,4]提出一种适用于非高斯噪声的真正无偏转换量测算法( UCMKF) ,认为转换量测误差的偏差本质上是乘性的。先在转换量测的基础上除去乘性偏差补偿因子可获无偏转换量测,后在量测已知条件下求得无偏转换量测协方差。但文献[5]指出该协方差计算存在前后不一致,并给出修正后转换量测算法。

自DCMKF和UCMKF算法提出后,转换量测算法得到广泛研究。Spitzmiller[6]对DCMKF算法进行适当补充并开展更深入研究。文献[3]一定程度总结了当时现有转换量测算法,只是用均方误差代替协方差,将去偏转换算法分为3 类: 量测固定目标真实位置变化( Fixed Measurement) ,目标真实位置固定量测变化( Fixed Target Truth) ,估计值固定量测和目标真实位置均变化( Fixed Independent Estimate) 。以上多数算法转换量测误差的条件均值和协方差均是基于量测条件下求得,但特别是跟踪阶段,状态估计精度要高于量测信息,基于状态估计求条件均值可能是更好选择。文献[3]的Fixed Independent Estimate是最早基于估计的转换量测算法,但给出假设相对简单。文献[6 ~8]在此方向做出更深入研究。但以上算法都存在根本缺陷: 转换后量测噪声与状态相关,协方差在当前量测的基础上估计得到,观测噪声不再是白噪声。文献[9]针对上述缺点做了部分改进。但文献[10]指出一旦预测量测和量测残差的协方差已知,卡尔曼滤波不再需要知道转换量测误差的均值和方差。它提出利用最小线性无偏估计( BLUE) 滤波方法来处理非线性量测,得到理论最优算法。Park等[11]也提出基于预测条件求转换量测误差均值和协方差的思想,并开发一种类EKF形式滤波算法,它仍假定真实状态是固定非随机,与卡尔曼滤波算法的假定实际是相矛盾,理论上性能不会超过BLUE算法。

实际以上转换量测算法均是基于不同假设条件下对最优解的近似,不同应用环境可能造成算法完全迥异的性能表现。有必要对各种不同转换量测算法进行统一分析和比较,为后续相关研究和应用提供理论参考。文献[12]对当时流行的各种转换量测算法核心思想进行总结和分析,但没给出具体仿真比较。本文针对距离- 方位角- 俯仰角形式的量测系统,讨论5种典型转换量测算法,通过设定不同仿真环境,对各算法性能优劣展开分析和比较。BLUE算法是最小均方误差意义下的理论最优估计,顺序处理量测的类EKF算法与BLUE算法的性能接近,其它转换量测算法的性能优劣与跟踪环境有关,视情况而定。

1 问题描述

考虑三维情况下的跟踪问题,目标的状态方程描述为

其中,是状态向量,代表目标的位置和速度; F为状态转移矩阵,与目标的模型有关; Wk为零均值,协方差为Q的状态噪声。

假定雷达在球坐标系下的量测值为Zms= [rm,θm,φm]',分别代表距离,方位角和俯仰角,可表示为

其中,Z = ( r,θ,φ) '为目标在球坐标系下的真实位置,和为互相独立的零均值,方差分别为 σr2,σθ2和σφ2的高斯噪声。经过坐标转换得到直角坐标系下的量测分别为

( x,y,z) 是目标的真实位置,可得到转换量测误差为

显然,转换量测误差与量测相关,非高斯,各坐标间耦合而且均值不再为零。因此转换量测实际是有偏的,需要计算转换量测误差的均值和相应的协方差,然后去偏,最后采用线性滤波算法( 卡尔曼滤波) ,只是不同的转换算法计算均值和协方差的方法不同。

2 典型转换量测算法

2. 1 加性去偏转换量测算法

Lerro等[1]第一次提出去偏转换量测的方法,随后由Suchomski[3]扩展到三维情况。与传统转换量测算法和EKF算法相比,此方法拥有更好的跟踪精度,特别是在远距离角度误差较大时表现出更优越的跟踪精度和更好的一致性。实际上此方法并不是真正的无偏,也就是,因此有待进一步的研究与开发。

2. 2 乘性去偏转换量测算法

Mo等在文献[2]中指出转换量测算法中的偏差补偿在本质上是乘性的,所以可以通过一个乘性补偿因子对转换量测去偏。具体来说,当和的概率密度函数对称时,通过对式( 3) 求条件期望得到

其中,,则无偏的转换量测为

相应的协方差为Ru= cov( [xmu,ymu,zmu]' |rm,θm,φm) ,具体公式参考文献[2]。注意该Ru的计算存在不兼容的现象,文献[5]对此不兼容问题进行了修正。相比加性转换量测算法,乘性去偏转换量测算法是真正无偏,在远距离或量测误差较大时,其跟踪性能和一致性均优于加性转换量测算法。

2. 3 基于量测的转换量测算法

此算法也称为“固定量测( Fixed Measurement) 算法”[3],转换量测误差的均值和协方差计算均是直接基于量测条件下求得的。

对式( 4) 基于量测求条件期望得到均值

相应的协方差。实际上,基于量测的转换量测算法与修正的乘性去偏转换量测[5]是等价的。

2. 4 基于估计的转换量测算法

文献[1]中曾指出当位置估计的精度高于量测时,应使用估计值作为已知条件来求转换量测误差的条件期望和方差,但并没给出具体统计结果和分析,文献[7]推出一种新的基于位置估计的转换量测算法。

先计算球坐标系下的位置预测值Xp=[xp,yp,zp]'和其相应的协方差Cpc,采用无味变换的方法求得球坐标系下的预测值Zps和相应的协方差Cps。

通过和式( 2) 可得

则转换量测误差的均值可以表示为

其中

类似可得到 μysp和相应协方差,由于的概率密度未知而且其协方差Cps很可能不是对角阵,因此不能获得 μsp和Rsp的闭合解,此处采用无味变换方法来近似求解 μsp和Rsp,过程参见文献[7]。

2. 5 最佳线性无偏估计滤波

实际以上转换量测算法都存在一些共同缺陷: 转换后的量测噪声与状态相关,不再是白噪声,协方差计算是基于当前量测的,这些使得直接使用卡尔曼滤波不再能得到理论最优解。文献[10]指出一旦预测的量测均值E[Zk|Zk - 1]和方差cov[Zk|Zk - 1]给定,卡尔曼滤波算法就无需已知量测噪声的均值和方差。因此提出使用最优线性无偏估计( BLUE) 的方法来处理非线性量测,该算法完全没有上述缺点,是最小均方误差意义下的理论最优估计。

先假定Zk和Xk分别为k时刻的量测和状态,Zk - 1表示k时刻之前的所有量测。准递归形式的最优线性无偏状态估计可表示为

其中

E*[·]表示线性最小均方误差估计。正如文献[10]所指出的,只要上述可通过^Xk - 1,Pk - 1和Zk获得,则BLUE滤波器就可以用来处理非线性量测。与卡尔曼滤波完全一样,k和k可通过目标状态方程获得,则接下里只需要计算k,Sk和Kk。

对于转换后的量测,由文献[10]中的引理1、引理2 和一系列运算及推导得到

其中,可由k得到,,

同样可得到状态估计误差和量测预测误差的互协方差和预测的量测误差协方差Sk。最后利用式( 11) 对每一时刻进行滤波迭代更新,具体计算及近似步骤参考文献[10]。

3 性能分析

3. 1 仿真条件

为比较上述几种转换量测算法的跟踪性能,设计了一个三维匀速运动目标的跟踪问题并给出了2 种不同情况下的仿真结果。目标初始位置为( 150,120,5) km,速度为( 100,700,400) m/s,过程噪声q =0. 01 m/s2。仿真条件1: 距离,方位角和俯仰角的量测误差标准差分别为100 m,5°和5°。仿真条件2: 距离,方位角和俯仰角的量测误差标准差分别为30 m,1. 5°和1. 5°。雷达的采样周期为1 s,整个跟踪过程持续200 s。蒙特卡洛仿真次数为100 次。

本文采用位置均方根误差( RMSE) 来反映算法的跟踪精度,平均归一化估计误差的平方( ANEES) 来反映算法的可信性。ANEES的定义如下

其中,和Pi分别是第i次仿真的状态估计误差和其协方差; n为状态维数; N为仿真次数。如果估计误差和估计协方差互相匹配,则ANEES接近于1,则滤波器是可信的。

3. 2 仿真结果

对于仿真条件1,图1 给出各个滤波器的位置估计精度。为对比清晰,只给出最后50 s的跟踪误差。当量测误差较大时,BLUE算法精度最高,这是因为该算法是最小均方意义下的理论最优估计。然后基于量测的转换算法( MCKF) ,基于估计的转换算法( ECKF)和乘性去偏转换算法( UCMKF) 的精度依次降低。由于该条件下横向距离误差较大,加性去偏转换算法( DCMKF) 的性能明显差于UCMKF。值得注意的是,基于量测的转换算法的跟踪精度略高于基于估计的转换算法,这可能是因为仿真条件1 下的无味变换的误差较大引起转换量测误差的均值和协方差的计算误差增加,从而导致ECKF精度降低。图2 反映了各个算法的可信性,ANEES越小,可信性越高。从图中可看出,DCMKF最差,UCMKF次之,MCKF和ECKF的可信性更好,而BLUE的ANEES几乎等于1,该结果与上述RMS的结果基本一致。

对于仿真条件2,各个算法的位置RMSE和ANEES分别如图3 和图4 所示。当量测误差减小时,各个算法的跟踪精度和可信性都显著提高,BLUE最优,DCMKF最差。此时由于横向距离误差减小,DCMKF的跟踪精度接近于UCMKF,ECKF的跟踪精度则高于MCKF算法。

关于运算复杂度,表1 给出各个算法运行一次仿真所需时间。可见MCKF最快,而无味变换的使用导致ECKF所需计算时间最长。BLUE的处理时间略高于DCMKF和UCMKF。可看到,BLUE的跟踪性能最优,而运算时间却没显著增加。

/s

4 结束语

转换量测算法是在航天器目标跟踪领域处理非线性量测的一种有效方法。本文回顾了转换量测算法的发展历程,讨论几种典型的转换量测算法的核心思想,并通过设定不同仿真环境分析比较了它们的跟踪性能,可信性和运算复杂度。 最佳线性无偏估计( BLUE) 算法是最小均方误差意义下的理论最优估计,其跟踪性能和可信性都最优,而运算时间却没显著增加。综合比较可见BLUE算法是最优的。MCKF和ECKF跟踪性能差于BLUE算法,UCMKF再次,DCMKF跟踪性能最差。由于使用无味变换,ECKF运算最慢,而BLUE和UCMKF运算速度相当,MCKF最快。

一种基于特征点的快速跟踪算法 第2篇

目前常用的目标跟踪算法有基于区域的跟踪、基于活动轮廓的跟踪和基于特征的跟踪等。基于区域的跟踪[1]方法的主要思想是利用区域的时间相关性来实现目标的跟踪，就是在时域上检测出的一个个像素连通块，这些块组成矩形模板，然后实现跟踪。这种方法对于单目标跟踪效果很好，对于多目标跟踪，则相对复杂一些，而且需要消耗较多的时间。基于活动轮廓的跟踪[2,3,4]是利用封闭的曲线轮廓来表达运动目标，并且在后续帧图像中更新轮廓来达到目标连续跟踪的目的。相对于基于区域的跟踪，此方法减少了算法复杂度，但是合理地区分多个运动目标并实现轮廓曲线的初始化是十分困难的。基于特征的跟踪方法[5]是利用相邻帧中运动目标的个体特征的匹配来实现跟踪。与基于区域的跟踪方法的不同的是基于特征的跟踪方法使用运动目标的某一个或者多个体特征作为相关时的对象。用于匹配的个体特征可以是全局特征，如运动目标的周长、面积、质心等，也可以是线段、角点等局部特征。基于特征的跟踪方法比较简单，但计算量大，实时性差[6]。

本文提出了一种基于特征点的快速跟踪算法，能够快速地实现运动初始化，准确提取特征角点，快速匹配，实现稳定跟踪。

1 算法介绍

本算法是基于特征点的跟踪算法，主要包括特征角点提取和特征匹配两个过程。

1.1 运动目标检测

通过运动目标检测提取出图像序列中的运动信息，可以限定特征角点的提取范围，减少计算量。本文选择对光线等场景变化不太敏感的帧间差分法[7,8]来检测运动目标。

帧间差分法主要是利用当前帧与之前相邻帧的像素差值来确定运动区域。有运动目标的区域，像素灰度变化较大，没有运动目标的区域，像素灰度变化较小，以此来区分。

图1是基于块的帧差法检测到的运动目标区域。

图1是用当前帧(k帧)与之前相隔3帧(k-3帧)的图像差分而得到的目标区域，可以看到，由于车辆在k-3帧时的位置相对于k帧滞后，则k-3帧车尾处在当前帧上已成路面，检测到的运动区域正好包含了这部分路面，如图1b中方框所示。误选的路面区域会对角点提取产生影响，有时选择的角点就是在路面上。

为了尽量将检测到的区域定位在车辆身上，为防止误选，更准确地分割出运动车辆，将两次帧差结果相与来判断运动目标。具体表达式为

式中:fk(x,y),fk-i(x,y)和fk+i(x,y)分别代表第k帧图像、第k-i帧图像和第k+i帧图像;Dk(x,y)表示第k帧图像与第k-i帧图像帧差结果;Sk(x,y)表示第k帧图像与第k+i帧图像帧差结果。

式中:T是二值化设定的阈值。处理结果如图2所示。

上述处理结果说明将两次帧差结果相与，能够消除误选中的路面，更准确地进行运动车辆检测。

1.2 角点提取

得到运动区域后，对其进行角点提取。目前常用的角点提取算法有Sobel和Moravec等算法。

1)Sobel算法[9]

Sobel算法是一种快速的边缘提取算法，包含横向和纵向两组的33模板，通过与图像数据做平面卷积，得到横向与纵向的灰度差值变化，来检测边缘变化情况。其横向和纵向模板如图3所示。

Sobel算法抗噪性能差，容易选中伪角点，而且不能保证选中角点具有良好的可跟踪性。图4中只有一个角点，该角点位于车辆前端与道路的临界处，对它进行跟踪，发现轨迹线并不光滑，说明这个角点不适合作为跟踪初始点。

2)Moravec算法[10]

Moravec是一种利用灰度方差提取角点的算法。主要思想为:以像素点(x,y)为中心确定大小为ww的窗口(如55的窗口)，如图5、图6所示。

将图6与图4相比，Moravec算法没有在车辆前端提取角点，而是在车身上提取了3个角点，这3个角点比So-bel算法提取的角点更加稳定。所以本文选取Moravec算法进行角点检测。

1.3 构造模板

传统的匹配模板使用以角点为中心的一整块矩形区域的灰度数据来构造，常常是将平滑区域与不平滑区域都包含了进来。这种模板需要记录的信息少，使用方便，但是会导致后续跟踪计算量大。因此，本文使用一种改进的模板。

改进的模板在基本模板的基础上，去掉平滑区域，只用不平滑区域来构建模板。将整个模板分成55个小块，采用分层处理，并使用外螺旋顺序进行标记，以块1为中心，块2～块9为内层，块10～块25为外层，如图7所示。

对于新建的结构化模板，选取6个小块构建新的模板。对于这25个小块。理论上认为越靠近中心块的小块，对跟踪影响越大，因此尽可能选取靠近中心的小块。新的模板保留中心块块1，在内层8个块中选取3个，外层16个块中选取2个。

除中心块外，其他5个块的选择采用改进的角点选择算法，也就是对其他24个块运用公式计算每个块的角点度量值，然后分别对内层和外层的各个块进行比较，分别留下角点度量值最大的3个和2个块。

改进的模板表示方法相对于基本的模板表示方法来说，减少了跟踪匹配计算至少19/25的时间消耗。为车辆的实时跟踪提供了必要的条件。

1.4 匹配搜索

本文使用块匹配跟踪算法，块匹配跟踪算法对运动模板跟踪的思想[11]是:对于第N-1帧图像中的角点(x1,y1)，在其周围一定区域内构造一个匹配模板template1，在当前帧(第N帧)图像上的一定范围(成为匹配窗)内按照一定的匹配准则搜索和该模板最接近的模板template2(称为预测模板)，那么就认为该模板的中心位置(x2,y2)为前一时刻的模板移动后现在的新位置。如图8所示。

搜索策略使用全搜索法。全搜索法，即对搜索范围内的所有位置依次进行计算，选择与模板最相似的小块作为匹配块，该方法计算量大，但是精确度最高。

待匹配小块与目标模板的相似性由匹配准则得到。匹配准则选取了运算次数小且运算复杂度低的SAD算法。表达如下

式中:f(i,j)表示待匹配块中(i,j)位置处像素的灰度值;g(i,j)为模板中(i,j)位置处像素的灰度值。

起始搜索位置为角点的当前位置，搜索范围为以角点为中心的一个一定宽度的正方形区域。如果跟踪目标进行频繁的不规则运动，这样的搜索窗设置是恰当的。但是本文跟踪的运动目标是道路上行驶的车辆，其运动路线和方向都是有一定规律的。这样，再选择这样的设置，就会在非目标区域做了很多的无用工作，所以考虑利用过去时刻角点的位置和运动矢量，来对当前时刻匹配角点的大概位置进行预测，以预测结果来设置初始搜索位置和搜索窗，这样至少可以将搜索窗缩小到原来的1/4，相应地至少可以减少3/4的时间消耗，提高实时性。

当稳定跟踪得到一定数量的匹配点后，可以对目标进行预测。根据最近几帧的n个匹配点之间的距离预测下一帧的匹配点，公式如下

式中:dis_x和dis_y为最近几帧的n个匹配点之间的横向距离和纵向距离;block[k].position[count]为第k条轨迹的第count个匹配点的位置信息;predictx和predicty为x和y方向预测值。

预测结果显示了新匹配点最可能出现的位置，则搜索范围可以相应地缩小到包含预测点的小范围区域中，减少了计算量和时间消耗。如图9所示。

2 实验结果

本文给出了几种不同的场景(见图10)对本文的算法进行验证。第1种场景摄于下午，图像较为清晰;第2种场景摄于傍晚，且为阴天天气，图像较暗，对比度不高;第3种场景摄于隧道内，图像比较清晰;第4种场景摄于雨雾天气，图像清晰度低，噪声干扰较大。

由4种场景中的跟踪轨迹可见，运动本文的算法能够在不同场景下实现运动目标的实时有效跟踪，跟踪效果准确度高，本算法对噪声、夜晚环境、雾雪等环境具有良好的鲁棒性。

3 总结

常用的跟踪算法时间复杂度大、实时性差，本文提出的一种基于特征点的快速跟踪算法，有效解决了这个问题。本文在基础算法上，采用两次帧差结果相与来进行运动检测，为更准确地提取角点提供有了有利条件;为提高跟踪的准确性和实时性，利用不平滑区域来构造模板;最后针对该方法的计算量大、实时性差的缺点，使用了目标匹配点预测算法，并根据预测点缩小搜索范围，减少运算量，提高搜索效率和实时性。实验表明，该算法能够克服计算量大、实时性差等缺点，并能得到较好的跟踪效果，为后续处理提供可靠的数据。

参考文献

[1]GU C,LEE M.Semiautomatic segmentation and tracking of semantic video objects[J].IEEE Trans.Circuits and Systems for Video Technology,1998,8(5):572-584.

[2]PARAGIOS N,DERICHE R.Geodesic a tive contours and levelsets for the detection and Tracking of moving objects[J].IEEE Trans.Patern Analysis and Machine Intelligence,2000,22(3):266-280.

[3]BERTALMIO M,SAPIROO G,RANDLL G.Morphing active contours[J].IEEE Trans.Patern Analysis and Machine Intelligence,2000,22(7):733-737.

[4]PETERFREUND N.Robust tracking of position and velocity with Kalmans nakes[J].IEEE Trans.Patern Analysis and Machine Intelligence,2000,22(6):564-569.

[5]ZHOU H,YUAN Y,SHI C.Object tracking using SIFT features and meanshift[J].Computer Vision and Image Understanding,2009,113(3):345-352.

[6]丁艳,金伟其,薛雪.基于加权相关的图像匹配跟踪算法研究[J].弹箭与制导学报,2009,29(4):58-62.

[7]WANG J,WANG D.Particle swarm optimization with a leader and followers[J].Progress in Natural Science,2008,18(11):1437-1443.

[8]LONG W,YANG Y.Stationary background generation:an alternative to the difference of two images[J].PatternRecognition,1990,23(12):1351-1359.

[9]江雯,陈更生,杨帆,等.基于Sobel算子的自适应图像缩放算法[J].计算机工程,2010,36(7):214-216.

[10]卢瑜,郝兴文,王永俊.Moravec和Harris角点检测方法比较研究[J].计算机技术与发展,2011,21(6):95-100.

特征量跟踪算法 第3篇

关键词：人脸考勤,人脸跟踪,特征融合

1 引言

人脸考勤系统是指利用人体面相所具有的唯一性、排他性而研制的考勤系统。它克服了传统打卡中磁卡、IC卡等考勤方式存在的代打卡、卡丢失等不足和缺陷,有效地杜绝了考勤管理中的人为因素,充分体现了考勤管理的公正。该系统涉及人脸检测、人脸跟踪和人脸识别技术,笔者主要研究人脸跟踪技术。

目前,人脸跟踪方法主要有基于肤色信息[1,2]、模型[3,4]、运动信息[5]、局部器官特征[6]和三维[7,8]等方法。为了使跟踪更加精确、稳健性更好,对人脸采用颜色信息和轮廓梯度信息两种视觉特征进行信息互补,并运用了相融合的方法,提出了人脸视觉特征融合的跟踪算法。

2 人脸模型研发

2.1 颜色模型

由于人脸具有丰富的颜色信息,采用核密度颜色直方图模型。其中,图1中椭圆内的像素可表示为

由目标的观测概率分布定义可知,人脸颜色观测似然函数为

式中:δc为颜色高斯方差,p为候选目标的核函数颜色直方图,q为目标模板的核函数颜色直方图,ρ[p,q]为候选目标和目标模板的核函数颜色直方图的Bhattacharyya系数,d为候选目标与目标模板相似性度量函数。

2.2 梯度模型

由于颜色直方图信息有它的缺陷,例如在复杂背景下容易被与颜色直方图相似的目标所吸引,而且在人脸转过去的时候颜色信息几乎完全失效。这里采用了人脸的轮廓梯度信息作为对颜色信息的互补。图1为人脸轮廓梯度观测示意图,椭圆表示假设位置,点表示椭圆轮廓周围的观测点,即梯度值最大点。

与构建颜色似然相似,人脸轮廓梯度观测似然函数为

式中:δg是轮廓梯度高斯方差,G(X)是椭圆圆周上的梯度和。

3 跟踪算法的实现

采用简单的视觉特征融合策略,即将颜色和轮廓梯度信息进行简单加权,则有

式中:wf为颜色信息占的权重,为经验值。

该算法实现流程如下:

1)根据式(1)计算目标模板的核函数颜色直方图{q(n)}n=1,2,,B。

2)根据先验分布采样N个粒子,X0i～p(X0),i=1,2,,N。

3)设置初始时刻两个信息的加权w1f=w1g=0.5,k=1。

4)k=k+1,根据目标的状态方程Xk+1=Xk+CkNk,预测粒子状态Xki,i=1,2,,N。

6)利用粒子集和权值得到最后的状态估计,

7)重采样获得一组新的粒子集{Xki,1/N}～{Xki,wki},i=1,2,,N,转到步骤4)。

4 仿真分析

4.1 单人脸跟踪

在笔者提出的人脸跟踪算法框架下对单人脸序列进行了跟踪实验,实验所用序列分辨力为12896,实验结果如图2所示。从实验结果可知,所提出的采用颜色和轮廓梯度融合的跟踪算法由于将人脸大小加入状态变量,能够适应人脸大小的变化,而且比采用单一颜色或轮廓梯度的跟踪算法跟踪精度更高,如第3帧、第65帧。由于采用轮廓梯度作为辅助特征,使得跟踪时的椭圆能够更好地框住人脸目标。但是从第141帧也可看出,当人脸完全背对镜头时,由于颜色信息几乎失去作用,只采用轮廓梯度的跟踪算法效果反而比提出的算法要好。

图3是该序列在遮挡情况下的跟踪结果。可以看出,提出的人脸跟踪算法在遮挡发生时也能实现稳健的跟踪,如第316帧、第334帧。在发生完全遮挡时,跟踪器会暂时被前面的人脸所吸引,发生误跟,但是当遮挡消失时,跟踪器能够迅速地恢复原目标的跟踪,如第362帧,因此跟踪算法具有很好的稳健性。

4.2 多人脸跟踪

图4是多人脸跟踪的实验结果,实验所用序列分辨力为480272。从实验结果可以看到,提出的基于模型的多人脸跟踪算法能够实现多人脸的稳健跟踪。在不发生遮挡的情况下,人脸跟踪较准确,如第2帧、第13帧。但在多个人脸目标发生粘连和部分遮挡时,跟踪算法的性能有所下降。由于目标之间的相似性,被遮挡的人脸目标椭圆框会被前面的人脸目标所吸引而暂时变大,如第23帧。但当遮挡情况消失时,能够很快恢复准确跟踪。

5 小结

提出了一种基于人脸考勤系统的人脸视觉特征融合的跟踪算法。实验结果表明,该人脸跟踪算法有效而且稳健性强,能够很好地处理人脸旋转、遮挡等问题,具有很好的应用前景。

参考文献

[1]YANG J,WAIBEL A.Tracking human faces in real-time[R].Pennsylvania,USA:Carnegie Mellon University Pittsburgh Pa School Of Computer Science,1995.

[2]张涛,蔡灿辉.一种快速多人脸跟踪算法[J].电视技术,2009,33(2):66-68.

[3]COMANICIN D,RAMESH V,MEET P.Kemel-based object tracking[J].IEEE Trans on Pattem Analysis and Machine Intelligence,2003,25(5):564-575.

[4]孙燕飞,胡剑凌.基于粒子滤波器的实时人脸跟踪系统的设计[J].电视技术,2007,31(12):81-84.

[5]WANG Q,XU G,AI H.Leaning object intrinsic structure for robust visual tracking[C]//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR).Madision:IEEE Press,2003:227-233.

[6]肖小玲,李腊元.基于概率支持向量机方法的人脸识别[J].武汉理工大学学报,2009,33(4):345-348.

[7]MALASSIOTIS S,STRINTZIS M.Real-time head tracking and3D pose estimation from range data[C]//Proc.IEEE International Conference on Image Processing.Barcelona:IEEE Press,2003:859-862.

特征量跟踪算法 第4篇

目标跟踪就是利用图像处理、模式识别的方法发现视频序列中与指定目标图像最相似的部分,是计算机视觉领域内的一个典型问题。根据当前研究,跟踪算法可以简单地分为基于假设的跟踪方法和基于特征的跟踪方法[1]。基于假设的跟踪方法,通过分析被跟踪物体和背景环境的特殊性,找到一些可以利用的条件作为假设,根据这些假设条件,对跟踪问题进行建模,获得对目标的跟踪。算法需要大量的采样,具有较高的准确性,实时性略低于基于特征的跟踪方法。基于光流、卡尔曼滤波、粒子滤波的跟踪等都是该范畴的经典算法。选择一种好的特征可以很好地表示一个物体,基于特征的跟踪方法,通过在连续帧图像中检测目标的制定特征来完成对目标的跟踪。基于特征的跟踪方法计算量小,实时性高。Mean Shift算法就是典型代表。

Mean Shift是一种无参密度估计方法。是由Fukunage和Hostetler在1975年一篇关于概率密度梯度函数的估计中提出来的[2]。Comaniciu等人首先将Mean Shift算法应用到目标跟踪中来,把跟踪问题近似为一个Mean Shift最优化问题,使得跟踪可以实时进行[3,4]。文志强、蔡自兴在前人的基础上进一步论证Mean Shift算法具有收敛性[5]。Mean Shift算法具有快速模板匹配和无参密度估计等优点,被广泛用于跟踪领域。传统的Mean Shift算法是基于跟踪目标的空间色彩直方图特征来实现目标的识别与跟踪的。但在跟踪目标出现尺度变化、遮挡、旋转、噪声干扰、光照变化等复杂情况下,空间色彩直方图便无法显著区分颜色相近的背景和目标,这时Mean Shift算法会出现跟踪误差,甚至跟踪丢失。基于边缘方向直方图的Mean Shift跟踪方法[6]可以解决跟踪目标尺度变化问题,但是没有考虑到跟踪目标的旋转问题。SIFT特征是图像的局部特征,对旋转、尺度缩放、亮度变化保持不变性,对噪声具有很好的抗干扰性。针对Mean Shift跟踪算法的以上局限性,本文充分利用SIFT特征的尺度和旋转不变性等优点,提出一种基于SIFT特征度量的Mean Shift目标跟踪算法(简称SIFT-Mean Shift)。实验结果表明,本算法鲁棒性好。

1 SIFT特征度量

SIFT算子是图像局部特征描述算子,是由David G.Lowe在2004年总结了现有的基于不变量技术的特征检测方法的基础上,正式提出的一种基于尺度空间,对图像缩放、旋转甚至仿射变化保持不变性的图像局部特征描述算子[7]。SIFT算法提取的SIFT特征向量具有如下特征[8]:

a) 对旋转、尺度缩放、亮度变化保持不变性 对旋转、仿射变换、噪声也保持一定程度的稳定性。

b) 独特性好 信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配。

c) 多量性 即使少数的几个物体也可以产生大量的SIFT特征向量。

d) 高速性 经过优化的SIFT匹配算法甚至可以达到实时的要求。

e) 可扩展性 可以很方便的与其他形式的特征向量进行联合。

Lindeberg等人证明高斯核是唯一的线性核。一幅二维图像在不同尺度的尺度空间可表示为:

L(x,y,σ)=G(x,y,σ)I(x,y) (1)

其中,I(x,y)是图像在(x,y)处的灰度值,G(x,y,σ)是二维高斯核函数:

$G(x,y,\sigma )=\frac{1}{2\pi \sigma {}^2}\exp {}^{-(x{}^2+y{}^2)/2\sigma {}^2}(2)$

其中σ代表了高斯正态分布的方差,定义为变化尺度。

如图1所示,图像通过不同尺度的高斯核函数滤波,形成高斯金字塔图像。相邻尺度的两个高斯图像相减得到高斯差分DOG(Difference-of-Gaussian)金字塔多尺度空间。差分高斯图像可以表示为:

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))I(x,y)

=L(x,y,kσ)-L(x,y,σ) (3)

SIFT算法首先在尺度空间进行特征检测,并确定关键点的位置、尺度。然后使用关键点的邻域梯度方向为主方向作为该点的方向特征,可实现算子的尺度和方向无关性。

运用SIFT算子,确定跟踪目标的关键点。步骤如下:

1) 构建高斯金字塔和高斯差分金字塔。

2) 确定关键点的位置和尺度。

对高斯差分金字塔尺度空间每个点与相邻位置的点逐个进行比较,得到局部极值位置即为关键点所处的位置和对应的尺度。由于高斯差分算子会产生较强的边缘响应,必须去除低对比度的关键点和不稳定的边缘响应点,以增强跟踪的稳定性和提高抗噪声能力。

3) 确定关键点的方向。文献[6]中提出的基于空间边缘直方图的Mean Shift跟踪方法没有考虑到跟踪目标视角变化问题。本算法结合SIFT特征的旋转不变性特征,使跟踪对目标视角变化具有一定的适应性。SIFT算子利用关键点邻域像素的模值方向分布特征为每个关键点指定方向参数。方法如下:

以关键点为中心的邻域窗口采样,计算邻域窗口内像素在关键点所在尺度空间下的模值和方向如下:

$\{\begin{array}{l}L{}_x=L(x+1,y)-L(x-1,y)\\ L{}_y=L(x,y+1)-L(x,y-1)\\ \theta (x,y)=\text{a}\text{r}\text{g}\text{t}\text{a}\text{n}(L{}_y/L{}_x)\\ m(x,y)=\sqrt{(L{}_x^2+L{}_y^2}\end{array}(4)$

其中m(x,y)为(x,y)处的模值公式,θ(x,y)为(x,y)处的方向公式,L所用的尺度为对应关键点所在的尺度。

用直方图统计邻域像素的方向,取直方图的峰值所对应的方向为关键点的方向。

经过以上步骤,每个关键点具有三个信息:位置、所在尺度、方向。由此可以确定一组特征向量区域。

如图2所示,传统的SIFT算子在得到关键点的位置后,取关键点附近的一个88窗口,并计算该窗口内64个像素的方向和模值。然后在每44的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,即可形成一个种子点,一个关键点可以生成4个种子点。与传统的SIFT算子不同,本文不需要得到SIFT特征种子结点,而是得到跟踪区域内的关键点以后,在以关键点为中心的99的窗上计算每个像素的模值方向向量,从而用模值方向分布直方图来表示跟踪目标。

如图3所示,首先将坐标轴旋转为关键点的方向,以确保旋转不变性。再以关键点为中心取99的窗口,对于每个像素点,运用式(4)得到像素点的方向θ(x,y)和模值m(x,y),将方向的取值范围分成n等份,以便将方向量化。假设n=8(n值越大跟踪越精确,时间复杂度越高),即各个取值区间为$\left[\frac{\pi }{4}k,\frac{\pi }{4}(k+1)\right)$,其中k=0,1,,7。对每个θ(x,y)进行量化计算,若$\theta (x,y)\in \left[\frac{\pi }{4}k,\frac{\pi }{4}(k+1)\right)$,则θ(x,y)对应量化后的值为k+1。今后用θ(x,y)代表像素点量化后的方向值。图3中,黑色箭头代表像素的模值方向,箭头的长度代表像素点的模值。一个关键点就可以产生81个模值方向特征向量。若一个跟踪物体区域内有N个关键点,则一个运动物体可以产生小于等于N81个特征向量。每个特征向量可表示为<x,y,θ,m>,其中(x,y)代表特征向量所属关键点的位置,Q代表方向,m为归一化模值。此时模值方向向量已经去除了尺度变化、旋转等几何变形因素的影响。

以θ为直方图的横坐标生成直方图h={Ht|t=1,2,,T},其中,T表示直方图被T等分,Ht表示模值方向特征在第t个区间中的特征点个数。

${\rm H}{}_t=\frac{1}{C}{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^{k{}_1}\delta }}[\theta (i,j)-t](5)$

其中,δ[x]是离散冲击函数:

$\delta [\theta (i,j)-t]=\{\begin{array}{l}1\theta (i,j)=1\\ 1\theta (i,j)\ne 1\end{array}$

θ(i,j)代表跟踪目标上的第i个关键点附近的第j个像素点的方向,C为归一化系数。对彩色图像来说,可以将每个颜色通道分别运用上述方法计算即可。

2 本文跟踪算法

2.1 Mean Shift算法

给定d维空间Rd中的n个样本点xi,i=1,2,,n。在x点的Mean Shift向量的基本形式定义为:${\rm M}{}_h=\frac{1}{k}{\displaystyle \sum _{x{}_i\in S{}_h}(}x{}_i-x)$,其中Sh是一个半径为h的高维球区域,满足以下关系的y点的集合Sh={y|(y-x)T(y-x)h2}。k为落入Sh区域内的样本点的个数。

Mean Shift向量代表采样点的平均偏移量,指向样本分布最多的区域,也就是概率密度函数的梯度方向。

一般来说,在Sh表示的高维球区域中,样本点离x越近,对x周围的统计特征越有效,因此我们引进核函数的概念,并根据每个样本点的重要性不同赋予其不同的权值,经扩展后的Mean Shift向量表示为:

$\begin{array}{l}{\rm M}(x)=\frac{{\displaystyle \sum _{i=1}^{n}G}{}_{{\rm H}}(x{}_i-x)w(x{}_i)(x{}_i-x)}{{\displaystyle \sum _{i=1}^{n}G}{}_{{\rm H}}(x{}_i-x)w(X{}_i)}\\ =\frac{{\displaystyle \sum _{i=1}^{n}G}{}_{{\rm H}}(x{}_i-x)w(x{}_i)x{}_i}{{\displaystyle \sum _{i-1}^{n}G}{}_{{\rm H}}(x{}_i-x)w(x{}_i)}-x=m{}_h(x)-x(6)\end{array}$

其中,GH(xi-x)=|H|-1/2G(H-1/2(xi-x))。

G(x)是一个核函数,H是一个正定的对称矩阵,又称带宽矩阵。

w(xi)≥0是一个赋给采样点xi的权值。

$m{}_h(x)=\frac{{\displaystyle \sum _{i=1}^{n}G}{}_{{\rm H}}(x{}_i-x)w(x{}_i)x{}_i}{{\displaystyle \sum _{i=1}^{n}G}{}_{{\rm H}}(x{}_i-x)w(x{}_i)}(7)$

Mean Shift算法是一个不断迭代的过程,假设初始点为x容许误差为ε,则Mean Shift算法按照下述步骤执行:

1) 计算mh(x);

2) 把mh(x)付给x;

3) 如果‖mh(x)-x‖<ε,结束循环,否则,继续执行1)。

2.2 目标表示与SIFT-Mean Shift跟踪

假设模板的模值方向向量所对应的像素点为{xi,j|i=1,2,,n;j=1,2,,ki},是目标物体中第i个关键点附近的第j个像素点的坐标位置。模板的半径为R,则$\parallel \frac{y-x{}_{i,j}}{R}\parallel {}^2$表示各个像素到模板中心点y的归一化距离。k(xi,j)是一个核函数,C是归一化系数。若一个被跟踪物体的中心为x0,则该物体可以用跟踪物体区域内的关键点附近的特征向量分布来描述:

$\widehat{{\rm H}}{}_t=C{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^{k{}_i}k}}\left(\parallel \frac{x{}_{i,j}-x{}_0}{h}\parallel {}^2\right)\delta [\theta (i,j)-t](8)$

式中,$C=\frac{1}{{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^{k{}_i}k}}\left(\parallel \frac{x{}_{i,j}-x{}_0}{h}\parallel {}^2\right)}$。

候选的位于y的物体可以描述为:

${\rm H}{}_t(y)=C{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^{{\rm K}{}_i}k}}\left(\parallel \frac{x{}_{i,j}-y}{h}\parallel {}^2\right)\delta [\theta (i,j)-t](9)$

因此物体的跟踪问题可以简化为找最优的y,使得$\widehat{{\rm H}}{}_t$与Ht(y)最相似,定义两个分布之间Bhattacharrya系数ρ(y)为相似度衡量指标,即:

$\rho (y)=\rho [h(y),\widehat{h}]={\displaystyle \sum _{t=1}^{{\rm T}}\sqrt{{\rm H}{}_t(y),\widehat{{\rm H}}{}_t}}(10)$

对上式在Ht(y0)点泰勒展开可得:

$\rho (y)\approx \frac{1}{2}{\displaystyle \sum _{i=1}^{{\rm T}}\sqrt{{\rm H}{}_t(y{}_0)\widehat{{\rm H}}{}_t}}+\frac{C}{2}{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^{k{}_i}w}}(i,j)k\left(\parallel \frac{x{}_{i,j}-y}{h}\parallel {}^2\right)(11)$

其中,$w(i,j)={\displaystyle \sum _{t=1}^{{\rm T}}\delta }[\theta {}_{(i,j)}-u]\sqrt{\frac{\widehat{{\rm H}}{}_t}{{\rm H}{}_t(y{}_0)}}$。

Bhattacharrya系数ρ(y)越大,两物体越相似,因此我们可用Mean Shift算法对公式的第二项进行优化,以确定跟踪目标的下一个位置。

根据以上分析,本文提出了基于SIFT特征度量的Mean Shift目标跟踪算法,图4为本算法的流程图。

运动跟踪的部分代码如下:

3 实验结果及分析

实验中所用的硬件环境为CPU:P(R) 4 2.8GHz;内存:1GB;显存:256MB。软件开发环境为VC 6.0+OpenCV,实验数据为几组视频序列。

3.1 验证尺度、旋转不变性

为验证本跟踪算法对尺度变化和旋转具有很好的鲁棒性,我们提取了序列图像中两幅拍摄角度不同,焦距变化的图片,并得到图片中跟踪物体的关键点和关键点附近的特征向量,从而计算两个跟踪物体的特征向量分布图。如图5所示,(b)是由(a)顺时针旋转35度,焦距扩大两倍后得到。(a)、(b)箭头的出发点表示跟踪物体的关键点位置,(c)为两个跟踪物体特征向量的方向分布直方图,从图中我们可以看到两个直方图分布具有很大的相似性。

为了进一步验证我们的算法对尺度变化和旋转具有很好的适应性能,我们对尺度和方向发生变化的魔方在序列图像中进行跟踪,图6(a)为基于空间色彩直方图的Mean Shift跟踪方法的跟踪效果图。从图6(a)的第2,3幅图片中可以看出,跟踪已经出现偏差,而在图6(b)中基于SIFT-Mean Shift跟踪方法的效果图中,跟踪并未出现误差。

3.2 验证抗噪性

图7是在序列图像中加入椒盐噪声后,基于空间色彩直方图和SIFT-Mean Shift算法的跟踪效果图。(a)中受噪声和周围运动车辆的干扰,当运动车辆尺度变小,即将驶出视频区域时,跟踪出现偏差。(b)中,序列图像加入噪声后甚至出现跟踪丢失,而从(d)中的SIFT-Mean Shift方法的跟踪效果图中我们可以看出,加入噪声后,虽然跟踪出现较小的偏差,但是跟踪没有丢失。实验表明,本算法具有很强的抗噪性。

3.3 验证遮挡稳定性

图8为跟踪物体出现遮挡时,基于空间色彩直方图的方法和基于SIFT-Mean Shift方法的跟踪效果图。从图中我们可以看出,因为跟踪物体和视频背景的颜色相似,基于空间色彩直方图的方法出现跟踪偏差。这是由于空间色彩直方图无法显著区分颜色相近的背景和目标所造成的,而本方法跟踪效果很好,对遮挡具有很好的鲁棒性。

3.4 验证SIFT-Mean Shift算法收敛性及实时性

图9给出了基于空间色彩直方图的算法和本算法在一组序列图像中的迭代曲线,Mean Shift算法的平均迭代次数为2.23次,而本算法的平均迭代次数仅为1.54次,验证了本文提出的方法能够增强目标和背景的可分性,从而加快了Mean Shift向目标快速收敛的设想。

表1中,视频序列一、二、三分别为实验3.1节、3.2节、3.3节中的视频序列。虽然本Mean Shift算法平均迭代次数少,但由于SIFT算子的时间复杂度大,算法的整体实时性稍逊于基于空间色彩直方图的方法,从表1中可以看出,利用基于空间色彩直方图对3段视频序列中的运动物体进行跟踪,平均每秒可以处理22.4帧图像,本文提出的算法平局每秒处理19.9帧图像,算法处理速度慢,实时性较差。

4 结 语

为了解决传统的基于空间色彩直方图的Mean Shift算法对目标和背景区分度不高,在目标物体出现尺度变化、旋转、遮挡、噪声干扰等复杂情况下跟踪效果不好的问题,本文提出了一种基于SIFT特征度量的Mean Shift跟踪算法SIFT-Mean Shift。首先根据SIFT算子计算跟踪目标附近的关键点位置和尺度,并取所得尺度空间下关键点邻域的特征向量。然后用跟踪目标区域内的特征向量的模值方向分布直方图表示该目标。最后根据Bhattacharrya系数计算特征向量分布的相似度,并用SIFT-Mean Shift算法对目标进行跟踪。实验结果表明该算法可以在跟踪目标出现尺度变化和旋转时得到很好的跟踪效果,并对遮挡、光照变化、噪声干扰具有很强的适应性,算法鲁棒性好。虽然本Mean Shift算法平均迭代次数少,但由于SIFT算子的时间复杂度大,算法的整体实时性稍逊于基于空间色彩直方图的方法。笔者下一步的工作,就是对SIFT算子进行优化,改进SIFT-Mean Shift算法的实时性。

参考文献

[1]朱胜利.Mean Shift及相关算法在视频跟踪中的研究[D].杭州:浙江大学出版社,2006.

[2]Fukunaga K,Hostetler L D.The Estimation of the Gradient of a DensityFunction,with Applications in Pattern Recognition[J].IEEE Trans onInformation Theory,1975,21(1):32-40.

[3]Comaniciu D,Ramesh V,Meer P.Real-time tracking of non-rigid ob-jects using mean shift[C]//Proc of IEEE Conf on Computer Visionand Pattern Recognition.Hilton Head island:[s.n].,2000:142-149.

[4]Robert T Collins.Mean-shift Blob Tracking through Scale Space[J].IEEE Computer Society Conference on Computer Vision and PatternRecognition(CVPR’03),2003:1063-6919.

[5]文志强,蔡自兴.Mean Shift算法的收敛性分析[J].软件学报,2007,18(2):205-212.

[6]王新红,王晶.基于空间边缘方向直方图的Mean Shift跟踪算法[J].中国图象图形学报,2008,13(3):586-592.

[7]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

特征量跟踪算法 第5篇

目标跟踪是智能视频监控中的一个基础而又关键的技术。现已成为计算机视觉领域中的研究热点,同时也是研究的难点[1]。目前获得广泛认可的是由Comaniciu D等人[2,3]提出的mean-shift跟踪方法,该算法是利用目标的颜色直方图作为特征对目标进行跟踪。然而传统的mean-shift算法主要存在以下两个问题:一是当跟踪目标被外物遮挡时,由于算法本身不具备预测能力,往往会造成当目标重新出现时的跟丢现象;二是由于算法利用的是颜色直方图特征对目标进行跟踪,当背景的颜色和目标的颜色相近时,会出现跟丢现象。针对mean-shift算法的缺点,国内外研究人员提出了很多改进算法,比如基于多尺度特征的mean-shift算法[4],融合角点特征与颜色特征的mean-shift算法[5],联合综合颜色特征与边缘梯度方向角的mean-shift算法[6],融合颜色特征与纹理特征的mean-shift算法[7]等。这些算法解决了mean-shift算法存在的一些问题,但在目标被遮挡以及背景颜色和目标颜色相近时,它们的跟踪性能并没有显著提高。

相比于mean-shift算法不能预测目标的位置,而卡尔曼滤波器却能够对目标的位置进行很好的预测[8],但在非线性情况下,卡尔曼滤波器会跟丢目标,而mean-shift算法却能够很好地解决目标的非线性运动问题,相对于传统的RGB颜色空间,YUV颜色空间是一种更好的颜色空间[9],更适合于mean-shift算法。结合mean-shift算法和卡尔曼滤波算法的优点以及YUV颜色空间,本文提出了一种基于YUV颜色空间的目标跟踪融合算法。该算法利用YUV颜色空间的特性,提取目标的U,V颜色分量作为特征值,进行mean-shift跟踪,当目标被遮挡或背景颜色与目标的颜色相近时,首先采用卡尔曼滤波器对目标的位置进行预测,然后使用mean-shift算法优化目标的跟踪位置,最后再通过卡尔曼滤波器确定目标的最终位置。实验结果表明,相比于传统mean-shift算法,该算法很好地解决了目标被遮挡以及背景颜色与目标颜色相近时,目标跟踪性能下降的问题。

1 基本原理

1.1 传统mean-shift算法基本原理

传统mean-shift目标跟踪算法是一种非参数概率密度梯度估计算法[10,11,12]。假设目标区域的中心为x0,共有n个像素,用{xi},i=1,2,,n表示,特征值的个数为m,则目标模型的特征值u=1,2,,m的概率密度如下

$\widehat{q}{}_u=C{\displaystyle \sum _{i=1}^{n}k}(\left|\left|\frac{\mathit{x}{}_0-\mathit{x}{}_i}{h}\right|\right|{}^2)\delta \left[b(\mathit{x}{}_i)-u\right](1)$

式中:k(x)为轮廓函数;δ(x)是Delta函数;h是核函数的窗宽;C是标准化的常量系数,为

$C=\frac{1}{{\displaystyle \sum _{i=1}^{n}k}(\left|\left|\frac{\mathit{x}{}_0-\mathit{x}{}_i}{h}\right|\right|{}^2)}(2)$

候选目标区域的计算方式同式(1)和式(2)。

采用Bhattacharyya系数度量候选目标模型与目标模型间的相似性,如下

$\widehat{\rho }(\mathit{y})=\rho (\widehat{p}(\mathit{y}),\widehat{q})={\displaystyle \sum _{u=1}^m\sqrt{\widehat{p}{}_u(\mathit{y})\widehat{q}{}_u}}(3)$

式中:$\widehat{p}$u(y)为候选目标模型的概率密度估计。

1.2 卡尔曼滤波基本原理

Kalman滤波器是根据最小均方误差准则建立起来的估计方法[13,14]。设Kalman滤波器的系统状态变量是四维向量Xk=(xsk,ysk,xvk,yvk),分别表示目标在x轴和y轴上的位置和速度。观测向量Zk=(xwk,ywk),分别表示目标在x轴和y轴上的位置。

系统的状态方程如下

Xk=AXk-1+Wk (4)

系统的观测方程如下

Zk=HXk+Vk (5)

式中:A是状态变换矩阵;Xk是k时刻的系统状态向量;Wk是系统噪声向量;H是观测矩阵;Vk是观测噪声向量;Zk是k时刻的观测向量。

1.3 颜色空间转换

传统mean-shift目标跟踪算法是在RGB颜色空间下进行的,然而RGB颜色空间却不能做到亮度与色度的完全分离,它是个线性空间,其亮度的变化会引起色度的变化。YUV色彩空间是不同于RGB色彩空间的另外一种颜色模型,其基本特征是将亮度信号和色度信号分离表示。其中,Y表示亮度,U和V是两个彩色分量,表示色差,一般是蓝和红色的相对值。mean-shift目标跟踪算法的核心是根据目标的颜色直方图对目标进行建模,而YUV颜色空间又具有亮度与色度完全分离的特性,这就使得YUV色彩空间更适合于mean-shift目标跟踪算法。因此,采用YUV色彩空间,并提出基于此空间的目标跟踪融合算法。RGB空间到YUV空间的转换公式如下

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.14713& -0.28886& 0.436\\ 0.615& -0.51498& -0.10001\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right](6)$

2 融合算法

2.1 融合思路

本文融合算法的思路如下:首先将颜色空间由RGB空间转换到YUV空间,并提取目标的U,V颜色分量,作为其特征,为采用mean-shift跟踪做准备;然后通过目标模型与候选模型的Bhattacharyya系数确立融合规则,以便确定何时采用mean-shift算法,何时采用卡尔曼滤波算法。最后,将最终的计算结果作为跟踪目标的最终位置。

2.2 计算目标位置

目标位置计算步骤如下:

1) 序列图像的颜色空间转换,由式(6)计算。

2) 计算加权系数wi,公式如下

$w{}_i={\displaystyle \sum _{u=1}^m\sqrt{\frac{\widehat{q}{}_u}{\widehat{p}{}_u(\mathit{y}{}_0)}}}\delta [b(\mathit{x}{}_i)-u](7)$

计算第一候选目标模型,公式如下

$\widehat{p}{}_u(\mathit{y}{}_0)=\frac{{\displaystyle \sum _{i=1}^{n{}_h}k}(\left|\left|\frac{\mathit{y}{}_0-\mathit{x}{}_i}{h}\right|\right|{}^2)\delta \left[b(\mathit{x}{}_i)-u\right]}{{\displaystyle \sum _{i=1}^{n{}_h}k}(\left|\left|(\mathit{y}-\mathit{x}{}_i)/h\right|\right|{}^2)}(8)$

式中:y0是上一帧目标的中心,nh是候选目标模型中的像素个数。

计算第二候选目标模型的中心,公式如下

$\mathit{y}{}_1=\frac{{\displaystyle \sum _{i=1}^{n{}_h}\mathit{x}}{}_{i}w{}_{i}g\left(\left|\left|\frac{\mathit{y}{}_0-\mathit{x}{}_i}{h}\right|\right|{}^2\right)}{{\displaystyle \sum _{i=1}^{n{}_h}w}{}_{i}g\left(\left|\left|\frac{\mathit{y}{}_0-\mathit{x}{}_i}{h}\right|\right|{}^2\right)}(9)$

式中:g(x)=-k′(x)。根据式(8)和式(9)计算第二候选目标模型$\widehat{p}$u(y1)。

3) 根据式(3)分别计算第一候选目标模型和第二候选目标模型与目标模型的Bhattacharyya系数和$\widehat{\rho }$(y1)。

计算$\frac{\widehat{\rho }(\mathit{y}{}_1)}{\widehat{\rho }(\mathit{y}{}_0)}$,根据如下规则,确定融合方式为

$\{\begin{array}{l}\frac{\widehat{\rho }(\mathit{y}{}_1)}{\widehat{\rho }(\mathit{y}{}_0)}<\delta {}_1,\text{发}\text{生}\text{遮}\text{挡}\\ \delta {}_2>\frac{\widehat{\rho }(\mathit{y}{}_1)}{\widehat{\rho }(\mathit{y}{}_0)}>\delta {}_1,\text{正}\text{常}\\ \frac{\widehat{\rho }(\mathit{y}{}_1)}{\widehat{\rho }(\mathit{y}{}_0)}>\delta {}_2,\text{背}\text{景}\text{颜}\text{色}\text{与}\text{目}\text{标}\text{颜}\text{色}\text{相}\text{近}\end{array}(10)$

式中:δ1和δ2是两个阈值参数。

当情况正常时,采用mean-shift算法进行跟踪,此时y1即为目标的位置。

当发生遮挡或背景颜色与目标颜色相近时,首先以y0为卡尔曼滤波器的初始值,由式(11)得到目标的预测位置

$\widehat{\mathit{X}}{}_k^{-}=\mathit{A}\widehat{\mathit{X}}{}_{k-1}(11)$

然后由式(9)计算目标的优化位置,最后再由式(12)得到目标的最终位置y1。

$\widehat{\mathit{X}}{}_k=\widehat{\mathit{X}}{}_k^{-}+\mathit{{\rm K}}{}_k(\mathit{{\rm Z}}{}_k-\mathit{{\rm H}}\widehat{\mathit{X}}{}_k^{-})(12)$

式中:Kk=P-kHT(HP-kHT+R)-1,P-k=APk-1AT+Q,Pk=(I-KkH)P-k;$\mathit{A}=\left[\begin{array}{cccc}1& 0& \tau & 0\\ 0& 1& 0& \tau \\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$,$\mathit{{\rm H}}=\left[\begin{array}{l}\begin{array}{cccc}1& 0& 0& 0\end{array}\\ \begin{array}{cccc}0& 1& 0& 0\end{array}\end{array}\right]$,

$\mathit{Q}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]‚$

$\mathit{R}=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$;τ为相邻两帧的时间间隔,I是单位矩阵。

4) 将y1赋值给y0,读取下一帧图像,执行步骤1)。

5) 循环执行步骤1)～4),直到视频结束。

2.3 融合算法流程图

融合算法流程图如图1所示。

3 实验及分析

为了验证融合算法的性能,分别在目标发生遮挡和背景颜色与目标颜色相近的情况下对所提出的算法进行了验证。

图2给出了目标被遮挡情况下的传统mean-shift算法和本文算法的跟踪效果图,图中跟踪的目标是一个深蓝色的汽车,在第355帧时,传统mean-shift算法和本文算法的跟踪结果差别不大,随着目标的运动,两种算法的跟踪效果就出现了差别,在第375帧时,当目标被树遮挡住一半左右时,传统mean-shift算法基本上还能跟得上,但已失去了一部分目标,而本文算法却跟得很好,当到达第395帧时,目标经由全部被树遮挡,再到部分被遮挡只露出车头时,可以看到传统mean-shift算法基本上跟丢目标,而本文算法还是能很好的跟踪目标,最后到达第415帧时,在这个过程中,目标逐渐摆脱了遮挡,露出全身继续向前运动,可以看到传统mean-shift算法已经彻底跟丢了目标,跟踪窗口停在了概率密度较大的遮挡物树上,而本文算法依然完成了跟踪,并没有丢失目标。在目标由没被遮挡到部分遮挡、全部遮挡再到逐渐摆脱遮挡、露出全貌的过程中,传统mean-shift算法由于其算法本身的缺陷,逐渐跟丢了目标,而本文算法由于结合了卡尔曼滤波和传统mean-shift算法的优点,并且又是在区分度更好的YUV颜色空间中,所以在整个过程中,一直都能紧跟目标,完成了对目标的跟踪。图3给出了在这种情况下传统mean-shift算法和本文算法每帧的迭代次数、处理时间对比图,传统mean-shift算法每帧的平均迭代次数是10.816 7次,平均处理时间是0.096 2 s,而本文算法每帧的平均迭代次数是4.7次,平均处理时间是0.076 7 s。从实验结果可以看到,本文算法不仅在跟踪效果上要优于传统mean-shift算法,同时在迭代次数、处理时间上也少于传统mean-shift算法。

图4给出了背景颜色和目标颜色相近情况下本文算法和传统mean-shift算法的跟踪效果对比图,图中的跟踪目标是一个骑自行车的人,他的衣着颜色与背景公路的颜色很相近。从实验结果可以看到传统mean-shift 算法由于其算法本身的缺陷会逐渐的跟丢目标,以至于最后停留在概率密度更大的背景上;而本文算法却从始至终都能够很好地跟踪目标,同样图5也给出了在这种情况下传统mean-shift算法和本文算法每帧的迭代次数和处理时间对比图。

4 结论

针对遮挡、背景的变化等对目标跟踪带来的困难,提出了一种基于YUV颜色空间特征的目标跟踪融合算法。将颜色空间由传统的RGB空间转换到区分度更好的YUV空间,融合了卡尔曼滤波和mean-shift跟踪算法的优点,并结合一种阈值函数,准确计算目标的最终位置,解决了遮挡、背景变化等造成的目标跟丢现象,提高了目标跟踪算法的鲁棒性和准确性,并通过实验验证了新方法的有效性和准确性。当然,本算法还存在缺陷,当跟踪目标的机动性太强时,也会出现跟丢、跟错现象,并且本算法还没有实现跟踪窗口随跟踪目标的自适应变化,这些都是后续研究中要重点解决的问题。

特征量跟踪算法 第6篇

视频图像中的运动目标跟踪是智能监控系统的关键技术之一,在军事和民用中都有着广泛的应用[1,2,3,4,5,6,7]。在跟踪过程中由于目标会发生旋转等各种形态变化,同时图像信息往往会受到背景变化、遮挡、光照等因素的影响,因此,能够做到在不同复杂环境下都能精确、快速和稳定地跟踪视频图像中的运动目标绝非是一件容易的事情。

在目前流行的基于区域匹配、特征点,光流法,均值漂移等跟踪方法中,均值漂移算法因为速度快,而且对于目标的部分遮挡、旋转等情况下都有较强的跟踪效果,使它广泛应用于目标跟踪中[8,9,10,11,12]。基于均值漂移法,Meer等人[8]提出了以目标区域像素值的概率分布为特征的跟踪算法。由于采用了统计特征,该算法对噪声有很强的鲁棒性,同时该算法构造了一个可以用均值漂移算法进行寻优的相似度函数,通过在候选帧中寻找与目标帧中目标直方图相似性程度最大的区域来实现对运动目标的定位。但是,当目标颜色与背景颜色较为相似时或在跟踪场景中光线有变化的情况下,该算法因基于颜色特征匹配而跟踪效果大大地降低。

对此,研究者提出了一些有效特征选择的解决方案[8,9,10,11,13,14]。例如,选择与背景区分度最大的特征对目标进行跟踪[8,10];将各彩色空间的灰度值作为有效特征矢量进行分割与跟踪[1,13,14];或是将特征线性组合产生49个特征矢量,通过比较这些特征的显著程度,选用最显著的几个特征进行目标跟踪[9,11];还有在颜色特征的基础上加入了目标的形状信息,通过多种特征的融合来提高了跟踪的性能[2]。但是上述方法在特征选择时,往往只是在前期的区分度判定后,就将最有效特征固定下来,一般只选择2个或3个特征,而都没有考虑到跟踪后期场景的变换后,被选择的特征因没有随着场景变换而自适应地进行调整,使得跟踪发生偏差。同时,跟踪过程中,如果选择的特征数过多,将大大增加维数,使得计算量俱增而降低了跟踪实时性;此外,在跟踪过程中,如果一个特征与另几个特征的区分度差别很大时,固定使用原来的2个或3个特征进行跟踪,不仅不会提高跟踪的效果,一定程度上反而会降低跟踪性能,造成跟踪目标的丢失。

针对特征的有效选择上,本文提出了一种自适应特征选择的方法,通过设计的区分度计算准则,选择其中最显著的特征进行目标跟踪,当场景发生变化时,重新计算并选择最有效的特征在进行目标跟踪。实验仿真中,采用了9个具有代表性的彩色空间特征作为候选特征,分别计算目标与背景的各个特征矢量的颜色直方图,再选取其中区分度最大的特征作为进行跟踪的特征,实现了不同情况下运动目标的准确跟踪。

1 自适应跟踪算法

1.1 均值漂移算法

均值漂移算法实际上是利用梯度法迭代计算概率密度函数的极值点。目前常用的密度估计是非参数估计中的核密度估计方法[12]。

假设有d维空间Rd中的样本集合{xi}i=1,,n,在样本点x处,使用核函数为K(x),核宽为h的多变量核密度估计由下式计算:

常用的核函数有均匀核函数、三角核函数、依潘涅契科夫(Epanechikov)核函数、以及高斯核函数。Epanechikov核函数是产生最小平均积分误差的优化核函数,同时由于该核函数的一阶导数为常数,便于计算均值漂移向量,因此本算法将使用Epanechikov核函数进行核密度估计。Epanechikov核函数定义为

其中cd为d维单位球的体积,如d=2时,cd=π。对于二维图像空间,Epanechikov核函数可以简化为

其中x在图像空间中表示为二维图像中一点,用向量表示。在计算机视觉中,核函数满足K(x)=ek,dk(||x|2),其中k(x)称为K(x)的轮廓函数。

再令g(x)=-k′(x),代入式(1)求其梯度,则有

其中Mh,G(x)被称为均值漂移向量,进一步表示为

该式表示了均值漂移向量始终指向密度梯度的方向,即密度变化最大的方向,因此均值漂移算法是一个变步长的梯度上升算法,最终收敛到概率密度函数的峰值点。

1.2 目标描述

在目标跟踪过程中,首先在起始帧确定被跟踪目标的区域,该目标区域便是核函数作用的起始区域,其大小决定核函数的带宽。根据各颜色直方图分布特点,将颜色特征空间中的每个子空间分成k个相等的区间bin,构成所需的特征空间。特征空间中的特征值的个数应为k个。然后,计算区域内所有的像素特征空间中每个特征值的概率分布来确定目标模型的最后描述。

在彩色视频图像运动目标跟踪中,定义颜色特征空间V={R,G,B,H,S,V,r,g,b},颜色空间中的每个特征矢量量化为L个bin,这些特征都是彩色视频图像中最重要的特征矢量[1]。其中r=R/(R+G+B),g=G/(R+G+B),b=B/(R+G+B)。实验中发现,特征b在不同场合下的跟踪中所起的作用不大,因此,在初步特征选择中特征b便不作为候选特征量,这样可以相应地提高跟踪的运行时间。

此外,我们还可以利用梯度值Fθ(x,y)来确定目标形状特征。将Fθ(x,y)归一化后,同样作为特征矢量分成L个bin,参与有效特征分析。图像中每一像素的Fθ(x,y)计算如下:

其中:

利用核密度估计分别计算每一个特征的直方图,对在初始帧图像中目标区域内所有像素点,计算特征空间中每个特征值的概率,称为目标模型的描述。假设目标区域中有n个像素点,用{xi}i=1,,n表示,其特征值量化为L个等级。令目标区域中心为x0,那么目标模型中的特征值l={1,,L}的概率密度估计:

考虑到遮挡或背景的影响,则目标模型中心附近的像素点比外侧的像素点更可靠,通过轮廓函数的计算,对中心区域的像素点给一个大的权值,而给外侧的像素点一个较小的权值。δ(x)是Delta函数,δ[b(xi)-l]的作用是判断目标区域中像素点的颜色值是否属于第l个bin。如果属于的话,其值为1;否则,其值为0。其中C是一个标准化系数。

在后续各帧中,定义可能包含目标的区域为候选目标区域。假设候选目标区域的中心为y0,y0同时也是核函数的中心。该区域中的nh个像素点用{xi}i=,1,nh表示,对候选区域的描述称为目标的候选模型,候选模型的特征值l={1,,L}的概率密度估计为

1.3 区分度判断准则

实际上,特征直方图的计算并不能直接地表示该特征与背景的区分程度,为了定量的分析该特征的区分程度,需要定义一个数值表达区分程度。前述算法中曾采用了似然函数计算方法[9]。然而,实验仿真中发现在一些复杂环境下该方法跟踪效果不好且计算量大。本算法则采用了简单且计算量较小的均方差值来确定目标特征区域与背景区域的区分程度。

定义目标区域,以目标区域中心为中心的2倍目标区域面积的区域为计算区域。除去其中的目标区域,其他的区域为背景区域。设背景区域中有m个像素点,分别计算每个特征下目标区域的特征均值Imean,将背景中每个像素特征值Ii与Imean相比较,表示为

利用VR值的大小来判断在特征Ii作用下背景与目标区域的差别程度。如果VR越大,则代表特征Ii在跟踪过程中作用越大。所以,我们将选择VR值较大的特征作为后期跟踪时最有效的特征矢量。

同时,利用上述准则判定的帧间背景区域的差别值与设定阈值α相比,如果两帧图像的背景区域发生较大变化,则需要重新计算当前帧各特征的VR值,再次选取合适的特征作为后期跟踪时使用的特征矢量,这样才能真正做到自适应性地更新跟踪模板,避免了固定模板所带来的误差,提高了后期跟踪的准确性。

1.4 显著特征选择

传统的特征选择方法都是固定的选择2或3个特征矢量,而没有考虑特征之间的差异,当一个特征与其他特征的区分度差别很大时,原则上该特征将成为后期目标跟踪的显著特征。针对该问题,本文提出了显著特征的判断方法来提高特征选择的有效性。实验仿真中我们发现,选择3个或以上的显著特征与选择1或2个显著特征矢量作为目标跟踪的特征矢量对于后期的跟踪效果或性能没有太大的提高,有时还会造成跟踪速度的下降。因此,在本算法中重点考虑在后期场景变化的过程中将如何判定其中的1或2个显著特征矢量将用于后期的目标跟踪。

利用式(9),选取2个最大VR值,记为VRmax1,VRmax2,其中VRmax1>VRmax2。VRmax1对应的特征为最显著特征;VRmax2所对应的特征为次显著特征。计算最显著特征与次显著特征之间的差值,记为

于是,最终有效特征的选取将按照如下的准则进行判定:

1)当VRM大于0.5时,则说明最显著特征的作用远远大于次显著特征的作用,故首选1个最显著特征作为跟踪特征矢量;

2)当VRM小于0.5时,则说明最显著特征的作用与次显著特征的作用相当,不可取舍,故以选择两者共同作为跟踪特征矢量为宜。

1.5 跟踪实现算法

均值漂移跟踪技术将利用相似性函数度量初始帧目标模型和当前帧候选目标模型的相似性,通过相似性函数的判断确定目标的均值漂移向量,这个向量即是目标从初始位置向正确位置转移的向量。均值漂移算法的收敛性决定了在均值漂移向量迭代计算过程中,最终目标将最终收敛到目标的真实位置,从而达到目标跟踪的目的。

这里,相似性函数是描述目标模型与候选目标模型之间的相似度。理想情况下,两个模型的概率分布应该是完全一样的。选择Bhattacharyya系数构造相似性函数,其定义为

取值区域为[0,1]。在当前帧中不同的候选区域计算会得到相应的候选目标模型。ˆρ(y)值越大,表示目标模型与候选目标相似程度越大。最后,能使得ˆρ(y)值最大的候选区域就是目标在本帧中的最终位置所在。

进一步地将式(11)进行泰勒级数展开,则Bhattacharyya系数可近似为

其中ωi=∑Ll=1qˆl/ˆpl(y0)⋅δ[b(xi)-l]。式(12)中只有第二项随y0变化,令:

式(13)就是在有权值ωi时的核密度估计。每次均值漂移向量迭代计算可以实现第n-1帧的目标区域中心位置y0n-1向第n帧的目标区域中心位置y0n运动。其中y0n可描述为

当<-ε-||||100nnyy时,迭代结束,该位置就是目标位置;否则,继续迭代,直到找到最终目标位置。

2 实验结果与讨论

选取3段不同场景下的视频图像分别对给定的运动目标进行了跟踪实验,实验仿真在P4 2.4G,512M内存的计算机上以VC++平台得以完成。视频图像大小为320240。表1与表2为3段视频图像目标跟踪计算的特征矢量VR值以及特征分析选择结果。目标跟踪实验结果分别如图1至图3的(b)所示。同时,实验结果还与传统的均值漂移跟踪效果如图1至图3的(a)所示,进行了逐一比较,进一步地验证所提出的跟踪方法的有效性。

图1所示的是足球运动员踢球的视频图像片段,要跟踪的是身着红色上衣的球员。从视频上可以看到,运动员的运动速度较快,且运动场有与球员衣服颜色比较接近的红色,加上不时有其他运动员的重叠,会给红色上衣的球员跟踪带来一定难度。因而,在传统的均值漂移跟踪技术中,由于没有考虑实际运动场与被跟踪球员的颜色的相关性,造成后续的跟踪中心产生了逐一的偏移,如图1(a)中的第25帧和第40帧所示。在本文提出的跟踪方法中,充分利用颜色在各个彩色空间的特征与形状特征即V={R,G,B,H,S,V,r,g,Fθ(x,y)}的VR值如表1所示来确定出最有效的特征矢量{H,S},重新计算出均值漂移量,参与后续的跟踪。从图1(b)所示的第25帧和第40帧跟踪结果可以看出,利用有效特征选择,修正了传统均值漂移跟踪产生的偏移,跟踪目标区域中心与红色上衣球员重心基本重合,达到了准确跟踪的目的。

图2所示的是一段室内固定场景下人手运动的视频图像。在跟踪人手的过程中,由于人手的运动,在第65帧后被计算机显示器所遮挡,在均值漂移计算中,因将候选特征矢量{R,H}一起代入,造成了目标区域中心的漂移过大而跟踪目标跑偏直至第120帧中目标跟踪失败。实际上,通过有效特征分析,所有初选特征矢量V={R,G,B,H,S,V,r,g,Fθ(x,y)}在后期跟踪中,只有最显著的{H}特征在起着重要作用,如表1所示。从图2(b)所示的第35帧、第65帧及第120帧跟踪结果不难得出,用本算法进行人手跟踪的效果要明显地超过传统的跟踪技术。

此外,针对实验中所选择的3段视频图像目标跟踪处理,利用传统的均值漂移跟踪技术平均每秒能处理18帧至19帧,而本文提出的改进算法平均每秒则能处理到24帧至26帧。可见,根据特征对跟踪的贡献即最显著特征和次显著特征的取舍,一定程度上也降低了计算时间,提高了跟踪的实时性能。

为了进一步地说明特征矢量选择对跟踪的影响,选取了一段校园场景下跟踪某行人的实例来着重验证自适应有效特征选择的重要性。在图3所示的视频中将跟踪身着黑色衣服的行人,由于场景较之行人而言较大,光线有明显的明暗变化,同时行人与校园场景的颜色比较接近,给传统的均值漂移跟踪技术带来一定困难,图3(a)第22帧与第55帧所示的跟踪目标区域已经完全将目标跟丢。采用有效特征选择的方法,则可以有效避免这个问题。在跟踪第22帧的行人时,已经从特征矢量V={R,G,B,H,S,V,r,g,Fθ(x,y)}的VR值中如表1所示,分析出当前最有效的特征矢量是{R,V}如表2所示,采用该特征矢量可以准确跟踪行人;而当视频到第55帧时,行人由暗处走向亮处,背景变化较大,通过对帧间场景变化的判断,重新分析各特征值在跟踪中的影响,最终得到了特征矢量{G,H}如表2所示,及时地进行了模板更新,从而能适应在场景的变化准确跟踪到行人。

3 结论

本文提出了一个新的自适应特征选择方法,改进传统的均值漂移跟踪技术。实验结果表明,有效特征分析与显著特征提取有效特征不仅能够提高复杂场景下目标跟踪的可靠性,而且还提高了传统均值漂移跟踪的准确性。同时,当跟踪场景光照发生变化以及跟踪目标被暂时遮挡时,本算法可以通过特征矢量有效性分析,重新确定显著特征矢量,刷新跟踪模板,参与后期的跟踪。当然,算法只着重研究了彩色视频图像下的单目标运动跟踪,对于多目标的跟踪以及复杂目标的运动形状大小发生变化等对跟踪效果的影响将是后期研究工作的一项重要任务。

摘要：针对传统的均值漂移算法,加入了自适应特征选择,提高了均值漂移算法在复杂场景中目标跟踪的鲁棒性。传统的均值漂移算法往往选择固定的一个或两个特征(比如颜色)对目标进行跟踪,当跟踪场景发生变化,容易跟踪失败。本文通过分析被跟踪目标特征与变化背景的区分度来确定最显著特征与次显著特征,从而选择出最有效的目标特征,实现复杂变化场景下的目标跟踪。一系列不同场景下的运动目标跟踪实验,证实了该算法的可靠性。

特征量跟踪算法 第7篇

1 Mean Shift目标跟踪算法

Mean Shift目标跟踪算法首先需要确定目标区域,然后初始化目标模型,计算核函数加权的颜色直方图概率分布,以及每一帧中计算候选区域目标模型的直方图分布;计算目标模型和候选模型的Bhattacharyya相似性系数,求得最大相似度的Mean Shift向量,并不断迭代,最终收敛到目标的真实位置。

1.1 目标模型

假设目标区域的中心为x0,xi表示第i个像素点,n为目标区域的像素数,目标模型的概率分布为

undefined

式中:C是常数,使undefined,即undefined,k( )为核函数的轮廓函数。在本文中,核函数为Epanechnikov核函数(见式(2)),h表示核函数的带宽,决定了候选目标的尺度,σ( )是Kronecker delta函数,是特征值μ=1,2,,m。k(x)函数为

undefined

1.2 候选目标模型

候选目标区域以y为中心,核函数的轮廓函数和目标模型相同,候选目标的概率分布为

undefined

式中:xi表示第i个像素的位置,Ch为归一化系数,undefined。

1.3 Bhattacharyya系数

目标模型和候选目标模型对应的颜色直方图的相似性用Bhattacharyya系数来衡量。Comaniciu[2]论述了Bhattacharyya系数优于其他的相似性函数,其定义为

undefined

式中:ρ(pu(y),qu)的值越大,表示越匹配,使其最大的候选目标区域即是当前帧中目标的所在位置。对其泰勒级数展开求导为零,推导出Mean Shift向量为

undefined

式中:y0是前一帧中的中心位置,不断迭代,计算出最终位置为

undefined

2 改进的Mean Shift目标跟踪算法

2.1 背景和运动区域的颜色特征

结合式(1)和式(3),分别可以得到边缘特征的目标模型分布和候选目标模型分布

undefined

undefined

式中:undefined,undefined。颜色特征的相似性系数为

undefined

2.2 边缘特征

首先对图像进行色彩空间变换,转为灰度图像,然后用Canny算子进行边缘检测。当目标区域和背景的颜色很接近时,颜色特征就达不到理想的效果,边缘特征却很适用,公式为

undefined

式中:Gh(x,y),Gv(x,y)分别是水平和垂直梯度分量,为了降低噪声对边缘检测的影响,引入阈值T,得到

undefined

结合式(1)和式(3),分别可以得到边缘特征的目标模型分布和候选目标模型分布为

undefined

undefined

式中:undefined,undefined。 边缘特征的相似性系数为

undefined

2.3 特征融合相似度

不同情景下颜色特征和边缘特征对跟踪效果的影响是不同的,需要综合考虑二者的偏移值y1c和y1e,进而得到下面的公式

y1=γcy1c+γey1e (15)

式中:undefined,undefined,γc+γe=1。y1c和y1e分别是单独用颜色特征和边缘特征计算出来的目标位置,γc和γe分别是相应的权重,所以当场景不同时,影响较大的特征其计算出来的位置也具有较大的权重系数。

2.4 目标模型更新

运动目标的旋转、背景变化和光照变化等,候选目标模型的颜色特征和目标模型的颜色特征相似度会越来越小,并导致跟踪失败,对目标模型进行更新可以有效避免这种情形。本文尝试在对核函数带宽进行自适应更新的同时,对目标模型进行更新,不过没取得明显效果。本文采用的更新方法是当Bhattacharyya系数大于0.95时,对颜色特征和边缘特征进行下面的更新

undefined

式中:t表示第t帧,α代表更新速度,本文中取值0.1。

2.5 跟踪窗口更新[2]

hprev是前一帧的核函数带宽,以hopt=hprev,hopt=hprev+Δh和hopt=hprev-Δh,Δh=0.1hprev,计算这3个窗口下的候选目标模型和目标模型之间的Bhattacharyya系数,取最大系数的hopt,通过下面的公式来更新带宽

hnew = βhopt + (1-β)hprev (17)

式中:更新速度β取值0.1。

3 实验结果

利用Visual Studio 2008在Windows XP,Intel Pentium Dual 1.8 GHz,1.5 Gbyte内存机器上用C语言对经典Mean Shift算法和上述算法进行实验,采用CAVIAR序列[7]中的视频序列,在第510帧时选取目标,选取3434大小的窗口,取出4帧图像,分别是第512,718,824和918帧。经典Mean Shift算法的结果见图1,融合边缘特征的改进算法的结果见图2,融合边缘特征的核函数带宽自适应算法的结果见图3,融合边缘特征的目标模型自适应更新、核函数带宽自适应算法的结果见图4。对比图1和图2,经典Mean Shift算法逐渐偏离目标的真实位置,改进算法跟踪得非常准确,在第912帧时,目标颜色特征和背景颜色特征非常接近,经典Mean Shift算法已经跟踪失败,而融合颜色、边缘特征的改进算法依然准确跟踪目标,具有非常好的稳健性。通过对比图3和图2可以看到,核函数自适应算法由于少了背景信息的干扰,能更精确地跟踪目标。

图5～图7的横轴表示帧数,纵轴表示Bhattacharyya系数,从图5可以发现,在目标背景边缘特征不明显的情景下,边缘特征的Bhattacharyya系数远大于颜色特征的系数。一方面由于边缘特征的存在,另一方面,由于核函数自适应消除了多余的背景,所以从图6可以看到改进算法的Bhattacharyya系数明显高于经典算法。通过图4和图7不难发现,在本文算法的基础上,对目标模型进行更新,其Bhattacharyya系数比本文算法更趋平稳,但跟踪效果在很多地方却没有本文算法更新得准确。

4 结论及展望

基于颜色特征的Mean Shift算法容易在目标颜色特征和背景颜色特征相似的情形下失效,本文在前人提出的融合边缘特征的基础上进一步进行了核函数带宽自适应的研究,取得了不错的效果,使得跟踪效果更精确。对目标模型进行更新的效果不是特别好,将在今后进一步探索在保证跟踪效果的前提下如何对目标模型进行有效更新。

摘要：传统Mean Shift跟踪算法在目标颜色特征和背景颜色特征相近、尺度变化等情景下效果不理想。提出了一种特征融合且核函数带宽自适应的改进跟踪算法,针对颜色直方图容易受背景区域影响,融合了边缘直方图,并对核函数带宽进行自适应更新。另外,对目标模型的更新进行了相关探索并给出比较结果。结果表明,该算法可以对目标实现更稳定的跟踪,对目标颜色和背景颜色相近、尺度变化等场景具有很好的适应性。

关键词：目标跟踪,Mean Shift,颜色直方图,边缘直方图,核函数带宽

参考文献

[1] CHENG Y. Mean Shift, mode seeking and clustering[J]. IEEE Trans. Pattern Analysis and Machine Intelligence,1995,17(8):790-799.

[2] COMANICIU D,RAMESH V,MEER P. Kernel-based object tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564- 577.

[3] BABAEIAN A,RASTEGAR S,BANDARABADI M,et al. Mean Shift-based object tracking with multiple features[C]//Proc. 41st Southeastern Symposium on System Theory,2009. Tullahoma,TN:[s.n.],2009:68-72.

[4] ZHANG Xiang,DAI Yuanming,CHEN Zhangwei,et al. An improved Mean Shift tracking algorithm based on color and texture feature[C]//Proc. 2010 International Conference on Wavelet Analysis and Pattern Recognition (ICWAPR).Qingdao,China:[s.n.],2010:38-43.

[5] COLLINS R T. Mean-Shift blob tracking through scale space[C]//Proc. 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Press,2003:18-20.

[6]YILMAZ A.Object tracking by asymmetric kernel Mean Shift with auto-matic scale and orientation selection[C]//Proc.IEEE Conference onComputer Vision and Pattern Recognition,2007.[S.l.]:IEEE Press,2007:1-6.