光流技术范文

光流技术范文（精选8篇）

光流技术 第1篇

人们对周围环境信息的获取和接受大多是通过视觉感受的, 尤其是动态信息更容易引起人们的注意。科技的进步以及多媒体技术的发展使得人们接触的信息越来越多, 如何从大量的信息中进行提取、分类和跟踪已经成为运动目标检测和目标跟踪技术的研究热点[1]。目前该该项技术已经取得了很多成果, 而且不断有新的算法在提出, 作为智能交通系统中的一项关键技术, 对于保证智能车辆安全行驶也是至关重要的。卞建勇[2]、崔心[3]等采用基于帧间差分的方法实现了运动障碍物的检测, 但该方法要求对大数据量的整理无法满足整个监控场内的实时要求。吴思、林守勋[4]等实现了对动态背景下目标物的检测与跟踪, 但其提出的方法对车辆识别率较高, 无法满足城市交通的检测[5,6,7]要求。

本文建立了基于光流技术的障碍物检测系统, 通过比较实际图像与自运动估计之间的光流场来识别障碍物, 在检测的过程中设置一定的预估计检测区域, 整个过程只对区域内的数据进行处理, 一定程度上降低了系统处理的数据量, 同时利用颜色不变定律消除背景的影响, 只检测出障碍物。

1 摄像机标定

计算机视觉是利用计算机实现对生物视觉的模拟, 即利用计算机来实现客观的三维世界与平面图像之间的联系。实验操作中处理的图像序列都是通过摄像机捕获的视频序列里提取出来的。想要将图像中的信息反馈给系统识别, 就必须建立二维图像信息与三维空间目标物几何信息之间的联系, 故此研究摄像机成像几何模型是非常必要的。通过摄像机成像模型的研究建立真实世界中的目标物与获取的图像空间中的目标物之间的坐标关系。

1.1 坐标系描述

本文选用的模型为小孔成像模型, 如图1.1小孔模型所示, 采用右手准则定义的坐标系, 表示了三个不同层次的坐标系系统:摄像机坐标系Oc;Xc, Yc, Zc、图像物理坐标系O1;x, y和图像坐标系O0;u, v。其中摄像机坐标系是一个以小孔模型的中心Oc为原点, 以光轴Zc为Z轴的三维直角坐标系, 它的Xc轴和Yc轴分别与以O1为原点的图像物理坐标系的X轴和Y轴, 以及以O0为原点的图像坐标系的u、v两轴相平行, 从图中可以看到图像物理坐标系和图像坐标系均为二维直角坐标系。

1.2 摄像机成像模型

摄像机的成像过程是一个从三维空间到二维空间退化的投影变换过程。如图1.1所示的小孔摄像机模型中, 将三维空间中的一点P投影到图像平面上, 再存储到计算机中并建立两两不同坐标系之间的变换关系, 以实现从三维空间到二维空间的转换。

(1) 摄像机坐标系到图像物理坐标系

如图1.1所示, 摄像机坐标系中的物点P (Xc, Yc, Zc) 与其在图像物理坐标系中的投影点px, y的关系可以表示为:

利用齐次坐标系可表示:

f为摄像机的内部参数, 是固有属性。

(2) 图像物理坐标系到图像坐标系

如图1.1所示, 图像物理坐标系O1在图像坐标系O0下的投影坐标为u0, v0, 代表图片上的每个像素在图像物理坐标系上的x轴y轴的物理尺寸分别为dx, dy, 两个坐标系的变换关系为:

利用齐次坐标系可表示:

2 基于光流技术的障碍物检测

光流的概念由Gibson于1950年首先提出, 是目前图像分析的重要方法。光流在计算机视觉、对象分割、三维运动分析、对象识别与跟踪中有很重要的作用。光流不仅包含了被观察物体的运动信息, 而且携带着有关其自身三维结构的相关信息。故此, 在很多实际应用中, 光流都有非常重要的角色。

2.1 光流的计算

光流的计算就是在视觉运动分析中计算三维物体的运动参数和结构参数, 光流的计算有很多种方法, 最常用的是基于时空梯度的方法, 它根据图像灰度对时空和空间的导数来得到, 故此假设图像区域在时间和空间上是连续的, 或是可导的, 该关系式被称为基本等式有时也被成为光流约束方程, 它构成了光流计算的一个重要的约束。

用Taylor公式展开为:

下面则主要介绍比较经典的基于梯度的光流检测方法, Lucas-Kanade光流法。

2.2 Lucas-Kanade光流法

Lucas-Kanade算法 (LK) 是用于求稀疏光流 (sparse optical flow) 的, 最初于1981年提出[8,9]。由于算法易于应用在输入图像中的一组点上, 其后来成为求稀疏光流的一种重要方法。LK算法只需要每个感兴趣周围小窗口的局部信息, 所以它可以应用于稀疏内容, 这与Horn-Schunck的算法全局性是不同的。

LK算法基于以下三个假设:

(1) 亮度基本保持变。视频序列中目标物的像素在帧间运动时其外观基本保持不变, 对于获取的灰度图像 (LK算法也可以用于彩色图像) , 假设其像素被逐帧跟踪时亮度基本不发生任何变化。

(2) 帧间时间间隔非常微小即可认为时间上是连续的。

(3) 空间一致。一个场景中同一表面上邻近的点具有相似的运动, 在图像平面上的投影也在邻近区域。

设图像上的点x, y在时刻t的辐照度为Ix, y, t, 经过时间间隔t后对应点为I (xt, yt, tt) , 当t0时可认为辐照度不变, 于是有:

我们假设移动足够的小, 则对于 (8) 使用泰勒公式, 可以得到:

其中H.O.T=higher order terms指更高阶, 在移动足够小的情况下可以忽略, 结合式 (8) 和式 (9) , 可以得到下式:

2.3 算法流程图

基于光流的方法能够很好的描述物体的运动特征, 该方法的改进也能很好的用于实时的视频处理中, 但是该方法的困难在于物体特征点的寻找和匹配[10]。特别是当运动目标很多的时候往往需要先依据别的方法来区分不同的障碍物, 而且到目前为止还没有一种比较通用的快速匹配算法, 从而限制了光流法在实时障碍物检测中的应用, L-K算法的流程图如图2.2所示。

3 基于Lucas-Kanade光流技术的障碍物检测结果

本实验是在HP 251-110cn台式机上进行的, 在Windows XP操作系统的平台上, 采用Intel公司开发的开源项目Open CV, 在Microsoft Visual C++集成开发环境下完成的。数据由车载相机捕获的视频序列组成, 图像帧是在不同光照、不同姿态下拍摄的, 实验前要将捕获的图像帧利用cv Cvt Color () 函数转化为如图3.1所示的灰度图, 在对其调用函数cv Calc Optical Flow Pyr LK () 得到光流检测结果。如图3.2和图3.3分别为LK光流检测结果图和光流矢量图。

4 性能评估

文章主要针对光照变化以及旋转变化小到可以忽略不计的情况下进行的研究。通过对结果的比较, 对图像处理中的一些基本的操作耗时情况有了一定了解, 其中主要影响检测结果的是不同帧间时差的选取。其中方式1和方式2是选取转换后的灰度图中分别选取时间间隔为2 s和5 s的图像帧, 而方式3和方式4是选取并未经过处理的原始图像帧而时间间隔分别与方式1与方式2相同。表1则是在以上四中情况下的对比实验, 其中算法处理结果的正确识别率及各步的耗时如表1所示。

5 总结与展望

本文通过对图像处理技术的分析讨论了Lucaskanade光流法, 并利用该算法实现了障碍物的检测, 对于增强行车系统的安全性和可靠性有着非常大的帮助。该系统的实现可使用户能较好的掌握行车过程中的路况信息及时对外界环境信息做出反应, 大大提高了行车的安全性, 避免了事故的发生。此外该算法还可用于视频的检测[11], 而且系统设计也比较简单, 只是由于图片检测的时间很难达到实时的要求, 故在今后的设计中要增加考虑利用其视频的运动特性来增加检测效果的是实时性。

摘要：障碍物的检测有着重要的应用, 然而一般的检测方法容易受到环境因素的影响使得检测的效果不是特别理想, 因此研究改进障碍物检测的方法有着重要的意义。本文从计算机视觉的角度上, 对障碍物检测技术进行了分析研究, 提出了利用光流技术进行障碍物的检测, 该方法利用时间序列图像中的灰度信息获取运动参数, 实现了障碍物的检测, 操作简单实用性较强。

关键词：计算机视觉,障碍物检测,光流技术,运动参数

参考文献

[1]刘明玺, 孟放.运动目标检测与跟踪算法的研究进展[J].软件, 2010, 31 (12) :85-88.LIU M X, MENG F.Research Progress on Detection and Tracking for Moving Objects[J].Software, 2010, 31 (12) :85-88. (in Chinese)

[3]崔心, 闫清东.基于帧间差分方法的道路车辆检测系统[J].微计算机信息, 2007, 23 (4-1) :117-119.CUI X, YAN Q D.A Highway Vehicles Detection System Based on Frames Difference[J].Microcomputer Information, 2007, 23 (4-1) :117-119. (in Chinese)

[4]吴思、林守勋、张勇东.基于动态背景构造的视频运动对象分割[J].计算机学报, 2005, 28 (8) :1386-1392.WU S, LIN S X, ZHANG Y D.Video Moving Object Segmentation Based On Dynamic Background Construction[J].Chinese Journal of Computers.2005, 28 (8) :1386-1392. (in Chinese)

[5]张航, 张唯.一种基于视频分析的城市交通流检测技术研究[J].新型工业化, 2011, 1 (5) :23-29.ZHANG H, ZHANG W.A Video Traffic Detection System Based on Video Analysis Technique[J].The Journal of New Industrialization.2011, 1 (5) :23-29. (in Chinese)

[6]闵可静, 陈勇.图像灰度匹配在多核环境下的优化[J].软件, 2012, 33 (6) :113-115.MIN K J, CHEN Y.Optimization Of Image Gray Level Matching In Multi-core Environment[J].Software, 2012, 33 (6) :113-115. (in Chinese)

[7]陈国强.基于GPU的图像处理算法研究[J].软件, 2014, 35 (2) :135-136.CHENG G Q.Research Of Image Processing Algorithm Based On GPU[J].Software, 2014, 35 (2) :135-136. (in Chinese)

[8]B.D.Lucas, T.Kanade.An interative image registration technique with an application to stereo vision.Proceeding of the 1981DARPA Imaging Understanding Workshop, 1981:121-130.

[9]余学敏, 王大鹏, 沈建冰.基于全局和局部平滑的高精度光流估计方法[J].新型工业化, 2012, 2 (11) :57-64.YU X M, WANG D P, SHEN J B.High Accurate Optical Flow Estimation Based On Global and Local Smoothness[J].The Journal of New Industrialization.2011, 1 (5) :23-29. (in Chinese)

[10]吴进, 宋骁, 张金焕.雾天退化图像的增强技术研究[J].新型工业化, 2014, 4 (2) :39-44.WU J, SONG X, ZHANG J H.Research on Degraded Image Enhancement in Foggy Days[J].The Journal of New Industrialization, 2014, 4 (2) :39-44. (in Chinese)

高中生时光流逝叙事作文 第2篇

山何时崩摧，海何时干涸;日月何时不再升起。岁月如梭，我们的时光不知逝去了多少。而逝去的那段时光中，你有欢乐也有忧愁，你更有悲伤，更有感动。

还记得那个下大雨的一天，我湿淋淋的走在雨中，背着个小书包多么地无助。身边个个家长都接走了他们的孩子，而我却在那路边慢慢徘徊着，忍受着雨水的冲刷，而这落汤鸡，早已狼狈不堪。走着走着，忽见前方有一身影，这身影是那么的瘦小，正在雨中穿梭。不一会儿便到了我的跟前，这便是爷爷。爷爷给我披上雨披，又为我撑起伞，手牵着我，顿时感觉整个身体都暖了，没有了雨水的冰凉感。那个温暖的大手牵着我的小手，在雨中快步的行走。脚步的节奏如军营进行曲，激扬振奋人心。那雨滴声也嗒嗒的，有节奏感。

当回到了家，我换了套衣服。当我出来看着爷爷湿透了全身，他那老寒腿也不止地在痛。突然我感觉到了一股透心凉，可是爷爷在为我做了这么大的举动后，我竟只站在哪默默注视着他。爷爷拿了热毛巾，先给我擦了头擦擦脸。先把我伺候好，自己才过去收拾自己。看着爷爷冒这么大的雨来接我，我却未曾为他打一盆热水，我顿时瘫坐在那床上，一动不动的在那回想着刚才的画面。

时光流逝，转眼间爷爷越来越老了，他的`病也越来越多了，身体也越来越不行了。看着疼我，爱我的爷爷，我回想起自己无数次令他生气，从来没有为他端过一次洗脚热水。我是多么的后悔，我躲在卧室默默的哭。爷爷，我一定会好好照顾你，虽不像你那么贴切的照顾我。但我会用对爷爷的爱，却让爷爷度过最好的一段时光。你为我付出了十多年，我却不曾为你牺牲每分每秒。

光流技术 第3篇

随着各城市轨道交通系统的快速发展, 线网规模逐步扩大, 客运量逐年提高, 车站人群高度聚集, 特别是高峰期间人群拥挤严重, 运输压力越来越大, 给轨道交通的安全运营带来极大挑战。近年来, 国内外轨道交通系统事故频发, 旅客滞留、车站关闭等现象时有发生, 既延误了乘客出行时间, 降低运营服务水平, 极大影响线路运营, 又对轨道交通的安全运行构成威胁。在这种情况下, 对站内的实时监控成为运营管理的必要手段。

目前, 轨道交通系统均设有视频监控系统 (CCTV) , 能够监视站厅公共区、站台候车区、站内扶梯、闸机等重要区域。但随着车站建筑规模的不断扩大, 监视区域需求增加, CCTV建设规模也越来越大, 站内图像达到几十路甚至上百路, 给车站值班员带来繁重的监控工作量, 很难及时发现前端异常状况, 大大降低视频监控系统的时效性和可用性。

为了能实时分析、跟踪、判别监控对象, 使系统在关键事件发生时能智能提示并有效上报, 为轨道交通运营管理部门及时决策、正确行动提供支持, 在地铁客流监测领域采用视频分析技术是十分迫切和重要的, 从而提高运营人员效率, 提升运营服务水平, 最大程度发挥CCTV的实时性和智能性。

2 视频分析技术应用现状

结合各城市轨道交通运营现状、车站客流及物理环境等实际情况, 目前比较迫切需要实现的视频分析技术应用包含以下6种:客流监测、客流统计、人员逆向检测、遗留物品/非法滞留检测、扶梯运行监测、翻越扶梯监测。

2.1 客流监测

客流监测是指通过计算背景画面中的客流密度, 结合相应的交通参数 (如速度、时间等) , 自动判断指定区域内的拥挤状况, 并及时触发报警。

城市轨道交通车站是客流集散的重要场所, 高密度聚集的客流易产生站点的安全隐患。运营人员需要时刻关注重要区域的客流通行、疏散情况, 必要时采取相应措施。

运用客流监测技术, 运营人员可实时掌握客流集散区人流密度。当密度超限时, 能够及时触发相应区域监控画面, 运营部门可根据实际情况立即采取应急措施, 疏散客流, 保障城市轨道交通站点客流高效安全集散, 降低事故的发生率和严重性, 提高站点营运效率。

2.2 客流统计

客流统计是指统计穿越指定区域的目标 (人) 数量, 为各职能部门提供直观的实时客流状态, 为换乘车站 (站区) 及时采取与客流状态对应的客流疏导措施提供判定标准。

2.3 人员逆向检测

人员逆向检测是指当系统检测到目标在单向通行区域反方向行走时自动产生报警。该应用适用于车站单向通道、单向换乘区域的报警检测。

由于在单向通行区域人员流动相对有序, 突然有目标逆向行走, 容易引起摩擦或碰撞, 特别是在客流高峰情况下有多个目标逆向通行时, 影响其他乘客正常出行, 因此需要车站值班员重点监控, 有报警发生时, 通知相关运营人员及时出面制止, 保证正常的出行秩序。

2.4 滞留检测

滞留检测是指当一个物体在敏感区域停留时间过长或超过预定时间, 系统就会产生报警。在人流频繁的地区, 经常会出现乘客遗忘包裹行李, 或恶意丢弃包裹、摆摊、乞讨等行为。对遗忘的行李和包裹及时发现, 能够给乘客带来尽可能小的损失, 也能及时发现非法滞留或恶意丢弃行为并给予阻止。

2.5 扶梯运行监测

扶梯运行监测是指当自动扶梯出现运行故障时 (如急停、逆行) 系统能够自动报警。扶梯是轨道交通车站客流相对集中的区域之一, 在换乘车站或交通枢纽站点, 这一现象更为突出 (如西直门站、北京站) , 上下车客流较多, 自动扶梯经常处于满载状态, 一旦扶梯故障, 就会引发拥挤、踩踏事故, 影响乘客出行安全。因此, 及时发现设备运行异常状况, 能够协助工作人员采取有效疏散措施, 尽可能避免恶性事件发生。

2.6 翻越扶梯监测

翻越扶梯监测指当系统监测到有目标跨越扶梯时自动触发报警信息。提醒工作人员及时出面制止, 以免发生危险。

3 视频分析技术研究现状

目前, 国内外对视频分析技术的相关研究较多, 主要的技术方法包括:根据图像灰度变化进行监测的帧间差分法和背景差分法、根据图像纹理变化的局部特征法、根据人体肤色进行监测的方法及监测物体运动的光流法等。

3.1 帧间差分法

帧间差分法是在对图像序列间隔较短的图像进行差分运算。由于间隔时间短, 可以认为光照变化的影响较小, 因此, 帧间差分法对光照变化有着较强的鲁棒性, 并具有简单、运算量小的特点, 易于工程实现。

3.2 背景差分法

背景差分法是指用当前的图像帧减去背景图像, 获取的差分图像直接就是前景图像。与帧间差分法相比, 背景差分法可以精确提取前景物的轮廓, 对于背景不变的环境尤为适用。

虽然背景差分法中场景固定不变, 但其光照条件一般都随时间变化而变化, 很难有固定不变的背景图像。因此, 背景差分法最关键的步骤是重建合适的背景图像。背景差分法广泛应用于道路车辆监测中。

3.3 局部特征法

局部特征法通过纹理特征和几何形状监测人体各个部位, 从而监测出行人。有以下几种特征分类: (1) SIFT特征; (2) HOG特征; (3) LBP特征; (4) HARR特征。

3.4 肤色监测法

肤色监测法是在图像中选取对应于人体皮肤像素的过程, 现已应用于人脸识别与监测、表情识别、手势识别及人体监测等方面。肤色监测法分成2种基本类型:基于统计的方法和基于物理的方法。

利用肤色特征进行行人监测的方法具有计算量小、速度快、易于实时处理的优点, 但其在复杂背景和复杂照明条件下的应用还有待研究, 且此方法不适于有诸多不同肤色的地区。

3.5 光流法

生物学家Gibson在1950年提出图像的变化是由带有灰度的像素点的运动引起的, 以此提出了光流的概念。光流可以看成是物体对应的像素在图像平面运动时的瞬时速度场。

基于光流法的视频分析, 根据一定的约束条件估算出图像中的像素点速度, 由于图像上的点与物体表面的点一一对应, 因此可以较为准确地表征运动物体的实际运动。

光流包含物体运动的众多信息 (如根据对光流场的像素进行聚集获取运动物体的轮廓信息;在提取物体运动的同时, 观察物体内部的相对运动和局部形变等) , 根据运动信息的变化情况观察异常运动。

3.6 方法比较

(1) 帧间差分法的优点是光照鲁棒性较好, 能够适应各种动态环境, 缺点是提取的图像通常有空洞和边缘缺省, 无法提取出目标的完整区域。另外, 当运动目标速度缓慢时, 则可能监测不到;而运动目标速度过快时, 将把部分背景也监测为运动目标。

(2) 背景差分法对于动态场景的变化 (如光照和外来干扰等) 特别敏感, 且分割精度易受噪声影响。

(3) 局部特征法从样本中学习到行人很多固有特性, 能解决人体形状和外貌各式各样的难点及人体的不同运动方式。但实际视频分析监测过程中, 对于解决客流分析不具优势。

(4) 由于肤色过滤迅速, 且不受拍摄、人体姿势的影响, 肤色监测法已成为客流监测方法的基本监测方法之一, 但由于自然界中有大量物质与人体肤色相近, 且人类肤色本身存在很大差异, 该方法会产生一些误检。

(5) 光流法是机器视觉中运动图像分析的重要方法, 可以比较精确地反应对象的平移运动。在地铁客流监测应用中, 通过对图像帧的光流进行计算, 可获知乘客客流的运动信息, 继而根据运动信息实现对客流情况进行运动分割和跟踪、异常监测告警等。但光流法计算量较大, 应用于实时监测系统中有一定的软硬件配置要求;由于对于特定应用场景 (如地铁客流) 监测效果较好, 因此应用比较广泛。

4 光流法在地铁客流监测中的应用研究

4.1 光流法简介

光流的计算是利用图像序列中像素强度数据的时域变化和相关性确定各自像素位置的“运动”, 即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。

考虑象素点m在位置 (x, y) 处t时刻的灰度值I (x, y, t) , 令点m的速度为vm= (vx, vy) , 若设点m的灰度保持不变, 那么, 在很短时间间隔dt内, 有:

如果灰度随x、y、t光滑变化, 将上式左侧泰勒展开为:

σ代表阶数大于或等于2的项, 消去I (x, y, t) 并忽略σ, 同时设:

则式 (2) 可改写成:

式 (3) 就是光流约束方程 (Optical Flow Constraint Equation) 。由于只有一个约束方程却需求解2个未知数:光流的x分量u和光流的y分量v, 因此无法通过一个方程确定光流, 这种问题称为孔径问题。由于孔径问题的存在, 还需通过假设确立另外一个方程才能求解光流。

计算出的光流场与实际运动场有着密切的映射关系, 但光流场并不总是完全对应。

(1) 遮挡问题。

当物体运动且在摄像头平面的投影存在遮挡时, 由于图像没有物体信息, 无法在计算的光流信息中反映实际物体运行的状态。

(2) 均匀球体的圆周运动。

在光源固定的情况下, 具有均匀反射特性的圆球在相机前旋转, 虽然球面各处有亮度变化, 但这个变化不会随着球的转动而转动, 图像的灰度不会发生变化。因此, 其运动场不为0, 但其光流为0。

(3) 光照的变化。

当外部光照条件发生变化时, 即使物体不动, 也能根据前两帧的图像观察到光流的存在。

尽管有上述问题的存在, 光流法依然是最精确反应物体运动状态的方法之一, 并广泛应用于各种运动客流估算的场合。

4.2 光流计算方法

光流的计算要求解光流, 需要在光流约束方程的基础上引入新的假设, 常见方法有:Horn-Schunck方法、Lucas-Kanade (L-K) 方法等。

Horn-Schunck方法的基本假设是光流的变化是平滑连续的, 但实际上在运动物体的边界处这一假设并不成立。因此, Horn-Schunck方法求解的光流场的精度往往不够理想。

Lucas和Kanade提出了L-K光流计算算法, 其假设如下:在一个小的空间邻域Ω上运动矢量保持恒定, 即在该区域内所有的像素具有相同的光流速度;光照恒定, 在相邻帧比较期间, 物体表面像素的灰度值在监测期间保持恒定不变。

根据上述假设, 在空间邻域Ω中可建立如下方程:

可获得一个超定方程组:

或表示为:

L-K方法也是一种密集光流计算, 一般认为L-K方法在计算光流的正确性及运算方面均高于Horn-Schunck方法。

4.3 实验结果

OpenCV开发工具 (开放源代码的计算机视觉类库OpenCV (Intel Open Source Computer Vision Library) 由英特尔公司位于俄罗斯的研究实验室开发, 是一套由一些C函数和C++类开发所组成的库, 用来实现一些常用的图像处理及计算机视觉算法) 。在OpenCV中, 提供L-K光流计算函数, 可以简单地调用库函数即可实现对光流的计算。

图1为光流法计算和显示的效果图。 (a) 、 (b) 是视频流中的连续两帧图像, (c) 是L-K方法求出光流场后作出的光流场图。

4.4 光流法在客流监测中的应用

城市轨道交通由于其运量大、速度快、准时准点, 已逐渐发展成为城市的主导公共交通方式。但正是由于城市轨道交通对客流的巨大吸引力, 往往导致站点在高峰期客流压力过大, 对地铁的运营安全、运营效率和服务水平造成重要影响。因此, 需要对客流状态进行监测, 其中站厅走廊通行服务水平的监测是其中的一项重要内容。

4.4.1 客流状态监测

城市轨道交通领域的客流监测研究人员邵巍跃提出了行人通道通行服务水平分级方法 (见图2) 。

通过计算前后帧图像间的光流, 可十分方便地获取当前运动个体的密度和速度, 进而对通行的服务水平进行评级。

4.4.2 异常运动监测

选取南京地铁某站的楼梯作为监测场景, 图3 (a) 为该楼梯的场景图。为了防止阴影引起的光流对监测造成干扰, 通过掩码对原图的无关部分进行掩码屏蔽。

图4为视频流经掩码后计算的光流图, (a) 、 (c) 、 (e) 为不同客流条件下的场景图; (b) 、 (d) 、 (f) 为在该时刻计算的光流场。

从图4可以看出, 客流密度与光流场占有效背景的面积的比值是一致的, 因此基本可以根据光流场的密度推断客流密度。当大于0的光流场密度占整个扶梯或楼梯有效面积80%以上时, 认为有大客流发生。

需要注意的是, 当客流特别大发生拥堵时, 行人行进困难, 此时楼梯上光流场的面积有时也较小, 和客流较小时一样。为有效区分这2种情况, 将异常客流和较小客流的光流场做对比分析, 发现有如下特征:客流异常时光流面积忽大忽小, 光流位置的变换与光流的方向不一致;客流较小时, 光流面积随着位置的变换逐渐变换, 光流位置的变换与光流的方向一致。根据上述特征, 可对异常客流进行监测, 并及时报警提醒工作人员注意。

5 结论

光流包含物体运动的众多信息, 如根据对光流场的像素进行聚集, 获取运动物体的轮廓信息;在提取物体运动的同时, 观察物体内部的相对运动和局部形变等;根据运动信息的变化情况观察异常运动。通过对比分析可知, 光流法在地铁客流监测领域的应用中, 对客流状态的监测和判断有其独到的优势。

此外, 光流法虽能在不知场景任何信息的条件下监测独立运动的行人, 但是大多数的光流计算方法需要多次迭代运算, 计算复杂、耗时, 难以满足实时监测的要求。如何进一步提高其运算速度、实时性及其抗噪性是目前的研究热点, 也是需要后续跟进的重点。

参考文献

[1]Park S C, Park MK, Kang M G.Super-resolution image reconstruction:A technical overview[J].IEEE Signal Processing Magazine, 2003, 20 (3) :21-36

[2]徐庆贺.监控视频流分析的关键技术研究及应用[D].上海:上海交通大学, 2008

[3]Lipton A J, Fujiyoshi H, Patil R S.Moving target classification and tracking from real-time video[C].Proceedings of Applications of Computer Vision, 1998

[4]Lucas B D, Kanade T.An iterative image registration technique with an application to stereo vision[C].Proc.DARPA IU Workshop, 1981

[5]Lucas B D.Generalized Image Matching by the Method of Differences[D].PhD Dissertation:Carnegie-Mellon University, 1984

[6]Lucas B D, Kanade T.An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences[C].DARPA Image Understanding Workshop, 1981

[7]Intel Corporation.Open Source Computer Vision Library Reference Manual[S], 2001

光流技术 第4篇

1 光流计算理论

光流是Gibson在1950年首次提出的。所谓光流指的是图像中模式运动的速度。光流场是二维的瞬时速度场[1], 其二维的速度场其实是景物中可见点三维速度矢量在成像表面的投影。光流不仅仅包含移动物体在二维平面的运动信息, 也携带着图像景物三维结构的信息。如何能从变化的场景且不同时刻的一系列图像中提取有关运动视觉图像的位置、形状以及运动信息是运动视觉研究的主要内容。从研究方法上分为两类基于特征的方法和基于光流场的方法。基于特征的方法主要通过抽取特征点实现, 是离散的;基于光流场是运动数据研究的范畴, 通常假设相邻图像间隔很小, 直接对图像进行处理, 是连续的。本文主要研究利用光流场求解场景中运动物体的检测并跟踪。

所谓光流就是指序列图像中灰度模式的运动速度。我们用眼睛观察外界的运动的物体时, 不同运动物体的灰度模式影像会在人眼视网膜上形成序列不断变化的图像, 这些序列变化图像信息不断“流过”视网膜, 好似一种光的“流”, 因此称为光流, 按照一定空间位置排列的所有光流的组合即为“光流场”, 它表达了图像中目标物体运动的信息[2]。

连续序列图像每个像素点都具有一个运动矢量, 我们称之为图像像素的运动场, 因此, 在某个静止的时刻t, 可以将图像中某个像素点Pi与目标物体某个点P0等同[3]。

如图1所示, f为摄像机镜头的焦距, z为摄像机的镜头中心到运动目标的实际物理距离, 假设摄像机固定静止不动, 移动目标物体上某点0P相对运动速度为V0, 因此目标物体上的所有点的运动速度可以写成通式表示为: , R0与Ri的关系为:

光流场与运动场只有在理想的情况下才可以近似[2], 但是在特殊的情况下不成立。例如有一个固定的光源照射不断自转的球体, 我们用摄像机对着自转的球体拍摄, 由于球体不断旋转, 其速度场不为零, 而由于自转球体表面灰度模式不变, 光流场为零。假如让球体静止不动, 让光源移动, 这时小球速度场为零, 但灰度模式随着光源的移动不断变化, 光流场不为零。这暴露了将光流场近似运动场所存在的隐患。

2 基于光流计算的目标跟踪

本文首先读取视频帧, 对连续的视频帧进行光流计算, 然后对获取的光流点进行形态学处理 (膨胀) , 在此基础上计算光流点集的重心, 再计算各个点到重心的距离, 根据膨胀后区域的轮廓画出其外接矩形框, 因为少数光流信息的不稳定, 使其区域偏离太大, 因此最后再对矩形框进行优化以满足大部分运动物体区域的精确标定以实现准确的跟踪[4]。其中算法主要流程如图2所示。

图3和图4是对原图像运动区域进行寻找到最大特征值角点, 基于光流计算对相邻的图像进行检测得到光流图, 标定光流信息, 然后对视频的每一帧进行处理, 根据前面的帧得出后面帧的光流情况, 标定光流点。

实现对运动目标跟踪必须通过各种形态滤波才能实时有效跟踪到目标物体, 因为受图像噪声以及背景环境的影响, 二值化处理后的图像运动物体区域不够联通, 会被判断为多个物体, 因此本文通过膨胀形态运算得到比较准确的运动目标区域轮廓。根据膨胀后区域的轮廓找到标定框, 画出外接矩形框, 因为膨胀后存在一些干扰的区域, 而这些小的区域往往比标定框小, 为了去除这些小的区域, 寻找轮廓重心, 通过计算轮廓上的点到重心的距离, 设定距离阈值, 再排除离重心比较远的点, 最后得到比较精确的目标跟踪图[5,6]。

3 实验结果

图7是基于光流计算对运动目标跟踪实现的最终效果图。

4 总结

本文是在VC++平台上实现程序, 并基于OPENCV函数库实现程序的每步效果。程序是对交通监控视频中的多个运动物体进行跟踪, 并且在此之前要先检测出来运动物体的区域。在对单帧图像的光流特征检测的基础上, 通过连续帧之间的匹配关系、阈值优化实现了对运动目标的准确的跟踪。

摘要：本文在研究光流原理的基础上, 采用光流计算和分析对运动目标进行了较为准确的跟踪。首先对图像进行预处理, 包括图像的灰度化, 阈值分割和边缘提取;其次通过改进的Lucas-Kanade光流法实现运动目标的检测;最后, 求取目标特征点的重心和各点到重心的距离, 通过设定合适的阈值, 画出目标的跟踪矩形框, 从而完成目标的跟踪。

关键词：光流计算,目标检测,目标跟踪

参考文献

[1]李宏, 杨廷梧, 任朴舟.基于光流场技术的复杂背景下的运动目标跟踪.光电工程, 33 (10) :13-17, 2006.

[2]万文静.基于光流的图像目标跟踪方法研究.西安:西北工业大学, 2006.

[3]胡觉晖, 李一民, 潘晓露.改进的光流法用于车辆识别与跟踪.科学技术与工程, 10 (23) 5814-5817, 2010.

[4]段先华.基于光流和水平集模型的运动目标自动跟踪方法.江苏科技大学学报, 2007.

[5]Berthold ICE Horn and Brian G Schunck.Determining Optical Flow[J].Artificial Intelligence, 2005, 8 (3) :1 85-203.

基于多重网格法的变分光流计算 第5篇

光流是指图像中灰度模式运动速度,他是基于象素点定义的,所有光流的集合称之为光流场。光流场的计算最初由Horn和Schunck[1]于1981年提出,光流作为一种重要的运动分析方法[2],得到了很大的发展。光流场计算不需预先处理图像、抽取特征,而是直接对图像进行计算。变分法是应用最广泛的用于估计序列图像的光流的方法,其中许多基于变分技术,这些基于变分的技术虽然效率高、易于实现,但在临近边界点的地方的光流速度会产生“漂移”。本文提出一种基于变分的新模型来计算光流场,能够减少瞬时位置速度迭代时邻域的影响,克服临近边界点的速度“漂移”,保持运动物体的边界位置。并且将多重网格法运用于线性方程组的求解计算当中,从而快速计算出光流场。

2 Horn-Schunck[1]和Lucas-Kanade[3]光流法

假定t时刻序列图像上点(x,y)处的灰度值为f(x,y,t),在时刻t+Δt时,这一点运动到(x+Δx,y+Δy,t+Δt),对应的图像灰度值为f(x+Δx,y+Δy,t+Δt),根据经典的灰度值守恒假设,他与f(x,y,t)相等,即:

undefined

将式(1)泰勒展开可以得到梯度约束方程:

undefined

令u和v分别表示该点光流矢量沿x和y方向的两个分量,且有undefined,那么可以得到基本光流约束方程:

undefined

显然仅通过式(2)求解不出2个未知量u和v,因此从基本光流约束方程求解光流场U=(u,v)T是个不适定问题,必须引入附加约束条件。Horn和Schunck对式(2)引入一个对光流的全局平滑性约束来求解光流,从而得到如下的能量泛函

EHS(u,v)=∫Ω((fxu+fyv+ft)2+

α(|ᐁu|2+|ᐁv|2))dxdy (3)

而Lucas和Kanade则假设在一个尺寸为ρ的邻域内,未知光流矢量(u,v)保持恒定。通过权重最小二乘法求解(x,y,t)处的2个常量u和v,相当于求解如下函数的最小值:

undefined

其中ρ为高斯核函数的标准差。

3 改进的光流估算方法

传统的光流计算方法主要是基于灰度值守恒假设和光流场的平滑性假设。但是这些假设使光流在边界、阴影的地方不再成立,尤其在运动物体的边缘位置会产生速度“漂移”,为此本文做出如下改进。

3.1 基于变分的新模型

Horn-Schunck方法的思想是附加一个全局平滑性约束条件,这种算法容易实现,能够得到精确的瞬时位置速度。但其也存在严重的缺陷,例如灰度值恒定的假设使得在图像的边缘处的光流估算有较大的误差;附加的全局平滑性约束条件会迫使估算的光流场平滑地穿过图像的遮合区域,从而丢失物体形状特点的重要信息;同时,也使得光流估算对噪声的敏感度高于基于局部区域信息的Lucas-Kanade方法。

因此,本文在Lucas-Kanade方法的基础上结合Horn-Schunck的全局思想,并且附加一个梯度约束条件,用以克服上述缺陷。

令:

undefined

式(4)即Lucas-Kanade方法可以转化成如下形式:

undefined

在式(5)基础上附加一个全局平滑性约束条件∫Ω(ᐁu+ᐁv)dxdy,梯度约束条件∫Ωc(|ᐁf(x,y)|)dxdy,其中泛函数undefined。

改进算法的能量泛函如下:

E(u,v)=∫Ω(ωTJρ(ᐁ3f)ω)dxdy+α∫Ω(‖ᐁu‖+

‖ᐁv‖)dxdy+β∫Ωc(|ᐁf(x,y)|)dxdy (6)

式(6)中α和β分别为全局平滑性约束条件和梯度约束条件的权重系数。向量场ω(x,y)=(u(x,y),v(x,y),1)T是位移,ᐁu是空间梯度(ux,uy)T,ᐁ3f是时空梯度(fx,fy,ft)T。矩阵Jρ(ᐁ3f)是一个结构张量,Jρ(ᐁ3f)=Kρ*(ᐁ3fᐁ3fT),其中*表示对矩阵中的每个元素进行卷积运算,而Kρ是一个标准差为ρ的高斯核函数。那么图像中每一个象素点都对应一个矩阵:

undefined

式(6)等价于下面的Euler-Lagrange方程组:

undefined

求解上述方程组的最小值即可得到光流场(u,v)。

3.2 离散化过程

Jnmi,j表示Jρ(ᐁ3f)在象素点(i,j)处的分量(n,m),对divundefined和divundefined进行离散化。可令:

undefined

undefined

h代表步长,则:

undefined

Euler-Lagrange方程组离散化后得到如下方程组:

undefined

3.3 高斯-塞德尔迭代

得到改进算法的离散化方程组后,图像的每个象素点都可由式(9)、式(10)得到2个方程。那么当图像大小为mn个象素点时,可组建一个包含2mn个未知量的线性方程组。设线性方程组的系数矩阵为A,运用Gauβ-Seidel迭代法求解。对线性方程组Ax=f,将系数矩阵A分割成对角矩阵D、下三角矩阵L、上三角矩阵U,A=D-

L-U,得:

undefined

k表示迭代的次数。将Gauβ-Seidel迭代法应用到本文的算法中,并结合式(9)、式(10)得到相应的迭代步骤:

undefined

undefined

上述两式中Δt表示时间间隔;n表示迭代次数。改进算法的线性方程组可以用式(12)、式(13)提供的迭代步骤求解出u和v,即可得到光流场(u,v)T。但是Gauβ-Seidel迭代的收敛速度比较慢,需要多次迭代才能得到近似解,耗时较多,不能够满足实时应用。为达到实时求解u和v的要求,本文采用多重网格方法来达到迅速求解的目的。

3.4 多重网格方法

3.4.1 多重网格法的理论基础

多重网格法[4,5]是一种加速收敛的算法,其基本思想是:误差可分为高频分量和低频分量,细网格可以消除相对于自身网格的高频分量,但对低频分量又无能为力;如网格尺寸增大,细网格上的低频分量又成了粗网格的高频分量;因此可利用一系列的细粗网格,在细网格上消除高频分量,在粗网格上消除低频分量,从而达到加速收敛的效果。因此运用多重网格方法能显著提高光流场的计算速度。

3.4.2 网格生成

将多重网格法应用于光流计算时,本文将图像的象素点看作为网格点,因而将整幅图像看作为一个二维网格。当从细网格转向粗网格时,网格点数呈2的指数次递减,网格尺寸却呈2的指数次递增。即若刚开始时图像尺寸为512512,网格尺寸h=20。那么第一次转向粗网格后的网格点数为256256,网格尺寸h=21;第二次转向粗网格后的网格点数为128128,网格尺寸h=22;依此类推直到网格点数为22时,可通过直接的矩阵求逆得到精确解。有了最粗网格上的精确解后,再依据多重网格法原理对其进行逐层校正。

3.4.3 二重网格上的一个循环

由式(9)、(10)所得的线性方程组转化成如下的矩阵形式:

undefined

式(11)中,h表示的是网格尺寸hxhy;xh表示列向量((uh)T,(vh)T)T。等式右边的fh等于((Jundefined)T,(Jundefined)T)T,Ah是一个对称正定矩阵。其中(uh)T表示图像中所有象素点按行排列顺序在x方向上的光流分量,而(vh)T表示的是在y方向上的光流分量。同理,(Jundefined)T和(Jundefined)T分别表示图像中所有象素点的矩阵Jρ(ᐁ3f)中的2个分量。

这里讨论两层网格Ωh和Ω2h上方程组的计算,称:

粗网方程:A2hx2h=f2h

细网方程:Ahxh=fh

用网格法涉及从粗网到细网和从细网到粗网,这就需要限制算子和延拓算子。定义Iundefined为从细网到粗网的限制算子,Iundefined为从粗网到细网的延拓算子。2h,h分别表示粗网和细网上的空间步长。一维的延拓算子作分段线性插值:∀k∈Ω2h。

undefined

限制算子通常取为:

undefined

二维延拓和限制算子用矩阵表示:

undefined

(1) 以xh为迭代初值,对细网方程迭代α1次,采用式(12),(13)提供的迭代步骤,结果记为:

undefined

(2) 余量计算:

undefined

(3) 余量限制:

undefined

(4) 求解粗网方程组:

undefined

(5) 校正量延拓:

undefined

(6) 校正:

undefined

(7) 后光滑迭代:

undefined

经过上述7个步骤,完成了二重网格方法的1个循环,但是二重网格方法在(4)时即要求精确求解方程组,这在方程组尚为高阶的时候是不现实的。因此本文采用第2.4.4节介绍的多重网格V循环求解方程组。

3.4.4 多重网格的一个V循环[5]

V型循环首先在初始网格进行迭代计算,将得到的光流场变量和残差传递到下一层网格上,继续进行迭代,这一过程沿着粗网格重复下去直到最粗的网格为止;求出最粗网格上的精确解后,沿着每层网格向上,对上一层的光流场进行修正,一直到初始网格为止,到此完成多重网格的一个V型循环,得到光流场,具体的流程图如图1所示。

4 实验结果与分析

为了验证本文算法的有效性,分别采用1组合成图像序列和1组真实图像序列进行实验。通过采用本文算法对图像序列估计光流,然后与真实光流比较,做出定量评估。根据Barron等[1]提出的误差估计方法,假定vc是真实的光流场,vg是计算所得的光流场,采用如下方法进行误差估计。

单个角误差:

undefined

平均角度误差:

undefined

平均角度标准差:

undefined

其中N为光流场的象素个数。通过计算,得到本文算法和其他算法的计算精度和计算时间。

图2(a)和图2(b)分别是合成图像序列的第4帧和第5帧,图2(c)是利用多重网格算法计算的第4,5帧之间的光流场,可以看出与真实的光流场基本一致,运行时间为0.678 /s。比运用通常的迭代算法快速很多。

图3是Rubic Cube图像序列实验结果,其中图3(a),(b)分别是图像序列中的第9,10帧,图3(c)为采用本文算法得到的光流场,该光流场较好地克服了运动边缘出现的速度漂移现象,比较准备的反应了图像的运动信息。

5 结 语

针对经典光流计算方法的不足,本文提出一种改进的算法,有效避免图像序列运动边缘的速度“漂移”现象。并且将多重网格法运用于大型线性方程组的求解,使得光流场的求解非常迅速,基本上可以满足实时应用的要求。

参考文献

[1]Horn B,Schunck B.Determining Optical Flow[J].ArtificialIntelligence,1981,17:185-203.

[2]Barron J L,Fleet D J,Beauchemin S S.Performance of OpticalFlow Techniques[J].Int.J.Comput.Vis.,1994,12(1):43-77.

[3]Lucas B,Kanade T.An Iterative Image Registration Tech-nique with an Application to Stereo Vision[C].In Proc.Seventh International Joint Conference on Artifical Intelli-gence,xVancouver,Canada,1981:674-679.

[4]哈克布思.W多重网格方法[M].林群,译.北京:科学出版社,1988.

基于光流场的输电导线舞动监测方法 第6篇

输电线路作为电网的重要组成部分,地域分布广泛,运行条件复杂,易受自然环境影响和外力破坏。近年来输电线路覆冰、舞动事故的强度和出现的频率明显加强,成为危害我国输电线路安全运行的主要电力事故之一[1,2]。

随着传感器技术及通信技术的快速发展,架空输电导线舞动在线监测技术发展起来。早期研究人员通过导线舞动基础理论分析来仿真实际线路的舞动情况,但由于导线舞动数学模型和机理研究的不完善(尤其是数学模型中出现了更为精确和复杂的多自由度)及微气象条件的影响,通过计算方法得到的舞动状态信息存在误差很大、乱报警的情况,使得该在线监测方法的应用和推广存在一定的局限性[3]。近几年,采用摄像技术来实现的输电导线舞动在线监测技术在实践中得到了一定的应用,它主要通过摄像机给出输电导线现场舞动的图片或视频,工作人员根据传回的现场图片或视频对输电导线的运行状况做出判断,进行巡检或检修,来防止输电导线舞动的发生,但该方法只能通过人眼直观地观看,未实现对导线舞动的定量监测,不能给出输电导线舞动幅值和频率等特征信息的精确结果,且无法满足智能电网建设的自动诊断要求,制约了其在实际中的推广。文献[4]研发了基于Zig Bee网络的输电线路舞动在线监测技术,主要通过加速度传感器获取导线单点舞动轨迹,并利用输电导线舞动的数学模型计算导线舞动的特征数据(导线舞动频率、舞动幅值、波数等)。但该方法存在导线轨迹还原误差大、多点采集同步困难及系统运行稳定性较低等缺点。

基于以上分析,本文提出了一种基于光流场的输电导线舞动监测技术,以输电导线舞动视频中截取的多帧连续图像为研究对象,计算出导线舞动的位移,实现了对输电线路现场视频或图像的自动处理和分析,克服了视频监测单纯依靠工作人员观看的弊端,实现了自动监测的功能。

1 光流的计算

光流的计算方法一般分成4类:基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法。Horn和Schunck提出的基于梯度的光流计算方法[5]是目前应用最多、最成熟的一种方法。

基于梯度的方法利用图像灰度的梯度来计算光流,根据运动前后图像灰度保持不变的假设,导出光流约束方程。由于光流约束方程并不能唯一确定光流,因此需引入其他约束。根据引入约束的不同,基于梯度的方法可以分成全局约束的方法和局部约束的方法:全局约束的方法假定光流在整个图像范围内满足一定的约束条件;局部约束的方法假定在给定点周围的一个小区域内,光流满足一定的约束条件。

基于像素递归的光流算法是预测校正型的位移估算器,它是基于梯度局部约束的一种方法。预测值可以作为前一个像素位置的运动估算值或当前像素邻域内的运动估算线性组合。依据该像素上位移帧差的梯度最小值,对预测作进一步的修正,该方法称为Lucas-Kanade算法[6]。

假设两图像为A(x,y)和B(x,y),图像相应的位移差为:

为满足光流约束方程,使式(2)最小,得到式(3)。

其中,为图像的梯度函数。令,解得:

2 一种改进光流法的运动目标提取方法

Horn和Schunck结合梯度约束和全局平滑条件来约束速度的估计区域以计算光流。Lucas和Kanade假设在一个小的空间邻域上运动向量保持恒定,即局部一阶约束,再使用加权最小二乘法估计光流。Lucas-Kanade算法假设图像间线性相关,使式(1)较小,否则误差较大。若递归过程中v收敛,图像大小为NN,搜索窗口范围为MM,则平均需做M2log N步。为避免式(1)较大时产生较大误差,本文采用一种改进的光流计算方法基于金字塔的光流法。

2.1 金字塔光流法的基本原理

图像的金字塔表示法是计算机视觉中常用的一种多分辨率表示法。利用金字塔表示法,能分析图像中不同大小的物体,如高分辨率的下层可用于分析细节,低分辨率的上层可用于分析较大的物体。同时,通过对低分辨率、尺寸较小的上层进行分析所得到的信息还能用来指导对高分辨率、尺寸较大的下层进行分析,从而极大简化了分析和计算[7]。

金字塔光流法的算法步骤如下:将图像设定为最细尺度;对每一层,从最细层的上一层到最粗层,通过对上一个最细一层使用高斯函数进行平滑处理,然后重采样获得这一层;结束。

令S表示对图像重采样,具体而言,S(I)的第(i,j)个元素是原图像I的第(2i,2j)个元素。金字塔P(I)的第n层表示为P(I)n,金字塔各层表达式为:

其中,Gσ表示对图像进行线性操作,其将图像与高斯函数卷积。细节最丰富的一层是原始图像:

设导线图像为原图I,并把它作为金字塔的底层即第L层,第L层的上层第L+1层构造方法为:将导线图像I经过高斯低通滤波器,并把结果进行隔行隔列取样。依此类推,这样就形成了高斯金字塔。

2.2 算法流程

本文采用了一种基于改进光流法的运动目标提取方法,算法流程如图1所示。

2.2.1 基于金字塔光流法的光流值计算

导线图像光流值计算的基本思想是利用图像金字塔,将相邻2帧降采样到最底层,计算这2帧间的光流值,在上一层中将前一帧图像平移一定的值(下层计算出的光流),与后一帧利用光流法求出运动向量,最后与下层计算出的光流进行叠加,直到金字塔的最上层,即原始图像。本文就是使用该方法解决传统光流法中运动导线的识别问题[8]。

基于金字塔光流法的原理框图如图2所示。

a.降采样和升采样:降采样采用高斯55低通滤波器[1/16 1/4 3/8 1/4 1/16][1/16 1/4 3/81/4 1/16]T,将图像与滤波器卷积,并把结果进行隔行隔列取样,得到上一层的图像。设第L-1层的图像为IL-1(x,y),则通过降采样,得到第L层的图像为:

升采样为降采样的逆过程,将图像隔行插入0点,再与滤波器卷积并乘以4,得到下一层的图像[9]。

b.光流的计算:为使计算时运动向量较小,对光流法进行改进,即先将前一帧图像平移一定的值(下层计算出的光流),再与后一帧利用光流法求出运动向量h L,最后与下层计算出的光流进行叠加,得到运动向量d L,如图3所示。

采用3层金字塔结构,对图像中的点(x,y),在金字塔最下层g2=0,经光流法计算出h2,然后d2=h2+g2=h2,经过乘2及升采样,第2层的初始运动向量g1=2 h2,经过对第2层的前一帧图像平移g1=2 h2,再计算光流值h1,依此类推,最终得出第1层光流值:

由于金字塔最下层像素点较少,故计算得到的光流值较小,所选用的窗口(ωx,ωy)可以较小,这样就提高了检测的准确性,节省了计算资源,又可允许目标有较大的位移[10,11,12]。

2.2.2 基于改进光流法的形态学滤波

首先利用闭运算填充导线图片的光流值与结构元素不吻合的凹区域,同时保留相吻合的凹区域。即将计算出的离散点光流值连成一片区域,利于下一步进行面积阈值判断。然后利用形态学滤波的去噪运算,可以由式(9)表示:

其中,I为图像,S为结构元素。

噪声在某些区域可能会先扩大,然后逐步去掉。实践证明,只有当噪声比结构元素小时才能被去除。

2.2.3 基于改进光流法的面积阈值算法

检测结果可能会出现一些孤立的小区域,它们是在分割的过程中被错误分割出来的,如果不过滤掉,可能会误认为是运动目标区域。一个简单的办法是设定一个面积阈值,面积小于此阈值的区域将会被过滤掉,反之,则认为是运动目标区域。由于区域的形状是不确定的,可以利用包含区域的最小外接矩形的面积来近似区域的面积[13,14,15]。

通过一系列这样的处理后,可以获得相对比较精确的运动目标区域,利用此运动区域可以提取出一些需要的运动目标特征信息,如运动目标的轮廓、长宽比、包含运动目标的最小矩形、目标的颜色等。

3 基于光流场的导线舞动监测算法的实现

本文采集的视频数据源为AVI格式,基于上述算法,利用HALCON编程实现了输电导线舞动位移的监测,图4是本算法实现过程的总流程图。

为验证本算法的有效性和准确性,在导线舞动视频中截取多帧图像,按照本文算法的流程图,先对图像进行预处理、循环监测和灰度处理,再和背景图匹配得到光流场及其实值图,见图5和图6。通过阈值滤波和多层亚像素滤波,再通过横向和纵向估算光流像素点位置来实现位置标定,见图7。最后用箭头的大小和方向描绘导线舞动的位移和方向,见图8。

4 实例分析

为更好地验证本算法的优越性,从晋中供电公司220 k V阳北Ⅱ回线2010年10月27日的某导线舞动视频中截取相邻2帧图像,见图9和图10。通过用本文算法进行计算,用箭头的大小和方向表示出了相邻2帧图像中导线舞动的位移和方向,见图11。

将图9和图10中导线的位置进行对比可以发现,由第1帧图像到第2帧图像,最左边的导线向下摆动,右边2根导线向右上方摆动。图11的计算结果正好体现了相邻2帧图片导线摆动的方向和大小。

选择10个特征点进行标注(见图11),并记录了这10个点光流的速度向量数据V,如表1所示。

光流是图像上像素运动的瞬时速度,表1中10个数据是通过计算相应像素点横向和纵向的速度向量,然后进行速度合成得到的,即V=sqrt(Vx2+Vy2),还可以计算出速度向量的方向,即α=arctan(Vx/Vy)。

图中第1个点的像素坐标是(1.667,142.0),得到其速度方向角是46.63°,再由其速度16.24乘以采样间隔0.1 s,得到该点的位移距离是1.624个像素,这样就可以计算出第1个点位移的终点像素坐标是(2.347 2,143.115)。利用标定摄像机时求得的摄像机参数(确定了地球坐标系和图像坐标系之间的相对位置),把二维的图像坐标转化为世界坐标,得到2点在地球坐标系下的坐标分别为(-0.862,-0.518)、(-0.635,-1.363),这样就计算出第1个点在地球坐标系下的实际位移是0.96 m。按照同样的方法计算出其他9个点的实际位移,如表2所示。为了更直观地反映导线舞动的位移,表中以这2幅图片采样间隔内的平均速度,分别计算了这10个点1 s内的位移。

上述计算结果表明当时导线舞动情况比较严重,这与10月27日当天现场风力比较大等情况相符,通过工作人员肉眼观看视频录像来估计导线舞动位移,认为本文的计算结果比较准确。

5 结论

基于金字塔光流聚类的行人计数 第7篇

在不同地点测量行人数量是交通控制、商场客流和公共监控等方面的重要功能, 对于这些公共场所, 可以用来统计行人流量, 分析行人流量的时间和空间分布, 有效分析计算人员密度, 这些能作为重要的数据, 用以有针对性地改进这些公共场所的软硬件设施, 比如进出商业中心每个商店的顾客数量的计算可以用来评判该商场的商业经营情况, 计算街道上的行人数量可以决定该在什么时间段进行道路维护和保养, 这样就尽可能的避免了行人的出行困难。基于图像序列的行人计数主要包括运动目标的检测、跟踪、分类、行为理解和语义描述几个过程, 其中运动目标的检测属于低层视觉处理, 目标跟踪属于中层视觉处理, 而目标分类、行为理解和语义描述是属于高层视觉处理。

2金字塔光流聚类法的基本思路

在LK算法中, 有些情况会导致矩阵不可逆, 这些情况下无法计算光流, 于是我们可以考虑寻找一些好的特征点来计算光流, 也就是角点。在光流计算中, 当光流较大, 也就是物体运动范围较大时, 计算误差很大, 这时, 我们引入金字塔的思想, 对原始图像进行采样, 进行类似由粗到细的过程, 对先通过高层金字塔找出大的运动量, 再逐步细化, 计算小的运动量并不断纠正大运动量的精确度。如图1所示。

3光流聚类步骤

3.1光流长度聚类步骤

3.2光流角度聚类步骤

3.3光流源位聚类步骤

最后将两束光流的起始点进行比较, 公式 (3-7) 、 (3-8) 如下:

4结论

在本文中提出了光流聚类法来提高视频序列中行人的计数精度, 在该方法中, 光流通过其长度、角度、和源位置来聚类, 该方法在行人的计数过程中用到了基于聚类数量与实际行人数量存在很大的线性关联的线性预测的数据统计, 本文描述了通过多个视频的行人数量评测结果, 发现聚类光流法的精度要比普通的没有用到聚类的光流法的精度提高了25%, 同时本文也注意到为了提高计数的有效性, 可以让角度的聚类阈值小于1°。除此之外, 也比较了特征点阵和格子点阵算法, 前者在行人的遮挡频率增加时的计数精度要明显高于后者。

参考文献

[1]F.Bu, R.Greene-Roesel, M.Diogenes, and D.Ragland, “Estimating pedestrian accident exposure:Automated pedestrian counting devices report, ”UC Berkeley Traffic Safety Center, Tech.Rep.Mar.2007.

[2]X.Liu, P.H.Tu, J.Rittscher, A.G.A.Perera, and N.Krahnstoever, "Detecting and counting people in surveillance applications, "in Proc.AVSS 2005, pp.306-311, Sep.2005.

[3]H.Zhao and R.Shibasaki, “A novel system for tracking pedestrians using multiple single-row laserrange scanners, ”Systems, Man and Cybernetics, vol.35, pp.283-291, Mar, 2005.

[4]A.Fod, A.Howard, and M.J.Mataric, "Laserbased people tracking, "in Proc.IEEE ICRA 2002, pp.3024-3029, May 2002.

[5]刘超.基于梯度方向直方图的行人计数方法研究[D].北京邮电大学, 2010.

[6]董颖.基于光流场的视频运动检测[D].山东大学, 2008.

基于光流算法的医学柔式内窥镜系统 第8篇

因此，为了给医师提供清晰的图像、安全的操纵环境，内窥镜图像集中应保持在内腔壁最远的部分，即使内窥镜处于内腔的中心线位置。本文研究设计一个机器人柔式内窥镜系统，即一个视觉伺服系统(Visual Servo-System)[2,3]来引导操纵柔式内窥镜进行常规的胃镜检查。在基于光流算法的自主机器人避障系统[4]设计中，光流是用于计算到图像中特征点的相对距离，并且通过均衡移动机器人两侧光流值的大小来实现机器人避障。研究这种方法是因为操纵内窥镜通过内腔的任务与自主机器人避障任务相似。如果能恢复场景中关键的第三维信息，那么就可以通过深度估算[5]来操纵控制内窥镜躲避距离其最近的物体。本文将自主机器人避障系统中光流算法的思路，引用到机器人柔式内窥镜系统中，提出了一种基于LK光流算法的机器人柔式内窥镜系统，并对常用的图像灰度算法进行了仿真模拟的对比实验。

1 基于LK光流的算法

本文利用基于LK光流算法的机器人柔式内窥镜系统的方式来恢复近似球形的全景深度信息。光学距离的依赖环境可以很容易地被球型摄像模型描绘出来。M是目标点，p∈R3,p映射到球面上，S2，如图2(a)所示

对于每个点q=M(p)，定义

为从P到摄像机的光学中心的距离。

当摄像机在静态环境中移动，光流θ(q)是θR(q)旋转分量和平移分量θT(q)的总和

这里V指光学中心的平移速度;Ω指光学中心的转动速度，深度信息包含在θT(q)中，常规获得θT(q)的方法是取消转动光流θR(q)，通过测程法来估算Ω。然而，利用内窥镜不能直接获得此数据，在这里运用运动学模型的输入来估算Ω的方法并不可行。由于摄像机前端的运动高度依赖内窥镜的整体形状，因此选择单独使用光流作为输入。

为估算摄像机的运动，使用中央区域作为参考区域，即图2(a)的区域C。在区域C中，平移速度V大约在摄像机光轴的方向，因此，q大约与V在相同的方向。这就使得(I-qqT) V变得很小，因为它是V于该平面正交的q的投影。另外，由于图像的中心距离摄像机较远，所以1/λ(q)也很小，因此，根据C可得，θT(q)≈0，θ(q)≈θR(q)=-Ω×q，所以θ(q)能够被用于估算Ω。

所获得的Ω可从整个摄像图像的光流中计算平移部分θT(q)，这样就可以控制内窥镜，使其远离那些距离摄像机最近的点。

Lucas-Kanade光流算法具有计算简单、对较小的场景和较小运动的光流估计精度较高的优点，正好适用于胃镜检查的环境，利用这种算法从两个后续摄像机图像中获取稀疏光流场(sparse flow)。光流矢量对(ui,vi)∈S2×S2，其中下标i表示第i个矢量对(i=1，…，n),ui和vi分别表示运动物体的运动矢量投影与二维平面得到的瞬时变化率。对于vi落在中心区域C的矢量对，估算从ui到vi的旋转角度。这些旋转被表示为一个正交的旋转矩阵R。利用正交旋转矩阵R，可以将属于每一个矢量对(ui,vi)的平移流矢量计算出来，定义

其中，Δt是帧时间;R-1vi是vi的摄像机旋转补偿[13]。

通过计算光流矢量θTi来得到所需的摄像头旋转速度ω。一个移动摄像机所拍摄的图像中，离摄像机较近的特征点产生更大的光流矢量，因此可以分别计算摄像机左右两侧特征点的光流矢量，图像将被分为左(L)和右(R)区域，如图2(b)。左侧光流平均矢量模L和左侧光流平均矢量模R定义为

通过计算图像左右两侧平均光流矢量模的差来判断内窥镜的相对位置，计算方法为

当φR-φL<0时，可认为肠道内腔障碍物在左侧的可能性大;当φR-φL>0时，可认为肠道内腔障碍物在右侧的可能性大。摄像机绕x轴所需的旋转速度是ωx，可以从式(5)和式(6)中得到

其中，K是恒定的增益;绕y轴旋转速度是ωy，利用顶部和底部的图像分离，其算法与式(7)相似。

2 基于图像灰度的算法

因为胃镜的光源和探测器可以认为几乎是在同一个平面上并且非常接近，在这种情况下，肠道表面越接近光源的地方照明越充分。因此，考虑到观察点的角度，肠道内最深的部分对应着图像上最暗的区域，如图3(a)所示。采用暗区提取法[6]进行内窥镜图像寻径，通过自适应阈值获得二值图像后将其处理以获得腔壁的轮廓形状，图像中的黑暗区域通过阈值转换得到二进制图像，用于查找及确定内腔口的位置。

为定位到内腔的中央方向，将图3(a)的图像进行灰度反转，计算反转图像中黑暗区域的中心。采用灰度质心算法快速给区域中心定位。定义反转图像的灰度质心点C。反转图像I″(x,y)定义为

其中，I'(x,y)是I(x,y)的应用直方图均衡化。灰度中心点C通过圆心区域A来计算，将所需的区域集中在图像中，具有直径等于图像高度的性质。这里采用一个圆形区域，希望在旋转摄像头绕光轴的同时算法不变。它还可以防止图像中暗角落照明不均匀的情况出现，如图3(a)所示。灰度质心点C计算公式为

这里，∑A代表A面积的总和。

摄像机所需要的转速，ωx绕着X轴，ωy绕着Y轴，其定义为

其中，K是一个恒定的增益。对于旋转的摄像头，该暗部区域的中心将在该图像的中心。因此，摄像机的移动方向即为内腔中心的方向。

3 两种算法的仿真

针对内窥镜诊疗环境的特殊性和复杂性，分析医生在内窥镜检查中的动作和决策方式，在此基础上提出了采用计算机视觉方法引导柔式内窥镜的介入。在柔式内窥镜手术中，可以通过视频传感器ADVC55[7]采集腔道内实时图像并传输到计算机，计算机自动处理分析图像，自动控制和调节柔式内窥镜头部的姿态或给医生适当的建议使内窥镜顺利进入肠道。

对改进的LK光流和灰度图像这两种算法用Matlab 7.0编写，运行硬件为3.00 GHz PentiumIV CPU,512 MB RAM，在二维空间中提取结果。为定制虚拟条件下图像的仿真环境，该系统的闭环性能在模拟柔性内窥镜检查的过程中也进行了验证。图4是用本文所介绍的基于LK光流和灰度图像两种算法来处理的，所得到的结果可以用于校正和调整柔式内窥镜介入。在这次仿真实验中，没有考虑内腔和内窥镜之间的相互影响，而内腔部分采用的是人体模型。

图4 (a)采用美国Silicon Graphics公司生产的“IRIS Explorer”数据可视化软件展示了本次仿真实验的虚拟环境图，图4(b)为在Matlab 7.0的环境下两种算法的柔式内窥镜介入内腔的运动轨迹的仿真图。在图4(b)中，实线为图像灰度算法下的柔式内窥镜的路径，虚线为LK光流算法下，柔式内窥镜的路径。为更好地评估两种算法的性能，计算了仿真中内窥镜的实际运行轨迹与内腔的中心线之间的“均方根距离”。在改进的LK光流算法下，“均方根距离”为21%，而图像灰度值算法为24%。从两组数据中来看，LK光流算法的实验效果更符合期望。

4 结束语

本文设计了一个柔式内窥镜机器人操纵控制系统，它能够控制柔式内窥镜从口腔安全、精确地进入到十二指肠等内腔管道。将光流算法引用到医学内窥镜视觉导航系统中，并对常用的图像灰度算法进行了分析比较。仿真并检测了基于LK光流算法和图像灰度算法在柔式内窥镜介入内腔管道时的位置和性能。实验比较表明:本文设计的基于LK光流算法得到的内腔管道中心路径要更加精确、安全。

本文的研究工作在未来将集中在提高系统性能上。整个系统的性能可以通过结合具有更复杂的特征空间的控制器来进行改善结合，它使用视觉算法的输出来引导柔式内窥镜的行动路径，并且考虑内窥镜的固有特性。将来的研究中也将包括性能评定下让该系统在更逼真的环境中进行研究和仿真。

摘要：手动操纵的柔式内窥镜在介入内腔管道时,要求医生必须有熟练的操作技巧和技术。针对手动操纵柔式内窥镜所带来的弊端,设计了一种基于LK光流算法的机器人柔式内窥镜系统。利用内窥镜图像控制内窥镜指向内腔管道的中心线,从而可提高内窥镜的智能化、简化对操作医师技术的依赖、减少医疗事故的发生。以常规胃镜检查为例,对常用的图像灰度算法进行了分析比较,实验结果表明,基于LK光流算法得到的内腔管道中心路径更为精确。

关键词：柔式内窥镜图像,光流算法,图像灰度值算法

参考文献

[1]Harewood G C.Relationship of colonoscopy completion rates and endoscopist features[J].Digestive Diseases and Sciences,2005,50(1):47-51.

[2]Burkhardt M R,Soper T D,Yoon W J,et al.Controlling the trajectory of a flexible ultrathin endoscope for fully automated bladder surveillance[J].IEEE/ASME Transactions on Mechatronics,2014,19(1):366-373.

[3]Phee S J,Ng W S,Chen I M.Locomotion and steering aspects in automation of colonoscopy.I.A literature review[J].Engineering in Medicine and Biology Magazine,IEEE,2002,196(5):784-795.

[4]肖雪,秦贵和,陈筠瀚.基于光流的自主移动机器人避障系统[J].计算机工程,2013,39(10):305-308.

[5]罗桂娥.双目立体视觉深度感知与三维重建若干问题研究[D].长沙:中南大学,2013.

[6]史少龙,伊达一.改进型灰度质心实时算法研究[J].光电工程,2013,40(20):18-24.