WO2012100522A1 - 基于图像亮度特征的ptz视频能见度检测方法 - Google Patents

Abstract

基于图像亮度特征的PTZ视频能见度检测方法，采用PTZ视频摄像机获取路况视频图像，提取路面的兴趣域ROI，获得所选像素的高度一致性；利用基于Nagao滤波的区域增长算法得到精确路面区域，确保所选像素在世界坐标中的照度一致；在路面区域中，提取反映路面亮度变化的对比度曲线，找寻亮度曲线特征点，通过消光系数计算图像中人眼可分辨最远像素；结合摄像机标定换算出最大能见距离，确定能见度值。本发明无需设置任何人工标志物，充分利用已有的PTZ摄像机进行路况摄像，获取图像，能够实时监测，且监测成本低；满足大面积路况监测的要求，监测稳定不受外界环境干扰，是一种简便易实现，精度高效果良好的能见度监测方法。

Description

说明书 基于图像亮度特征的 PTZ视频能见度检测方法

技术领域

本发明属于图像处理技术领域， 涉及摄像机定标技术、 自适应 Nagao滤波技术、 噪 声抑制技术、 能见度求解技术等， 在保证所选像素的高度、 照度一致性的基础上， 提取 反映路面亮度变化的对比度曲线， 找寻亮度曲线特征点， 通过消光系数计算图像中人眼 可分辨最远像素； 结合摄像机标定换算出最大能见距离， 确定能见度值， 具体为一种基 于图像亮度特征的 PTZ视频能见度检测方法。 背景技术

高速公路是涉及国计民生的新兴产业， 2010年我国总里程计划数将超过 8万公里。 江苏是我国经济发达地区， 是智能交通系统 ITS(Intelligent Transportation System)的领头 羊。 目前已有高速公路 3558公里， 高速公路密度为 3.46公里 /百平方公里， 2010年总里 程将达 5000公里。

同时我国境内山水平原错落， 河流湖泊纵横， 特别是中、 西部地区， 是地势复杂的 丘陵地带， 雾、 靈、 霾等自然灾害性天气多有发生， 给交通运输带来了极大的隐患， 特 别是在不定时间和地点突然生成的团雾， 对车辆安全的危害尤大。 1975 年,美国加利福 利亚至纽约的高速公路， 因大雾致使 300多辆车相撞， 死伤 1000多人， 造成了世界最 大的交通事故。 法国在 1986年， 有 1200 起事故 (不含市内)是由于雾引起的， 造成 182 人死， 175人受伤， 1352人轻伤， 虽然高速公路上因雾产生的事故率仅为该年度的 4%， 但死亡率却高达 7%〜8%。 在管理手段上， 沪宁高速公路构建的仅 10余观测点的气象 检测系统耗资近千万， 仍很难准确检测出发生在局部地区的团雾。

针对能见度降低， 我国公路管理部门动辄封路， 以降低交通事故的发生。 然而管理 部门实施交通管制的程序主观性较强， 实施管制的条件无量化指标、 不够科学、 不够规 范， 通过关闭来求安全可能适得其反。 为此， 对路况气象， 特别是低能见度的及时检测 发布， 是加强应对灾害天气能力， 减少损失， 提高高速公路管理水平的切实要求。

目前高速公路使用的气象能见度检测设备主要以传统激光能见度仪为主，一般可用 大气透射仪、 散射仪等， 这两类设备在雨、 雾等低能见度天气， 会因水汽吸收等复杂条 件造成较大误差， 难以正常观测， 也很难准确检测出发生在局部地区的团雾。 同时造价 昂贵， 维护成本高， 在高速公路全程密集构建单独的气象检测站成本过高， 难以普及推 广。 以沪宁高速公路为例， 构建 10余观测点的气象检测系统的耗资近千万。

视频能见度检测方法将图像分析和人工智能技术与传统的大气光学分析结合起来， 通过对视频图像的分析处理， 建立图像与真实场景之间的关系， 通过测量图像特征的变 化情况， 计算出气象能见度的值。 与传统手段相比， 在检测原理上接近人眼观看方式， 具有低成本、 易操作， 及兼容沿路摄像机的广覆盖的优势， 但不够成熟， 尚需改进。

目前， 国外对此研究较少， 仍处于理论与实验阶段。 美国明尼苏达州大学提出基于 固定距离目标物的视频能见度检测方法 ^[1]， 需人为预置多个视频检测目标， 成本较高， 操作繁琐， 容易受到地形环境等因素的制约； MIT提出基于标志图像计算相对能见度的 方法 ^[2]， 将检测场景图像与预存的已知气象能见度图像比较分析， 获得相对能见度， 该 方法无需辅助设施， 使用方便， 但难以用于云台摄像机， 也易受到场景中运动物体遮挡 的影响； 瑞典国家道路管理中心提出了基于神经网络和红外视频的能见度检测方法 ^[3]， 提取不同能见度图像边缘， 采用神经网络算法分类， 并转换为能见度相应等级， 红外摄 像机摄像噪声相对低， 但其价格昂贵， 维护复杂， 难以沿路密集布设。

文献 [4]提出一种基于路况标记物的能见度检测算法采用匹配算法从图像上分割出 预置的目标物， 进而对其特征进行拟合， 得出能见度值。 该方法需要设置额外标记， 成 本高， 其探测范围和精度受限于视野范围内可选用的目标物的距离和数量， 难以兼容已 布设的 PTZ摄像机； 文献 [5]提出基于视频图像对比度的检测方法， 解析各像素与其四 邻的对比度， 所选取的最大值若大于给定阈值， 即为人眼可分辨像素， 再结合摄像机标 定来换算出能见度值， 由于阈值划分， 易受噪声干扰， 包括车道分割线区域噪声、 CCD 成像电流噪声， 特别是量化误差噪声会引起检测结果跳变， 算法不够稳定。

参考文献

[1] T. M. Kwon. Atmospheric visibility measurements using video cameras: Relative visibility.

Technical report[R], America: University of Minnesota Duluth, July 2004.

[2] Robert G. Hallowell, Michael P. Matthews, and Paul A. Pisano, Automated Extraction of

Weather Variables from Camera Imagery [C]. Proceedings of the 2005 Mid-Continent

Transportation Research Symposium, Ames, IA, 2005.8

[3] Final Report on Signal and Image Processing for Road Condition Classfication[R],

AerotechTelub and Dalarma University under the7 Swedish National Road Agency.

Report #2002-02-06. 2002.6.

[4] 陈钊正， 周庆逵， 陈启美. 基于小波变换的视频能见度检测算法研究与实现 [J] . 仪 器仪表学报 2010, 31 (1) : 92 98

[5] 李 勃， 董 蓉， 陈启美.无需人工标记的视频对比度道路能见度检测 [J] . 《计算机 辅助设计与图形学学报》， 2009, 11 (21)： 1575-1982

[6] Li Bo, Chen Qimei. Vehicle activity analysis from freeway traffic video [J]. Chinese Journal of Scientific Instrument, 2006,27(Suppl.3): 2118-2120 (in Chinese)

(李勃， 陈启美.基于监控视频的运动车辆行为分析算法 [J] .仪器仪表学报， 2006， 27 (增刊 3) : 2118-2120)

[7] 于莉娜，胡正平，练秋生. 基于改进随机 Hough变换的混合圆 /椭圆快速检测方法 [J] . 电子测量与仪器学报， 2004, 18 (2) : 92〜97

[8] 蒋耳关源 . Fast detection of multi-circle with randomized Hough transform[J].

Optoelectronics Letters VOL5, 2009

[9] 张煜东， 吴乐南. 基于 SPC N和 Nagao滤波的图像去噪. 中国科学 F辑： 信息科学,

2009, 39(6): 598-607

[10] Nagao M,Takashi M. Edge preserving smoothing. Comput Graph Image Process, 1979, (9): 394-407 发明内容

本发明要解决的问题是： 现有技术对能见度的监测存在不足， 如检测局限性较大、 不能满足大面积路况监测的要求， 监测实时性不够， 监测成本高昂， 监测精度易受影响 等； 需要一种简便易实现， 精度高效果良好的能见度监测方法。

本发明的技术方案为： 基于图像亮度特征的 PTZ视频能见度检测方法， 采用 PTZ 视频摄像机获取路况视频图像， 提取路面的兴趣域 ROI， 获得所选像素的高度一致性； 利用基于 Nagao滤波的区域增长算法得到精确路面区域， 去除路基、 车辆的影响， 确保 所选像素在世界坐标中的照度一致； 在路面区域中， 提取反映路面亮度变化的对比度曲 线， 找寻亮度曲线特征点， 通过消光系数计算图像中人眼可分辨最远像素； 结合摄像机 标定换算出最大能见距离， 确定能见度值， 包括以下步骤：

1)通过设置的 PTZ视频摄像机， 实时获取路况视频图像信息；

2)从视频摄像机获取的图像信息， 通过摄像机定标技术完成视频图像与路面世界坐 标的转换关系， 计算视频图像中路面区域与摄像机的距离；

3)采用 Kluge模型拟合车道分割线在视频图像中的投影， 通过随机霍夫变化求解模 型中的未知参数， 车道分割线间的区域即为当前图像的兴趣域 ROI， 将后续的处理过程 限制于 ROI内， 确保图像像素的高度一致性；

4)采用区域增长算法， 结合 ROI区域内亮度判断准则以及自适应 Nagao滤波方法， 精确提取路面 mask区域， 所有的后续处理将限制在 mask区域中， 以减少计算量， 保证 所选像素在世界坐标中的照度一致： 计算 ROI 中最下面一行的灰度中值， 计为 median^), 选取亮度为 median(P_g)的像素作为种子点， 依照自下而上、 从左至右原则 逐行扫描 mask区域， 对扫描的目标像素点 根据如下增长准则， 依次判断是否属 于路面区域： 41)亮度均衡性

P(i， ：)与 median(P_g)之间满足

P(i,j) -median(P_g) < pn_r minG^

(6)

(yt— 1,0,1)

式 (6)中， 是小于 1的常数， 代表 Υ， 和初始种子点 相隔行数， G_m。_x则指 某像素点与其上 3-邻域内亮度差阈值， 上 3-邻域即像素点的左上方、上方、 以及右上方 的三个像素点，左上方亮度差阈值 ^，上方亮度差阈值 G _x，右上方亮度差阈值 _ax， 其中-

(? ma ιx― (? mιax < (7 m°ax (7)

42)照度一致性

采用自适应窗宽的 Nagao中值滤波器， 滤除图像中的噪声干扰， 同时不扩散噪声点 的能量， 满足亮度均衡性的像素点经过自适应窗宽的 Nagao中值滤波， 得到像素灰度值 Q(i， 满足：

3m e { - 1, i, i + 1}

Q(i, j) - Q(m, j + \) < G_m' :_{x (8)} 满足亮度连续性以及一致性的像素点即可加入到路面区域中， 直至 mask区域扫描 完毕， 精确的路面区域即可得到；

5)亮度特征提取： 利用前述步骤获得的初始照度一致、 高度一致的路面区域， 分析 路面像素因大气消光导致的亮度变化趋势， 找出其中的变化特征点， 即亮度曲线的二阶 导数零点；

6)能见度计算： 通过由摄像机标定算法求得的灭点坐标以及摄像机参数， 以及亮度 曲线求得的二阶导数零点坐标， 确定大气消光系数， 再利用科西米德定理推导出大气消 光系数与能见度之间的关系， 进而求解确定能见度值。

步骤 2)中的摄像机定标为：

PTZ视频摄像机成像映射模型包括 3个坐标系： 路面世界坐标系^，；^ ^^， 摄像 机坐标系 ( _c，;r_c，z_c)以及视频图像的像平面坐标系^， ， Z_c与路面夹角为 Θ , O距离路面 高度为 H， /为镜头有效焦距， 建立路面坐标系与摄像机坐标系间、 摄像机坐标系与成 像平面间的变换关系为：

由 y_w=+∞可得， 地平线 _VA， 也就是灭点在像平面中的投影为：

=-/tan^

代入式 (2)中可以得到：

据此， 图像中像素所

步骤 6)中大气能见度与消光系数的关系为- 根据科西米德定理， 设 表示大气消光系数， 某一固定亮度的物体在距离人眼距离 为 ί处的视亮度或辐射率 L与物体本身亮度 及背景亮度 关系如下式：

L = L₀e ^M+L_f{\-e ^M) ₍₉₎ 式 (9)表明物体的视亮度由两部分组成： 物体固有亮度 以 消弱， 以及背景亮度 以 形式逐渐加强， 则对比度变化与大气消光系数 ， 距离 ί之间的关系为： / (10) 式 (10)中， 是目标物接收亮度对比度， c_e是固有亮度对比度， 当散射系数与方 位角无关且沿观测者、 目标物和地平天空之间的整个路径上的照度均勾时， 关系式 (10) 成立，

设^ _ei为人眼所能观测到的最远距离， 即对比度为 0.05处的像素点， 有：

关系式 (11)表明了大气能见度与消光系数之间的关系; 则基于亮度特征点的能见度求解为：

将图像亮度 L对像平面竖直方向坐标 V求二阶导数， 并将距离 ί用关系式 (5)代入，

^ 。 — (12) dv (v - v_h ) v - v_h

在消光系数 的作用下， 图像像素亮度 及其导数随距离的变化而发生变化， 随着 雾的增大， 在天空背景下， 目标物变得更加模糊， 并且求得的极值点也在减小， 令二阶 导数为 0， 舍弃无意义的 ^=0的解， 得到：

k = ^^ (13) λ

¼即亮度曲线二阶拐点位置， 也就是二阶导数零点， ¼为地平线即灭点位置， 由此， 大气能见距离为：

V j = ^U (14) k 2(v,. - v_A )

当 趋近于 ¼的时候， ^处于临界状态， 认为此时刚好看见雾的出现； 当 大于 ¼的时候， 雾是可以检测得到的； 相反， 小于 ¼的时候， 认为没有雾的出现。

步骤 5)具体为， 在步骤 4)得到的路面区域中， 依次找出第 行最大长度连续像素点 集 Pix(i， j)，起始于 (， ， 终止于 其长度 /e"g/?(/;j=(¾-a+ _， 中点 middle b+a)/2,j), 各行的中点坐标 middle作为路面测量带的中心， 在式（15)的条件下， 组 成一条路面测量带：

len(Pix(j)) = min(Lengh, lengh(j)) ( 15) 式中 代表组成测量带的第 '行点集， fe< ¾c^^即为其长度， 为一设置的 常数阈值； 获取测量带内每行中值亮度， 得到亮度-距离变化曲线 对 S求二阶导数， 确定变化特征点 即二阶导数零点，并且在寻找二阶导数零点前，对曲线 S进行插值、 滤波， 消除混淆二阶零点， 以减小误差， 得到尽可能精确测量结果。

本发明具有以下优点：

1. 无需设置任何人工标志物， 充分利用已有的 PTZ摄像机进行路况摄像， 获取图像， 能够实时监测， 且监测成本低；

2. 本发明检测方法稳定性高， 能较好的适应各天气状况下的图像， 能准确判断出雾霾 程度， 检测精确在 10米内；

3. 采用自适应窗宽的 Nagao中值滤波器取代传统的均值滤波， 能够同时保证图像分辨 率以及边缘的效果， 且在噪声密度大范围变化时仍然具有较好的鲁棒性；

4. 本发明实现了道路全程能见度无缝检测， 包括局部地区团雾、 全程能见度分布等， 为在雾霾天气有针对性的给出路段车辆限速， 路由迂回等信息， 而非盲目封路提供 了准确的数据支撑， 提高了道路利用率， 具有重要的经济效益。 附图说明

图 1为本发明方法的流程图。

图 2为本发明摄像机标定模模型图。

图 3为本发明为确保亮度一致性采用的区域增长方法流程图。

图 4为区域增长算法采用种子店上 3-邻域示意图。

图 5为图像灰度等级图，对应步骤 6)中的能见度计算。

图 6为本发明摄像机所测得目标物实际亮度组成图示。

图 7为基于亮度特征点的能见度求解流程图。

图 8为本发明预处理后得到的路面测量带示意图。

图 9为本发明计算后得到的亮度变化曲线一阶导数及滤波图。

图 10为本发明实际检测结果示意图。

图 11为本发明实际检测结果与对比度算法及人眼观测结果相比较示意。 具体实施方式

本发明使用数字摄像机模拟人眼的感知特性， 通过研究视频图像中像素对比度、 亮 度变化趋势， 将图像的特征参量变化转换为人的感知强度， 进而求解能见度。 相对于传 统的人力观看视频， 采用纷繁复杂的外场设备进行交通参数采集， 本发明提出了统一的 视频处理方法， 采用现有高速公路上覆盖面最广、 信息反映最直观的监控摄像机进行处 理， 研究构建低成本、 覆盖面广、 信息反映直观的检测手段， 检测当前路况能见度， 实 现低误报率、 低漏检率、 高精度的检测系统， 以实现高密度、 低成本、 易维护的实时路 况信息采集。

如图 1， 本发明采用 PTZ视频摄像机获取路况视频图像， 提取路面的兴趣域 R0I， 获得所选像素的高度一致性； 利用基于 Nagao滤波的区域增长算法得到精确路面区域， 去除路基、 车辆的影响， 确保所选像素在世界坐标中的照度一致； 在路面区域中， 提取 反映路面亮度变化的对比度曲线， 找寻亮度曲线特征点， 通过消光系数计算图像中人眼 可分辨最远像素； 结合摄像机标定换算出最大能见距离， 确定能见度值。 PTZ视频摄像 机， 即 Pan (平移）， Tilt (倾斜）， Zoom (变焦）， 可以水平、 垂直改变视角及变焦的摄像 机， 用于监控系统。

本发明包括以下步骤：

1)通过设置的 PTZ视频摄像机， 实时获取路况视频图像信息；

2)从视频摄像机获取的图像信息， 通过摄像机定标技术完成视频图像与路面世界坐 标的转换关系， 计算视频图像中路面区域与摄像机的距离；

3)采用 Kluge模型拟合车道分割线在视频图像中的投影， 通过随机霍夫变化求解模 型中的未知参数， 车道分割线间的区域即为当前图像的兴趣域 ROI， 将后续的处理过程 限制于 ROI内， 确保图像像素的高度一致性；

4)大气光散射的作用， 使图像中路面像素亮度随着距离呈现一定的变化关系。 路面 上路基、 车道分割线等亮度的跳变， 可能导致路面亮度提取过程中误差较大。 采用区域 增长算法， 结合 ROI区域内亮度判断准则以及自适应 Nagao滤波方法， 精确提取路面 mask区域， 所有的后续处理将限制在 mask区域中， 以减少计算量， 保证所选像素在世 界坐标中的照度一致： 根据摄像机投影成像原理， 图像 ROI中最下面几行必为路面所在 区域，为此，计算 ROI中最下面一行的灰度中值，计为 median( ¾，选取亮度为 median( ¾ 的像素作为种子点， 依照自下而上、 从左至右原则逐行扫描 mask区域， 对扫描的目标 像素点 Υ， 根据如下增长准则， 依次判断是否属于路面区域： 满足亮度连续性以及一 致性的像素点即可加入到路面区域中， 直至 mask区域扫描完毕， 精确的路面区域即可 得到；

5)亮度特征提取： 利用前述步骤获得的初始照度一致、 高度一致的路面区域， 分析 路面像素因大气消光导致的亮度变化趋势， 找出其中的变化特征点， 即亮度曲线的二阶 导数零点；

6)能见度计算： 如图 7， 通过由摄像机标定算法求得的灭点坐标以及摄像机参数， 以及亮度曲线求得的二阶导数零点坐标， 确定大气消光系数， 再利用科西米德定理推导 出大气消光系数与能见度之间的关系， 进而求解确定能见度值。

进一步的， 本发明中， 图像亮度随着距离逐渐变化， 但是由于亮度值是 0~255之间 的离散的整数值， 经常出现相邻行之间亮度值相同的现象， 或是由于噪声点的影响， 导 致存在很多混淆的二阶导数零点， 因此， 为了避免误检， 在寻找突变点前， 对亮度曲线 进行插值、 滤波， 消除混淆二阶零点。

步骤 2)中， PTZ摄像机的成像映射标定模块的计算方法如下：

由路况摄像机成像映射模型， 如图 2所示， 参考文献 [8]中有详细说明， 包括 3个坐 标系： 路面坐标系( ，;^， )， 摄像机坐标系 ( _c，;r_c，z_c)以及像平面坐标系 (_M， 。 Z_c与路 面夹角为 O距离路面高度为 ， 其中/为镜头有效焦距。 建立路面坐标系与摄像机 坐标系间、 摄像机坐标系与成像平面间的变换关系为：

,

v = ~f 由 ; T_w=+∞可得， 地平线 _VA， 也即灭点在像平面中的投影为:

/ tan 6»

(3) 代入 (2)中可以得到：

^ +

f (4)

Y_c = L - d si O Z_c二 d cos Θ

据此， 图像中像素所表征的路面区域距摄像机光心的距离 可表示为：

步骤 3)和步骤 4)中， 分别从高度一致性和照度一致性两个方面来保证视频图像一 致性。

3) R0I检测保证高度一致性。在路面成像过程中，不可避免的会丢失物体高度信息， 如路侧树木成像可能在地平线之上。这将导致提取到的图像特征点难以通过摄像机标定 算法转换为具体的能见度值。 为此， 本发明采用 Kluge模型拟合车道分割线在视频图像 中的投影， 通过随机霍夫变化 (randomized Hough transform, RHT)求解模型中的未知参 数，检测车道分割线在图像中的投影，分割线间的区域即为当前图像的 ROI，关于 Kluge 模型及其参数的求解具体可参见参考文件 [6]的记载。 将后续的处理过程限制于 ROI内， 以确保图像像素的等高性， 同时也大大降低后续运算的复杂度。

4)设定 mask区域的最底端为种子区域， 保证每个种子点灰度值与此行所有像素中 值灰度值相差不大，根据摄像机投影成像原理， 图像 ROI中最下面几行必为路面所在区 域，为此，计算 ROI中最下面一行的灰度中值，计为 medianCP_g)，选取亮度为 medianCP_g) 的像素作为种子点， 依照自下而上、 从左至右原则逐行扫描 mask区域。 区域增长流程 图如图 3所示， 对判断目标像素点 Υ， 根据如下增长准则， 依次判断是否属于路面区 域。

41)亮度均衡性

P(i， 与 median(P_g)之间满足

P(i,j) -median(P_g) < pn_r minG^

(6)

(yt— 1, 0,1)

式 (6)中， 是小于 1的常数， 代表 Υ， 和初始种子点 相隔行数， G_m。_x则指 某像素点与其上 3-邻域内亮度差阈值， 上 3-邻域即像素点的左上方、上方、 以及右上方 的三个像素点，左上方亮度差阈值 „1，上方亮度差阈值 G _x，右上方亮度差阈值 _ax， 如图 4所示， 一般有：

G m—a ¹x = G m¹ ax < G m⁰ax (7) 亮度均衡性保证防止像素点亮度发生漂移， 假设图像灰度值范围为 0~255， 相邻两 行间阈值为 8， 如果只限制相邻行而不加此限制， 有可能在 32行后黑点 (亮度值为 0)和白 点 (亮度值为 255)同时存在在路面区域内， 灰度值相对于种子点灰度发生了较大的漂移。

42)基于自适应窗宽的 Nagao中值滤波器的照度一致性

这里的 Nagao中值滤波器在文件 [9][10]中已有详细介绍， 不再详述。 满足亮度均衡 性的像素点经过自适应窗宽的 Nagao中值滤波， 得到像素灰度值 满足：

Q(i, j) - Q(m, j + \) < G_m' _x (8) 这一条件在去除图像噪声的基础上有效防止了区域内灰度值发生跳变。

Nagao算法的思想是： 首先围绕中心像素将一个长条形模板旋转一周， 选择方差最 小的模板位置， 以其灰度均值来代替中心像素的灰度值， 迭代至变化的像素数为 0。

考虑到角分辨率、边缘的保留以及计算准确率，选择了自适应窗宽的 Nagao滤波器: 自适应窗宽 Nagao滤波器对于同质区， 采用大尺度模板， 使得角分辨率更为精细； 而对于边缘区和纹理区， 采用小尺度模板， 避免了模糊边缘与纹理。 由于传统 Nagao滤 波器采用均值滤波， 本身效果并不理想。 而对模板采用中值滤波替代均值滤波， 抵御噪 声的能力更强， 即使模板内存在多个噪声点， 也能清晰滤波。 采用自适应窗宽 Nagao中 值滤波器可以有效的滤除由于路基、 绿化带、 阴影等所导致的路面噪声点， 同时保留 mask 区域的边缘与纹理特性。 满足亮度连续性以及一致性的像素点即可加入到路面区 域中， 直至 mask区域扫描完毕， 精确的路面区域即可得到。

步骤 5)中， 亮度特征提取步骤如下所示：

在步骤 4)得到的路面区域中， 由于车辆、 绿化带的影响， 每行像素点存在间断， 直 接取其中值亮度可能受到干扰物的影响。 从中依次找出第 '行最大长度连续像素点集 Pix(i， j)， 起始于 (a，j)， 终止于 (b, j) , 实长度 kngh(j)=(b-a+l)—， ¾ ·, 中点 middle为 ((b+a)/2，j) , 当 为奇数时， 按本领域常规进行取整操作， 也就是在位于中间的两个 像素点中任选一个作为中点。各行的中点坐标 middle作为路面测量带的中心，在式（15) 的条件下， 组成一条路面测量带。

len(Pix(j)) = min(Lengh, lengh(j)) ( 15) 式中 代表组成测量带的第 j行点集， fe< ¾c^^即为其长度， Lengh为一常数阈 值,一般依据图像分辨率， 取图像水平分辨率的 5%〜10%， 在本系统中， 由于图像分辨率 为 704*576,水平分辨率为 704， 该阈值取为 50， 测量带以及其中点示意如图 8所示； 获 取测量带内每行中值亮度， 如下式-

Bj = median{Pix{j)) (16) 得到亮度-距离变化曲线 s。 对 s求二阶导数， 确定突变点 结合摄像机标定计 算消光系数， 继而得到最大能见距离。 亮度 s 随着距离逐渐变化， 但是由于亮度值是

0~255之间的离散的整数值， 经常出现相邻行之间亮度值相同的现象， 或是由于噪声点 的影响， 导致存在很多混淆的二阶导数零点。 因此， 为了避免误检， 在寻找突变点前， 对 S插值、 滤波， 消除混淆二阶零点， 寻找 S—阶导数极大值点， 也即亮度函数二阶突 变点， 如图 9所示， 横轴代表图像坐标系沿竖直方向坐标， 也即图像坐标系中目标点距 摄像机距离， 蓝色线条表示对各行亮度求导的一阶导数值， 红色线条代表一阶导数滤波 效果图， 一阶导数最大值处即为二阶亮度特征点， 据此计算能见度。

步骤 6)中， 能见度的推导方式如下：

61)大气能见度与消光系数的关系

大气能见度属反映大气透明度的指标。 一般定义为相对于天空散射光背景下， 观测 安置于地面附近、 适当尺度的黑色目标物， 能看到且能辨认出的最大距离。 该定义依赖 于人的视觉， 人与计算机对图像的感知能力存在差异， 如图 5所示， 一个 16位的灰度 等级， 计算机能够准确分辨出任两等级之间的差异， 而人眼只能区分亮度差大的等级。

根据 CIE的定义， 目标物相对于背景对比度大于 0.05的像素点， 人眼才能够区分 出来。 只有确定人和计算机对图像感知能力之间的差异， 计算机才能具有测量能见度的 能力。

Koschmieder提出， 在天空背景下光线透过大气层时存在衰减， 假设 表示大气消 光系数，某一固定亮度的物体在距离人眼距离为 ί处的视亮度或辐射率 £与物体本身亮 度 ^及背景亮度 关系如下式：

τ τ ―] id τ —kd \

= L₀e + L_f (l - e ) (₉) 式 (9)表明物体的视亮度由两部分组成： 物体固有亮度 以 消弱以及背景亮度 以 ^形式逐渐加强， 如图 6所示， 据此可推导出对比度变化与大气消光系数 ， 距离 ί之间的关系为： L_f (10) 式 (10)中， 是目标物接收亮度对比度， c_e是固有亮度对比度。 当散射系数与方 位角无关且沿观测者、 目标物和地平天空之间的整个路径上的照度均勾时， 关系式 (10) 成立。

设^ _ei为人眼所能观测到的最远距离， 即对比度为 0.05处的像素点， 有： ^ = -}ln(¾ = -}ln(0.05) » ^

k C₀ k k (U) 关系式 (11)表明了大气能见度与消光系数之间的关系。

62)基于亮度特征点的能见度求解

将图像亮度对像平面竖直方向坐标 V求二阶导数， 有： dv (v ~ v_h) v - v_h (₁₂) 在消光系数 的作用下， 图像像素亮度 及其导数随距离的变化而发生变化。 随着 雾的增大， 在天空背景下， 目标物变得更加模糊， 并且求得的极值点也在减小。 令二阶 导数为 0， 舍弃无意义的 ^=0的解， 得到：

h ₌ 2(v_i - v_h)

λ (13)

¼即亮度曲线二阶拐点位置， ¼为地平线即灭点位置。 由此， 大气能见距离为：

3 3Λ

V , » .

k ²(^vi - ^vh ) (14) 当 ^趋近于 A¾的时候， ^^处于临界状态， 认为此时刚好看见雾的出现； 当 ^大于 ¼的时候， 雾是可以检测得到的； 相反， 小于 ¼的时候， 认为没有雾的出现。

下面以路况能见度检测来具体说明本发明的实施。

能见度检测测试硬件平台为 P4/2.8GHZ单 CPU、 1G内存、 SUSE Linux操作系统， 视频采集来自江苏省宁连高速公路视频监控图像， MPEG-2, 分辨率为 704 X 576。

图 10分别取自同一场景的能见度逐步变化的一组 4幅图像， 每隔约 30min截取一 帧图像， 图中 "+ "代表由对比度算法得到的临界能见度， 横线位置即为本发明方法得 到的能见度， 其中 为人眼观测得到的能见度值。

图 11 所示场景能见度变化过程中， 本发明方法与人眼以及基于对比度方法的检测 结果比较。 该算法与人眼观测效果一致， 准确率达到 96%以上， 检测误差在 10米以内， 与能见度的对比度算法相比较， 操作简单、 抗干扰强、 准确率高。

由图 10~11可以看出， 随着能见度的增加， 检测到的最大能见距离与图像的顶端越 近； 在大多数情况下， 本发明方法与人眼观测值相一致， 也与基于对比度计算法结果符 合。 在误差允许范围内存在微小波动， 而在图像噪声较大或者团雾环境下， 基于对比度 算法存在跳变， 误差较大， 本发明方法可给出较好的能见度值。

Claims

权利要求书

1、基于图像亮度特征的 PTZ视频能见度检测方法， 其特征是采用 ΡΤΖ视频摄像机 获取路况视频图像， 提取路面的兴趣域 ROI， 获得所选像素的高度一致性； 利用基于 Nagao滤波的区域增长算法得到精确路面区域， 去除路基、 车辆的影响， 确保所选像素 在世界坐标中的照度一致； 在路面区域中， 提取反映路面亮度变化的对比度曲线， 找寻 亮度曲线特征点， 通过消光系数计算图像中人眼可分辨最远像素； 结合摄像机标定换算 出最大能见距离， 确定能见度值， 包括以下步骤：

1)通过设置的 PTZ视频摄像机， 实时获取路况视频图像信息；

2)从视频摄像机获取的图像信息， 通过摄像机定标技术完成视频图像与路面世界坐 标的转换关系， 计算视频图像中路面区域与摄像机的距离；

3)采用 Kluge模型拟合车道分割线在视频图像中的投影， 通过随机霍夫变化求解模 型中的未知参数， 车道分割线间的区域即为当前图像的兴趣域 ROI， 将后续的处理过程 限制于 ROI内， 确保图像像素的高度一致性；

4)采用区域增长算法， 结合 ROI区域内亮度判断准则以及自适应 Nagao滤波方法， 精确提取路面 mask区域， 将所有的后续处理限制在 mask区域中， 以减少计算量， 保证 所选像素在世界坐标中的照度一致； 计算 ROI 中最下面一行的灰度中值， 计为 median^), 选取亮度为 median(P_g)的像素作为种子点， 依照自下而上、 从左至右原则 逐行扫描 mask区域， 对扫描的目标像素点 根据如下增长准则， 依次判断是否属 于路面区域：

41)亮度均衡性

P(i， 与 median(P_g)之间满足

P(i,j) -median(P_g) < pn_r minG^

(6)

(yt— 1, 0,1)

式 (6)中， ^是小于 1的常数， 代表 Υ， 和初始种子点 ^相隔行数， G_m。_x则指 某像素点与其上 3-邻域内亮度差阈值， 上 3-邻域即像素点的左上方、上方、 以及右上方 的三个像素点，左上方亮度差阈值 ^，上方亮度差阈值 G _x，右上方亮度差阈值 _ax， 其中-

G m—a ¹x = G m¹ ax < G m⁰ax (7)

42)照度一致性

采用自适应窗宽的 Nagao中值滤波器， 滤除图像中的噪声干扰， 同时不扩散噪声点 的能量， 满足亮度均衡性的像素点经过自适应窗宽的 Nagao中值滤波， 得到像素灰度值 Q(i， 满足：

3m e { - 1, i, i + 1}

Q(i,j)-Q(m,j + \)<G_m':_{x (8)} 满足亮度连续性以及一致性的像素点即可加入到路面区域中， 直至 mask区域扫描 完毕， 精确的路面区域即可得到；

5)亮度特征提取： 利用前述步骤获得的初始照度一致、 高度一致的路面区域， 分析 路面像素因大气消光导致的亮度变化趋势， 找出其中的变化特征点， 即亮度曲线的二阶 导数零点；

6)能见度计算： 通过由摄像机标定算法求得的灭点坐标以及摄像机参数， 以及亮度 曲线求得的二阶导数零点坐标， 确定大气消光系数， 再利用科西米德定理推导出大气消 光系数与能见度之间的关系， 进而求解确定能见度值。

2、 根据权利要求 1所述的基于图像亮度特征的 PTZ视频能见度检测方法， 其特征 是步骤 2)中的摄像机定标为：

PTZ视频摄像机成像映射模型包括 3个坐标系： 路面世界坐标系 ( _w， ,Z_W), 摄像 机坐标系 ( _c，;r_c，z_c)以及视频图像的像平面坐标系^， ， Z_c与路面夹角为 Θ , 摄像机光心 O距离路面高度为 ， /为镜头有效焦距， 建立路面坐标系与摄像机坐标系间、 摄像机 坐标系与成像平面间的变换关系为：

由 y_w=+∞可得， 地平线 v_k, 也就是灭点在像平面中的投影为：

代入式 (2)中可以得到:

Y„ - L-ά νίθ Z_r -d cos Θ

据此， 图像中像素所表征的路面区域距摄像机光心的距离 4可表示为: (5

3、 根据权利要求 1或 2所述的基于图像亮度特征的 PTZ视频能见度检测方法， 其 特征是步骤 6)中大气能见度与消光系数的关系为- 根据科西米德定理， 设 表示大气消光系数， 某一固定亮度的物体在距离人眼距离 为 ί处的视亮度或辐射率 L与物体本身亮度 及背景亮度 关系如下式：

L = L₀e ^M + L_f {\ - e ^M) ₍₉₎ 式 (9)表明物体的视亮度由两部分组成： 物体固有亮度 以 消弱， 以及背景亮度 以 形式逐渐加强， 则对比度变化与大气消光系数 ， 距离 ί之间的关系为：

L -L_r L_n -L₍

C ■■ C_ne~

L L

f (10) 式 (10)中， 是目标物接收亮度对比度， c_e是固有亮度对比度， 当散射系数与方 位角无关且沿观测者、 目标物和地平天空之间的整个路径上的照度均匀时， 关系式 (10) 成立，

设^ _ei为人眼所能观测到的最远距离， 即对比度为 0.05处的像素点， 有：

^ = -}ln(¾ = -}ln(0.05)

k C_n k

(i i) 关系式 (11)表明了大气能见度与消光系数之间的关系；

则基于亮度特征点的能见度求解为：

将图像亮度 L对像平面竖直方向坐标 V求二阶导数， 并将距离 ί用关系式 (5)代入，

在消光系数 的作用下， 图像像素亮度 及其导数随距离的变化而发生变化， 随着 雾的增大， 在天空背景下， 目标物变得更加模糊， 并且求得的极值点也在减小， 令二阶 导数为 0， 舍弃无意义的 ^=0的解， 得到：

k 2( ,- - (13) λ

¼即亮度曲线二阶拐点位置， 也就是二阶导数零点， ¼为地平线即灭点位置， 由此， 大气能见距离为：

3λ

V— (14) k 2(v,. -v_A) 当 趋近于 ¼的时候， ！^^处于临界状态， 认为此时刚好看见雾的出现； 当 大于 W的时候， 雾是可以检测得到的； 相反， 小于 ¼的时候， 认为没有雾的出现。

4、 根据权利要求 1或 2所述的基于图像亮度特征的 ΡΤΖ视频能见度检测方法， 其 特征是步骤 5)具体为， 在步骤 4)得到的路面区域中， 依次找出第 行最大长度连续像素 集 Pix(i，j)，起始于 (α， ;，终止于 (¾，；，其长度 /£^/?(/；)吖 ό-α+^_， ¾ ：)中点 middle 为 ((b+a)/2,j), 各行的中点坐标 middle作为路面测量带的中心， 在式（15)的条件下， 组 成一条路面测量带：

len(Pix(j)) = min(Lengh, lengh(j)) (15) 式中 代表组成测量带的第 '行点集， fe< ¾c^^即为其长度， 为一设置的 常数阈值； 获取测量带内每行中值亮度， 得到亮度-距离变化曲线 对 S求二阶导数， 确定变化特征点 即二阶导数零点，并且在寻找二阶导数零点前，对曲线 S进行插值、 滤波， 消除混淆二阶零点， 以减小误差， 得到尽可能精确测量结果。

5、 根据权利要求 3所述的基于图像亮度特征的 PTZ视频能见度检测方法， 其特征 是步骤 5)具体为， 在步骤 4)得到的路面区域中， 依次找出第 行最大长度连续像素点集 Pix(i， j)， 起始于 (α， ， 终止于 其长度 /£^^(/；)= -0+^_， ¾ '， 中点 middle为 ((b+a)/2,j), 各行的中点坐标 middle作为路面测量带的中心， 在式（15)的条件下， 组成 一条路面测量带：

len(Pix(j)) = min(Lengh, lengh(j)) (15) 式中 代表组成测量带的第 '行点集， fe< ¾c^^即为其长度， 为一设置的 常数阈值； 获取测量带内每行中值亮度， 得到亮度-距离变化曲线 对 S求二阶导数， 确定变化特征点 即二阶导数零点，并且在寻找二阶导数零点前，对曲线 S进行插值、 滤波， 消除混淆二阶零点， 以减小误差， 得到尽可能精确测量结果。