WO2015024407A1 - 基于电力机器人的双目视觉导航系统及方法 - Google Patents

Abstract

一种基于电力机器人的双目视觉导航系统，它包括：图像采集系统，通过采集软件控制摄像机采集机器人前行道路上的环境图像，然后将采集的图像通过有线传输给视觉分析系统；视觉分析系统：根据双目图像信息及摄像机内外参数信息检测障碍物，将信息传输至机器人控制系统；路径规划系统：根据图像采集系统采集的环境信息，构建二维占据地图，进行路径规划，出现障碍物时，对机器人行走路线及时做出调整，避免机器人与障碍物发生碰撞；同时公开了一种视觉导航方法，避免与障碍物发生碰撞，提高了对环境的自适应能力，真正解决了室外复杂环境下，电力机器人的自主导航功能，提高了机器人的灵活性和安全性。

Description

说明书 基于电力机器人的双目视觉导航系统及方法 技术领域

本发明涉及一种双目视觉导航系统及方法， 尤其涉及一种基于电力机器人的双目视觉导 航系统及方法。

背景技术

随着社会经济的不断发展，用电量急剧增长，从而输电线路长度和变电站数量急剧上升。 变电站和输电线路的安全检测， 大都还依靠人工完成， 人工巡检电力设备劳动强度大、 效率 低， 已经跟不上时代的步伐。 为保证安全和可靠地供电， 电力设备的运维自动化和现代化已 日益显示出其迫切性。 现代科技发展迅速， 各种电力机器人应运而生， 能代替或辅助传统人 工进行巡检作业， 提高工作效率， 降低劳动强度， 减少作业风险。 为变电站无人值守、 自动 运维提供了新思路。

当前电力机器基于固定巡视路线、 固定巡视位置采集设备图像。 电力机器人平台采用磁 传感器实现导航， 该导航方式优点是可靠、 稳定， 缺点是成本高、 不够灵活。 导航路线确定 后， 需要通过人工现场施工， 填埋磁轨， 磁轨迹路线一旦实施， 较难改变。 且变电站环境中 可填埋磁轨迹的区域有限， 这成为约束机器人行驶范围的主要原因。 进而使得机器人必须在 距离设备较远的位置采集图像， 为后续的图像处理与分析引入了较多问题。 另外， 由于变电 站环境属于非结构环境， 会不定期的进入人员进行设备维护， 以及存在车辆进入的情况， 如 何保证机器人不会对人进行伤害， 以及避免与行进道路上的车辆进行避让， 是新一代智能电 力机器人必须具备的能力。 因此， 为电力机器人增加更灵活的感知环境的方式， 是提高机器 人巡检性能一个重要方面， 同样也是提高电力机器人智能化水平的一个重要方面。

电力机器人对于环境的感知， 当前使用了超声传感器， 实现对近距离障碍物的检测。 由 于超声传感器基于固定高度的扫描线进行测量， 不能完全满足具有一定高度范围要求的电力 机器人的实际需要。 因此， 研究适用于变电站环境和电力机器人检测范围较大的环境感知技 术是电力机器人亟待解决的问题。

随着传感器技术及处理器技术的发展， 机器人技术朝着越来越智能化的方向发展。 计算 机视觉理论的形成和发展， 让机器人具备了类似人类双眼的视觉系统， 让机器人可以根据视 觉系统得更多的环境信息。 视觉导航技术主要包括基于单目的、 基于双目立体视觉的、 三目 及多目摄像机结构。 单目视觉主要利用摄像机采集到的图像信息， 对结构场景中的标识进行 识别， 直接利用图像平面信息对场景进行判断， 也有利用基于运动的三维信息恢复的方法， 说明书 基于单目相机结构进行导航。 立体视觉技术主要利用由两幅或两幅以上的图像重构得到的三 维信息， 在此基础上进行障碍物检测和路况检测， 最终实现避障和导航等功能。 如早期的火 星探测车， 使用了双目立体视觉技术进行视觉避障和导航。

避障功能是智能移动机器人必备的一个功能， 基于该功能机器人可以对变换的环境实时 做出反应， 避免发生碰撞危险， 并且可以自动避开障碍物， 继续原始路径行驶， 提高了机器 人的自主性和系统安全性。 避障功能主要包括障碍物检测和路径规划两部分内容。 其中， 障 碍物检测就是通过对传感器采集的信息，进行处理、分析，得到障碍物的位置、尺寸等信息； 路径规划就是利用当前检测到的障碍物信息以及其他道路信息构成地图， 并对可行驶的路径 进行规划， 给出机器人可以行驶的路径。 当前， 基于视觉系统的障碍物检测方法可以分为基 于三维信息恢复的障碍物检测方法、 基于逆向投影的障碍物检测、 基于视差直方图的检测方 法。

通过分析现有技术中电力机器人在行驶过程中采集到的双目图像信息发现：

( 1 )机器人行驶路径两侧设备较多， 造成图像背景复杂， 从而产生障碍物与设备区域重 叠的情况， 给目标提取、 分割等操作带来了较大困难；

( 2 )道路区域信息会受室外光照变化、 特殊天气等影响， 使得路面存在干扰信息， 容易 引入障碍物检测误差。

发明内容

本发明的目的就是为了解决上述问题， 提供一种基于电力机器人的双目视觉导航系统及 方法， 它具有不影响变电站内设备正常运行、 基于图像信息分析， 信息量丰富、 成本低， 易 推广的优点：

为了实现上述目的， 本发明采用如下技术方案：

一种基于电力机器人的双目视觉导航系统， 它包括：

图像采集系统： 图像采集系统包括双目摄像机， 双目摄像机通过图像传输线与图像采集 卡连接， 双目摄像机采集电力机器人前行道路上的环境图像， 然后将采集的图像通过图像传 输线上传到图像采集卡上，图像采集卡在将采集到的道路上的环境图像传输给视觉分析系统; 视觉分析系统： 根据图像采集系统采集的双目图像信息及摄像机内外参数信息， 通过逆 向投影理论及三维重构技术实现对变电站道路区域内的障碍物的检测， 并将信息传输至路径 规划系统；

路径规划系统：根据图像采集系统采集的环境信息，构建二维占据地图，进行路径规划， 出现障碍物时， 对机器人行走路线及时做出调整， 避免机器人与障碍物发生碰撞； 说明书 运动控制系统： 根据路径规划系统规划的路径控制机器人本体移动。

所述双目摄像机的两光轴平行、 两光心连线与地面平行， 双目摄像机通过安装支架安装 在电力机器人本体上， 所述安装支架为摄像机放置平台， 设定双目摄像机光轴朝向与机器人 坐标系 Y轴平行， 摄像机放置平台以固定轴心旋转。

一种基于电力机器人的双目视觉导航系统的视觉导航方法， 具体步骤为：

步骤一： 采集双目环境图像，通过图像解析， 畸变校正，立体校正获得去除了畸变效果、 且像素匹配关系约束在相同的 X轴的双目图像；

步骤二： 将校正后的图像逆向投影变换， 将左目图像和右目图像投影到地平面上， 并将 重新投影后的左目图像和右目图像的像素做差， 并对差值图像做 Canny边缘检测， 然后， 使 用 Hough直线检测出道路区域和道路边缘；

步骤三： 在确定道路区域与道路边缘后， 在图像感兴趣区域内根据区域的灰度区域相关 性确定左目图像和右目图像的匹配关系； 然后， 根据左目图像和右目图像的匹配关系生成视 差图， 统计视差图的直方图， 对视差图进行直方图分割， 并判断视差图像中有无障碍物； 如 果存在障碍物， 则进行步骤四， 否则， 返回步骤一；

步骤四： 根据分割得到的障碍物区域、 摄像机标定信息确定障碍物的三维信息， 根据障 碍物的三维信息确定障碍物区域的尺寸和平均距离；

步骤五:将检测到的障碍物信息传输至机器人控制系统，根据新的障碍物信息更新地图， 根据已存在的路径信息， 路径规划系统对机器人下一步移动方向进行规划， 机器人控制系统 根据当前的机器人行驶方向机速度输入到移动平台驱动器， 实现机器人移动， 当无法执行下 一步操作时， 机器人停止， 并上报信号给上位机， 如果可以执行， 重复步骤一。

所述步骤一的具体步骤为：

( 1-1) 双目摄像机采集环境图像信息；

( 1-2) 根据双目摄像机的内部参数 Ι^,Κ , 双目摄像机相对位置关系 R,T， 以及标定得 到的畸变参数（ ₃,；^；¾)对电力机器人行走过程中采集到的左目图像和右目图像进行畸 变校正和立体校正；

( 1-3)将校正后的左目图像和右目图像逆向投影变换，将双目图像重新投影到地平面上， 其中， 通过双目摄像机参数 Κ^Κ^Ι ,Τ,以及参考摄像机坐标系相对于地平面世界坐标系下的 旋转矩阵和平移矩阵 R_W,T_W， 确定逆向投影变换； 说明书 设当前左目或右目摄像机内部参数为： κ = ， /_M和/ ^是横向、纵向焦距， M。,v₀

为图像平面主点位置， 为像素纵横比， 当前摄像机相对于世界坐标系的旋转矩阵 R_w和平移 矩阵 T_w， 图像平面空间像素坐标为 (u, 1；)， 地平面上世界坐标系下的目标坐标为 (X, ,Z)， 设 双目摄像机光心相对于地平面高度为 H， 双目摄像机的光心相对于地平面的俯仰夹角为 θ， 设 电力机器人的坐标系为 0₂， / 。_rad为机器人坐标系下地平面的方程， 根据变电站实际环境， 设地平面方程为 2 = 0， 所以有 P g< round

根据双目摄像机投影关系得到图像平面与地平面间 s ο的投影关系使用齐坐标表示为:

W

所述步骤二的具体步骤为：

( 2-1 )将左目图像和右目图像逆向投影到世界坐标系中， 根据平面间映射关系， 仍然得 到保持平行关系的道路边缘信息；

( 2-2 )在得到双目摄像机的逆向投影矩阵后， 将左目图像和右目图像逆向投影到世界坐 标系中得到图像 lmg _ma P lmgR,_ap ； 然后， 将图像 lmg _map和 lmgR,_ap进行差值运算得 到 Image_di//^_ence， 将世界坐标系中图像 lmg _ma^P lmg _emap的重合信息进行过滤， 提取道 路边缘及障碍物区域不重合的区域信息； 使用 Hough 变换检测直线， 根据直线的象限方向、 长度、 位置进行约束， 提取道路两侧边缘在摄像机坐标系下的直线方程； 根据摄像机相对机 器人坐标系的坐标变换关系， 计算得到机器人坐标系下的道路信息， 将参考道路信息提供给 路径规划系统进行路径规划。

所述步骤三的具体步骤为：

(3-1 ) 根据双目摄像机坐标间的内外参数， 基于像素间的 SAD灰度相关性， 计算双目 图像间的像素匹配关系， 得到视差图 ¹ disparity »

G-²)设图像 I(x, y)与图像 J(x, y)间的窗口尺寸为 (w, w)的 SAD灰度相关度，则有 I(x, y)图 说明书 像中 (x,y)点与 J(x,y)图像中 (x',y')点间的 SAD相关性为- + i,y + )) ~J(x + y +7)1 j n

根据左目图像空间中一个像素 (xZ,;y)， 在右目图像中搜索相同纵坐标上的每个像素点 (xr,y), 通过确定每个像素点间的 SAD相似性， 将相似度较高的点作为候选匹配点， 在根据 顺序性， 唯一性约束得到最终的匹配关系；

(3-4) 然后， 对视差图统计直方图， 然后对直方图进行高斯平滑操作，

视差直方图计算方法就是将图像中所有像素相同的像素的个数进行累加， 生成一个一维 的数组来记录二维图像中每个灰度值出现的概率；

平滑过程为： p^(x) = ^^e^^^;

其中 P( )指滤波后的值， 为直方图每个单元的值， 为高斯函数的均值和方差；

(3-5)根据平滑过的直方图， 给定一定斜率的直线检测高于直线的直方图区间， 从而得 到障碍物的初始检测结果。

所述步骤四的具体步骤为：

(4-1)在得到了障碍物区域的匹配关系后， 根据已知的双目摄像机的内部参数和外部参 数， 根据三角形定位原理， 得到障碍物区域的三维点坐标；

(4-2)根据左右目图像间的匹配关系和双目摄像机的内部参数和外部参数， 构造三维重 构方程 Q， 并得到障碍物区域的三维点坐标：

-1 0 0 — u₀

0 1 0 -v₀

^{Q =} 0 0 ^f

0 0 -^r (u₀ - u₀')T_x

其中 ， u。， v。为校正后参考摄像机的主点的横、 纵坐标， u。'为相机的主点横坐标， ！为 两摄像机间基线距离 ,(Χ,Υ,Ζ)是以摄像机为原点的三维坐标系下的三维点坐标， （u,v,d)为图 像坐标值与对应的视差值；

(4-3)获取图像中障碍物区域的三维点后， 根据障碍物的三维点分布， 拟合各个连通区 域三维点所在的平面， 建立最最小外接矩形， 并求取质心， 最终确定障碍物的实际尺寸和具 体位置。

所述步骤五的具体步骤为： 说明书

(5-1 )将障碍物的三维点坐标映射到世界坐标系中， 以双目摄像机光心连线上的中点为 原点， 构建一定范围内的栅格地图， 根据三维点在地平面上的投影个数， 对栅格进行填充；

(5-2)根据二维占据局部地图， 以及已知的全局目标点， 及电力机器人在全局地图中的 位置， 使用马尔可夫路径规划算法， 对电力机器人进行路径规划， 得到避障路径；

(5-3 )路径规划系统对机器人下一步移动方向进行规划， 机器人控制系统根据当前的机 器人行驶方向机速度输入到移动平台驱动器， 实现机器人移动。

本发明的有益效果-

( 1 )本发明基于双目视觉系统， 使用逆向投影算法， 提取了道路边缘信息， 在不需要恢 复三维信息的前提下， 就可以给出机器人航向角偏差， 对机器人行驶路径进行调整。

( 2 )本发明还提供了基于视差直方图分割的障碍物检测， 实现了道路区域内出现的高于 地面一定距离以上的障碍物的自动检测， 为机器人自主避障与导航提供了充分的信息。

( 3 )基于本发明，机器人可以自动检测运行方向的障碍物，并根据障碍物的位置的尺寸， 自动做出停止、 避让、 报警等反应， 从而避免与障碍物发生碰撞， 提高了对环境的自适应能 力， 真正解决了室外复杂环境下， 电力机器人的自主导航功能， 提高了机器人的灵活性和安 全性；

(4 ) 本发明采用非接触环境信息感知技术， 不影响变电站内设备正常运行；

( 5 ) 基于图像信息分析， 信息量丰富； 相对于激光、 磁轨迹等导航方式， 成本低， 易 推广。

附图说明

图 1为本发明的系统框图；

图 2为发明的系统流程图。

1.图像采集系统， 2.视觉分析系统， 3.路径规划系统， 4.运动控制系统， 5.机器人本体。 具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图 1所示， 图像采集系统 1: 图像采集系统 1包括双目摄像机， 双目摄像机通过图像 传输线与图像采集卡连接， 双目摄像机采集电力机器人前行道路上的环境图像， 然后将采集 的图像通过图像传输线上传到图像采集卡上， 图像采集卡在将采集到的道路上的环境图像传 输给视觉分析系统 2;

视觉分析系统 2: 根据图像采集系统 1采集的双目图像信息及摄像机内外参数信息， 通 过逆向投影理论及三维重构技术实现对变电站道路区域内的障碍物的检测， 并将信息传输至 说明书 路径规划系统 3;

路径规划系统 3: 根据图像采集系统 1采集的环境信息， 构建二维占据地图， 进行路径 规划， 出现障碍物时， 对机器人行走路线及时做出调整， 避免机器人与障碍物发生碰撞； 运动控制系统 4: 根据路径规划系统规划的路径控制机器人本体 5移动。

所述双目摄像机的两光轴平行、 两光心连线与地面平行， 双目摄像机通过安装支架安装 在电力机器人本体上， 所述安装支架为摄像机放置平台， 设定双目摄像机光轴朝向与机器人 坐标系 Y轴平行， 摄像机放置平台以固定轴心旋转。

通过路径规划确定变电站巡检机器人在设备间隔道路上的行走轨迹， 机器人开始行驶。 行驶过程中， 通过机器人车载处理器下发指令开启双目摄像机。

所述双目摄像机的两光轴平行、 两光心连线与地面平行， 双目摄像机通过安装支架安装 在电力机器人本体上， 所述安装支架为摄像机放置平台， 设定双目摄像机光轴朝向与机器人

¾ f o o

坐标系 Y轴平行， 摄像机放置平台以固定轴心旋转， 从而改变摄像机光轴相对于地平面的上 s o

下俯仰角度， 摄像机俯仰角度和安装高度根据摄像机焦距、 视场角范围、 机器人最近拍摄距 离、 机器人安全距离等参数来确定。

如图 2所示， （1) 双目摄像机开始采集环境图像信息。

( 2 ) 立体校正

根据已知的双目摄像机内部参数， 对变电站机器人行走过程中采集到的双目图像进行畸 变矫正和立体矫正，计算方法可参考《学习 OpenCV》第 410页透镜畸变与第 467页立体校正。

( 3 ) 基于逆向投影的道路检测

对校正后的左目图像和右目图像， 进行逆向投影变换， 将右目图像和左目图像投影到地 平面世界坐标系中；其中，通过相机内部参数 K以及相机相对于地平面坐标系的外部参数 R、 T， 计算得到逆向投影变换： 假定当前单目 （左目或右目） 摄像机内部参数为： k = ， 摄像机相对于世界 坐标系的旋转矩阵与平移矩阵1^,1；， 图像平面空间像素坐标为 (U, 17)， 地平面上的世界坐标 系下的目标坐标为 (X, ,Z)， 已知摄像机光心相对于地平面高度为 H， 摄像机的光心相对于地 平面的俯仰夹角为 θ， 定义地平面世界坐标系 0₂， / 。_Mnd为电力机器人坐标系下地平面的方 程， 根据变电站实际环境， 一般情况下定义地平面方程为 Z = 0， 所以有 说明书

1 0 0

0 1 0

P g,round 0 0 0

0 0 1

根据摄像机投影变换得到图像平面与地平面间的投影关系的齐次坐标表示为:

X X

U Y Y

W V P 即 W K[R|T]P_f ground

Z Ζ

1

1 1

将左目图像逆向投影到地平面的世界坐标系中， 根据仿射不变性， 得到仍然保持平行关 系的道路边缘信息； 在得到双目摄像机的逆向投影矩阵后， 将左目图像和右目图像逆向投影 到地平面上的世界坐标系中得到图像 ImageL_TOmap， ImageR_remap； 然后， 将图像

ImageL_remap, ImageR_remap进行差值运算得到 Image_di//erence， 将地平面的世界坐标系上的 图像重合信息进行过滤， 提取道路边缘及障碍物区域不重合的区域信息； 使用 Hough变换检 测直线， 根据直线的象限方向、 长度、 位置进行约束， 提取道路两侧边缘在摄像机坐标系下 的直线方程； 根据摄像机相对机器人坐标系的坐标变换关系， 计算得到机器人坐标系下的道 路信息， 将参考道路信息提供给路径规划系统进行路径规划。

所述 Hough变换检测直线是将每一个边缘点为通过它的所有的可能的直线进行投票， 然 后检测直线方程坐标系空间内最高累加值对应的点，作为最可能匹配的直线，设直线方程为： y=kx+d, 在计算得到多条可能的直线后， 根据直线斜率方向 K的取值方位及直线长度 等信息， 得到最符合的两条直线方程。

(4) 障碍物检测假设

根据双目摄像机坐标间的内外参数， 基于像素间的 SAD灰度相关性， 计算双目图像间的 像素匹配关系， 得到视差图 disparity *·>

设图像 I(x,y)与图像 J(x,y)间的窗口尺寸为 (w,w)的 SAD灰度相关度， 则有 I(x,y)图像中 (x,y)点与 J(x,y)图像中 (x',y 点间的 SAD相关性为-

SAD(x,y)=∑^_ ∑ ~J -i| ( + i,y + }) -/(x + i,y+j)\ i、 '； 根据左目图像空间中一个像素 (xZ,;y)， 在右目图像中搜索相同纵坐标上的每个像素点

(xr,y), 通过确定每个像素点间的 SAD相似性， 将相似度较高的点作为候选匹配点， 在根据 顺序性， 唯一性约束得到最终的匹配关系； 说明书 然后， 对视差图统计直方图， 然后对直方图进行高斯平滑操作， 视差直方图计算方法就 是将图像中所有像素相同的像素的个数进行累加， 生成一个一维的数组来记录二维图像中每 个灰度值出现的概率。

平滑过程为：

其中 P( )指滤波后的值， 为直方图每个单元的值， 为高斯函数的均值和方差； 根据平滑过的直方图， 给定一定斜率 k的直线检测高于直线的直方图区间， 从而得到障 碍物的初始检测结果，例如假设直线斜率角度为 45度。

通过基于道路区域内的视差图像的直方图分割算法检测出潜在的障碍物， 由于视差直方 图不能体现像素间的空间关系， 因此， 根据波峰见到的障碍物信息在图像空间中， 可能是非 连通的，因此，需要通过连通区域提取各连通区域，并根据区域间的距离判断是同一障碍物， 并在图像空间进行标记。

(5 ) 三维信息恢复

已知左目图像和右目图像的匹配关系和双目摄像机的内部参数和外部参数， 构造三维重 构方程 Q直接计算得到三维点坐标：

-1 0 0 — u₀

0 1 0 -v₀

^{Q =} 0 0 ^f

0 0 - ^r (u₀ - u₀')T_x

其中 ， u。， V。为校正后参考摄像机的主点的横、 纵坐标， u。'为另外一目相机的主点横 坐标， ！ 为两摄像机间基线距离 ,(Χ,Υ, Ζ)是以摄像机为原点的三维坐标系下的三维点坐标， (u, v, d)为图像坐标值与对应的视差值；

获取了图像中障碍物区域的三维点后， 根据三维点分布拟合各个连通区域三维点所在的 平面， 建立最小外接矩形， 并求取质心， 最终确定障碍物的实际尺寸和具体位置。

( 6 ) 栅格地图生成

将障碍物的三维点坐标映射到世界坐标系中， 以双目摄像机光心连线上的中点为原点， 构建一定范围内的栅格地图， 根据三维点在地平面上的投影个数， 对栅格进行填充。

(7) 路径规划

基于步骤 （6 ) 中得到的二维占据局部地图， 以及已知的全局目标点， 及定位系统得到的 机器人在全局地图中的位置， 使用马尔可夫路径规划算法， 对机器人进行路径规划， 得到新 说明书 的路径。

( 8 ) 控制机器人

根据新得到的路径， 按照机器人当前的速度及路径更新时间， 计算机器人行走结构应执 行的速度及偏移的角度， 控制系统将该信息传输至行走机构驱动器。

上述虽然结合附图对本发明的具体实施方式进行了描述， 但并非对本发明保护范围的限 制， 所属领域技术人员应该明白， 在本发明的技术方案的基础上， 本领域技术人员不需要付 出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

权利要求书

1. 一种基于电力机器人的双目视觉导航系统， 其特征是， 它包括：

图像采集系统： 图像采集系统包括双目摄像机， 双目摄像机通过图像传输线与图像采集 卡连接， 双目摄像机采集电力机器人前行道路上的环境图像， 然后将采集的图像通过图像传 输线上传到图像采集卡上，图像采集卡在将采集到的道路上的环境图像传输给视觉分析系统; 视觉分析系统： 根据图像采集系统采集的双目图像信息及摄像机内外参数信息， 通过逆 向投影理论及三维重构技术实现对变电站道路区域内的障碍物的检测， 并将信息传输至路径 规划系统；

路径规划系统： 根据图像采集的环境信息， 构建二维占据地图， 进行路径规划， 出现障 碍物时， 对机器人行走路线及时做出调整， 避免机器人与障碍物发生碰撞；

运动控制系统： 根据路径规划系统规划的路径控制机器人移动。

2. 如权利要求 1所述一种基于电力机器人的双目视觉导航系统， 其特征是， 所述双目摄 像机的两光轴平行、 两光心连线与地面平行， 双目摄像机通过安装支架安装在电力机器人本 体上，所述安装支架为摄像机放置平台，设定双目摄像机光轴朝向与机器人坐标系 Y轴平行， 摄像机放置平台以固定轴心旋转。

3. 基于权利要求 1所述的一种基于电力机器人的双目视觉导航系统的视觉导航方法， 其 特征是， 具体步骤为- 步骤一： 采集双目环境图像，通过图像解析， 畸变校正，立体校正获得去除了畸变效果、 且像素匹配关系约束在相同的 X轴的双目图像；

步骤二： 将校正后的图像逆向投影变换， 将左目图像和右目图像投影到地平面上， 并将 重新投影后的左目图像和右目图像的像素做差， 并对差值图像做 Canny边缘检测， 然后， 使 用 Hough直线检测出道路区域和道路边缘；

步骤三： 在确定道路区域与道路边缘后， 在图像感兴趣区域内根据区域的灰度区域相关 性确定左目图像和右目图像的匹配关系； 然后， 根据左目图像和右目图像的匹配关系生成视 差图， 统计视差图的直方图， 对视差图进行直方图分割， 并判断视差图像中有无障碍物； 如 果存在障碍物， 则进行步骤四， 否则， 返回步骤一；

步骤四： 根据分割得到的障碍物区域、 摄像机标定信息确定障碍物的三维信息， 根据障 碍物的三维信息确定障碍物区域的尺寸和平均距离；

步骤五:将检测到的障碍物信息传输至机器人控制系统，根据新的障碍物信息更新地图， 根据已存在的路径信息， 路径规划系统对机器人下一步移动方向进行规划， 机器人控制系统 根据当前的机器人行驶方向机速度输入到移动平台驱动器， 实现机器人移动， 当无法执行下 权利要求书 一步操作时， 机器人停止， 并上报信号给上位机， 如果可以执行， 重复步骤一。

4. 如权利要求 3所述的视觉导航方法， 其特征是， 所述步骤一的具体步骤为- ( 1-1) 双目摄像机采集环境图像信息；

( 1-2) 根据双目摄像机的内部参数 ι ,ι , 双目摄像机相对位置关系 R,T， 以及标定得 到的畸变参数（ ^， ，；^对电力机器人行走过程中采集到的左目图像和右目图像进行畸 变校正和立体校正；

( 1-3)将校正后的左目图像和右目图像逆向投影变换，将双目图像重新投影到地平面上， 其中， 通过双目摄像机参数 Κ Κ^Ι ,Τ,以及参考摄像机坐标系相对于地平面世界坐标系下的 旋转矩阵和平移矩阵 R_W,T_W， 确定逆向投影变换; s o

， /_M和/ ^是横向、纵向焦距， M₀, V₀

为图像平面主点位置， s为像素纵横比， 当前摄像机相对于世界坐标系的旋转矩阵 R_w和平移 矩阵 T_w， 图像平面空间像素坐标为 (u, 1；)， 地平面上世界坐标系下的目标坐标为 (X, ,Z)， 设 双目摄像机光心相对于地平面高度为 H， 双目摄像机的光心相对于地平面的俯仰夹角为 θ， 设 电力机器人的坐标系为 0₂， / 。_rad为机器人坐标系下地平面的方程， 根据变电站实际环境，

1 0 0

0 1 0

设地平面方程为 Z = 0， 所以有 / 。znui = 0 0 0

0 0 1

根据双目摄像机投影关系得到图像平面与地平面间的投影关系使用齐坐标表示为:

X Y

W ground

Z

1

5. 如权利要求 3所述的视觉导航方法， 其特征是， 所述步骤二的具体步骤为- (2-1)将左目图像和右目图像逆向投影到世界坐标系中， 根据平面间映射关系， 仍然得 到保持平行关系的道路边缘信息；

(2-2)在得到双目摄像机的逆向投影矩阵后， 将左目图像和右目图像逆向投影到世界坐 权利要求书 标系中得到图像 lmg _ma^P lmgR,_ap ； 然后， 将图像 lmg _map和 lmgR,_ap进行差值运算得 到 Image_{di// ence}，将世界坐标系中图像 lmg _ma^P lmgF^_map的重合信息进行过滤，使用 Canny 边缘检测算法提取道路边缘及障碍物区域不重合的区域信息； 使用 Hough变换检测直线， 根 据直线的象限方向、长度、位置进行约束，提取道路两侧边缘在摄像机坐标系下的直线方程； 根据摄像机相对机器人坐标系的坐标变换关系， 计算得到机器人坐标系下的道路信息， 将参 考道路信息提供给路径规划系统进行路径规划。

6. 如权利要求 3所述的视觉导航方法， 其特征是， 所述步骤三的具体步骤为-

(3-1) 根据双目摄像机坐标间的内外参数， 基于像素间的 SAD灰度相关性， 计算双目 图像间的像素匹配关系， 得到视差图 ¹ disparity »

G-²)设图像 I(x,y)与图像 J(x,y)间的窗口尺寸为 (w,w)的 SAD灰度相关度，则有 I(x,y)图 像中 (x,y)点与 J(x,y)图像中 (x,y)点间的 SAD相关性为- + i,y + )) ~J(x + y +7)1 j n

根据左目图像空间中一个像素 (xZ,;y)， 在右目图像中搜索相同纵坐标上的每个像素点 (xr,y), 通过确定每个像素点间的 SAD相似性， 将相似度较高的点作为候选匹配点， 在根据 顺序性， 唯一性约束得到最终的匹配关系；

(3-4) 然后， 对视差图统计直方图， 然后对直方图进行高斯平滑操作，

视差直方图计算方法就是将图像中所有像素相同的像素的个数进行累加， 生成一个一维 的数组来记录二维图像中每个灰度值出现的概率；

平滑过程为： p^(x) = ^^e^^^;

其中 P( )指滤波后的值， 为直方图每个单元的值， 为高斯函数的均值和方差；

(3-5)根据平滑过的直方图， 给定一定斜率的直线检测高于直线的直方图区间， 从而得 到障碍物的初始检测结果。

7. 如权利要求 3所述的视觉导航方法， 其特征是， 所述步骤四的具体步骤为-

(4-1)在得到了障碍物区域的匹配关系后， 根据已知的双目摄像机的内部参数和外部参 数， 根据三角形定位原理， 得到障碍物区域的三维点坐标；

(4-2)根据左右目图像间的匹配关系和双目摄像机的内部参数和外部参数， 构造三维重 构方程 Q， 并得到障碍物区域的三维点坐标： 权利要求书

-1 0 0 — u₀

0 1 0 -v₀

^{Q =} 0 0 ^f

0 0 (u₀ - u₀')T₅

其中 ， u。， V。为校正后参考摄像机的主点的横、 纵坐标， u。'为另外一目相机的主点横 坐标， ！ 为两摄像机间基线距离 ,(Χ,Υ,Ζ)是以摄像机为原点的三维坐标系下的三维点坐标， (u,v,d)为图像坐标值与对应的视差值；

(4-3)获取图像中障碍物区域的三维点后， 根据障碍物的三维点分布， 拟合各个连通区 域三维点所在的平面， 建立最最小外接矩形， 并求取质心， 最终确定障碍物的实际尺寸和具 体位置。

8. 如权利要求 3所述的视觉导航方法， 其特征是， 所述步骤五的具体步骤为- (5-1)将障碍物的三维点坐标映射到世界坐标系中， 以双目摄像机光心连线上的中点为 原点， 构建一定范围内的栅格地图， 根据三维点在地平面上的投影个数， 对栅格进行填充； (5-2)根据二维占据局部地图， 以及已知的全局目标点， 及电力机器人在全局地图中的 位置， 使用马尔可夫路径规划算法， 对电力机器人进行路径规划， 得到避障路径；

(5-3)路径规划系统对机器人下一步移动方向进行规划， 机器人控制系统根据当前的机 器人行驶方向机速度输入到移动平台驱动器， 实现机器人移动。