JPH05173637A - 移動ロボット用視覚誘導装置 - Google Patents

Abstract

(57)【要約】 【目的】 移動ロボットを高精度に誘導することのでき
る視覚誘導装置を提供することを目的とする。 【構成】 画像からエッジを抽出し、このエッジから消
失点を求める。この消失点を通る通路端の２直線と消失
点を通る水平線が成す角を求め、この角度から移動ロボ
ットの通路内での位置、方向を求める。また、通路端を
通る２直線とエッジ画像中の垂直線との交点を求め、画
像中で消失点を挟み、この交点が同じ高さにある垂直線
の組を求めることで、交差点を形成する垂直線の組を抽
出し、交差点に向かって移動ロボットを誘導する。 【効果】 移動ロボットを的確に制御することが可能と
なる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、屋内環境で視覚を用い
て移動ロボットを誘導する移動ロボット用視覚誘導装置
に関する。

【０００２】

【従来の技術】近年、各産業分野で、移動ロボットが実
用に供されている。移動ロボットは、屋内環境では、廊
下などの通路を必要な通路の交差点を曲がりながら移動
することが多い。この場合、通路内の自己位置を知るこ
とと、交差点を見つけ、そこまで移動することが移動ロ
ボットにとって必要となる。そこで従来より、屋外環境
では、道路端の直線群を抽出し、その直線を追跡するこ
とで道路内での移動ロボットの位置を算出したり、直線
群の組合せを検証することで交差点を抽出している。ま
た、屋内環境では、環境全体の３次元のワイヤーフレー
ムモデルを作成しておき、移動中に入力した画像からエ
ッジを抽出してモデルとのマッチングをとり自己位置を
検出する手法などが開発されている。更に、画像中から
抽出した通路端エッジから通路内の移動ロボットの向き
と位置を算出する手法なども提案されている。

【０００３】

【発明が解決しようとする課題】しかしながら、道路や
通路の端のエッジの角度から移動ロボットの位置・方向
を算出するためには、道路や通路面からカメラまでの高
さ等のカメラパラメータが既知でなければならず、実際
には移動ロボットの振動などによりこの値は変化するの
で、常にこのカメラパラメータを測定して補正しないと
誤差が大きくなるという欠点がある。また、環境全体の
ワイヤフレームモデルを用いる手法はモデルの作成及び
エッジ画像との照合が容易ではない。更に、屋外の道路
端のエッジを用いて交差点を見つける手法は、屋内シー
ンでは交差点を構成するエッジの組合せが複雑に成り過
ぎるため使用できない。

【０００４】このように、従来方法にあっては、移動ロ
ボットの自己位置の検出が困難であり、ロボットを的確
に誘導することができないという問題点があった。

【０００５】この発明はこのような従来の課題を解決す
るためになされたもので、その目的とするところは、高
精度に移動ロボットを誘導することのできる移動ロボッ
ト用視覚誘導装置を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、ＴＶカメラにて入力した画像から消失点
を抽出する消失点抽出部と、消失点抽出部で求めた消失
点の位置を用いて移動ロボットの通路内での方向及び位
置を求める壁面ならい走行部と、前記消失点から交差点
を構成する垂直エッジの組を求める交差点抽出部とを備
え、前記壁面ならい走行部からの移動ロボットの通路内
での方向及び位置情報と、前記交差点抽出部からの交差
点を構成する垂直エッジの画像中の位置とに基づいて、
移動ロボットを誘導することが特徴である。

【０００７】

【作用】本発明による移動ロボット用視覚誘導装置で
は、消失点と消失点を通る通路端の２直線を求め、その
２直線が水平線と成すそれぞれの角度が等しくなるよう
に移動ロボットを誘導する。これにより、移動ロボット
を通路の中央へ導くことができる。また、移動ロボット
を通路の方向に向けた時、交差点を構成するエッジは移
動ロボットとほぼ等距離の消失点を挟む２本の垂直エッ
ジの組となるため、消失点と消失点を通る通路端の２直
線を求め、この２直線と各垂直エッジとの交点が画像上
で同じ高さにある組合せを求める。これにより、交差点
を構成する垂直エッジが選別でき、交差点へ移動ロボッ
トを誘導できる。

【０００８】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明が適用された移動ロボット用視覚誘
導装置の一実施例の構成を示すブロック図である。

【０００９】同図に示す誘導装置は、画像入力部１と、
エッジ抽出部２と、消失点抽出部３と、壁面ならい走行
部４と、交差点抽出部５と、行動指令部６、及び移動ロ
ボット７から構成されている。

【００１０】画像入力部１は、図示しない撮影手段で撮
影された、移動ロボットが移動する領域の画像を取込
み、これをエッジ抽出部２に供給する。

【００１１】エッジ抽出部２は、供給された画像からエ
ッジを抽出し、エッジ画像を生成してこれを消失点抽出
部３へ出力する。

【００１２】そして、消失点抽出部３は与えられたエッ
ジ画像から以下の手順に従い、通路を構成する平行線か
らなる消失点を抽出する。

【００１３】〈消失点抽出手法〉３次元空間における直
線の方程式は、次の（１）式で示される。

【００１４】 Ｐ＝Ｕ＋λＶ＝（Ｕ_x ＋λＶ_x ，Ｕ_y ＋λＶ_y ，Ｕ_z ＋λＶ_z ） …（１） ここで、Ｕ＝（Ｕ_x ，Ｕ_y ，Ｕ_z ）は位置ベクトル、Ｖ
＝（Ｖ_x ，Ｖ_y ，Ｖ_z ）は方向ベクトルである。また、
透視変換による画像上の点Ｐの位置は、次の（２）式で
示される。

【００１５】 Ｐ＝（ｆ（Ｕ_x ＋λＶ_x ）／（Ｕ_z ＋λＶ_z ），ｆ（Ｕ_y ＋λＶ_y ）／（Ｕ_z ＋λＶ_z ）） …（２） ここで、ｆはカメラの焦点距離である。

【００１６】そして、λが無限であるなら、（２）式は
次の（３）式で示すことができ、点Ｐ_v が消失点とな
る。

【００１７】 Ｐ_v ＝（ｘ_v ，ｙ_v ）＝（ｆＶ_x ／Ｖ_z ，ｆＶ_y ／Ｖ_z ） …（３） また、直線Ｐにならって移動するにはｙ_v を０にすべき
である。言い替えると、消失点のｙ座標値はｙ_v はカメ
ラ光軸の方向の関数となる。つまり、カメラの向きと移
動ロボットの車体の向きが一致しているなら移動ロボッ
トの向きとなる。このため、移動ロボットのステアリン
グは次の（４）式で得られる。

【００１８】 θ＝ａｒｃｔａｎ（ｙ_v ／ｆ） …（４） ここで、ｙ_v は図２における消失点のｙ座標値である。

【００１９】そして、互いに平行な直線の集合は、同一
の消失点を構成するため、この事実を用いて消失点を抽
出し、多くの直線が交差する画像中の小領域を見つけ
る。このアルゴリズムを以下に示す。

【００２０】まず、各々のエッジセグメントに沿って、
図３に示すようにエッジセグメント上の各点の周囲で確
率分布を次の（５）式によって生成し、各点に投票す
る。

【００２１】 ｐ（ｘ）＝（２πσ² ）^-1/2 ｅｘｐ（−ｘ² ／２σ² ） …（５） ここで、σはエッジセグメントの長さに比例した係数で
ある。

【００２２】次いで、他のエッジセグメントの確率分布
に合わせて次の（６）式にて各点の投票結果を更新す
る。

【００２３】 ｐ（ｘ）＝ｐ_new （ｘ）＋ｐ_old （ｘ） …（６） その後、最大確率を持つ点を探す。

【００２４】こうして、消失点抽出部３で抽出された消
失点とエッジ画像を用いて、壁面ならい走行部４では通
路の中央に通路と平行に移動ロボットが位置するようロ
ボットを誘導するための情報を以下の手法で生成する。

【００２５】〈壁面をならうための手法〉まず、床面上
のエッジと消失点を基にロボットと壁面との成す角を求
め、ロボットのステアリング角を算出する。図４は壁面
ならい走行の説明図であり、同図において、Ａ１／Ａ２
は消失点を通る２直線の角度の比を示す。この値は、壁
に対するロボットの位置の情報を示している。例えば、
Ａ１／Ａ２＝１の時、ロボットは２つの壁面に囲まれた
通路の真中に位置する。簡単にするため、ロボットの向
きが壁面に平行であるとする。つまり、図３において、
ｙ_v ＝０、Ｖ＝（０、０、１）。そして、壁を構成する
直線はＵ＝（Ｕ_x 、Ｕ_y 、０）を通る。（１）式と上述
の関係から、この３次元直線上の点は次の（７）式に示
す条件を満足する。

【００２６】 Ｐ＝（Ｕ_x ，Ｕ_y ，λ） …（７） また、透視変換による画像上の点は、次の（８）式で示
される。

【００２７】 ｐ＝（ｘ，ｙ）＝（ｆＵ_x ／λ，ｆＵ_y ／λ） …（８） ここで、直線上の２点ｐ１、ｐ２に着目すると、
（９），（10）式が得られる。

【００２８】 ｐ₁ ＝（ｘ₁ ，ｙ₁ ）＝（ｆＵ_x ／λ₁ ，ｆＵ_y ／λ₁ ） …（９） ｐ₂ ＝（ｘ₂ ，ｙ₂ ）＝（ｆＵ_x ／λ₂ ，ｆＵ_y ／λ₂ ） …（10） そして、（９）式から次の（11）式が得られる。

【００２９】 tan α＝Δｘ／Δｙ＝Ｕ_x ／Ｕ_y …（11） ここで、Δｘ＝ｘ２−ｘ１、Δｙ＝ｙ２−ｙ１である。

【００３０】また、もし、直線が床面上にあるなら、Ｕ
_x はカメラパラメータから得られる。つまり、Ｕ_x は床
からのカメラの高さに一致する。よって、壁からのロボ
ットの相対的な位置は、次の（12）式で得られる。

【００３１】 Ｕ_y ＝Ｕ_x ／tan α …（12） また、（９），（12）式を用いて、点ｐ１、ｐ２の距離
を次の（13），（14）式にて算出することができる。

【００３２】 λ₁ ＝ｆＵ_y ／ｙ₁ …（13） λ₂ ＝ｆＵ_y ／ｙ₂ …（14） また、交差点抽出部５では、消失点情報とエッジ画像を
用い交差点を構成するエッジを以下に示す手順により抽
出し、移動ロボットを交差点へ誘導するための情報を求
める。

【００３３】〈交差点抽出手法〉ここでは、交差点を抽
出するために交差点とは壁が切れる所であるという簡単
なヒューリスティックを用いる。つまり、壁面上の垂直
線が交差点の候補となる。従って、消失点抽出部４より
得られた画像上の消失点位置を用い、以下の手順により
消失点を求める。

【００３４】まず、消失点を通る床面と壁面の境界を成
す２直線を求める。そして、ロボットからほぼ等距離に
位置する各々の直線上の垂直エッジを抽出する。

【００３５】２番目のステップは、カメラの光軸が壁面
と平行（ｙ_v ＝０）であるなら簡単に実現できる。つま
り、同じx 座標軸で２つの直線と交差する垂直線の組を
求めれば良い。また、カメラの光軸が壁面と平行でない
場合でも、消失点を用い、ロボットから等距離にある２
つの垂直線を抽出することができる（図５参照）。

【００３６】ここで、カメラ光軸が壁面に平行であると
し、画像中で床面と壁面の交線上にある２点に着目する
（図５におけるｐ１、ｐ２）。このとき、次の（15），
（16）式により、２つの点の３次元空間中の位置を求め
ることができる。

【００３７】 Ｐ₁ ＝Ｕ₁ ＋λＶ₁ ＝（Ｕ_x1，Ｕ_y1，Ｕ_z1）＋λ（０，０，１） ＝（Ｕ_x1，Ｕ_y1，λ）＝（Ｃ，Ｕ_y1，λ） …（15） Ｐ₂ ＝Ｕ₂ ＋λＶ₂ ＝（Ｕ_x2，Ｕ_y2，Ｕ_z2）＋λ（０，０，１） ＝（Ｕ_x2，Ｕ_y2，λ）＝（Ｃ，Ｕ_y2，λ） …（16） ここでＣは床面上にある直線のｘ座標軸における定数で
ある。また、簡単な公式を用いて、ロボットのステアリ
ング角θとβの間の関係を以下に示す（17），（18）式
にて求めることができる。

【００３８】 tan β＝Δｘ／Δｙ …（17） ＝Ｃ（Ｕ_y2−Ｕ_y1）sin θ／λ（Ｕ_y2−Ｕ_y1） ＝Ｃsin θ／λ …（18） また、（９），（17），（４）式から、次の（19）式が
得られる。

【００３９】 tan β＝ｘ₁ sin θ／ｆ ＝ｘ₁ sin ² θ／ｙ_v ｃｏｓθ …（19） ここで、ｆはカメラの焦点距離、θはロボットのステア
リング角である。そして、選ばれた２垂直線が互いに消
失点から画像の外側へ移動するよう移動ロボットを誘導
すれば交差点まで移動ロボットを導くことができる。

【００４０】その後、壁面ならい走行部４で出力される
通路内での移動ロボットの位置、方向と交差点抽出部で
出力される交差点へステアリング角度を用いて、行動指
令部６は移動ロボット７に与えるステアリング角度を算
出する。交差点抽出部５が交差点を検出できない場合は
壁面ならい走行部４が出力する壁面に対する角度θと距
離ｄからステアリング角Ｓを算出し、移動ロボット７を
制御する。交差点抽出部５が交差点を抽出したなら、交
差点抽出部で出力される交差点へのステアリング角を用
いて移動ロボット７を制御する。

【００４１】このようにして、本実施例では、通路を構
成するエッジセグメントの集合から消失点を求め、これ
から通路両端の２直線を求めた後、この通路両端の２直
線が消失点を通る水平線と成す角度を求め、これらの角
度が等しい値となるようステアリングを制御すること
で、通路の中央に移動ロボットを誘導している。この手
法は、通路端のエッジの角度を用いた手法と違い、カメ
ラの高さといったパラメータは必要ないため、カメラパ
ラメータを測定しなくとも通路の中央に移動ロボットを
誘導できるようになる。また、環境全体のモデルを必要
としないため、走行経路の変更などで生じるモデルの修
正の手間が少なく効率が良い。

【００４２】なお、この発明は上述の実施例に限定され
るものではなく、例えば、ステレオ視を用いると、すべ
ての動きがより正確に実現できる。更に、他のセンサを
用いても本発明と同様の手法が適用できる。

【００４３】

【発明の効果】以上説明したように、本発明によれば、
消失点を通る通路端の２直線が消失点を通る画像上の水
平線と形成する角度を用いることで、通路の幅やカメラ
の高さなどの情報がなくても移動ロボットを通路の中央
へ誘導することができる。また、通路の交差点は壁面の
途切れる所であり、交差点を構成する垂直なエッジが存
在する。移動ロボットを通路の方向に向けた時、交差点
を構成するエッジは移動ロボットとほぼ等距離の消失点
を挟む２本の垂直エッジの組となるため、消失点と消失
点を通る通路端の２直線を求め、この２直線と各垂直エ
ッジとの交点が画像上で同じ高さにある組合せを求める
ことで交差点を構成する垂直エッジを選別する。これに
より、屋内環境における交差点の記述を容易にすること
ができ、従来は複雑過ぎて実行が困難であった交差点の
抽出と交差点への誘導が容易となるという効果が得られ
る。

【図面の簡単な説明】

【図１】本発明が適用された移動ロボット用視覚誘導装
置の一実施例の構成を示すブロック図である。

【図２】移動ロボットの座標系を示す説明図である。

【図３】エッジに付加する確率分布を示す説明図であ
る。

【図４】壁面ならい走行の説明図である。

【図５】交差点を構成する垂直エッジを抽出する方法を
示す説明図である。

【符号の説明】

１ 画像入力部 ２ エッジ抽出部 ３ 消失点抽出部 ４ 壁面ならい走行部 ５ 交差点抽出部 ６ 行動指令部 ７ 移動ロボット

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ＴＶカメラにて入力した画像から消失点
   を抽出する消失点抽出部と、消失点抽出部で求めた消失
   点の位置を用いて移動ロボットの通路内での方向及び位
   置を求める壁面ならい走行部と、前記消失点から交差点
   を構成する垂直エッジの組を求める交差点抽出部とを備
   え、前記壁面ならい走行部からの移動ロボットの通路内
   での方向及び位置情報と、前記交差点抽出部からの交差
   点を構成する垂直エッジの画像中の位置とに基づいて、
   移動ロボットを誘導することを特徴とする移動ロボット
   用視覚誘導装置。
2. 【請求項２】 前記壁面ならい走行部は、前記消失点に
   基づいて、通路両端の２直線を求めるとともに該通路両
   端の２直線が消失点を通る水平線との成す角度を求め、
   この角度を用いて通路内の方向、及び位置を算出する請
   求項１記載の移動ロボット用視覚誘導装置。
3. 【請求項３】 前記交差点抽出部は、消失点を通る通路
   端の２直線を求め、この２直線と各垂直エッジとの交点
   が画像上で同一高さにあるか否かを判定することで交差
   点を構成する垂直エッジを選別する請求項１記載の移動
   ロボット用視覚誘導装置。