JP3366135B2

JP3366135B2 - 走行方向制御装置

Info

Publication number: JP3366135B2
Application number: JP26442194A
Authority: JP
Inventors: 聡子市島
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1994-10-05
Filing date: 1994-10-05
Publication date: 2003-01-14
Anticipated expiration: 2018-01-14
Also published as: JPH08106323A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラを搭載した自律
移動ロボットの進行方向を制御する走行方向制御装置に
関し、特に、駅のコンコースなどの雑踏の中でも正しく
進行方向を制御できるようにしたものである。

【０００２】

【従来の技術】従来、搭載するビデオカメラで撮影した
画像を分析し、進むべき方向を自ら判断して自走する自
律移動ロボットが知られている。このロボットの視覚に
基づく進行方向制御の方式には、農業機械学会誌第５４
巻第２号（１９９２）ｐ．１０５〜１１４に記載されて
いるように、図１２に示す沿目標移動、向目標移動、歩
行者追尾などの種類がある。沿目標移動は、床面の白線
等のガイドラインをサインパターン（目印）とし、サイ
ンパターンが画面の一定位置に来るようにロボットの走
行を制御する。向目標移動は、画面に存在する建物の入
り口などをサインパターンとし、それに向かうように走
行を制御する。歩行者追尾は、ロボットの前方を進む歩
行者をサインパターンにして移動する定型行動である。

【０００３】また、移動ロボットや走行する車両に搭載
したカメラの画像から無限遠点（＝消失点）を検出し、
この無限遠点を利用してロボットや車両の走行方向を制
御する方式が数多く提案されている（特開平３−２１９
４００号、特開平３−２７６２１１号、特開平５−１７
３６３７号、特開平５−１５１３４１号など）。

【０００４】これらの方式では、画面に映る画像から、
走行する道路上の白線やレーンマーカ、あるいは壁に挟
まれた屋内通路の壁との境界線などのエッジを抽出し、
これらのエッジから直線を求め、複数の直線の交点であ
る無限遠点を算出する。走行車両では、この無限遠点が
画面中央の所定範囲から外れたときに運転者に警報を発
したり、無限遠点の画面中央からのずれを自動操舵装置
の補正情報として利用している。また、移動ロボットの
走行方向制御装置では、無限遠点を通る通路両側の境界
線の二直線と水平線との成す角度がそれぞれ等しくなる
ように制御することによって、ロボットが通路中央を走
行するように誘導している。

【０００５】

【発明が解決しようとする課題】しかし、従来の走行方
向制御装置では、明確な視覚的特徴を備えた白線や通路
境界などをサインパターンに選んで直線を抽出すること
はできるが、歩行者や車両がそれらの直線の一部を隠し
てしまう状況の下では、サインパターンを検出し、無限
遠点を算出することが難しい。

【０００６】また、直線を表すものとして、床面におけ
る目地などがあり、こうした直線を検出して無限遠点を
算出することができれば、例えば床面を清掃するロボッ
トの自律走行が可能になるが、しかし、従来の走行方向
制御装置では、こうした見にくい直線を検出することが
容易でなく、まして、駅のコンコースなど、人が雑踏し
て目地を隠したり、障害となる光のノイズが多い箇所で
は、床面の目地を検出することが非常に困難であった。

【０００７】本発明は、こうした従来の問題点を解決す
るものであり、雑踏の中でもサインパターンを的確に検
出し、無限遠点を算出してロボットの進行方向を正しく
制御することができる走行方向制御装置を提供すること
を目的としている。

【０００８】

【課題を解決するための手段】そこで、本発明では、ロ
ボットに搭載した画像入力装置より入力された画像から
直線を抽出し、抽出した直線から無限遠点を検出して、
前記無限遠点の方向とロボットの進行方向とのずれ角を
算出し、前記ずれ角を補正するようにロボットの進行方
向を制御する走行方向制御装置において、画像のコント
ラストを正規化し、この正規化した画像データに対して
微分二値化処理を行って二値画像を生成し、この二値画
像の明度が小さい画素に対して、当該画素の四方に近接
する画素の内、少なくとも２画素の明度が小さい場合に
は当該画素をエッジと見なし、それ以外の場合には当該
画素を明度が大きい画素と見なしてエッジ画像を生成す
る前処理手段と、ハフ変換によりこのエッジ画像から直
線を抽出して無限遠点を検出する無限遠点検出手段とを
設けている。

【０００９】また、無限遠点検出手段により検出された
無限遠点と前記無限遠点の検出のために抽出された直線
との分散が所定の範囲内にあり、且つ、前記無限遠点の
ｙ座標のずれが所定の範囲内にあるときに前記無限遠点
を妥当であると判定する検出結果判定手段を設け、検出
結果判定手段が無限遠点検出手段により検出された無限
遠点を妥当でないと判定したとき、無限遠点検出手段が
前フレームの画像に基づいて検出した無限遠点を用いて
ロボットの走行方向を制御するように構成している。

【００１０】

【００１１】

【作用】そのため、入力画像からエッジ画像を生成する
に際して、コントラストのばらつきの補正やノイズ除去
が行なわれ、また、エッジ画像からハフ変換により直線
が抽出され、無限遠点が検出される。ハフ変換では、原
点から直線に下した垂線の長さρと、この垂線とｘ軸と
のなす角θとをパラメータに用いて直線を抽出するの
で、ノイズや障害物による影響を受けにくい。そのた
め、駅のコンコース等の雑踏の中でも、床面の目地など
を直線として抽出し、無限遠点を検出することが可能に
なる。

【００１２】また、検出した無限遠点の妥当性を判定
し、妥当でない無限遠点を走行方向の制御に使用しない
ようにしている。そのため、サインパターンの検出が困
難な環境においても、ロボットを誤った方向に誘導する
事態を避けることができる。

【００１３】図２には、俯角０度のカメラを搭載したロ
ボットの入力画像における無限遠点位置とロボットの進
行方向との関係を示している。図２（ａ）及び（ｂ）
は、ロボットの進行すべき方向と進行方向とが一致して
いる場合である。この時、無限遠点は、画像の中心に存
在する。図２（ｃ）は、ロボットの進行すべき方向と進
行方向との間に、ずれ角θが生じている場合である。こ
の時、無限遠点は、一点に収束するが、画像の中心には
存在せず、水平方向にずれを生じる。

【００１４】ずれ角算出手段は、検出された無限遠点か
ら、このずれ角を算出し、算出されたずれ角に基づいて
ロボットの進行方向が修正される。

【００１５】

【実施例】本発明の実施例として、駅のコンコースを自
律清掃する床面清掃ロボットの走行方向制御装置につい
て説明する。なお、床面清掃ロボットにおけるサインパ
ターンは、床面における目地とする。

【００１６】この装置は、図１に示すように、カメラの
前方に置かれたレンズ部１と、ロボットの進行方向の情
景を撮像して映像信号に変換するＣＣＤカメラ２と、カ
メラレンズ１のアイリス等を遠隔制御するレンズ制御部
４と、カメラ２から出力された映像信号をディジタルデ
ータに変換するＡ／Ｄ変換部５と、その画像ディジタル
データを静止画像として格納する画像メモリ部６と、画
像メモリ部６に格納された原画像に対して正規化処理、
微分二値化処理及び孤立点除去処理を施してエッジ画像
を生成する前処理部７と、エッジ画像にハフ変換を施す
ことによって目地に沿う直線を検出し、それらの直線の
交点より無限遠点を求める無限遠点検出部８と、検出し
た無限遠点が妥当であるかどうかを判定する検出結果判
定部９と、検出した無限遠点と進行すべき方向とのずれ
角を算出するずれ角算出部10と、ずれ角算出部10の結果
を伝える結果伝送部11と、これらの各部を制御する全体
制御部３と、結果伝送部11から伝えられた結果に基づい
てロボットの車体などを制御する動作制御部12とを備え
ている。

【００１７】検出結果判定部９は、無限遠点検出部８で
検出された無限遠点が妥当であると判断した場合には、
検出された無限遠点をずれ角算出部10に渡してずれ角の
算出を行なわせ、妥当でないと判断した場合は、ずれ角
の算出を行なわずに、前フレームのずれ角算出結果を結
果伝送部11に渡す。また、結果伝送部11は、ずれ角算出
結果を無限遠点検出部８と動作制御部12とに伝送する。
無限遠点検出部８は、結果伝送部11から送られた前フレ
ームの結果を参考にして、処理すべき範囲を限定する。

【００１８】この走行方向制御装置の床面清掃ロボット
への取り付け状態を図３に示している。ロボットの前面
にはレンズ１とＣＣＤカメラ部２とが設置され（13）、
レンズ制御部４に当たるカメラコントロールユニット14
と、Ａ／Ｄ変換部３、前処理部７、無限遠点検出部８、
検出結果判定部９、ずれ角算出部10、結果伝送部11及び
全体制御部３の各部が装備された画像処理ボード15と、
ロボットの動作を制御する動作制御部16とがロボット内
部に装着される。

【００１９】次に、この走行方向制御装置の動作につい
て説明する。ＣＣＤカメラ部２からの映像信号は、Ａ／
Ｄ変換部５でＡ／Ｄ変換され、画像メモリ部６に伝送さ
れて静止画像として格納される。前処理部７は、画像メ
モリ部６に格納された原画像（図７）よりエッジ画像
（図８）を生成する。

【００２０】前処理部７は、このエッジ画像を生成する
ために、図４に示す手順で処理を行なう。

【００２１】ステップ１：原画像（図７）のコントラス
トを正規化する処理を施す。これはまちまちな原画像の
コントラストを揃えるための処理であり、この正規化処
理により、光の反射などによるノイズが除去され、ま
た、コントラストの小さい画像での目地抽出が容易にな
る。正規化の方法は、次に行なわれる微分二値化処理に
適した基準輝度平均と基準分散とをあらかじめ定めてお
き、原画像の基準平均と分散とがそれらの値になるよう
に変換する。原画像の輝度をI（ｘ，ｙ）とすると、基
準輝度平均μ_sと基準分散σ_s ²で正規化した画像データ
Ｎ（I（ｘ，ｙ））は次式で与えられる。

【００２２】Ｎ（I（ｘ，ｙ））＝（I（ｘ，ｙ）−μ_i（I））・σ_s
／σ_i（Ｉ）＋μ_s 但し、μ_i（I）＝ΣI（ｘ，ｙ））／ｎ σ_i ²（I）＝Σ（I（ｘ，ｙ）−μ_i（I））²／ｎ σ_i：原画像の分散 μ_i：原画像の輝度平均ｎ：画素
数。

【００２３】ステップ２：正規化された画素データに、
微分、二値化処理を行ない、二値画像を生成する。微
分、二値化処理は、図５に示すように、画素ｅが画素ｄ
より明度が小さい場合にエッジが存在するとみなし、１
を立てる。それ以外は、エッジが存在しないとみなし０
を立てる。

【００２４】ステップ３：微分、二値化処理を行なった
画素データには、いわゆる、ごま塩雑音が存在するた
め、孤立点除去処理を行なうことによって、このごま塩
雑音を除去する。孤立点除去処理は、無限遠点検出部８
でハフ変換が行なわれる際のノイズによる影響を低減す
る働きを持つ。孤立点除去処理は、図６に示すように、
画素ｅが１の場合、その４近傍の画素ｂ、ｄ、ｆ、ｈの
内、２画素以上が１の場合には、画素ｅはエッジとみな
して１を立て、それ以外は、ノイズとみなして０を立て
る（除去する）。

【００２５】前処理部７は、原画像（図７）に対して、
以上のような処理を施すことによって、エッジ画像（図
８）を生成する。

【００２６】図１４及び図１５には、原画像にこの前処
理部７の処理を施して得られたエッジ画像と、従来一般
に用いられているｓｏｂｅｌオペレータによる微分、二
値化処理を施して得られたエッジ画像とを対比して示し
ている。図１４は原画像に歩行者が存在する場合であ
り、また、図１５は原画像のコントラストが小さい場合
である。これらの図から、実施例の装置の前処理部７の
処理が、直線抽出処理を行なう場合に有効であることが
分かる。

【００２７】次に、無限遠点検出部８は、床面に存在す
る目地の垂直成分より画像の無限遠点を検出する。無限
遠点の検出には、ノイズや障害物が存在する時でも効果
を発揮するハフ変換を用い、直線（床面の目地）を抽出
した後、それらの交点により無限遠点を検出する。

【００２８】このハフ変換は、図９に示すように、図８
のエッジ画像において、前フレームの無限遠点（20）を
頂点とする三角形領域を処理範囲（21）に設定し、この
範囲の中だけで実施する。

【００２９】ハフ変換は、原点から直線に下した垂線の
長さρと、この垂線とｘ軸との成す角θとをパラメータ
に用いて直線を抽出する方法である。時刻ｔ＝０におけ
る無限遠点の座標を（０，０）とする。まず、処理範囲
（21）の中で１が立っている画素、即ち、エッジの画素
を探索する。その画素（ｘ_i，ｙ_i）を通る直線は、原点
からその直線に下した垂線の長さρと、この垂線とｘ軸
との成す角θとを用いて、 ρ＝ｘ_i・ｃｏｓθ＋ｙ_i・ｓｉｎθ と表すことができる。画素（ｘ_i，ｙ_i）を通る直線は、
その傾きを種々に変えることができ、この傾きの変化に
伴って、θとρとが変化する。そこで、０°≦θ＜１８
０°に対応するρの値を上記式によって求め、配列ｈ
（ρ_i，θ_i）にカウントする。

【００３０】他のエッジの画素（ｘ_j，ｙ_j）について同
じことを行なった場合、画素（ｘ_j，ｙ_j ）と画素
（ｘ_i，ｙ_i）とを通る直線に対応する配列ｈ（ρ_i，
θ_i）のカウント数は他の直線に対応する配列ｈ（ρ_i，
θ_i）よりも１つ多くなる。

【００３１】こうした処理を全てのエッジの画素につい
て行なったときのρ−θ平面を図１０に示している。こ
の配列ｈ（ρ_i，θ_i）の値がｋ_i である場合には、直線
ρ_i＝ｘ・ｃｏｓθ_i ＋ｙ・ｓｉｎθ_i 上にｋ_i 個の画
素が存在することを意味している。従って、配列ｈの中
からピークを検出することによって、直線、即ち床面の
目地を抽出することができる。抽出される目地の偏りを
防ぐために、登り勾配と下りの勾配の直線に分けて、そ
れぞれ５点ずつピークを検出する（図１０における2
2）。これらの直線群が（ｘ₀，ｙ₀)で交差するならば、
ρ−θ平面上で座標（ρ_i，θ_i）の点群は、 ρ＝ｘ₀・ｃｏｓθ＋ｙ₀・ｓｉｎθ （式２３）で表される正弦曲線上に存在するはずである。そこで最
小２乗法により、座標（ρ_j，θ_j）の点群から、式２３
の近似方程式を求める。この時の（ｘ₀，ｙ₀）が無限遠
点の座標である。この値は、（ρ_i，θ_i）と近似方程式
との２乗誤差ＱＱ＝Σ｛ρ_i−（ｘ₀・ｃｏｓθ_j＋ｙ₀・ｓｉｎθ_j）｝² を最小化することで解析的に得られ、ｘ₀＝（Ｂ・Ｅ−Ｃ・Ｄ）／（Ｂ²−Ａ・Ｄ）ｙ₀＝（Ｂ・Ｃ−Ａ・Ｅ）／（Ｂ²−Ａ・Ｄ）Ａ＝Σｃｏｓ²θ_n Ｂ＝Σｃｏｓθ_n・ｓｉｎθ_n Ｃ＝Σρ_n・ｃｏｓθ_n Ｄ＝Σｓｉｎ²θ_n Ｅ＝Σρ_n・ｓｉｎθ_n となる。

【００３２】図１１に無限遠点検出結果を示す。24が検
出されたピークをｘ−ｙ平面上に表したもの、即ち、抽
出された目地で、25が検出された無限遠点である。

【００３３】次に、検出結果判定部９は、無限遠点検出
部８で検出された無限遠点が妥当であるかどうかを判定
する。判定には、検出された無限遠点と直線との分散
（σ²＝Σ（ρ_i−ｘ₀・ｃｏｓθ_i−ｙ₀・ｓｉｎθ_i）²
／Ｎ、但し、Ｎ：ピーク数）及び無限遠点のｙ座標を用
いる。ハフ変換によって抽出された直線の交点が無限遠
点に収束している場合、分散は小さくなる。また、無限
遠点のｙ座標は、カメラの光軸が床面と平行な場合、画
像の垂直方向中点、即ち、ｙ＝０と一致する。そこで、
判定条件を次のように設定する。

【００３４】条件１：０≦σ＜σ_cut 条件２：−ｙ_cut＜ｙ＜ｙ_cut （本システムの場合σ_cut＝２０ｙ_cut＝１０）条件２は、ロボットの振動や誤差を考慮した場合の条件
である。二つの条件に当てはまる場合には、無限遠点検
出に成功したとみなし、ずれ角算出部10の処理に移行す
る。両方またはどちらか片方の条件に当てはまらない場
合には、無限遠点検出に失敗したとみなし、検出結果判
定部９は、前フレームにおけるずれ角の値を結果伝送部
11に伝送する。

【００３５】無限遠点検出部８の結果が検出結果判定部
９の条件に当てはまる場合、ずれ角算出部10は、ずれ角
の算出を実行する。このずれ角は、図２に示すように、
進行すべき方向とロボットの進行方向とが一致している
場合（図２（ａ）、（ｂ））には、無限遠点が画像の中
心に存在し、ずれ角は生じない。図２（ｃ）に示すよう
に、進行すべき方向とロボットの進行方向とが一致して
いないときに、ずれ角θが生じる。このとき、ずれ角算
出部10は、無限遠点のｘ座標ｘ₀ をθ＝−ｔａｎ^-1ｘに
代入し、進行方向とのずれ角を算出する。

【００３６】ずれ角算出部10の結果は結果伝送部11に送
られ、結果伝送部11は、それを無限遠点算出部８と動作
制御部12とに伝送する。無限遠点算出部８は、結果伝送
部11から送られた結果を、次の画像の無限遠点を求める
処理の処理範囲を決定するために用いる。また、動作制
御部12は、この結果を用いてロボットの進行方向を修正
する。

【００３７】図１３は、駅コンコースにおいて、実施例
の走行方向制御装置によりロボットの走行方向を制御し
たときの結果を示している。この装置では、撮像された
画像の処理を３秒おきに実施している。図１３（ａ）
は、ずれ角θ［ｄｅｇ］と時間ｔ［ｓ］との関係を示
し、また、（ｂ）は、無限遠点と直線との分散σと時間
ｔ［ｓ］との関係（ｓｉｇ）、及び無限遠点のｙ座標の
絶対値｜ｙ｜と時間ｔ［ｓ］との関係をグラフにしてい
る。図１３（ｂ）において、無限遠点の検出に失敗した
場合、即ち、前述の条件を満たさない場合においても、
前フレームの結果を用いることにより補完できることが
図１３（ａ）より明らかである。

【００３８】なお、無限遠点を算出するためのサインパ
ターンとしては、天井と側壁、床面と側壁との境界線な
どを用いることもできる。

【００３９】

【発明の効果】以上の実施例の説明から明らかなよう
に、本発明の走行方向制御装置は、原画像に対して正規
化処理、微分二値化処理及び孤立点除去処理を施すとと
もに、ノイズや障害物に影響されにくいハフ変換を用い
て直線の抽出を行なっているため、床面の目地など、視
覚的に目立たないようなものからも直線を抽出すること
ができ、また、光のノイズが多く、コントラストがまち
まちであり、人や車の出入りが激しい場所等において
も、その直線の抽出が可能である。

【００４０】また、こうして抽出した直線から求めた無
限遠点の妥当性を判定し、妥当でない場合には、前フレ
ームの処理結果で補完しているため、直線抽出の困難な
場所での走行方向制御であっても、誤った方向への誘導
を避けることができる。

【００４１】本発明の走行方向制御装置は、こうした特
質を備えるため、駅コンコースなどの雑踏の中でも、ロ
ボットの走行方向を適切に制御することが可能である。

【図面の簡単な説明】

【図１】本発明の実施例における走行方向制御装置の構
成を示すブロック図、

【図２】実施例の走行方向制御装置で求める無限遠点と
進行方向との関係を示す図、

【図３】実施例の走行方向制御装置を取付けたロボット
を示す図、

【図４】実施例の走行方向制御装置における前処理の処
理フロー、

【図５】実施例の走行方向制御装置における微分、二値
化処理の説明図、

【図６】実施例の走行方向制御装置における孤立点除去
処理の説明図、

【図７】実施例の走行方向制御装置のカメラで撮影され
た原画像、

【図８】実施例の走行方向制御装置の前処理部の処理で
得られたエッジ画像、

【図９】実施例の走行方向制御装置の無限遠点検出部で
の処理範囲を示す図、

【図１０】実施例の走行方向制御装置の無限遠点検出部
で算出されるρーθ平面、

【図１１】実施例の走行方向制御装置の無限遠点検出部
で求めた無限遠点検出結果、

【図１２】従来のロボットの視覚に基づく進行方向制御
の型、

【図１３】実施例の走行方向制御装置における方向認識
結果を示すグラフ、

【図１４】歩行者が存在する原画像（ａ）と、実施例の
走行方向制御装置が求めたエッジ画像（ｂ）と、従来法
によるエッジ画像（ｃ）との比較、

【図１５】コントラストが小さい原画像（ａ）と、実施
例の走行方向制御装置が求めたエッジ画像（ｂ）と、従
来法によるエッジ画像（ｃ）との比較である。

【符号の説明】

１レンズ部２ＣＣＤカメラ部３全体制御部４レンズ制御部５Ａ／Ｄ変換部６画像メモリ部７前処理部８無限遠点検出部９検出結果判定部 10 ずれ角算出部 11 結果伝送部 12、16 動作制御部 13 レンズ、カメラ 14 カメラコントロールユニット 15 画像処理ボード 20 前フレームにおける無限遠点 21 処理範囲 22 ρ−θ平面でのピーク点 23 正弦曲線 24 抽出された目地 25 抽出された無限遠点

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05D 1/02

Claims

(57)【特許請求の範囲】

【請求項１】ロボットに搭載した画像入力装置より入
力された画像から直線を抽出し、抽出した前記直線から
無限遠点を検出して、前記無限遠点の方向と前記ロボッ
トの進行方向とのずれ角を算出し、前記ずれ角を補正す
るように前記ロボットの進行方向を制御する走行方向制
御装置において、前記画像のコントラストを正規化し、この正規化した画
像データに対して微分二値化処理を行って二値画像を生
成し、前記二値画像の明度が小さい画素に対して、当該
画素の四方に近接する画素の内、少なくとも２画素の明
度が小さい場合には当該画素をエッジと見なし、それ以
外の場合には当該画素を明度が大きい画素と見なしてエ
ッジ画像を生成する前処理手段と、ハフ変換により前記エッジ画像から前記直線を抽出して
前記無限遠点を検出する無限遠点検出手段とを備えたこ
とを特徴とする走行方向制御装置。
【請求項２】前記無限遠点検出手段により検出された
前記無限遠点と前記無限遠点の検出のために抽出された
前記直線との分散が所定の範囲内にあり、且つ、前記無
限遠点のｙ座標のずれが所定の範囲内にあるときに前記
無限遠点を妥当であると判定する検出結果判定手段を設
け、前記検出結果判定手段が前記無限遠点検出手段によ
り検出された前記無限遠点を妥当でないと判定したと
き、前記無限遠点検出手段が前フレームの画像に基づい
て検出した無限遠点を用いてロボットの走行方向を制御
することを特徴とする請求項１に記載の走行方向制御装
置。