JP3335649B2

JP3335649B2 - ナビゲーション装置

Info

Publication number: JP3335649B2
Application number: JP15322591A
Authority: JP
Inventors: 一則小野口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1991-06-25
Filing date: 1991-06-25
Publication date: 2002-10-21
Anticipated expiration: 2017-10-21
Also published as: JPH056219A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、移動ロボットに用いら
れるナビゲーション装置に関する。

【０００２】

【従来の技術】従来、移動ロボットに用いられるナビゲ
ーション装置として、誘導線や床面上に設置されたマー
ク等を用いたり、環境を計測するとともに、地図データ
を照合することにより自己位置を算出し、走行経路を生
成して移動ロボットを目的地まで誘導するようにしたも
の、あるいは道路端や通路端を画像中で追跡しながら、
道路や通路に沿って移動ロボットが進行するようステア
リングを制御するものなどが知られている。

【０００３】

【発明が解決しようとする課題】ところが、これら従来
のナビゲーション装置にあっては、誘導線やマークを用
いる場合、あらかじめこれらの設備を環境内に設置する
必要があるため、仮に、移動経路を変更する必要が生じ
た場合は、これら誘導線やマークを設置し直さなければ
ならず、このために多大の手間と費用がかかる問題点が
あった。また、ステレオ視、レンジファインダ、超音波
センサなどを用いて環境を計測するとともに、地図デー
タを照合することで自己位置を算出する場合は、環境の
計測に時間がかかることから実時間でのナビゲーション
が難しく、しかも、正確なロボット走行経路を生成する
ために精度の高い環境計測が必要となるなど、リアル・
タイム走行が困難であるばかりか、走行環境が制約され
てしまう問題点があり、さらに、道路端や通路端に沿っ
てナビゲーションする場合は、道路端や通路端が存在す
る場所でしか適用できないことから、走行条件が制約さ
れてしまう問題点があった。

【０００４】本発明は、上記事情に鑑みてなされたもの
で、走行環境に制約されることなく、移動ロボット誘導
をリアル・タイムで実行でき、経済的にも有利にできる
ナビゲーション装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明に係るナビゲーシ
ョン装置は、移動体の進行方向の画像を撮像する撮像手
段と、前記撮像手段により撮像された画像中の予め定め
られた注視物の該画像内での位置情報を求める注視物追
跡手段と、前記注視物追跡手段により前記位置が求めら
れた前記注視物が３つ以上ある場合に、前記移動体によ
り近い２つの注視物を選択する注視物選択手段と、前記
移動体を所定距離直進させた際の前記注視物追跡手段に
より求められた前記位置情報の変化に基づいて、該直進
後における前記移動体の進行方向と前記注視物選択手段
により選択された前記２つの注視物の該画像内での中央
の方向との成す角度を、前記移動体を該中央に向けるた
めの走行制御量として算出する走行制御量算出手段と、
前記走行制御量算出手段により算出された前記走行制御
量に基づいて前記移動体の走行を制御する走行制御手段
とを具備することを特徴とする。

【０００６】

【作用】この結果、本発明によれば、画像中で注視物を
追跡することにより、２つの注視物の中央に向かって進
むように移動ロボットのステアリング制御を可能にでき
る。このために、例えば注視物として交差点の両端の角
点を選ぶと交差点の中央に向かって移動ロボットを高速
に誘導することができる。さらに、注視物として障害物
や壁面上の特徴点を選ぶと、障害物をすり抜けて走行す
ることができる。これにより、状況に応じて注視する物
体を切り替えることにより、環境に手を加えることなく
複雑な環境下においても高速な移動ロボットのナビゲー
ションが実現できる。

【０００７】

【実施例】以下、本発明の一実施例を図面に従い説明す
る。

【０００８】図１は同実施例によるナビゲーション装置
の概略構成を示すもので、ここではＩＴＶカメラ１、画
像メモリ２、注視物追跡部３、注視物選択部４、走行成
制御量算出部５、走行制御部６、移動ロボット７および
注視物モデル８から構成されている。

【０００９】このような構成において、ＩＴＶカメラ１
から入力される移動ロボット７の走行方向の画像データ
を、画像メモリ２に送る。画像メモリ２では、画像デー
タを一時的に記憶するようにしている。そして、この画
像メモリ２より読み出される画像データを、注視物追跡
部３に送るようにしている。

【００１０】注視物追跡部３では、注視物モデル８にあ
らかじめ記述されている注視物体を、画像メモリ２より
順次読み出されてくる画像データの中から見つけ出し、
これを追跡することにより注視物体の画像中での位置を
求めるようにしている。図２は、注視モデル８に記述さ
れている注視物体が角点である場合の注視物追跡部３で
の処理の流れを示している。

【００１１】この場合、最初に画像全体でエッジ抽出し
（ステップＳ２１）、エッジ上を追跡することにより曲
率の大きい点vi(xi,yi) を角点として求める（ステップ
Ｓ２２）。次いで、各(xi,yi) を中心に小ウィンドウwi
を設定し、wi毎にエッジ抽出後、曲率がviにもっとも近
い点vi'(xi',yi')を求め、画像中の位置(xi',yi') を注
視物選択部４に送る（ステップＳ２３〜Ｓ２８）。そし
て、vi'(xi',yi')をvi(xi,yi) として処理を繰り返し、
角点の位置を注視物選択部４に送り続ける。もし、wi内
に曲率の大きなエッジ上の点が存在しなければ、ステッ
プＳ２５でＮＯとなり、角点viの追跡が失敗したとし
て、Fault 信号を注視物選択部４に送る（ステップＳ２
９）。

【００１２】注視物体がマーク等特定の目標物である場
合も同様である。この場合も、注視モデル８に記述され
ている注視物の抽出手順に従い、画像全体から注視物を
抽出し、次いで、各注視物体の周囲で小ウィンドウを発
生し、その内部で注視物抽出処理を行いその位置を注視
物選択部４に送るようになる。次に、図３は注視物選択
部４での処理の流れを示している。

【００１３】この場合、注視物追跡部３から入力された
注視物の追跡結果の中で、追跡に成功している（Fault
信号ではない）注視物が存在しない場合にはFault 信号
を走行制御量算出部５へ送る（ステップＳ３１〜Ｓ３
４）。一方、追跡に成功している注視物が１つまたは２
つの場合には、これらの注視物の追跡結果のみを走行制
御量算出部５へ送り続ける（ステップＳ３１〜Ｓ３
５）。また、追跡に成功している注視物が３つ以上存在
する場合には、移動ロボットに最も近い２つの注視物を
以下述べる（１）〜（３）の手順で選択し、この選択し
た注視物の追跡結果のみを走行制御算出部５へ送り続け
る（ステップＳ３１、ステップＳ３６〜Ｓ３９）。
（１）走行制御部６へ一定距離Z0だけ直進させる指令を
出し、ロボットを直進させる（ステップＳ３６）。

【００１４】（２）注視物の画像上の動きを追跡する
（ステップＳ３７）。この場合、２つの注視物に任意に
着目し、これらの間にある注視物が選択した注視物を含
み床面に垂直な平面の前にあるか後ろにあるかを判定す
る。この場合、ＩＴＶカメラ１の、光軸が床面と平行に
なるよう設定しておく。また、図４に示すように座標系
を設定する。ここでは、着目した２つの注視物をA(X2,Y
2,Z2),B(X1,Y1,Z1) 、直進前におけるA,B の画像上の投
影位置をa(x2,y2,0),b(x1,y1,0) 、直進後におけるA,B
の画像上の投影位置をa'(x2',y2',z0),b'(x1',y1',z0)
、A,B を通りZ-X平面に垂直な平面をP 、前後判定を行
う注視物をC 、直進前におけるC の画像上の投影位置を
d(xi,yi,0),Cとd を結ぶ直線がP と交わる点をD 、注視
物C がD の位置にあるとしたときの直進後におけるD の
画像中の投影点をd'(xi',yi',Z0)、焦点距離をf として
いる。

【００１５】そして、この状態から、d'の位置を画像上
で得られるa,b,d,a',b' の位置から求めれば、d,d'によ
り得らるフローと実際に観測された注視物C のフローと
の大小関係によりC がPの手前にあるか後ろにあるかが
判定できるようになる。

【００１６】ここで、移動ロボット７の移動環境が平面
であるとすると、X 軸回り、Z 軸回りの回転、及びY 軸
方向の平行移動は無視できる。このため、画像面上のY
軸方向の移動量の方がX 軸方向の移動量に比べて直進す
る際に生じる移動誤差の影響を受けにくい。よって、ま
ず、Y座標値の画面上の動きを用いて注視点A,B までの
距離Z1,Z2 を求めるようにする。ここで、図５は図４に
示す関係をY-Z 平面に投影した状態を示しており、かか
る図５から以下の関係が求められる。 -f/y1 = (Z1 - f) / Y1 ---- (1) -f/y2 = (Z2 - f) / Y2 ---- (2) -f/y1'= (Z1 - Z0 - f) / Y1 ---- (3) -f/y2'= (Z2 - Z0 - f) / Y2 ---- (4) よって、 Z1 = f + Z0 y1' / (y1' - y1) ---- (5) Z2 = f + Z0 y2' / (y2' - y2) ---- (6) となる。また、図６は、図４に示す関係をX-Z 平面に投
影した状態を示しており、かかる図６から以下の関係が
求められる。 -f/x1 = (Z1 - f) / X1 ---- (7) -f/x2 = (Z2 - f) / X2 ---- (8) (5),(6),(7),(8) 式より

【００１７】 X1 = -x1 y1' Z0 / f(y1' - y1) ---- (9) X2 = -x2 y2' Z0 / f(y2' - y2) ---- (10) となる。しかして、図６において、図４に示す垂直面P
をX-Z 平面へ投影したときの直線をL1、２点D,d を通る
直線をX-Z平面へ投影した時の直線をL2とすると、 L1 : Z = k1 X + k2 k1 = (Z1 - Z2) / (x1 - X2) k2 = -k1 X1 + Z1 L2 : Z = -f X / xi + f となり、この２直線の交点を求めると、 Zi = k1(f - k2) / (k1 - f / xi) + k2 ---- (11) が成立する。また、図５より Zi = -f Yi / yi + f ---- (12) Zi = -f Yi / yi' + f + Z0 ---- (13) の関係が成り立つため、(11)(12)(13)式より yi' = {yi - k1 yi / (k1 - f / xi)} / {1 - k1 / (k1 - f / xi) + Z0 / (f - k2)} ---- (14) が得られる。そして、直進後の注視物C の画像上のY 座
標値がyrであるものとして、 dif = *yr - yi* - *yi' - yi*

【００１８】とすると、dif > 0 ならば注視物C はP の
手前にあり、dif < 0 ならば後ろに存在する。このよう
にして、一定距離直進し、注視物の動きを画像上で追跡
することにより、着目した２つの注視物の構成する床面
と垂直な平面P とその他の注視物C との間の前後関係が
判定できる。

【００１９】（３）着目した２つの注視物以外のすべて
の注視物に対して、（２）の前後判定を行う。そして、
すべての注視物が、着目した２つの注視物の構成する垂
直面の後ろにある場合、この２つの注視物が最も移動ロ
ボットに近いと判定できるため、この２つの注視物を選
択する（ステップＳ３８）。

【００２０】走行制御量算出部５では、入力される注視
物追跡結果を用いて、注視物に向かって接近するか、あ
るいは、２つの注視物間をすり抜けて通るために必要な
移動ロボットのステアリング角を算出する。この場合、
注視物選択部４から入力される注視物の数に応じて以下
の３種類の制御を行うようになる。（１）注視物がない（Fault 信号が入力されている）場
合。

【００２１】注視物を探し出すための、這回運動の指示
を走行制御部６に与えるとともに、注視物追跡部３およ
び注視物選択部４を再起動させて注視物の再抽出、再選
択を行うようになる。（２）注視物が１つの場合。

【００２２】注視物に接近するためのステアリング制御
量を注視物の画像上の追跡結果から算出する。この場
合、図７に示すように、追跡している注視物(X1,Z1) の
画像上の投影位置を(x1,0)とすると、移動ロボット７の
進行方向と注視物との間の成す角θは、 tanθ = -x1 / f

【００２３】により求めることができる。そして、この
θを走行制御部６に与えてステアリングを制御すること
で、移動ロボット７を注視物に誘導するようになる。こ
こで、追跡している注視物が追跡に失敗した場合、つま
り、追跡結果がFault 信号に変わった場合には、上述の
（１）と同じ制御により注視物の再抽出、再選択を行う
ようになる。（３）注視物が２つの場合。

【００２４】移動ロボットを２つの注視物の中央に向け
るためのステアリング制御量（走行移動量）を注視物の
画像上の追跡結果から算出する。この場合、図８に示す
ように、２つの注視物(X1,Z1),(X2,Z2) の中央の位置を
C(Xc,Zc)とすると、移動ロボットを所定距離Z0だけ直進
させた際の注視物の画像上の動き、すなわち注視物の画
像内での位置情報の変化に基づいて、移動ロボットの進
行方向とC の方向との成す角θを求めれば、この角度θ
が移動ロボットを２つの注視物の中央へ向かわせるため
のステアリング制御量となる。

【００２５】ここで、２つの注視物の直進前における画
像上の投影位置を(x1,y1),(x2,y2)、直進後における画
像中の投影位置を(x1',y1'),(x2',y2') とすると、(5)
(6)(9)(10)式、およびＸｃ＝（Ｘ１＋Ｘ２）／２Ｚｃ＝（Ｚ１＋Ｚ２）／２の関係式よりｔａｎ θ = Xc / (Zc - Z0 - f) = {-x1 y1' (y2' - y2) - x2 y2' (y1' - y1)} / f{y1 (y2' - y2) + y2 (y1' - y1)} が得られる。

【００２６】よって、２つの注視物の直進時における画
像中の追跡結果、すなわち２つの注視物の画像内での位
置情報(x1',y1'),(x2',y2')の変化に基づいて、直進後
に移動ロボットの方向を２つの注視物の中央に向けるた
めのステアリング制御量θを走行制御量として算出する
ことができ、このθを走行制御部６に出力する。ここ
で、追跡している注視物のどちらか一方が追跡に失敗し
た場合、つまり、追跡結果がFault 信号に変わった場合
には、上述の（１）と同じ制御により注視物の再抽出、
再選択を行うようになる。

【００２７】走行制御部６では、走行制御量算出部５よ
り与えられるステアリング制御量に基づきステアリング
角を制御するとともに、注視物選択部４により指示され
る一定距離の直進命令に従い、移動ロボット７を直進さ
せるようになる。

【００２８】従って、このようにすれば、ＩＴＶカメラ
１により撮像された画像中で注視する物体を記述した注
視物モデルとこの注視物モデルに記述された注視物を注
視物追跡部３により画像中で追跡し、ここで、注視物体
が３つ以上ある場合に注視物の前後関係を判定し最も移
動ロボットに近い２つの注視物を注視物選択部４で選択
し、これら追跡と選択結果から注視物に接近したり２つ
の注視物の中央に向かって進んだりするステアリングの
制御角を走行制御量算出部５で算出するとともに、この
算出結果に基づいて走行制御部６より、実際に移動ロボ
ット７の走行を制御するようにできるようになる。これ
により、注視物の画像中での追跡結果のみから注視物間
の前後関係が判定でき、単一の注視物に接近したり、２
つの注視物の中央に向かって移動ロボット７が進行する
ようなステアリング制御が可能になる。このため、注視
物として到達目標物を選んだ場合には、その目標物を単
一の注視物として追跡し、到達目標物に接近するよう移
動ロボットを制御することができ、また、注視物として
通路の交差点を構成する角点を選んだ場合には、最も手
前にある２つの角点の組を注視物の中から選択し、その
中央に移動ロボットを誘導することで交差点の中央まで
移動ロボットを導くことができ、さらに、移動ロボット
が多数の障害物の存在する通路を移動する場合には、障
害物や通路端の特徴点を注視物として選び、最も移動ロ
ボットに近い２つの注視物を本手法により選択してその
中央に向かって進行するようにできる。また、注視物が
視野からはずれたら、新たな注視物を抽出、追跡し、最
も移動ロボット７に近い２つの注視物を同様に選択して
その中央に向かって進行することも可能になる。この結
果として、障害物の間をすり抜けて移動するようなステ
アリング制御も注視物を画像中で追跡するだけで実現で
きるようになる。つまり、使用条件に応じて注視する物
体を切り替えることで、走行環境に手を加えることなく
複雑な環境下においても、注視物へ接近したり、注視物
の間をすり抜けて通過したりする移動ロボットのナビゲ
ーションをリアル・タイムで実行できることになる。ま
た、従来の誘導線やマークを用いたものに比べ、これら
誘導線やマークを設置を一切不用にでき、さらに移動経
路に変更が生じた場合も、誘導線やマークを設置し直す
ようなこともなくなるので、これらに要する多大の手間
と費用を省略でき、経済的に有利にできる利点もある。
なお、本発明は、上記実施例にのみ限定されず、要旨を
変更しない範囲で適宜変形して実施できる。

【００２９】

【発明の効果】本発明のナビゲーション装置は、走行環
境に制約されることなく、画像中で注視した物体を追跡
することにより注視物の間をすり抜けて通過したりする
移動ロボット誘導を、リアル・タイムで実行でき、しか
も経済的にも有利にできる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成を示すブロック
図。

【図２】図１に示す実施例に用いられる注視物追跡部の
注視物として角点を選んだ場合の処理フローを示す図。

【図３】図１に示す実施例に用いられる注視物選択部で
の処理フローを示す図。

【図４】図１に示す実施例での注視物選択の手法を説明
するための図。

【図５】図１に示す実施例での注視物選択の手法を説明
するための図。

【図６】図１に示す実施例での注視物選択の手法を説明
するための図。

【図７】注視点が一つの場合のステアリング制御角算出
手法を説明するための図。

【図８】注視点が２つの場合のステアリング制御角算出
手法を説明するための図

【符号の説明】

１…ＩＴＶカメラ、２…画像メモリ、３…注視物追跡
部、４…注視物選択部、５…走行制御量算出部、６…走
行制御部、７…移動ロボット、８…注視物モデル。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05D 1/02

Claims

(57)【特許請求の範囲】

【請求項１】移動体の進行方向の画像を撮像する撮像
手段と、前記撮像手段により撮像された画像中の予め定められた
注視物の該画像内での位置情報を求める注視物追跡手段
と、前記注視物追跡手段により前記位置が求められた前記注
視物が３つ以上ある場合に、前記移動体により近い２つ
の注視物を選択する注視物選択手段と、前記移動体を所定距離直進させた際の前記注視物追跡手
段により求められた前記位置情報の変化に基づいて、該
直進後における前記移動体の進行方向と前記注視物選択
手段により選択された前記２つの注視物の該画像内での
中央の方向との成す角度を、前記移動体を該中央に向け
るための走行制御量として算出する走行制御量算出手段
と、前記走行制御量算出手段により算出された前記走行制御
量に基づいて前記移動体の走行を制御する走行制御手段
とを具備することを特徴とするナビゲーション装置。