JPH0854927A - ランドマークの決定方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 自律走行車の走行経路を誰にでも簡単に教示
可能とし、かつランドマークの消失などの外乱の影響を
低減する。 【構成】 走行車１に、テレビカメラ１０および送受信
器１２，８とともに駆動回路９を搭載しておき、操作者
が制御装置２の入力装置２６から手動操縦して所望とす
る走行経路に沿って走行車１を走行させて教示を行う
と、その走行経路内の特徴物がワークステーション２３
で画像処理されてランドマークとして登録されるととも
に、それらのランドマークがプロダクションシステムに
よる推論によって、走行経路に沿ってどのように利用し
てゆくべきかが自動的に立案される。したがって、操作
者は走行車１を、一旦、手動操縦するだけで教示を行う
ことができ、教示作業を簡略化することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ランドマークの決定方
法および装置に関し、さらに詳しくは、ビジュアルサー
ボを用いて、自律走行車を教示した経路上で走行させる
ために好適に実施されるランドマークの決定方法および
装置に関する。

【０００２】

【従来の技術】工場や倉庫で使用される無人搬送車や無
人点検車または家庭用の芝刈機や掃除機などに関して
も、予め規定された経路上を外れないように自律走行す
ることができる自律走行車の適用が検討されている。こ
の自律走行車を前記規定の経路上を走行させるための制
御には、従来から内界センサが用いられている。この内
界センサは、たとえば車輪の回転を検出するセンサと、
操舵角を検出するセンサとなどによって実現される。走
行車の制御装置は、これらの内界センサから求められる
走行車の走行した方向と距離とから、走行環境を表す地
図上での位置を求め、その位置が前記規定された経路上
となるように走行機構および操舵機構などの走行手段を
駆動制御するように構成されている。

【０００３】しかしながらこの従来技術では、地図デー
タの作成のために多くの労力が必要となるとともに、可
動車輪の滑りなどによって誤差が生じ、走行距離が長く
なるとその誤差を蓄積してしまい、正確な位置検出を行
うことができないという問題があった。このため、テレ
ビカメラなどの外界センサを用いた自律走行車が各種提
案されている。

【０００４】前記外界センサを用いた第１の従来技術
は、「ビジュアルサーボを用いた自律移動ロボットの制
御」と題して、第１１回日本ロボット学会学術講演会で
の発表論文の第１３０９頁〜第１３１０頁に記載されて
いる。また第２の従来技術として、「ハイパースクータ
の研究：運転教示可能な自律移動ロボット」と題して、
第１１回日本ロボット学会学術講演会の発表論文の第１
３０１頁〜第１３０４頁に記載されている。これら第１
および第２の従来技術では、走行車に取付けられたテレ
ビカメラの情報から、特定物体または走行環境内に存在
する任意の物体をランドマークとして利用して、いわゆ
るティーチング・プレイバック法によるビジュアルサー
ボ走行制御を行うことが示されている。

【０００５】さらに第３の従来技術は、特開昭６３−１
０９５８５号公開公報で示されている。この従来技術に
は、テレビカメラで対象物体であるロボットマニピュレ
ータを撮像し、その撮像画像上の位置が目標位置に達す
るように、各制御機器をビジュアルサーボによって制御
することが示されている。

【０００６】

【発明が解決しようとする課題】第１の従来技術は、人
為的に作成したマークをランドマークとして使用してお
り、したがってランドマークを走行経路に沿って設置す
るなど走行環境を整備する必要がある。また視界に入っ
てくるランドマークを順次選択して走行経路を辿るので
はなく、ランドマークを単１個しか使用していないの
で、そのランドマークがテレビカメラの視界内となる極
めて短い経路でしか自律走行を行うことができないとい
う問題がある。

【０００７】また第２の従来技術では、ランドマークの
選定および登録とともに、各ランドマークの見え方に対
応して、走行車の操舵量などの制御量を作業者が指示入
力する必要があり、教示のための操作が煩雑であるとと
もに、熟練を要するという問題がある。

【０００８】第３の従来技術は、撮像の対象物体がロボ
ットマニピュレータであり、したがって常に１つの対象
物体を捕捉し、その対象物体の画面上の位置を検出する
ものである。したがって、対象物体であるランドマーク
を順次切換えて捕捉してゆく自律走行車に適用すること
は困難である。

【０００９】さらにまた、いずれの従来技術も、たとえ
ばランドマークが消失したり、ランドマークとテレビカ
メラとの間に障害物が介在された場合のように、外乱に
対して極めて脆弱である。

【００１０】本発明の目的は、移動体を所定の経路に沿
って移動させてゆくにあたっての教示操作を、誰にでも
簡単に行うことができるとともに、移動体の移動を外乱
に対して頑健に行うことができるランドマークの決定方
法および装置を提供することである。

【００１１】

【課題を解決するための手段】本発明は、移動体に撮像
手段を搭載し、その撮像手段の撮像画像からランドマー
クを抽出し、抽出したランドマークの撮像画像上での軌
跡が予め記憶しておいた対応するランドマークの軌跡に
一致するように移動体の移動手段を制御して、該移動体
を所望とする予め定める経路に沿って移動させてゆくに
あたって、前記ランドマークを決定するための方法にお
いて、操作者が前記移動体を手動操縦して、環境内にあ
る特徴点を前記ランドマークとして登録することによっ
て前記経路を記憶させてゆくときに、登録されたランド
マークのいずれを利用するかを、プロダクションシステ
ムによる推論によって決定することを特徴とするランド
マークの決定方法である。また本発明は、前記プロダク
ションシステムによる利用すべきランドマークの決定
は、まず、前記撮像画像をバッチ的に処理し、輝度、
色、形状および大きさ等が特徴的な物体をランドマーク
として複数抽出して、それらの前記輝度、色、形状およ
び大きさ等の特徴パラメータと画像上での移動の軌跡お
よび速度とを記録してゆき、次に、各ランドマーク中か
ら、前記輝度、色、形状、大きさ、軌跡および速度等に
基づいて、利用すべきランドマークの選定および切換タ
イミングを決定することによって実現されることを特徴
とする。さらにまた本発明は、前記複数のランドマーク
から利用すべきランドマークの選定は、移動体の移動経
路上に少なくとも１つのランドマークを常に有するよう
に、かつ画像上での面積が比較的大きい等、画像処理に
よる抽出が容易で、画像中心付近にある等、移動体の移
動に従って連続的な利用が可能であるランドマークを優
先するように行われることを特徴とする。また本発明
は、移動体に搭載される撮像手段と、前記移動体の操作
者の手動操縦による教示時における前記撮像手段の撮像
画像を記録する記録手段と、記録手段の再生画像をアナ
ログ／デジタル変換する画像処理手段と、前記画像処理
手段の出力からランドマークを抽出し、その抽出された
複数の各ランドマークのいずれを利用すべきかを、プロ
ダクションシステムによる推論によって決定する推論手
段とを含むことを特徴とするランドマークの決定装置で
ある。

【００１２】

【作用】本発明に従えば、走行車などの移動体にテレビ
カメラなどの撮像手段を搭載しておき、その撮像手段の
撮像画像を画像処理してランドマークを抽出し、抽出し
たランドマークの撮像画像上での軌跡が予め記憶してお
いた対応するランドマークの軌跡に一致するように、走
行機構や操舵機構などの移動体の移動手段を制御する、
いわゆるビジュアルサーボによって、移動体を所望とす
る予め定める経路に沿って自律移動させるにあたって、
操作者が移動体を手動操縦することによって、環境内に
ある特徴点を適宜選択してランドマークとして登録する
とともに、その登録されたランドマークのいずれをビジ
ュアルサーボに利用するかを、プロダクションシステム
による推論によって自動的に決定する。

【００１３】具体的には、まず、撮像画像をバッチ的に
処理し、輝度、色、形状および大きさ等が特徴的な物体
をランドマークとして複数抽出し、それらの輝度、色、
形状および大きさ等の特徴パラメータと画像上での移動
の軌跡および速度とを記憶しておく。次に、各ランドマ
ーク中から前記輝度、色、形状、大きさ、軌跡および速
度等に基づいて、ビジュアルサーボに利用すべきランド
マークの選定およびその利用すべきランドマークの切換
タイミングを決定する。

【００１４】すなわち、認識し易い、輝度も高く、かつ
周囲の環境とはコントラストを有する色の物体を選択す
ることによって、識別精度を向上することができる。ま
た同様に、特有の形状で大きな物体ほど識別精度を向上
することができる。このような物体をランドマークとし
て選定し、さらにその画像上での軌跡が移動体制御のた
めに充分に大きい物体をビジュアルサーボに利用すべき
ランドマークとして選定する。さらにランドマークは、
前記移動経路上では常に少なくとも１つが存在するよう
に、すなわち利用すべきランドマークがなくなって目標
を見失う期間がなくならないように、かつ上述のように
画像上での面積が大きくて認識し易いランドマークで、
さらに画像中心付近にあるなど、移動体の移動経路によ
っては画像中心よりもやや右（左）寄りにあるランドマ
ークの方が長時間画像上に現れる。移動体の移動に対し
て比較的長時間画像上に現れるものを優先して前記選定
が行われる。

【００１５】こうして選定される利用すべきランドマー
クは、たとえば先のランドマークが画像上から外れる直
前で次のランドマークに切換えられ、こうして画像内の
ランドマークを常に少なくとも１つ捕捉するように選ば
れてゆく。

【００１６】したがって、操作者が移動体を一度だけ手
動操縦するだけで、環境内にある特徴点が自動的に適宜
ランドマークとして登録されてゆき、かつ登録されたラ
ンドマークからビジュアルサーボに利用されるランドマ
ークも適宜選択されてゆくので、操作者は移動体を一度
手動操縦するだけで移動経路を教示することができ、誰
にでも簡単に教示作業を行うことができるようになる。

【００１７】また、ビジュアルサーボに利用すべきラン
ドマークが消失するなどして環境に変化が生じても、プ
ロダクションシステムによって、その時点で利用すべき
ランドマークを再度選定するので、環境変化に対して頑
健な制御を行うことができる。さらにまた、内界センサ
を用いないので、既存の移動体に組付けて低コストで自
律移動を可能とすることができる。

【００１８】

【実施例】図１は、本発明の一実施例の電気的構成を説
明するためのブロック図である。本実施例は、大略的
に、走行車１と、その制御装置２とを備えて構成されて
いる。走行車１は、左右一対の前輪３と、左右一対の後
輪４との４つの車輪を有する。前輪３は、走行手段であ
るモータ６によって回転駆動されるとともに、操舵手段
であるモータ７によってその回転軸線が鉛直軸線まわり
に角変位駆動される。前記各モータ６，７は、受信器８
で受信された制御信号に応答して、駆動回路９によって
駆動制御される。

【００１９】この走行車１の上部には、撮像手段である
テレビカメラ１０が、その画角および該走行車本体１１
に対する取付角度が一定となるように固定されている。
前記テレビカメラ１０からはＮＴＳＣ方式で映像信号が
出力され、その映像信号は送信器１２においてＵＨＦ帯
域の搬送波に重畳されて前記制御装置２へ向けて送信さ
れる。

【００２０】前記制御装置２は、大略的に、受信器２１
と、ビデオデッキ２２と、ワークステーション２３と、
画像処理装置２４と、入出力処理回路２５と、入力装置
２６と、送信器２７と駆動制御回路２８とを備えて構成
されている。入力装置２６への操作に応答して、駆動制
御回路２８は送信器２７から走行車１へ前記制御信号を
送信することができ、こうして走行車１を手動で遠隔操
縦することができる。

【００２１】走行車１から送信されてきた映像信号は、
受信器２１で受信され、前記ビデオデッキ２２に与えら
れて録画されるとともに、タイムベースコレクタ２９を
介して画像処理装置２４に入力される。前記ビデオデッ
キ２２からの再生映像信号もまた、タイムベースコレク
タ２９を介してワークステーション２３に入力される。
タイムベースコレクタ２９は、フレームメモリなどで実
現され、画像処理装置２４またはワークステーション２
３の同期タイミングに、テレビカメラ１０またはビデオ
デッキ２２からの映像信号の同期タイミングをそれぞれ
一致させて入力する。前記ワークステーション２３とビ
デオデッキ２２とはＲＳ２３２Ｃ形式のインタフェイス
を介して接続されており、このワークステーション２３
によってビデオデッキ２２の録画再生動作が制御され
る。

【００２２】画像処理装置２４で高速処理されたデジタ
ル映像信号は、パーソナルコンピュータなどで実現され
る入出力処理回路２５に入力される。この入出力処理回
路２５はまた、前記ワークステーション２３と前記ＲＳ
２３２Ｃ形式のインタフェイスで接続されており、この
入出力処理回路２５の動作も前記ワークステーション２
３によって制御される。入出力処理回路２５は、入力さ
れたデジタル映像信号からランドマークを抽出し、後述
するようにワークステーション２３から入力されるその
ランドマークのデータと照合を行って、それらの差に対
応してアナログの制御信号を前記駆動制御回路２８から
送信器２７を介して前記走行車１へ送信する。

【００２３】上述のように構成された制御装置２におい
て、操作者が前記入力装置２６から入力操作を行って、
走行車２を所望とする走行経路上を走行させてランドマ
ークを登録してゆく教示時には、前記テレビカメラ１０
からの映像信号は、一旦ビデオデッキ２２に録画され
る。その後、ワークステーション２３はビデオデッキ２
２を再生状態としてフレーム送り制御を行い、これによ
って得られた再生映像信号はタイムベースコレクタ２９
を介してワークステーション２３に入力される。

【００２４】ワークステーション２３は、後述するよう
にして、撮像画像中の顕著な特徴を有する認識し易い物
体をランドマークとして登録するとともに、それらのラ
ンドマークからビジュアルサーボに利用すべきランドマ
ークを選択し、該ワークステーション２３内の記録装置
３０に記録してゆく。前記記録装置３０は、たとえばフ
ロッピーディスクと、その駆動機構および記録／再生回
路などを備えて構成されている。

【００２５】これに対して、走行車１の自律走行時に
は、走行車１からの映像信号はタイムベースコレクタ２
９を介して画像処理装置２４へ入力される。画像処理装
置２４で処理されたデジタル映像信号は、入出力処理回
路２５においてワークステーション２３の記録装置３０
から読出されたランドマークのデータと照合され、両者
の差に対応した制御信号が駆動制御回路２８から送信器
２７を介して走行車１へ送信される。こうして、教示し
た走行経路に沿って走行車１を走行駆動することができ
る。

【００２６】図２は、本件発明者が実験に用いた走行空
間３１を説明するための平面図である。この走行空間３
１は、１０ｍ×１０ｍの範囲で、白い床面上に、黒い物
体がランドマークＰ１〜Ｐ１２として、無秩序に配置さ
れて構成されている。このような走行空間３１上で、Ｓ
１を始点として、終点Ｅ１までの走行経路Ｌ１を手動操
縦によって走行させた場合の撮像画像を画像処理して得
られたランドマークの抽出結果を図３で示す。

【００２７】この図３において、横軸は始点Ｓ１を０と
し、終点Ｅ１を１００とする画像番号であり、縦軸に各
ランドマークＰ１〜Ｐ１２を表す。各ランドマークＰ１
〜Ｐ１２が画像上に存在する期間の始終端を□で表し、
したがってこの始終端間の間隔、すなわち実線の長さが
長くなるほど、そのランドマークＰ１〜Ｐ１２の画像上
での存在期間が長くなる。前記記録装置３０には、各ラ
ンドマークＰ１〜Ｐ１２の画像上でのｘ，ｙ座標および
その軌跡と、そのランドマークＰ１〜Ｐ１２の面積や明
るさ等の特徴パラメータが記録されるとともに、図３で
示すような各ランドマークＰ１〜Ｐ１２が存在する画像
番号が記録される。この図３から明らかなように、ラン
ドマークＰ１２は、この走行経路Ｌ１に関してテレビカ
メラ１０の画角外となって、該ランドマークＰ１２は観
測されていない。

【００２８】この図３のように観測された各ランドマー
クＰ１〜Ｐ１１からワークステーション２３は、プロダ
クションシステムによる推論に基づいて、前記走行経路
Ｌ１を自律走行するにあたって利用すべきランドマーク
の選択を行う。この選択にあたっては以下のようなルー
ルが適用される。

【００２９】走行経路の全長に亘って常に少なくとも
１つ以上のランドマークを利用する。これは、ビジュア
ルサーボを行うためのランドマークを常に捕捉しておく
必要があるためである。

【００３０】画像中の面積が比較的大きいランドマー
クを利用するようにする。すなわち、画像中の面積が小
さいランドマークは光線状態などによっては見失う可能
性があり、かつ走行車１から遠い位置にある可能性があ
り、この場合には、走行車１の走行に対して画像上で僅
かにしか変位せず、信頼性に欠けるためである。

【００３１】比較的画像中心部にあるランドマークを
利用するようにする。これは、画像周辺部に現れるラン
ドマークは、走行経路の僅かなずれや、僅かな距離の走
行で画角から外れてしまうおそれがあるためである。

【００３２】画像中での移動速度が遅いランドマーク
は選択しないようにする。これは、移動速度の遅いラン
ドマークは走行車から離れた地点にあるものであり、ビ
ジュアルサーボの制御精度が低下してしまうためであ
る。なお、前記移動速度が速過ぎる場合にはトラッキン
グが困難になり、したがってこのようなランドマークも
選択が回避される。

【００３３】ランドマークの切換えに対する信頼性が
低いと考えられる場合には、切換回数を低減するよう
に、利用すべきランドマークの選択を行う。これは、た
とえば利用しているランドマークが画像の端部側に寄っ
てゆき、これに応答して切換えられたランドマークもす
ぐに画像から外れてしまって、さらに次のランドマーク
に切換える必要がある場合などでは、すでに利用してい
たランドマークの利用期間を延長し、または次の次に利
用すべきランドマークの利用開始時期を早めることであ
る。また、入出力処理装置２５は、以前の画像と同じラ
ンドマークを利用するときには、画像上のそのランドマ
ークが存在した位置を中心として所定範囲をトラッキン
グし、異なるランドマークを利用するときには、全画面
をトラッキングする。したがって、頻繁な切換えを抑え
て、制御の高速化と精度の向上とを図るものである。

【００３４】利用可能なランドマーク候補が複数存在
するときには、ｎ項目の各評価値ｅｉ（ｉ＝１，２，…
ｎ）の総和の評価値Ｅを下式に基づいて演算し、その評
価値Ｅが最も高いランドマークを選択するようにする。

【００３５】

【数１】

【００３６】ただし、ｃｉは重み係数である。

【００３７】プロダクションシステムは、人間の思考や
行動のモデルを計算機上で実現させるために用いられる
代表的な推論システムである。このプロダクションシス
テムには、ワーキングメモリと称される短期間の記憶領
域と、前記ワーキングメモリのデータに関する処理方法
またはルールが記述されている長期記憶領域とを有して
いる。前記長期記憶領域は、ＩＦ…ＴＨＥＮ…形式で記
述されており、限定条件部であるＩＦ部には複数の述語
が記述されており、行動部であるＴＨＥＮ部は複数の行
動を表すことが可能である。

【００３８】演算処理はまず、或るワーキングメモリの
内容と各プロダクションルールのＩＦ部とを照合し、照
合のとれたルールの中から実行すべきルールを１つ選択
し、選択されたルールのＴＨＥＮ部を実行することによ
って実現される。こうして各ワーキングメモリの内容が
終了条件を満足すると計算処理を終了する。したがっ
て、前述のようなプロダクションルールを蓄積してゆく
ことによって、計算機上で問題を解決する能力を実現す
ることができる。

【００３９】このようなプロダクションシステムには、
従来からの推論システムに比べて、各ワーキングメモリ
の内容が一部のルールに対してだけ特別の意味を持つの
ではなく、全てのルールからアクセス可能であり、また
ルール間の交信がこのワーキングメモリを介してのみ行
われ、したがって或るルールが他のルールを呼ぶような
ことがないように構成されている。したがって、従来か
らの推論システムでは、変更や追加のために既存のプロ
ダクラム、データ構造およびサブルーチン構造を大きく
変更する必要があるのに対して、プロダクションシステ
ムでは変更分を追加するだけでよく、段階的にシステム
を構築することができるという優れた利点を有してい
る。

【００４０】前述のような各ルールをプロダクションシ
ステムで適用可能とするために、前記ワーキングメモリ
には以下のような項目を設定する。

【００４１】（１）ランドマーク番号 （２）ビジュアルサーボに利用可能な時間（前記画像番
号） （３）各評価値ｅｉ （４）総評価値Ｅ （５）そのランドマークをビジュアルサーボに利用して
いるか否かを表す利用フラグ このようなワーキングメモリの内容を前述のようなルー
ルに適用して記述したプロダクションルールの具体例を
図４で示す。この図４において、候補フラグとは、各ラ
ンドマークＰ１〜Ｐ１２毎に割付けられるフラグで、
「有効」はそのランドマークがビジュアルサーボに利用
されていることを表し、「使用不可」はビジュアルサー
ボに利用されることが不適切であることを表し、「候
補」は後述するように「有効」のランドマークが消失し
た場合におけるバックアップ走行に利用し得ることを表
す。

【００４２】前述のルールに従って、前記走行経路Ｌ１
に対して立案されたランドマークの利用計画の例は図５
で示される。この図５において、□印間で接続する太実
線はプロダクションシステムによって立案された利用計
画であり、△印間は熟練者が立案した利用計画である。
この図５から明らかなように、熟練者の立案した利用計
画にほぼ一致した利用計画を立案することが可能とな
る。

【００４３】また、前記プロダクションルール内には、
下記のように外乱に対する対応策が記述されている。

【００４４】（ａ）利用予定のランドマークが取除かれ
るなどして発見できないときには、そのランドマークを
利用するようになっていた地点で、前述の候補フラグが
「候補」であった残余のランドマークを記録装置３０か
ら再び読出して、利用計画を再立案する。

【００４５】（ｂ）ビジュアルサーボに利用しているラ
ンドマークと走行車との間に障害物が検出され、それま
でビジュアルサーボに用いていたランドマークが検出さ
れなくなったときには、その障害物が取除かれて撮像画
像が元の状態に戻るまでその場で待機する。

【００４６】図６および図７は上述のような動作を説明
するためのフローチャートであり、図６は走行経路の教
示時における動作を説明するためのフローチャートであ
る。ステップｍ１では、操作者が実際に入力装置２６か
ら手動操縦を行って走行車１を所望とする経路に沿って
走行させる。ステップｍ２では、その走行によって得ら
れた撮像画像がビデオデッキ２２に録画される。

【００４７】ステップｍ３では、ワークステーション２
３がビデオデッキ２２をフレーム送り再生して、再生画
像内の特徴物をランドマークとして登録する。ステップ
ｍ４では、前述の図５で示すような、ランドマークの利
用計画が立案されて記録装置３０内に登録されて動作を
終了する。

【００４８】図７は、走行車１の自律走行時の動作を説
明するためのフローチャートである。ステップｋ１で
は、ビジュアルサーボに利用すべきランドマークを撮像
画像上で認識できているか否かが判断され、認識できて
いるときにはステップｋ２に移り、そのランドマークの
画像上でのｘ，ｙ座標が計測される。ステップｋ３で
は、その座標が目標位置に到達したか否かが判断され、
そうでないときにはステップｋ４で、その目標位置に向
けて走行車１の走行制御が継続されて前記ステップｋ１
に戻る。

【００４９】前記ステップｋ１において、利用すべきラ
ンドマークが画像上で確認できないときにはステップｋ
５に移り、前記ステップｍ４で立案された利用計画を、
現在確認することができるランドマークに基づいて再立
案してステップｋ１に戻る。こうしてランドマークが消
失している場合などでも、その利用計画を再立案して、
バックアップ走行を行うことができる。

【００５０】前記ステップｋ３において計測されたラン
ドマークの座標が目標位置に到達しているとステップｋ
６に移り、走行経路の全長に亘るランドマークがそれぞ
れ目標位置に到達したか否か、すなわち終点に到達した
か否かが判断され、そうでないときにはステップｋ７
で、前記ステップｍ４またはｋ５において立案された利
用計画に基づいて次のランドマークの特徴点および座標
などが読出されて前記ステップｋ１に戻り、そうである
ときには動作を終了する。

【００５１】図８に前述の図２における走行経路Ｌ１に
沿って自律走行させたときの軌跡を示し、図９には、図
２において始点をＳ１とし、終点をＥ２とする走行経路
Ｌ２に沿って自律走行させたときの軌跡を示す。これら
の図において、実線は実際の走行軌跡であり、破線は教
示時の軌跡である。これらの図から明らかなように、走
行車１はほぼ教示した軌跡に沿って走行していることが
理解される。

【００５２】また図１０には、ランドマークＰ８を取除
いた場合の走行経路Ｌ１の走行軌跡を示す。この図１０
と前記図５とを参照して、利用すべきランドマークがＰ
８となった地点Ｐ０において、ワークステーション２３
はランドマークの利用計画を再立案し、ランドマークＰ
８に代えて次のＰ９を代替え利用して、この地点Ｐ０か
らバックアップ走行を行い、結果として破線で示す教示
軌跡に対して、実線で示すようにほぼ一致した走行軌跡
で走行させることが確認された。

【００５３】一方、利用されているランドマークと走行
車１との間に障害物を挿入したときには、挿入されたラ
ンドマークが画像処理されて抽出される。しかしなが
ら、それまで利用されていたランドマークと障害物との
特徴パラメータが急激に大きく変化しているので、ワー
クステーション２３は障害物が挿入されたと認識し、そ
の障害物が取除かれるまでその場で待機状態となった。

【００５４】このように本発明では、ランドマークの利
用計画を立案するにあたって、プロダクションシステム
を利用するので、操作者は走行車１を、一旦、手動操縦
で実際に走行させるだけで、ビジュアルサーボによる自
律走行を可能とするためのランドマークの抽出およびそ
の利用計画が自動的に決定される。したがって、熟練者
の立案するような利用計画を含む教示を、誰にでも簡単
に行うことができる。

【００５５】また、ランドマークの消失や障害物の挿入
などの外乱が生じたときには、再度ランドマークの利用
計画の立案などを行い、自動教示によってバックアップ
走行を実現するので、外乱に対して頑健な長距離の走行
を行うことが可能となる。

【００５６】さらにまた、ビジュアルサーボによって走
行車１の進行方向を制御するので、走行車１側からの、
たとえば走行速度や操舵角などの内界センサによる情報
が不要となり、すでに使用している走行車に、テレビカ
メラ１０、送受信器１２，８および駆動回路９などを搭
載するだけで、そのような走行車を自律走行可能とする
ことができるので、無人搬送車などをすでに所有してい
る工場などでは低コストで自律走行化を実現することが
できる。

【００５７】また本発明は、上述のような走行車１に限
らず、たとえばロボットアームのマニピュレータなどの
移動体に対して広く実施することができる。さらにま
た、撮像手段は、可視光のみに限らず、赤外線などの環
境に応じた光を利用するものであってもよい。また、走
行経路の教示は、操作者が走行車１に乗込んで行うよう
にしてもよい。

【００５８】さらにまた、移動体の位置と姿勢とを制御
する場合、２つ以上のランドマークを使用することも考
えられるが、そのときも本発明が利用される。その場
合、本発明に、たとえば茨木他による「岩波コンピュー
タサイエンス 最適化プログラミング」（岩波書店 １
９９１年）の第１頁〜第５頁および第３５９頁〜第３６
７頁に示されるような、分岐限定法などの数理計画法に
よる組合わせ最適化問題の解法を組入れてもよい。

【００５９】

【発明の効果】以上のように本発明によれば、走行車な
どの移動体にテレビカメラなどの撮像手段を搭載してお
き、その撮像手段の撮像画像からランドマークを抽出し
て、抽出したランドマークの撮像画像上での軌跡が予め
記憶しておいた軌跡に一致するように移動手段を制御す
る、いわゆるビジュアルサーボによって移動体を所望と
する予め定める経路に沿って自律移動させるにあたっ
て、操作者が移動体を手動操縦することによって、環境
内にある特徴点を適宜選択してランドマークとして登録
するとともに、その登録されたランドマークのいずれを
ビジュアルサーボに利用するかをプロダクションシステ
ムによる推論によって自動的に決定するので、操作者は
移動体を一度だけ手動操縦するだけで移動経路を教示す
ることができ、誰にでも簡単に教示作業を行うことがで
きるようになる。

【００６０】また、ビジュアルサーボに利用すべきラン
ドマークが消失するなどして環境に変化が生じても、プ
ロダクションシステムによって、その時点で利用すべき
ランドマークを再度選定するので、環境変化に対して頑
健な制御を行うことができる。さらにまた、内界センサ
を用いないので、既存の移動体に組付けて低コストで自
律移動を可能とすることができる。

【図面の簡単な説明】

【図１】本発明の一実施例の電気的構成を示すブロック
図である。

【図２】本件発明者が実験に使用した走行空間３１を説
明するための平面図である。

【図３】前記走行空間３１を走行経路Ｌ１に沿って走行
することによって得られたランドマークの抽出結果を説
明するための図である。

【図４】プロダクションシステムにおける各プロダクシ
ョンルールの記述例を示す図である。

【図５】前記プロダクションルールに沿って得られた利
用すべきランドマークの選択結果を説明するための図で
ある。

【図６】走行車１を手動操縦して走行経路を教示すると
きの動作を説明するためのフローチャートである。

【図７】前記教示された走行経路に沿って走行車１が自
律走行するときの動作を説明するためのフローチャート
である。

【図８】教示した走行経路Ｌ１を辿るように自律走行さ
せたときの実験結果を示す図である。

【図９】教示した走行経路Ｌ２を辿るように自律走行さ
せたときの実験結果を示す図である。

【図１０】教示した前記走行経路Ｌ１において外乱が生
じた場合の実験結果を示す図である。

【符号の説明】

１ 走行車 ２ 制御装置 ８，２１ 受信器 ９ 駆動回路 １０ テレビカメラ １２，２７ 送信器 ２２ ビデオデッキ ２３ ワークステーション ２４ 画像処理装置 ２５ 入出力処理回路 ３１ 走行空間 Ｐ１〜Ｐ１２ ランドマーク

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｂ２５Ｊ 13/08 Ａ Ｇ０１Ｃ 15/00 Ａ Ｇ０６Ｆ 9/44 7737−5Ｂ Ｇ０６Ｔ 1/00 (72)発明者 小林 政巳 兵庫県明石市川崎町１番１号 川崎重工業 株式会社明石工場内 (72)発明者 井上 基広 兵庫県明石市川崎町１番１号 川崎重工業 株式会社明石工場内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 移動体に撮像手段を搭載し、その撮像手
   段の撮像画像からランドマークを抽出し、抽出したラン
   ドマークの撮像画像上での軌跡が予め記憶しておいた対
   応するランドマークの軌跡に一致するように移動体の移
   動手段を制御して、該移動体を所望とする予め定める経
   路に沿って移動させてゆくにあたって、前記ランドマー
   クを決定するための方法において、 操作者が前記移動体を手動操縦して、環境内にある特徴
   点を前記ランドマークとして登録することによって前記
   経路を記憶させてゆくときに、登録されたランドマーク
   のいずれを利用するかを、プロダクションシステムによ
   る推論によって決定することを特徴とするランドマーク
   の決定方法。
2. 【請求項２】 前記プロダクションシステムによる利用
   すべきランドマークの決定は、 まず、前記撮像画像をバッチ的に処理し、輝度、色、形
   状および大きさ等が特徴的な物体をランドマークとして
   複数抽出して、それらの前記輝度、色、形状および大き
   さ等の特徴パラメータと画像上での移動の軌跡および速
   度とを記録してゆき、 次に、各ランドマーク中から、前記輝度、色、形状、大
   きさ、軌跡および速度等に基づいて、利用すべきランド
   マークの選定および切換タイミングを決定することによ
   って実現されることを特徴とする請求項１記載のランド
   マークの決定方法。
3. 【請求項３】 前記複数のランドマークから利用すべき
   ランドマークの選定は、移動体の移動経路上に少なくと
   も１つのランドマークを常に有するように、かつ画像上
   での面積が比較的大きい等、画像処理による抽出が容易
   で、画像中心付近にある等、移動体の移動に従って連続
   的な利用が可能であるランドマークを優先するように行
   われることを特徴とする請求項２記載のランドマークの
   決定方法。
4. 【請求項４】 移動体に搭載される撮像手段と、 前記移動体の操作者の手動操縦による教示時における前
   記撮像手段の撮像画像を記録する記録手段と、 記録手段の再生画像をアナログ／デジタル変換する画像
   処理手段と、 前記画像処理手段の出力からランドマークを抽出し、そ
   の抽出された複数の各ランドマークのいずれを利用すべ
   きかを、プロダクションシステムによる推論によって決
   定する推論手段とを含むことを特徴とするランドマーク
   の決定装置。