JPH0661100B2 - 目標点選択装置 - Google Patents

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、例えば移動ロボットに搭載されたステレオ・
カメラにより入力されたステレオ画像に従って上記移動
ロボットの走行を制御する際に必要な、上記ステレオ画
像中の目標点を高精度に選択し得る目標点選択装置に関
する。

（従来の技術） 近時、カメラの軽量・小形化と視覚情報処理技術の発展
に伴い、視覚機能を備えた移動ロボットの開発が盛んに
進められている。この種の視覚機能を備えた移動ロボッ
トによれば、例えば従来の近接スイッチだけを備えた移
動ロボットに比較して移動環境の認識やその走行経路の
自動設定等が可能となり、高度な作業能力を持たせるこ
とが可能となる。これ故、例えば原子力発電所において
保守点検作業を行なうような、自律走行が要求される分
野への適用が期待されている。

さて移動ロボットが自律走行する場合には、例えば予め
設定されている走行経路と現在の走行ロボットの位置と
の位置ずれを知ることが必要となる。

そこで、例えばその走行経路に沿って移動ロボットを準
備走行させ、その時に該移動ロボットに搭載されたステ
レオ・カメラによって入力されるステレオ画像から自律
走行の目標となる目標点の３次元位置をそれぞれ計測
し、これを環境モデルとして登録しておく。そして実際
の移動ロボットの自律走行時に入力されるステレオ画像
から目標点の３次元座標を計測し、前記環境モデルとし
て登録された目標点の３次元座標と照合することによ
り、該移動ロボットの前記走行経路からの位置ずれを求
めることが提唱されている。

しかしてこのようにして位置ずれを計測する場合、照合
対象とする目標点の数が多ければ、例えば最小２乗法を
採用する等してその計測精度を高めることができる。つ
まり、個々の目標点に対する３次元の計測誤差が大きく
ても、或る程度精度良く位置ずれ量を計測することがで
きる。然し乍ら、その為には数多くの目標点の３次元座
標を計算することが必要となり、その計算処理に要する
時間が膨大となることが否めない。

これに対して小数の目標点だけを抽出して位置ずれを計
測する場合、個々の目標点の３次元位置座標の検出精度
が問題となる。しかも目標点が誤検出された場合、その
誤検出された目標点が持つ３次元座標の誤差が位置ずれ
計算に与える悪影響が多大である。

そこで目標点の高精度な対応付けを行い、位置ずれを計
算処理に適した目標点だけを抽出することが考えられて
いる。しかしその為には、目標点抽出の為の画像処理が
徒に複雑化し、またそれに要する処理時間が長くなる等
の不具合があった。更には、誤検出された目標点につい
ても、位置ずれ計算処理に用いられる可能性があるの
で、計測される位置ずれ量に対する信頼性の点でも問題
があった。

（発明が解決しようとする問題点） 本発明は、上述したように数多くの目標点を用いて位置
ずれを計算するのにその計算処理量や計算処理時間の点
で問題があること、また少数の目標点だけを抽出して位
置ずれを計算する場合には、信頼性の高い目標点を抽出
することが困難であること等の不具合に鑑みてなされた
もので、その目的とするところは、移動ロボット等に搭
載されたステレオ・カメラにより入力されたステレオ画
像中から、該移動ロボットの位置ずれを計測するに適し
た信頼性の高い目標点だけを高精度に選択することので
きる目標点選択装置を提供することにある。

［発明の構成］ （問題点を解決するための手段） 本発明は、移動ロボット等の移動体に搭載されたステレ
オ画像を入力するためのステレオ視覚カメラと、予め定
められた位置の前記移動体のステレオ視覚カメラより複
数の目標点を入力したときの第１の座標系にて入力され
たステレオ画像中の該複数の目標点の３次元座標値をそ
れぞれ求め、これらの３次元座標値から該目標点間相互
の直線距離をそれぞれ求める第１の直線距離導出手段
と、任意の位置の前記移動体のステレオ視覚カメラより
前記複数の目標点を入力したときの第２の座標系にて入
力されたステレオ画像中の該複数の目標点の３次元座標
値をそれぞれ求め、これらの３次元座標値から該目標点
相互の直線距離をそれぞれ求める第２の直線距離導出手
段と、前記第１の座標系における複数の目標点と前記第
２の座標系における複数の目標点とをこれらの３次元座
標値に従ってそれぞれ対応付ける対応付け手段と、前記
第１の座標系での各目標点間の直線距離と前記第２の座
標系で該各目標点間に対応する各目標点間の直線距離と
の距離差をそれぞれ求め、前記第１の座標系の各目標点
毎に該目標点と他の目標点間の直線距離に対する前記距
離差の総和をそれぞれ求める総和導出手段と、前記第１
の座標系の各目標点に対し前記総和導出手段で求められ
た距離差の総和が所定の閾値未満である目標点を抽出す
る抽出手段と、この抽出手段で抽出された目標点が所定
数以上ある場合これらの抽出された目標点を前記予め定
められた位置と前記任意の位置との位置ずれ計測に利用
すべき目標点として選択する選択手段とを具備したこと
を特徴とするものである。

（作用） かくして本発明によれば、例えば予め定められた位置の
前記移動体のステレオ視覚カメラより複数の目標点を入
力したときの第１の座標系にて予め計測された複数の目
標点の３次元座標から求められる上記各目標点間相互の
直線距離と、移動ロボットの自律走行時に第２の座標系
にて計測される複数の目標点の３次元座標から求められ
る上記目標点間相互の直線距離とを比較して、上記第１
の座標系および第２の座標系でそれぞれ計測される目標
点の対応付けが行われる。しかして各座標系にて計測さ
れる目標点の３次元座標はその座標系に特有なものとし
て求められるが、各座標系にて計測された目標点間相互
の直線距離はその座標系に拘らず不変のものである。従
って上記目標点間相互の直線距離の情報、すなわち第１
の座標系と第２の座標系との対応する各目標点間の距離
差の総和を用いて、該距離差の総和が所定の閾値未満で
ある目標点を抽出することにより、その目標点の対応付
けを非常に高精度に行なうことができる。

故に、その３次元座標からだけでは対応関係が曖昧な目
標点を排除して、信頼性の高い目標点だけを選択的に抽
出することができ、その目標点の３次元座標を用いて、
例えば移動ロボットの位置ずれ計測等を効果的に行なう
ことが可能となる。

（実施例） 以下、図面を参照して本発明の一実施例につき説明す
る。

第１図は実施例装置の概略構成図であり、 1は移動ロボ
ット等に搭載されたステレオ・カメラにより該移動ロボ
ットが存在する位置からの走行環境の情報をステレオ画
像として入力するステレオ画像入力部である。

このステレオ画像入力部1 から入力される走行環境のス
テレオ画像は、例えば第２図に示すような室内通路の画
像からなる。

目標点抽出部2 は上記入力ステレオ画像から、上記移動
ロボットの走行制御の目安となる対象物を目標点として
抽出するものである。この目標点としては、例えば室内
通路における壁と床面とによって形成される隅部や、柱
の隅部と床面との交点、更には壁面に取付られた物体の
特徴的な隅部等として定められる。第２図に示す例で
は、４つの角部ｖ1,ｖ2,ｖ3,ｖ4 がそれぞれ目標点とし
て定められている。

カメラ座標値計算部3 は、上記ステレオア画像を入力し
た時点のステレオ視カメラを搭載した移動ロボットの位
置、および上記ステレオ視カメラの撮像視野の向きから
上記ステレオ画像を得た座標系を求め、その座標系にお
ける上述した各目標点の３次元座標をそれぞれ計算して
いる。この目標点の３次元座標計算は、例えば所定の距
離を隔てた２台のカメラにより求められる左右２枚の画
像からなるステレオ画像における同一目標点の対応点検
出と、その目標点に対する三角測量法の原理に基くステ
レオ計算によって行われる。

このようにして計算される各目標点の３次元座標が、そ
のカメラ座標系の情報と共に該カメラ座標値計算部3 に
内蔵された目標点座標値メモリに格納される。尚、この
際、上記各目標点を検出するに適した小ウインドウｗ1,
ｗ2,ｗ3,ｗ4 がそれぞれ設定され、そのウインドウ情報
が上記各目標点に対応付けられて前記目標点座標値メモ
リに記憶される。これらの小ウインドウは、入力された
ステレオ画像中から上記目標点の１つを含み、他の目標
点を含まないような部分画像領域としてそれぞれ設定さ
れるものである。

しかして前記移動ロボットを自律走行させるように先立
って、該移動ロボットを予め設定された走行軌道上を準
備走行させると、その時に入力されたステレオ画像から
上述した如くして目標点の３次元座標値がそれぞれ求め
られる。そしてこの時に求められる上記目標点の３次元
座標値は、その環境モデルデータとして環境モデルメモ
リ5 に順次登録される。つまり環境モデルメモリ5 に
は、移動ロボットの準備走行時に求められる前記目標点
の３次元座標値が、第１の座標系にて予め求められる目
標点の３次元座標データとして格納される。そしてこの
環境モデルメモリ5 に格納されたデータを参照して前記
移動ロボットの自律走行時における該移動ロボットの前
記本来の走行軌道からの位置ずれが求められ、その走行
が制御される。

しかる後、上記準備走行によって第１の座標系における
走行環境の目標点の３次元座標のデータが環境モデルメ
モリ5 に登録されると、次に前記移動ロボットの自律走
行が行われる。この自律走行時には、移動ロボットが上
述した如く設定された走行軌道上を確実に走行するとは
限らない。従ってそのときに入力されるステレオ画像の
入力座標系は一般に先の入力座標系と異なるものにな
る。

しかして前記目標点抽出部2 は、この第２の座標系にて
入力されるステレオ画像中から、前記環境モデルメモリ
5 に格納された複数の目標点の小ウインドウ情報を手掛
かりとして目標点の抽出を行なっている。しかしこの場
合、ステレオ画像の入力座標系の違いによって、前述し
た第１の座標系で検出される目標点がそれぞれ確実に検
出されるとは限らない。むしろ先に設定した目標点とは
別の対象が目標点として検出される可能性が多大にあ
る。

しかしてカメラ座標値計算部3 は、この移動ロボットの
自律走行時に入力されたステレオ画像中から抽出される
目標点の各３次元座標値を前述したようにしてそれぞれ
求めている。そしてその目標点の３次元座標値を、第２
の座標系におけるデータとして前記目標点座標値メモリ
にそれぞれ格納している。

目標点相互位置関係導出部4 は、上記カメラ座標値計算
部3 にて求められた第２の座標系における複数の目標点
の各３次元座標と、前記環境モデルメモリ5 に予め格納
された第１の座標系における複数の目標点の各３次元座
標値とを相互に比較し、それらの位置関係から第１およ
び第２の座標系間で相互に対応する目標点を求めるもの
である。

即ち、目標点相互位置関係導出部4 は先ず第１の座標系
Ｃm にて求められた複数の目標点ｖ1,ｖ2,ｖ3,ｖ4 の３
次元座標から、これらの各目標点ｖ1,ｖ2,ｖ3,ｖ4 の３
次元位置関係を求めている。具体的には、例えば第３図
に示すように各目標点ｖ1,ｖ2,ｖ3,ｖ4 間の各直線距離
を ｜ｖ1 −ｖ2 ｜，｜ｖ1 −ｖ3 ｜， ｜ｖ1 −ｖ4 ｜，｜ｖ2 −ｖ3 ｜， ｜ｖ2 −ｖ4 ｜，｜ｖ3 −ｖ4 ｜， としてそれぞれ求めている。しかる後、同様にして第２
の座標系Ｃにて求められた複数の目標点Ｖ1,Ｖ2,Ｖ3,Ｖ
4 の３次元座標から、これらの各目標点Ｖ1,Ｖ2,Ｖ3,Ｖ
4 間の３次元位置関係、つまり各目標点Ｖ1,ｖ2,Ｖ3,Ｖ
4 間の各直線距離を ｜Ｖ1 −Ｖ2 ｜，｜Ｖ1 −Ｖ3 ｜， ｜Ｖ1 −Ｖ4 ｜，｜Ｖ2 −Ｖ3 ｜， ｜Ｖ2 −Ｖ4 ｜，｜Ｖ3 −Ｖ4 ｜， としてそれぞれ求めている。このような目標点間の距離
として求められる目標点間の３次元位置関係は、同一の
目標点間の関係を示す場合、そのカメラ座標系Ｃm,Ｃの
違いに拘らず不変のものである。

このような各座標系における目標点間の３次元位置関係
の情報が目標点選択部6 に与えられる。この目標点選択
部6 では上記目標点間の３次元位置関係に従って、例え
ば第４図に示す手続きに従ってその対応関係を照合して
いる。即ち、先ず第１および第２の座標系においてその
３次元座標値から相互に対応していると予想される目標
点ｖi,Ｖi (i＝1〜n)をそれぞれ定める。そして或る目
標点ｖi,Ｖi に着目し、各座標系における他の目標点ｖ
j,Ｖj (j≠i)との間の直線距離について次のような重み
（距離差）を計算している（ステップａ）。

Ｌ(vi,vj) ＝｜｜vi-vj ｜−｜Vi-Vj ｜｜ この重みＬ(vi,vj) の計算は、各座標系における目標点
間距離の全ての組合せについて行われる。そして第１の
座標系における目標点ｖi について求められる上記重み
Ｌ(vi,vj) の総和Ｗ(vi)をそれぞれ求める（ステップ
ｂ）。具体的には目標点ｖ1 に着目した場合、 Ｌ(v1,v2) ，Ｌ(v1,v3) ，Ｌ(v1,v4) を加算してその総和Ｗ(v1)を求める。

そして、その総和Ｗ(vi)が所定の閾値δ未満であるか否
かを判定し、総和Ｗ(vi)が所定の閾値δ以上の場合に
は、その目標点ｖi を誤検出された目標点であると判定
する（ステップｃ）。つまり複数の目標点間の距離の差
が、座標系の違いによる目標点の計測３次元座標誤差範
囲内に収まるか否かを判定し、許容誤差範囲δを逸脱す
るものについては、３次元座標位置的には近接している
が、誤って検出された目標点についてその対応検出を行
なったと判定している。

以上の処理は、２つの座標系でそれぞれ検出された目標
点ｖi,Ｖi (i＝1〜n)について、上記３次元位置の対応
関係を満す目標点が所定の数Ｋ以上検出されるまで繰返
し行われる（ステップｄ）。そして前記総和Ｗ(vi)と所
定の閾値δとの比較によって相互に対応していると判定
された目標点がＫ個以上抽出されたとき、それらの目標
点を位置ずれ計測に利用する目標点として選択するもの
となっている（ステップｅ）。

かくしてこのように目標点間の３次元位置関係の情報を
相互に比較すれば、誤って検出された目標点については
他の目標点との間の距離がそれぞれ微妙にずれてくる
為、前述した如く求められる総和Ｗ(vi)の値が大きくな
る。従って総和Ｗ(vi)の値の小さいものだけを選択すれ
ば、環境モデルとして登録された目標点と同一の目標点
だけを高精度に抽出することが可能となり、前記目標点
選択部6 は第２の座標系にて求められた目標点の内、上
述した対応関係を満す目標点だけを選択的に抽出するこ
とになる。

このように本装置によれば、異なる座標系でそれぞれ抽
出された複数の目標点の内、その座標系間で共通する
（対応する）目標点だけを高精度に選択することができ
る。即ち、目標点間の直線距離等の、その入力座標系の
違いに対して不変な３次元位置関係の情報を用いて対応
する目標点の判定を行なっている。この結果、例えばそ
の３次元座標位置によれば殆んど等しいデータとして示
され相互に対応する目標点として誤検出される目標点で
あっても、上述した目標点の直線距離等の３次元位置関
係を示す情報の比較照合によってその３次元位置関係の
対応関係が満されない目標点が排除されるので、その目
標点の誤検出が未然に防がれることになる。

従って移動ロボットの自律走行時に入力されるステレオ
画像中から検出された複数の目標点の内、該移動ロボッ
トの位置ずれ検出に利用するに有用な目標点だけを信頼
性良く、しかも高精度に選択することができ、この選択
された目標点の３次元位置情報を用いてその位置ずれ検
出を高精度に行なうことが可能となる。

尚、本発明は上述した実施例に限定されるものではな
い。例えば複数の目標点間の３次元位置関係としては上
述した目標点間の直線距離のみならず、目標点間を相互
に結ぶ直線間のなす角度の情報を用いるようにしても良
い。またこの角度の情報と前記直線距離との双方を用い
て目標点の対応関係を判定するようにしても良い。要す
るに本発明はその要旨を逸脱しない範囲で種々変形して
実施することができる。

［発明の効果］ 以上説明したように本発明によれば、入力されたステレ
オ画像から検出される目標点の３次元座標位置だけに頼
ることなく、その複数の目標点間の３次元位置関係に従
って目標点の対応付けを行なうので、例えば移動ロボッ
トにおける位置ずれ検出に必要な目標点を高精度に選択
することができる。従って誤検出された目標点を効果的
に排除して精度の高い位置ずれ検出処理等を行なうこと
が可能となる。

【図面の簡単な説明】 図は本発明の一実施例を示すもので、第１図は実施例装
置の概略構成図、第２図はステレオ画像として入力され
る室内通路の環境とその環境内における目標点との関係
を示す図、第３図は複数の目標点間の３次元位置関係を
示す図、第４図は３次元位置関係に基く目標点の対応付
け処理の流れを示す図である。 1 ……ステレオ画像入力部、 2……目標点抽出部、 3…
…カメラ座標値計算部、 4……目標点相互位置関係導出
部、 5……環境モデルメモリ、 6……目標点選択部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】移動体に搭載されステレオ画像を入力する
   ためのステレオ視覚カメラと、 予め定められた位置の前記移動体のステレオ視覚カメラ
   より複数の目標点を入力したときの第１の座標系にて入
   力されたステレオ画像中の該複数の目標点の３次元座標
   値をそれぞれ求め、これらの３次元座標値から該目標点
   間相互の直線距離をそれぞれ求める第１の直線距離導出
   手段と、 任意の位置の前記移動体のステレオ視覚カメラより前記
   複数の目標点を入力したときの第２の座標系にて入力さ
   れたステレオ画像中の該複数の目標点の３次元座標値を
   それぞれ求め、これらの３次元座標値から該目標点間相
   互の直線距離をそれぞれ求める第２の直線距離導出手段
   と、 前記第１の座標系における複数の目標点と前記第２の座
   標系における複数の目標点とをこれらの３次元座標値に
   従ってそれぞれ対応付ける対応付け手段と、 前記第１の座標系での各目標点間の直線距離と前記第２
   の座標系で該各目標点間に対応する各目標点間の直線距
   離との距離差をそれぞれ求め、前記第１の座標系の各目
   標点毎に該目標点と他の目標点間の直線距離に対する前
   記距離差の総和をそれぞれ求める総和導出手段と、 前記第１の座標系の各目標点に対し前記総和導出手段で
   求められた距離差の総和が所定の閾値未満である目標点
   を抽出する抽出手段と、 この抽出手段で抽出された目標点が所定数以上ある場合
   これらの抽出された目標点を前記予め定められた位置と
   前記任意の位置との位置ずれ計測に利用すべき目標点と
   して選択する選択手段と を具備したことを特徴とする目標点選択装置。