JPS62266687A - 目標点選択装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、例えば移動ロボットに搭載されたステレオ−
カメラにより入力されたステレオ画像に従って上記移動
ロボットの走行を制御する際に必要な、上記ステレオ画
像中の目標点を高精度に選択し得る目標点選択装置に関
する。

（従来の技術） 近時、カメラの軽二・小形化と視覚情報処理技術の発展
に伴い、視覚機能を備えた移動ロボットの開発が盛んに
進められている。この種の視覚機能を備えた移動ロボッ
トによれば、例えば従来の近接スイッチだけを備えた移
動ロボットに比較して移動環境の認識やその走行経路の
自動設定等が可能となり、高度な作業能力を持たせるこ
とが可能となる。これ故、例えば原子力発電所において
保守点検作業を行なうような、自律走行が要求される分
野への適用が期待されている。

さて移動ロボットが自律走行する場合には、例えば予め
設定されている走行経路と現在の走行ロボットの位置と
の位置ずれを知ることが必要となる。

そこで、例えばその走行経路に沿って移動ロボットを準
備走行させ、その時に該移動ロボットに搭載されたステ
レオ・カメラによって入力されるの自律走行時に入力さ
れるステレオ画像から目標ずれを求めることが提唱され
ている。

しかしてこのようにして位置ずれを計測する場合、照合
対象とする目標点の数が多ければ、例えば最小２乗法を
採用する等してその計測精度を高めることができる。つ
まり、個々の目標点に対する３次元座標の計測誤差が大
きくても、成る程度精度良く位置ずれ量を測定すること
ができる。然し乍ら、その為には数多くの目標点の３次
元座標を計算することが必要となり、その計算処理に要
する時間が膨大となることが否めない。

これに対して少数の目標点だけを抽出して位置ずれを計
測する場合、個々の目標点の３次元位置座標の検出精度
が問題となる。しかも目標点が誤検出された場合、その
誤検出された目標点が持つ３次元座標の誤差が位置ずれ
計算に与える悪影響が多大である。

そこで目標点の高精度な対応付けを行い、位置ずれ計算
処理に適した目標点だけを抽出することが考えられてい
る。しかしその為には、目標点抽出の為の画像処理が徒
に複雑化し、またそれに要する処理時間が長くなる等の
不具合があった。更った。

（発明が解決しようとする問題点） 本発明は、上述したように数多くの目標点を用いて位置
ずれを計算するにはその計算処理量や計算処理時間の点
で問題があること、また少数の目標点だけを抽出して位
置ずれを計算する場合には、信頼性の高い目標点を抽出
することが困難であること等の不具合に鑑みてなされた
もので、その目的とするところは、移動ロボット等に搭
載されたステレオ・カメラにより入力されたステレオ画
像中から、該移動ロボットの位置ずれを計測するに適し
た信頼性の高い目標点だけを高精度に選択することので
きる目標点選択装置を提供することにある。

［発明の構成］ （問題点を解決するための手段） 本発明は、例えば移動ロボットに搭載されたステレオ・
カメラにより入力されたステレオ画像中の複数の目標点
の３次元座標値をそれぞれ求め、これらの３次元座標値
から該目標点間相互の３次位置の上記移動ロボットから
目標点を視野したときの第１の座標系における目標点間
相互の３次元位置関係と、任意の位置において上記移動
ロボットから目標点を視野したときの第２の座標系にお
ける目標点間相互の３次元位置関係とを比較し、この比
較結果に基いて上記第２の座標系で入力されたステレオ
画像中の前記第１の座標系で入力されたステレオ画像中
で示される目標点に対応する目標点を選択するようにし
たことを特徴とする特のである。

（作用） かくして本発明によれば、例えば第１の座標系にて予め
計測された複数の目標点の３次元座標から求められる上
記各目標点の３次元位置関係と、移動ロボットの自律走
行時に第２の座標系にて計測される複数の目標点の３次
元座標から求められる上記各目標点の３次元位置関係と
を比較して、第２の座標系および第２の座標系でそれぞ
れ計Ｍ１される目標点の対応付けが行われる。しかして
各座標系にて計測される目標点の３次元座標はとにより
、その目標点間の対応付けを非常に高精度に行なうこと
ができる。

故に、その３次元座標からだけでは対応関係が曖昧な目
標点を排除して、信頼性の高い目標点だけを選択的に抽
出することができ、その目標点の３次元座標を用いて、
例えば移動ロボットの位置ずれ計測等を効果的に行なう
ことが可能となる。

（実施例） 以下、図面を参照して本発明の一実施例につき説明する
。

第１図は実施例装置の概略構成図であり、■は移動ロボ
ット等に搭載されたステレオ・カメラにより該移動ロボ
ットが存在する位置からの走行環境の情報をステレオ画
像として入力するステレオ画像人力部である。

このステレオ画像入力部１から入力される走行環境のス
テレオ画像は、例えば第２図に示すような室内通路の画
像からなる。

目標点抽出部２は上記入力ステレオ画像から、上記移動
ロボットの走行制御の目安となる対象物を目標点として
抽出するものである。この目標点一部一等として定めら
れる。第２図に示す例では、４力メラ座標値計算部３は
、上記ステレオ画像を人力した時点のステレオ視カメラ
を搭載した移動ロボットの位置、および上記ステレオ視
カメラの撮像視野の向きから上記ステレオ画像を得た座
標系を求め、その座は系における上述した各目標点の３
次元座標をそれぞれ計算している。この目標点の３次元
座標計算は、例えば所定の距離を隔てた２台のカメラに
より求められる左右２枚の画像からなるステレオ画像に
おける同一目標点の対応点検出と、その目標点に対する
三角測量法の原理に基くステレオ計算によって行われる
。

このようにして計算される各目標点の３次元座標が、そ
のカメラ座標系の情報と共に該カメラ座標値計算部３に
内蔵された目標点座標値メモリに格納される。尚、この
際、上記各目標点を検出するに適した小ウィンドウｗ　
ｌ　、　ｗ　２　、　ｗ　３　、　Ｗ　４がそれぞれ設
定され、そのウィンドウ情報が上記各目標点に対応付け
られて前記目標点座標値メモリに記憶される。これらの
小ウィンドウは、入力されたステレオ画像中から上記目
標点の１つを含み、他の目標点を含まないような部分画
像領域としてそステレオ画像から上述した如くして目標
点の３次元座標値がそれぞれ求められる。そしてこの時
に求められる上記目標点の３次元座標値は、その環境モ
デルデータとして環境モデルメモリ５に順次登録される
。つまり環境モデルメモリ５には、移動ロボットの準備
走行時に求められる前記目標点の３次元座標値が、第１
の座標系にて予め求められる目標点の３次元座標データ
として格納される。

そしてこの環境モデルメモリ５に格納されたデータを参
照して前記移動ロボットの自律走行時における該移動ロ
ボットの前記本来の走行軌道からの位置ずれが求められ
、その走行か制御される。

しかる後、上記４備走行によって第１の座標系における
走行環境の目標点の３次元座標のデータが環境モデルメ
モリ５に登録されると、次に前記移動ロボットの自律走
行が行われる。この自律走行時には、移動ロボットが上
述した如く設定された走行軌道上を確実に走行するとは
限らない。従ってそのときに入力されるステレオ画像の
入力座標系は一般に先の入力座標系と異なるものになる
。

なっている。しかしこの場合、ステレオ画像の入力座標
系の違いによって、前述した第１の座標系で検出される
目標点がそれぞれ確実に検出されるとは限らない。むし
ろ先に設定した目標点とは別の対象が目標点として検出
される可能性が多大にある。

しかしてカメラ座標値計算部３（よ、この移動ロボット
の自律走行時に入力されたステレオ画像中から抽出され
る目標点の各３次元座標値を前述したようにしてそれぞ
れ求めている。そしてその目標点の３次元座漂値を、第
２の座標系におけるデータとして前記目標点座標値メモ
リにそれぞれ格納している。

目標点相互位置関係導出部４は、上記カメラ座標値計算
部２にて求められた第２の座標系における複数の目標点
の各３次元座標と、前記環境モデルメモリ５に予め格納
された第１の座標系における複数の目標点の各３次元座
標値とを相互に比較し、それらの位置関係から第１およ
び第２の座標系間で相互に対応する目標点を求めるもの
である。

いる。具体的には、例えば第３図に示すように各目標点
ｖ　ｌ、ｖ　２．ｖ　３．ｖ　４間の各直線距離をｌ　
ｖｌ　−ｖ２　　ｌ、　　ｌ　ｖｊ−ｖ３　１゜Ｉｖｌ
　−ｖ４　１．ｌｖ２−ｖ３　　ｌ。

ｌｖ２−ｖ４１．ｌｖ３−ｖ４　　ｌ としてそれぞれ求めている。しかる後、同様にして第２
の座標系Ｃにて求められた複数の目標点Ｖ　ｌ、Ｖ　２
．Ｖ　３．Ｖ　４　）３次元座標から、これらの各目標
点Ｖ　ｌ、Ｖ　２．Ｖ　３．Ｖ　４間の３次元位置関係
、つまり各目標点Ｖｌ、Ｖ２．Ｖ３．Ｖ４間の各直線距
離をＩＶＩ　−Ｖ２１．ＩＶＩ　−Ｖ３　１゜ＩＶＩ　
−Ｖ４　＋、ｌＶ２−Ｖ３　１゜ＩＶ２−Ｖ４　＋、　
　ｌ　Ｖ３−Ｖ４　＋としてそれぞれ求めている。この
ような目標点間の距離として求められる目標点間の３次
元位置関係は、同一の目標点間の関係を示す場合、その
カメラ座標系Ｃｍ、Ｃの違いに拘らず不変のものである
。

このような各座標系における目標点間の３次元位置関係
の情報が目標点選択部Ｂに与えられる。

１および第２の座標系においてその３次元座標値から相
互に対応していると予想される目標点ｖ１゜ｖｔ（ｔ−
ｔ〜ｎ）をそれぞれ定める。そして成る目標Ｌ　（ｖｌ
、ｖｊ）　＝　Ｉ　ｌ　ｖｉ−ｖｊ　　ｌ　−Ｉ　Ｖｉ
−Ｖｊ　　ｌ　ｌこの重みＬ　（ｖｉ、ｖＤの計算は、
各座標系における目標点間距離の全ての組合せについて
行われる。

そして第１の座標系における目標点ｖ１について求めら
れる上記重みＬ　（ｖｉ、ｖＤの総和Ｗ（ｖｉ）をそれ
ぞれ求める（ステップｂ）。具体的には目標点ｖ１に着
目した場合、 Ｌ　（ｖｌ、ｖ２）　、　　Ｌ　（ｖｌ、ｖ３）　、　
　Ｌ　（ｖｌ、ｖ４）を加算してその総和Ｗ（ｖｌ）を
求める。

そして、その総和Ｗ（ｖ［）が所定の閾値６未満である
か否かを判定し、総和Ｗ（ｖｉ）が所定の閾値６以上の
場合には、その目標点ｖｉを誤検出された目標点である
と判定する（ステップＣ）。つまり複数の目標点間の距
離の差が、座標系の違いによる目標点の計測３次元座標
誤差範囲内に収まるか否かを判定し、許容誤差範囲δを
逸脱するものについては、３次元座標位置的には近接し
ているが、誤って検出された目標点についてその対応検
出を行なったと判定している。

以上の処理は、２つの座標系でそれぞれ検出された目標
点ｖ　ｉ、Ｖ　ｌ　（ｉ＝ｌ〜ｎ）について、上記３次
に個以上抽出されたとき、それらの目標点を位置ずれ計
測に利用する目標点として選択するものとなっている（
ステップｅ）。

かくしてこのように目標点間の３次元位置関係の情報を
相互に比較すれば、誤って検出された目標点については
他の目標点との間の距離がそれぞれ微妙にずれてくる為
、前述した如く求められる総和Ｗ（ｖｊ）の値が大きく
なる。従って総和Ｗ（ｖｉ）の値の小さいものだけを選
択すれば、環境モデルとして登録された目標点と同一の
目標点だけを高精度に抽出することが可能となり、前記
目標点選択部６は第２の座標系にて求められた目標点の
内、上述した対応関係を満す目標点だけを選択的に抽出
することになる。

このように本装置によれば、異なる座標系でそれぞれ抽
出された複数の目標点の内、その座標系間で共通する（
対応する）目標点だけを高精度に選択することができる
。即ち、目標点間の直線距離等の、その入力座標系の違
いに対して不変な３次元位置関係の情報を用いて対応す
る目標点の利点てあっても、上述した目標点の直線距離
等の３次元位置関係を示す情報の比較照合によってその
３次元位置関係の対応関係が満されない目標点が排除さ
れるので、その目標点の誤検出が未然に防がれることに
なる。

従って移動ロボットの自律走行時に人力されるステレオ
画像中から検出される複数の目標点の内、該移動ロボッ
トの位置ずれ検出に利用するに有用な［］漂点だけを信
頼性良く、しかも高精度に選択することができ、この選
択された目標点の３次元位置情報を用いてその位置ずれ
検出を高精度に行なうことが可能となる。

尚、本発明は上述した実施例に限定されるものではない
。例えば複数の目標点間の３次元位置関係としては上述
した目標点間の直線距離のみならず、目標点間を相互に
結ぶ直線間のなす角度の情報を用いるようにしても良い
。またこの角度の情報と前記直線距離との双方を用いて
目標点の対応関係を判定するようにしても良い。要する
に本発明はその要旨を逸脱しない範囲で種々変形して実
施することができる。

［発明の効果］ 以上説明したように本発明によれば、入力されたステレ
オ画像から検出される目標点の３次元座標位置だけに頼
ることなく、その複数の目標点間の３次元位置関係に従
って目標点の対応付けを行なうので、例えば移動ロボッ
トにおける位置ずれ検出に必要な目標点を高精度に選択
することができる。従って誤検出された目標点を効果的
に排除して精度の高い位置ずれ検出処理等を行なうこと
が可能となる。

【図面の簡単な説明】

図は本発明の一実施例を示すもので、第１図は実施例装
置の概略構成図、第２図はステレオ画像として入力され
る室内通路の環境とその環境内における目標点との関係
を示す図、第３図は複数の目標点間の３次元位置関係を
示す図、第４図は３次元位置関係に基く目（頂点の対応
付は処理の流れを示す図である。 ■・・・ステレオ画像入力部、２・・・目標点抽出部、
３・・・カメラ座標値計算部、４・・・目標点相互位置
関係導出部、５・・・環境モデルメモリ、６・・・目標
点選択部。 ／＋％Ｑ出願人　工業技術院長　等々力　達第１図 第２図 第３図 第４図

Claims (3)

【特許請求の範囲】
1. （１）第１の座標系にて入力されたステレオ画像中の複
   数の目標点の３次元座標値をそれぞれ求め、これらの３
   次元座標値から該目標点間相互の３次元位置関係をそれ
   ぞれ求める手段と、第２の座標系にて入力されたステレ
   オ画像中の複数の目標点の３次元座標値をそれぞれ求め
   、これらの３次元座標値から該目標点間相互の３次元位
   置関係をそれぞれ求める手段と、上記第１の座標系にお
   ける複数の目標点間相互の３次元位置関係と第２の座標
   系における複数の目標点間相互の３次元位置関係とを比
   較して、上記第２の座標系で入力されたステレオ画像中
   の前記第１の座標系で入力されたステレオ画像中で示さ
   れる目標点に対応する目標点を選択する手段とを具備し
   たことを特徴とする目標点選択装置。
2. （２）目標点間相互の３次元位置関係は、複数の目標点
   間の直線距離や、複数の目標点を相互に結ぶ直線がなす
   角度として求められるものである特許請求の範囲第１項
   記載の目標点選択装置。
3. （３）ステレオ画像は移動体に搭載されたステレオ視覚
   カメラにより入力されるものであって、第１の座標系は
   予め定められた位置の上記移動体から目標点を視野した
   ときの座標系であって、第２の座標系は任意の位置にお
   いて上記移動体から目標点を視野したときの座標系であ
   る特許請求の範囲第１項記載の目標点選択装置。