JPS6166107A

JPS6166107A - 物体位置・形状計測方法およびその装置

Info

Publication number: JPS6166107A
Application number: JP59187269A
Authority: JP
Inventors: Minoru Ito; 稔伊藤; Akira Ishii; 明石井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1984-09-08
Filing date: 1984-09-08
Publication date: 1986-04-04
Also published as: JPH0371042B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は３個以上で取得した複数の２次元画像から立体
視対応点処理により物体の位置・形状を３次元計測する
物体位置・形状計測方法と、この方法を実施する装置に
関するものである。

〔従来の技術〕

従来、物体の位置・形状を計測する方法としては、２次
元画像としてテレビカメラ像を用いて３次元計測する方
法が一般的であり、その方法としては大別して次の３種
類がある。

すなわち、１）物体にスポット光、スリット光あるいは
格子像を照射してその投影像をテレビカメラで観測して
処理する投光式、２）像が鮮明になるようにレンズ位置
を調節する自動焦点式（別名、鮮鋭度検出式）、３）２
台のテレビカメラで観測し、両画像の対応点処理を施し
て画像間視差を求め、三角測量の原理に基づき物体の３
次元位置・形状に換算する両眼立体視法がある。

これらのうち、上記１）の投光式と２）の自動焦点式は
光の走査まだはレンズ走査をするなどの機械的な走査を
要するため、高速性能・耐久性に問題があり、また、高
分解能が得難いという本質的な問題がおる。

一方、上記３）の両眼立体視法は、機械的走査を必要と
せず、また、高分解能計測も可能であり、さらに、計測
対象物体の制約も上記１）と２）に比べ少ないので、汎
用的手法としても優れている。

しかしながら、この両眼立体視法においては、画像間の
対応点処理の方法に問題が多い。

以下に、この両眼立体視法の問題点について図面を参照
し具体的に説明する。

従来提案されている両眼立体視法の構成の一例を第８図
に示し説明すると、図において、１と２はそれぞれＸ軸
上におかれ、かつ座標原点Ｏからお互いに等距離に位置
したテレビカメラで、これらのテレビカメラ１およびテ
レビカメラ２の向きはお互にほぼ平行に置かれている。

３は対象物体（以下、物体と略称する）で、この物体３
は座標原点○から、テレビカメラ１とテレビカメラ２の
距離に比べ十分大きな距離をへだててＹ軸上に置かれて
いる。なお、２は２軸である。

第９図は対応点を決定する代表的方法として局所相関法
により得られた評価値の分布の例を示す説明図である。

この第９図（、）　、　（ｂ）　、　（Ｃ）において、
４および５はそれぞれ第８図に示すテレビカメラ１およ
びテレビカメラ２の画像でめる。そして、第９図（＆）
に示す画像４の任意の特徴点ａに対する第９図（ｂ）に
示す画像５での対応点すはほぼ水平な１本の直線Ｌ（射
影直線）上に存在する。

この直線の式は、２台のカメラが○Ｙ（第８図参照）に
対照に置かれた場合について、引用する女工・自弁「物
体認識のための両眼立体視」電総研案報３７．ｘ２（’
７３）（以下、文献１とする）のＰ１１０５における式
（４，１７’）に記載されている。

そして、射影直線り上で窓（例えば、５Ｘ５マトリクス
）を掃引しながらその窓の中のパターンと、画像４の任
意の特徴点ａを中心とした同じサイズの窓の中のパター
ンとを比較し、パターン構成、明る嘔々どの評価値を求
める。この評価値として一般に、相互相関関数を用いる
ことが多い。

この相互相関関数は画像のマツチング技術の分野で一般
によく知られており、その代表例は上記文献１のＰＩＩ
ＩＯにおける式（５，２）に記載されている。そして、
２枚の画像を堆得する場合のカメラレンズの絞り条件が
ほぼ同一のときは、文献１のＰＩＩＩＯにおける式（５
，４）に示された誤差評価関数を用いることができる。

以下、この誤差評価関数の値を評価値ρと呼ぶことにす
る。この評価値ρは比較部分が対応する程小さくなり、
完全に一致すれば、０の値をもつ。逆に、比較部分が対
応しない場合には大きな値をもつ。

第９図（Ｃ）の６は射影直線り上で窓を掃引したときの
評価値ρの変化を示したものである。ｔは評価値のしき
い値であって、対応点でのρ値より大きい値が予め与え
られている。そして、評価値は対応点で最小かつしきい
値ｔより小さいはずでおるから、評価値が設定したしき
い値より小さく、かつ最小となるところを対応点と決定
する。この対応点が定まると画像間視差を算出し、物体
３（第８図参照）の３次元位置座標に換算することがで
きる。

以上のように、両眼立体視法においては、２枚の画像間
で対応点処理を施すことが重要な手続でおるが、次のよ
うな問題がある。すなわち、各画像には雑音が含まれこ
の雑音の分布の大きさけ画像によって、また、画像内の
領域によっても異なる。

第１０図は雑音による評価値の分布変動の例を示す説明
図で、雑音によって評価値ρが変化した例を示したもの
である。この評価値ρの分布変動は、実際に、照明条件
が良好でなかったり、物体赤面のハイライトかめるとよ
く起き易い。この第１０図から明らかなように、雑音に
より対応すべき点すの評価値が上昇し、反対に、他のお
る点ｂ′で評価値のしきい値を以下になる場合がしばし
ば発生する。そして、このときは誤対応を起こす。

また、評価値のしきい値ｔを高くと９すぎると対応点が
見つからなくなる。

このような問題の対策として、文献１では、しきい値を
変えたり、窓サイズを変えて処理を行うと共に、垂直成
分の連続性を利用して探索範囲を制限したり、配列順序
、すなわち、画像間の対応順序が一致することを拘束条
件に含まれることを提案している。

そして、この文献１においては、これらの拘束条件を含
めたうえで、単純パター７の対応付けを行々つた結果、
特徴点数９９６のうち対応がついたものは最良窓サイズ
９×９で６０７（成功率６１％）にすぎなかった。そし
て、窓サイズをさらに大きくすると、残りの未対応点の
一部を対応付けできるが、窓サイズが大きくなる程、精
度が著しく悪くなる。まだ、この例ではしきい値選択を
誤ると、未対応点や誤対応がすぐ増加する恐れがある。

また、この文献１のように、しきい値や窓サイズを動的
に変えて処理結果の最良となる条件を選択することは処
理を複雑にする結果となり、また、長い処理時間を要す
る。また、画像間対応＋１［序が一致するように対応点
を選択もしくは修正する場合、全体の対応関係を考にし
た選択もしくは修正を行う必要があるため、そのアルゴ
リズムは複雑なものになり、複雑背量や複雑物体の場合
にはもはや処理が不可能となってしまう。これは対応点
を個々独立に確度高く・正誤判定する手法がないことに
起因する。

〔発明が解決しようとする問題点〕

以上説明したように、両眼立体視法は、対応付けの正誤
判定が不明確なため、誤対応を避けられず、また、対応
点処理アルゴリズムは極めて複雑となり易い。

まだ、一方、両眼立体視法では、物体の稜線がＸ軸とほ
ぼ平行なとき、画像上で、エツジ方向と射影直線りとが
ほぼ平行となるため、対応点を検出できないという問題
点があった。また、平行でなくてもエツジと射影直線と
のなす角度が２０度以内になると、カメラ位置の誤差が
影響して対応点のエツジ上でのずれが大きくなり、計測
誤差が著しく大きくなるという欠点があった。

本発明は以上の点に鑑み、このような問題を解決すると
共にかかる欠点を除去すべくなされたもので、その目的
は観測位置・方向に厳しい制約が力いと共に、エツジ方
向に対する依存性がなく、また、しきい値の設定には精
度を要求されない、つまり、ラフな値を与えておけばよ
く、しかも対応付は判定が特徴点側々の独立に容易にで
き、かつ正確である物体位置・形状計測方法およびこの
方法を実施する装置を提供することにある。

〔問題点を解決するだめの手段〕

本発明の物体位置・形状計測方法は、非同一直線上の少
なくとも３箇所以上から２次元画像を取得し、その画像
のうち２枚の画像間の対応付けを行うことにより対応点
候補を求め、基準画の特徴点およびその特徴点に対する
対応点候補から他の画像上へのそれぞれの射影直線を求
め、その射影直線の交点から上記他の画像上の対応点の
存在位置を予測し、その位置と上記基準画の特徴点もし
くは上記対応点候補との対応度合を調べることにより対
応点候補の正誤を判定し、対応点を選別することによっ
て物体の位置・形状を計測し得るようにしたものである
。

また、本発明の物体位置・形状計測装置は、画像入力部
と、この画像入力部の出力を入力としその画像入力部の
パラメータリストおよび特徴点を抽出する前処理演算部
と、この前処理演算部の出力を入力とし非同一直線上の
少なくとも３箇所以上から取得した２次元画像のうち２
枚の画像間の対応付けを行うことにより対応点候補を求
め、基準画の特徴点およびその特徴点に対する対応点候
補から他の画像上へのそれぞれの射影直線を求め、該射
影直線の交点から前記能の画像上の対応点の存在位置を
予測し、その位置と前記基準画の特徴点もしくは前記対
応点候補との対応度合を調べることにより対応点候補の
正誤を判定し、対応点を選別する対応点選別機能を実行
する対応点検出用演算部と、この対応点検出用演算部の
出力を入力とし該演算部によって対応が得られた特徴点
を実空間座標に変換して座標を算出する座標算出部とを
備えてなるようにしたものである。

〔作用〕

本発明においては、非同一直線上の少なくとも３点から
取得した２次元画像間で立体視対応点処理を行うことに
より物体の位置・形状を３次元計測するものである。

〔実施例〕

以下、図面に基づき本発明の実施例を詳細に説明する。

第１図は本発明による物体位置・形状計測方法の一実施
例を説明するだめの構成図で、２次元画像の取得手段と
してテレビカメラを用いた場合の本発明におけるカメラ
配置の実施例を示したものである。

図において、ｘ、ｙ、ｚは空間座標、Ｔはテレビカメラ
、８はこのテレビカメラＴのＸ方向に配置したテレビカ
メラ、９はテレビカメラ７の斜め右上方の２方向に配置
したテレビカメラである。

また、１０はＹ軸上に置かれた物体であり、この例では
立方体である。そして、この物体１０はカメラ８，９の
位置による見え隠れ部分がないようにおかれている。

第２図は第１図に示す実施例におけるテレビカメラ７．
８．９の３台の画像間での対応点処理の原理説明図であ
る。

図において、１１はテレビカメラ７の画像、１２はテレ
ビカメラ８の画像、１３はテレビカメラ９の画像である
。ここで各カメラ？、８．９のレンズ中心をそれぞれＯ
Ａ、ＯＢ、およびＯｃ　　とする。そして、物体１０上
の任意の点Ｐの像ａ、ｂおよび点Ｃはそれぞれ視線ＯＡ
Ｐ、ＯＢＰおよびＯｃＰ上にのっているため、点Ｃは視
線ＯＡＰおよび視線ＯＢＰの画像１３への射影直線り、
、Ｌ、上に存在する。すなわち、点Ｃはこの２本の射影
直線り、、Ｌ、の交点と一致する。一方、画像１１中の
点ａに対する画像１２上の対応点は視ａＯＡＰの画像１
２への射影直線Ｌ８上にある。この射影直線Ｌ８　　上
で対応点候補すを選ぶと、ａとｂの両者に同時に対応す
る画像１３上の像は射影直線Ｌ１と射影直線Ｌ２の交点
Ｃになければならない。しかし、誤った対応点候補、例
えば、図中ｂ′を選ぶと、視線ＯＢｂ′の画像１３への
射影直線はり、となり、ａとｂ′の両者に同時に対応す
る点は射影直線Ｌ１と射影直線り、の交点Ｃ′となって
正しい対応点Ｃから太きくずれる。このため、点ａと点
Ｃ′および点ｂ′と点Ｃ′の近傍の類似度（前述した評
価値の逆数に相当）は共に著しく低下し、点ｂ′が誤対
応であることを容易に判定することができる。

以上のように、２枚の画像から得られる対応点候補につ
いて、各々の視線の第３の画像への射影直線の交点（以
降、予測対応点と呼ぶ）を求め、その近傍と対応点候補
とを比較した評価値を調べることにより、対応の正誤を
判定することができる。

つぎに、射影直線の求め方を文献１および第８図を参照
して説明する。

まず、文献１には、２つのカメラの位置、方向に厳格な
制約を課し、その条件のもとで、射影直線の求め方が記
載されている。すなわち、第８図で示したｘ、ｙ、ｚの
各座標系において、２つのテレビカメラの位置および方
向が２軸に対称な関係を有する場合を扱っている。しか
るに、３眼画像においては、第１図で明らかなように、
少なくともテレビカメラＴとテレビカメラ９およびテレ
ビカメラ８とテレビカメラ９はＺ軸に対称ではない。こ
のだめ、３眼画像間の射影直線Ｌ１．Ｌ２．Ｌ８を文献
１で示されている方法またはその修正では求めることが
できない。ここでは、任意座標に任意方向に置かれた２
つのテレビカメラからの画像間で射影直線を求める方法
は従来全く不明であったので、その方法を以下、射影直
線Ｌ８　　の直線方程式を求める場合を例にとって具体
的に説明する。

いま、テレビカメラＩのカメラパラメータとしてレンズ
焦点距離は！□、レンズ中心ＯＡは座標（”ＡｌｂＡｌ
ｈＡ）に置かれ、光軸はＹ−Ｚ　１ｌｉｊ　、！：　（
！、　。

Ｘ−Ｙ面とψム　の角度をなすものとする。また、テレ
ビカメラ８のカメラパラメータとして、レンズ焦点距離
はｆＢ、レンズ中心ＯＢは座標（ＸＢＩＹＢ。

ＺＢ）に置かれ、光軸はＹ−２面のα８、ｘ−ｙ面と９
８　の角度をなすものとする。また、他のカメラパラメ
ータとして、カメラ撮像面と光軸との交点（光軸点）は
、テレビカメラ７では、カメラ撮像面座標において（ｈ
ｏＡ＋ｖｏＡ）、テレビカメラ８ではカメラ撮像面座標
において（ｈＯＢＩＶＯＢ）とし、画像と実像との大き
さの変換比をそれぞれ（ＭｘＡ　、Ｍ３．Ｂ　）　。

（ＭｘＢｌＭｙＢ）とする。

そして、テレビカメラ７の画像１１の任意の点（ｈＡ、
ｖ４）は（ｘ、ｙ、ｚ）座標では次のように表わされる
。

ただし、 ξｘＡ−−ＭｘＡ（ｈｏＡ−ｈＡ）　　　　　　・・・
（３１ξｙＡ−Ｍｙ（ｖＡ−ｖｏＡ）・・・（４）であ
る。一方、対応点（ｈＢ＋ｖＢ）の（ｘ、ｙ、ｚ）座標
表示を（ＸＢ、ＹＢ、Ｚ８）とすると、（ＸＡＩＹＡＩ
ＺＡ）　　とは次の関係をもつ。

この連立方程式を解くと、結果はＡ（ＸＢ−ａ　Ｂ　）＋Ｂ（ＹＢ−ｂ　Ｂ　）＋Ｃ（Ｚ
Ｂ−ｈ　Ｂ　）−〇　　　・・・（１）ただし、Ａ　＝ｑＺ（ｂＢ−ｂＡ）　（ｈｌｌ−ｈＡ）　　　　
　・・・（８）Ｂ　＝ｑｘ（ｈＢ−ｈＡ）　ｑｚ（Ｊ’
ｉ＋−ａＡ）　　　　・・・（９）Ｃ＝　　ＱＸ（ｂＢ
−ｂＡ）＋ｂＢ　ｂＡ　　　　　・・・（１０）ｑｘ−
（ＸＡ−ａＡ）／（ＹＡ−ｂＡ）　　　　　・・・（１
１）ＱＺ　：　（ＺＡ−ｈＡ）／（ＹＡ−ｂＡ）　　　
　　　”　（１２）上式で分母＝００ときも式（７）は
成立することを証明できる。

一方、（ＸＢ　＋ＹＢ　＋ＺＢ　）と（ｈＢ＊ｖＢ）の
関係は式（１）〜（４）においてＡ−＋Ｂに書きかえた
式で与えられる。

そして、この書きかえた式と上記式（７）により次式が
得られる。

町ξｘＢ　十ｕ　２ξｙ　Ｂ　＋　ｕ　ｓ　＝０　　　
　　　　　　　　　°°（１３）ただし、 −１７−Ｑ＾・・・・　（１４）そして、上記式（３）　、　＋４＋でＡをＢに書きかえ
、式（１３）に代入すると、射影直線（Ｉ、Ｊ）として
次式を導入できる。

Ｕｌｌ−Ｕ２Ｊ−Ｕ８＝　０　　　　　　　　・・・・
（１５）ただし、・・・・（１６）以上、Ｌ８　　の直線方程式の求め方を説明したが、”
ｌ　＋　”２　＋　”４　　等任意カメラパラメータを
もつカメラからの画像間の射影直線も全く同様に求める
ことができる。

つぎに、対応点が検出されたときの距離算出法を説明す
る。ここでは、第２図で画像１１中の点ａの対応点とし
て画像１２中の点すが選択されている場合を例にとって
述べる。

いま、ａはテレビカメラ７の撮像面座標で（ｈ＆。

ｖ、）　、ｂはテレビカメラ８の撮像画座標で（ｈｂ。

ｖｂ）とすると、前述の式（１）〜（４）によりａおよ
びｂの（ｘ、ｙ、ｚ）座標系での座標（ｘ＆、ｙ、、ｚ
ａ）および（Ｘｂ、Ｙｂ、Ｚｂ）が求まる。そして、物
体１０上の点Ｐの座標（ｘ、ｙ、ｚ）は直線ＯＡ　ａお
よびＯＢｂの交点であるから、次式の連立方程式が成立
する。

この連立方程式から（ｑｘ（Ｙｂ−ｂＢ）−（Ｘｂ−ａＢ））Ｙ−（ｂＡｑ
ｘ−（ａＡ−１’Ｂ））（Ｙｂ−ｂＢ）ｂＢ（Ｘｂ−ａ
Ｂ）　　　　　　　　　１　”　”　　（１９）により
Ｙが求められる。

ただし、ｑｘ−（ｘ、−ａＡ）／（ｙａ−ｂＡ）　　　　　　−
・−・（２０）そして、式（１９）により求めたＹを式
（１７）に代入してＸが求められる。これを次式％式％に代入して２が求められる。

このようにして、対応点処理の結果から物体上の点の座
標を算出することができる。

第３図は３眼画像の立体視対応点処理の流れの実施例を
示すフローチャートである。

この第３図において、１４．１５は画像処理の分野で一
般によく行なわれる前処理で、この処理１４は３画像の
エツジ強度・方向を検出するエツジ検出処理であり、従
来種々の方法が提案されている。ここではロビンソン・
オペレータによるエツジ検出を行なう。

そして、このエツジ検出処理１４は引用する［画像処理
丈ブルーチン・パッケージＪ　５ＰＩＤＥＲＵＳＥＲ’
Ｓ　ＭＡＮＵＡＬ、１９８２　、協同システム開発（株
）（以下、文献２とする）に記載された画像処理サブル
ーチン・パッケージ５ＰＩＤＥＲを用いることにより容
易に実行することができる。また、処理１５は細線化を
行なって特徴点を得る細線化処理である。そして、エツ
ジ強度がやや大きい点すべてにおいてエツジ方向（立体
の稜の部分では稜線の方向）に垂直な方向のエツジ強度
の変化を調ベエッジ強度が最大となる点を特徴点（エツ
ジ）とする。

なお、この文献２のＳ　Ｐ　Ｉ　ＤＥＲの中にも細線化
処理サブルーチンが記載されている。

１６はテレビカメラＩの画像１１の各特徴点（エツジ）
について射影直線”ｌ＋”８の方程式、テレビカメラ８
および９の画像１２および１３の各特徴点（エツジ）に
ついてそれぞれ射影直ｍＬｍｌおよびＬ５　　の方程式
を算出する処理である。ここで、この算出する方法は前
述の式（１）〜（１６）ですでに示した。そして、処理
１６では、各特徴点（エツジ）について、そのエツジが
射影直線Ｌ８　　とほぼ平行（実施例では方向角度差２
５°以内のとき平行として扱った）のとき処理２０に、
さもなくば処理１７に処理をふり分ける。１７はテレビ
カメラ７の画像１１とテレビカメラ８の画像１２の初期
対応付けを行なう処理であり、画像１１の各特徴点（エ
ツジ）に対する画像１２上の対応点候補を優先順位をつ
けて選び出す。そして、評価値は、画像１１の特徴点（
エツジ）および画像１２の射影直線上の特徴点の近傍濃
度分布を比較する局所相関法により求められる。そして
、この局所相関法は、具体的には特徴点（エツジ）近傍
に５×５の窓を設け、画像１１と画像１２での窓内濃度
分析から窓画像ＩＰｌ、　ＩＰ、を作り、次式（２２）
により比較する方法を用いた。ここで、窓画像ＩＰ２は
画像マツチングにおけるテンプレート画像に相当する。

・・・・・　（２２）また、しきい値として１００の値を用いたが、２００で
も特に問題がなかったことから、１００−２００の値が
適当と思われる。そして、エツジ方向が４５以内に一致
しない、あるいはρがしきい値より大きい画像１２上の
特徴点（エツジ）に対しては対応点候補ではないと判定
する。ここで、この対応点候補が１つもなかった特徴点
（エツジ）については処理１Ｔで対応点なしとして処理
を終了する。

１Ｂは処理１７により求めた各対応点候補について、画
像１３上の２本の射影直線の交点、すなわち、予測対応
点を算出する処理である。そして、２本の射影直線ａｌ
Ｉ−ｂｌＪ−ｃｌ＝　０とａ２　ｒ−ｂ２Ｊ−ｅ、ｌ＝
　０（’ｌ＋ｂｌ＋ｃ１＋ａ２＋ｂｌｌ＋Ｃ２は定数）
の交点は（（ｃｌｂｇ−ｃ２ｂ　１　）／（ａ、ｌ？２
−ａ２ｂ１）　＋　（＆２ｃ２−ａ１ｃ２　）／（ａｌ
ｂ）１−ａ２ｂ　１　）　）で与えられる。ここで、こ
の予測対応点の周辺で画素間隔の５倍以内の範囲にエツ
ジ（特徴点）が存在する場合には、最も近くにあるエツ
ジ点を正しい予測対応点として修正する。これはカメラ
位置・パラメータの誤差や、像の歪などにより、本来エ
ツジにのるべき予測対応点がずれることがあるからであ
り、また、整数計算による四捨五入の誤差の蓄積によっ
てもずれが生じるからである。

なお、この実施例の実験結果によれば、最大画素間隔の
４倍のずれが局部的にみられた。

１９は画像１１の特徴点（エツジ）と画像１３の予測対
応点について局所相関法により評価値を求める処理であ
る。ここで、この評価値の計算は前述の式（２２）によ
って行った。そして、処理２３において、対応点候補の
うち、評価値がしきい値以下であって、かつ最小のもの
を選択し、それを対応点と決定する。

一方、２０は画像１２の代わ９に画像１３と初期対応付
けを行う処理である。そして、その設定値は処理１Ｔの
場合と同様に、画像１１の特徴点（エツジ）および画像
１３の射影直線上の特徴点（エツジ）の近傍濃度分布を
比較して求める上記局所相関法により求めた。この評価
式は前述の式（２２）である。これにより、画像１３上
の対応点候補を選択する。ここで、対応点候補が１つも
見つからなかった特徴点（エツジ）については処理２σ
で対応点なしとして処理を終了する。

２１は処理１８と同様に処理２０によシ求めた画像１３
上の各対応点候補について、画像１２上の２本の射影直
線Ｌ８およびり、の交点、すなわち、予測対応点を算出
する処理である。ただし、Ｌ。

は視線０゜Ｐの画像１２への射影直線である。２２は処
理１９と同様に画像１１の特徴点（エツジ）および画像
１２の予測対応点の近傍濃度分布を局所相関法により比
較し評価値を求める処理である。

そして、処理２３において、対応点候補のうち、評価値
がしきい値以下でありかつ最小のものを選択し、それを
対応点とする。ここで、もしも対応点が見つからなかっ
た特徴点（エツジ）については対応点確定処理２３′に
よって対応点なしとして処理を終了する。

２４は対応点処理の結果に基づき画像１１の各特徴点（
エツジ）について実空間座標を求める処理であり、前述
の式（１７）〜（２１）により計算する。そして、処理
２５では上述の処理結果を３次元立体表示する。具体的
には、ｘ−ｙ　、　ｙ−ｚ　、　ｘ−ｚの透視図に変換
する。

第４図は、立方体を３台のテレビカメラで観察した画像
１１，１２．１３の実例を示す説明図である。そして、
この立方体のサイズは３０１１＋１Ｘ３．Ｏｍｘ３０ｏ
＋であり、Ｙ軸上に原点○から８００關離れて置かれて
いる。また、実験の際には、テレビカメラは、見え隠れ
部分が生じないように、次の条件で設置した。

すなわち、３台のテレビカメラの位置（ｘ、、ｙ。

２）は、（１００ｍｍ、　０ｒｅａ、　Ｉ　ＤｏｎＩｍ
）　、　（２００ｍｍ、　Ｏｘ。

１００ｆｉ）および（１５０閣、０寵、２００類）とし
、また、３台のテレビカメラの傾き角は、Ｚ−Ｙ面に対
しそれぞれ０．１１．０．２２．０，１６５、ｘ−ｙ面
に対し共に０．１であり、Ｚ−Ｙ面への切片位置が共に
９００１１ＩＩである。そして、テレビカメラのイメー
ジ素子は例えば、浜松ホトニクス製シリコンビジコンカ
メラを用い、また、レンズは例えば、日本光学製焦点距
離５５１１１マクロレンズを用いている。

第５図は第４図の３眼画像を第３図の処理の流れに基づ
き処理を行い、イメージディスプレイ装置に表示した実
例を示す説明図で、第４図の画像の対応点処理を第３図
の処理手順によって実行して実空間座標に換算し、イメ
ージディスプレイ装置に表示しビデオプリンタで写真を
とった場合の実例である。

そして、（ａ）は処理結果を用いて、物体を真正面から
見たＸ−Ｚ投影図を示したものであり、伽）は真上から
見たｘ−ｙ投影図、（ｃ）は真横から見たＹ−２投影図
を示したものである。この例に見られるように、エツジ
の方向にかかわりなく正しく対応点処理が行なわれて、
３次元物体を再現していることが明白である。

なお、最大計測誤差はＸ、Ｚ軸方向が土３．３　ｗｓ　
。

Ｙ軸方向が土２ｍｌ程度である。そして、この誤差は対
応点処理の誤りによるものではなく、画像のサンプリン
グ間隔による量子化誤差である。

また、実験の結果によれば、特徴点数は計１２７５点で
あり、主に頂点付近における検出したエツジ方向の乱れ
により３９点が対応点なしと判定された以外は全て正し
く対応付けられた（成功率９７チ、未対応３チ、誤対応
０％）。そして、同じ物体で両眼立体視法では対応点が
見つからなかった点６０４．誤対応点５７であり、成功
率４８％、未対応４７チ、誤対応５チであった。

したがって、本発明の方法は両眼立体視法に比して極め
て高い成功率、低い未対応点率を示し、かつ誤対応点は
生じなかったことから、信頼性の高い方法であると判断
することができる。

以上説明したように、少なくとも３台のテレビカメラで
写し出された物体上の各点を実空間座標（ｘ、ｙ、ｚ）
に変換し記録することができる。

このため、ある基準点から物体までの距離、方向を求め
ることができ、また、物体上の各点間の位置関係から物
体の形状を認識し、物体の種類を識別することができる
。

このように、本発明の物体位置・形状計測方法は、非同
一直線上の少なくとも３箇所以上から２次元画像を取得
し、その画像のうち２枚の画像間の対応付けを行うこと
により対応点候補を求め、基準画の特徴点およびその特
徴点に対する対応点候補から他の画像上へのそれぞれの
射影直線を求め、その射影直線の交点から上配池の画像
上の対応点の存在位置を予測し、その位置と上記基準画
の特徴点もしくは上記対応点候補との対応度合を調べる
ことにより対応点候補の正誤を判定し、対応点を選別す
ることによって物体の位置・形状を計測し得るように構
成されている。

第６図は前述の物体位置・形状計測方法を実施した装置
の一実施例を示すブロック図で、３眼画像間対応点処理
を利用した物体位置・形状計測装置の全体の構成例を示
したものである。

この第６図において、７，８．９は前述の第１図で示し
た３台のテレビカメラ、　　２６ｍ、２６ｂ、２６ｃは
それぞれテレビカメラ７．８．９に対応し、各テレビカ
メラ７〜９からの映像信号をディジタル信号に変換する
アナログ・ディジタルコンバータ（以下、Ａ／ｂコンバ
ータと略称する）で、これらは画像入力部を構成してい
る。２７はいコンバータ２６ａ〜２６ｃの各出力を入力
とし一時記憶する画像メモリ、２８はこの画像メモリ２
７の出力を入力とする前処理演算回路、２９はこの前処
理演算回路２Ｂによって得られた特徴点の位置と特徴量
を記録する特徴値テーブルで、これらは上記画像入力部
の出力を入力としその画像入力部のパラメータリストお
よび特徴点を抽出する前処理演算部３０を構成している
。３１はカメラ・パラメータテーブルである。

３２は前処理演算部３０における特徴値テーブル２９か
らの出力を入力としカメラパラメータテーブル３１を基
にして射影直線パラメータを算出する演算回路、３３は
射影直線パラメータ・テーブル、３４は演算回路３２に
よって得られた演算結果である対応点処理結果を記録す
る対応点テーブルで、これらは３眼対応点検出モジュー
ル３５を形成している。そして、この３眼対応点検出モ
ジュール３５は上記前処理演算部３０の出力を入力とし
非同一直線上の少なくとも３箇所以上から取得した２次
元画像のうち２枚の画像間の対応付けを行うことにより
対応点候補を求め、基準画の特徴点およびその特徴点に
対する対応点候補から他の画像上へのそれぞれの射影直
線を求め、その射影直線の交点から上記他の画像上の対
応点の存在位置を予測し、その位置と上記基準画の特徴
点もしくは上記対応点候補との対応度合を調べることに
より対応点候補の正誤を判定し、対応点を選別する対応
点選別機能を実行する対応点検出用演算部を構成してい
る。

３６はこの３眼対応点検出モジュール３５における対応
点テーブル３４の出力とカメラ・パラメータテーブル３
１の出力を人力とする座標算出モジュールで、この座標
算出モジュール３６ｔＬ　上記対応点検出用演算部によ
って対応が得られた特徴点を実空間座標に変換して座標
を算出する座標算出部を構成している。３７はこの座標
検出モジュール３６の変換結果を記録する座標テーブル
、３８は座標算出モジュール３６によって得られた変換
結果を立体的に表示するグラフィックモジュール、３９
はこのグラフィックモジュール３８の出力を入力とする
グラフィックディスプレイ装置、４０は結果に基づき図
示しない外部機器を制御するために設けられた外部入出
力インタフェースである。

つぎにこの第６図に示す実施例の動作を第３図を参照し
て説明する。

まず、３台のテレビカメラ７．８．９で得た映像信号は
Ａ／ｂコンバータ２６ａ　Ｔ　２６ｂ　＊　２６　Ｃに
よりデジタル信号に変換され、３枚以上から成る画像メ
モリ２７に一旦記憶される。そして、前処理演算回路２
８により第３図に示すエツジ検出処理１４および細線化
処理１５が順次施され、特徴点の位置と特徴音が特徴音
テーブル２９に記録式れる。ここまでの動作は一般によ
くいわれる前処理演算部３０の動作である。

つぎに、求められた各特徴点についての射影直線パラメ
ータを、カメラ・パラメータテーブル３１を基にし演算
回路３２によって算出し、その結果を射影直線パラメー
タテーブル３３に記録する。

なお、射影直線パラメータは、予じめ必要な分をすべて
求めて射影直線パラメータテーブル３３に記録しておく
代わりに、次段階以降で必要になった時毎に算出しても
よい。続いて第３図に示した初期対応付は処理１７から
対応点選択決定処理２３までを演算回路３２で行なう。

この処理では必要に応じ画像メモリ２７や特徴音テーブ
ル２９を参照し、また、対応点テーブル３４に途中結果
の記録あるいは読出しを行なう。そして、処理終了後、
対応点テーブル３４を調べれば対応点決定までの履歴が
１目で分る。つぎに、対応点が得られた特徴点は座標算
出モジュール３６により実空間座標に変換され、その結
果が座標テーブル３Ｔに記録される。

また、この座標算出モジュール３６によって実空間座標
に変換された結果は、グラフィック・モジュール３Ｂに
より物体の透視図や概観図に変換され色付けされた後、
グラフィックディスプレイ装置３９により立体表示され
る。また、座標算出モジュール３６によって得られた物
体座標データは外部入出力インタフェース４０を通して
外部機器制御に利用される。

このように、本発明による物体位置・形状計測装置を用
いると、物体を３台のテレビカメラで観測し、３画像間
対応点処理により物体の各点の実空間座標を求め、立体
表示することができる。

第７図は本発明の自立ロボットへの応用例を示す構成図
である。

この第７図において、？、８．９は前述したテレビカメ
ラ、１０は対象物体（物体）である。そして、４１は第
６図で例示した物体位置・形状計はシステム主制御装置
、４３はこのシステム主制御装置４２によって制御され
るロボットコントロー５．４４はこのロボットコントロ
ーラ４３によって制御されるロボット本体、４５はロボ
ットアームである。

つぎにこの第７図に示す応用例の動作を説明する。

まず、テレビカメラ７．８．９により物体１０の画像信
号が得られ、その画像信号は物体位置・形状計測装置４
１に入力し、物体１０の各点の座標が得られると共に３
次元表示される。そして、システム主制御装置４２では
物体位置・形状計測装置４１から外部入出力インタフェ
ース４０を経由して伝達された物体座標データに基づき
、ロボットアーム４５を物体位置に移動するだめの移動
量、方向および軌跡を算出する。また、物体１０をつか
む際の指の方向および指の間隔を算出する。

つぎに、ロボットコントローラ４３において、ロボット
本体４４の移動量に対応した各ジヨイントの駆動モータ
（図示せず）の回転数と速度、アームを駆動するジヨイ
ントのモーター回転数と速度を算出し、各ジヨイント駆
動信号を発生する。

一方、物体位置・形状計創製［４１では常時物体１０の
位置・形状を観測し、物体１０が移動または変形したり
、障害物が入ったりすると、システム主制御装置４２で
ロボット本体４４の動きの変更指令を発する。また、物
体位置・形状計測装置４１ではロボットアーム４６が物
体１０に接近した時、ロボットアーム４５の位置および
方向も認識できるので、物体１０とロボットアーム４５
の位置関係が求められる。この位置関係に基づき、シス
テム主制御装置４２ではロボットアーム４５の細かい動
作を決定し、ロボットコントローラ４３に指令を与える
ことができる。

そして、この第７図に示す応用例においては、任意の物
体が任意の位置におかれたとき、物体の位置と形状を視
覚認識し、その結果に基づきロボットアーム４５を移動
して物体をつかみ上げ、所定位置に運ぶという自立的な
動作をきせることかできる。また、物体１０はシステム
の応答速度以内であれば移動していても、その動きを追
ってロボットアーム４５でつかみ上げてしまうことがで
きる。

なお、本発明の実施例においては、３眼画像を用いた場
合を例にとって説明したが、本発明はこれに限定される
ものではなく、４眼以上の画像を用い、３眼画像により
求めた対応点候補について第４眼目以降の画像により上
記の方法と同様の検証を行うことによって、ざらに、処
理の正確さを高めることができる。また、本発明の実施
例においては、初期対応点処理により評価値が低い、つ
まり、類似度（あるいは対応度）が高い対応点候補を予
め複数個選択した後、各対応点候補について第３の画像
との対応を調べ正誤判定する処理を行う場合を例にとっ
て説明したが、類似パターンが多く含まれるとと々どの
ため、上記数個の対応点候補の中に正しい対応点が入ら
ない場合が生じる可能性がある。このような場合、ある
いはその恐れがある場合には、射影直線に沿ってしきい
値以下の評価値をもつ点を探し、それが見つかり次第、
第３の画像との対応を調べ、正誤判定するという手順を
併用することにより、正誤判定の精度を高め、類似パタ
ーンの中から正しい対応点を検出することができる。

また、本発明の実施例では、テレビカメラの画像を用い
る場合を例にとって説明したが、本発明はこれに限定さ
れるものではなく、スチールカメラ、超音波などにより
得た写真を用いることも可能であり、画像入力手段の種
類は問わない。すなわち、画像入力の際の観測位置・方
向などのノくラメータが明らかであれば、画像入力手段
に特別の条件が与えられるものではない。

一方、エツジとして必ずしも物体の稜線に限らず表面の
模様や表面のきめ、不妊な凹凸による模様などによる表
面上の明暗パターンのエツジであってもかまわない。

ただし、本発明の方法は、カメラ位置による見え隠れ部
分がある場合に、その部分の位置計測には適用できない
。

〔発明の効果〕

以上説明したように、本発明による物体位置・形状計測
方法は、非同一直線上の少なくとも３点から取得した２
次元画像間で立体視対応点処理を行うことにより、物体
の位置・形状を３次元計測するようにしたものでおるか
ら、初期対応点処理において競合する候補が複数あり、
かつ競合する候補の方が評価値が小さい、つまり、対応
の度合が高くなったとしても、第３画像での対応付けで
は誤った対応点の対応の度合が著しく悪くなり、容易に
正誤を判定することができるため、初期対応付けで厳密
な判定を行なう必要がなく、また、隣接エツジ等信の特
徴点との配列順序等に注意を払う必要がない。

このため、本発明では従来の両眼立体視法に比し次のよ
うな多くの有効な特長をもつものである。

すなわち、まず第１にしきい値の設定には精度を要求さ
れない。第２に対応付は判定が特徴点個々独立に容易に
でき、かつ正確であることの利点がある。これらの利点
により対応点処理アルゴリズムは両眼立体視法に比べ著
しく簡単かつ誤りのないものとなり、信頼性および経済
性を向上することができる。また、同一直線上にない位
置から取得した画像を用いるため、第３にエツジ方向に
対する依存性をもたない。さらにまた、従来の両眼立体
視法においては、カメラ位置と方向の制約がおっだが、
本発明においては任意のカメラ・パラメータを用いた時
の視線パラメータ導出式や実空間座標変換の式を与えて
いるため、第４にカメラはそのすべてが同一直線上でな
い限り任意の位置・方向でろってよく、また、レンズ焦
点距離も異なっていてよい。このことは複数カメラの設
定を著しく容易にすることができる等、種々の特長を有
する。

このように、本発明の方法では従来の両眼立体視法に比
して多大の効果があり、３ヶ以上で取得した複数の２次
元画像から立体視対応点処理により物体の位置・形状を
３次元計測する物体位置・形状計測方法としては独自の
ものである。

また、信頼性の高い汎用性が物体位置・形状計測装置を
実現することができるという点において極めて有効であ
る。

【図面の簡単な説明】

第１図は本発明による物体位置・形状計測方法の一実施
例を説明するための構成図、第２図は第１図の実施例に
おけるテレビカメラ３台の画像間での対応点処理の原理
説明図、第３図は第１図および第２図の動作説明に供す
る３眼画像の立体視対応処理のフローチャート、第４図
は立方体を３台のテレビカメラで観察した画像の実例を
示す説明図、第５図は第４図の３眼画像を第３図に示す
処理の流れに基づき処理を行いイメージディスプレイ装
置に表示した実例を示す説明図、第６図は本発明による
物体位置・形状計測装置の一実施例を示すブロック図、
第７図は本発明の応用例を示す自立ロボットの構成図、
第８図は従来の両眼立体視法の一例を示す構成図、第９
図は局所相関法により得られた評価値の分布の例を示す
説明図、第１０図は雑音による評価値の分布変動の例を
示す説明図である。７〜９・・・・テレビカメラ、１０・・・・対象物体、
１１〜１３・・・・画像、２６ａ〜２６ｅ・・・・Ｈコ
ンバータ、２７・・・・画像メモリ、２８・・・・前処
理演算回路、２９・・・・特徴量テーブル、３０・・・
・前処理演算部、３１・・・・カメラ・パラメータテー
ブル、３２・・・・演算回路、３３・・・・射影直線パ
ラメータテーブル、３４・・・・対応点テーブル、３５
・・・・３眼対応点検出モジュール（対応点検出用演算
部）、３６・・・・座標算出モジュール、３７・・・・
座標テーブル、３８・・・・グラフィックモジュール、
３９・・・・グラフィックディスプレイ装置。

Claims

【特許請求の範囲】

（１）非同一直線上の少なくとも３箇所以上から２次元
画像を取得し、該画像のうち２枚の画像間の対応付けを
行うことにより対応点候補を求め、基準画の特徴点およ
びその特徴点に対する対応点候補から他の画像上へのそ
れぞれの射影直線を求め、該射影直線の交点から前記他
の画像上の対応点の存在位置を予測し、その位置と前記
基準画の特徴点もしくは前記対応点候補との対応度合を
調べることにより対応点候補の正誤を判定し、対応点を
選別することによつて物体の位置・形状を計測し得るよ
うにしたことを特徴とする物体位置・形状計測方法。
（２）画像入力部と、この画像入力部の出力を入力とし
該画像入力部のパラメータリストおよび特徴点を抽出す
る前処理演算部と、この前処理演算部の出力を入力とし
非同一直線上の少なくとも３箇所以上から取得した２次
元画像のうち２枚の画像間の対応付けを行うことにより
対応点候補を求め、基準画の特徴点およびその特徴点に
対する対応点候補から他の画像上へのそれぞれの射影直
線を求め、該射影直線の交点から前記他の画像上の対応
点の存在位置を予測し、その位置と前記基準画の特徴点
もしくは前記対応点候補との対応度合を調べることによ
り対応点候補の正誤を判定し、対応点を選別する対応点
選別機能を実行する対応点検出用演算部と、この対応点
検出用演算部の出力を入力とし該演算部によつて対応が
得られた特徴点を実空間座標に変換して座標を算出する
座標算出部とを備えてなることを特徴とする物体位置・
形状計測装置。