JPH0371042B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は３個以上で取得した複数の２次元画像
から立体視対応点処理により物体の位置・形状を
３次元計測する物体位置・形状計測方法と、この
方法を実施する装置に関するものである。

〔従来の技術〕

従来、物体の位置・形状を計測する方法として
は、２次元画像としてテレビカメラ像を用いて３
次元計測する方法が一般的であり、その方法とし
ては大別して次の３種類がある。

すなわち、(1)物体にスポツト光、スリツト光あ
るいは格子像を照射してその投影像をテレビカメ
ラで観測して処理する投光式、(2)像が鮮明になる
ようにレンズ位置を調節する自動焦点式（別名、
鮮鋭度検出式）、(3)２台のテレビカメラで観測し、
両画像の対応点処理を施して画像間視差を求め、
三角測量の原理に基づき物体の３次元位置・形状
に換算する両眼立体視法がある。

これらのうち、上記(1)の投光式と(2)の自動焦点
式は光の走査またはレンズ走査をするなどの機械
的な走査を要するため、高速性能・耐久性に問題
があり、また、高分解能が得難いという本質的な
問題がある。

一方、上記(3)の両眼立体視法は、機械的走査を
必要とせず、また、高分解能計測も可能であり、
さらに、計測対象物体の制約も上記(1)と(2)に比べ
少ないので、汎用的手法としても優れている。

しかしながら、この両眼立体視法においては、
両像間の対応点処理の方法に問題が多い。

以下に、この両眼立体視法の問題点について図
面を参照し具体的に説明する。

従来提案されている両眼立体視法の構成の一例
を第８図に示し説明すると、図において、１と２
はそれぞれＸ軸上におかれ、かつ座標原点○から
お互いに等距離に位置したテレビカメラで、これ
らのテレビカメラ１およびテレビカメラ２の向き
はお互いにほぼ平行に置かれている。３は対象物
体（以下、物体と略称する）で、この物体３は座
標原点○から、テレビカメラ１とテレビカメラ２
の距離に比べ十分大きな距離をへだててＹ軸上に
置かれている。なお、ＺはＺ軸である。

第９図は対応点を決定する代表的方法として局
所相関法により得られた評価値の分布の例を示す
説明図である。この第９図ａ，ｂ，ｃにおいて、
４および５はそれぞれ第８図に示すテレビカメラ
１およびテレビカメラ２の画像である。そして、
第９図ａに示す画像４の任意の特徴点ａに対する
第９図ｂに示す画像５での対応点ｂはほぼ水平な
１本の直線Ｌ（射影直線）上に存在する。

この直線の式は、２台のカメラが○Ｙ（第８図
参照）に対照に置かれた場合について、引用する
安江・白井「物体認識のための両眼立体視」電総
研彙報3712（′73）（以下、文献１とする）の
P1105における式（4.17）に記載されている。

そして、投影直線Ｌ上で窓（例えば、５×５マ
トリクス）を掃引しながらその窓の中のパターン
と、画像４の任意の特徴点ａを中心とした同じサ
イズの窓の中のパターンとを比較し、パターン構
成、明るさなどの評価値を求める。この評価値と
して一般に、相互相関関数を用いることが多い。

この相互相関関数は画像のマツチング技術の分
野で一般によく知られており、その代表例は上記
文献１のP1110における式（5.2）に記載されてい
る。そして、２枚の画像を取得する場合のカメラ
レンズの絞り条件がほぼ同一のときは、文献１の
P1110における式（5.4）に示された誤差評価関数
を用いることができる。以下、この誤差評価関数
の値を評価値ρと呼ぶことにする。この評価値ρ
は比較部分が対応する程小さくなり、完全に一致
すれば、０の値をもつ。逆に、比較部分が対応し
ない場合には大きな値をもつ。

第９図ｃの６は射影直線Ｌ上で窓を掃引したと
きの評価値ρの変化を示したものである。ｔは評
価値のしきい値であつて、対応点でのρ値より大
きい値が予め与えられている。そして、評価値は
対応点で最小かつしきい値ｔより小さいはずであ
るから、評価値が設定したしきい値より小さく、
かつ最小となるところを対応点と決定する。この
対応点が定まると画像間視差を算出し、物体３
（第８図参照）の３次元位置座標に換算すること
ができる。

以上のように、両眼立体視法においては、２枚
の画像間で対応点処理を施すことが重要な手続で
あるが、次のような問題がある。すなわち、各画
像には雑音が含まれこの雑音の分布の大きさは画
像によつて、また、画像内の領域によつても異な
る。

第１０図は雑音による評価値の分布変動の例を
示す説明図で、雑音によつて評価値ρが変化した
例を示したものである。この評価値ρの分布変動
は、実際に、照明条件が良好でなかつたり、物体
表面のハイライドがあるとよく起き易い。この第
１０図から明らかなように、雑音により対応すべ
き点ｂの評価値が上昇し、反対に、他のある点
b′で評価値のしきい値ｔ以下になる場合がしばし
ば発生する。そして、このときは誤対応を起こ
す。また、評価値のしきい値ｔを高くとりすぎる
と対応点が見つからなくなる。

このような問題の対策として、文献１では、し
きい値を変えたり、窓サイズを変えて処理を行う
と共に、垂直成分の連続性を利用して探索範囲を
制限したり、配列順序、すなわち、画像間の対応
順序が一致することを拘束条件に含まれることを
提案している。

そして、この文献１においては、これらの拘束
条件を含めたうえで、単純パターンの対応付けを
行なつた結果、特徴点数996のうち対応がついた
ものは最良窓サイズ９×９で607（成功率61％）に
すぎなかつた。そして、窓サイズをさらに大きく
すると、残りの未対応点の一部を対応付けできる
が、窓サイズが大きくなる程、精度が著しく悪く
なる。また、この例ではしきい値選択を誤ると、
未対応点や誤対応がすぐ増加する恐れがある。

また、この文献１ように、しきい値や窓サイズ
を動的に変えて処理結果の最良となる条件を選択
することは処理を複雑にする結果となり、また、
長い処理時間を要する。また、画像間対応順序が
一致するように対応点も選択もしくは修正する場
合、全体の対応関係を考慮した選択もしくは修正
を行う必要があるため、そのアルゴリズムは複雑
なものになり、複雑背景や複雑物体の場合にはも
はや処理が不可能となつてしまう。これは対応点
を個々独立に確度高く・性誤判定する手法がない
ことに起因する。

〔発明が解決しようとする問題点〕

以上説明したように、両眼立体視法は、対応付
けの正誤判定が不明確なため、誤対応を避けられ
ず、また、対応点処理アルゴリズムは極めて複雑
となり易い。

また、一方、両眼立体視法では、物体の稜線が
Ｘ軸とほぼ平行なとき、画像上で、エツジ方向と
射影直線Ｌとがほぼ平行となるため、対応点を検
出できないという問題点があつた。また、平行で
なくてもエツジと射影直線とのなす角度が20度以
内になると、カメラ位置の誤差が影響して対応点
のエツジ上でのずれが大きくなり、計測誤差が著
しく大きくなるという欠点があつた。

本発明は以上の点に鑑み、このような問題を解
決すると共にかかる欠点を除去すべくなされたも
ので、その目的は観測位置・方向に厳しい制約が
ないと共に、エツジ方向に対する依存性がなく、
また、しきい値の設定には精度を要求されない、
つまり、ラフな値を与えておけばよく、しかも対
応付け判定が特徴点個々の独立に容易にでき、か
つ正確である物体位置・形状計測方法およびこの
方法を実施する装置を提供することにある。

〔問題点を解決するための手段〕

本発明の物体位置・形状計測方法は、非同一直
線上の少なくとも３箇所から対象物体１０の２次
元画像を取得し、この画像のうち第１の画像１１
上の特徴点ａと第２の画像１２上の特徴点ｂとの
対応付けを行つて、第１の画像上の特徴点に対応
する第２の画像上の特徴点を対応点候補として求
め、しかる後、第１の画像を生成する第１の画像
入力手段のレンズ中心OAと対象物体上の特徴点
と対応する点Ｐとを結ぶ視線を第３の画像１３上
に射影した第１の射影直線Ｌ１を、第１の画像入
力手段と第３の画像を生成する第３の画像入力手
段との空間的配置関係から算出すると共に、第２
の画像を生成する第２の画像入力手段のレンズ中
心OBと対象物体上の対応点候補と対応する点と
を結ぶ視線を第３の画像上に射影した第２の射影
直線Ｌ２を、第２の画像入力手段と第３の画像入
力手段の空間的配置関係から算出した後、この算
出した第１の射影直線と第２の射影直線の交点を
求め、しかる後、この交点と第１の画像上の特徴
点もしくは第２の画像上の対応点候補との対応度
合を求め、これにより第２の画像上の対応点候補
の正誤を判定し、対応点候補の中から正しい対応
点を選別するようにしたものである。

また、本発明の物体位置・形状計測装置は、少
なくとも、第１の画像を生成する第１の画像入力
手段７、第２の画像を生成する第２の画像入力手
段８および第３の画像を生成する第３の画像入力
手段９からなる画像入力部と、この画像入力部の
出力を入力とし、画像入力部のパラメータリスト
および画像中の特徴点を抽出する前処理演算部３
０と、この前処理演算部の出力を入力とし、非同
一直線上の少なくとも３箇所から取得した対象物
体の２次元画像のうち第１の画像上の特徴点と第
２の画像上の特徴点との対応付けを行つて、第１
の画像上の特徴点に対応する第２の画像上の特徴
点を対応点候補として求め、しかる後、第１の画
像入力手段のレンズ中心と対象物体上の特徴点と
対応する点とを結ぶ視線を第３の画像上に射影し
た第１の射影直線を、第１の画像入力手段と第３
の画像入力手段との空間的配置関係から算出する
と共に、第２の画像入力手段のレンズ中心と対象
物体上の対応点候補と対応する点とを結ぶ視線を
第３の画像上に射影した第２の射影直線を、第２
の画像入力手段と第３の画像入力手段の空間的配
置関係から算出した後、この算出した第１の射影
直線と第２の射影直線の交点を求め、しかる後、
この交点と第１の画像上の特徴点もしくは第２の
画像上の対応点候補との対応度合を求め、第２の
画像上の対応点候補の正誤を判定して正しい対応
点を選別する対応点選別機能を実行する対応点検
出用演算部３５と、この対応点検出用演算部の出
力を入力とし、対応点検出用演算部によつて対応
が得られた特徴点を実空間座標に変換して座標を
算出する座標算出部３６とを設けたものである。

〔作用〕

本発明においては、非同一直線上の少なくとも
３点から取得した２次元画像間で立体視対応点処
理を行うことにより物体の位置・形状を３次元計
測するものである。

〔実施例〕

以下、図面に基づき本発明の実施例を詳細に説
明する。

第１図は本発明による物体位置・形状計測方法
の一実施例を説明するための構成図で、２次元画
像の取得手段としてテレビカメラを用いた場合の
本発明におけるカメラ配置の実施例を示したもの
である。

図において、Ｘ，Ｙ，Ｚは空間座標、７はテレ
ビカメラ、８はこのテレビカメラ７のＸ方向に配
置したテレビカメラ、９はテレビカメラ７の斜め
右上方のＺ方向に配置したテレビカメラである。
また、１０はＹ軸上に置かれた物体であり、この
例では立方体である。そして、この物体１０はカ
メラ８，９の位置による見え隠れ部分がないよう
におかれている。

第２図は第１図に示す実施例におけるテレビカ
メラ７，８，９の３台の画像間での対応点処理の
原理説明図である。

図において、１１はテレビカメラ７の画像、１
２はテレビカメラ８の画像、１３はテレビカメラ
９の画像である。ここで各カメラ７，８，９のレ
ンズ中心をそれぞれO_A，O_B、およびO_Cとする。
そして、物体１０上の任意の点Ｐの像ａ，ｂおよ
び点ｃはそれぞれ視線O_AＰ，O_BＰおよびO_CＰ上
にのつているため、点ｃは視線O_AＰおよび視線
O_BＰの画像１３への射影直線L₁，L₂上に存在す
る。すなわち、点ｃはこの２本の射影直線L₁，
L₂の交点と一致する。一方、画像１１中の点ａ
に対する画像１２上の対応点は視線O_AＰの画像
１２への射影直線L⁸上にある。この射影直線L⁸
上で対応点候補ｂを選ぶと、ａとｂの両者に同時
に対応する画像１３上の像は射影直線L₁と射影
直線L₂の交点ｃになければならない。しかし、
誤つた対応点候補、例えば、図中b′を選ぶと、視
線O_Bb′の画像１３への射影直線L₄となり、ａと
b′の両者に同時に対応する点は射影直線L₁と射影
直線L₄の交点c′となつて正しい対応点ｃから大き
くずれる。このため、点ａと点c′および点b′と点
c′の近傍の類似度（前述した評価値の逆数に相
当）は共に著しく低下し、点b′が誤対応であるこ
とを容易に判定することができる。

以上のように、２枚の画像が得られる対応点候
補について、各々の視線の第３の画像への射影直
線の交点（以降、予測対応点と呼ぶ）を求め、そ
の近傍と対応点候補とを比較した評価値を調べる
ことにより、対応の正誤を判定することができ
る。

つぎに、射影直線の求め方を文献１および第８
図を参照して説明する。

まず、文献１には、２つのカメラの位置、方向
に厳格な制約を課し、その条件のもとで、射影直
線の求め方が記載されている。すなわち、第８図
で示したＸ，Ｙ，Ｚの各座標系において、２つの
テレビカメラの位置および方向がＺ軸に対称な関
係を有する場合も扱つている。しかるに、３眼画
像においては、第１図で明らかなように、少なく
ともテレビカメラ７とテレビカメラ９およびテレ
ビカメラ８とテレビカメラ９はＺ軸に対称ではな
い。このため、３眼画像間の射影直線L₁，L₂，
L₃を文献１で示されている方法またはその修正
では求めることができない。ここでは、任意座標
に任意方向に置かれた２つのテレビカメラからの
画像間で射影直線を求める方法は従来全く不明で
あつたので、その方法を以下、射影直線L₃の直
線方程式を求める場合を例にとつて具体的に説明
する。

いま、テレビカメラ７のカメラパラメータとし
てレンズ焦点距離はf_A、レンズ中心O_Aは座標a_A，
b_A，h_Aに置かれ、光軸はＹ−Ｚ面とα_A、Ｘ−Ｙ
面とψ_Aの角度をなすものとする。また、テレビ
カメラ８のカメラパラメータとして、レンズ焦点
距離はf_B、レンズ中心O_Bは座標X_B，Y_B，Z_Bに置
かれ、光軸はＹ−Ｚ面のα_B、Ｘ−Ｙ面とψ_Bの角
度をなすものとする。また、他のカメラパラメー
タとして、カメラ撮像面と光軸との交点（光軸
点）は、テレビカメラ７では、カメラ撮像面座標
においてh_OA，v_OA、テレビカメラ８ではカメラ撮
像面座標においてh_OB，v_OBとし、画像と実像との
大きさの変換比をそれぞれM_xA，M_yB、M_xB，
M_yBとする。

そして、テレビカメラ７の画像１１の任意の点
h_A，v_AはＸ，Ｙ，Ｚ座標では次のように表わされ
る。

X_A−a_A Y_A−b_A Z_A−h_A＝１ ０ ０ ０ cosψ_A −sinψ_B ０ sinψ_A cosψ_BX_A′ Y_A′ Z_A′ ……(1) ただし、 X_A′ Y_A′ Z_A′＝−cosα_A −sinα_A ００ ０ −１ξ_xA ξ_yA＋f_Asinα_A −f_Acosα_A ０ ……(2) ξ_xA＝−M_xA（h_OA−h_A） ……(3) ξ_YA＝M_YA（V_A−V_OA） ……(4) である。一方、対応点（h_B、v_B）のＸ，Ｙ，Ｚ座
標表示を（X_B、Y_B、Z_B）とすると、（X_A、Y_A、
Z_A）とは次の関係をもつ。

Ｘ−a_A／X_A−a_A＝Ｙ−b_A／Y_A−b_A＝Ｚ−h_A／Z_A−
h_A……(5) Ｘ−a_B／X_B−a_B＝Ｙ−b_B／Y_B−b_B＝Ｚ−h_B／Z_B−
h_B……(6) この連立方程式を解くと、結果は Ａ（X_B−a_B）＋Ｂ（Y_B−b_B） ＋Ｃ（Z_B−h_B）＝０ ……(7) ただし、 Ａ＝q_Z（b_B−b_A）−（h_B−h_A） ……(8) Ｂ＝q_X（h_B−h_A）−q_Z（a_B−a_A） ……(9) Ｃ＝−q_X（b_B−b_A）＋b_B−b_A ……(10) q_X＝（X_A−a_A）／（Y_A−b_A） ……（11） q_Z＝（Z_A−h_A）／（Y_A−b_A） ……（12） 上式で分母＝０のときも式(7)は成立することを
証明できる。

一方、X_B，Y_B，Z_Bとh_B，v_Bの関係は式(1)〜(4)
においてＡ→Ｂに書きかえた式で与えられる。

そして、この書きかえた式と上記式(7)により次
式が得られる。

u₁ξ_XB＋u₂ξ_yB＋u₃＝０ ……（13） ただし、 u₁ u₂ u₃＝−cosα_B ０ f_Bsinα_B −sinα_Bcosψ_B −sinψ_B −f_Bcosα_Bcosψ_B sinα_Bsinψ_B cosψ_B f_Bcosα_Bsinψ_BＡ Ｂ Ｃ ……（14） そして、上記式(3)、(4)でＡをＢに書きかえ、式
（13）に代入すると、射影直線Ｉ，Ｊとして次式
を導入できる。

U₁I−U₂J−U₃＝０ ……（15） ただし、 U₁ U₂ U₃＝M_xB ０ h_pBM_xB ０ M_yB −v_pBM_yB ０ ０ −１u₁ u₂ u₃ ……（16） 以上、L₃の直線方程式の求め方を説明したが、
L₁，L₂，L₄等任意カメラパラメータをもつカメ
ラからの画像間の射影直線も全く同様に求めるこ
とができる。

つぎに、対応点が検出されたときの距離算出法
を説明する。ここでは、第２図で画像１１中の点
ａの対応点として画像１２中の点ｂが選択されて
いる場合を例にとつて述べる。

いま、ａはテレビカメラ７の撮像面座標でh_a，
v_a、ｂはテレビカメラ８の撮像面座標でh_b，v_bと
すると、前述の式(1)〜(4)によりａおよびｂのＸ，
Ｙ，Ｚ座標系での座標X_a，Y_a，Z_aおよびX_b，
Y_b，Z_bが求まる。そして、物体１０上の点Ｐの
座標Ｘ，Ｙ，Ｚは直線O_AａおよびO_Bｂの交点で
あるから、次式の連立方程式が成立する。

Ｘ−a_A／X_a−a_A＝Ｙ−b_A／Y_A−b_A……（17） Ｘ−a_B／X_b−a_B＝Ｙ−b_B／Y_b−b_B……（18） この連立方程式から ｛q_X（Y_b−b_B）−（X_b−a_B）｝Ｙ＝｛b_Aq_X−
（a_A−a_B）｝（Y_b−b_B）−b_B（X_b−a_B）……（19） によりＹが求められる。

ただし、 q_X＝（X_a−a_A）／（Y_a−b_A） ……（20） そして、式（19）により求めたＹを式（17）に
代入してＸが求められる。これを次式 Ｘ−a_A／X_a−a_A＝Ｚ−h_A／Z_a−h_A……（21） に代入してＺが求められる。

このようにして、対応点処理の結果から物体上
の点の座標を算出することができる。

第３図は３眼画像の立体視対応点処理の流れの
実施例を示すフローチヤートである。

この第３図において、１４，１５は画像処理の
分野で一般によく行なわれる前処理で、この処理
１４は３画像のエツジ強度・方向を検出するエツ
ジ検出処理であり、従来種々の方法が提案されて
いる。ここではロビンソン・オペレータによるエ
ツジ検出を行なう。

そして、このエツジ検出処理１４は引用する
「画像処理サブルーチン・パツケージ」SPIDER
USER′S MANUAL、1982、協同システム開発
(株)（以下、文献２とする）に記載された画像処理
サブルーチン・パツケージSPIDERを用いること
により容易に実行することができる。また、処理
１５は細線化を行なつて特徴点を得る細線化処理
である。そして、エツジ強度がやや大きい点すべ
てにおいてエツジ方向（立体の稜の部分では稜線
の方向）に垂直な方向のエツジ強度の変化を調べ
エツジ強度が最大となる点を特徴点（エツジ）と
する。なお、この文献２のSPIDERの中にも細線
化処理サブルーチンが記載されている。

１６はテレビカメラ７の画像１１の各特徴点
（エツジ）について射影直線L₁，L₃の方程式、テ
レビカメラ８および９の画像１２および１３の各
特徴点（エツジ）についてそれぞれ射影直線L₂，
およびL₅の方程式を算出する処理である。ここ
で、この算出する方法は前述の式(1)〜（16）です
でに示した。そして、処理１６では、各特徴点
（エツジ）について、そのエツジが射影直線L₃と
ほぼ平行（実施例では方向角度差25°以内のとき
平行として扱つた）のとき処理２０に、さもなく
ば処理１７に処理をふり分ける。１７はテレビカ
メラ７の画像１１とテレビカメラ８の画像１２の
初期対応付けを行なう処理であり、画像１１の各
特徴点（エツジ）に対する画像１２上の対応点候
補を優先順位をつけて選び出す。そして、評価値
は、画像１１の特徴点（エツジ）および画像１２
の射影直線上の特徴点の近傍濃度分布を比較する
局所相関法により求められる。そして、この局所
相関法は、具体的には特徴点（エツジ）近傍に５
×５の窓を設け、画像１１と画像１２での窓内濃
度分析から窓画像IP₁，IP₂を作り、次式（22）に
より比較する方法を用いた。ここで、窓画像IP₂
は画像マツチングにおけるテンプレート画像に相
当する。

また、しきい値として100の値を用いたが、200
でも特に問題がなかつたことから、100〜200の値
が適当と思われる。そして、エツジ方向が45°以
内に一致しない、あるいはρがしきい値より大き
い画像１２上の特徴点（エツジ）に対しては対応
点候補ではないと判定する。ここで、この対応点
候補が１つもなかつた特徴点（エツジ）について
は処理１７′で対応点なしとして処理を終了する。

１８は処理１７により求めた各対応点候補につ
いて、画像１３上の２本の射影直線の交点、すな
わち、予測対応点を算出する処理である。そし
て、２本の射影直線a₁I−b₁J−c₁＝０とa₂I−b₂J
−c₂＝０（a₁、b₁、c₁、a₂、b₂、c₂は定数）の交点
は（（c₁b₂−c₂b₁）／（a₁b₂−a₂b₁）、（a₂c₂−
a₁c₂）／（a₁b₂−a₂b₁））で与えられる。ここで、
この予測対応点の周辺で画素間隔の５倍以内の範
囲にエツジ（特徴点）が存在する場合には、最も
近くにあるエツジ点を正しい予測対応点として修
正する。これはカメラ位置・パラメータの誤差
や、像の歪などにより、本来エツジにのるべき予
測対応点がずれることがあるからであり、また、
整数計算による四捨五入の誤差の蓄積によつても
ずれが生じるからである。なお、この実施例の実
験結果によれば、最大画素間隔の４倍のずれが局
部的にみられた。

１９は画像１１の特徴点（エツジ）と画像１３
の予測対応点について局所相関法により評価値を
求める処理である。ここで、この評価値の計算は
前述の式（22）によつて行つた。そして、処理２
３において、対応点候補のうち、評価値がしきい
値以下であつて、かつ最小のものを選択し、それ
を対応点と決定する。

一方、２０は画像１２の代わりに画像１３と初
期対応付けを行う処理である。そして、その設定
値は処理１７の場合と同様に、画像１１の特徴点
（エツジ）および画像１３の射影直線上の特徴点
（エツジ）の近傍濃度分布を比較して求める上記
局所相関法により求めた。この評価式は前述の式
（22）である。これにより、画像１３上の対応点
候補を選択する。ここで、対応点候補が１つも見
つからなかつた特徴点（エツジ）については処理
２０′で対応点なしとして処理を終了する。

２１は処理１８と同様に処理２０により求めた
画像１３上の各対応候補について、画像１２上の
２本の射影直線L₃およびL₅の交点、すなわち、
予測対応点を算出する処理である。ただし、L₅
は視線O_cＰの画像１２への射影直線である。２
２は処理１９と同様に画像１１の特徴点（エツ
ジ）および画像１２の予測対応点の近傍濃度分布
を局所相関法により比較し評価値を求める処理で
ある。そして、処理２３において、対応点候補の
うち、評価値がしきい値以下でありかつ最小のも
のを選択し、それを対応点とする。ここで、もし
も対応点が見つからなかつた特徴点（エツジ）に
ついては対応点確定処理２３′によつて対応点な
しとして処理を終了する。

２４は対応点処理の結果に基づき画像１１の各
特徴点（エツジ）について実空間座標を求める処
理であり、前述の式（17）〜（21）により計算す
る。そして、処理２５では上述の処理結果を３次
元立体表示する。具体的には、Ｘ−Ｙ、Ｙ−Ｚ、
Ｘ−Ｚの透視図に変換する。

第４図は、立方体を３台のテレビカメラで観察
した画像１１，１２，１３の実例を示す説明図で
ある。そして、この立方体のサイズは30mm×30mm
×30mmであり、Ｙ軸上に原点○から800mm離れて
置かれている。また、実験の際には、テレビカメ
ラは、見え隠れ部分が生じないように、次の条件
で設置した。

すなわち、３台のテレビカメラの位置（Ｘ、
Ｙ、Ｚ）は、（100mm、０mm、100mm）、（200mm、０
mm、100mm）および（150mm、０mm、200mm）とし、
また、３台のテレビカメラの傾き角は、Ｚ−Ｙ面
に対しそれぞれ0.11、0.22、0.165、Ｘ−Ｙ面に対
し共に0.1であり、Ｚ−Ｙ面への切片位置が共に
900mmである。そして、テレビカメラのイメージ
素子は例えば、浜松ホトニクス製ジリコンビジコ
ンカメラを用い、また、レンズは例えば、日本光
学製焦点距離55mmマクロレンズを用いている。

第５図は第４図の３眼画像を第３図の処理の流
れに基づき処理を行い、イメージデイスプレイ装
置に表示した実例を示す説明図で、第４図の画像
の対応点処理を第３図の処理手順によつて実行し
て実空間座標に換算し、イメージデイスプレイ装
置に表示しビデオプリンタで写真をとつた場合の
実例である。

そして、ａは処理結果を用いて、物体を真正面
から見たＸ−Ｚ投影図を示したものであり、ｂは
真上から見たＸ−Ｙ投影図、ｃは真横から見たＹ
−Ｚ投影図を示したものである。この例に見られ
るように、エツジの方向にかかわりなく正しく対
応点処理が行なわれて、３次元物体を再現してい
ることが明白である。

なお、最大計測誤差はＸ、Ｚ軸方向が±0.3mm、
Ｙ軸方向が±２mm程度である。そして、この誤差
は対応点処理の誤りによるものではなく、画像の
サンプリン間隔による量子化誤差である。

また、実験の結果によれば、特徴点数は計1275
点であり、主に頂点付近における検出したエツジ
方向の乱れにより39点が対応点なしと判定された
以外は全て正しく対応付けられた（成功率97％、
未反応３％、誤対応０％）。そして、同じ物体で
両眼立体視法では対応点が見つからなかつた点
604、誤対応点57であり、成功率48％、未対応47
％、誤対応５％であつた。

したがつて、本発明の方法は両眼立体視法に比
して極めて高い成功率、低い未対応点率を示し、
かつ誤対応点は生じなかつたことから、信頼性の
高い方法であると判断することができる。

以上説明したように、少なくとも３台のテレビ
カメラで写し出された物体上の各点を実空間座標
（Ｘ、Ｙ、Ｚ）に変換し記録することができる。
このため、ある基準点から物体までの距離、方向
を求めることができ、また、物体上の各点間の位
置関係から物体の形状を認識し、物体の種類を識
別することができる。

このように、本発明の物体位置・形状計測方法
は、非同一直線上の少なくとも３箇所から対象物
体の２次元画像を取得し、この画像のうち第１の
画像上の特徴点と第２の画像上の特徴点との対応
付けを行つて、第１の画像上の特徴点に対応する
第２の画像上の特徴点を対応点候補として求め、
第１の画像入力手段のレンズ中心と対象物体上の
特徴点と対応する点とを結ぶ視線を第３の画像上
に射影した第１の射影直線を、第１の画像入力手
段と第３の画像入力手段との空間的配置関係から
算出すると共に、第２の画像入力手段のレンズ中
心と対象物体上の対応点候補と対応する点とを結
ぶ視線を第３の画像上に射影した第２の射影直線
を、第２の画像入力手段と第３の画像入力手段の
空間的配置関係から算出し、その射影直線の交点
から上記他の画像上の対応点の存在位置を予測
し、その位置と上記基準面の特徴点もしくは上記
対応点候補との対応度合を調べることにより対応
点候補の正誤を判定し、対応点を選別することに
よつて物体の位置・形状を計測し得るように構成
されている。

第６図は前述の物体位置・形状計測方法で実施
した装置の一実施例を示すブロツク図で、３眼画
像間対応点処理を利用した物体位置・形状計測装
置の全体の構成例を示したものである。

この第６図において、７，８，９は前述の第１
図で示した３台のテレビカメラ、２６ａ，２６
ｂ，２６ｃはそれぞれテレビカメラ７，８，９に
対応し、各テレビカメラ７〜９からの映像信号を
デイジタル信号に変換するアナログ・デイジタル
コンバータ（以下、Ａ／Ｄコンバータと略称す
る）で、これらは画像入力部を構成している。２
７はＡ／Ｄコンバータ２６ａ〜２６ｃの各出力を
入力とし一時記憶する画像メモリ、２８はこの画
像メモリ２７の出力を入力とする前処理演算回
路、２９はこの前処理演算回路２８によつて得ら
れた特徴点の位置と特徴量を記録する特徴量テー
ブルで、これらは上記画像入力部の出力を入力と
しその画像入力部のパラメータリストおよび特徴
点を抽出する前処理演算部３０を構成している。
３１はカメラ・パラメータテーブルである。

３２は前処理演算部３０における特徴量テーブ
ル２９からの出力を入力としカメラパラメータテ
ーブル３１を基にして射影直線パラメータを算出
する演算回路、３３は射影直線パラメータ・テー
ブル、３４は演算回路３２によつて得られた演算
結果である対応点処理結果を記録する対応点テー
ブルで、これらは３眼対応点検出モジユール３５
を形成している。そして、この３眼対応点検出モ
ジユール３５は上記前処理演算部３０の出力を入
力とし非同一直線上の少なくとも３箇所以上から
取得した２次元画像のうち２枚の画像間の対応付
けを行うことにより対応点候補を求め、基準面の
特徴点およびその特徴点に対する対応点候補から
他の画像上へのそれぞれの射影直線を求め、その
射影直線の交点から上記他の画像上の対応点の存
在位置を予測し、その位置と上記基準面の特徴点
もしくは上記対応点候補との対応度合を調べるこ
とにより対応点候補の正誤を判定し、対応点を選
別する対応点選別機能を実行する対応点検出用演
算部を構成している。

３６はこの３眼対応点検出モジユール３５にお
ける対応点テーブル３４の出力とカメラ・パラメ
ータテーブル３１の出力を入力とする座標算出モ
ジユールで、この座標算出モジユール３６は、上
記対応点検出用演算部によつて対応が得られた特
徴点を実空間座標に変換して座標を算出する座標
算出部を構成している。３７はこの座標検出モジ
ユール３６の変換結果を記録する座標テーブル、
３８は座標算出モジユール３６によつて得られた
変換結果を立体的に表示するグラフイツクモジユ
ール、３９はこのグラフイツクモジユール３８の
出力を入力とするグラフイツクデイスプレイ装
置、４０は結果に基づき図示しない外部機器を制
御するために設けられた外部入出力インタフエー
スである。

つぎにこの第６図に示す実施例の動作を第３図
を参照して説明する。

まず、３台のテレビカメラ７，８，９で得た映
像信号はＡ／Ｄコンバータ２６ａ，２６ｂ，２６
ｃによりデジタル信号に変換され、３枚以上から
成る画像メモリ２７に一旦記憶される。そして、
前処理演算回路２８により第３図に示すエツジ検
出処理１４および細線化処理１５が順次施され、
特徴点の位置と特徴量が特徴量テーブル２９に記
録される。ここまでの動作は一般によくいわれる
前処理演算部３０の動作である。

つぎに、求められた各特徴点についての射影直
線パラメータを、カメラ・パラメータテーブル３
１を基にし演算回路３２によつて算出し、その結
果を射影直線パラメータテーブル３３に記録す
る。なお、射影直線パラメータは、予じめ必要な
分をすべて求めて射影直線パラメータテーブル３
３に記録しておく代わりに、次段階以降で必要に
なつた時毎に算出してもよい。続いて第３図に示
した初期対応付け処理１７から対応点選択決定処
理２３までを演算回路３２で行なう。この処理で
は必要に応じ画像メモリ２７や特徴量テーブル２
９を参照し、また、対応点テーブル３４に途中結
果の記録あるいは読出しを行なう。そして、処理
終了後、対応点テーブル３４を調べれば対応点決
定までの履歴が１目で分る。つぎに、対応点が得
られた特徴点は座標算出モジユール３６により実
空間座標に変換され、その結果が座標テーブル３
７に記録される。

また、この座標算出モジユール３６によつて実
空間座標に変換された結果は、グラフイツク・モ
ジユール３８により物体の透視図や概観図に変換
され色付けされた後、ブラフイツクデイスプレイ
装置３９により立体表示される。また、座標算出
モジユール３６によつて得られた物体座標データ
は外部入出力インタフエース４０を通して外部機
器制御に利用される。

このように、本発明による物体位置・形状計測
装置を用いると、物体を３台のテレビカメラで観
測し、３画像間対応点処理により物体の各点の実
空間座標を求め、立体表示することができる。

第７図は本発明の自立ロボツトへの応用例を示
す構成図である。

この第７図において、７，８，９は前述したテ
レビカメラ、１０は対象物体（物体）である。そ
して、４１は第６図で例示した物体位置・形状計
測装置、４０はこの物体位置・形状計測装置４１
に含まれる前述の外部入出力インタフエース、４
２はシステム主制御装置、４３はこのシステム主
制御装置４２によつて制御されるロボツトコント
ローラ、４４はこのロボツトコントローラ４３に
よつて制御されるロボツト本体、４５はロボツト
アームである。

つぎにこの第７図に示す応用例の動作を説明す
る。

まず、テレビカメラ７，８，９により物体１０
の画像信号が得られ、その画像信号は物体位置・
形状計測装置４１に入力し、物体１０の各点の座
標が得られると共に３次元表示される。そして、
システム主制御装置４２では物体位置・形状計測
装置４１から外部入出力インタフエース４０を経
由して伝達された物体座標データに基づき、ロボ
ツトアーム４５を物体位置に移動するための移動
量、方向および軌跡を算出する。また、物体１０
をつかむ際の指の方向および指の間隔を算出す
る。

つぎに、ロボツトコントローラ４３において、
ロボツト本体４４の移動量に対応した各ジヨイン
トの駆動モータ（図示せず）の回転数と速度、ア
ームを駆動するジヨイントのモーター回転数と速
度を算出し、各ジヨイント駆動信号を発生する。
一方、物体位置・形状計測装置４１では常時物体
１０の位置・形状を観測し、物体１０が移動また
は変形したり、障害物が入つたりすると、システ
ム主制御装置４２でロボツト本体４４の動きの変
更指令を発する。また、物体位置・形状計測装置
４１ではロボツトアーム４６が物体１０に接近し
た時、ロボツトアーム４５の位置および方向も認
識できるので、物体１０とロボツトアーム４５の
位置関係が求められる。この位置関係に基づき、
システム主制御装置４２ではロボツトアーム４５
の細かい動作を決定し、ロボツトコントローラ４
３に指令を与えることができる。

そして、この第７図に示す応用例においては、
任意の物体が任意の位置におかれたとき、物体の
位置と形状を視覚認識し、その結果に基づきロボ
ツトアーム４５を移動して物体をつかみ上げ、所
定位置に運ぶという自立的な動作をさせることが
できる。また、物体１０はシステムの応答速度以
内であれば移動していても、その動きを追つてロ
ボツトアーム４５でつかみ上げてしまうことがで
きる。

なお、本発明の実施例においては、３眼画像を
用いた場合を例にとつて説明したが、本発明はこ
れに限定されるものではなく、４眼以上の画像を
用い、３眼画像により求めた対応点候補について
第４眼目以降の画像により上記の方法と同様の検
証を行うことによつて、さらに、処理の正確さを
高めることができる。また、本発明の実施例にお
いては、初期対応点処理により評価値が低い、つ
まり、類似度（あるいは対応度）が高い対応点候
補を予め複数個選択した後、各対応点候補につい
て第３の画像との対応を調べ正誤判定する処理を
行う場合を例にとつて説明したが、類似パターン
が多く含まれることなどのため、上記数個の対応
点候補の中に正しい対応点が入らない場合が生じ
る可能性がある。このような場合、あるいはその
恐れがある場合には、射影直線に沿つてしきい値
以下の評価値をもつ点を探し、それが見つかり次
第、第３の画像との対応を調べ、正誤判定すると
いう手順を併用することにより、正誤判定の精度
を高め、類似パターンの中から正しい対応点を検
出することができる。

また、本発明の実施例では、テレビカメラの画
像を用いる場合を例にとつて説明したが、本発明
はこれに限定されるものではなく、スチールカメ
ラ、超音波などにより得た写真を用いることも可
能であり、画像入力手段の種類は問わない。すな
わち、画像入力の際の観測位置・方向などのパラ
メータが明らかであれば、画像入力手段に特別の
条件が与えられるものではない。

一方、エツジとして必ずしも物体の稜線に限ら
ず表面の模様や表面のきめ、小さな凹凸による模
様などによる表面上の明暗パターンのエツジであ
つてもかまわない。

ただし、本発明の方法は、カメラ位置による見
え隠れ部分がある場合に、その部分の位置計測に
は適用できない。

〔発明の効果〕

以上説明したように、本発明による物体位置・
形状計測方法は、非同一直線上の少なくとも３点
から取得した２次元画像間で立体視対応点処理を
行うことにより、物体の位置・形状を３次元計測
するようにしたものであるから、初期対応点処理
において競合する候補が複数あり、かつ競合する
候補の方が評価値が小さい、つまり、対応の度合
が高くなつたとしても、第３画像での対応付けで
は誤つた対応点の対応の度合が著しく悪くなり、
容易に正誤を判定することができるため、初期対
応付けで厳密な判定を行なう必要がなく、また、
隣接エツジ等他の特徴点との配列順序等に注意を
払う必要がない。

このため、本発明では従来の両眼立体視法に比
し次のような多くの有効な特長をもつものであ
る。

すなわち、まず第１にしきい値の設定には精度
を要求されない。第２に対応付け判定が特徴点
個々独立に容易にでき、かつ正確であることの利
点がある。これらの利点により対応点処理アルゴ
リズムは両眼立体視法に比べ著しく簡単かつ誤り
のないものとなり、信頼性および経済性を向上す
ることができる。また、同一直線上にない位置か
ら取得した画像を用いるため、第３にエツジ方向
に対する依存性をもたない。さらにまた、従来の
両眼立体視法においては、カメラ位置と方向の制
約があつたが、本発明においては任意のカメラ・
パラメータを用いた時の視線パラメータ導出式や
実空間座標変換の式を与えているため、第４にカ
メラはそのすべてが同一直線上でない限り任意の
位置・方向であつてよく、また、レンズ焦点距離
も異なつていてよい。このことは複数カメラの設
定を著しく容易にすることができる等、種々の特
長を有する。

このように、本発明の方法では従来の両眼立体
視法に比して多大の効果があり、３ケ以上で取得
した複数の２次元画像から立体視対応点処理によ
り物体の位置・形状を３次元計測する物体位置・
形状計測方法としては独自のものである。

また、信頼性の高い汎用性な物体位置・形状計
測装置を実現することができるという点において
極めて有効である。

【図面の簡単な説明】

第１図は本発明による物体位置・形状計測方法
の一実施例を説明するための構成図、第２図は第
１図の実施例におけるテレビカメラ３台の画像間
での対応点処理の原理説明図、第３図は第１図お
よび第２図の動作説明に供する３眼画像の立体視
対応処理のフローチヤート、第４図は立方体を３
台のテレビカメラで観察した画像の実例を示す説
明図、第５図は第４図の３眼画像を第３図に示す
処理の流れに基づき処理を行いイメージデイスプ
レイ装置に表示した実例を示す説明図、第６図は
本発明による物体位置・形状計測装置の一実施例
を示すブロツク図、第７図は本発明の応用例を示
す自立ロボツトの構成図、第８図は従来の両眼立
体視法の一例を示す構成図、第９図は局所相関法
により得られた評価値の分布の例を示す説明図、
第１０図は雑音による評価値の分布変動の例を示
す説明図である。 ７〜９……テレビカメラ、１０……対象物体、
１１〜１３……画像、２６ａ〜２６ｃ……Ａ／Ｄ
コンバータ、２７……画像メモリ、２８……前処
理演算回路、２９……特徴量テーブル、３０……
前処理演算部、３１……カメラ・パラメータテー
ブル、３２……演算回路、３３……射影直線パラ
メータテーブル、３４……対応点テーブル、３５
……３眼対応点検出モジユール（対応点検出用演
算部）、３６……座標算出モジユール、３７……
座標テーブル、３８……グラフイツクモジユー
ル、３９……グラフイツクデイスプレイ装置。

Claims (1)

1. 【特許請求の範囲】 １ 非同一直線上の少なくとも３箇所から対象物
   体の２次元画像を取得し、 この画像のうち第１の画像上の特徴点と第２の
   画像上の特徴点との対応付けを行つて、第１の画
   像上の特徴点に対応する第２の画像上の特徴点を
   対応点候補として求め、 しかる後、第１の画像を生成する第１の画像入
   力手段のレンズ中心と対象物体上の特徴点と対応
   する点とを結ぶ視線を第３の画像上に射影した第
   １の射影直線を、第１の画像入力手段と第３の画
   像を生成する第３の画像入力手段との空間的配置
   関係から算出すると共に、第２の画像を生成する
   第２の画像入力手段のレンズ中心と対象物体上の
   対応点候補と対応する点とを結ぶ視線を第３の画
   像上に射影した第２の射影直線を、第２の画像入
   力手段と第３の画像入力手段の空間的配置関係か
   ら算出した後、この算出した第１の射影直線と第
   ２の射影直線の交点を求め、 しかる後、この交点と第１の画像上の特徴点も
   しくは第２の画像上の対応点候補との対応度合を
   求め、 これにより第２の画像上の対応点候補の正誤を
   判定し、対応点候補の中から正しい対応点を選別
   することを特徴とする物体位置・形状計測方法。 ２ 少なくとも、第１の画像を生成する第１の画
   像入力手段、第２の画像を生成する第２の画像入
   力手段および第３の画像を生成する第３の画像入
   力手段からなる画像入力部と、 この画像入力部の出力を入力とし、画像入力部
   のパラメータリストおよび画像中の特徴点を抽出
   する前処理演算部と、 この前処理演算部の出力を入力とし、非同一直
   線上の少なくとも３個所から取得した対象物体の
   ２次元画像のうち第１の画像上の特徴点と第２の
   画像上の特徴点との対応付けを行つて、第１の画
   像上の特徴点に対応する第２の画像上の特徴点を
   対応点候補として求め、しかる後、第１の画像入
   力手段のレンズ中心と対象物体上の特徴点と対応
   する点とを結ぶ視線を第３の画像上に射影した第
   １の射影直線を、第１の画像入力手段と第３の画
   像入力手段との空間的配置関係から算出すると共
   に、第２の画像入力手段のレンズ中心と対象物体
   上の対応点候補と対応する点とを結ぶ視線を第３
   の画像上に射影した第２の射影直線を、第２の画
   像入力手段と第３の画像入力手段の空間的配置関
   係から算出した後、この算出した第１の射影直線
   と第２の射影直線の交点を求め、しかる後、この
   交点と第１の画像上の特徴点もしくは第２の画像
   上の対応点候補との対応度合を求め、第２の画像
   上の対応点候補の正誤を判定して正しい対応点を
   選別する対応点選別機能を実行する対応点検出用
   演算部と、 この対応点検出用演算部の出力を入力とし、対
   応点検出用演算部によつて対応が得られた特徴点
   を実空間座標に変換して座標を算出する座標算出
   部と を備えてなることを特徴とする物体位置・形状計
   測装置。