JPH0371043B2

JPH0371043B2 -

Info

Publication number: JPH0371043B2
Application number: JP59187270A
Authority: JP
Inventors: Minoru Ito; Akira Ishii
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1984-09-08
Filing date: 1984-09-08
Publication date: 1991-11-11
Also published as: JPS6166108A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は少なくとも３箇所以上から取得した複
数枚の２次元画像から立体視対応点処理により物
体の位置・形状を３次元計測する物体位置・形状
計測方法に係り、特に、カメラ位置による見え隠
れ部分を識別処理して物体の位置・形状を計測す
る物体位置・形状計測方法と、この方法を実施す
る装置に関するものである。

〔従来技術〕

従来、物体の位置・形状を計測する方法として
は、２次元画像としてテレビカメラ像を用いて３
次元計測する方法が一般的であり、その方法とし
ては大別して次の３種類がある。

すなわち、(1)物体にスポツト光、スリツト光あ
るいは格子像を照射してその投影像をテレビカメ
ラで観測して処理する投光式、(2)像が鮮明になる
ようにレンズ位置を調節する自動焦点式（別名、
鮮鋭度検出式）、(3)２台のテレビカメラで観測し、
両画像の対応点処理を施して画像間視差を求め、
三角測量の原理に基づき物体の３次元位置・形状
に換算する両眼立体視法がある。

これらのうち、上記(1)の投光式と(2)の自動焦点
式は光の走査またはレンズ走査をするなどの機械
的な走査を要するため、高速性能・耐久性に問題
があり、また、高分解能が得難いという本質的な
問題がある。

一方、上記(3)の両眼立体視法は、機械的走査を
必要とせず、また、高分解能計測も可能であり、
さらに、計測対象物体の制約も上記(1)と(2)に比べ
少ないので、汎用的手法としても優れている。

しかしながら、この両眼立体視法においては、
両像間の対応点処理の方法に問題が多い。

以下に、この両眼立体視法の原理とカメラ位置
による見え隠れ部分の処理に関する問題点につい
て図面を参照して具体的に説明する。

従来提案されている両眼立体視法の構成の一例
を第１０図に示し説明すると、図において、１と
２はそれぞれＸ軸上（Ｘ方向）におかれ、かつ座
標点Ｏからお互いに等距離に位置したテレビカメ
ラで、これらのテレビカメラ１およびテレビカメ
ラ２の向きはお互いにほぼ平行に置かれている。
３は対象物体（以下、物体と略称する）で、この
物体３は座標原点Ｏから、テレビカメラ１とテレ
ビカメラ２の距離に比べ十分大きな距離をへだて
てＹ軸上に置かれている。なお、ＺはＺ軸であ
る。

第１１図は、対応点を決定する代表的方法とし
て局所相関法により得ら減た評価値の分布の例を
示す説明図である。この第１１図ａ、ｂ、ｃにお
いて、４および５はそれぞれ第１０図に示すテレ
ビカメラ１およびテレビカメラ２の画像である。
そして、第１１図ａに示す画像４の任意の特徴点
ａに対する第１１図ｂに示す画像５での対応点ｂ
はほぼ水平な１本の直線Ｌ（射影直線）上に存在
する。

この直線の式は、２台のカメラがOY（第１０
図参照）に対照に置かれた場合について引用する
安江・白井「物体認識のための両眼立体視」電総
研彙報３７，１２， ′７３（以下、文献１とす
る）のP1105における式（４，17）に記載されて
いる。

そして、射影直線Ｌ上で窓（例えば、５×５マ
トリクス）を掃引しながらその窓の中のパターン
と、画像４の任意の特徴点ａを中心とした同じサ
イズの窓の中のパターンとを比較し、パターン構
成、明るさなどの評価値を求める。この評価値と
して一般に、相互相関関数を用いることが多い。

この相互相関関数は画像のマツチング技術の分
野で一般によく知られており、その代表例は上記
文献１のP1110における式（５，２）に記載され
ている。そして、２枚の画像を取得する場合のカ
メラレンズの絞り条件がほぼ同一のときは、文献
１のP1110における式（５，４）に示された誤差
評価関数を用いることができる。以下、この誤差
評価関数の値を評価値ρと呼ぶことにする。この
評価値ρは比較部分が対応する程小さくなり、完
全に一致すれば、０の値をもつ。逆に、比較部分
が対応しない場合には大きな値をもつ。

第１１図ｃの６は射影直線Ｌ上で窓を掃引した
ときの評価値ρの変化を示したものである。ｔは
評価値のしきい値であつて、対応点でのρ値より
大きい値が予め与えられている。そして、評価値
は対応点で最小かつしきい値ｔより小さいはずで
あるから、評価値が設定したしきい値より小さ
く、かつ最小となるところを対応点と決定する。
この対応点が定まると画像間視差を算出し、物体
３（第１０図参照）の３次元位置座標に換算する
ことができる。

〔発明が解決しようとする問題点〕

以上のように、両眼立体視法においては、２枚
の画像間で対応点処理を施すことが重要な手続で
あるが、次のような問題がある。

すなわち、従来の両眼立体視法では、カメラ位
置による見え隠れ部分の取扱いが困難である。そ
して、極く簡単な物体で、かつその物体の形状や
背景にあるシーンが予め分つている時には見え隠
れ部分の取扱いが必ずしも不可能ではないが、こ
の場合には予め高度な画像認識処理が必要とな
り、また物体と背景についての知識が必要であ
る。この処理および知識の与え方は未解決であ
り、今後の課題となつている。

このため、従来は、見え隠れ部分がないことを
前提とすることが多い。この前提を満すために
は、カメラ間隔を狭くする必要が生じる。しか
し、カメラ間隔を狭くすると、計測誤差は間隔に
逆比例して増大するため、むやみに狭くすること
ができない。

一方、見え隠れ部分を許容した場合、見え隠れ
面のふちが両画像で見えていても対応点を検出す
ることができない。この理由を、第１２図により
説明する。

この第１２図は両眼立体視法における見え隠れ
部分の取扱いを説明するための図で、ａは左画像
を示したものであり、ｂは右画像を示したもので
ある。

そして、７および８はそれぞれ直方体を左側カ
メラおよび右側カメラで観測した画像である。ａ
およびa′は画像７の特徴点であり、ｂおよびb′は
それぞれ画像７の特徴点ａおよび特徴点a′に対応
する画像８上の求めたい正しい対応点である。そ
して特徴点ａの左側の面９と対応点b′の右側の面
１０は見え隠れ部分である。なお、１１，１２は
両眼立体視法により計測可能な稜線である。

さて、ここで、特徴点ａの周辺部分と対応点ｂ
の周辺部分を比較すると、特徴点ａの左側部分が
背景と全く同一の明るさでない限り明るさ分布が
著しく異なるから、評価値ρは著しく高くなつて
しまい、従来方法では特徴点ａと対応点ｂは対応
点ではないと判定される。また、同様に特徴点
a′と対応点b′は対応点ではないと判定される。こ
のため、この第１２図の縦方向の稜線部は対応点
を持たないこととなる。そして、水平方向のエツ
ジは両眼立体視法では対応付けができなく、ま
た、２本の稜線１１と稜線１２についてもエツジ
の片側が見え隠れ部分となつているので対応が得
られない。このため、すべてのエツジについて位
置計測は不可能となる。

この第１２図の例で見られるように、従来の両
眼立体視法では、カメラ位置による見え隠れ部分
の取扱いが困難であつた。

本発明は以上の点に鑑み、このような問題を解
決すると共にかかる欠点を除去すべくなされたも
ので、その目的は従来困難であつたカメラ位置に
よる見え隠れ部分の多い物体をも計測対象とする
ことができ、片側が見え隠れ部分となるエツジの
計測および見え隠え部分の識別を行なうことがで
き、また、その処理アルゴリズムは複数枚画像間
対応点処理によるので極めて簡単になり、かつ信
頼性を向上することができ、かつカメラ間隔を大
きくすることができるため、高精度な計測ができ
る物体位置・形状計測方法およびこの方法を実施
する装置を提供することにある。

〔問題点を解決するための手段〕

本発明の物体位置・形状計測方法は、非同一直
線上の少なくとも３箇所から対象物体１６の２次
元画像を取得し、この２次元画像のうち第１の画
像１７上の特徴点ａと第２の画像１８上の特徴点
ｂとの対応付けを行つて、第１の画像上の特徴点
に対応する第２の画像上の特徴点を対応点候補と
して求める、しかる後、第１の画像を生成する第
１の画像入力手段のレンズ中心0Aと対象物体上
の特徴点と対応する点Ｐとを結ぶ視線を第３の画
像１９上に射影した第１の射影直線L1を、第１
の画像入力手段と第３の画像を生成する第３の画
像入力手段との空間的配置関係から算出すると共
に、第２の画像を生成する第２の画像入力手段の
レンズ中心0Bと対象物体上の対応点候補と対応
する点とを結ぶ視線を第３の画像上に射影した第
２の射影直線Ｌ２を、第２の画像入力手段と第３
の画像入力手段の空間的配置関係から算出した
後、この算出した第１の射影直線と第２の射影直
線の交点を求め、しかる後、この交点付近に存在
するエツジと第１の画像上の特徴点もしくは第２
の画像上の対応点候補におけるエツジとの対応度
合を、エツジの一方の側と他方の側について独立
に求めることにより、エツジの片側の見え隠れ部
分の存在を識別し、これにより第２の画像上の対
応点候補の正誤を判定し、対応点候補の中から正
しい対応点を選別するものである。

この方法を実施する本発明の物体位置・形状計
測装置は、少なくとも第１の画像を生成する第１
の画像入力手段１３、第２の画像を生成する第２
の画像入力手段１４および第３の画像を生成する
第３の画像入力手段１５からなる画像入力部と、
この画像入力部の出力を入力とし、画像入力部の
パラメータリストおよび画像中の特徴点を抽出す
る前処理演算部６７と、この前処理演算部の出力
を入力とし、非同一直線上の少なくとも３箇所か
ら取得した対象物体の２次元画像のうち第１の画
像上の特徴点と第２の画像上の特徴点との対応付
けを行つて、第１の画像上の特徴点に対応する第
２の画像上の特徴点を対応点候補として求め、し
かる後、第１の画像入力手段のレンズ中心と対象
物体上の特徴点と対応する点とを結ぶ視線を第３
の画像上に射影した第１の射影直線を、第１の画
像入力手段と第３の画像入力手段との空間的配置
関係から算出すると共に、第２の画像入力手段の
レンズ中心と対象物体上の対応点候補と対応する
点とを結ぶ視線を第３の画像上に射影した第２の
射影直線を、第２の画像入力手段と第３の画像入
力手段の空間的配置関係から算出した後、この算
出した第１の射影直線と第２の射影直線の交点を
求め、しかる後、この交点付近に存在するエツジ
と第１の画像上の特徴点もしくは第２の画像上の
対応点候補におけるエツジとの対応度合を、エツ
ジの一方の側と他方の側について独立に求めるこ
とにより、エツジの片側の見え隠れ部分の存在を
識別し、第２の画像上の対応点候補の正誤を判定
して正しい対応点を選別する対応点選別機能を実
行する対応点検出用演算部７２と、この対応点検
出用演算部の出力を入力とし、対応点研出用演算
部によつて対応が得られた特徴点を実空間座標に
変換して座標を算出する座標算出部７３とを備え
たものである。

また、本発明の物体位置・形状計測方法は、非
同一直線上の少なくとも３箇所から対象物体の２
次元画像を取得し、この２次元画像のうち第１の
画像上のエツジ点と第２の画像上のエツジ点との
対応付けをエツジの一方の側と他方の側について
行つて、第１の画像上のエツジ点に対応する第２
の画像上のエツジ点を対応点候補として求め、し
かる後、第１の画像を生成する第１の画像入力手
段のレンズ中心と対象物体上の特徴点と対応する
点とを結ぶ視線を第３の画像上に射影した第１の
射影直線を、第１の画像入力手段と第３の画像を
生成する第３の画像入力手段との空間的配置関係
から算出すると共に、第２の画像を生成する第２
の画像入力手段のレンズ中心と対象物体上の対応
点候補と対応する点とを結ぶ視線を第３の画像上
に射影した第２の射影直線を、第２の画像入力手
段と第３の画像入力手段の空間的配置関係から算
出した後、この算出した第１の射影直線と第２の
射影直線の交点を求め、しかる後、この交点付近
に存在するエツジと第１の画像上のエツジ点もし
くは第２の画像上の対応点候補におけるエツジと
の対応度合を、エツジの一方の側と他方の側につ
いて独立に求めることにより、エツジの片側の見
え隠れ部分の存在を識別し、これにより第２の画
像上の対応点候補の正誤を判定し、対応点候補の
中から正しい対応点を選別するようにしたもので
ある。

また、この方法を実施する本発明の物体位置・
形状計測装置は、少なくとも第１の画像を生成す
る第１の画像入力手段、第２の画像を生成する第
２の画像入力手段および第３の画像を生成する第
３の画像入力手段からなる画像入力部と、この画
像入力部の出力を入力とし、画像入力部のパラメ
ータリストおよび画像中の特徴点を抽出する前処
理演算部と、この前処理演算部の出力を入力と
し、非同一直線上の少なくとも３箇所から取得し
た対象物体の２次元画像のうち第１の画像上のエ
ツジ点と第２の画像上のエツジ点との対応付けを
エツジの一方の側と他方の側について行つて、第
１の画像上のエツジ点に対応する第２の画像上の
エツジ点を対応点候補として求め、しかる後、第
１の画像入力手段のレンズ中心と対象物体上の特
徴点と対応する点とを結ぶ視線を第３の画像上に
射影した第１の射影直線を、第１の画像入力手段
と第３の画像入力手段との空間的配置関係から算
出すると共に、第２の画像入力手段のレンズ中心
と対象物体上の対応点候補と対応する点とを結ぶ
視線を第３の画像上に射影した第２の射影直線
を、第２の画像入力手段と第３の画像入力手段の
空間的配置関係から算出した後、この算出した第
１の射影直線と第２の射影直線の交点を求め、し
かる後、この交点付近に存在するエツジと第１の
画像上の特徴点もしくは第２の画像上の対応点候
補におけるエツジとの対応度合を、エツジの一方
の側と他方の側について独立に求めることによ
り、エツジの片側の見え隠れ部分の存在を識別
し、第２の画像上の対応点候補の正誤を判定して
正しい対応点を選別する対応点選別機能を実行す
る対応点検出用演算部と、この対応点検出用演算
部の出力を入力とし、対応点検出用演算部によつ
て対応が得られた特徴点を実空間座標に変換して
座標を算出する座標算出部とを備えてなるように
したものである。

〔作用〕

本発明においては、同一直線上の少なくとも３
箇所から複数枚の２次元画像を取得し、その画像
間で、立体視対応点処理を行ない、エツジ周辺の
みならずエツジの片側の明るさ分布をも比較して
対応の度合を調べることによりエツジ周辺に存在
するカメラ位置による見え隠れ部分を識別し対応
の正誤を判定することにより物体の位置・形状を
３次元計測するものである。

〔実施例〕

以下、図面に基づき本発明の実施例を詳細に説
明する。

第１図は本発明による物体位置・形状計測方法
の一実施例を説明するための構成図で、２次元画
像の取得手段としてテレビカメラを用いた場合の
本発明におけるカメラ配置の実施例を示したもの
である。

図において、Ｘ、Ｙ、Ｚは空間座標、１３はテ
レビカメラ、１４はこのテレビカメラ１３のＸ方
向に配置したテレビカメラ、１５はテレビカメラ
１３の斜め右上方のＺ方向に配置したテレビカメ
ラである。また、１６はＹ軸上に置かれた対象物
体（物体）であり、この例では立方体である。

第２図は第１図に示す実施例におけるテレビカ
メラ１３，１４，１５の３台の画像間での対応点
処理の原理説明図である。なお、ここでは、説明
を簡単にするため、カメラ位置による見え隠れ部
分がない場合を例にとつて説明する。

図において、１７はテレビカメラ１３の画像、
１８はテレビカメラ１４の画像、１９はテレビカ
メラ１５の画像である。ここで、各テレビカメラ
１３，１４，１５のレンズ中心をそれぞれO_A、
O_BおよびO_Cとする。そして、物体１６上の任意
の点Ｐの像（点）ａ、ｂおよび点ｃはそれぞれ視
線O_AＰ、O_BＰおよびO_CＰ上にのつているため、
点ｃは視線O_AＰおよび視線O_BＰの画像１９への
射影直線L₁、L₂上に存在する。すなわち、点ｃ
はこの２本の射影直線L₁、L₂の交点と一致する。
一方、画像１７中の点ａに対する画像１８上の対
応点は視線O_AＰの画像１８への射影直線L₃上に
ある。この射影直線L₃上で対応点候補ｂを選ぶ
と、ａとｂの両者に同時に対応する画像１９上の
像は射影直線L₁と射影直線L₂の交点ｃになけれ
ばならない。しかし誤つた対応点候補、例えば、
図中b′を選ぶと、視線O_Bb′の画像１９への射影直
線はL₄となり、ａとb′の両者に同時に対応する点
は射影直線L₁と射影直線L₄の交点c′となつて正し
い交点ｃから大きくずれる。このため、ａとc′お
よびb′とc′の近傍の類似度（前述した評価値の逆
数に相当）は共に著しく低下し、b′が誤対応であ
ることを容易に判定することができる。

以上のように、２枚の画像から得られる対応点
候補について、各々の視線の第３の画像への射影
直線の交点（以降、予測対応点と呼ぶ）を求め、
その近傍と対応点候補とを比較した評価値を調べ
ることにより対応の正誤を判定することができ
る。

つぎに、射影直線の求め方を文献１および第１
０図を参照して説明する。

まず、文献１には、２つのカメラの位置、方向
に厳格な制約を課し、その条件のもとで、射影直
線の求め方が記載されている。すなわち、第１０
図で示したＸ、Ｙ、Ｚの各座標系において、２つ
のテレビカメラの位置および方向がＺ軸に対称な
関係を有する場合を扱つている。しかるに、３眼
画像においては、第１図で明らかなように、少な
くともテレビカメラ１３とテレビカメラ１５およ
びテレビカメラ１４とテレビカメラ１５はＺ軸に
対称ではない。このため、３眼画像間の射影直線
L₁、L₂、L₃を文献１で示されている方法、また
はその修正では求めることができない。ここで
は、任意座標に任意方向に置かれた２つのテレビ
カメラからの画像間で射影直線を求める方法は従
来全く不明であつたので、その方法を以下、射影
直線L₃の直線方程式を求める場合を例にとつて
具体的に説明する。

いま、テレビカメラ１３のカメラパラメータと
してレンズ焦点距離はf_A、レンズ中心O_Aは座標
（a_A、b_A、h_A）に置かれ、光軸はＹ−Ｚ面とα_A、
Ｘ−Ｙ面と_Aの角度をなすものとする。また、
テレビカメラ１４のカメラパラメータとして、レ
ンズ焦点距離はf_B、レンズ中心O_Bは座標（X_B、
Y_B、Z_B）に置かれ、光軸はＹ−Ｚ面のα_B、Ｘ−
Ｙ面と_Rの角度をなすものとする。また、他の
カメラパラメータとして、カメラ撮像面と光軸と
の交点（光軸点）は、テレビカメラ１３では、カ
メラ撮像面座標において（h_OA、V_OA）、テレビカ
メラ１４ではカメラ撮像面座標において（h_OB、
V_OB）とし、画像と実像との大きさの変換比をそ
れぞれ（M_XA、M_yB）、（M_XB、M_yB）とする。

そして、テレビカメラ１３の画像１７の任意の
点（h_A、VA）は（Ｘ、Ｙ、Ｚ）座標では次のよ
うに表わされる。

X_A−a_A Y_A−b_A Z_A−h_A＝１０００ cos_A −sin_B ０ sin_A cos_BX_A′ Y_A′ Z_A′ ……(1) ただし、 X_A′ Y_A′ Z_A′＝−cosα_A −sinα_A ０００ −１ξ_XA ξ_yA＋f_Asinα_A −f_Acosα_A ０ ……(2) ξ_XA＝−M_XA（h_OA−h_A） ……(3) ξ_YA＝M_YA（V_A−V_OA） ……(4) である。一方、対応点（h_B、V_B）の（Ｘ、Ｙ、
Ｚ）座標表示を（X_B、Y_B、Z_B）とすると、（X_A、
Y_A、Z_A）とは次の関係をもつ。

Ｘ−a_A／X_A−a_A＝Ｙ−b_A／Y_A−b_A＝Ｚ−h_A／Z_A−h_A…
…(5) Ｘ−a_B／X_B−a_B＝Ｙ−b_B／Y_B−b_B＝Ｚ−h_B／Z_B−h_B…
…(6) この連立方程式を解くと、結果はＡ（X_B−a_B）＋Ｂ（Y_B−b_B）＋Ｃ（Z_B−h_B）＝０ ……(7) ただし、Ａ＝q_Z（b_B−b_A）−（h_B−h_A） ……(8) Ｂ＝q_X（h_B−h_A）−q_Z（a_B−a_A） ……(9) Ｃ＝−q_X（b_B−b_A）＋b_B−b_A ……(10) q_X＝（X_A−a_A）／（Y_A−b_A） ……（11） q_Z＝（Z_A−h_A）／（Y_A−b_A） ……（12）上式で分母＝０のときも式(7)は成立することを
証明できる。

一方、（X_B、Y_B、Z_B）と（h_B、V_B）の関係は
式(1)〜(4)においてＡ→Ｂは書きかえた式で与れら
れる。

そして、この書きかえた式と上記式(7)により次
式が得られる。

u₁ξX_B＋u₂ξy_B＋u₃＝０ ……（13）ただし、 u₁ u₂ u₃＝−cosα_B ０ f_Bsinα_B −sinα_Bcos_B −sin_B −f_Bcosα_Bcos_B sinα_Bsin_B cos_B f_Bcosα_Bsin_BＡＢＣ ……（14）そして、上記式(3)、(4)でＡをＢに書きかえ、式
（13）に代入すると、射影直線（Ｉ、Ｊ）として
次式を導入できる。

V₁I−V₂J−V₃＝０ ……（15）ただし、 U₁ U₂ U₃＝M_XB ０ h_OBM_XB ０ My_B −v_OBMy_B ００ −１u₁ u₂ u₃ ……（16）以上L₃の直線方程式の求め方を説明したが、
L₁、L₂、L₄等任意カメラパラメータをもつカメ
ラからの画像間の射影直線も全く同様に求めるこ
とができる。

つぎに、対応点が検出されたときの距離算出法
を説明する。ここでは、第２図で画像１７中の点
ａの対応点として画像１８中の点ｂが選択されて
いる場合を例にとつて述べる。

いま、ａはテレビカメラ１３の撮像面座標で
（h_a、v_a）、ｂはテレビカメラ１４の撮像面座標で
（h_b、v_b）とすると、前述の式(1)〜(4)によりａお
よびｂの（Ｘ、Ｙ、Ｚ）座標系での座標（X_a、
Y_a、Z_a）および（X_b、Y_b、Z_b）が求まる。そし
て、物体１６上の点Ｐの座標（Ｘ、Ｙ、Ｚ）は直
線O_AaおよびO_Bbの交点であるから、次式の連立
方程式が成立する。

Ｘ−a_A／Xa−a_A＝Ｙ−b_A／Y_A−b_A ……（17）Ｘ−a_B／X_b−a_B＝Ｙ−b_B／Y_b−b_B ……（18）この連立方程式から｛q_X（Y_b−b_B）−（X_b−a_B）｝Ｙ＝｛ｂＡq_X−（a_A−a_B）｝（Y_b−b_B） −b_B（X_b−a_B） ……（19）によりＹが求められる。

ただし、 q_X＝（X_a−a_A）／（Y_a−b_A）
……（20）そして、式（19）により求めたＹを式（17）に
代入してＸが求められる。これを次式Ｘ−a_A／X_a−a_A＝Ｚ−h_A／Z_a−h_A……
（21）に代入してＺが求められる。

このようにして、対応点処理の結果から物体上
の点の座標を算出することができる。

第３図は３眼画像の立体視対応点処理の流れの
実施例を示すフローチヤートで、対応点処理全体
のうちの第１ステツプを示すものである。なお、
物体の見え隠え部分は、ここでは対応なしの結果
が得られ、後述する見え隠れ部処理（第２ステツ
プ）で再度対応点処理される。

この第３図において、２０，２１は画像処理の
分野で一般によく行なわれる前処理で、この処理
２０は３画像のエツジ強度・方向を検出するエツ
ジ検出処理であり、従来種々の方法が提案されて
いる。ここではロビンソン・オペレータによるエ
ツジ検出を行なう。

そして、このエツジ検出処理２０は引用する
「画像処理サブル−チン・パツケージ」
SPIDERUSER′S MANUAL、1982、協同シス
テム開発(株)（以下、文献２とする）に記載された
画像処理サブル−チン・パツケージSPIDERを用
いることにより容易に実行することができる。ま
た、処理２１は細線化を行なつて特徴点を得る細
線化処理である。そして、エツジ強度がやや大き
い点すべてにおいてエツジ方向（立体の稜の部分
では稜線の方向）に垂直な方向のエツジ強度の変
化を調べエツジ強度が最大となる点を特徴点（エ
ツジ）とする。なお、この文献２のSPIDERの中
にも細線化処理サブル−チンが記載されている。

２２はテレビカメラ１３の画像１７の各特徴点
（エツジ）について射影直線L₁、L₃の方程式、テ
レビカメラ１４および１５の画像１８および１９
の各特徴点（エツジ）についてそれぞれ射影直線
L₂およびL₅の方程式を算出する処理である。こ
こで、この算出する方法は前述の式(1)〜（16）で
すでに示した。そして、処理２２′では、各特徴
点（エツジ）について、そのエツジが射影直線
L₃とほぼ平行（実施例では方向角度差25°以内の
とき平行として扱つた）のとき処理２６に、さも
なくば処理２３に処理をふり分ける。２３はテレ
ビカメラ１３の画像１７とテレビカメラ１４の画
像１８の初期対応付けを行なう処理であり、画像
１７の各特徴点（エツジ）に対する画像１８上の
対応点候補を優先順位をつけて選び出す。そし
て、評価値は画像１７の特徴点（エツジ）および
画像１８の射影直線上の特徴点の近傍濃度分布を
比較する局所相関法により求められる。そして、
この局所相関法は、具体的には特徴点（エツジ）
近傍に５×５の窓を設け、画像１７と画像１８で
の窓内濃度分析から窓画像IP₁、IP₂を作り、次式
（22）により比較する方法を用いた。ここで、窓
画像IP₂は画像マツチングにおけるテンプレート
画像に相当する。

また、実験においては、しきい値として100の
値を用いたが、200でも特に問題がなかつたこと
から、100〜200の値が適当と思われる。そして、
エツジ方向が45°以内に一致しない、あるいはρ
がしきい値より大きい画像１８上の特徴点（エツ
ジ）に対しては対応点候補ではないと判定する。
ここで、この対応点候補が１つもなかつた特徴点
（エツジ）については処理２３′で対応点なしとし
て処理が保留される。

２４は処理２３により求めた各対応点候補につ
いて、画像１９上の２本の射影直線の交点、すな
かち、予測対応点を算出する処理である。そし
て、２本の射影直線ａ、Ｉ−ｂ、ｊ−c₁＝０と
a₂I−b₂J−c₂＝０（a₁、b₁、c₁、a₂、b₂、c₂は定
数）の交点は、（（c₁b₂−c₂b₁）／（a₁b₂−a₂b₁）、
（a₂c₂−a₁c₂）／（a₁b₂−a₂b₁））で与えられる。
ここで、この予測対応点の周辺で画素間隔の５倍
以内の範囲にエツジ（特徴点）が存在する場合に
は、最も近くにあるエツジ点を正しい予測対応点
として修正する。これはカメラ位置・パラメータ
の誤差や、像の歪などにより、本来エツジにのる
べき予測対応点がずれることがあるからであり、
また、整数計算による四捨五入の誤差の蓄積によ
つてもずれが生じるからである。なお、この実施
例の実験結果によれば、最大画素間隔の４倍のず
れが局部的にみられた。

２５は画像１７の特徴点（エツジ）と画像１９
の予測対応点について局所相関法により評価値を
求める処理である。ここで、この評価値の計算は
前述の式（22）によつて行なわれる。そして、処
理２９において、対応点候補のうち、評得値がし
きい値以下であつて、かつ最小のものを選択し、
それを対応点と決定する。

一方、２６は画像１８の代わりに画像１９と初
期対応付けを行う処理である。そして、その設定
値は処理２３の場合と同様に、画像１７の特徴点
（エツジ）と画像１９の射影直線上の特徴点（エ
ツジ）の近傍濃度分布を比較して求める上記局所
相関法により求めた。この評価式は前述の式
（22）である。これにより、画像１９上の対応点
候補を選択する。ここで、対応点候補が１つも見
つからなかつた特徴点（エツジ）については処理
２６′で対応点なしとして処理が保留される。

２７は処理２４と同様に処理２６により求めた
画像１９上の各対応点候補について画像１８上の
２本の射影直線L₃およびL₅の交点、すなわち、
予測対応点を算出する処理である。ただしL₅は
視線OcPの画像１８へ射影直線である。２８は処
理２５と同様に画像１７の特徴点（エツジ）およ
び画像１８の予測対応点の近傍濃度分布を局所相
関法により比較し評価値を求める処理である。そ
して、処理２９において、対応点候補のうち、評
得値がしきい値以下でありかつ最小のものを選択
し、それを対応点とする。ここで、もしも対応点
が見つからないときは、処理２９′で保留状態
となり、第２ステツプの処理を待つ。

３０は対応点処理の結果に基づき画像１７の各
特徴点（エツジ）について実空間座標を求める処
理であり、前述の式（17）〜（21）により計算す
る。そして、処理３１では上述の処理結果を３次
元立体表示する。具体的には、Ｘ−Ｙ，Ｙ−Ｚ，
Ｘ−Ｚの透視図に変換する。

以上説明したように、見え隠れ部分がない場合
には少なくとも３台のテレビカメラで写し出され
た物体上の各点を実空間座標（Ｘ，Ｙ，Ｚ）に変
換し記録することができる。このため、見え隠れ
部分を除き、ある基準点から物体までの距離、方
向を求めることができ、また、物体上の各点間の
位置関係から物体の形状を認識し、物体の種類を
識別することができる。

つぎに、両眼立体視法では困難であつたカメラ
位置による見え隠れ部分の取扱いの原理を第４図
を用いて説明する。

この本発明における見え隠れ部分の取扱方法を
説明するための説明図てある第４図における処理
は第３図で示した流れを基本とする処理を第１ス
テツプとして終了した後、まだ対応点が確定して
いない特徴点について第２ステツプの処理として
行なわれるものである。

この第４図において、(c)に示す３２および(d)に
示す３３は前述と同じくそれぞれ第１カメラと第
２カメラによる左画像および右画像であり、３
４，３５はカメラ位置による見え隠れ部分（側
面）である。(a)に示す３６と(b)に示す３６′はそ
れぞれ第３カメラの異なる位置における画像の例
である。そして、(a)に示す画像３６では側面３４
が見え、側面３５（(b)参照）が隠れている場合で
あり、(b)に示す画像３６′では側面３５が見え、
側面３４（(a)参照）が見えている場合を示す。

まず、(a)に示す第３の画像３６が得られる第３
のカメラ位置について説明する。

(c)に示す左画像３２の点ａに対する(d)に示す右
画像３３上の対応点は前述の第３図のフロチヤー
トにおける第１ステツプで説明した従来の局所相
関法では見い出せないが、(a)に示す画像３６上で
は対応点候補a″が見つかる。

そして、点ａと対応点候補a″による画像３３上
の予測対応点をa′とすると、a″が正しい対応点で
あるときはa′がエツジ上にのり、かつ、エツジの
片側周辺だけを比較した相関法（以下、片側相関
法とよび、さらに右側の比較のときを特に、右側
相関法、左側の比較のときを特に左側相関法と呼
ぶこととし、エツジの左右を含めた周辺の明るさ
分布を比較する前述までの局所相関法と区別す
る。）において、右側相関法の評価値ρ（評価函数
は後術する）が小さくなり、ａ，a′およびa″が対
応関係にあることが分る。仮にa″が不正な対応点
のときはa′はエツジ上から通常かなり大きい距離
だけはずれるから対応の誤りを容易に識別するこ
とができる。

一方、点ｂについても、左と右を入れ替えて考
えれば、全く同様の手順で対応関係を得、かつ見
え隠れ部分の確認をすることができる。一方、画
像３２の特徴であるｃは、画像３６においてのみ
対応点候補c″が見つかる。ここで、もし仮に、画
像３３に対応点候補がみつかつたとしても画像３
６上の予測対応点は通常にエツジ上にはなく、評
得値は高くなり、対応の誤りを明確に判定するこ
とができる。そして、ｃとc″による画像３３上の
予測対応点は隠れたエツジ８３上にあるため、画
像３３の見えているエツジにのつていない。この
ためc″はｃの対応点である確認はできない。この
ような場合には処理を一旦保留状態にしておき、
３眼対応点処理がすべての特徴点に対して求め終
えた時点で、後述の第３ステツプ段階の処理を行
なう。そして、この第３ステツプでは、対応点候
補から第２ステツプまでの対応確定点を除去し、
対応点候補や、その存在領域をしぼつていき、対
応点を求めていく。

つぎに、第３のカメラの位置が異なる画像３
６′の場合について説明する。

前述の画像３６の場合には基準画を左画像３２
としたが、画像３６′の場合には基準画を右画像
３３とすれば画像３６の場合と同じ処理ができ
る。しかし、できれば基準面を統一した方が処理
の一貫性が保てる。ここでは、画像３６′の場合
でも基準画を左画像３２として処理する方を述べ
る。片側相関法によりａの対応点候補を画像３３
の中で探すと、右側相関の評得値ρ′が小さい点
a′が求まる。そしてａとa′に対する画像３６′上
の予測対応点a″は、a′が正しい対応点の場合には
エツジ上に存在し、かつ、a′近傍とa″近傍の局所
相関において評得値ρが小さくなりa′とa″の近傍
はよく対応していることが分る。したがつて、ａ
とa′およびa″はお互いに対応関係にあると判断さ
れる。

つぎに、ｂはａの場合と反対に画像３３上の
b′と左側相関法で評得値ρ′が小さくなり、b′が対
応点候補として選択される。そして、ｂとb′から
画像３６′上の予測対応点b″を求めると、それは
エツジ上にのり、かつb′とb″の周辺の局所相関に
よる評価値ρは小さくなつているから、ｂ，b′お
よびb″が対応関係にあることが分る。対応点候補
としてb′以外のものがあつた場合には、画像３
６′で予測対応点がエツジ上にのらないで、その
対応点候補が誤つた対応点であることを判定する
ことができる。

ここで、片側相関法について具体的に説明す
る。

まず、エツジの右側でかつエツジの極近くにｎ
×ｍ（例えば５×５マトリクス）の微小領域（窓）
を切り出し、その部分に対して前述の式（22）に
より評得値ρ′を算出するとエツジの右側の対応度
を得ることができる。そして、エツジの左側の比
較も同様であり、また、任意方向のエツジについ
てもエツジ垂直方向の極く近くに微笑領域（窓）
を切り出し、その部分に対して上記式（22）によ
り評価値ρ′を算出すると対応の度合がわかる。し
かし、一般にエツジの片側の面ではエツジ部分程
明暗変化が大きくならないので、以下に記載する
実施例では、上記方法をとらず次のようにした。
すなわち、エツジに垂線をひき、画素間隔の1.4
倍もしくは2.8倍離れた位置を中心として３×３
または５×５画素の微小領域を切り出してから、
その正方形領域の頂点位置ある画素を領域から取
り除く。そして、残つた５または２１の画素の平
均明るさと、明るさのばらつきを表わす分散を求
める。この２つの分理量をエツジの片側一方にお
る特徴量とする。２つのエツジE₁，E₂の片側同
志の比較による評価値を、 ρ′＝（ｍ｜E₁の平均明るさ−E₂の平均明るさ｜／E₁の平均明るさ＋E₂の平均明るさ＋１＋ｎ｜E₁の分数−E₂の分数｜／E₁の分数＋E₂の分数＋１）×1000……（23）
とした。ただし、ｍ，ｎはｍ＋ｎ＝１の条件で選
択するが、通常ｍ＝ｎ＝0.5とした。また、対応
のしきい値は50〜100を用いた。

以上、画像３６と画像３６′の場合に分けて説
明したが、この画像３６と画像３６′の場合を予
め区別してから処理することは現実にはできな
い。そこで第２ステツプの処理の中で場合分けを
自動的に行なう手続が必要となる。

この手続を含め第２ステツプの実施例を第５図
に示す。この本発明の対応点処理のフロチヤート
を示す第５図において全体の手続きは第５図ａに
示す第１〜第３ステツプに分類される。

この第１ステツプは前述の第３図で開示した処
理２０〜３１である。そして、第２ステツプは見
え隠れ部分の処理であり、第３ステツプは第２ス
テツプでも対応が得られない部分の処理である。
ここで、この第２ステツプの処理は第１ステツプ
で未解決な特徴点のみを取扱う。

そして、基準画像を画像３２としてそれを画像
Ａと表わし、画像３３を画像Ｂ，画像36または画
像３６′を画像Ｃと表わすこととする。

第２ステツプを示す第５図ｂにおいて、処理３
７で画像Ａの特徴点のエツジ方向と射影直線L₁
の方向を比較し、平行ならば処理４３に処理が移
り、平行でないときには処理３８に移る。この処
理３８では前述の第３図の処理２３と同様に画像
Ａと画像Ｃ間の初期対応点処理を行なう。そし
て、対応点候補が存在すれば処理３９において画
像Ｂでの予測対応点を前述の式(1)〜（16）により
求めた２本の射影直線の交点として求め、それが
エツジ上もしくはその近くにのつているかを調べ
る。のつていれば、処理４０においてその点と画
像Ａまたは画像Ｃについて片側相関法により、エ
ツジの両側について独立に評得値ρ′を前述の式
（23）により求め、エツジの一方の側がしきい値
より小さい評得値をもつていれば対応を確定す
る。ここで、処理３７，３８′，４０または４２
で否（Ｎ）と判定された場合には処理４３に処理
が移る。そして、処理４３〜４７では処理３８〜
４２で画像Ｂと画像Ｃが入れ替るだけて同様の処
理が行なわれる。処理４３，４５または４７で否
（Ｎ）と判定されると、処理はさらに処理４８に
移り、画像Ａと画像Ｂで片側相関法による評得値
ρ′（式（23））を求め、しきい値より小さい評得値
をもつ対応点候補を優先順をつけて選び出す。そ
して、対応点候補が存在する場合には、処理５０
において各対応点候補について、画像Ｃでの予測
対応点を、第３図に示す第１ステツプの場合と同
様に、画像Ａと画像Ｂから画像Ｃへの２本の射影
直線L₁，L₂（第２図の射影直線L₁，L₂に相当す
る）の交点として求める。そして、処理５１でそ
の予測対応点がエツジ上に存在する場合には、画
像Ｂと画像Ｃで、局所相関法による評得値ρ（式
（22））を求める。また、処理５３で、その評得値
がしきい値より小さくかつ最小のものを探し、そ
れが存在すれば対応確定とする。なお、処理４
０，４５および処理５１において予測対応点がエ
ツジにのつていなくてもエツジの近くにあればエ
ツジにのつていると判断する。そして、処理５４
は対応確定の処理である。この実施例では、予測
対応点と最近接エツジとの処理が画素間かくの５
倍以内であれば、エツジ上にあるとし、予測対応
点に最近接したエツジ点を正しい予測対応点とし
て修正した。また、処理５１は必ずしも必要でな
いが、エツジの高いところの対応を得る通常の場
合には、この処理５１の判定を入れた方が処理効
率が高くなることがある。

この第５図ｂに示す第２ステツプでも、なお、
未解決な特徴点（で処理保留状態になつてい
る）は、第５図ｃに示す第３ステツプで処理され
る。この第５図ｃにおいて、５５，５６…６２は
それぞれ各処理を示す。

この第３ステツプでは、処理５５または処理６
０においてそれぞれ第２または第１ステツプの初
期対応点候補の中に第２ステツプまで確定した特
徴点が含まれる場合はそれを除去して対応点候補
をしぼる。その結果、候補が１つのみになつたと
き、または残つた複数の候補のうち１つのみが著
しく対応の度合が高い（評得値が小）場合には、
その候補を対応点と判定する。なお、画像Ａと画
像Ｂたは画像Ａと画像Ｃの射影直線上の対応順序
が一致しているという拘束条件をつけてよい場合
には、第２ステツプまでに確定した特徴点を用い
て、求めたい対応点の存在領域を限定することが
でき、処理の信頼性をさらに向上させることがで
きる。

以上のように、カメラ位置による見え隠れ部分
が予め分つていないような場合にも見え隠れ部分
の処理ができる。

このように、本発明の物体位置・形状計測方法
は、非同一直線上の少なくとも３箇所から２次元
画像を取得し、その画像についてエツジの右側と
左側について独立に対応の度合を調べ、エツジの
右側または左側の隠れ部分の存在を識別すること
により、対応点候補の正誤を判定する処理を行な
つている。

第６図は前述の物体位置・形状計測方法を実施
した装置の一実施例を示すブロツク図で、３眼画
像間対応点処理を利用した物体位置・形状計測装
置の全体の構成例を示したものである。

この第６図において、１３，１４，１５は前述
の第１図で示した３台のテレビカメラ、６３ａ，
６３ｂ，６３ｃはそれぞれテレビカメラ１４，１
５，１６に対応し各テレビカメラ１３〜１５から
の映像信号をデイジタル信号に変換するアナロ
グ・デイジタルコンバータ（以下、Ａ／Ｄコンバ
ータと略称する）で、これらは画像入力部を構成
している。６４はＡ／Ｄコンバータ６３ａ〜６３
ｃの各出力を入力とし一時記憶する画像メモリ、
６５はこの画像メモリ６４の出力を入力とする前
処理演算回路、６６はこの前処理演算回路６５に
よつて得られた特徴点の位置と特徴量を記録する
特徴量テーブルで、これらは上記画像入力部の出
力を入力としその画像入力部のパラメータリスト
および特徴点を抽出する前処理演算部６７を構成
している。６８はカメラ・パラメータテーブルで
ある。

６９は前処理演算部６７における特徴量テーブ
ル６６からの出力を入力としカメラ・パラメータ
テーブル６８を基にして射影直線パラメータを算
出する演算回路、７０は射影直線パラメータテー
ブル、７１は演算回路６９によつて得られた演算
結果である対応点処理結果を記録する対応点テー
ブルで、これらは３眼対応点検出モジユール７２
を構成している。

そして、この３眼対応点検出モジユール７２
は、非同一直線上の少なくとも３箇所以上から取
得した２次元画像のうち２枚の画像間の対応付け
を行なうことにより対応点候補を求め、基準面の
特徴点およびその特徴点に対するその対応点候補
から他の画像上へのそれぞれの射影直線を求め、
該射影直線の交点から前記他の画像上の対応点の
存在位置を予測し、その位置と上記基準面の特徴
点もしくは上記対応点候補との対応度合をエツジ
の一方の側と他の側について独立に求め、上記エ
ツジの片側の見え隠れ部分の存在を識別すること
により対応点の正誤を判定し、対応点を選別する
第１の対応点選別機能およびこの第１の対応点選
別機能によつては正しい対応点が得られなかつた
特徴点について、上記予測した対応点の存在位置
と上記基準面の特徴点もしくは上記対応点候補と
の対応度合をエツジの一方の側と他の側について
独立に求め、上記エツジの片側の見え隠れ部分の
存在を識別することにより対応点の正誤を判定し
対応点を選別する第２の対応点選別機能および上
記取得した２次元画像のうち２枚の画像からエツ
ジの一方の側と他の側について独立に対応度を調
べることにより対応点候補を求め、かつ上記基準
面のエツジとそのエツジに対する該対応点候補か
ら他の画像上への射影直線を求め、その射影直線
の交点から上記他の画像上の対応点の存在位置を
予測し、その位置と上記基準面の特徴点もしくは
上記対応点候補との対応度合を調べて見え隠れ部
分の存在を識別することにより対応点候補の正誤
を判定し、対応点を選別する第３の対応点選別機
能を実行する対応点検出用演算部を構成してい
る。

７３はこの３眼対応点検出モジユール７２にお
ける対応点テーブル７１の出力とカメラ・パラメ
ータテーブル６８の出力を入力とする座標算出モ
ジユールで、この座標算出モジユール７３は、上
記対応点検出用演算部によつて対応が得られた特
徴点を実空間座標に変換して座標を算出する座標
算出部を構成している。７４はこの座標検出モジ
ユール７３の変換結果を記録する座標テーブル、
７５は座標算出モジユール７３によつて得られた
変換結果を立体的に表示するグラフイツクモジユ
ール、７６はこのグラフイツクモジユール７５の
出力を入力とするグラフイツクデイスプレイ装
置、７６は結果に基づき図示しない外部機器を制
御するために設けられた外部入出力インターフエ
ースである。

つぎにこの第６図に示す実施例の動作を第３図
を参照して説明する。

まず、３台のテレビカメラ１４，１５，１６で
得た映像信号Ａ／Ｄコンバータ６３ａ，６３ｂ，
６３ｃによりデイジタル信号に変換され、３枚以
上から成る画像メモリ２７に一旦記憶される。そ
して、前処理演算回路６５により第３図に示すエ
ツジ検出処理２０および細線化処理２１が順次施
され、特徴点の位置と特徴量が特徴量テーブル６
６に記録される。ここまでの動作は一般によくい
われる前処理演算部６０の動作である。

つぎに、求められた各特徴点についての射影直
線パラメータを、カメラ・パラメータテーブル６
８を基にし演算回路６９によつて算出し、その結
果を射影直線テーブル７１に記録する。なお、射
影直線パラメータは、予じめ必要な分をすべて求
めて射影直線パラメータテーブル７０に記録して
おく代わりに、次段階以降で必要になつた時毎に
算出してもよい。続いて第３図に示した初期対応
付け処理２３から対応点選択決定処理２９までを
演算回路６９で行なう。この処理では、必要に応
じ画像メモリ６４や特徴量テーブル６６を参照
し、また、対応点テーブル７１に途中結果の記録
あるいは読出しを行なう。そして、処理終了後、
対応点テーブル７１を調べれば対応点決定までの
履歴が１目で分る。つぎに、対応点が得られた特
徴点は座標算出モジユール７３により実空間座標
に変換され、その結果が座標テーブル７４に記録
される。

また、この座標算出モジユール７３によつて実
空間座標に変換された結果は、グラフイツク・モ
ジユール７５により物体の透視図や概観図に変換
され色付けされた後、グラフイツクデイスプレイ
装置７６により立体表示される。また、座標算出
モジユール７３によつて得られた物体座標データ
は外部入出カインタフエース７７を通して外部機
器制御に利用される。

つぎに、カメラ位置による見え隠れ部分の多い
物体を対象とし、本発明の装置の実施例を第７図
および第８図により説明する。

この第７図は積木を３台のテレビカメラで観測
した像の一例を示したものであり、稜の長さ30mm
の六角柱に高さ30mmの六角錐をのせた積木を３台
のテレビカメラで観測しその画像メモリの内容を
第６図に示すグラフイツクデイスプレイ装置７６
に表示し、ビデオプリンタで写真にとりその像の
エツジを示したものである。Ａ，Ｂ，Ｃはそれぞ
れ入力画像を示す。

そして、カメラの位置座標は（Ｘ，Ｙ，Ｚ）表
示で、（−200mm、０、100mm）、（200mm、０、100
mm）、（−100mm、０、400mm）、俯角はそれぞれ
0.1、0.1および0.4であり、光軸とＹ−Ｚ面との交
点のＹ座標は共に900mm、レンズの焦点距離55mm
である。

第８図は第７図の像を本発明の対応点処理を用
いて物体実空間座標に変換し表示した結果で、第
７図に示す左下入力画像Ａを基準面として処理し
た結果を一旦第６図に示す座標テーブル７４に記
録した後グラフイツク・モジユール７５でＸ−
Ｚ、Ｘ−Ｙ、Ｙ−Ｚ座標透視図に変換した後、グ
ラフイツク・デイスプレイ装置７６で表示すると
ともにビデオプリンタで写真にとつた結果を示し
たものである。そして、左から第１ステツプの結
果、第２ステツプまでの結果、第３ステツプ
までの結果である。また、ａは正面から見た透
視図Ｘ−Ｚを示したものであり、ｂは真上から見
た透視図Ｘ−Ｙ、ｃは真横から見た透視図Ｙ−Ｚ
を示したものである。

この第８図において、破線は本来、第２ステツ
プまでの処理では対応の確認が決まらない部分で
あるが、見え隠れ部分を除き画像間で対応の順序
が保存されているという条件のもとで第２ステツ
プの見え隠れ部分の判定段階で対応が得られたも
のである。そして、実験による対応点処理の結
果、特徴点数1164、未対応点121、該対応０であ
り、対応確定率約90％、未対応率10％、該対応０
％であつた。また、最大計測誤差はＸ−Ｚ軸方向
が±0.3mm、Ｙ軸方向±４mm以内であり、それは、
画像のサンプリング間隔による量子化誤差とのほ
ぼ一致している。なお、局部相関法による従来の
両眼立体視法では対応の確定率はわずか17％にす
ぎなかつた。

このように、本発明による物体位置・形状計測
装置を用いると、少なくとも３台のカメラで物体
を観測し、見え隠れ部分を含む物体各点の実空間
座標を求め、物体位置・形状を記録し、立体表示
することができる。

第９図は本発明の自立ロボツトへの応用例を示
す構成図である。

この第９図において、１３，１４，１５は前述
したテレビカメラ、１６は対象物体（物体）であ
る。

そして、７８は第６図で例示した物体位置・形
状計測装置、７７はこの物体位置・形状計測装置
７８に含まれる前述の外部入出力インタフエー
ス、７９はシステム主制御装置、８０はこのシス
テム主制御装置７９によつて制御されるロボツト
コントローラ、８１はこのロボツトコントローラ
８０によつて制御されるロボツト本体、８２はロ
ボツトアームである。

つぎに、この第９図に示す応用例の動作を説明
する。

まず、テレビカメラ１３，１４，１５により物
体１６の画像信号が得られ、その画像信号は物体
位置・形状計測装置７８に入力し、物体１６の各
点の座標が得られると共に３次元表示される。そ
して、システム主制御装置７９では物体位置・形
状計測装置７８から外部入出力インターフエース
７７を経由して伝達された物体座標データに基づ
きロボツトアーム８２を物体位置に移動するため
の移動量、方向および軌跡を算出する。また物体
１６をつかむ際の指の方向および指の間隔を算出
する。

つぎに、ロボツトコントローラ８０において、ロ
ボツト本体８１の移動量に対応した各ジヨイント
の駆動モータ（図示せず）の回転数と速度、アー
ムを駆動するジヨイントのモータ回転数と速度を
算出し、各ジヨイント駆動信号を発生する。一
方、物体位置・形状計測装置７８では常時物体１
６の位置・形状を観測し、物体１６が移動または
変形したり障害物が入つたりすると、システム主
制御装置７９でロボツト本体８１の動きの変更指
令を発する。また、物体位置・形状計測装置７８
でロボツトアーム８２がは物体１６に近接した
時、ロボツトアーム８２の位置および方向も認識
できるので、物体１６とロボツトアーム８２と位
置関係が求められる。この位置関係に基づき、シ
ステム主制御装置７９ではロボツトアーム８２の
細かい動作を決定し、ロボツトコントローラ８０
に指令を与えることができる。

そして、この第９図に示す応用例においては、
任意の物体が任意の位置におかれたとき、物体の
位置と形状を視覚認識し、その結果に基づきロボ
ツトアーム８２を移動して物体をつかみ上げ、所
定の位置に運ぶという自立的な動作をさせること
ができる。また、物体１６はシステムの応答速度
以内であれば移動していても、その動きを追つて
ロボツトアーム８２でつかみ上げてしまうことが
できる。

以上、本発明を、主に、縦方向エツジを代表例
として説明したが、エツジの左右を、エツジの上
下あるいは一般的にエツジに対して垂直な反対２
方向と読みかえることにより、水平方向を含むす
べての方向のエツジについても全く同様に取扱う
ことができる。すなわち、これは前述の第５図
ａ，ｂ，ｃに示すフロチヤートではすべての方向
のエツジに適用できる処理となつている。

なお、上記実施例においては、３眼画像を用い
る場合を例にとつて説明したが、本発明はこれに
限定されるものではなく、４眼以上の画像を用
い、３眼画像により求めた対応点候補について第
４眼目以降の画像により上記の方法と同様の検証
を行なうことによつて、さらに処理の正確さを高
めることができる。

また、上記実施例においては、初期対応点処理
により評価値が低い、つまり、対応の度合が高い
対応点候補を予め複数個選択した後、各対応点候
補について第３の画像との対応を調べ正誤判定す
る処理を行なう場合を例にとつて説明したが、本
発明はこれに限定されるものではなく、類似パタ
ーンが多く含まれることなどのため、上位数個の
対応点候補の中に正しい対応点が入らない場合が
生じる可能性がある。この場合、あるいはその恐
れがある場合には、射影直線に沿つてしきい値以
下の評価値をもつ点を探し、それが見つかり次
第、第３の画像との対応を調べ、正誤判定すると
いう手順を併用することにより、正誤判定の精度
を高め、類似パターンの中から正しい対応点を検
出することができる。

また、上記実施例においては、第１ステツプを
全画像について実施し、その終了後第２ステツプ
に入る形態を例にとつて実施したが、本発明はこ
れに限定されるものではなく、特徴点毎に、第１
から第２ステツプまでを実施する形態でも構わな
い。

また、実施例においては、テレビカメラから画
像を用いる方式を例にとつて説明したが、本発明
はこれに限定されるものではなく、スチールカメ
ラにより得た写真を用いることも可能であり、用
いるカメラの種類は問わない。そして、画像入力
の際の観測位置・方向などのパラメータが明らか
であれば、画像入力手段に特別の条件が与えられ
るものではない。

〔発明の効果〕

以上説明したように、本発明は、非同一直線上
の少なくとも３個所から２次元画像を取得し、そ
の画像についてエツジの右側と左側について独立
に対応の度合を調べ、エツジの右側または左側の
隠れ部分の存在を識別することにより対応点候補
の正誤を判定する処理を行なうようにしたもので
あるから、従来困難であつたカメラ位置による見
え隠れ部分の多い物体をも計測対象とすることが
でき、片側が見え隠れ部分となるエツジの計測お
よび見え隠れ部分の識別を行なうことができ、ま
た、その処理アルゴリズムは複数枚画像間対応点
処理によるので極めて簡単になり、かつ信頼性が
高くなるので、実用上の効果は極めて大である。
さらにまた、従来、見え隠れ部分をなくすためカ
メラ間隔を狭め精度を犠牲にしていたが、本発明
によれば、見え隠れ部分の処理が可能となつたこ
とによりカメラ間隔を自由に大きくすることがで
きるため、高精度な計測を行なうことができると
共に、処理の正確さを高めることができ、また、
カメラ位置・方向および焦点距離などのカメラパ
ラメータは各カメラとも任意に設定することがで
きるので、カメラの設定が容易となるばかりでな
く、同時に３台以上のカメラを設定するかわりに
１台のカメラを移動しながら３枚以上の複数枚画
像を得て、その画像間で本発明による立体視対応
処理を行なうという手順により、カメラ台数を減
らすことや、カメラ間距離を自由にかえて、計測
領域および要求精度を対象に応じて弾力的に変更
することが容易となるという点において極めて有
効である。

このように、本発明の方法では、従来の両眼立
体視法に比して多大の効果があり、少なくとも３
箇所以上から取得した複数枚の２次元画像から立
体視対応点処理にり物体の位置・形状を３次元計
測する場合において、カメラ位置による見え隠れ
部分を識別処理する物体位置・形状計測方法とし
ては独自のものである。

また、信頼性の高い汎用的な物体位置・形状計
測装置を実現することができるという点において
極めて有効である。

【図面の簡単な説明】

第１図は本発明による物体位置・形状計測方法
の一実施例を説明するための構成図、第２図は第
１図の実施例におけるテレビカメラ３台の画像間
での対応点処理の原理説明図、第３図は第１図お
よび第２図の動作説明に供する３眼画像の立体視
対応処理のフロチヤート、第４図は本発明におけ
る見え隠れ部分の取扱い方法を説明するための説
明図、第５図は本発明における対応点処理の流れ
を示すフロチヤート、第６図は本発明による物体
位置・形状計測装置の一実施例を示すブロツク
図、第７図は積木を３台のテレビカメラで観測し
た像を示す説明図、第８図は第７図の像を本発明
における対応点処理を用いて物体空間座標に変換
し表示した結果を示す説明図、第９図は本発明の
自立ロボツトへの応用例を示す構成図、第１０図
は従来の両眼立体視法の一例を示す構成図、第１
１図は局所相関法により得られた評得値の分布の
例を示す説明図、第１２図は従来の両眼立体視法
における見え隠れ部分の取扱いを説明するための
説明図である。１３〜１５……テレビカメラ、１６……対象物
体、１７〜１９……画像、３２……左画像、３３
……右画像、３４，３５……見え隠れ部分、３
６，３６′……画像、６３ａ〜６３ｃ……Ａ／Ｄ
コンバータ、６４……画像メモリ、６５……前処
理演算回路、６６……特徴量テーブル、６７……
前処理演算部、６８……カメラ・パラメータテー
ブル、６９……演算回路、７０……射影直線パラ
メータテーブル、７１……対応点テーブル、７２
……３眼対応点検出モジユール、７３……座標算
出モジユール、７４……座標テーブル、７５……
グラフイツクモジユール、７６……グラフイツク
デイスプレイ装置。

Claims

【特許請求の範囲】１非同一直線上の少なくとも３箇所から対象物
体の２次元画像を取得し、この２次元画像のうち第１の画像上の特徴点と
第２の画像上の特徴点との対応付けを行つて、第
１の画像上の特徴点に対応する第２の画像上の特
徴点を対応点候補として求め、しかる後、第１の画像を生成する第１の画像入
力手段のレンズ中心と対象物体上の特徴点と対応
する点とを結ぶ視線を第３の画像上に投影した第
１の射影直線を、第１の画像入力手段と第３の画
像を生成する第３の画像入力手段との空間的配置
関係から算出すると共に、第２の画像を生成する
第２の画像入力手段のレンズ中心と対象物体上の
対応点候補と対応する点とを結ぶ視線を第３の画
像上に投影した第２の射影直線を、第２の画像入
力手段と第３の画像入力手段の空間的配置関係か
ら算出した後、この算出した第１の射影直線と第
２の射影直線の交点を求め、しかる後、この交点付近に存在するエツジと第
１の画像上の特徴点もしくは第２の画像上の対応
点候補におけるエツジとの対応度合を、エツジの
一方の側と他方の側について独立に求めることに
より、エツジの片側の見え隠れ部分の存在を識別
し、これにより第２の画像上の対応点候補の正誤を
判定し、対応点候補の中から正しい対応点を選別
することを特徴とする物体位置・形状計測方法。２少なくとも、第１の画像を生成する第１の画
像入力手段、第２の画像を生成する第２の画像入
力手段および第３の画像を生成する第３の画像入
力手段からなる画像入力部と、この画像入力部の出力を入力とし、画像入力部
のパラメータリストおよび画像中の特徴点を抽出
する前処理演算部と、この前処理演算部の出力を入力とし、非同一直
線上の少なくとも３箇所から取得した対象物体の
２次元画像のうち第１の画像上の特徴点と第２の
画像上の特徴点との対応付けを行つて、第１の画
像上の特徴点に対応する第２の画像上の特徴点を
対応点候補として求め、しかる後、第１の画像入
力手段のレンズ中心と対象物体上の特徴点と対応
する点とを結ぶ視線を第３の画像上に射影した第
１の射影直線を、第１の画像入力手段と第３の画
像入力手段との空間的配置関係から算出すると共
に、第２の画像入力手段のレンズ中心と対象物体
上の対応点候補と対応する点とを結ぶ視線を第３
の画像上に射影した第２の射影直線を、第２の画
像入力手段と第３の画像入力手段の空間的配置関
係から算出した後、この算出した第１の射影直線
と第２の射影直線の交点を求め、しかる後、この
交点付近に存在するエツジと第１の画像上の特徴
点もしくは第２の画像上の対応点候補におけるエ
ツジとの対応度合を、エツジの一方の側と他方の
側について独立に求めることにより、エツジの片
側の見え隠れ部分の存在を識別し、第２の画像上
の対応点候補の正誤を判定して正しい対応点を選
別する対応点選別機能を実行する対応点検出用演
算部と、この対応点検出用演算部の出力を入力とし、対
応点検出用演算部によつて対応が得られた特徴点
を実空間座標に変換して算出する座標算出部とを備えてなることを特徴とする物体位置・形状計
測装置。３非同一直線上の少なくとも３箇所から対象物
体の２次元画像を取得し、この２次元画像のうち第１の画像上のエツジ点
と第２の画像上のエツジ点との対応付けをエツジ
の一方の側と他方の側について行つて、第１の画
像上のエツジ点に対応する第２の画像上のエツジ
点を対応点候補として求め、しかる後、第１の画像を生成する第１の画像入
力手段のレンズ中心と対象物体上の特徴点と対応
する点とを結ぶ視線を第３の画像上に射影した第
１の射影直線を、第１の画像入力手段と第３の画
像を生成する第３の画像入力手段との空間的配置
関係から算出すると共に、第２の画像を生成する
第２の画像入力手段のレンズ中心と対象物体上の
対応点候補と対応する点とを結ぶ視線を第３の画
像上に射影した第２の射影直線を、第２の画像入
力手段と第３の画像入力手段の空間的配置関係か
ら算出した後、この算出した第１の射影直線と第
２の射影直線の交点を求め、しかる後、この交点付近に存在するエツジと第
１の画像上のエツジ点もしくは第２の画像上の対
応点候補におけるエツジとの対応度合を、エツジ
の一方の側と他方の側について独立に求めること
により、エツジの片側の見え隠れ部分の存在を識
別し、これにより第２の画像上の対応点候補の正誤を
判定し、対応点候補の中から正しい対応点を選別
することを特徴とする物体位置・形状計測方法。４少なくとも、第１の画像を生成する第１の画
像入力手段、第２の画像を生成する第２の画像入
力手段および第３の画像を生成する第３の画像入
力手段からなる画像入力部と、この画像入力部の出力を入力とし、画像入力部
のパラメータリストおよび画像中の特徴点を抽出
する前処理演算部と、この前処理演算部の出力を入力とし、非同一直
線上の少なくとも３箇所から取得した対象物体の
２次元画像のうち第１の画像上のエツジ点と第２
の画像上のエツジ点との対応付けをエツジの一方
の側と他方の側について行つて、第１の画像上の
エツジ点に対応する第２の画像上のエツジ点を対
応点候補として求め、しかる後、第１の画像入力
手段のレンズ中心と対象物体上の特徴点と対応す
る点とを結ぶ視線を第３の画像上に射影した第１
の射影直線を、第１の画像入力手段と第３の画像
入力手段との空間的配置関係から算出すると共
に、第２の画像入力手段のレンズ中心と対象物体
上の対応点候補と対応する点とを結ぶ視線を第３
の画像上に射影した第２の射影直線を、第２の画
像入力手段と第３の画像入力手段の空間的配置関
係から算出した後、この算出した第１の射影直線
と第２の射影直線の交点を求め、しかる後、この
交点付近に存在するエツジと第１の画像上の特徴
点もしくは第２の画像上の対応点候補におけるエ
ツジとの対応度合を、エツジの一方の側と他方の
側について独立に求めることにより、エツジの片
側の見え隠れ部分の存在を識別し、第２の画像上
の対応点候補の正誤を判定して正しい対応点を選
別する対応点選別機能を実行する対応点検出用演
算部と、この対応点検出用演算部の出力を入力とし、対
応点検出用演算部によつて対応が得られた特徴点
を実空間座標に変換して座標を算出する座標算出
部とを備えてなることを特徴とする物体位置・形状計
測装置。