JP5713159B2 - ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム - Google Patents

Description

本発明は、複数台のカメラを用いて対象物を撮像して得られる画像から、対象物の３次元位置及びその姿勢を計測するための装置、方法及びプログラムに関する。

ステレオ法は、異なる視点に置かれた複数のカメラからの画像を用いて３次元環境を復元する技術である。画像認識技術は近年ＦＡ分野での実用例が広がっている。その中でも特にステレオ法は、計測対象物の３次元形状・寸法・位置姿勢を高精度に計測可能という、他の画像処理技術では実現できない機能を有する。この特徴により、ランダムに積載された部品群を対象とするロボットアーム・ピッキングなど産業界での応用例は幅広く、従来からある画像情報を異なる視点から取得するだけで特殊なハードウェアを必要とせずに、低コストで実現できる技術であることからも、ステレオ法による位置姿勢計測は実用化が強く期待されている技術である。

一方、ステレオ法が古くから抱える大きな問題として、オクルージョン（カメラ配置位置が異なるため、一方のカメラで撮像できる測定対象物のエッジの一部が、対象物自身によって遮蔽されて他方のカメラでは撮像できない、いわゆる自己隠れ現象）が挙げられる。このオクルージョンの存在する画像セットで３次元復元を行うとその部分でステレオ誤対応が発生し、この誤対応による虚偽の３次元復元像が原因となって、計測対象物の認識に失敗する、もしくは位置姿勢を誤って計測してしまうことが問題となっていた。

オクルージョンの一例を図３に示す。左から順に、第１、第２、第３カメラ画像と呼ぶ。まず、各画像の計測対象物の右側面に注目すると、第１カメラ画像と第３カメラ画像のペアは相互にオクルージョンがなく、正しいステレオ対応が存在する状況となっている。一方、同じ右側面部でも第２カメラで見えている右側面奥側エッジは、第１カメラでは見えない（第１カメラ画像中には表示されていない）。つまり、第１カメラ画像と第２カメラ画像とはオクルージョンを含んだペアとなっている。このようにオクルージョンの存在する画像セットを用いて３次元復元を行うと、オクルージョンが生じた部分でステレオ誤対応が発生し、そのデータを含む３次元復元像を利用した計測対象物の認識は、失敗する、もしくは位置姿勢を誤って計測する結果につながるため、実用化への大きな障壁となる。

この問題に対し、従来の２眼による３次元復元像を、もう１眼追加したカメラ画像で検証し誤対応を除去するという方法が知られている。この方法は、全てのカメラで観測された情報以外の情報を除去してしまう方法である。例えば、図３の場合、第１カメラ画像および第２カメラ画像のペアで生成した３次元復元像を、第３カメラ画像で検証することで誤対応であることが検出できる。

また、図３のケースでは、エッジの属する領域（表面）の輝度の合致条件を用いて、ステレオ対応判別を行うことも可能である。

富田文明，高橋裕信：ステレオ画像の境界線表現に基づく対応，電子情報通信学会論文誌D，vol.J71-D，No.6，pp.1074-1082，1988年6月． 角保志，富田文明：ステレオビジョンによる３次元物体の認識，電子情報通信学会論文誌D-II，vol.J80-D-II，No.5，pp.1105-1112，1997年5月．

しかし、上記した全てのカメラで観測された情報以外は除去してしまう方法では、撮影時のカメラと測定対象物の幾何配置条件によっては、第１カメラ画像、第３カメラ画像のペアで生成した３次元復元像の右側面部を第２カメラ画像で検証する、すなわち検証用カメラ画像でのみオクルージョンが発生している状況も発生しうる。その場合、本来正しいはずのステレオ対応結果を承認できない（つまり処理によっては正しい対応を誤対応として排除してしまうことになる）という点でさらに改善の余地があった。その対策として、基準画像、参照画像、検証画像の順番を入れ替えたステレオ処理を組み合わせた結果を用いることが考えられるが、その場合でも、誤対応か否かを判別することは３眼では原理的に出来ないという根本的な問題がある。

また、エッジの属する領域（表面）の輝度の合致条件を用いて、ステレオ対応判別を行う方法では、物体表面の各面間の輝度差は露光の度合いやその他の条件（計測対象物の材質や表面処理状態、照明位置、使用カメラの性能）によって大きく左右され、実際に使用される工場では諸般の条件によって露光不良等が避けられないことがある。その場合、図４のような、写った対象物の細部形状がつぶれた、対象物の領域内でエッジの判別が不可能な画像しか得られないことが多い。図４の画像に対してエッジ検出処理を行うと、計測対象物の外形の輪郭エッジは検出できるが、対象物の内側に存在するはずの隣接する表面（上面と側面等）の反射輝度値にほとんど差がなく、境界エッジを抽出できない状況が発生する。従って、やはりオクルージョンによるステレオ誤対応につながるという問題がある。

また、これまで、３台以上のカメラを用いることによる３次元復元精度の向上やステレオ誤対応データの除去、オクルージョン検出に取り組んだ研究は数多くなされているが、ステレオ誤対応で生じた一部の３次元復元像の影響を受けずに対象物の位置姿勢を計測する手法については十分な検討が行われていなかった。

本発明は、上記した問題を解決すべく、３台以上のカメラで撮像した画像データにおいて、一部にステレオ誤対応データが含まれていたとしても、その影響を受けずに対象物の３次元位置姿勢を計測することができる装置、方法およびプログラムを提供することを目的とする。

本発明の目的は、以下の手段によって達成される。

即ち、本発明に係る第１の３次元位置姿勢計測装置は、
撮像装置によって異なる視点から対象物を撮像して得られた３枚以上の画像データを受信する入力部と、
演算部とを備えて構成され、
前記演算部が、
３枚以上の前記画像データから重複することなく選択された２枚の画像データのペアに関して、３次元復元点集合および特徴量集合を求め、
各ペアに関する前記３次元復元点集合および前記特徴量集合を、それぞれ全て加算して全３次元復元点集合および全特徴量集合を求め、
前記対象物のモデルデータに関するモデル特徴量集合を、前記全特徴量集合と照合することにより、前記全３次元復元点集合の中から前記対象物のモデル点に対応する点を決定し、
前記３次元復元点集合が、前記画像データ中の前記対象物の境界線を分割したセグメントの３次元位置情報を含み、
前記特徴量集合が、前記セグメントの頂点に関する３次元情報を含む
ことを特徴としている。

本発明に係る第２の３次元位置姿勢計測装置は、上記の第１の３次元位置姿勢計測装置において、
前記セグメントが、直線、円弧、又は、直線及び円弧の組み合わせで近似され、
前記頂点に関する前記３次元情報が、前記頂点の３次元位置座標および２つの３次元接線ベクトルであり、
前記照合が、前記モデル特徴点集合の一部を、前記全特徴量集合の一部に一致するように３次元座標変換する変換行列を求める処理であり、
前記全３次元復元点集合の中から前記対象物のモデル点に対応する点を決定する処理が、前記変換行列を用いて前記モデル点を３次元座標変換した結果と、前記全３次元復元点集合の点との一致性を評価する処理であることを特徴としている。

本発明に係る３次元位置姿勢計測方法は、
撮像装置によって異なる視点から対象物を撮像して得られた３枚以上の画像データを取得する第１ステップと、
３枚以上の前記画像データから重複することなく選択された２枚の画像データのペアに関して、３次元復元点集合および特徴量集合を求める第２ステップと、
各ペアに関する前記３次元復元点集合および前記特徴量集合を、それぞれ全て加算して全３次元復元点集合および全特徴量集合を求める第３ステップと、
前記対象物のモデルデータに関するモデル特徴量集合を、前記全特徴量集合と照合することにより、前記全３次元復元点集合の中から前記対象物のモデル点に対応する点を決定する第４ステップとを含み、
前記３次元復元点集合が、前記画像データ中の前記対象物の境界線を分割したセグメントの３次元位置座標を含み、
前記特徴量集合が、前記セグメントの頂点に関する３次元情報を含む
ことを特徴としている。

本発明に係る３次元位置姿勢計測プログラムは、
コンピュータに、
撮像装置によって異なる視点から対象物を撮像して得られた３枚以上の画像データを取得する第１機能と、
３枚以上の前記画像データから重複することなく選択された２枚の画像データのペアに関して、３次元復元点集合および特徴量集合を求める第２機能と、
各ペアに関する前記３次元復元点集合および前記特徴量集合を、それぞれ全て加算して全３次元復元点集合および全特徴量集合を求める第３機能と、
前記対象物のモデルデータに関するモデル特徴量集合を、前記全特徴量集合と照合することにより、前記全３次元復元点集合の中から前記対象物のモデル点に対応する点を決定する第４機能とを実現させ、
前記３次元復元点集合が、前記画像データ中の前記対象物の境界線を分割したセグメントの３次元位置座標を含み、
前記特徴量集合が、前記セグメントの頂点に関する３次元情報を含む
ことを特徴とする。

本発明によれば、オクルージョン等により一部でステレオ誤対応が発生している状況に対してもステレオ誤対応で生じた３次元復元像の影響を受けずに正確な位置姿勢計測が可能になる。追加したカメラ画像を検証用として補助的に取り扱う従来の方法では、正しいステレオ対応の組合せが検証用カメラ画像情報により誤対応として却下されるケースも発生する。しかし、本発明によれば、全カメラペアによる３次元復元像を同等に取り扱うため、復元結果がカメラ指定に依存せず、各カメラ及び測定対象物間の幾何配置に拠らず、より正確な位置姿勢認識を行うことが可能となる。

本発明の実施の形態に係るに係る３次元位置姿勢計測装置の概略構成を示すブロック図である。 本発明の実施の形態に係るに係る３次元位置姿勢計測装置が行う処理を示すフローチャートである。 オクルージョンのあるステレオ画像の例を示す写真である。 図３と同じ幾何条件であるが、露光不良で撮像されたステレオ画像の例を示す写真である。 第１の実施例に使用したモデルの３面図である。 図４の画像セットに対して本発明を適用して得られて位置姿勢計測結果を第１カメラ画像上に投影した図である。 図６の結果を得たときのモデル点およびデータ点の分布を示す図である。 図７のうち、図４の第１及び第２カメラ画像から得られた点の分布を示す図である。 図７のうち、図４の第２及び第３カメラ画像から得られた点の分布を示す図である。 図７のうち、図４の第１及び第３カメラ画像から得られた点の分布を示す図である。 図４の第１及び第２カメラ画像ペアで生成された頂点を初期照合に利用した候補の位置姿勢計測結果を第１カメラ画像上に投影した図である。 図１１の結果を得たときの第１及び第２カメラ画像から得られた点の分布を示す図である。 図１１の結果を得たときの第２及び第３カメラ画像から得られた点の分布を示す図である。 図１１の結果を得たときの第１及び第３カメラ画像から得られた点の分布を示す図である。 図１１の結果を得たときのモデル点およびデータ点の分布を示す図である。 第２の実施例に使用したモデルの形状を示す斜視図である。 測定対象物を実際に撮像した３眼ステレオ・ペア画像である。 従来の方法により得られる計測結果に従って、図１７に示す各画像上にモデルを透視投影した結果を示す図である。 従来の方法により得られる位置姿勢の計測結果を用いて、３Ｄ復元データ点群をモデル座標上に投影した結果を示す図である。 本発明の方法により得られる計測結果に従って、図１７に示す各画像上にモデルを透視投影した結果を示す図である。 本発明の方法により得られる位置姿勢の計測結果を用いて、３Ｄ復元データ点群をモデル座標に変換した結果を示す図である。

以下、本発明に係る実施の形態を、添付した図面に基づいて説明する。

図１は、本発明の実施の形態に係る３次元位置姿勢計測装置の概略構成を示すブロック図である。本装置は、演算処理部（以下、ＣＰＵと記す）１と、データを記録する記録部２と、記憶部（以下、メモリと記す）３と、インタフェース部４と、操作部５と、表示部６と、これら各部の間でデータ（制御信号を含む）を交換するための内部バス７と、第１〜第３撮像部Ｃ１〜Ｃ３とを備えて構成されている。なお、以下において、ＣＰＵ１、記録部２、メモリ３、インタフェース部４及び内部バス７を、本体部とも記す。

ＣＰＵ１は、記録部２から所定のプログラムをメモリ３に読み出し、メモリ３の一部をワークエリアとして使用して、所定のデータ処理を実行する。ＣＰＵ１は、実行途中の演算結果や、処理完了後の最終結果を適宜記録部２に記録する。ＣＰＵ１は、インタフェース部４を介して操作部５からの指示やデータの入力を受け、それらに応じた処理を実行する。また、ＣＰＵ１は、適宜インタフェース部４を介して、所定の情報を表示部６に表示する。例えば、操作部５からの入力を受け付けるためのグラフィカルなユーザインタェース画像を表示部６に表示する。ＣＰＵ１は、人による操作部５の操作状況の情報を取得して、それに応じた処理を実行する。例えば、入力されたデータを記録部２に記録し、指示された処理を実行する。本装置は、コンピュータで実現することができる。その場合、操作部５には、コンピュータ用のキーボードやマウスを使用することができ、表示部６には、ＣＲＴディスプレイ、液晶ディスプレイなどを使用することができる。

第１〜第３撮像部Ｃ１〜Ｃ３は、所定の間隔で所定の位置に配置され、撮像の対象物Ｔを撮像し、撮像された画像データを本体部に伝送する。本体部では、インタフェース部４を介して取得した各撮像部からの画像データを、区別可能に、例えば、各撮像部に対応させて異なるファイル名を付けて、記録部２に記録する。第１〜第３撮像部Ｃ１〜Ｃ３からの出力信号がアナログ信号の場合、本体部は、ＡＤ（アナログデジタル）変換部（図示せず）を備えて、所定の時間間隔で入力されるアナログ信号をサンプリングしてデジタルデータに変換する。第１〜第３撮像部Ｃ１〜Ｃ３からの出力信号がデジタルデータであれば、ＡＤ変換部は不要である。第１〜第３撮像部Ｃ１〜Ｃ３は、少なくとも静止画像を撮像できる装置であればよく、ビデオ映像を撮像できる装置であってもよい。例えば、デジタルカメラ、デジタル又はアナログのビデオカメラなどを使用することができる。

以下、本装置が行う処理について、図２に示したフローチャートに従って説明する。なお、以下においては、特に断らない場合、ＣＰＵ１が行う処理、即ちＣＰＵ１が各部を制御して行う処理として記載する。また、予め第１〜第３撮像部Ｃ１〜Ｃ３は、測定対象物Ｔを撮像可能なように所定位置に所定方向を向けて配置されており、その位置及び撮像方向の情報は記録部２に記録されているとする。また、測定対象物Ｔの３次元形状データも、記録部２に記録されているとする。また、第１〜第３撮像部Ｃ１〜Ｃ３の内部及び外部パラメータは、予め校正実験によって求められ記録部２に記録されているとする。

ステップＳ１において、初期設定を行う。初期設定は、ステップＳ２以降の処理を行うために必要な処理であり、例えば、第１〜第３撮像部Ｃ１〜Ｃ３とのデータ伝送経路や制御プロトコルを確立し、第１〜第３撮像部Ｃ１〜Ｃ３を制御可能とする。

ステップＳ２において、第１〜第３撮像部Ｃ１〜Ｃ３で対象物Ｔを撮像する。撮像された画像は、本体部に伝送され、所定のファイル名で記録部２に記録される。これによって、記録部２には、それぞれ異なる位置、異なる方向から撮像された３枚の２次元画像データが記録される。ここでは、第１〜第３撮像部Ｃ１〜Ｃ３によって得られた２次元画像データを、それぞれＩｍ１〜Ｉｍ３と表す。

ステップＳ３において、ステップＳ２で記録部２に記録された３枚の２次元画像データＩｍ１〜Ｉｍ３のうち２枚をペア画像として指定する。即ち、Ｉｍ１及びＩｍ２、Ｉｍ２及びＩｍ３、Ｉｍ３及びＩｍ１の何れかのペアが指定される。

ステップＳ４において、ステップＳ３でペア画像として指定された２枚の２次元画像データから３次元復元像（３次元復元点集合）を計算する。ここではステレオ対応による３次元復元像を求めるが、点単位（画素単位）ではなく、より大局的な「セグメント」単位で対応を求める。これによって、点単位で処理する場合よりも、探索空間をかなり狭くすることが可能である。具体的な方法は、上記非特許文献１に開示されている公知の方法を用いる。従って、以下には、本発明と直接関係する内容のみ説明する。

具体的には、ペア画像の各画像に対し（ａ）エッジ抽出、（ｂ）セグメント生成、及び（ｃ）各画像間でのセグメントの連結性と対応評価による３次元復元、の一連の処理を順次行う。以後、本ステップＳ４で得られたペア画像に関する３次元復元点集合をＦiで表す。本ステップＳ４は、後述するように全てのペアに関して繰り返されるので、ｉはペアを区別する添え字である。ここでは、３枚の画像から２枚を選択するので、ｉ＝１、２、３である。

（ａ）エッジ抽出
各画像のエッジ抽出に関しては、公知の画像処理方法を用いて行えばよい。例えば、１次微分オペレータにより画像の各点についてエッジの強さと方向を求め、エッジの細線化、しきい値処理、延長処理により、ある領域を囲む閉じたエッジ（境界線とも記す）を得る。

（ｂ）セグメント生成
上記の処理によって得られた２枚のエッジ画像を対象として、セグメントを生成する。セグメントとは、エッジを複数の線分（直線）に分割したものである。最初に境界線を所定の条件で仮に分割し、各セグメントを最小２乗法によって直線で近似した場合、誤差が大きいセグメントがあれば、そのセグメントの両端を結ぶ直線から最も離れた点（直線への垂線が最も大きいセグメント上の点）でセグメントを分割する。これを繰り返して、境界線を分割する点（分割点）を決定する。これによって、２枚の画像の各々に対してセグメントが生成され、セグメントを近似する直線が生成される。

処理結果は、境界線表現（構造データ）として記録部２に記録される。即ち、画像は複数の領域の集合によって表現される。具体的には、各領域Ｒは、その領域の外側の境界線Ｂと領域の内側の穴に対する境界線Ｈのリストによって表現され、各境界線Ｂ、Ｈはそれを構成するセグメントＳのリストによって表現される。領域は、それを囲む外接長方形と明るさとをその値にもつ。セグメントは、それが属する領域を右側に見るように方向づけられており、始点及び終点の座標と、そのセグメントを近似する直線の方程式とをその値にもつ。以上の記述を２枚の画像に対して行う。以下の対応処理はこの記述されたデータ構造上で行われる。

（ｃ）３次元復元
次に、２枚の画像で対応するセグメントを求める。同じ対象物を表すセグメントであるが、照明条件、オクルージョン、ノイズなどの影響によって、対応を決定するのは容易ではない。従って、まず、領域単位で粗く対応を求める。１対の領域が対応する必要条件として、領域の明るさの差が一定値（例えば２５６レベルの画像の場合、２５レベル）以下であること、且つ、領域内にエピポーラ条件を満足する点が存在することを採用する。これは十分条件ではないので、１つの領域が多数の領域に対応する場合もある。つまり、この段階では、その境界線のセグメントが対応する可能性のある領域の対をすべて求めており、次にセグメント単位で対応を求める場合に、その探索空間を減らす役割を果たしており、一種の粗密解析となる。

粗対応する領域の境界線を構成するセグメント間で対応の候補を求め、その対応リストを作成する。一対のセグメントが対応の候補となる条件は、エピポーラ条件を満足する対応部分が存在し、セグメントの方向（それが属する領域を右側に見るように方向づけられている）が上向きか下向きかで一致しており、方向の角度の差が一定値（例えば４５°）以内であることである。そして、対応の候補となるそれぞれのセグメント対に対して、その類似度を示す値Ｃ、Ｄを計算する。Ｃはプラスの要因を表し、対応する２つのセグメントの短い方のセグメントの長さである。Ｄはマイナスの要因を表し、対応するセグメントの始点から終点までの視差のずれである。この段階で求められた対応の候補には、１つのセグメントが同じｙ軸（垂直方向）上で複数のセグメントに対応する多重対応も存在する。次に説明するように、セグメントの類似度とセグメントの接続関係から偽の対応を除去する。

次に、２枚の画像の各々について、セグメントの連結リストを作成する。２つのセグメントが連結する条件は、それぞれが属する領域の明るさの差が一定値（例えば２５レベル）以下であり、一方のセグメントの終点と他方のセグメントの始点との距離が一定値（例えば３画素）以下であることである。連続するセグメントは、原則的に、その対応も連続していなければならない。そこで、この連結リストと対応リストとを利用して、各セグメントの前後から、連続して対応するセグメントの列であるパスを、次のようにして求める。
・対応する２つのパスの両者の端点が丁度対応している場合には、それぞれの端点から接続するセグメントで対応の候補となっているセグメント対が存在すればそれらをパスに追加する。
・一方の端点が他方の中間点と対応している場合には、１つのセグメントに接続するセグメントに関して、対応候補であるセグメントが存在すれば、それをパスに追加する。

また、直接的には連結していない場合でも、連続性を仮定できる場合がある。例えば、１つのセグメントに２つのセグメントが対応している場合には、２つのセグメントの両端間の距離が最大となる線分を、２つのセグメントの代わりのセグメントと仮定する。また、点Ａで連続する２つのセグメントに、連続していない２つのセグメントが対応している場合がある。この場合には、連続していない２つのセグメントを延長して、点Ａを通る水平線と交わる２つの交点の距離が小さければ、延長した２つの線分（一方の端点が交点）を２つのセグメントと仮定する。但し、不必要に多くの仮のセグメントを生成しないように、仮のセグメントと実セグメントとの類似度は、Ｃ＞｜Ｄ｜の場合に限る。以下同様にして、パスに追加するセグメントが無くなるまで、上記の処理を繰り返す。以上の処理の結果、仮のセグメントが新たに付け加えられることになる。

次に、パスを３次元空間上に逆射影した場合に、同一の平面を構成するセグメントをグループ化する。これは、正しいセグメントの対を得る拘束条件となるばかりでなく、出力形式として３次元の面領域の境界線を得る手続きでもある。セグメントが同一平面を構成するかどうかの検証には、次の平面拘束定理を利用する。
平面拘束定理： 標準カメラモデルにおいて、平面上の任意の図形に関して、一方のカメラ画像上の投影像と、他方のカメラ画像上の投影像とはアフィン変換可能である。

この定理は、透視投影により得られる画像上のセグメントであっても、同一平面上にあるセグメントの集合は、ステレオ画像間でアフィン変換可能であることを表す。これによりセグメントを直接的に３次元空間に逆射影することなく画像上で平面性を検証できる。この平面拘束定理を用いてセグメントをグループ化する過程は次のとおりである。

まず、対応するパスの対から任意の連続する２つの対応するセグメント対を取り出し、最小のグループ対を形成する。

次に、２枚の画像のそれぞれのセグメントに連続するセグメントを求め、求められた３つのセグメントの端点がすべて同一平面上にあると仮定して、最小２乗法によリ２組の連続するセグメント（各３つのセグメント）間のアフィン変換行列を求める。この３つのセグメントが得られた平面に存在するかどうかは、左右いずれかの端点をアフィン変換することにより得られた点が、他方の端点に一致するか否かで検証する。本明細書において、２つの点が一致するとは、２点間の距離が所定値以下であることを意味する。従って、それらの距離が所定値（例えば３画素）以下であれば、３つのセグメントは同一平面上にあると判断する。

上記で、３つのセグメントが同一平面上にあると判断された場合、再び左右それぞれのセグメントに連続するセグメントを求める。上記と同様に、４つの対応するセグメントについてアフィン変換行列を求め、対応する各端点が得られた変換行列を満たすか否かを検証する。更に、この平面拘束条件を満たす場合には、順次、連続するセグメントを加え、検証を繰り返す。

以上の処理の結果、平面を構成するセグメントのグループ対が得られる。しかし、１つのセグメント対（平面を構成する連続する複数のセグメント）に対して複数のグループ対が得られる場合もある。そこで、各グループ対に対してその形状の類似度を計算し、１つのセグメント対に対して最大の類似度を有する１つのグループ対を割り当てる。グループ対の類似度Ｇは、そのグループ対に含まれる各セグメント対の類似度Ｃ、Ｄの合計で与えられる。このとき、マイナス因子Ｄには、マイナス符号を付けて−Ｄとして加算する。多重対応の場合はいずれかの対応が誤りである。偽の対応となっているセグメント対は、対応する部分が少なく（Ｃが小さくなる）、始点と終点の間で視差が大きく（｜Ｄ｜は大きくなる）、また連続するセグメントも少ないので、その対を含むグループ対の類似度Ｇの値は小さくなる。そこで、類似度Ｇが最大となるグループ対を順に選び、他の対応は除去する。これによって、２枚の画像間で対応するセグメント対を特定することができる。

以上の処理の結果、２枚の画像で対応するセグメント対の視差から３次元空間上のセグメントの座標を求めることができる。視差は、セグメントの関数表現を用いて計算することができるのでサブピクセルの精度で得られ、セグメント上の視差はばらつきもない。例えば、２枚の画像間で対応する２つのセグメントｊの方程式を、ｘ＝ｆ_j(ｙ)、ｘ＝ｇ_j(ｙ)とすると、２つのセグメント間の視差ｄは、ｄ＝ｆ_j(ｙ)−ｇ_j(ｙ)で計算される。実際には、３次元セグメントは３次元の直線の方程式で表現される。

得られた対応セグメントの情報と視差ｄとを用い、２つのカメラ（撮像部）の配置を考慮して、３次元復元点集合Ｆiを求める。対応する画像上の２点と、それらの視差から、３次元座標を計算する方法は、２台のカメラの光軸が、平行に配置される場合、輻輳角を有して配置される場合の何れにおいても、公知であるので詳細説明を省略する。

以上で得られた結果は、所定のデータ構造で記録部２に記録される。そのデータ構造は、３次元の面を表すグループＧ^*の集合からなり、各グループＧ^*は、その面の境界線を構成する３次元セグメントＳ^*のリストの情報で構成されている。各グループＧ^*は、その面の法線方向を有し、各セグメントは、始点および終点の３次元座標と、直線の方程式とを有する。

ステップＳ５において、ステップＳ３でペア画像として指定された２枚の２次元画像データについて特徴量の計算を行う。ここでは、モデル照合に必要な特徴量である「頂点」の集合を求める。ここで、頂点とは、空間的に隣接する３次元セグメントに当てはめられた直線によって決まる２つのベクトルから成る、いわば仮想直線交点のことである。即ち、３次元復元点集合Ｆiに関して、隣り合う２つのセグメントに当てはめられた直線の端点における接線（ここではセグメントを直線で近似しているので、その直線と同じ）を用いて、近傍の２接線の交点を求める。得られた交点を頂点とする。頂点の集合をＶiで表す。また、接線ベクトル間の角度（以後、挟角と呼ぶ）を求める。

即ち、具体的な特徴量は、頂点の３次元位置座標、頂点における挟角、及び２接線ベクトル成分である。特徴量を求める具体的な方法には、上記非特許文献２に開示されている公知の方法を用いればよい。

ステップＳ６において、２次元画像データＩｍ１〜Ｉｍ３から重複しないように選択された３組のペア画像データの全てについて、処理を完了したか否かを判断し、未処理の組み合わせが残っていれば、ステップＳ３に戻り、ステップＳ３〜Ｓ５の処理を繰り返す。全てについて完了していれば、３次元復元点集合Ｆiを全て合わせた全３次元復元点集合Ｆa（Ｆa＝Ｆ1＋Ｆ2＋Ｆ3）、及び、頂点集合Ｖiを全て合わせた全頂点集合Ｖa（Ｖa＝Ｖ1＋Ｖ2＋Ｖ3）を求めた後、ステップＳ７に移行する。適宜、Ｆi、Ｖi（ｉ＝１，２，３）、Ｆa、Ｖaは記録部２に記録される。

ステップＳ７において、モデルデータとの照合を行う。ここで、対象物Ｔに関して、その３次元形状データから、上記の全３次元復元点集合Ｆa、全頂点集合Ｖaに対応するモデル点集合Ｆt、モデル頂点集合Ｖtが生成されて、記録部２に記録されているとする。本発明の適用対象物Ｔは、工業製品であり、その３次元形状が設計された上で製造されているので、通常、元になる３次元形状データ（ＣＡＤデータ等）がある。従って、それを用いて、モデル点集合Ｆt、モデル頂点集合Ｖtを生成することができる。なお、元になる３次元データが無く、現物しかない場合には、好適な撮像条件（ライトや撮像位置、解像度などが好適な状態）で撮像したステレオ画像を用いて、上記と同様の処理によって、モデル点集合Ｆt、モデル頂点集合Ｖtを生成することができる。

対象物Ｔの画像データから生成された全頂点集合Ｖaとモデル頂点集合Ｖtとに対して、その挟角値が近い頂点の組み合わせ（候補番号ｊで表す）に対する４×４（４行４列）の座標変換行列Ｔjを全て求めて解の候補群Ｃa（Ｃa＝ΣＣj）とする。この処理を「初期照合」という。次にその座標変換行列Ｔjを初期値としモデル点群および全３次元復元点集合Ｆaを用いたIterative Closest Point（ＩＣＰ）アルゴリズムによる「微調整」を行い、座標変換行列Ｔjを更新する。本過程で得られた最終的な座標変換行列Ｔj、およびモデル点とデータ点との照合合致点数Ｍjが、各候補の情報として、記録部２に記録される。

具体的な方法は、上記非特許文献２に開示されている公知の方法を用いる。従って、ここでは、直接関係する内容のみ説明する。

３次元座標ベクトルａ＝[ｘ ｙ ｚ]^tから３次元座標ベクトルａ’＝[ｘ’ ｙ’ ｚ’]^tへの変換は（ｔは転置を表す）、３×３の３次元座標の回転行列Ｒと３×１の平行移動ベクトルＰとを用いて、ａ’＝Ｒａ＋Ｐで表される。従って、対象物Ｔの位置姿勢は、モデルを撮像画像データ中の対応する３次元構造に一致するように移動させる４×４座標変換行列Ｔで記述できる。

まず、初期照合を行う。初期照合は、モデル頂点集合Ｖtを、撮像画像データ中の全頂点集合Ｖaと照合し、変換行列Ｔを算出する処理である。但し、モデルデータと撮像画像データとの間で、頂点の正しい対応を前もって知ることはできないので、可能性が高いと推定される全ての組み合わせを対応候補とする。

モデル頂点ＶMを、測定データ頂点ＶDに一致するよう移動させることを考える。頂点ＶM及びＶDの３次元位置座標の関係から行列Ｔの平行移動ベクトルＰが決まる。各頂点を構成している２つの３次元ベクトルの方向から回転移動行列Ｒが決まる。頂点を構成する２つのベクトルのなす角θが大きく異なる組み合わせについては、正しい対応である可能性が低いと考えられるので、候補から除外する。すなわち、ＶM(ｉ)（ｉ＝１，・・・，ｍ）とＶD(ｊ)（ｊ＝１，・・・，ｎ）について、｜θM(ｉ)−θD(ｊ)｜＜θthを満足する全ての組み合わせＡ(ｉ，ｊ)を対応の候補として行列Ｔij（前述の座標変換行列Ｔjに対応）を算出する。ここで、ｍ、ｎはそれぞれ、モデル頂点集合Ｖt、全頂点集合Ｖa中に存在する頂点数である。しきい値θthは、例えば経験的に決定すればよい。

次に、微調整を行う。微調整は、全３次元復元点集合Ｆaのデータ点とモデル点とを照合する処理であり、Ａ(ｉ，ｊ)の妥当性を判別すると同時に、行列Ｔijに含まれる誤差を小さくする。モデル点を初期照合によって求めた座標変換行列Ｔijによって移動させ、モデル点に対応する画像データ点（全３次元復元点集合Ｆa中の点）を探索し、最小２乗法により座標変換行列を更新するという処理を繰り返す。具体的な処理は公知の方法を用いる（例えば、上記非特許文献２の「３．２微調整」の項参照）。

なお、初期照合は、局所的な幾何特徴を用いた照合であるため、Ｔijの算出に用いた頂点位置の近傍にあるモデル点を除き、対応点探索が有効であるほどの認識精度を得られないことがある。このため、微調整の処理は、次に示すように２段階に適用することが望ましい。
・初期微調整：初期照合に用いた頂点を構成するセグメント上のモデル点のみを使って対応誤差を大まかに調整する。
・主微調整：全てのモデル点を使って更に精度を向上させる。

以上によって得られた最終的な座標変換行列Ｔj（Ｔij）を用いて、モデル上の点を変換し、変換後の点と画像データ点との距離が所定値以下である点（照合合致点）の数Ｍjを、候補毎に求める。得られた座標変換行列Ｔj、照合合致点数Ｍjを記録部２に記録する。

ステップＳ８において、照合結果の判定を行う。全候補の照合合致点数Ｍjを探索し、Ｍjの多い候補から順にランク付けを行い、先頭候補（Ｍjが最も大きい候補）の座標変換行列Ｔjを、ターゲット位置姿勢を示す解として決定する。即ち、モデルの各セグメントに対して、それを変換する座標変換行列Ｔjが決定される。

以上によって、オクルージョン等により一部でステレオ誤対応が発生している状況に対してもステレオ誤対応で生じた３次元復元像の影響を受けずに正確な位置姿勢計測が可能になる。

追加したカメラ画像を検証用として補助的に取り扱う手法ではどのカメラを検証用とするかによって復元結果に差が発生し、正しいステレオ対応の組合せが検証用カメラ画像情報によって却下されるケースも発生する。しかし、本発明によれば、全カメラペアによる３次元復元像を同等に取り扱うため、復元結果がカメラ指定に依存せず、各カメラ及び測定対象物間の幾何配置に拠らず、より正確な位置姿勢認識を行うことが可能となる。

本発明では、上記したように、特徴量の照合から局所最適解（近傍）の候補群を推定する手法を採用している。即ち、モデルおよび撮像画像データの特徴量である挟角値を比較すると、値の近い組み合わせは多峰性関数の局所最適解の近傍である可能性が高い。そこでこの局所最適解近傍の初期推定値（変換行列）の候補群を求め、その全候補に対しＩＣＰによる局所最適解を求め（ステップＳ７）、その解集合の中の、照合合致点数が最大の候補を正解とすることで大域的最適解を求める（ステップＳ８）。

以上、実施の形態を用いて本発明を説明したが、本発明は上記の実施の形態に限定されず、種々に変更して実施することができる。

例えば、図１のように３つの撮像部を備えて３枚の画像を撮像する場合に限らず、４つ以上の撮像部を備えて、４枚以上の画像を撮像し、それらを用いて図２のフローチャートの処理を行ってもよい。その場合、より死角の少ない３次元復元結果が得られるため、正解候補の照合合致点数が増え、位置姿勢計測の精度をさらに高くすることが出来る。ｎ（ｎ≧３）枚から２枚を重複せずに選択するので、ペア画像の数は、_nＣ₂となる。

また、上記では、セグメントを直線で近似する場合を説明したが、セグメントを直線または円弧で近似してもよい。その場合、頂点に加えて、円弧（例えば、円弧の半径、円弧の中心から両端点への方向ベクトルと法線ベクトルなど）を特徴量とすることができる。また、セグメントを、直線と円弧の組み合わせ（複数の円弧のみの組み合わせを含む）で近似してもよい。その場合、頂点に加えて、セグメントの両端に当てはめられた円弧のみを、そのセグメントの特徴としてもよい。

セグメントが円弧で近似されている場合（直線と円弧の組み合わせで近似されている場合を含む）、ステップＳ５における頂点の算出には、円弧の両端における接線を使用する。円弧の接線は、円弧の中心から両端点への方向ベクトルから求めることができる。また、ステップＳ７において、頂点に関する処理と同様に、モデルと撮像画像データの円弧の組み合わせについても対応候補を求める。円弧の両端点の３次元座標によって平行移動ベクトルＰを決定することができ、円弧の中心から両端点への方向ベクトルと法線ベクトルによって回転行列Ｒを決定することができる。また、半径が大きく異なる円弧の組み合わせについては候補から除外するのが望ましい。頂点と円弧それぞれによって算出された対応候補を合わせたＡ(ｉ，ｊ)およびＴijが、最終的な初期照合の結果とする。

また、上記では、本体部としてコンピュータを用い、ソフトウェアプログラムによって実施する場合を説明したが、これに限定されない。上記の機能を、複数の機能に分割し、その一部または全てを１つまたは複数のハードウェア（例えば、専用の半導体チップ（ＡＳＩＣ）及びその周辺回路）によって実現してもよい。例えば、複数のハードウェアで構成する場合、各ペア画像データを用いたステレオ対応による３次元復元像およびモデル照合に必要な特徴量を求める３次元復元計算部と、撮像画像データとモデルの特徴量の類似性から位置姿勢を推定する位置姿勢照合調整部と、照合合致点数順にランク付けする照合結果判定部から構成してもよい。

以下に実施例を示し、本発明の有効性をより明らかにする。

（第１の実施例）
第１の実施例では、ステレオ誤対応の状況を理解しやすくするために、単純な形状のモデルを測定対象とした。第１〜第３撮像部として３台のカメラを用いて、図５に示した対象物を撮像し、得られた画像データを図２に示したフローチャートに従って処理した。

カメラの相対的位置としては、第２カメラを、第１カメラの右側に基線長が２５ｃｍになるように配置し、第３カメラを、第１及び第２カメラの中央から上方６ｃｍの位置に配置した。

対象物として、図５のようにステレオ誤対応の状況が理解しやすいものとして、縦４０ｍｍ×横４０ｍｍ×高さ７８ｍｍの直方体の１面のみに傾斜を付けた単純な形状を用いている。正面図の台形は上底４０ｍｍ、下底３０ｍｍである。単なる直方体でなく傾斜を付けた理由は、構造の類似性によって重複した複数のモデル照合候補が発生するのを避けるためであり、図５のモデルを採用したことは本発明の一般性を損なうものではない。

本発明の方法による計測結果
図５の対象物を第１〜第３カメラで撮像して、図４に示す３枚の画像データを得た。そして、図４の画像データを用いて、図２のステップＳ３〜Ｓ８の処理を実施した。その結果を図６に示す。図６は、図３の第１カメラ画像の一部に、処理結果によって得られた対象物のエッジ位置を重ねて示している。図６から分かるように、対象物に対してほぼ正確に、図５のモデルとの位置姿勢照合が行われていることがわかる。

この結果を、画像データ点（対象物の３次元復元点）とモデル点の分布として示したのが図７である。図７の上段の画像は、図４に示した全ての画像のペアに関して得られた結果を、全て重ねた画像である。モデル点は十字点で示している。３次元構造の理解を助けるため、中央に示した全体図に加え、左右側面部のみを切り出した結果も全体図の両側に、表示している。ステレオ誤対応の状況を理解しやすくするために、何れも第２カメラに近い方向から見た図として作成している。

図７の下段の画像は、上段の画像に、第１及び第２カメラ画像から生成されたデータ点を表す符号Ｇと、第２及び第３カメラ画像から生成されたデータ点を表す符号Ｒと、第１及び第３カメラ画像から生成されたデータ点を表す符号Ｂとを付記した画像である。

図８〜図１０は、図７の元になるステレオ復元像を示す図であり、十字点はデータ点と合致したモデル点である。図８は、第１及び第２カメラ画像から生成されたステレオ復元像（図７の符号Ｇで示した部分）である。図９は、第２及び第３カメラ画像から生成されたステレオ復元像（図７の符号Ｒで示した部分）であり、十字点の部分を見れば左側面部を正確に復元していることが分かる。図１０は、第１及び第３カメラ画像から生成されたステレオ復元像（図７の符号Ｂで示した部分）であり、十字点の部分を見れば右側面部を正確に復元していることが分かる。

図８〜図１０から、照合合致点は異なるペアによって生成されたデータ点を利用しており、単独ペアで照合を行う場合よりも照合合致点数が増大することが分かる。

従来の方法による計測結果
同じ撮像画像（図４）を従来の照合方法で処理した場合、問題が発生することを以下に示す。第１及び第２カメラ画像から生成されたステレオ復元像が図７下段、符号Ｇで示されているが、左右側面とも物理的に正しい位置から大きく外れており、図３、図４の対応画像を見てもステレオ誤対応が発生していることが分かる。この画像ペアのみで従来の照合方法を行うと物理的に間違った位置、姿勢が計測結果として得られることになる。また本実験の場合には誤対応セグメントによって誤って形成された頂点の特徴がモデル頂点と合致せず、その他の合致条件を通過して最終段階まで残った候補は一つもなかった。例えこの第１及び第２カメラ画像ペアに対して３眼目で検証する方式を取っても、誤対応セグメントは除去されるが残るセグメント群は僅かであり、正確な位置姿勢測定は困難である。実際にこの検証機能を用いた処理を行ってみると、検証なしと同様、最終段階まで残った候補は一つもなかった。

図６〜１０は、ステップＳ７まで残った最終候補群のうちステップＳ８により正解、すなわち先頭候補として選択された結果の一例である。次に、その最終候補群のうちステレオ誤対応の影響を受け先頭候補とならなかった結果を図１１〜１５に示す。図１２〜図１４は、それぞれ図８〜図１０に対応する。そして、図１５は、図１２〜図１４とモデル点とを全て重ねた画像であり、図７の上段の図に対応する。図１２〜図１４を見ると、照合合致点数（十字点の部分）が少なく、そのため正解候補より低いランク付けとなった。

以上より、ステレオ誤対応により従来正確に位置姿勢計測が出来なかった画像セットに対しても、本発明によれば正確な計測が出来ていることが分かる。

（第２の実施例）
第１の実施例ではステレオ誤対応の状況を理解しやすくするため単純な形状のモデルを使用したが、より複雑な形状をした部品を用いた実験も行った。その結果を第２の実施例として示す。第２の実施例では、より工業部品に近い形状を有し、かつ紙面による説明が可能な程度の構造を有する物体として、Ｌ型ブロックを測定対象とした。Ｌ型ブロックは、２面がＬ字形状であり、残り６面が長方形形状である。

図１６は、第２の実施例に使用したモデルの形状を示す斜視図である。中心部付近のｘ、ｙ、ｚのラベルが付いた矢印はモデル座標の各軸を表し、ｏは原点を表す。（ａ）〜（ｆ）のラベルが付いた６個の矢印は、後述する照合結果（図１９および図２１）中の各図における視点の方向を示す。

図１７は、測定対象物を実際に撮像した３眼ステレオ・ペア画像である。カメラの相対的位置は、第１の実施例と同じである。図中、左から順に、第１カメラＣ１、第２カメラＣ２、第３カメラＣ３から得られた画像であり、以後それぞれ画像Ｇ_１，Ｇ_２，Ｇ_３と呼ぶ。図１７に示す画像は、本発明が実際に使用される現場（例えば、工場）での露光不良の状況を再現するために、対象物の外形の輪郭以外の幾何エッジが検出できない程度に、露光過剰の設定で撮像した。また、図１７に示す画像中では、Ｌ字形状を有する面以外の６面において、僅かではあるが画像間でオクルージョンが存在している。

従来の方法による計測結果
本発明の方法による結果を示す前に、２眼ステレオ・ペア画像（Ｇ_１，Ｇ_２）を用いた従来の方法による位置姿勢計測結果を示す。図１８は、従来の方法により得られる計測結果に従って、図１７に示す各画像上にモデルを透視投影した結果を示す。具体的には、位置姿勢の計測結果である座標変換行列Ｔを用いて、モデルの３Ｄデータを計測データ側の座標（ワールド座標）に変換し、さらに各カメラ画像に変換している。図１８に示す結果では、目視でも明らかに不正確とわかる計測結果となっている。

図１９は、従来の方法により得られる位置姿勢の計測結果を用いて、３Ｄ復元データ点群をモデル座標上に変換した結果を示す図である。黒塗りの矩形は、ステレオ・ペア画像（Ｇ_１，Ｇ_２）から得られたデータ点を表し、白抜きの矩形は、計測データと対応が取れたモデル点を表す。十字点は、計測データと対応が取れなかったモデル点を表す。実際の照合処理においてはモデル点をワールド座標に変換するが、図を見やすくするために、計測で得られた座標変換行列Ｔの逆行列により計測データ点群をモデル座標に変換した結果を表示している。

３Ｄデータの場合、モデル点を直接図示しても各点の立体的な位置関係が分かりにくい。そこで図１９では、表示領域を各表面で分割して表示している。これは、照合の結果として、モデルに属する各表面の近傍にどのような計測データ点が存在するかを理解しやすくするためである。図１９（ａ）〜（ｆ）で示す各図は、（ａ）〜（ｆ）のラベルが付けられた図１６中の矢印で示される各視点からの図に対応する。すなわち、図１９（ａ）〜（ｆ）の６つの図は、それぞれモデル座標系でｘ＜０、ｘ＞０、ｚ＜０、ｙ＜３０、ｚ＞０、ｙ＞３０の領域に存在する、モデル点および（モデル座標に変換された）計測データ点を表示している。

図１９（ａ）〜（ｆ）を順に説明する。図１９（ａ）は、モデルのＬ字形状表面を正対して目視できる視点で表示した図であり、（ｂ）は、（ａ）の反対側のＬ字形状面（実際には床と接している）側からの視点で表示した図である。図１９（ｃ）〜（ｆ）は、（ａ）のそれぞれ下、右、上、左に位置する視点からの図であるので、（ｃ）〜（ｆ）の各図におけるｘ＜０のデータが（ａ）に、ｘ＞０のデータが（ｂ）に表示されている。言い換えると、図１９（ｃ）〜（ｆ）において、カメラは図の上側、すなわち縦軸のｘ座標で負の方向に位置する。

モデルと計測データとの対応付けの観点から図１９（ａ）および（ｂ）を見ると、（ａ）で表示される側のＬ字形状面の２辺でのみ、モデルが計測データと対応付けられていることが分かる。視点を変えると、モデルは（ｃ）および（ｆ）においてのみ計測データと対応付けられており、（ｄ）および（ｅ）においては、データ点とモデル点との間の距離が長いので照合に利用されていない。

本発明の方法による計測結果
図１６の対象物を第１〜第３カメラで撮像して、図１７に示す３枚の画像データを得た。そして、図１７の画像データを用いて、図２のステップＳ３〜Ｓ８の処理を実施した。その結果を次に示す。

図２０は、本発明の方法により得られる計測結果に従って、図１７に示す各画像上にモデルを透視投影した結果を示す。図１８に示す結果と比較すると、測定対象物の位置姿勢が正確に計測されていることが分かる。図２１は、本発明の方法により得られる位置姿勢の計測結果を用いて、３Ｄ復元データ点群をモデル座標に変換した結果を示す図である。黒塗りの矩形は、ステレオ・ペア画像（Ｇ_１，Ｇ_２）から得られたデータ点を表し、黒塗りの円は（Ｇ_２，Ｇ_３）から得られたデータ点を表し、黒塗りの三角形は（Ｇ_３，Ｇ_１）から得られたデータ点を表す。白抜きの矩形は、黒塗りの矩形で表すデータ点と対応が取れたモデル点を表し、白抜きの円は、黒塗りの円で表すデータ点と対応が取れたモデル点を表し、白抜きの三角形は、黒塗りの三角形で表すデータ点と対応が取れたモデル点を表す。十字点は、計測データと対応が取れなかったモデル点を表す。図２１（ａ）〜（ｆ）で示す各図は、（ａ）〜（ｆ）のラベルが付けられた図１６中の矢印で示される各視点からの図に対応する。

図２１（ａ）および（ｂ）に注目すると、モデルと対応付けられなかった計測データ群が、対応付けられた計測データ群の外側にあることがわかる。例えば、（ａ）のＹ＝５０近傍でＺ軸方向に伸びた幾何エッジでは、白抜きの円で表すように、（Ｇ_２，Ｇ_３）ペアによる計測データがモデルと対応付けられている。一方、その左側には、黒塗りの矩形で表す（Ｇ_１，Ｇ_２）ペアと黒塗りの三角形で表す（Ｇ_３，Ｇ_１）ペアとが存在している。黒塗りの矩形および黒塗りの三角形で表すこれら外側の計測データ群が、ステレオ誤対応によって生成された虚像である。

次に、図２１（ｃ）、（ｄ）および（ｆ）に注目すると、いずれの図においても、３組のペア画像による３Ｄ像のうち、１ペアの計測データがモデルの２本の幾何エッジ、すなわちＸ＝±１５の位置にあるモデル点群の何れかと対応付けられ、残る２ペアの計測データは両方のエッジの間に存在している。モデルと対応付けられていない２ペアの計測データ群が、ステレオ誤対応によって生じた虚像である。また、部位により異なるステレオ・ペアの計測データがモデル照合に利用されていることも注目すべきである。

図２１（ｅ）は他の図と若干様相が異なる。Ｙ＞１５の領域では、モデルの２本の幾何エッジ、すなわちＸ＝±１５の位置にあるモデル点群に、それぞれ異なるステレオ・ペアによるデータが対応付けられている。一方、Ｙ＜１５の領域では、ペアの違いによる３Ｄ復元位置の差が少ない結果となっている。これは、第３カメラＣ３と測定対象物との幾何関係の偶然によるものである。図２０の画像Ｇ_３におけるモデルの投影姿勢からも推測できるように、図２１（ｅ）のＹ＞１５の領域では、モデル表面のカメラ側のエッジおよび床面側のエッジの両方が、Ｇ_３画像上でほぼ重なっている。そのため、撮像された幾何エッジをモデルのカメラ側のエッジまたは床面側のエッジのいずれの情報とみなしても間違いではなく、測定対象物は正しく３Ｄ復元され、Ｘ＝±１５の位置にあるモデル点群とそれぞれ対応付けられている。また、モデルの右側部分は画像Ｇ_１，Ｇ_２，Ｇ_３のいずれにおいても同一箇所（ここではカメラ側の面）の幾何エッジが撮像されているので、ステレオ誤対応の影響が少ない結果となっている。

本実施例では、ステレオ対応における多様な状況を示すために、図１７の画像に対する処理結果を示した。しかしながら、図２１（ｅ）に示す面において偶然にステレオ誤対応が発生していないことにより、計測に成功したのではないかという推測も可能である。そこで、図２１（ｅ）に示す面においても他の面と同様にステレオ誤対応が発生するように、測定対象物の姿勢を微調整した状態で撮像した別の画像に対しても実験を行った。実験の結果、図２０と同様に、正しいステレオ対応情報のみで照合された計測結果が得られている。あらためて図２１において、ステレオ・ペア（Ｇ_１，Ｇ_２）による３Ｄ復元結果（黒塗りの矩形）に着目すると、モデル点の大部分が（Ｇ_１，Ｇ_２）以外のペアによるデータと対応付けられており、（Ｇ_１，Ｇ_２）による像の大部分がステレオ誤対応によって生成した虚像であったことを示唆している。

１ 演算処理部（ＣＰＵ）
２ 記録部
３ 記憶部（メモリ）
４ インタフェース部
５ 操作部
６ 表示部
７ 内部バス
Ｃ１ 第１撮像部
Ｃ２ 第２撮像部
Ｃ３ 第３撮像部
Ｔ 撮像対象物

Claims (4)

1. 撮像装置によって異なる視点から対象物を撮像して得られた３枚以上の画像データを受信する入力部と、
   演算部とを備えて構成され、
   前記演算部が、
   ｎ（ｎ≧３）枚以上の前記画像データから選択された２枚の画像データの _ｎ Ｃ _２ 通りのペアに関して、３次元復元点集合および特徴量集合を求め、
   各ペアに関する前記３次元復元点集合および前記特徴量集合を、それぞれ全て加算して全３次元復元点集合および全特徴量集合を求め、
   前記対象物のモデルデータに関するモデル特徴量集合を、前記全特徴量集合と照合することにより、前記全３次元復元点集合の中から前記対象物のモデル点に対応する点を決定し、
   前記３次元復元点集合が、前記画像データ中の前記対象物の境界線を分割したセグメントの３次元位置情報を含み、
   前記特徴量集合が、前記セグメントの頂点に関する３次元情報を含む
   ことを特徴とする３次元位置姿勢計測装置。
2. 前記セグメントが、直線、円弧、又は、直線及び円弧の組み合わせで近似され、
   前記頂点に関する前記３次元情報が、前記頂点の３次元位置座標および２つの３次元接線ベクトルであり、
   前記照合が、前記モデル特徴点集合の一部を、前記全特徴量集合の一部に一致するように３次元座標変換する変換行列を求める処理であり、
   前記全３次元復元点集合の中から前記対象物のモデル点に対応する点を決定する処理が、前記変換行列を用いて前記モデル点を３次元座標変換した結果と、前記全３次元復元点集合の点との一致性を評価する処理であることを特徴とする請求項１に記載の３次元位置姿勢計測装置。
3. 撮像装置によって異なる視点から対象物を撮像して得られた３枚以上の画像データを取得する第１ステップと、
   ｎ（ｎ≧３）枚以上の前記画像データから選択された２枚の画像データの _ｎ Ｃ _２ 通りのペアに関して、３次元復元点集合および特徴量集合を求める第２ステップと、
   各ペアに関する前記３次元復元点集合および前記特徴量集合を、それぞれ全て加算して全３次元復元点集合および全特徴量集合を求める第３ステップと、
   前記対象物のモデルデータに関するモデル特徴量集合を、前記全特徴量集合と照合することにより、前記全３次元復元点集合の中から前記対象物のモデル点に対応する点を決定する第４ステップとを含み、
   前記３次元復元点集合が、前記画像データ中の前記対象物の境界線を分割したセグメントの３次元位置座標を含み、
   前記特徴量集合が、前記セグメントの頂点に関する３次元情報を含む
   ことを特徴とする３次元位置姿勢計測方法。
4. コンピュータに、
   撮像装置によって異なる視点から対象物を撮像して得られた３枚以上の画像データを取得する第１機能と、
   ｎ（ｎ≧３）枚以上の前記画像データから選択された２枚の画像データの _ｎ Ｃ _２ 通りのペアに関して、３次元復元点集合および特徴量集合を求める第２機能と、
   各ペアに関する前記３次元復元点集合および前記特徴量集合を、それぞれ全て加算して全３次元復元点集合および全特徴量集合を求める第３機能と、
   前記対象物のモデルデータに関するモデル特徴量集合を、前記全特徴量集合と照合することにより、前記全３次元復元点集合の中から前記対象物のモデル点に対応する点を決定する第４機能とを実現させ、
   前記３次元復元点集合が、前記画像データ中の前記対象物の境界線を分割したセグメントの３次元位置座標を含み、
   前記特徴量集合が、前記セグメントの頂点に関する３次元情報を含む
   ことを特徴とする３次元位置姿勢計測プログラム。