JP4337203B2 - 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 - Google Patents
距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 Download PDFInfo
- Publication number
- JP4337203B2 JP4337203B2 JP2000017893A JP2000017893A JP4337203B2 JP 4337203 B2 JP4337203 B2 JP 4337203B2 JP 2000017893 A JP2000017893 A JP 2000017893A JP 2000017893 A JP2000017893 A JP 2000017893A JP 4337203 B2 JP4337203 B2 JP 4337203B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- light
- distance
- measurable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、物体の三次元形状を求め、距離画像を生成する距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体に関する。特に三次元空間上で、ある距離範囲に存在する物体を複数の異なる位置から撮影した画像を用いて被写体表面の三次元形状を計測して距離画像を生成するステレオ画像法において好適な距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体に関する。
【０００２】
【従来の技術】
物体の三次元形状を求める従来手法として、大きく分けて能動的手法（アクティブ手法）と受動的手法（パッシブ手法）がある。能動的手法としては、光を投射して、その光が反射して帰ってくるまでの時間を測定することで各計測対象物体までの距離を求める方法や、計測対象にスリット状のパターン光をあてて計測対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。
【０００３】
また、受動的手法として代表的なものは、三角測量の原理を利用したステレオ法であり、これは２台以上のカメラを使って、その画像間での各画素の対応点を見つけることで、その位置関係（視差）を求め、計測対象までの距離を計測する方法である。
【０００４】
ステレオ法について、その原理を簡単に説明する。ステレオ法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで計測対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと検出カメラにより異なる視点から同一対象物を撮影して、それぞれの画像内の計測対象物の距離を三角測量の原理により測定する。
【０００５】
図１は、ステレオ法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ １）と検出カメラ（Ｃａｍｅｒａ ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
【０００６】
基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している検出カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
【０００７】
基準カメラにおけるポイント「ｍｂ」の位置は、検出カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、検出カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
【０００８】
図１には、エピポーラ・ラインと、検出カメラ画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、検出カメラ画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【０００９】
以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラ・ライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ画像法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得する。取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。
【００１０】
上述のステレオ画像法は１台の基準カメラと１台の検出カメラとを用いた構成としたが、検出カメラを複数用いたマルチベースラインステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の検出カメラによって撮影される画像を用い、複数の検出カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌Ｄ−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１３１７−１３２７ １９９２年８月、に記載されている。
【００１１】
上述のように、ステレオ法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで計測対象物の三次元空間における位置を求めようとするものである。
【００１２】
従来から、よく使われている「対応点付け」の手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａｒｅａ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である（Ｃ．Ｌａｗｒｅｎｃｅ Ｚｉｔｎｉｃｋ ａｎｄ Ｊｏｎ Ａ． Ｗｅｂｂ： Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ Ｕｓｉｎｇ Ｓｕｒｆａｃｅ Ｅｘｔｒａｃｔｉｏｎ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ＣＭＵ−ＣＳ−９６−１９６， （１９９６）参照）。
【００１３】
Ａｒｅａ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である（奥富、金出： 複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ， Ｎｏ．８， ｐｐ．１３１７−１３２７， （１９９２）、横山、三輪、芦ヶ原、小柳津、林、後： Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ、 ＳＲＦ’９７、（１９９７）、金出、木村： ビデオレート・ステレオマシン、日本ロボット学会誌、Ｖｏｌ．１３， Ｎｏ．３， ｐｐ．３２２〜３２６， （１９９５）、金出、蚊野、木村、川村、吉田、織田： ビデオレートステレオマシンの開発、日本ロボット学会誌、Ｖｏｌ．１５， Ｎｏ．２， ｐｐ．２６１〜２６７， （１９９７）、山口、高地、井口： 適応ウィンドウ法を用いた石像計測のためのステレオ対応付け、人文科学とコンピュータ、Ｖｏｌ．３２， Ｎｏ．１０， ｐｐ．５５〜６０， （１９９６）、横矢： 最近の信号処理総合特集号 コンピュータビジョンの最近の話題、システム／制御／情報、Ｖｏｌ．３８， Ｎｏ．８， ｐｐ．４３６〜４４１， （１９９４）参照）。
【００１４】
Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．Ｂａｋｅｒ ａｎｄ Ｔ．Ｏ．Ｂｉｎｆｏｒｄ： Ｄｅｐｔｈ ｆｒｏｍ ｅｄｇｅａｎｄ ｉｎｔｅｎｓｉｔｙ ｂａｓｅｄ ｓｔｅｒｅｏ， Ｉｎ Ｐｒｏｃ． ＩＪＣＡＩ’８１， （１９８１）、石山、角保、河井、植芝、富田： セグメントベーストステレオにおける対応候補探索、信学技報、Ｖｏｌ．９６， Ｎｏ．１３６， （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ： Ｃｏｍｐｕｔａｔｉｏｎａｌ ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ａ ｆｅａｔｕｒｅ ｂａｓｅｄ ｓｔｅｒｅｏ ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．１７〜３４， （１９８５））。
【００１５】
上記の各手法の特徴を整理すると、次のようになる。
（１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−ｂａｓｅｄマッチングは各々の画素に対して、対応点を探索するので、求められた距離画像は密である。一方、Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけに対して、対応付けを行うので、得られた距離画像は疎である。
【００１６】
（２）Ａｒｅａ−ｂａｓｅｄマッチングは、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに比べて、計算コストがかかるが、アルゴリズムの高速化によって、必ずしも解決できない問題ではない。
【００１７】
（３）Ｐｉｘｅｌ−ｂａｓｅｄマッチングは、画素間の対応付けだけを行うため、計算速度がかなり速いが、左右カメラ間の特性の違いによって、画素間の濃淡値を用いる対応付けが容易ではない。
【００１８】
上述の特徴から、一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であり、よく使われている。
【００１９】
一般的なＡｒｅａ−ｂａｓｅｄマッチングによるステレオ視の対応点の求め方について図２を用いて説明する。図２（ａ）は、基準カメラの観測画像であり、図２（ｂ）は検出カメラによる観測画像である。基準カメラによる観測画像上の点ｍｂの周辺の小領域Ｗをテンプレートとして、検出カメラ画像のエピポーラライン上の数点における画像相関値を求める。この図に示す例の場合は、距離分解能はｍ１〜ｍ６の６点で、この距離番号１〜６が例えば撮影した基準カメラから１ｍ、２ｍ、３ｍ、４ｍ、５ｍ、６ｍの距離に対応しているとする。
【００２０】
各点の画像相関値は、例えば以下に示す式を用いて求める評価値を用いることができる。なお、以下に示す式中のＩ（ｘ）は基準カメラで撮影した基準画像における輝度値、Ｉ’（ｘ’）は検出カメラで撮影した検出カメラ画像の輝度値を示している。
【００２１】
【数１】
【００２２】
上記式を用いて得られる図２のｍ１〜ｍ６の６点での評価値中、最も低いところを対応点とする。これを示したのが図２の下段のグラフである。図２に示す例の場合は、ｍ３の位置、すなわちカメラから３ｍの位置を距離データとする。なお、さらにサンプリングデータ間の補間処理を実行してサンプルデータ以外の部分において最も低い点を求めることも可能である。この補間処理を行なった場合、図２のグラフのｍ３とｍ４の間にある点が最小の評価値であり、この場合、計測対象はカメラから約３．３ｍの距離であるとされる。なお、エピポーラライン、およびエピポーラライン上の位置と物体との距離との関係は、予めキャリブレーションによって求めておく。例えば基準カメラ画像上のすべての画素に対して、各距離に応じた検出カメラ画像上の対応点の座標をテーブルにして保持しておく。
【００２３】
このように、基準カメラ画像と検出カメラ画像とのマッチング処理を各測定点の画素について繰り返し実行することにより、全ての画素に対する三次元形状データを得ることができる。
【００２４】
【発明が解決しようとする課題】
しかしながら、実際には、基準カメラ画像と検出カメラ画像から全ての画素の対応付け処理を正確に行なうことは困難である。これは、ステレオ法は上述したように２つ以上のカメラを用いて異なる視点から計測対象画像を撮り込む構成であるので、一方のカメラで観察されている計測対象の領域が、他方のカメラでは観察されない領域となる場合があるからである。この領域をオクルージョン領域という。このオクルージョンの発生はステレオ法を用いた距離計測における問題点である。
【００２５】
このオクルージョン領域の発生は、計測対象に凹凸がある場合に顕著に表れる。このオクルージョンの発生メカニズムについて図３を用いて説明する。
【００２６】
図３の上段に示す計測対象３０１の距離をステレオ法により算出しようとする場合、計測対象３０１に対して異なる方向から、基準カメラ３０２と検出カメラ３０３を用いて像を撮り込む。図３下段に示す（ａ）が基準カメラ３０２で撮り込んだ計測対象の画像である。（ｂ）は、検出カメラ３０３で撮り込んだ計測対象の画像である。
【００２７】
ステレオ法においては、前述の図２で説明したように基準カメラ画像と検出カメラ画像の２つの画像について画像間対応付け処理を実行する。具体的には、図３（ａ）に示す基準カメラ画像の各画素について、（ｂ）に示す検出カメラ画像の対応点を探索することになる。図３（ａ）、（ｂ）から理解されるように、計測対象の面Ａ、Ｂは、両画像において観察されている。しかし、面Ｃは、図３（ａ）の基準カメラ画像では観察されているが、図３（ｂ）の検出カメラ画像には観察されていない。このように、ステレオ法では計測対象を異なる視点から観察するために、一方のカメラでは観察されている面が他方のカメラでは観察されない領域が発生する。この領域がオクルージョン領域であり、このオクルージョン領域では、画像間の対応付け処理が正確に行なえない。
【００２８】
ステレオ法における画像間対応付け処理は、先に図２を用いて説明したように、画像間の相関が最大になる点を探索して、その点を対応点とする処理であるので、基準カメラ画像に実際に対応する点が検出画像上に存在しない場合であっても、相関の最大点を対応点として処理することになる。従って、オクルージョン領域においては誤った対応点に基づく視差データが生成され、結果として誤った距離画像が出力されることになる。
【００２９】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、上述のようなオクルージョン領域での誤った画像間対応付け処理および誤った距離画像の生成を回避する構成を提供する。すなわち、基準カメラで撮り込まれた画像上において、対応付け処理が可能な領域（可測領域）と対応付けが不可能な領域（測定不可領域：オクルージョン領域）とを識別して、誤った距離画像の生成を回避することを可能とした距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体を提供するものである。
【００３０】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
計測対象を異なる方向から撮影した画像を用いて計測対象の三次元形状を求め、距離画像を生成する距離画像生成装置であり、
前記計測対象の画像を撮り込む第１カメラと、
前記第１カメラと異なる方向から前記計測対象の画像を撮り込む第２カメラと、
前記第２カメラと同軸または近傍位置に配置され、前記計測対象にパターン光を照射する投光手段と、
前記投光手段により光照射がなされた計測対象を前記第１カメラによって撮り込んだ光照射基準画像に基づいて、距離データの算出可能な可測領域を抽出する可測領域抽出手段と、
前記第１カメラによって撮り込まれたパターン光の付与された第１画像と、前記第２カメラによって撮り込まれたパターン光の付与された第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて前記可測領域抽出手段の抽出した可測領域のみの距離画像を出力する距離画像生成手段とを有することを特徴とする距離画像生成装置にある。
【００３１】
さらに、本発明の距離画像生成装置の一実施態様において、前記可測領域抽出手段は、前記計測対象の前記投光手段による光照射領域と、光非照射領域とを前記光照射基準画像に基づいて判別し、光照射領域を可測領域として抽出する構成であることを特徴とする。
【００３２】
さらに、本発明の距離画像生成装置の一実施態様において、前記可測領域抽出手段は、前記投光手段により光照射がなされた計測対象を前記第１カメラによって撮り込んだ光照射基準画像と、前記投光手段により光照射がなされていない計測対象を前記第１カメラによって撮り込んだ光非照射基準画像との両画像に基づいて、距離データの算出可能な可測領域を抽出する構成を有することを特徴とする。
【００３６】
さらに、本発明の距離画像生成装置の一実施態様において、前記距離画像生成手段は、前記第１カメラの撮り込み画像と、前記第２カメラの撮り込み画像の２つの画像間の対応付けを実行する画像間対応付け手段を有し、前記画像間対応付け手段は、前記可測領域抽出手段の抽出した可測領域のみの画素に関する画像間対応付け処理を実行する構成を有することを特徴とする。
【００３７】
さらに、本発明の第２の側面は、
計測対象を異なる方向から撮影した画像を用いて計測対象の三次元形状を求め距離画像を生成する距離画像生成方法であり、
計測対象の画像を第１カメラと、前記第１カメラと異なる方向に配置した第２カメラによって同時に撮り込む画像撮り込みステップであり、前記第２カメラと同軸または近傍位置に配置された投光手段によりパターン光の光照射がなされた前記計測対象の像を撮り込む画像撮り込みステップと、
前記第１カメラによって撮り込んだ光照射基準画像に基づいて、距離データの算出可能な可測領域を抽出する可測領域抽出ステップと、
前記第１カメラによって撮り込まれたパターン光の付与された第１画像と、前記第２カメラによって撮り込まれたパターン光の付与された第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて前記可測領域抽出手段の抽出した可測領域のみの距離画像を出力する距離画像生成ステップとを有することを特徴とする距離画像生成方法にある。
【００３８】
さらに、本発明の距離画像生成方法の一実施態様において、前記可測領域抽出ステップは、前記計測対象の前記投光手段による光照射領域と、光非照射領域とを前記光照射基準画像に基づいて判別し、光照射領域を可測領域として抽出することを特徴とする。
【００３９】
さらに、本発明の距離画像生成方法の一実施態様において、前記可測領域抽出ステップは、前記投光手段により光照射がなされた計測対象を前記第１カメラによって撮り込んだ光照射基準画像と、前記投光手段により光照射がなされていない計測対象を前記第１カメラによって撮り込んだ光非照射基準画像との両画像に基づいて、距離データの算出可能な可測領域を抽出することを特徴とする。
【００４３】
さらに、本発明の距離画像生成方法の一実施態様において、前記距離画像生成ステップは、前記第１カメラの撮り込み画像と、前記第２カメラの撮り込み画像の２つの画像間の対応付けを実行する画像間対応付けステップを有し、前記画像間対応付けステップは、前記可測領域抽出ステップにおいて抽出された可測領域のみの画素に関する画像間対応付け処理を実行することを特徴とする。
【００４４】
さらに、本発明の第３の側面は、
計測対象を異なる方向から撮影した画像を用いて計測対象の三次元形状を求め距離画像を生成する距離画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
計測対象の画像を第１カメラと、前記第１カメラと異なる方向に配置した第２カメラによって同時に撮り込む画像撮り込みステップであり、前記第２カメラと同軸または近傍位置に配置された投光手段によりパターン光の光照射がなされた前記計測対象の像を撮り込む画像撮り込みステップと、
前記第１カメラによって撮り込んだ光照射基準画像に基づいて、距離データの算出可能な可測領域を抽出する可測領域抽出ステップと、
前記第１カメラによって撮り込まれたパターン光の付与された第１画像と、前記第２カメラによって撮り込まれたパターン光の付与された第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて前記可測領域抽出手段の抽出した可測領域のみの距離画像を出力する距離画像生成ステップとを有することを特徴とするプログラム提供媒体にある。
【００４５】
本発明の第３の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００４６】
このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００４７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４８】
【発明の実施の形態】
まず、図４に本発明の距離画像生成装置の構成ブロック図を示す。図４は、画像パターンの投光によって計測対象の三次元形状または距離画像の計測を行なう装置である。例えば二値または濃淡のランダム点群によって構成されるランダムテクスチャからなるパターンを生成し、これをカメラ２と同軸の投光器によって計測対象に投光する。計測対象にランダムパターンを投光することにより、計測対象が白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象である場合も、パターン付き画像を用いた画像間対応付け処理が可能になり、画像間のマッチング処理がより正確に実行できる。
【００４９】
図４に示す距離画像生成装置の概要について説明する。距離画像生成装置は、先に説明したステレオ法を適用して計測対象の三次元形状を計測するものであり、立体形状を持つ、例えば人の顔等の被計測対象物に対して角度の異なる位置に配置した２つのカメラ、いわゆる基準カメラ（カメラ１，４０１）と検出カメラ（カメラ２，４０２）を用いて画像を撮り込み、これら２つのカメラの撮影する画像に基づいて図１で説明したステレオ法に基づいて被計測対象物の表面形状を計測するものである。
【００５０】
本発明の距離画像生成装置において、ランダムパターンは、カメラ２，４０２と同軸、または近傍に構成された投光手段によって照射される。この投光パターンは一様乱数や正規乱数に基づく非周期的投光パターンである。投光されるパターンは例えば非周期投光パターンであり、例えばドットのサイズ、線の長さ、太さ、位置、濃度等に周期性を持たないパターンである。
【００５１】
非周期的パターンは例えば予めスライド等に形成され、スライドを介して光照射することによって計測対象に対してパターンを投影する。あるいは、透過型液晶表示素子等を用いて動的にランダムパターンを生成して、これを投影してもよい。計測対象４００の表面に形成された非周期パターンを計測対象とともに撮像することにより、距離画像生成時の基準カメラと検出カメラの撮像データの対応付けを容易にすることができる。
【００５２】
なお、図４の構成のように計測対象４００にランダムテクスチャ投光パターンを照射するのは、計測対象が例えば壁、人の顔等のように表面の各部を区別する特徴が少なく、基準カメラ画像と検出カメラ画像の画像間対応付けが困難である場合に、撮影画像にランダムパターンを付与して画像間対応付け処理を実行しやすくするためのものである。従って、計測対象が十分特徴的なものである場合は、必ずしもパターン照射が必要となるものではない。
【００５３】
本発明の目的とする可測領域の抽出のためには、パターン光を用いることが必須となるものではなく、例えば、パターンの無い光、例えばフラッシュ光を検出カメラ（カメラ２，４０２）側から投光してもよい。すなわち、距離計測用の基準カメラ（カメラ１，４０１）と検出カメラの双方において、検出カメラ側からの投光領域を基準カメラ画像に基づいて判定し、この領域を距離検出可能な領域、すなわち測定可能領域として抽出するものである。従って、基準カメラ画像に基づいて検出カメラ側からの投光領域、すなわち光照射領域が検出されればよく、パターンが必須となるものではない。従って、計測対象が十分特徴的なものである場合は、パターンを伴わない光照射とすることも可能である。ただし以下に説明する実施例では、より一般的な例としてパターン光を計測対象４００に投光した例について説明する。
【００５４】
図４の構成について説明する。カメラ１，４０１とカメラ２，４０２は、計測対象４００に対して異なる視線方向に配置されて、各視線方向からランダムパターンの投影された計測対象４００を撮影する。各カメラによって撮影される画像は、同期したタイミングで撮り込まれる。カメラ１，４０１、カメラ２，４０２から撮り込まれる画像は、この例ではランダムパターンの付加された画像であり、距離画像の生成、すなわち画像間対応付け処理が高精度に実行可能な画像である。カメラ１，４０１、カメラ２，４０２から撮り込まれた画像は、それぞれＡ／Ｄ変換器を介してフレームメモリ１ａ，４０３，フレームメモリ２ａ，４０４に格納される。
【００５５】
フレームメモリ１ａ，４０３に格納された画像データは、可測領域抽出手段４０５に出力され、可測領域抽出手段４０５において、基準カメラ画像中の距離画像検出可能な領域、いわゆる可測領域が抽出される。この可測領域は、基準カメラ画像領域の中で、カメラ２，４０２によっても撮り込まれていると判定される画像領域である。この可測領域抽出手段４０５における可測領域抽出方法については、後段で詳細に説明する。
【００５６】
可測領域抽出手段４０５において抽出された可測領域データは、カメラ１，４０１によって撮り込まれた画像データとともに、画像対応付け手段４０６に出力される。なお、図中では、可測領域抽出手段４０５と、画像対応付け手段４０６は説明のために別構成として示してあるが、画像対応付け手段４０６が可測領域抽出手段４０５の機能、すなわちカメラ１，４０１の撮り込み画像に基づく可測領域抽出処理を併せて実行する構成であってもよい。
【００５７】
画像対応付け手段４０６は、さらにフレームメモリ２ａ，４０４に格納されたカメラ２，４０２の撮り込み画像を入力し、可測領域抽出手段４０５の抽出した可測領域について画像間の対応付け処理を実行する。画像対応付け手段４０６は、カメラ１，４０１の撮影した画像の各画素に対するカメラ２，４０２の撮影した検出画像の画素の対応付け処理を行ない、基準画像に対する検出画像の視差データを距離画像生成手段４０７に出力する。
【００５８】
画像間対応付け手段４０６は、可測領域抽出手段４０５の抽出した可測領域にある画素についてのみ前述の対応点探索を行なう構成してもよいが、あるいは、カメラ１，４０１の撮り込み画像全体について、画像間対応付け処理を行なって、その後、可測領域にあるデータのみを取り出す構成としてもよい。
【００５９】
距離画像生成手段４０７は、画像対応付け手段４０６における画像間対応付け処理によって得られる視差データに基づいて距離画像を生成する。なお、距離画像とは、各画素に、その画素が示す計測対象表面のカメラ座標系を基準とした距離情報が保持された画像である。例えば距離に応じた濃淡データを画素毎に割り当てた画像である。なお、可測領域の抽出処理を距離画像生成後において行なう構成としてもよい。距離画像の生成は各画像の補正値等を設定したキャリブレーションパラメータを用いて行われる。距離画像生成手段４０７の生成した距離画像は画像メモリ４０８を介して出力手段４０９に出力される。
【００６０】
なお、図４に示す構成の各ブロックにおける処理、およびブロック間データ転送制御等は、図示しない制御手段によって制御され、所定のメモリ、例えばＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光ディスク等の記憶媒体に記録された制御プログラムによって制御することができる。また、図示しない入力手段によってユーザがコマンド、パラメータ等を入力して各制御態様を変更することが可能である。
【００６１】
図５に具体的な計測対象の可測領域と、その抽出処理構成を説明する図を示す。図５において計測対象５０１は、２つの異なる方向からカメラ１，５０２、カメラ２，５０３によって撮影される。カメラ２，５０３はランダムパターン５０４を計測対象に投影する投光手段を撮影手段としてのカメラと同軸に有している。カメラ２，５０３は同じレンズを介して画像を撮影する第１の機能と、パターン光を照射する第２の機能を実行可能な構成を有する。すなわち、レンズを通してパターン光を計測対象５０１に結像させる系と、レンズを通して外部から入射された光が撮像面に結像される系の光学中心、すなわちレンズによって集光される点が一致している。
【００６２】
ハーフミラーを用いてパターン投光手段と撮影カメラとを同軸構成とした例を図６に示す。投光パターン６０３を計測対象６０１に投影する例えばスライドプロジェクタによって構成される投光手段６０２と、計測対象の像を撮り込むカメラ６０４とを各々の光軸が直角に交わるように配置し、その光軸の交点：Ｏにハーフミラー６０５を配置する。ハーフミラー６０５で反射された投光手段６０２の光軸をカメラ６０４の光軸と一致させ、交点：Ｏから投光手段６０２の光学中心までの距離と、すなわち交点：Ｏからカメラ６０４の光学中心までの距離とを同じに設定、すなわち投光手段６０２とカメラ６０４の光学中心を一致させる。
【００６３】
投光手段６０２から発せられた照射光（パターン光）６１１は、ハーフミラー６０５を介して反射され、計測対象６０１に投影される。照射光（パターン光）を投影された計測対象６０１の像は、ハーフミラー６０５を介してカメラ６０４によって撮り込まれる。なお、図６は、ハーフミラーを用いた例を示しているが、本発明の距離画像生成装置では、同軸、あるいは近傍において投光および撮像が可能な構成であればよい。
【００６４】
図５に戻って可測領域抽出について説明を続ける。カメラ１，５０２によって撮り込まれた画像は可測領域抽出部５０５において、パターン光照射部分と非照射部分を識別する処理によって可測領域が抽出される。さらに、画像間対応付け及び距離画像生成部５０６において、可測領域についての距離画像が生成される。
【００６５】
図５の下段に示す図は、カメラ１，５０２によって撮り込まれた画像（ａ）と、カメラ２，５０３によって撮り込まれた画像（ｂ）を示している。この例の場合、図５（ａ）のグレー部分：Ｃが（ｂ）のカメラ２，５０３の撮影画像には含まれない領域となる。この領域がオクルージョン領域であり、測定不可能領域である。可測領域抽出部５０５は、図５（ａ）の基準カメラ画像から可測領域としてＡの面とＢの面を抽出する。可測領域抽出方法については、図８乃至図１１を用いて後段で説明する。
【００６６】
図５、図６においては、投光パターン投光手段と、計測対象の像を撮り込むカメラとを同軸構成とした例を説明したが、これらの２つの手段を同軸にすることなく、それぞれの手段を近接した位置に配置する構成としても、ほぼ同様の効果を得ることができる。この構成例を図７に示す。
【００６７】
図７から理解されるように、カメラ２，５０３に隣接して投光パターン５０４を投光するための投光手段５１１が配置される。カメラ２，５０３と投光手段５１１は同軸構成ではないが、それぞれの手段は近接して配置されており、カメラ１，５０１によって撮り込まれる画像中の投光パターン照射部は、ほぼカメラ２によって撮り込まれる画像部分に一致することになる。このように投光パターン投光手段と、像を撮り込むカメラとを近接して配置する構成としても同様の効果が得られる。
【００６８】
次に、図８乃至図１１を用いて、本発明の距離画像生成装置における処理フロー、特に可測領域抽出手段における可測領域抽出処理の詳細を説明する。
【００６９】
図８、図９は、本発明の距離画像生成装置において、投影パターン付き基準画像のみから距離検出可能領域、すなわち可測領域を抽出する構成例を説明するフローであり、図１０、図１１は、投影パターン付き基準画像と、投影パターンを付けない基準画像との両画像から可測領域を抽出する構成例を説明するフローである。
【００７０】
まず、図８、図９の処理フローについて図４の構成図に基づいて説明する。図８のステップＳ８０１は、パターン光を照射するステップであり、図４におけるカメラ２，４０２と同軸または近傍の照射手段から計測対象４００に対してランダムパターンを照射する。
【００７１】
ステップＳ８０２において、カメラ１，４０１と、カメラ２，４０２は、計測対象４００についての投影パターン付き画像を撮影し、それぞれフレーム・メモリ４０３，４０４に格納する。ここで、計測対象４００において投影パターンの照射された部分は、明るく明瞭な領域となり、照射光の到達しない部分は、暗い領域となる。
【００７２】
ステップＳ８０３において、可測領域抽出手段４０５は、フレーム・メモリ４０３に格納されたカメラ１，４０１の撮影した投影パターン付き画像に基づいて可測領域の抽出処理を実行する。このステップＳ８０３の可測領域抽出処理についての詳細を図９のフローを用いて説明する。
【００７３】
なお、図９のフローにおいて、カメラ１，４０１の撮影したパターン付き画像は、基準画像Ｇ１１とする。図９のステップＳ９０１において、可測領域抽出手段４０５は、基準画像Ｇ１１を構成する画素値のヒストグラムＨ（ｋ）を生成する。ステップＳ９０２において、可測領域抽出手段４０５は、ヒストグラムＨ（ｋ）を最大とする（最も出現頻度が高い）画素値をＫｂとする。
【００７４】
ステップＳ９０３において、可測領域抽出手段４０５は、ラベリング未処理画素数ｒを０に初期化する。また、可測領域抽出手段４０５は、内蔵する座標記憶用バッファｘ［ｒ］，ｙ［ｒ］を初期化する。ステップＳ９０４において、可測領域抽出手段４０５は、基準画像Ｇ１１の中で画素値Ｋｂを有する画素を１つ検出し、その座標を注目画素の座標（ｉ，ｊ）に代入する。
【００７５】
ステップＳ９０５において、可測領域抽出手段４０５は、基準画像Ｇ１１の注目画素の画素値ｇ（ｉ，ｊ）を取得する。ステップＳ９０６において、可測領域抽出手段４０５は、注目画素に隣接する８つの画素のうちの１つの画素値ｇ（ｉ＋ｍ，Ｊ＋ｎ）（ｍ，ｎ＝−１，０，１）を取得する。
【００７６】
ステップＳ９０７において、可測領域抽出手段４０５は、注目する画素（座標（ｉ，ｊ））にラベルＬ０が付与されているか否かを判定し、さらに注目する画素の画素値ｇ（ｉ，ｊ）と、隣接する画素の画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）の差の絶対値が所定の閾値（例えば２）よりも小さいか否かを判定する。注目する画素にラベルＬ０が付与されておらず、かつ隣接する画素の画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）と画素値ｇ（ｉ，ｊ）との差の絶対値が所定の値よりも小さいと判定された場合、ステップＳ９０８に進む。
【００７７】
ステップＳ９０８において、可測領域抽出手段４０５は、ラベリング未処理画素数ｒを１だけインクリメントし、隣接する画素のｘ座標（＝ｉ＋ｍ）を座標記憶用バッファｘ［ｒ］に記録し、ｙ座標（＝ｊ＋ｎ）を座標記憶用バッファｙ［ｒ］に記録する。
【００７８】
ステップＳ９０９において、可測領域抽出手段４０５は、注目する画素に隣接する８つ全ての画素に対してステップＳ９０６、Ｓ９０７の処理を施したか否かを判定し、隣接する画素にステップＳ９０６，Ｓ９０７の処理を施していないものが存在すると判定した場合、ステップＳ９０６に戻り、それ以降の処理を繰り返す。その後、ステップＳ９０９で隣接する８つの画素にステップＳ９０６，Ｓ９０７の処理を施したと判定された場合、ステップＳ９１０に進む。
【００７９】
ステップＳ９１０において、可測領域抽出手段４０５は、注目画素（座標（ｉ，ｊ））にラベルＬ０を付与する。ここで、ラベルＬ０は最も出現頻度が高い画素値を有する画素、すなわち、背景領域と、カメラ２と同軸または近傍に配置された投光手段からの光が照射されない部分に対応する画素に付与されることとなる。投光手段からの光が照射されない部分は、オクルージョン領域に対応する、従って、ラベルＬ０の付与された領域を距離計測不可能な領域として判別することで、可測領域を抽出することができる。
【００８０】
ステップＳ９１１において、可測領域抽出手段４０５は、ラベリング未処理画素数ｒが０であるか否かを判定し、ラベリング未処理画素数ｒが０ではないと判定した場合、ステップＳ９１２に進む。
【００８１】
ステップＳ９１２において、可測領域抽出手段４０５は、座標記憶用バッファｘ［ｒ］に記録されている値を注目画素のｘ座標とし、座標記憶用バッファｙ［ｒ］に記録されている値を注目画素のｙ座標とする。これにより、先ほどまでの注目画素に隣接し、かつ画素値がほぼ等しい画素が新たな注目画素とされる。その後、可測領域抽出手段４０５は、ラベリング未処理画素数ｒを１だけデクリメントして、ステップＳ９０５に戻る。
【００８２】
その後、ステップＳ９０５乃至Ｓ９１２の処理が、ステップＳ９１１においてラベリング未処理画素数ｒが０であると判定されるまで、繰り返され、ステップＳ９１１において、ラベリング未処理画素数ｒが０であると判定された場合、ステップＳ９１３に進む。ステップＳ９１３において、可測領域抽出手段４０５は、基準画像Ｇ１１の中でラベルＬ０が付与されていない画素からなる領域であって、かつ最も大きい領域を可測領域として抽出する。
【００８３】
図９で示す可測領域抽出処理により、カメラ１，４０１の撮影したパターン付き画像である基準画像Ｇ１１に基づいて、可測領域が抽出される。図９で示す可測領域抽出処理は、カメラ２，４０２方向からの投光パターン照射領域と、非照射領域とを、各々の画素値の差異に基づいて識別し、この識別処理により抽出された投光パターン照射領域を可測領域として求める処理である。
【００８４】
この処理フローから理解されるように、カメラ２，４０２と同軸、あるいは近傍から投光される投光パターンはランダム投光パターンであっても、パターンを持たない光であってもよい。すなわちカメラ２，４０２側からの投光領域と非投光領域がカメラ１，４０１の撮影した基準画像（Ｇ１１）において、その画素値に基づいて判別可能であればよい。
【００８５】
図８に戻る。ステップＳ８０４において、画像間対応付け手段４０６は、可測領域抽出手段４０５の抽出した可測領域のみについて、カメラ１，４０１と、カメラ２，４０２が撮影した投影パターン付き画像の対応付け処理を実行する。
【００８６】
ステップＳ８０５において、距離画像生成手段４０７は、画像間対応付け手段４０６における対応付け処理の結果に基づいて、予め格納された視差と距離との対応テーブルを使用して各画素の距離データを導出し、各画素毎に距離データを対応付けた距離画像を出力する。
【００８７】
このように、本発明の距離画像生成装置では、カメラ２，４０２と同軸または近傍から投光照射された計測対象画像に基づいて、計測対象の投光領域と非投光領域とを区別し、投光領域を距離データを算出可能な可測領域として抽出し、画像間対応付け手段４０６において可測領域についてのみ画像間対応付け処理を実行するように構成したので、画像間対応付けが不可能な領域を予め排除して画像間対応付け処理を実行することができるので、正確な距離画像を得ることが可能となる。
【００８８】
次に、図１０、図１１を用いて、投影パターン付き基準画像と、投影パターンを付けない基準画像との両画像から距離検出可能領域を抽出する処理態様を説明する。
【００８９】
図１０のステップＳ１００１は、パターン光を照射するステップであり、図４におけるカメラ２，４０２と同軸または近傍の照射手段から計測対象４００に対してランダムパターンを照射する。
【００９０】
ステップＳ１００２において、カメラ１，４０１と、カメラ２，４０２は、計測対象４００についての投影パターン付き画像を撮影し、それぞれフレーム・メモリ４０３，４０４に格納する。カメラ１，４０１の撮影した計測対象４００についての投影パターン付き画像をＧ１１とし、カメラ２，４０２の撮影した計測対象４００についての投影パターン付き画像をＧ１２とする。ここで、計測対象４００において投影パターンの照射された部分は、明るく明瞭な領域となり、照射光の到達しない部分は、暗い領域となる。
【００９１】
次にステップＳ１００３において、パターン光の照射を停止し、ステップＳ１００４において、投影パターンのないカメラ１，４０１による撮影画像を撮り込み、フレーム・メモリ４０３に格納する。この投影パターンの付与されていないカメラ１，４０１による撮影画像をＧ２１とする。
【００９２】
ステップＳ１００５において、可測領域抽出手段４０５は、フレーム・メモリ４０３に格納されたカメラ１，４０１の撮影した投影パターン付き画像Ｇ１１と、投影パターン無しの基準画像Ｇ２１とに基づいて可測領域の抽出処理を実行する。このステップＳ１００５の可測領域抽出処理についての詳細を図１１のフローを用いて説明する。
【００９３】
図１１のステップＳ１１０１において、可測領域抽出手段４０５は、パラメータにより変動する強調関数Ｔ［ｇ］を用いて基準画像Ｇ１１の画素値を強調し、例えば計測対象４００における投光パターンが照射された領域の明るさ（画素値）を強調した強調画像Ｔ［Ｇ１１］を生成する。ステップＳ１１０２において、可測領域抽出手段４０５は、強調画像Ｔ［Ｇ１１］とパターンなしの基準画像Ｇ２１の対応画素の画素値の差分を示す差分画像Ｅを生成する。ステップＳ１１０３において、可測領域抽出手段４０５は、差分画像Ｅを構成する画素の画素値の総和ＳＵＭ＿Ｅ（現ＳＵＭ＿Ｅとする）を算出する。
【００９４】
ステップＳ１１０４において、可測領域抽出手段４０５は、記憶しているＳＵＭ＿Ｅと現ＳＵＭ＿Ｅとを比較して小さい方のＳＵＭ＿Ｅと、対応する強調関数Ｔ［ｇ］を記憶する。なお、１回目のステップＳ１１０４の処理においては、現ＳＵＭ＿Ｅが記憶される。
【００９５】
ここで画素値ｇを変数とする強調関数Ｔ［ｇ］について説明する。強調関数Ｔ［ｇ］としては、次式（１）に示す第１の例、または次式（２）に示す第２の例が用いられる。
【００９６】
【数２】
【００９７】
ただし、ｇｍａｘは、基準画像Ｇ１１の中の画素値の最大値である。ｇｋ、ＴｋおよびＴｍａｘは、パラメータであり、パラメータが変更されることにより強調関数Ｔ［ｇ］が変動する。
【００９８】
【数３】
【００９９】
ただし、ｇｍａｘは、基準画像Ｇ１１の中の画素値の最大値である。ｇｋ、ＴｋおよびＴｍａｘは、パラメータであり、パラメータが変更されることにより強調関数Ｔ［ｇ］が変動する。
【０１００】
図１１に戻り可測領域抽出処理の説明を続ける。ステップＳ１１０５において、可測領域抽出手段４０５は、変動可能な範囲のすべての強調関数Ｔ［ｇ］を、ステップＳ１１０１の処理で適用したか否か（強調関数Ｔ［ｇ］のパラメータを十分に変化させたか否か）を判定し、全ての強調関数Ｔ［ｇ］を適用していないと判定した場合、ステップＳ１１０６に進む。ステップＳ１１０６において、可測領域抽出手段４０５は、強調関数Ｔ［ｇ］のパラメータを所定の量だけ変化させて強調関数Ｔ［ｇ］を変動させた後、ステップＳ１１０１に戻る。
【０１０１】
その後、ステップＳ１１０１以降の処理が実行され、ステップＳ１１０５において、すべての強調関数Ｔ［ｇ］が適用された場合、ステップＳ１１０７に進む。なお、ステップＳ１１０１乃至Ｓ１１０６の処理が繰り返される間のステップＳ１１０４の処理により、差分画像Ｅを構成する画素の画素値の総和ＳＵＭ＿Ｅの最小値と、それに対応する強調関数Ｔｍｉｎ［ｇ］が記憶されることになる。
【０１０２】
ステップＳ１１０７において、可測領域抽出手段４０５は、強調関数Ｔｍｉｎ［ｇ］に対応する差分画像Ｅの画素値のヒストグラムを生成する。ステップＳ１１０８において、可測領域抽出手段４０５は、ステップＳ１１０７において生成したヒストグラムを用い、図９のステップＳ９０２乃至Ｓ９１３の処理と同様にして、差分画像Ｅの中の可測領域を抽出する。
【０１０３】
図１１で示す可測領域抽出処理により、カメラ１，４０１の撮影したパターン付き画像である基準画像Ｇ１１と、カメラ１，４０１の撮影したパターンなし画像である基準画像Ｇ２１とに基づいて、可測領域が抽出される。図１１で示す可測領域抽出処理は、カメラ２，４０２方向からの投光パターン照射領域と、非照射領域とを、カメラ１，４０１の撮影したパターン付き基準画像Ｇ１１とパターンなし基準画像Ｇ２１各々の画素値の差異に基づいて識別し、この識別処理により抽出された投光パターン照射領域を可測領域として求める処理である。
【０１０４】
この処理フローから理解されるように、カメラ２，４０２と同軸、あるいは近傍から投光される投光パターンはランダム投光パターンであっても、パターンを持たない光であってもよい。すなわちカメラ２，４０２側からの投光領域と非投光領域がカメラ１，４０１の撮影した２つの基準画像（Ｇ１１、Ｇ２１）の画素値に基づいて判別可能であればよい。
【０１０５】
図１０に戻る。ステップＳ１００６において、画像間対応付け手段４０６は、可測領域抽出手段４０５の抽出した可測領域のみについて、カメラ１，４０１と、カメラ２，４０２が撮影した投影パターン付き画像の対応付け処理を実行する。
【０１０６】
ステップＳ１００７において、距離画像生成手段４０７は、画像間対応付け手段４０６における対応付け処理の結果に基づいて、予め格納された視差と距離との対応テーブルを使用して各画素の距離データを導出し、各画素毎に距離データを対応付けた距離画像を出力する。
【０１０７】
この例においても、カメラ２，４０２と同軸または近傍から投光照射された計測対象画像に基づいて、計測対象の投光領域と非投光領域とを区別し、投光領域を距離データを算出可能な可測領域として抽出し、画像間対応付け手段４０６において可測領域についてのみ画像間対応付け処理を実行するように構成したので、画像間対応付けが不可能な領域を予め排除して画像間対応付け処理を実行することができるので、正確な距離画像を得ることが可能となる。
【０１０８】
このように、本発明の距離画像生成装置および距離画像生成方法では、２つの異なる位置からの計測対象撮影画像に基づく画像間対応付けを実行して距離画像を求める構成において、基準カメラの撮影した投光パターン照射画像、あるいは投光パターン照射画像と投光パターン非照射画像に基づいて投光パターン照射領域を求め、この領域を画像間対応付けの可能な領域、すなわち可測領域として設定し、距離画像を求めて出力する構成としたものである。
【０１０９】
なお、上述の実施例では、画像撮り込みを行なうカメラを２台として、２つの投光パターン画像から距離画像を求める構成について説明したが、さらに３台以上のカメラを用いたマルチベースラインステレオシステムにおいて本発明を適用することも可能である。また、前述したように、パターンを持たない光照射によって照射領域を求めて、これを可測領域としてもよい。
【０１１０】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。また、上述の実施例を適宜組み合わせて構成したものも、本発明の範囲に含まれるものであり、本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１１１】
【発明の効果】
以上、詳記したように、本発明の距離画像生成装置および距離画像生成方法によれば、カメラ２（検出カメラ）側に配置した投光手段の照射画像をカメラ１（基準カメラ）で撮り込み、基準カメラの撮影した投光パターン照射画像、あるいは投光パターン照射画像と投光パターン非照射画像に基づいて投光パターン照射領域を求め、これを画像間対応付けの可能な領域、すなわち可測領域として設定し、距離画像を求めて出力する構成としたので、画像間の対応付けが困難な領域、いわゆるオクルージョン領域を排除して距離画像を生成することが可能となり、誤った距離データを持った距離画像の生成を回避できる。
【０１１２】
さらに、本発明の距離画像生成装置および距離画像生成方法によれば、画像間の対応付けが困難な領域、いわゆるオクルージョン領域を排除して距離画像を生成する構成したので、画像間対応付け処理および距離画像生成処理においてオクルージョン領域を除いた可測領域についてのみの処理が可能となり処理量、計算量の削減が達成される。
【図面の簡単な説明】
【図１】本発明において使用される三次元情報取得構成として適用可能なステレオ法について説明した図である。
【図２】ステレオ法を適用した距離画像生成において行われる画像間対応付け処理について説明する図である。
【図３】ステレオ法を適用した距離画像生成におけるオクルージョン領域の発生について説明する図である。
【図４】本発明の距離画像生成装置の構成を示す図である。
【図５】撮影手段であるカメラと投光手段とを同軸構成とした本発明の距離画像生成装置の構成例と計測対象の可測領域の具体例を説明する図である。
【図６】本発明の距離画像生成装置におけるカメラ部と投光手段とを同軸構成とした例を説明する図である。
【図７】撮影手段であるカメラと投光手段とを近傍に配置した構成とした本発明の距離画像生成装置の構成例と計測対象の可測領域の具体例を説明する図である。
【図８】本発明の距離画像生成装置における距離画像生成処理フロー（例１）を示す図である。
【図９】本発明の距離画像生成装置における可測領域抽出処理フロー（例１）を示す図である。
【図１０】本発明の距離画像生成装置における距離画像生成処理フロー（例２）を示す図である。
【図１１】本発明の距離画像生成装置における可測領域抽出処理フロー（例２）を示す図である。
【符号の説明】
３０１ 計測対象
３０２ 基準カメラ
３０３ 検出カメラ
４００ 計測対象
４０１ カメラ１
４０２ カメラ２
４０３ フレームメモリ１ａ
４０４ フレームメモリ２ａ
４０５ 可測領域抽出手段
４０６ 画像間対応付け手段
４０７ 距離画像生成手段
４０８ 画像メモリ
４０９ 出力手段
５０１ 計測対象
５０２ カメラ１
５０３ カメラ２
５０４ 投光パターン
５０５ 可測領域抽出部
５０６ 画像間対応付け及び距離画像生成部
５１１ 投光手段
６０１ 計測対象
６０２ 投光手段
６０３ 投光パターン
６０４ カメラ
６０５ ハーフミラー
６１１ 照射光
６１２ 入射光
【発明の属する技術分野】
本発明は、物体の三次元形状を求め、距離画像を生成する距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体に関する。特に三次元空間上で、ある距離範囲に存在する物体を複数の異なる位置から撮影した画像を用いて被写体表面の三次元形状を計測して距離画像を生成するステレオ画像法において好適な距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体に関する。
【０００２】
【従来の技術】
物体の三次元形状を求める従来手法として、大きく分けて能動的手法（アクティブ手法）と受動的手法（パッシブ手法）がある。能動的手法としては、光を投射して、その光が反射して帰ってくるまでの時間を測定することで各計測対象物体までの距離を求める方法や、計測対象にスリット状のパターン光をあてて計測対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。
【０００３】
また、受動的手法として代表的なものは、三角測量の原理を利用したステレオ法であり、これは２台以上のカメラを使って、その画像間での各画素の対応点を見つけることで、その位置関係（視差）を求め、計測対象までの距離を計測する方法である。
【０００４】
ステレオ法について、その原理を簡単に説明する。ステレオ法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで計測対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと検出カメラにより異なる視点から同一対象物を撮影して、それぞれの画像内の計測対象物の距離を三角測量の原理により測定する。
【０００５】
図１は、ステレオ法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ １）と検出カメラ（Ｃａｍｅｒａ ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
【０００６】
基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している検出カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
【０００７】
基準カメラにおけるポイント「ｍｂ」の位置は、検出カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、検出カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
【０００８】
図１には、エピポーラ・ラインと、検出カメラ画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、検出カメラ画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【０００９】
以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラ・ライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ画像法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得する。取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。
【００１０】
上述のステレオ画像法は１台の基準カメラと１台の検出カメラとを用いた構成としたが、検出カメラを複数用いたマルチベースラインステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の検出カメラによって撮影される画像を用い、複数の検出カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌Ｄ−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１３１７−１３２７ １９９２年８月、に記載されている。
【００１１】
上述のように、ステレオ法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで計測対象物の三次元空間における位置を求めようとするものである。
【００１２】
従来から、よく使われている「対応点付け」の手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａｒｅａ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である（Ｃ．Ｌａｗｒｅｎｃｅ Ｚｉｔｎｉｃｋ ａｎｄ Ｊｏｎ Ａ． Ｗｅｂｂ： Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ Ｕｓｉｎｇ Ｓｕｒｆａｃｅ Ｅｘｔｒａｃｔｉｏｎ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ＣＭＵ−ＣＳ−９６−１９６， （１９９６）参照）。
【００１３】
Ａｒｅａ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である（奥富、金出： 複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ， Ｎｏ．８， ｐｐ．１３１７−１３２７， （１９９２）、横山、三輪、芦ヶ原、小柳津、林、後： Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ、 ＳＲＦ’９７、（１９９７）、金出、木村： ビデオレート・ステレオマシン、日本ロボット学会誌、Ｖｏｌ．１３， Ｎｏ．３， ｐｐ．３２２〜３２６， （１９９５）、金出、蚊野、木村、川村、吉田、織田： ビデオレートステレオマシンの開発、日本ロボット学会誌、Ｖｏｌ．１５， Ｎｏ．２， ｐｐ．２６１〜２６７， （１９９７）、山口、高地、井口： 適応ウィンドウ法を用いた石像計測のためのステレオ対応付け、人文科学とコンピュータ、Ｖｏｌ．３２， Ｎｏ．１０， ｐｐ．５５〜６０， （１９９６）、横矢： 最近の信号処理総合特集号 コンピュータビジョンの最近の話題、システム／制御／情報、Ｖｏｌ．３８， Ｎｏ．８， ｐｐ．４３６〜４４１， （１９９４）参照）。
【００１４】
Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．Ｂａｋｅｒ ａｎｄ Ｔ．Ｏ．Ｂｉｎｆｏｒｄ： Ｄｅｐｔｈ ｆｒｏｍ ｅｄｇｅａｎｄ ｉｎｔｅｎｓｉｔｙ ｂａｓｅｄ ｓｔｅｒｅｏ， Ｉｎ Ｐｒｏｃ． ＩＪＣＡＩ’８１， （１９８１）、石山、角保、河井、植芝、富田： セグメントベーストステレオにおける対応候補探索、信学技報、Ｖｏｌ．９６， Ｎｏ．１３６， （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ： Ｃｏｍｐｕｔａｔｉｏｎａｌ ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ａ ｆｅａｔｕｒｅ ｂａｓｅｄ ｓｔｅｒｅｏ ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．１７〜３４， （１９８５））。
【００１５】
上記の各手法の特徴を整理すると、次のようになる。
（１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−ｂａｓｅｄマッチングは各々の画素に対して、対応点を探索するので、求められた距離画像は密である。一方、Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけに対して、対応付けを行うので、得られた距離画像は疎である。
【００１６】
（２）Ａｒｅａ−ｂａｓｅｄマッチングは、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに比べて、計算コストがかかるが、アルゴリズムの高速化によって、必ずしも解決できない問題ではない。
【００１７】
（３）Ｐｉｘｅｌ−ｂａｓｅｄマッチングは、画素間の対応付けだけを行うため、計算速度がかなり速いが、左右カメラ間の特性の違いによって、画素間の濃淡値を用いる対応付けが容易ではない。
【００１８】
上述の特徴から、一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であり、よく使われている。
【００１９】
一般的なＡｒｅａ−ｂａｓｅｄマッチングによるステレオ視の対応点の求め方について図２を用いて説明する。図２（ａ）は、基準カメラの観測画像であり、図２（ｂ）は検出カメラによる観測画像である。基準カメラによる観測画像上の点ｍｂの周辺の小領域Ｗをテンプレートとして、検出カメラ画像のエピポーラライン上の数点における画像相関値を求める。この図に示す例の場合は、距離分解能はｍ１〜ｍ６の６点で、この距離番号１〜６が例えば撮影した基準カメラから１ｍ、２ｍ、３ｍ、４ｍ、５ｍ、６ｍの距離に対応しているとする。
【００２０】
各点の画像相関値は、例えば以下に示す式を用いて求める評価値を用いることができる。なお、以下に示す式中のＩ（ｘ）は基準カメラで撮影した基準画像における輝度値、Ｉ’（ｘ’）は検出カメラで撮影した検出カメラ画像の輝度値を示している。
【００２１】
【数１】
上記式を用いて得られる図２のｍ１〜ｍ６の６点での評価値中、最も低いところを対応点とする。これを示したのが図２の下段のグラフである。図２に示す例の場合は、ｍ３の位置、すなわちカメラから３ｍの位置を距離データとする。なお、さらにサンプリングデータ間の補間処理を実行してサンプルデータ以外の部分において最も低い点を求めることも可能である。この補間処理を行なった場合、図２のグラフのｍ３とｍ４の間にある点が最小の評価値であり、この場合、計測対象はカメラから約３．３ｍの距離であるとされる。なお、エピポーラライン、およびエピポーラライン上の位置と物体との距離との関係は、予めキャリブレーションによって求めておく。例えば基準カメラ画像上のすべての画素に対して、各距離に応じた検出カメラ画像上の対応点の座標をテーブルにして保持しておく。
【００２３】
このように、基準カメラ画像と検出カメラ画像とのマッチング処理を各測定点の画素について繰り返し実行することにより、全ての画素に対する三次元形状データを得ることができる。
【００２４】
【発明が解決しようとする課題】
しかしながら、実際には、基準カメラ画像と検出カメラ画像から全ての画素の対応付け処理を正確に行なうことは困難である。これは、ステレオ法は上述したように２つ以上のカメラを用いて異なる視点から計測対象画像を撮り込む構成であるので、一方のカメラで観察されている計測対象の領域が、他方のカメラでは観察されない領域となる場合があるからである。この領域をオクルージョン領域という。このオクルージョンの発生はステレオ法を用いた距離計測における問題点である。
【００２５】
このオクルージョン領域の発生は、計測対象に凹凸がある場合に顕著に表れる。このオクルージョンの発生メカニズムについて図３を用いて説明する。
【００２６】
図３の上段に示す計測対象３０１の距離をステレオ法により算出しようとする場合、計測対象３０１に対して異なる方向から、基準カメラ３０２と検出カメラ３０３を用いて像を撮り込む。図３下段に示す（ａ）が基準カメラ３０２で撮り込んだ計測対象の画像である。（ｂ）は、検出カメラ３０３で撮り込んだ計測対象の画像である。
【００２７】
ステレオ法においては、前述の図２で説明したように基準カメラ画像と検出カメラ画像の２つの画像について画像間対応付け処理を実行する。具体的には、図３（ａ）に示す基準カメラ画像の各画素について、（ｂ）に示す検出カメラ画像の対応点を探索することになる。図３（ａ）、（ｂ）から理解されるように、計測対象の面Ａ、Ｂは、両画像において観察されている。しかし、面Ｃは、図３（ａ）の基準カメラ画像では観察されているが、図３（ｂ）の検出カメラ画像には観察されていない。このように、ステレオ法では計測対象を異なる視点から観察するために、一方のカメラでは観察されている面が他方のカメラでは観察されない領域が発生する。この領域がオクルージョン領域であり、このオクルージョン領域では、画像間の対応付け処理が正確に行なえない。
【００２８】
ステレオ法における画像間対応付け処理は、先に図２を用いて説明したように、画像間の相関が最大になる点を探索して、その点を対応点とする処理であるので、基準カメラ画像に実際に対応する点が検出画像上に存在しない場合であっても、相関の最大点を対応点として処理することになる。従って、オクルージョン領域においては誤った対応点に基づく視差データが生成され、結果として誤った距離画像が出力されることになる。
【００２９】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、上述のようなオクルージョン領域での誤った画像間対応付け処理および誤った距離画像の生成を回避する構成を提供する。すなわち、基準カメラで撮り込まれた画像上において、対応付け処理が可能な領域（可測領域）と対応付けが不可能な領域（測定不可領域：オクルージョン領域）とを識別して、誤った距離画像の生成を回避することを可能とした距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体を提供するものである。
【００３０】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
計測対象を異なる方向から撮影した画像を用いて計測対象の三次元形状を求め、距離画像を生成する距離画像生成装置であり、
前記計測対象の画像を撮り込む第１カメラと、
前記第１カメラと異なる方向から前記計測対象の画像を撮り込む第２カメラと、
前記第２カメラと同軸または近傍位置に配置され、前記計測対象にパターン光を照射する投光手段と、
前記投光手段により光照射がなされた計測対象を前記第１カメラによって撮り込んだ光照射基準画像に基づいて、距離データの算出可能な可測領域を抽出する可測領域抽出手段と、
前記第１カメラによって撮り込まれたパターン光の付与された第１画像と、前記第２カメラによって撮り込まれたパターン光の付与された第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて前記可測領域抽出手段の抽出した可測領域のみの距離画像を出力する距離画像生成手段とを有することを特徴とする距離画像生成装置にある。
【００３１】
さらに、本発明の距離画像生成装置の一実施態様において、前記可測領域抽出手段は、前記計測対象の前記投光手段による光照射領域と、光非照射領域とを前記光照射基準画像に基づいて判別し、光照射領域を可測領域として抽出する構成であることを特徴とする。
【００３２】
さらに、本発明の距離画像生成装置の一実施態様において、前記可測領域抽出手段は、前記投光手段により光照射がなされた計測対象を前記第１カメラによって撮り込んだ光照射基準画像と、前記投光手段により光照射がなされていない計測対象を前記第１カメラによって撮り込んだ光非照射基準画像との両画像に基づいて、距離データの算出可能な可測領域を抽出する構成を有することを特徴とする。
【００３６】
さらに、本発明の距離画像生成装置の一実施態様において、前記距離画像生成手段は、前記第１カメラの撮り込み画像と、前記第２カメラの撮り込み画像の２つの画像間の対応付けを実行する画像間対応付け手段を有し、前記画像間対応付け手段は、前記可測領域抽出手段の抽出した可測領域のみの画素に関する画像間対応付け処理を実行する構成を有することを特徴とする。
【００３７】
さらに、本発明の第２の側面は、
計測対象を異なる方向から撮影した画像を用いて計測対象の三次元形状を求め距離画像を生成する距離画像生成方法であり、
計測対象の画像を第１カメラと、前記第１カメラと異なる方向に配置した第２カメラによって同時に撮り込む画像撮り込みステップであり、前記第２カメラと同軸または近傍位置に配置された投光手段によりパターン光の光照射がなされた前記計測対象の像を撮り込む画像撮り込みステップと、
前記第１カメラによって撮り込んだ光照射基準画像に基づいて、距離データの算出可能な可測領域を抽出する可測領域抽出ステップと、
前記第１カメラによって撮り込まれたパターン光の付与された第１画像と、前記第２カメラによって撮り込まれたパターン光の付与された第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて前記可測領域抽出手段の抽出した可測領域のみの距離画像を出力する距離画像生成ステップとを有することを特徴とする距離画像生成方法にある。
【００３８】
さらに、本発明の距離画像生成方法の一実施態様において、前記可測領域抽出ステップは、前記計測対象の前記投光手段による光照射領域と、光非照射領域とを前記光照射基準画像に基づいて判別し、光照射領域を可測領域として抽出することを特徴とする。
【００３９】
さらに、本発明の距離画像生成方法の一実施態様において、前記可測領域抽出ステップは、前記投光手段により光照射がなされた計測対象を前記第１カメラによって撮り込んだ光照射基準画像と、前記投光手段により光照射がなされていない計測対象を前記第１カメラによって撮り込んだ光非照射基準画像との両画像に基づいて、距離データの算出可能な可測領域を抽出することを特徴とする。
【００４３】
さらに、本発明の距離画像生成方法の一実施態様において、前記距離画像生成ステップは、前記第１カメラの撮り込み画像と、前記第２カメラの撮り込み画像の２つの画像間の対応付けを実行する画像間対応付けステップを有し、前記画像間対応付けステップは、前記可測領域抽出ステップにおいて抽出された可測領域のみの画素に関する画像間対応付け処理を実行することを特徴とする。
【００４４】
さらに、本発明の第３の側面は、
計測対象を異なる方向から撮影した画像を用いて計測対象の三次元形状を求め距離画像を生成する距離画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
計測対象の画像を第１カメラと、前記第１カメラと異なる方向に配置した第２カメラによって同時に撮り込む画像撮り込みステップであり、前記第２カメラと同軸または近傍位置に配置された投光手段によりパターン光の光照射がなされた前記計測対象の像を撮り込む画像撮り込みステップと、
前記第１カメラによって撮り込んだ光照射基準画像に基づいて、距離データの算出可能な可測領域を抽出する可測領域抽出ステップと、
前記第１カメラによって撮り込まれたパターン光の付与された第１画像と、前記第２カメラによって撮り込まれたパターン光の付与された第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて前記可測領域抽出手段の抽出した可測領域のみの距離画像を出力する距離画像生成ステップとを有することを特徴とするプログラム提供媒体にある。
【００４５】
本発明の第３の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００４６】
このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００４７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４８】
【発明の実施の形態】
まず、図４に本発明の距離画像生成装置の構成ブロック図を示す。図４は、画像パターンの投光によって計測対象の三次元形状または距離画像の計測を行なう装置である。例えば二値または濃淡のランダム点群によって構成されるランダムテクスチャからなるパターンを生成し、これをカメラ２と同軸の投光器によって計測対象に投光する。計測対象にランダムパターンを投光することにより、計測対象が白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象である場合も、パターン付き画像を用いた画像間対応付け処理が可能になり、画像間のマッチング処理がより正確に実行できる。
【００４９】
図４に示す距離画像生成装置の概要について説明する。距離画像生成装置は、先に説明したステレオ法を適用して計測対象の三次元形状を計測するものであり、立体形状を持つ、例えば人の顔等の被計測対象物に対して角度の異なる位置に配置した２つのカメラ、いわゆる基準カメラ（カメラ１，４０１）と検出カメラ（カメラ２，４０２）を用いて画像を撮り込み、これら２つのカメラの撮影する画像に基づいて図１で説明したステレオ法に基づいて被計測対象物の表面形状を計測するものである。
【００５０】
本発明の距離画像生成装置において、ランダムパターンは、カメラ２，４０２と同軸、または近傍に構成された投光手段によって照射される。この投光パターンは一様乱数や正規乱数に基づく非周期的投光パターンである。投光されるパターンは例えば非周期投光パターンであり、例えばドットのサイズ、線の長さ、太さ、位置、濃度等に周期性を持たないパターンである。
【００５１】
非周期的パターンは例えば予めスライド等に形成され、スライドを介して光照射することによって計測対象に対してパターンを投影する。あるいは、透過型液晶表示素子等を用いて動的にランダムパターンを生成して、これを投影してもよい。計測対象４００の表面に形成された非周期パターンを計測対象とともに撮像することにより、距離画像生成時の基準カメラと検出カメラの撮像データの対応付けを容易にすることができる。
【００５２】
なお、図４の構成のように計測対象４００にランダムテクスチャ投光パターンを照射するのは、計測対象が例えば壁、人の顔等のように表面の各部を区別する特徴が少なく、基準カメラ画像と検出カメラ画像の画像間対応付けが困難である場合に、撮影画像にランダムパターンを付与して画像間対応付け処理を実行しやすくするためのものである。従って、計測対象が十分特徴的なものである場合は、必ずしもパターン照射が必要となるものではない。
【００５３】
本発明の目的とする可測領域の抽出のためには、パターン光を用いることが必須となるものではなく、例えば、パターンの無い光、例えばフラッシュ光を検出カメラ（カメラ２，４０２）側から投光してもよい。すなわち、距離計測用の基準カメラ（カメラ１，４０１）と検出カメラの双方において、検出カメラ側からの投光領域を基準カメラ画像に基づいて判定し、この領域を距離検出可能な領域、すなわち測定可能領域として抽出するものである。従って、基準カメラ画像に基づいて検出カメラ側からの投光領域、すなわち光照射領域が検出されればよく、パターンが必須となるものではない。従って、計測対象が十分特徴的なものである場合は、パターンを伴わない光照射とすることも可能である。ただし以下に説明する実施例では、より一般的な例としてパターン光を計測対象４００に投光した例について説明する。
【００５４】
図４の構成について説明する。カメラ１，４０１とカメラ２，４０２は、計測対象４００に対して異なる視線方向に配置されて、各視線方向からランダムパターンの投影された計測対象４００を撮影する。各カメラによって撮影される画像は、同期したタイミングで撮り込まれる。カメラ１，４０１、カメラ２，４０２から撮り込まれる画像は、この例ではランダムパターンの付加された画像であり、距離画像の生成、すなわち画像間対応付け処理が高精度に実行可能な画像である。カメラ１，４０１、カメラ２，４０２から撮り込まれた画像は、それぞれＡ／Ｄ変換器を介してフレームメモリ１ａ，４０３，フレームメモリ２ａ，４０４に格納される。
【００５５】
フレームメモリ１ａ，４０３に格納された画像データは、可測領域抽出手段４０５に出力され、可測領域抽出手段４０５において、基準カメラ画像中の距離画像検出可能な領域、いわゆる可測領域が抽出される。この可測領域は、基準カメラ画像領域の中で、カメラ２，４０２によっても撮り込まれていると判定される画像領域である。この可測領域抽出手段４０５における可測領域抽出方法については、後段で詳細に説明する。
【００５６】
可測領域抽出手段４０５において抽出された可測領域データは、カメラ１，４０１によって撮り込まれた画像データとともに、画像対応付け手段４０６に出力される。なお、図中では、可測領域抽出手段４０５と、画像対応付け手段４０６は説明のために別構成として示してあるが、画像対応付け手段４０６が可測領域抽出手段４０５の機能、すなわちカメラ１，４０１の撮り込み画像に基づく可測領域抽出処理を併せて実行する構成であってもよい。
【００５７】
画像対応付け手段４０６は、さらにフレームメモリ２ａ，４０４に格納されたカメラ２，４０２の撮り込み画像を入力し、可測領域抽出手段４０５の抽出した可測領域について画像間の対応付け処理を実行する。画像対応付け手段４０６は、カメラ１，４０１の撮影した画像の各画素に対するカメラ２，４０２の撮影した検出画像の画素の対応付け処理を行ない、基準画像に対する検出画像の視差データを距離画像生成手段４０７に出力する。
【００５８】
画像間対応付け手段４０６は、可測領域抽出手段４０５の抽出した可測領域にある画素についてのみ前述の対応点探索を行なう構成してもよいが、あるいは、カメラ１，４０１の撮り込み画像全体について、画像間対応付け処理を行なって、その後、可測領域にあるデータのみを取り出す構成としてもよい。
【００５９】
距離画像生成手段４０７は、画像対応付け手段４０６における画像間対応付け処理によって得られる視差データに基づいて距離画像を生成する。なお、距離画像とは、各画素に、その画素が示す計測対象表面のカメラ座標系を基準とした距離情報が保持された画像である。例えば距離に応じた濃淡データを画素毎に割り当てた画像である。なお、可測領域の抽出処理を距離画像生成後において行なう構成としてもよい。距離画像の生成は各画像の補正値等を設定したキャリブレーションパラメータを用いて行われる。距離画像生成手段４０７の生成した距離画像は画像メモリ４０８を介して出力手段４０９に出力される。
【００６０】
なお、図４に示す構成の各ブロックにおける処理、およびブロック間データ転送制御等は、図示しない制御手段によって制御され、所定のメモリ、例えばＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光ディスク等の記憶媒体に記録された制御プログラムによって制御することができる。また、図示しない入力手段によってユーザがコマンド、パラメータ等を入力して各制御態様を変更することが可能である。
【００６１】
図５に具体的な計測対象の可測領域と、その抽出処理構成を説明する図を示す。図５において計測対象５０１は、２つの異なる方向からカメラ１，５０２、カメラ２，５０３によって撮影される。カメラ２，５０３はランダムパターン５０４を計測対象に投影する投光手段を撮影手段としてのカメラと同軸に有している。カメラ２，５０３は同じレンズを介して画像を撮影する第１の機能と、パターン光を照射する第２の機能を実行可能な構成を有する。すなわち、レンズを通してパターン光を計測対象５０１に結像させる系と、レンズを通して外部から入射された光が撮像面に結像される系の光学中心、すなわちレンズによって集光される点が一致している。
【００６２】
ハーフミラーを用いてパターン投光手段と撮影カメラとを同軸構成とした例を図６に示す。投光パターン６０３を計測対象６０１に投影する例えばスライドプロジェクタによって構成される投光手段６０２と、計測対象の像を撮り込むカメラ６０４とを各々の光軸が直角に交わるように配置し、その光軸の交点：Ｏにハーフミラー６０５を配置する。ハーフミラー６０５で反射された投光手段６０２の光軸をカメラ６０４の光軸と一致させ、交点：Ｏから投光手段６０２の光学中心までの距離と、すなわち交点：Ｏからカメラ６０４の光学中心までの距離とを同じに設定、すなわち投光手段６０２とカメラ６０４の光学中心を一致させる。
【００６３】
投光手段６０２から発せられた照射光（パターン光）６１１は、ハーフミラー６０５を介して反射され、計測対象６０１に投影される。照射光（パターン光）を投影された計測対象６０１の像は、ハーフミラー６０５を介してカメラ６０４によって撮り込まれる。なお、図６は、ハーフミラーを用いた例を示しているが、本発明の距離画像生成装置では、同軸、あるいは近傍において投光および撮像が可能な構成であればよい。
【００６４】
図５に戻って可測領域抽出について説明を続ける。カメラ１，５０２によって撮り込まれた画像は可測領域抽出部５０５において、パターン光照射部分と非照射部分を識別する処理によって可測領域が抽出される。さらに、画像間対応付け及び距離画像生成部５０６において、可測領域についての距離画像が生成される。
【００６５】
図５の下段に示す図は、カメラ１，５０２によって撮り込まれた画像（ａ）と、カメラ２，５０３によって撮り込まれた画像（ｂ）を示している。この例の場合、図５（ａ）のグレー部分：Ｃが（ｂ）のカメラ２，５０３の撮影画像には含まれない領域となる。この領域がオクルージョン領域であり、測定不可能領域である。可測領域抽出部５０５は、図５（ａ）の基準カメラ画像から可測領域としてＡの面とＢの面を抽出する。可測領域抽出方法については、図８乃至図１１を用いて後段で説明する。
【００６６】
図５、図６においては、投光パターン投光手段と、計測対象の像を撮り込むカメラとを同軸構成とした例を説明したが、これらの２つの手段を同軸にすることなく、それぞれの手段を近接した位置に配置する構成としても、ほぼ同様の効果を得ることができる。この構成例を図７に示す。
【００６７】
図７から理解されるように、カメラ２，５０３に隣接して投光パターン５０４を投光するための投光手段５１１が配置される。カメラ２，５０３と投光手段５１１は同軸構成ではないが、それぞれの手段は近接して配置されており、カメラ１，５０１によって撮り込まれる画像中の投光パターン照射部は、ほぼカメラ２によって撮り込まれる画像部分に一致することになる。このように投光パターン投光手段と、像を撮り込むカメラとを近接して配置する構成としても同様の効果が得られる。
【００６８】
次に、図８乃至図１１を用いて、本発明の距離画像生成装置における処理フロー、特に可測領域抽出手段における可測領域抽出処理の詳細を説明する。
【００６９】
図８、図９は、本発明の距離画像生成装置において、投影パターン付き基準画像のみから距離検出可能領域、すなわち可測領域を抽出する構成例を説明するフローであり、図１０、図１１は、投影パターン付き基準画像と、投影パターンを付けない基準画像との両画像から可測領域を抽出する構成例を説明するフローである。
【００７０】
まず、図８、図９の処理フローについて図４の構成図に基づいて説明する。図８のステップＳ８０１は、パターン光を照射するステップであり、図４におけるカメラ２，４０２と同軸または近傍の照射手段から計測対象４００に対してランダムパターンを照射する。
【００７１】
ステップＳ８０２において、カメラ１，４０１と、カメラ２，４０２は、計測対象４００についての投影パターン付き画像を撮影し、それぞれフレーム・メモリ４０３，４０４に格納する。ここで、計測対象４００において投影パターンの照射された部分は、明るく明瞭な領域となり、照射光の到達しない部分は、暗い領域となる。
【００７２】
ステップＳ８０３において、可測領域抽出手段４０５は、フレーム・メモリ４０３に格納されたカメラ１，４０１の撮影した投影パターン付き画像に基づいて可測領域の抽出処理を実行する。このステップＳ８０３の可測領域抽出処理についての詳細を図９のフローを用いて説明する。
【００７３】
なお、図９のフローにおいて、カメラ１，４０１の撮影したパターン付き画像は、基準画像Ｇ１１とする。図９のステップＳ９０１において、可測領域抽出手段４０５は、基準画像Ｇ１１を構成する画素値のヒストグラムＨ（ｋ）を生成する。ステップＳ９０２において、可測領域抽出手段４０５は、ヒストグラムＨ（ｋ）を最大とする（最も出現頻度が高い）画素値をＫｂとする。
【００７４】
ステップＳ９０３において、可測領域抽出手段４０５は、ラベリング未処理画素数ｒを０に初期化する。また、可測領域抽出手段４０５は、内蔵する座標記憶用バッファｘ［ｒ］，ｙ［ｒ］を初期化する。ステップＳ９０４において、可測領域抽出手段４０５は、基準画像Ｇ１１の中で画素値Ｋｂを有する画素を１つ検出し、その座標を注目画素の座標（ｉ，ｊ）に代入する。
【００７５】
ステップＳ９０５において、可測領域抽出手段４０５は、基準画像Ｇ１１の注目画素の画素値ｇ（ｉ，ｊ）を取得する。ステップＳ９０６において、可測領域抽出手段４０５は、注目画素に隣接する８つの画素のうちの１つの画素値ｇ（ｉ＋ｍ，Ｊ＋ｎ）（ｍ，ｎ＝−１，０，１）を取得する。
【００７６】
ステップＳ９０７において、可測領域抽出手段４０５は、注目する画素（座標（ｉ，ｊ））にラベルＬ０が付与されているか否かを判定し、さらに注目する画素の画素値ｇ（ｉ，ｊ）と、隣接する画素の画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）の差の絶対値が所定の閾値（例えば２）よりも小さいか否かを判定する。注目する画素にラベルＬ０が付与されておらず、かつ隣接する画素の画素値ｇ（ｉ＋ｍ，ｊ＋ｎ）と画素値ｇ（ｉ，ｊ）との差の絶対値が所定の値よりも小さいと判定された場合、ステップＳ９０８に進む。
【００７７】
ステップＳ９０８において、可測領域抽出手段４０５は、ラベリング未処理画素数ｒを１だけインクリメントし、隣接する画素のｘ座標（＝ｉ＋ｍ）を座標記憶用バッファｘ［ｒ］に記録し、ｙ座標（＝ｊ＋ｎ）を座標記憶用バッファｙ［ｒ］に記録する。
【００７８】
ステップＳ９０９において、可測領域抽出手段４０５は、注目する画素に隣接する８つ全ての画素に対してステップＳ９０６、Ｓ９０７の処理を施したか否かを判定し、隣接する画素にステップＳ９０６，Ｓ９０７の処理を施していないものが存在すると判定した場合、ステップＳ９０６に戻り、それ以降の処理を繰り返す。その後、ステップＳ９０９で隣接する８つの画素にステップＳ９０６，Ｓ９０７の処理を施したと判定された場合、ステップＳ９１０に進む。
【００７９】
ステップＳ９１０において、可測領域抽出手段４０５は、注目画素（座標（ｉ，ｊ））にラベルＬ０を付与する。ここで、ラベルＬ０は最も出現頻度が高い画素値を有する画素、すなわち、背景領域と、カメラ２と同軸または近傍に配置された投光手段からの光が照射されない部分に対応する画素に付与されることとなる。投光手段からの光が照射されない部分は、オクルージョン領域に対応する、従って、ラベルＬ０の付与された領域を距離計測不可能な領域として判別することで、可測領域を抽出することができる。
【００８０】
ステップＳ９１１において、可測領域抽出手段４０５は、ラベリング未処理画素数ｒが０であるか否かを判定し、ラベリング未処理画素数ｒが０ではないと判定した場合、ステップＳ９１２に進む。
【００８１】
ステップＳ９１２において、可測領域抽出手段４０５は、座標記憶用バッファｘ［ｒ］に記録されている値を注目画素のｘ座標とし、座標記憶用バッファｙ［ｒ］に記録されている値を注目画素のｙ座標とする。これにより、先ほどまでの注目画素に隣接し、かつ画素値がほぼ等しい画素が新たな注目画素とされる。その後、可測領域抽出手段４０５は、ラベリング未処理画素数ｒを１だけデクリメントして、ステップＳ９０５に戻る。
【００８２】
その後、ステップＳ９０５乃至Ｓ９１２の処理が、ステップＳ９１１においてラベリング未処理画素数ｒが０であると判定されるまで、繰り返され、ステップＳ９１１において、ラベリング未処理画素数ｒが０であると判定された場合、ステップＳ９１３に進む。ステップＳ９１３において、可測領域抽出手段４０５は、基準画像Ｇ１１の中でラベルＬ０が付与されていない画素からなる領域であって、かつ最も大きい領域を可測領域として抽出する。
【００８３】
図９で示す可測領域抽出処理により、カメラ１，４０１の撮影したパターン付き画像である基準画像Ｇ１１に基づいて、可測領域が抽出される。図９で示す可測領域抽出処理は、カメラ２，４０２方向からの投光パターン照射領域と、非照射領域とを、各々の画素値の差異に基づいて識別し、この識別処理により抽出された投光パターン照射領域を可測領域として求める処理である。
【００８４】
この処理フローから理解されるように、カメラ２，４０２と同軸、あるいは近傍から投光される投光パターンはランダム投光パターンであっても、パターンを持たない光であってもよい。すなわちカメラ２，４０２側からの投光領域と非投光領域がカメラ１，４０１の撮影した基準画像（Ｇ１１）において、その画素値に基づいて判別可能であればよい。
【００８５】
図８に戻る。ステップＳ８０４において、画像間対応付け手段４０６は、可測領域抽出手段４０５の抽出した可測領域のみについて、カメラ１，４０１と、カメラ２，４０２が撮影した投影パターン付き画像の対応付け処理を実行する。
【００８６】
ステップＳ８０５において、距離画像生成手段４０７は、画像間対応付け手段４０６における対応付け処理の結果に基づいて、予め格納された視差と距離との対応テーブルを使用して各画素の距離データを導出し、各画素毎に距離データを対応付けた距離画像を出力する。
【００８７】
このように、本発明の距離画像生成装置では、カメラ２，４０２と同軸または近傍から投光照射された計測対象画像に基づいて、計測対象の投光領域と非投光領域とを区別し、投光領域を距離データを算出可能な可測領域として抽出し、画像間対応付け手段４０６において可測領域についてのみ画像間対応付け処理を実行するように構成したので、画像間対応付けが不可能な領域を予め排除して画像間対応付け処理を実行することができるので、正確な距離画像を得ることが可能となる。
【００８８】
次に、図１０、図１１を用いて、投影パターン付き基準画像と、投影パターンを付けない基準画像との両画像から距離検出可能領域を抽出する処理態様を説明する。
【００８９】
図１０のステップＳ１００１は、パターン光を照射するステップであり、図４におけるカメラ２，４０２と同軸または近傍の照射手段から計測対象４００に対してランダムパターンを照射する。
【００９０】
ステップＳ１００２において、カメラ１，４０１と、カメラ２，４０２は、計測対象４００についての投影パターン付き画像を撮影し、それぞれフレーム・メモリ４０３，４０４に格納する。カメラ１，４０１の撮影した計測対象４００についての投影パターン付き画像をＧ１１とし、カメラ２，４０２の撮影した計測対象４００についての投影パターン付き画像をＧ１２とする。ここで、計測対象４００において投影パターンの照射された部分は、明るく明瞭な領域となり、照射光の到達しない部分は、暗い領域となる。
【００９１】
次にステップＳ１００３において、パターン光の照射を停止し、ステップＳ１００４において、投影パターンのないカメラ１，４０１による撮影画像を撮り込み、フレーム・メモリ４０３に格納する。この投影パターンの付与されていないカメラ１，４０１による撮影画像をＧ２１とする。
【００９２】
ステップＳ１００５において、可測領域抽出手段４０５は、フレーム・メモリ４０３に格納されたカメラ１，４０１の撮影した投影パターン付き画像Ｇ１１と、投影パターン無しの基準画像Ｇ２１とに基づいて可測領域の抽出処理を実行する。このステップＳ１００５の可測領域抽出処理についての詳細を図１１のフローを用いて説明する。
【００９３】
図１１のステップＳ１１０１において、可測領域抽出手段４０５は、パラメータにより変動する強調関数Ｔ［ｇ］を用いて基準画像Ｇ１１の画素値を強調し、例えば計測対象４００における投光パターンが照射された領域の明るさ（画素値）を強調した強調画像Ｔ［Ｇ１１］を生成する。ステップＳ１１０２において、可測領域抽出手段４０５は、強調画像Ｔ［Ｇ１１］とパターンなしの基準画像Ｇ２１の対応画素の画素値の差分を示す差分画像Ｅを生成する。ステップＳ１１０３において、可測領域抽出手段４０５は、差分画像Ｅを構成する画素の画素値の総和ＳＵＭ＿Ｅ（現ＳＵＭ＿Ｅとする）を算出する。
【００９４】
ステップＳ１１０４において、可測領域抽出手段４０５は、記憶しているＳＵＭ＿Ｅと現ＳＵＭ＿Ｅとを比較して小さい方のＳＵＭ＿Ｅと、対応する強調関数Ｔ［ｇ］を記憶する。なお、１回目のステップＳ１１０４の処理においては、現ＳＵＭ＿Ｅが記憶される。
【００９５】
ここで画素値ｇを変数とする強調関数Ｔ［ｇ］について説明する。強調関数Ｔ［ｇ］としては、次式（１）に示す第１の例、または次式（２）に示す第２の例が用いられる。
【００９６】
【数２】
ただし、ｇｍａｘは、基準画像Ｇ１１の中の画素値の最大値である。ｇｋ、ＴｋおよびＴｍａｘは、パラメータであり、パラメータが変更されることにより強調関数Ｔ［ｇ］が変動する。
【００９８】
【数３】
ただし、ｇｍａｘは、基準画像Ｇ１１の中の画素値の最大値である。ｇｋ、ＴｋおよびＴｍａｘは、パラメータであり、パラメータが変更されることにより強調関数Ｔ［ｇ］が変動する。
【０１００】
図１１に戻り可測領域抽出処理の説明を続ける。ステップＳ１１０５において、可測領域抽出手段４０５は、変動可能な範囲のすべての強調関数Ｔ［ｇ］を、ステップＳ１１０１の処理で適用したか否か（強調関数Ｔ［ｇ］のパラメータを十分に変化させたか否か）を判定し、全ての強調関数Ｔ［ｇ］を適用していないと判定した場合、ステップＳ１１０６に進む。ステップＳ１１０６において、可測領域抽出手段４０５は、強調関数Ｔ［ｇ］のパラメータを所定の量だけ変化させて強調関数Ｔ［ｇ］を変動させた後、ステップＳ１１０１に戻る。
【０１０１】
その後、ステップＳ１１０１以降の処理が実行され、ステップＳ１１０５において、すべての強調関数Ｔ［ｇ］が適用された場合、ステップＳ１１０７に進む。なお、ステップＳ１１０１乃至Ｓ１１０６の処理が繰り返される間のステップＳ１１０４の処理により、差分画像Ｅを構成する画素の画素値の総和ＳＵＭ＿Ｅの最小値と、それに対応する強調関数Ｔｍｉｎ［ｇ］が記憶されることになる。
【０１０２】
ステップＳ１１０７において、可測領域抽出手段４０５は、強調関数Ｔｍｉｎ［ｇ］に対応する差分画像Ｅの画素値のヒストグラムを生成する。ステップＳ１１０８において、可測領域抽出手段４０５は、ステップＳ１１０７において生成したヒストグラムを用い、図９のステップＳ９０２乃至Ｓ９１３の処理と同様にして、差分画像Ｅの中の可測領域を抽出する。
【０１０３】
図１１で示す可測領域抽出処理により、カメラ１，４０１の撮影したパターン付き画像である基準画像Ｇ１１と、カメラ１，４０１の撮影したパターンなし画像である基準画像Ｇ２１とに基づいて、可測領域が抽出される。図１１で示す可測領域抽出処理は、カメラ２，４０２方向からの投光パターン照射領域と、非照射領域とを、カメラ１，４０１の撮影したパターン付き基準画像Ｇ１１とパターンなし基準画像Ｇ２１各々の画素値の差異に基づいて識別し、この識別処理により抽出された投光パターン照射領域を可測領域として求める処理である。
【０１０４】
この処理フローから理解されるように、カメラ２，４０２と同軸、あるいは近傍から投光される投光パターンはランダム投光パターンであっても、パターンを持たない光であってもよい。すなわちカメラ２，４０２側からの投光領域と非投光領域がカメラ１，４０１の撮影した２つの基準画像（Ｇ１１、Ｇ２１）の画素値に基づいて判別可能であればよい。
【０１０５】
図１０に戻る。ステップＳ１００６において、画像間対応付け手段４０６は、可測領域抽出手段４０５の抽出した可測領域のみについて、カメラ１，４０１と、カメラ２，４０２が撮影した投影パターン付き画像の対応付け処理を実行する。
【０１０６】
ステップＳ１００７において、距離画像生成手段４０７は、画像間対応付け手段４０６における対応付け処理の結果に基づいて、予め格納された視差と距離との対応テーブルを使用して各画素の距離データを導出し、各画素毎に距離データを対応付けた距離画像を出力する。
【０１０７】
この例においても、カメラ２，４０２と同軸または近傍から投光照射された計測対象画像に基づいて、計測対象の投光領域と非投光領域とを区別し、投光領域を距離データを算出可能な可測領域として抽出し、画像間対応付け手段４０６において可測領域についてのみ画像間対応付け処理を実行するように構成したので、画像間対応付けが不可能な領域を予め排除して画像間対応付け処理を実行することができるので、正確な距離画像を得ることが可能となる。
【０１０８】
このように、本発明の距離画像生成装置および距離画像生成方法では、２つの異なる位置からの計測対象撮影画像に基づく画像間対応付けを実行して距離画像を求める構成において、基準カメラの撮影した投光パターン照射画像、あるいは投光パターン照射画像と投光パターン非照射画像に基づいて投光パターン照射領域を求め、この領域を画像間対応付けの可能な領域、すなわち可測領域として設定し、距離画像を求めて出力する構成としたものである。
【０１０９】
なお、上述の実施例では、画像撮り込みを行なうカメラを２台として、２つの投光パターン画像から距離画像を求める構成について説明したが、さらに３台以上のカメラを用いたマルチベースラインステレオシステムにおいて本発明を適用することも可能である。また、前述したように、パターンを持たない光照射によって照射領域を求めて、これを可測領域としてもよい。
【０１１０】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。また、上述の実施例を適宜組み合わせて構成したものも、本発明の範囲に含まれるものであり、本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１１１】
【発明の効果】
以上、詳記したように、本発明の距離画像生成装置および距離画像生成方法によれば、カメラ２（検出カメラ）側に配置した投光手段の照射画像をカメラ１（基準カメラ）で撮り込み、基準カメラの撮影した投光パターン照射画像、あるいは投光パターン照射画像と投光パターン非照射画像に基づいて投光パターン照射領域を求め、これを画像間対応付けの可能な領域、すなわち可測領域として設定し、距離画像を求めて出力する構成としたので、画像間の対応付けが困難な領域、いわゆるオクルージョン領域を排除して距離画像を生成することが可能となり、誤った距離データを持った距離画像の生成を回避できる。
【０１１２】
さらに、本発明の距離画像生成装置および距離画像生成方法によれば、画像間の対応付けが困難な領域、いわゆるオクルージョン領域を排除して距離画像を生成する構成したので、画像間対応付け処理および距離画像生成処理においてオクルージョン領域を除いた可測領域についてのみの処理が可能となり処理量、計算量の削減が達成される。
【図面の簡単な説明】
【図１】本発明において使用される三次元情報取得構成として適用可能なステレオ法について説明した図である。
【図２】ステレオ法を適用した距離画像生成において行われる画像間対応付け処理について説明する図である。
【図３】ステレオ法を適用した距離画像生成におけるオクルージョン領域の発生について説明する図である。
【図４】本発明の距離画像生成装置の構成を示す図である。
【図５】撮影手段であるカメラと投光手段とを同軸構成とした本発明の距離画像生成装置の構成例と計測対象の可測領域の具体例を説明する図である。
【図６】本発明の距離画像生成装置におけるカメラ部と投光手段とを同軸構成とした例を説明する図である。
【図７】撮影手段であるカメラと投光手段とを近傍に配置した構成とした本発明の距離画像生成装置の構成例と計測対象の可測領域の具体例を説明する図である。
【図８】本発明の距離画像生成装置における距離画像生成処理フロー（例１）を示す図である。
【図９】本発明の距離画像生成装置における可測領域抽出処理フロー（例１）を示す図である。
【図１０】本発明の距離画像生成装置における距離画像生成処理フロー（例２）を示す図である。
【図１１】本発明の距離画像生成装置における可測領域抽出処理フロー（例２）を示す図である。
【符号の説明】
３０１ 計測対象
３０２ 基準カメラ
３０３ 検出カメラ
４００ 計測対象
４０１ カメラ１
４０２ カメラ２
４０３ フレームメモリ１ａ
４０４ フレームメモリ２ａ
４０５ 可測領域抽出手段
４０６ 画像間対応付け手段
４０７ 距離画像生成手段
４０８ 画像メモリ
４０９ 出力手段
５０１ 計測対象
５０２ カメラ１
５０３ カメラ２
５０４ 投光パターン
５０５ 可測領域抽出部
５０６ 画像間対応付け及び距離画像生成部
５１１ 投光手段
６０１ 計測対象
６０２ 投光手段
６０３ 投光パターン
６０４ カメラ
６０５ ハーフミラー
６１１ 照射光
６１２ 入射光
Claims (9)
- 計測対象を異なる方向から撮影した画像を用いて計測対象の三次元形状を求め、距離画像を生成する距離画像生成装置であり、
前記計測対象の画像を撮り込む第１カメラと、
前記第１カメラと異なる方向から前記計測対象の画像を撮り込む第２カメラと、
前記第２カメラと同軸または近傍位置に配置されて、前記計測対象にパターン光を照射する投光手段と、
前記投光手段により光照射がなされた計測対象を前記第１カメラによって撮り込んだ光照射基準画像に基づいて、距離データの算出可能な可測領域を抽出する可測領域抽出手段と、
前記第１カメラによって撮り込まれたパターン光の付与された第１画像と、前記第２カメラによって撮り込まれたパターン光の付与された第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて前記可測領域抽出手段の抽出した可測領域のみの距離画像を出力する距離画像生成手段とを有することを特徴とする距離画像生成装置。 - 前記可測領域抽出手段は、
前記計測対象の前記投光手段による光照射領域と、光非照射領域とを前記光照射基準画像に基づいて判別し、光照射領域を可測領域として抽出する構成であることを特徴とする請求項１に記載の距離画像生成装置。 - 前記可測領域抽出手段は、
前記投光手段により光照射がなされた計測対象を前記第１カメラによって撮り込んだ光照射基準画像と、
前記投光手段により光照射がなされていない計測対象を前記第１カメラによって撮り込んだ光非照射基準画像との両画像に基づいて、距離データの算出可能な可測領域を抽出する構成を有することを特徴とする請求項１に記載の距離画像生成装置。 - 前記距離画像生成手段は、前記第１カメラの撮り込み画像と、前記第２カメラの撮り込み画像の２つの画像間の対応付けを実行する画像間対応付け手段を有し、
前記画像間対応付け手段は、
前記可測領域抽出手段の抽出した可測領域のみの画素に関する画像間対応付け処理を実行する構成を有することを特徴とする請求項１に記載の距離画像生成装置。 - 計測対象を異なる方向から撮影した画像を用いて計測対象の三次元形状を求め距離画像を生成する距離画像生成方法であり、
計測対象の画像を第１カメラと、前記第１カメラと異なる方向に配置した第２カメラによって同時に撮り込む画像撮り込みステップであり、前記第２カメラと同軸または近傍位置に配置された投光手段によりパターン光の光照射がなされた前記計測対象の像を撮り込む画像撮り込みステップと、
前記第１カメラによって撮り込んだ光照射基準画像に基づいて、距離データの算出可能な可測領域を抽出する可測領域抽出ステップと、
前記第１カメラによって撮り込まれたパターン光の付与された第１画像と、前記第２カメラによって撮り込まれたパターン光の付与された第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて前記可測領域抽出手段の抽出した可測領域のみの距離画像を出力する距離画像生成ステップとを有することを特徴とする距離画像生成方法。 - 前記可測領域抽出ステップは、
前記計測対象の前記投光手段による光照射領域と、光非照射領域とを前記光照射基準画像に基づいて判別し、光照射領域を可測領域として抽出することを特徴とする請求項５に記載の距離画像生成方法。 - 前記可測領域抽出ステップは、
前記投光手段により光照射がなされた計測対象を前記第１カメラによって撮り込んだ光照射基準画像と、
前記投光手段により光照射がなされていない計測対象を前記第１カメラによって撮り込んだ光非照射基準画像との両画像に基づいて、距離データの算出可能な可測領域を抽出することを特徴とする請求項５に記載の距離画像生成方法。 - 前記距離画像生成ステップは、
前記第１カメラの撮り込み画像と、前記第２カメラの撮り込み画像の２つの画像間の対応付けを実行する画像間対応付けステップを有し、
前記画像間対応付けステップは、
前記可測領域抽出ステップにおいて抽出された可測領域のみの画素に関する画像間対応付け処理を実行することを特徴とする請求項５に記載の距離画像生成方法。 - 計測対象を異なる方向から撮影した画像を用いて計測対象の三次元形状を求め距離画像を生成する距離画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
計測対象の画像を第１カメラと、前記第１カメラと異なる方向に配置した第２カメラによって同時に撮り込む画像撮り込みステップであり、前記第２カメラと同軸または近傍位置に配置された投光手段によりパターン光の光照射がなされた前記計測対象の像を撮り込む画像撮り込みステップと、
前記第１カメラによって撮り込んだ光照射基準画像に基づいて、距離データの算出可能な可測領域を抽出する可測領域抽出ステップと、
前記第１カメラによって撮り込まれたパターン光の付与された第１画像と、前記第２カメラによって撮り込まれたパターン光の付与された第２画像との画像間対応付け処理により視差データを生成して、該視差データに基づいて前記可測領域抽出手段の抽出した可測領域のみの距離画像を出力する距離画像生成ステップとを有することを特徴とするプログラム提供媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000017893A JP4337203B2 (ja) | 2000-01-24 | 2000-01-24 | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000017893A JP4337203B2 (ja) | 2000-01-24 | 2000-01-24 | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001208522A JP2001208522A (ja) | 2001-08-03 |
| JP4337203B2 true JP4337203B2 (ja) | 2009-09-30 |
Family
ID=18544820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000017893A Expired - Fee Related JP4337203B2 (ja) | 2000-01-24 | 2000-01-24 | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4337203B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4617965B2 (ja) * | 2005-03-31 | 2011-01-26 | ソニー株式会社 | 画像処理方法、その装置およびプログラム |
| EP2163847B1 (en) | 2007-06-15 | 2013-10-16 | Kabushiki Kaisha Toshiba | Instrument for examining/measuring an object to be measured |
| JP5336325B2 (ja) * | 2009-10-30 | 2013-11-06 | 大日本スクリーン製造株式会社 | 画像処理方法 |
| EP2568253B1 (en) * | 2010-05-07 | 2021-03-10 | Shenzhen Taishan Online Technology Co., Ltd. | Structured-light measuring method and system |
| JP5587137B2 (ja) * | 2010-10-29 | 2014-09-10 | キヤノン株式会社 | 測定装置及び測定方法 |
| JP2015049200A (ja) * | 2013-09-03 | 2015-03-16 | 株式会社東芝 | 計測装置、方法及びプログラム |
| CN105444696B (zh) * | 2015-12-30 | 2018-04-24 | 天津大学 | 一种基于透视投影直线测量模型的双目匹配方法及其应用 |
| JP2018189443A (ja) * | 2017-04-28 | 2018-11-29 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
| EP3832600A4 (en) * | 2019-03-14 | 2022-03-09 | OMRON Corporation | IMAGE PROCESSING DEVICE AND THREE-DIMENSIONAL MEASUREMENT SYSTEM |
| CN111340737B (zh) * | 2020-03-23 | 2023-08-18 | 北京迈格威科技有限公司 | 图像矫正方法、装置和电子系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3047017B2 (ja) * | 1991-07-31 | 2000-05-29 | 工業技術院長 | 画像処理方法 |
| JP2921496B2 (ja) * | 1996-07-15 | 1999-07-19 | 三菱電機株式会社 | 画像処理装置および物体移載装置 |
| JPH11264724A (ja) * | 1998-03-18 | 1999-09-28 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
| JP3384329B2 (ja) * | 1998-06-22 | 2003-03-10 | 富士ゼロックス株式会社 | ３次元画像撮影装置 |
-
2000
- 2000-01-24 JP JP2000017893A patent/JP4337203B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001208522A (ja) | 2001-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2650557C (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| US8433157B2 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| JP2001194114A (ja) | 画像処理装置および画像処理方法、並びにプログラム提供媒体 | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| JP2001264033A (ja) | 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体 | |
| KR20090055803A (ko) | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 | |
| JP4110501B2 (ja) | ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体 | |
| WO2012096747A1 (en) | Forming range maps using periodic illumination patterns | |
| JP2001008235A (ja) | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 | |
| JP2012181142A (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
| CN103916654A (zh) | 获得深度信息的方法和显示设备 | |
| JP4337203B2 (ja) | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 | |
| TW202014993A (zh) | 資訊處理裝置、記錄媒體、程式產品及資訊處理方法 | |
| US7280685B2 (en) | Object segmentation from images acquired by handheld cameras | |
| JP2001194126A (ja) | 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体 | |
| JP7184203B2 (ja) | 画像処理装置、３次元計測システム、画像処理方法 | |
| JP6411188B2 (ja) | ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法 | |
| CN116468769A (zh) | 一种基于图像的深度信息估计方法 | |
| CN105335959B (zh) | 成像装置快速对焦方法及其设备 | |
| JP3988574B2 (ja) | 画像処理装置 | |
| JP6285686B2 (ja) | 視差画像生成装置 | |
| EP3832601A1 (en) | Image processing device and three-dimensional measuring system | |
| Alqahtani et al. | 3d face tracking using stereo camera | |
| JP6655869B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Shao | Generation of temporally consistent multiple virtual camera views from stereoscopic image sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090622 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |