JP5071865B2 - 距離測定装置および方法並びにプログラム - Google Patents

Description

本発明は、被写体の立体形状を表す距離画像を生成する距離測定装置および方法並びに距離測定方法をコンピュータに実行させるためのプログラムに関するものである。

異なる位置に設けられた２台以上のカメラを用いて被写体を撮像し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の立体形状を表す距離画像を生成する手法が提案されている。

ここで、ステレオマッチングを行う際には、図３に示すように、基準画像Ｇ１上のある画素Ｑａに写像される実空間上の点は、点Ｑ１，Ｑ２，Ｑ３…というように点Ｏ１からの視線上に連続的に複数存在するため、実空間上の点Ｑ１ ，Ｑ２ ，Ｑ３… 等の写像である直線（エピポーラ線）上に、画素Ｑａに対応する参照画像Ｇ２上の画素Ｑａ′が存在することに基づいて対応点が探索される。なお、図３において点Ｏ１は基準カメラの視点、点Ｏ２は参照カメラの視点である。ここで、視点とは各カメラの光学系の焦点である。このようにステレオマッチングを行う際には、基準画像上に対応点探索の対象となる画素Ｑａを含む相関ウィンドウＷを設定し、参照画像上において基準画像に設定したものと同一の相関ウィンドウＷをエピポーラ線上に沿って移動し、移動位置毎に各画像上の相関ウィンドウ内の各画素についての相関を算出し、参照画像Ｇ２上における相関が最大となる相関ウィンドウの中央の位置にある画素を、画素Ｑａの対応点として求めている。

このように対応点を探索する際には、適切なサイズの相関ウィンドウを用いることにより対応点の探索精度が向上する。このため、基準画像と参照画像との類似度を表すエネルギー関数の期待値と、基準画像上の画素と参照画像上の画素との視差の確率から定められるエントロピーとから信頼度パラメータを算出し、信頼度パラメータに基づいて相関ウィンドウのサイズを決定する手法が提案されている（特許文献１参照）。また、基準画像および参照画像において２つの輝度レベルを設定し、２つの輝度レベルの間にある画像群を対応点探索のための比較領域とする手法が提案されている（特許文献２参照）。また、時系列データを対象として対応点探索のための相関を算出するに際し、相関が悪化した場合に、相関ウィンドウのサイズを大きくする手法が提案されている（特許文献３参照）。さらに、相関ウィンドウに含まれる画素毎の視差のばらつきを示す評価関数を作成し、相関ウィンドウのサイズを変化させながら評価関数の値を算出し、算出された値を最小とするサイズの相関ウィンドウを用いる手法も提案されている（非特許文献１参照）。
特開平５−２５６６１３号公報 特開２０００−２８３５４号公報 特開平１１−１２０３５１号公報 T.Kanade and M.Okumtomi, "A stereo Matching Algorithm with an Adaptive Window: Theory and Experiment", Proc.of the 1991 IEEE Intl.Conf. on Robotics and Automation, 1991, pp.1088-1095

しかしながら、上記特許文献１に記載された手法では、信頼度パラメータを最大化するための条件を算出することが難しく、演算量が膨大なものとなる。また、基準画像および参照画像において、輝度が等しい領域が必ずしも視差に対応する領域とはならないため、特許文献２に記載された手法では距離画像を精度よく算出することができない。また、特許文献３に記載された手法においては時系列データを対象としているため、静止画像を扱う場合には適用することができない。さらに、非特許文献１に記載された手法においては、評価関数を各相関ウィンドウのサイズ毎に算出する必要があるため、演算量が膨大なものとなる。

本発明は上記事情に鑑みなされたものであり、精度よく対応点を探索するための相関ウィンドウのサイズを、簡易に算出することを目的とする。

本発明による距離測定装置は、被写体を撮像することにより取得された、該被写体上の着目点までの距離を算出するための基準画像、および該基準画像を取得した位置とは異なる位置から前記被写体を撮像することにより取得された、前記距離を算出するための少なくとも１つの参照画像の入力を受け付ける入力手段と、
前記基準画像上の着目点が投影された対象点を通る所定方向において、所定輝度間隔にて設定された基準輝度レベルの境界にある境界画素を探索し、互いに隣接する前記境界画素間の画素数を算出し、該画素数に基づいて前記対象点に対する前記参照画像上の対応点を探索する際に使用される、前記基準画像および前記参照画像の相関を算出する基準となる相関ウィンドウのサイズを設定するウィンドウサイズ設定手段と、
前記基準画像上に設定された相関ウィンドウ内の各画素と、前記参照画像上に設定された相関ウィンドウ内の各画素との相関を算出することにより、前記対応点を探索する対応点探索手段と、
該探索した対応点に基づいて前記距離を算出する距離算出手段とを備えたことを特徴とするものである。

画像上における輝度変化が大きい場合、画像のエッジ成分であることが多いことから、相関ウィンドウのサイズが小さくても、精度よく相関を算出することができる。また、相関ウィンドウのサイズが小さいと相関算出のための演算量が少なくなる。一方、画像上における輝度変化が小さい場合、画像上の平坦部であることが多いため、相関ウィンドウのサイズを大きくしないと、精度よく相関を算出することができない。

本発明による距離測定装置は、基準画像上の対象点を通る所定方向において、所定輝度間隔にて設定された基準輝度レベルの境界にある境界画素を探索し、互いに隣接する境界画素間の画素数を算出し、画素数に基づいて対象点に対する参照画像上の対応点を探索する際に使用される相関ウィンドウのサイズを設定するようにしたものである。このため、基準画像上の対象点を通る所定方向において、輝度変化が小さい対象点ほど大きいサイズの相関ウィンドウが設定されることとなり、その結果、輝度の変化量に応じた適切なサイズの相関ウィンドウを設定することができる。したがって、簡易な演算により相関ウィンドウのサイズを適切に設定することができ、これにより、対応点探索の精度を向上させることができる。

なお、本発明による距離測定装置においては、前記所定方向を、前記基準画像の各画素を前記参照画像に写像することにより得られるエピポーラ線が延在する方向に対応する方向としてもよい。

これにより、対応点を探索する方向における輝度の変化を反映させて相関ウィンドウのサイズを設定することができるため、対応点探索の精度をより向上させることができる。

また、本発明による距離測定装置においては、前記ウィンドウサイズ設定手段を、前記基準画像における輝度のばらつきに応じて、前記所定輝度間隔を設定する手段としてもよい。

これにより、基準画像の輝度のばらつきの影響を相関ウィンドウのサイズの設定の処理から除去することができるため、基準画像の輝度のばらつきに影響されることなく、精度よく対応点を探索可能なサイズの相関ウィンドウを設定することができる。

また、本発明による距離測定装置においては、前記ウィンドウサイズ設定手段を、前記対象点の輝度が低いほど前記所定輝度間隔を小さくするように設定する手段としてもよい。

これにより、光ショットノイズのように高い輝度において変動レベルが異なるばらつきの影響を、相関ウィンドウのサイズの設定の処理から除去することができるため、精度よく対応点を探索可能なサイズの相関ウィンドウを設定することができる。

また、本発明による距離測定装置においては、前記ウィンドウサイズ設定手段を、前記基準輝度レベルの０レベルに少なくとも１つのレベルのオフセットを加算し、該オフセットが加算された基準輝度レベルを用いて前記相関ウィンドウのサイズを前記オフセットのレベル毎に設定し、前記対象点について、前記オフセットの加算前に設定した前記相関ウィンドウのサイズおよび前記オフセットのレベル毎に設定した前記相関ウィンドウのサイズのうち、最大サイズを最終的な相関ウィンドウのサイズに設定する手段としてもよい。

これにより、所定方向の輝度分布が極値を有する場合に、極値の付近において相関ウィンドウのサイズが小さくなってしまうことを防止することができ、その結果、極値の付近における対応点の探索の精度をより向上させることができる。

また、本発明による距離測定装置においては、前記ウィンドウサイズ設定手段を、一の境界画素と該一の境界画素に隣接する境界画素の基準輝度レベルが同一の場合、前記一の境界画素と基準輝度レベルが異なる最も近い位置にある境界画素との間の画素数に基づいて前記相関ウィンドウのサイズを設定する手段としてもよい。

これにより、所定方向の輝度分布が極値を有する場合に、極値の付近において相関ウィンドウのサイズが小さくなってしまうことを防止することができ、その結果、極値の付近における対応点の探索の精度をより向上させることができる。

また、本発明による距離測定装置においては、前記ウィンドウサイズ設定手段を、前記基準画像に対して平滑化フィルタによるフィルタリング処理を施し、該フィルタリングされた基準画像に基づいて、前記相関ウィンドウのサイズを設定する手段としてもよい。

これにより、基準画像に含まれるノイズ状の輝度変動成分の影響を相関ウィンドウのサイズの設定の処理から除去することができるため、精度よく対応点を探索可能なサイズの相関ウィンドウを設定することができる。

また、本発明による距離測定装置においては、前記対応点探索手段を、前記探索された対応点が誤対応点であるか否かを判定し、誤対応点であると判定された画素については、前記相関ウィンドウのサイズを大きくして再度前記対応点の探索を行う手段としてもよい。

これにより、演算量は多くなるものの、対応点探索の精度を向上させることができる。

また、本発明による距離測定装置においては、前記基準画像の全画素について前記距離を算出するよう前記ウィンドウサイズ設定手段、前記対応点探索手段および前記距離算出手段を制御する制御手段と、
前記基準画像の各画素の距離を画素値とする距離画像を生成する距離画像生成手段とを備えるものとしてもよい。

これにより、精度良く距離画像を生成することができる。

また、本発明による距離測定装置においては、前記対応点探索手段を、同一サイズの前記相関ウィンドウが設定された画素毎に、該相関ウィンドウのサイズが小さい順に、前記対応点をまとめて探索する手段としてもよい。

これにより、対応点を効率よく探索することができる。

また、この場合、前記対応点探索手段を、一のサイズの前記相関ウィンドウを用いて探索された対応点のうち、誤対応となる誤対応点が探索された前記基準画像の画素については、前記相関ウィンドウのサイズを一段階大きくし、該一段階大きいサイズの前記相関ウィンドウが設定された画素とともに前記対応点を探索する手段としてもよい。

これにより、次のサイズの相関ウィンドウを用いた対応点の探索の際に、誤対応点について再度の対応点の探索がなされることから、誤対応点についてのみ単独で対応点の探索を行う必要がなくなるため、誤対応点について効率よく対応点を探索できるとともに、対応点探索の精度を向上させることができる。

また、本発明による距離測定装置においては、前記ウィンドウサイズ設定手段を、前記相関ウィンドウのサイズを所定の複数のサイズ群に分類し、前記各画素の前記相関ウィンドウのサイズを、該各画素について設定した相関ウィンドウのサイズが分類された前記サイズ群における最大サイズに再設定する手段としてもよい。

これにより、効率よく対応点を探索することができる。

本発明による距離測定方法は、被写体を撮像することにより取得された、該被写体上の着目点までの距離を算出するための基準画像、および該基準画像を取得した位置とは異なる位置から前記被写体を撮像することにより取得された、前記距離を算出するための少なくとも１つの参照画像の入力を受け付け、
前記基準画像上の着目点が投影された対象点を通る所定方向において、所定輝度間隔にて設定された基準輝度レベルの境界にある境界画素を探索し、互いに隣接する前記境界画素間の画素数を算出し、該画素数に基づいて前記対象点に対する前記参照画像上の対応点を探索する際に使用される、前記基準画像および前記参照画像の相関を算出する基準となる相関ウィンドウのサイズを設定し、
前記基準画像上に設定された相関ウィンドウ内の各画素と、前記参照画像上に設定された相関ウィンドウ内の各画素との相関を算出することにより、前記対応点を探索し、
該探索した対応点に基づいて前記距離を算出することを特徴とするものである。

なお、本発明による距離測定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による距離測定装置を適用した立体撮像装置１の内部構成を示す概略ブロック図である。図１に示すように第１の実施形態による立体撮像装置１は、２つの撮像部２１Ａ，２１Ｂ、撮像制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。

図２は撮像部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮像部２１Ａ，２１Ｂは、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、ＣＣＤ１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。

レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。なお、本実施形態においては焦点位置は固定されているものとする。

絞り１１Ａ，１１Ｂは、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。なお、本実施形態においては絞り値データは固定されているものとする。

シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。なお、本実施形態においてはシャッタスピードは固定されているものとする。

ＣＣＤ１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、ＣＣＤ１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１４Ａ，１４Ｂは、ＣＣＤ１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１Ａ，２１ＢのＣＣＤ１３Ａ，１３Ｂにおいて取得され、デジタル信号に変換されることにより得られる画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。なお、撮像部２１Ａにより取得される画像データにより表される画像を基準画像Ｇ１、撮像部２１Ｂにより取得される画像データにより表される画像を参照画像Ｇ２とする。

撮像制御部２２は、レリーズボタン押下後に撮像の制御を行う。

なお、本実施形態においては、焦点位置、絞り値データおよびシャッタスピードは固定されているが、ＡＦ処理およびＡＥ処理を行って、撮影の都度、焦点位置、絞り値データおよびシャッタスピードを設定するようにしてもよい。この場合、焦点位置、絞り値データおよびシャッタスピードについて基準となる値と、被写体までの距離および撮影環境の明るさに応じて異なる焦点位置、絞り値データおよびシャッタスピードを記録したテーブルを内部メモリ２７に記憶しておき、ＡＦ処理およびＡＥ処理により得られる被写体までの距離および撮影環境の明るさに応じてこのテーブルを参照して、焦点位置、絞り値データおよびシャッタスピードを設定するようにしてもよい。

画像処理部２３は、撮像部２１Ａ，２１Ｂが取得したデジタルの画像データに対して、画像データの感度分布のばらつきおよび光学系の歪みを補正する補正処理を施すとともに、２つの画像を並行化するための並行化処理を施す。これらの処理後の基準画像および参照画像の参照符号を、それぞれＧ１ａ、Ｇ２ａとする。画像処理部２３は、さらに、基準画像Ｇ１ａおよび参照画像Ｇ２ａに対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。この画像処理により得られる基準画像および参照画像の参照符号を、それぞれＧ１ｂ、Ｇ２ｂとする。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施された基準画像Ｇ１ａ，Ｇ１ｂおよび参照画像Ｇ２ａ，Ｇ２ｂを表す画像データ並びに後述するように生成された距離画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。

フレームメモリ２５は、撮像部２Ａが取得した距離画像用のデータ、および撮像部２１Ａ，２１Ｂが取得した基準画像Ｇ１および参照画像Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして距離画像等の画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ２７は、ステレオカメラ２において設定される各種定数、およびＣＰＵ３３が実行するプログラム等を記憶する。

表示制御部２８は、フレームメモリ２５に格納された画像データをモニタ２０に表示させたり、記録メディア２９に記録されている画像をモニタ２０に表示させたりするためのものである。

また、立体撮像装置１は、ステレオマッチング部３０、距離画像生成部３１およびウィンドウサイズ設定部３２を備える。

ステレオマッチング部３０は、図３に示すように、基準画像Ｇ１上のある画素Ｑａに写像される実空間上の点は、点Ｑ１，Ｑ２，Ｑ３…というように点Ｏ１からの視線上に連続的に複数存在するため、実空間上の点Ｑ１ ，Ｑ２ ，Ｑ３… 等の写像である直線（エピポーラ線）上に、画素Ｑａに対応する参照画像Ｒ上の画素Ｑａ′が存在するということに基づいて、基準画像Ｇ１と参照画像Ｇ２との対応点を参照画像Ｇ２上において探索する。なお、図３において点Ｏ１は基準カメラとなる撮像部２１Ａの視点、点Ｏ２は参照カメラとなる撮像部２１Ｂの視点である。ここで、視点とは撮像部２１Ａ，２１Ｂの光学系の焦点である。また、点Ｏ１，Ｏ２を結ぶ直線と、基準画像Ｇ１，Ｇ２との交点Ｏ３，Ｏ４がエピポールである。また、対応点の探索は、画像処理が施された基準画像Ｇ１ｂおよび参照画像Ｇ２ｂを用いてもよいが、並行化処理までの処理が施された基準画像Ｇ１ａおよび参照画像Ｇ２ａを用いることが好ましい。以降では、対応点の探索は基準画像Ｇ１ａおよび参照画像Ｇ２ａを用いるものとして説明する。

具体的には、ステレオマッチング部３０は、対応点の探索を行う際に、後述するウィンドウサイズ設定部３２が設定したサイズの相関ウィンドウＷをエピポーラ線に沿って移動し、各移動位置において基準画像Ｇ１ａおよび参照画像Ｇ２ａの相関ウィンドウＷ内の画素についての相関を算出し、参照画像Ｇ２ａ上の相関が最大となる位置における相関ウィンドウＷの中心画素を、基準画像Ｇ１ａ上の画素Ｑａに対応する対応点とする。なお、相関を評価するための相関評価値としては、差分絶対値和および差分２乗和等を用いることができる。この場合、相関評価値が小さいほど、相関が大きいものとなる。

図４は並行化処理後の基準画像および参照画像の位置関係を説明するための図である。図４に示すように、撮像部２１Ａ，２１Ｂにおける基準画像Ｇ１ａおよび参照画像Ｇ２ａが得られる面となる画像面を、撮像部２１Ａ，２１Ｂの光軸とそれぞれ直交し、光軸との交点を原点とする座標系（ｕ，ｖ）、（ｕ′，ｖ′）とする。ここで、並行化処理により撮像部２１Ａ，２１Ｂの光軸は平行となり、２つの画像面は同一平面上にあり、画像面におけるｕ軸およびｕ′軸は同一直線上において同一方向を向くこととなる。また、並行化処理により、参照画像Ｇ２ａ上におけるエピポーラ線は、ｕ′軸に平行なものとなるため、基準画像Ｇ１ａ上におけるｕ軸も、参照画像Ｇ２ａのエピポーラ線の方向と一致することとなる。

ここで、撮像部２１Ａ，２１Ｂの焦点距離をｆ、基線長をｂとする。なお、焦点距離ｆおよび基線長ｂはキャリブレーションパラメータとしてあらかじめ算出されて内部メモリ２７に記憶されている。このとき、３次元空間上における位置（Ｘ，Ｙ，Ｚ）は、撮像部２１Ａの座標系を基準とすると、下記の式（１）〜（３）により表される。

Ｘ＝ｂ・ｕ／（ｕ−ｕ′） （１）
Ｙ＝ｂ・ｖ／（ｕ−ｕ′） （２）
Ｚ＝ｂ・ｆ／（ｕ−ｕ′） （３）
ここでｕ−ｕ′は、撮像部２１Ａ，２１Ｂの画像面上における投影点の横方向のずれ量（視差）である。また、式（３）より、奥行きである距離Ｚは視差に反比例することが分かる。

距離画像生成部３１は、ステレオマッチング部３０が求めた対応点を用いて、上記式（１）〜（３）により、撮像部２１Ａ，２１Ｂから被写体までの距離を算出し、算出された距離をＣＣＤ１３Ｂ，１３Ｃの各画素と対応づけて距離画像Ｄ１を生成する。なお、距離画像Ｄ１の各画素の画素値が撮像部２１Ａ，２１Ｂから被写体までの距離を表すものとなる。生成された距離画像Ｄ１は記録メディア２９に記録される。

ウィンドウサイズ設定部３２は、対応点を探索する際に使用する相関ウィンドウのサイズを設定する。以下、相関ウィンドウのサイズの設定について説明する。本実施形態においては、基準画像Ｇ１ａ上の、参照画像Ｇ２ａのエピポーラ線が延在する方向における輝度の変化に応じて、相関ウィンドウのサイズを設定するものである。ここで、基準画像Ｇ１ａおよび参照画像Ｇ２ａは並行化処理されているため、基準画像Ｇ１ａにおける参照画像Ｇ２ａのエピポーラ線が延在する方向に対応する方向はｕ軸方向となる。

なお、並行化処理前においては、相関ウィンドウのサイズを定める方向は、画像中の画素が並ぶ方向とは一致しない。この場合、相関ウィンドウのサイズを定める方向は、基準画像Ｇ１上における対象画素とエピポールとを結ぶ直線の方向（エピポーラ線が延在する方向）となる。なお、対象画素とエピポールとを結ぶ直線の方向は、並行化処理により画像中の画素が並ぶ方向（基準画像Ｇ１ａ上におけるｕ軸方向）と一致するものとなる。

図５は基準画像Ｇ１ａのｕ軸方向のある１ラインにおける輝度のプロファイルを示す図である。なお、図５において、横軸は基準画像Ｇ１ａ上におけるｕ軸方向の位置、縦軸は各画素における信号値、すなわち輝度である。また、縦軸の方向に所定輝度間隔にて基準輝度レベルを示す目盛りを破線にて示している。また、図５においては、基準輝度レベルの０レベルは輝度＝０と一致する。ここで、各基準輝度レベルの間を輝度区間と称し、各輝度区間には輝度区間番号が付与されるものとする。なお、輝度区間番号は輝度が小さい方から順に１，２，３…を用いるものとする。図５においては、輝度区間番号１〜４のみが示されている。

基準画像Ｇ１ａの左端の画素から右端に向けてプロファイル上を探索すると、プロファイルが基準輝度レベルの目盛りと交差する点が存在する。この点に対応する画素を境界画素Ｐ１〜Ｐ４とする。なお、基準画像Ｇ１ａの左端の画素を基準画素Ｐ０とする。そして、ウィンドウサイズ設定部３２は、基準画素Ｐ０および境界画素Ｐ１〜Ｐ４について、隣接する境界画素間の画素数Ｗ１〜Ｗ４を算出する。なお、画素数Ｗ１〜Ｗ４が偶数の場合は、画素数に１を加算して奇数に変更する。そして、ウィンドウサイズ設定部３２は、各境界画素Ｐ０〜Ｐ４の間にある画素については、その輝度区間に対応する画素数Ｗ１〜Ｗ４を相関ウィンドウのサイズに設定する。

ここで、ウィンドウサイズ設定部３２は、実際には基準画像の左端の画素から順に、相関ウィンドウのサイズを設定する。処理の詳細については後述する。

なお、基準輝度レベルを定めるための所定輝度間隔については、あらかじめ定められた一定値を用いてもよいが、基準画像Ｇ１ａの輝度のばらつきに応じて算出するようにしてもよい。ここで、理想的な感度分布補正が行われた場合、輝度変化のない画像の輝度のプロファイルは図６の破線に示すものとなるが、実際には撮像部２１Ａ，２１Ｂの感度のばらつきにより、図６の実線に示すように輝度にばらつきが生じるものとなる。この輝度のばらつきを正規分布と見なした場合の標準偏差をσ１とする。

一方、同一被写体を複数回撮影した場合、すべての画像の画素値が同一となるわけではなく、撮影毎に画素値のばらつき（繰り返しばらつき）が生じる。このばらつきを正規分布と見なした場合の標準偏差をσ２とする。

感度分布を補正した後の基準画像Ｇ１ａの各画素の画素値は、撮像部２１Ａ，２１Ｂの感度のばらつきおよび繰り返しばらつきを原因とするばらつきを有する。このばらつきの標準偏差σ０は、σ０＝√（σ１²＋σ２²）により算出される。ウィンドウサイズ設定部３２は、標準偏差σ０の３σ（＝３×σ０）を基準輝度レベルを定めるための輝度間隔として使用する。

ＣＰＵ３３は、レリーズボタンを含む入力部３４からの信号に応じて立体撮像装置１の各部を制御する。

データバス３５は、立体撮像装置１を構成する各部およびＣＰＵ３３に接続されており、立体撮像装置１における各種データおよび各種情報のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図７は第１の実施形態において行われる処理を示すフローチャートである。なお、ここではレリーズボタンが全押しされて撮像の指示が行われた以降の処理について説明する。

レリーズボタン４が全押しされることによりＣＰＵ３３が処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３３からの指示により被写体を撮像し、さらに取得した画像データに画像処理部２３が、補正処理、並行化処理および画像処理を施して基準画像Ｇ１ａ，Ｇ１ｂおよび参照画像Ｇ２ａ，Ｇ２ｂを取得する（ステップＳＴ１）。次いで、ウィンドウサイズ設定部３２が、並行化処理後の基準画像Ｇ１ａの各画素について相関ウィンドウのサイズを設定する（ステップＳＴ２）。

図８は第１の実施形態における相関ウィンドウのサイズの設定処理のフローチャートである。ウィンドウサイズ設定部３２は、まずウィンドウサイズを設定する対象画素を初期位置に設定し（ステップＳＴ１１）、対象画素の位置を記憶する（ステップＳＴ１２）。なお、初期位置は基準画像Ｇ１ａの左上隅の画素とする。そして、対象画素の輝度区間番号を算出して記憶する（ステップＳＴ１３）。なお、輝度間隔が一定の場合には、輝度区間番号は対象画素の輝度、すなわち信号値を所定輝度間隔により除算し、小数点以下を切り捨てることにより算出することができる。

次いで、ウィンドウサイズ設定部３２は、対象画素を１画素右の画素に変更し（ステップＳＴ１４）、対象画素の輝度区間番号を算出する（ステップＳＴ１５）。そして、輝度区間番号が前の対象画素から変化したか、または対象画素が基準画像Ｇ１ａの右端の画素であるか否かを判定する（ステップＳＴ１６）。ステップＳＴ１６が否定されるとステップＳＴ１４に戻り、ステップＳＴ１４以降の処理を繰り返す。

ステップＳＴ１６が肯定されると、ウィンドウサイズ設定部３２は、対象画素を境界画素として、ステップＳＴ１２において記憶した画素と対象画素との間の画素数を算出する（ステップＳＴ１７）。なお、画素数が偶数の場合は画素数を１加算して奇数に変更する。そして、ステップＳＴ１２において記憶した画素から対象画素の１画素左の画素までの間の画素について、相関ウィンドウのサイズをステップＳＴ１７において算出した画素数に設定する（ステップＳＴ１８）。

続いて、ウィンドウサイズ設定部３２は、対象画素が基準画像Ｇ１ａの右端の画素であるか否かを判定し（ステップＳＴ１９）、ステップＳＴ１９が肯定されると、対象画素が基準画像Ｇ１ａの最下行にあるか否かを判定する（ステップＳＴ２０）。ステップＳＴ２０が否定されると、対象画素を１ライン下のラインにおける左端の画素に設定し（ステップＳＴ２１）、対象画素の位置および対象画素の輝度区間番号を記憶し（ステップＳＴ２２）、ステップＳＴ１４の処理に戻る。一方、ステップＳＴ１９が否定されるとステップＳＴ２２の処理に進む。なお、ステップＳＴ２０が肯定されると処理を終了する。

図７に戻り、ステップＳＴ２に続いて、ステレオマッチング部３０が、設定したサイズの相関ウィンドウに基づいて対応点を探索し（ステップＳＴ３）、距離画像生成部３１が、探索した対応点に基づいて距離画像Ｄ１を生成する（ステップＳＴ４）。次いで、ＣＰＵ３３からの指示によりメディア制御部２６が距離画像Ｄ１を記録メディア２９に記録し（画像記録：ステップＳＴ５）、処理を終了する。

このように、第１の実施形態によれば、基準画像Ｇ１ａ上のエピポーラ線が延在する方向に対応するｕ軸方向において、輝度変化が小さい画素ほど大きいサイズの相関ウィンドウが設定されるため、基準画像Ｇ１ａの輝度の変化量に応じた適切なサイズの相関ウィンドウを設定することができる。したがって、簡易な演算により相関ウィンドウのサイズを適切に設定することができ、これにより、対応点探索の精度を向上させることができる。

また、エピポーラ線が延在する方向に対応する方向の輝度変化に応じて相関ウィンドウのサイズを設定しているため、参照画像Ｇ２における対応点を探索する方向における輝度の変化を反映させて相関ウィンドウのサイズを設定することができ、その結果、対応点探索の精度をより向上させることができる。

次いで、本発明の第２の実施形態について説明する。なお、本発明の第２の実施形態による立体撮像装置は、本発明の第１の実施形態による立体撮像装置１と同一の構成を有し、ウィンドウサイズ設定部３２が行う処理のみが異なるため、ここでは構成についての詳細な説明は省略する。上記第１の実施形態においては、基準輝度レベルの０レベルを輝度＝０に設定しているが、第２の実施形態においては、基準輝度レベルの０レベルに少なくとも１つのレベルのオフセットを加算し、オフセットが加算された基準輝度レベルを用いて、加算するオフセットのレベル毎に相関ウィンドウのサイズを設定するようにした点が第１の実施形態と異なる。

なお、オフセットとしては、輝度値のレベルとして１以上所定輝度間隔未満の値を用いるが、第２の実施形態においては、輝度値のレベルとして１〜所定輝度間隔−１の値を１刻みで用いるものとする。すなわち、所定輝度間隔が４であれば、オフセットとして１，２，３の値を用いるものとする。そして、第２の実施形態においては、図９に示すように、加算されるオフセットに応じて基準輝度レベルの目盛りを輝度が大きくなる方向にずらして相関ウィンドウのサイズを設定するものである。

図１０は第２の実施形態において行われる処理を示すフローチャートである。レリーズボタン４が全押しされることによりＣＰＵ３３が処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３３からの指示により被写体を撮像し、さらに取得した画像データに画像処理部２３が、補正処理、並行化処理および画像処理を施して基準画像Ｇ１ａ，Ｇ１ｂおよび参照画像Ｇ２ａ，Ｇ２ｂを取得する（ステップＳＴ３１）。次いで、ウィンドウサイズ設定部３２が、基準輝度レベルのオフセットを０に設定し（ステップＳＴ３２）、並行化処理後の基準画像Ｇ１ａの各画素について相関ウィンドウのサイズを設定する（ステップＳＴ３３）。なお、相関ウィンドウのサイズの設定の処理は上記第１の実施形態と同一であるため、ここでは詳細な説明は省略する。

次いで、基準輝度レベルの０レベルにオフセットとして１を加算し（オフセット＝オフセット＋１；ステップＳＴ３４）、さらに、加算されたオフセットが所定輝度間隔となったか否かを判定する（ステップＳＴ３５）。ステップＳＴ３５が否定されるとステップＳＴ３３に戻り、ステップＳＴ３３以降の処理を繰り返す。これにより、オフセットが所定輝度間隔−１となるまで、１刻みでオフセットが加算され、加算されるオフセットのレベル毎に相関ウィンドウのサイズが設定されることとなる。

そして、ウィンドウサイズ設定部３２は、基準画像Ｇ１ａの各画素について、オフセットのレベル毎（オフセット＝０を含む）に設定された相関ウィンドウのサイズのうち、最大となるサイズの相関ウィンドウを最終的な相関ウィンドウのサイズに設定する（ステップＳＴ３６）。

図１１は第２の実施形態における相関ウィンドウのサイズの設定を説明するための図である。なお、図１１においては、所定輝度間隔は４であり、オフセットは０，１，２，３であるものとする。また、図１１においてオフセット＝０の基準輝度レベルの目盛りを破線、オフセット＝１の基準輝度レベルの目盛りを一点鎖線、オフセット＝２の基準輝度レベルの目盛りを細い実線、オフセット＝３の基準輝度レベルの目盛りを二点差線にてそれぞれ示す。

輝度のプロファイルが図１１に示すものである場合において、点ｕ０にある画素についての相関ウィンドウを設定する場合を考える。オフセット＝０，１，２，３のそれぞれについて、相関ウィンドウのサイズはＷ１０〜Ｗ１３に示すものとなる。図１１に示すようにサイズＷ１０〜Ｗ１３のうち最も大きいものはＷ１１である。したがって、この場合、ウィンドウサイズ設定部３２は、相関ウィンドウのサイズを最も大きいＷ１１に設定する。

続いて、ステレオマッチング部３０が、設定したサイズの相関ウィンドウに基づいて対応点を探索し（ステップＳＴ３７）、距離画像生成部３１が、探索した対応点に基づいて距離画像Ｄ１を生成する（ステップＳＴ３８）。次いで、ＣＰＵ３３からの指示によりメディア制御部２６が距離画像Ｄ１を記録メディア２９に記録し（画像記録：ステップＳＴ３９）、処理を終了する。

このように相関ウィンドウのサイズを設定することにより、図１１に示すように輝度のプロファイルが極値を有する場合に、極値の付近において相関ウィンドウのサイズが小さくなってしまうことを防止することができ、その結果、極値の付近における対応点の探索の精度をより向上させることができる。

次いで、本発明の第３の実施形態について説明する。なお、本発明の第３の実施形態による立体撮像装置は、本発明の第１の実施形態による立体撮像装置１と同一の構成を有し、ウィンドウサイズ設定部３２が行う処理のみが異なるため、ここでは構成についての詳細な説明は省略する。上記第１の実施形態においては、相関ウィンドウのサイズを設定する処理において、輝度の区間番号が変わった場合にそこに相関ウィンドウのサイズを設定するための境界画素を設定しているが、輝度区間番号が変わりかつ輝度区間番号が１つ前の輝度区間番号とも異なる場合に、そこに相関ウィンドウのサイズを設定するための境界画素を設定するようにした点が第１の実施形態と異なる。

図１２は第３の実施形態における相関ウィンドウのサイズの設定処理のフローチャートである。まず、ウィンドウサイズ設定部３２は、ウィンドウサイズを設定する対象画素を初期位置に設定し（ステップＳＴ４１）、対象画素の位置を記憶する（ステップＳＴ４２）。なお、初期位置としては基準画像Ｇ１ａの左上隅の画素とする。そして、対象画素の輝度区間番号を算出して記憶する（ステップＳＴ４３）。

次いで、ウィンドウサイズ設定部３２は、対象画素を１画素右の画素に変更し（ステップＳＴ４４）、対象画素の輝度区間番号を算出する（ステップＳＴ４５）。そして、輝度区間番号が前の対象画素から変化し、かつ輝度区間番号が１つ前の輝度区間番号から変化したか、または対象画素が基準画像Ｇ１ａの右端の画素であるか否かを判定する（ステップＳＴ４６）。ステップＳＴ４６が否定されるとステップＳＴ４４に戻り、ステップＳＴ４４以降の処理を繰り返す。

ステップＳＴ４６が肯定されると、ウィンドウサイズ設定部３２は、対象画素を境界画素として、ステップＳＴ４２において記憶した画素と対象画素との間の画素数を算出する（ステップＳＴ４７）。なお、画素数が偶数の場合は画素数を１加算して奇数に変更する。そして、ステップＳＴ４２において記憶した画素から対象画素の１画素左の画素までの間の画素について、相関ウィンドウのサイズをステップＳＴ４７において算出した画素数に設定する（ステップＳＴ４８）。

続いて、ウィンドウサイズ設定部３２は、対象画素が基準画像Ｇ１ａの右端の画素であるか否かを判定し（ステップＳＴ４９）、ステップＳＴ４９が肯定されると、対象画素が基準画像Ｇ１ａの最下行にあるか否かを判定する（ステップＳＴ５０）。ステップＳＴ５０が否定されると、対象画素を１ライン下のラインにおける左端の画素に設定し（ステップＳＴ５１）、１つ前の輝度区間番号として対象画素の輝度区間番号を記憶し（ステップＳＴ５２）、さらに対象画素の位置および対象画素の輝度区間番号を記憶し（ステップＳＴ５３）、ステップＳＴ４４の処理に戻る。ステップＳＴ４９が否定されるとステップＳＴ５２の処理に進む。なお、ステップＳＴ５０が肯定されると処理を終了する。

図１３は第１の実施形態と第３の実施形態との相違を説明するための図である。図１３に示すように輝度が変化する場合において、第１の実施形態により相関ウィンドウのサイズを設定した場合、輝度のプロファイルは境界画素Ｐ１０〜Ｐ１４において基準輝度レベルの目盛りと交差するため、図１３（ａ）に示す各境界画素間の画素数Ｗ２１〜Ｗ２４が、各境界画素間の画素における相関ウィンドウのサイズとなる。

一方、第３の実施形態により相関ウィンドウのサイズを設定した場合、境界画素Ｐ１１，Ｐ１２，Ｐ１３は同一の基準輝度レベルの目盛りと交差するため、相関ウィンドウのサイズの設定には使用されず、基準輝度レベルが異なる境界画素Ｐ１４が相関ウィンドウのサイズの設定に使用される。このため、境界画素Ｐ１１，Ｐ１４間の画素については、図１３（ｂ）に示す境界画素Ｐ１１，Ｐ１４間の画素数Ｗ２５が相関ウィンドウのサイズに設定される。

ここで、図１３に示すように境界画素Ｐ１１〜Ｐ１３の間においては、輝度のプロファイルが極値を有することから、輝度値の変化が小さい。このため、相関ウィンドウのサイズがＷ２２，Ｗ２３のように小さいと相関を精度よく算出できず、対応点の算出精度が低下する。第３の実施形態においては、境界画素Ｐ１１〜Ｐ１４の間において相関ウィンドウのサイズをＷ２５のように大きく設定できるため、極値の付近における対応点の探索の精度をより向上させることができる。

なお、上記第３の実施形態においては、画像の左端から右端に向けて境界画素を求めて相関ウィンドウのサイズを設定しているが、画像の右端から左端に向けて境界画素を求めて相関ウィンドウのサイズを設定してもよい。

図１４は相関ウィンドウのサイズを画像の左端から右端に向けて設定した場合と、右端から左端に向けて設定した場合との相違を示す図である。図１４に示すように画像の右端から左端に向けて相関ウィンドウのサイズを設定すると、まず、境界画素Ｐ１４，Ｐ１３間の画素については、境界画素Ｐ１４，Ｐ１３間の画素数Ｗ２７が相関ウィンドウのサイズに設定される。また、境界画素Ｐ１１，Ｐ１２，Ｐ１３は同一の基準輝度レベルの目盛りと交差するため、相関ウィンドウのサイズの設定には使用されず、基準輝度レベルが異なる境界画素Ｐ１０が相関ウィンドウのサイズの設定に使用される。このため、境界画素Ｐ１３，Ｐ１０間の画素については、境界画素Ｐ１３，Ｐ１０間の画素数Ｗ２６が相関ウィンドウのサイズに設定される。

このように逆方向からの相関ウィンドウのサイズを設定した場合、各画素について２種類の相関ウィンドウのサイズが設定されるが、小さい方の相関ウィンドウのサイズを最終的な相関ウィンドウのサイズに設定する。具体的には、下記のように相関ウィンドウのサイズを設定する。

Ｐ１０〜Ｐ１１：ｍｉｎ（Ｗ２１，Ｗ２６）＝Ｗ２１
Ｐ１１〜Ｐ１３：ｍｉｎ（Ｗ２５，Ｗ２６）＝Ｗ２５
Ｐ１３〜Ｐ１４：ｍｉｎ（Ｗ２５，Ｗ２７）＝Ｗ２７
これにより、とくに境界画素Ｐ１３，Ｐ１４間のように、輝度が急激に変化する場合において、大きいサイズの相関ウィンドウが設定されることを防止できるため、対応点の探索を効率よく行うことができる。

次いで、本発明の第４の実施形態について説明する。なお、本発明の第４の実施形態による立体撮像装置は、本発明の第１の実施形態による立体撮像装置１と同一の構成を有し、ウィンドウサイズ設定部３２が行う処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第４の実施形態においては、基準画像Ｇ１ａを平滑化し、平滑化した基準画像Ｇ１ａ′を用いて相関ウィンドウのサイズを設定するようにした点が第１の実施形態と異なる。

図１５は第４の実施形態において行われる処理を示すフローチャートである。レリーズボタン４が全押しされることによりＣＰＵ３３が処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３３からの指示により被写体を撮像し、さらに取得した画像データに画像処理部２３が、補正処理、並行化処理および画像処理を施して基準画像Ｇ１ａ，Ｇ１ｂおよび参照画像Ｇ２ａ，Ｇ２ｂを取得する（ステップＳＴ６１）。次いで、ウィンドウサイズ設定部３２が、基準画像Ｇ１ａを平滑化して平滑化された基準画像Ｇ１ａ′を取得する（ステップＳＴ６２）、続いて、平滑化された基準画像Ｇ１ａ′の各画素について相関ウィンドウのサイズを設定する（ステップＳＴ６３）。なお、相関ウィンドウのサイズの設定の処理は上記第１の実施形態と同一であるため、ここでは詳細な説明は省略する。

続いて、ステレオマッチング部３０が、設定した相関ウィンドウに基づいて平滑化前の基準画像Ｇ１ａおよび参照画像Ｇ２ａを用いて対応点を探索し（ステップＳＴ６４）、距離画像生成部３１が、探索した対応点に基づいて距離画像Ｄ１を生成する（ステップＳＴ６５）。次いで、ＣＰＵ３３からの指示によりメディア制御部２６が距離画像Ｄ１を記録メディア２９に記録し（画像記録：ステップＳＴ６６）、処理を終了する。

図１６は第４の実施形態における相関ウィンドウのサイズの設定結果を説明するための図である。なお、図１６においては、平滑化された基準画像Ｇ１ａ′の輝度のプロファイルを示す。図１６に示す画素Ｐ２６および画素Ｐ２７は、ノイズと見なせる信号値を有するものであり、平滑化処理によりプロファイルに吸収されてしまう。このため、平滑化された基準画像Ｇ１ａ′を用いた場合、相関ウィンドウのサイズは、図１６に示すようにＷ３１，Ｗ３２，Ｗ３３，Ｗ３４と設定される。

一方、平滑化処理を行わないと、画素Ｐ２６および画素Ｐ２７の輝度がそのまま相関ウィンドウのサイズの設定に使用されるため、画素Ｐ２２〜Ｐ２７の間において、輝度のプロファイルは破線に示すものとなり、輝度の変化が小さいにも拘わらず、Ｗ３５，Ｗ３６，Ｗ３７，Ｗ３８という非常に小さいサイズの相関ウィンドウが設定されてしまう。

第４の実施形態においては、平滑化した基準画像Ｇ１ａ′を用いて相関ウィンドウのサイズを設定するようにしたため、基準画像Ｇ１ａに含まれるノイズ状の局所的な輝度変動成分を、相関ウィンドウのサイズの設定から除去することができる。このため、精度よく対応点を探索可能なサイズの相関ウィンドウを設定することができる。

なお、上記第４の実施形態の処理は、上記第１から第３の実施形態のいずれにも適用できるものである。

次いで、本発明の第５の実施形態について説明する。なお、本発明の第５の実施形態による立体撮像装置は、本発明の第１の実施形態による立体撮像装置１と同一の構成を有し、ステレオマッチング部３０およびウィンドウサイズ設定部３２が行う処理のみが異なるため、ここでは構成についての詳細な説明は省略する。

図１７は第５の実施形態において行われる処理を示すフローチャートである。レリーズボタン４が全押しされることによりＣＰＵ３３が処理を開始し、撮像部２１Ａ，２１ＢがＣＰＵ３３からの指示により被写体を撮像し、さらに取得した画像データに画像処理部２３が、補正処理、並行化処理および画像処理を施して基準画像Ｇ１ａ，Ｇ１ｂおよび参照画像Ｇ２ａ，Ｇ２ｂを取得する（ステップＳＴ７１）。次いで、ウィンドウサイズ設定部３２が、基準画像Ｇ１ａの各画素について相関ウィンドウのサイズを設定する（ステップＳＴ７２）。なお、相関ウィンドウのサイズの設定の処理は上記第１の実施形態と同一であるため、ここでは詳細な説明は省略する。

次いで、ステレオマッチング部３０が、内部メモリ２７に記憶された相関ウィンドウのサイズリストを取り込む（ステップＳＴ７３）。図１８は相関ウィンドウのサイズリストを示す図である。図１８に示すサイズリストＴ０は、実際に算出された相関ウィンドウのサイズと対応点探索に使用する相関ウィンドウのサイズとを対応づけたものであり、算出された相関ウィンドウのサイズを１０または１１画素単位で複数のサイズ群に分類し、使用する相関ウィンドウのサイズが、各サイズ群における最大サイズとなるように作成されている。すなわち、サイズリストＴ０は、算出された相関ウィンドウのサイズが１〜１１画素の場合、使用する相関ウィンドウのサイズが１１画素に、算出された相関ウィンドウのサイズが１２〜２１画素の場合、使用する相関ウィンドウのサイズが２１画素となるように作成されている。

ステレオマッチング部３０は、サイズリストＴ０における最小となる相関ウィンドウのサイズ（対応点探索に使用するもの）を現在の相関ウィンドウのサイズに設定し（現在の相関ウィンドウのサイズ設定；ステップＳＴ７４）、基準画像Ｇ１ａにおいて現在の相関ウィンドウのサイズに対応するサイズ範囲の相関ウィンドウが設定された画素を、対応点探索対象の画素として抽出する（ステップＳＴ７５）。そして、ステレオマッチング部３０は、抽出された画素について、ステップＳＴ７４において設定されたサイズの相関ウィンドウを用いて対応点を探索する（ステップＳＴ７６）。

ここで、ステレオマッチング部３０は、参照画像Ｇ２ａにおける相関が最大となる相関ウィンドウの中心画素を対応点として探索するが、対応点を探索したときの相関の最大値がそれほど大きくない場合、その相関に基づいて探索した対応点は、基準画像Ｇ１ａの対象画素に対応するか否かが疑わしいものである。また、このような対応点を用いた場合、精度よく距離画像Ｄ１を算出することができないおそれがある。

このため、ステレオマッチング部３０は、相関が所定のしきい値Ｔｈ１以下となるか否かを判定することにより、探索した対応点が誤対応点であるか否かの正誤判定を行う（ステップＳＴ７７）。そして、誤対応と判定された基準画像Ｇ１ａ上の画素を抽出し（誤対応の画素抽出；ステップＳＴ７８）、さらに、相関ウィンドウのサイズリストＴ０の「使用する相関ウィンドウのサイズ」に、現在の相関ウィンドウのサイズよりも大きいサイズがあるか否かを判定する（ステップＳＴ７９）。

ステップＳＴ７９が肯定されると、現在の相関ウィンドウのサイズを１つ前の相関ウィンドウのサイズとして記憶するとともに、現在の相関ウィンドウのサイズを、相関ウィンドウのサイズリストＴ０における次に大きいサイズに設定する（相関ウィンドウのサイズ再設定：ステップＳＴ８０）。そして、ステレオマッチング部３０は、基準画像Ｇ１ａにおいて現在の相関ウィンドウのサイズに対応するサイズ範囲の相関ウィンドウが設定された画素、およびステップＳＴ７７の処理において誤対応と判定された画素を、対応点の探索対象の画素として抽出する（探索対象画素再抽出；ステップＳＴ８１）。そして、ステップＳＴ７６に戻り、ステップＳＴ７６以降の処理を繰り返す。

これにより、誤対応と判定された画素は、次に大きいサイズの相関ウィンドウが設定された画素に対する対応点探索の処理に含められることとなる。

一方、ステップＳＴ７９が否定された場合には、距離画像生成部３１が、それまでに探索された対応点（誤対応点を除く）に基づいて距離画像Ｄ１を生成する（ステップＳＴ８２）。そして、ＣＰＵ３３からの指示によりメディア制御部２６が距離画像Ｄ１を記録メディア２９に記録し（画像記録：ステップＳＴ８３）、処理を終了する。

このように、同一サイズの相関ウィンドウ毎に対応点を探索することにより、効率よく対応点を探索することができる。

また、誤対応と判定された画素については、相関ウィンドウのサイズを大きくして再度の対応点の探索を行っているため、誤対応となる画素についてのみ単独で対応点の探索を行う必要がなくなり、その結果、誤対応となる画素について、効率よく対応点を探索できるとともに、対応点探索の精度を向上させることができる。

なお、第５の実施形態においては、相関が所定のしきい値Ｔｈ１以下となる画素を誤対応となる画素と判定しているが、対応する画素が並んでいる順序が基準画像Ｇ１ａおよび参照画像Ｇ２ａ上において逆になっている画素、基準画像Ｇ１ａ上において、参照画像Ｇ２ａの複数の画素に対応している画素、および視差が局所的にその周囲と大きく変動している画素を誤対応となる画素として用いるようにしてもよい。

ここで、上記第５の実施形態の処理は、上記第１から第４の実施形態のいずれにも適用できるものである。

なお、上記第１から第５の実施形態においては、撮像部２１Ａ，２１Ｂを備えた立体撮像装置１に本発明を適用しているが、本発明による距離測定装置をカメラと別体で設けてもよい。

また、上記第１から第５の実施形態においては、距離画像Ｄ１のみを記録メディア２９に記録しているが、基準画像Ｇ１ｂを距離画像Ｄ１とともに記録してもよく、基準画像Ｇ１ｂおよび参照画像Ｇ２ｂを距離画像Ｄ１とともに記録してもよい。また、基準画像Ｇ１ａまたは基準画像Ｇ１ａおよび参照画像Ｇ２ａを距離画像Ｄ１とともに記録してもよく、さらには画像処理部２３における処理前の基準画像Ｇ１または基準画像Ｇ１および参照画像Ｇ２を記録するようにしてもよい。

また、上記第１から第５の実施形態においては、参照画像Ｇ２を取得するための撮像部を１つのみ設けているが、複数設けるようにし、複数の参照画像を取得して距離画像Ｄ１を生成するようにしてもよい。

また、上記第１から第５の実施形態においては、輝度に関係なく一律に基準輝度レベルを所定輝度間隔に設定している。一般的には輝度が大きいほど図１９（ａ）に示すように輝度のばらつきが大きくなる。ここで、輝度と輝度のばらつきとの関係は、例えば図１９（ｂ）に示すように輝度の平方根に比例することとなる。したがって、輝度毎に輝度のばらつきを求め、輝度毎に異なる輝度間隔を設定するようにしてもよい。この場合、輝度が大きいほど、設定する輝度間隔は、図１９（ｃ）に示すように輝度の平方根に比例して大きくなる。

このように基準輝度レベルの輝度間隔を変更することにより、光ショットノイズのように高い輝度において変動レベルが異なるばらつきの影響を相関ウィンドウのサイズの設定の処理から除去することができるため、より精度よく対応点を探索することができる。

また、上記第１から第４の実施形態においては、対応点を探索する際に、第５の実施形態と同様に対応点が誤対応であるか否かを判定し、誤対応であると判定された場合には、相関ウィンドウのサイズを設定されたサイズよりも大きくして、再度の対応点の探索を行うようにしてもよい。

以上、本発明の実施形態について説明したが、コンピュータを、上記のステレオマッチング部３０、距離画像生成部３１およびウィンドウサイズ設定部３２に対応する手段として機能させ、図７，８，１０，１２，１５，１７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による距離測定装置を適用した立体撮像装置の内部構成を示す概略ブロック図 撮像部の構成を示す図 ステレオマッチングを説明するための図 並行化処理後の基準画像および参照画像の位置関係を説明するための図 基準画像におけるｕ軸方向の輝度のプロファイルを示す図 輝度変化のない画像の輝度のプロファイルを示す図 第１の実施形態において行われる処理を示すフローチャート 第１の実施形態における相関ウィンドウのサイズの設定処理のフローチャート 基準輝度レベルに加算するオフセットを説明するための図 第２の実施形態において行われる処理を示すフローチャート 第２の実施形態における相関ウィンドウのサイズの設定を説明するための図 第３の実施形態における相関ウィンドウのサイズの設定処理のフローチャート 第１の実施形態と第３の実施形態との相違を説明するための図 相関ウィンドウのサイズを画像の左端から右端に向けて設定した場合と、右端から左端に向けて設定した場合との相違を示す図 第４の実施形態において行われる処理を示すフローチャート 第４の実施形態における相関ウィンドウのサイズの設定結果を説明するための図 第５の実施形態において行われる処理を示すフローチャート 相関ウィンドウのサイズリストを示す図 基準輝度レベルの間隔の変更を説明するための図

符号の説明

１ 立体撮像装置
２１Ａ，２１Ｂ 撮像部
３０ ステレオマッチング部
３１ 距離画像生成部
３２ ウィンドウサイズ設定部

Claims (14)

1. 被写体を撮像することにより取得された、該被写体上の着目点までの距離を算出するための基準画像、および該基準画像を取得した位置とは異なる位置から前記被写体を撮像することにより取得された、前記距離を算出するための少なくとも１つの参照画像の入力を受け付ける入力手段と、
   前記基準画像上の着目点が投影された対象点を通る所定方向において、所定輝度間隔にて設定された基準輝度レベルの境界にある境界画素を探索し、互いに隣接する前記境界画素間の画素数を算出し、該画素数に基づいて前記対象点に対する前記参照画像上の対応点を探索する際に使用される、前記基準画像および前記参照画像の相関を算出する基準となる相関ウィンドウのサイズを設定するウィンドウサイズ設定手段と、
   前記基準画像上に設定された相関ウィンドウ内の各画素と、前記参照画像上に設定された相関ウィンドウ内の各画素との相関を算出することにより、前記対応点を探索する対応点探索手段と、
   該探索した対応点に基づいて前記距離を算出する距離算出手段とを備えたことを特徴とする距離測定装置。
2. 前記所定方向が、前記基準画像の各画素を前記参照画像に写像することにより得られるエピポーラ線が延在する方向に対応する方向であることを特徴とする請求項１記載の距離測定装置。
3. 前記ウィンドウサイズ設定手段は、前記基準画像における輝度のばらつきに応じて、前記所定輝度間隔を設定する手段であることを特徴とする請求項１または２記載の距離測定装置。
4. 前記ウィンドウサイズ設定手段は、前記対象点の輝度が低いほど前記所定輝度間隔を小さくするように設定する手段であることを特徴とする請求項１から３のいずれか１項記載の距離測定装置。
5. 前記ウィンドウサイズ設定手段は、前記基準輝度レベルの０レベルに少なくとも１つのレベルのオフセットを加算し、該オフセットが加算された基準輝度レベルを用いて前記相関ウィンドウのサイズを前記オフセットのレベル毎に設定し、前記対象点について、前記オフセットの加算前に設定した前記相関ウィンドウのサイズおよび前記オフセットのレベル毎に設定した前記相関ウィンドウのサイズのうち、最大サイズを最終的な相関ウィンドウのサイズに設定する手段であることを特徴とする請求項１から４のいずれか１項記載の距離測定装置。
6. 前記ウィンドウサイズ設定手段は、一の境界画素と該一の境界画素に隣接する境界画素の基準輝度レベルが同一の場合、前記一の境界画素と基準輝度レベルが異なる最も近い位置にある境界画素との間の画素数に基づいて前記相関ウィンドウのサイズを設定する手段であることを特徴とする請求項１から４のいずれか１項記載の距離測定装置。
7. 前記ウィンドウサイズ設定手段は、前記基準画像に対して平滑化フィルタによるフィルタリング処理を施し、該フィルタリングされた基準画像に基づいて、前記相関ウィンドウのサイズを設定する手段であることを特徴とする請求項１から６のいずれか１項記載の距離測定装置。
8. 前記対応点探索手段は、前記探索された対応点が誤対応点であるか否かを判定し、誤対応点であると判定された画素については、前記相関ウィンドウのサイズを大きくして再度前記対応点の探索を行う手段であることを特徴とする請求項１から７のいずれか１項記載の距離測定装置。
9. 前記基準画像の全画素について前記距離を算出するよう前記ウィンドウサイズ設定手段、前記対応点探索手段および前記距離算出手段を制御する制御手段と、
   前記基準画像の各画素の距離を画素値とする距離画像を生成する距離画像生成手段とを備えたことを特徴とする請求項１から８のいずれか１項記載の距離測定装置。
10. 前記対応点探索手段は、同一サイズの前記相関ウィンドウが設定された画素毎に、該相関ウィンドウのサイズが小さい順に、前記対応点をまとめて探索する手段であることを特徴とする請求項９記載の距離測定装置。
11. 前記対応点探索手段は、一のサイズの前記相関ウィンドウを用いて探索された対応点のうち、誤対応となる誤対応点が探索された前記基準画像の画素については、前記相関ウィンドウのサイズを一段階大きくし、該一段階大きいサイズの前記相関ウィンドウが設定された画素とともに前記対応点を探索する手段であることを特徴とする請求項１０記載の距離測定装置。
12. 前記ウィンドウサイズ設定手段は、前記相関ウィンドウのサイズを所定の複数のサイズ群に分類し、前記各画素の前記相関ウィンドウのサイズを、該各画素について設定した相関ウィンドウのサイズが分類された前記サイズ群における最大サイズに再設定する手段であることを特徴とする請求項９から１１のいずれか１項記載の距離測定装置。
13. 被写体を撮像することにより取得された、該被写体上の着目点までの距離を算出するための基準画像、および該基準画像を取得した位置とは異なる位置から前記被写体を撮像することにより取得された、前記距離を算出するための少なくとも１つの参照画像の入力を受け付け、
    前記基準画像上の着目点が投影された対象点を通る所定方向において、所定輝度間隔にて設定された基準輝度レベルの境界にある境界画素を探索し、互いに隣接する前記境界画素間の画素数を算出し、該画素数に基づいて前記対象点に対する前記参照画像上の対応点を探索する際に使用される、前記基準画像および前記参照画像の相関を算出する基準となる相関ウィンドウのサイズを設定し、
    前記基準画像上に設定された相関ウィンドウ内の各画素と、前記参照画像上に設定された相関ウィンドウ内の各画素との相関を算出することにより、前記対応点を探索し、
    該探索した対応点に基づいて前記距離を算出することを特徴とする距離測定方法。
14. 被写体を撮像することにより取得された、該被写体上の着目点までの距離を算出するための基準画像、および該基準画像を取得した位置とは異なる位置から前記被写体を撮像することにより取得された、前記距離を算出するための少なくとも１つの参照画像の入力を受け付ける手順と、
    前記基準画像上の着目点が投影された対象点を通る所定方向において、所定輝度間隔にて設定された基準輝度レベルの境界にある境界画素を探索し、互いに隣接する前記境界画素間の画素数を算出し、該画素数に基づいて前記対象点に対する前記参照画像上の対応点を探索する際に使用される、前記基準画像および前記参照画像の相関を算出する基準となる相関ウィンドウのサイズを設定する手順と、
    前記基準画像上に設定された相関ウィンドウ内の各画素と、前記参照画像上に設定された相関ウィンドウ内の各画素との相関を算出することにより、前記対応点を探索する手順と、
    該探索した対応点に基づいて前記距離を算出する手順とを有することを特徴とする距離測定方法をコンピュータに実行させるためのプログラム。

Images