JP5654956B2 - 視差画像生成装置および視差画像生成プログラム - Google Patents

Description

本発明は、被写体を撮影した画像から、被写体の奥行きを示す視差画像を生成する視差画像生成装置および視差画像生成プログラムに関する。

従来、同一の被写体を異なる視点位置で撮影した２つの画像において、一方の画像内のブロックと、そのブロックに対応する他方の画像内のブロックとの画像上の位置の差（視差）を求め、画素値に対応付けることで、被写体の奥行きを示す視差画像を生成する技術が種々提案されている。その一つとして、位相相関法（位相相関限定法）を用いた視差推定法がある（非特許文献１参照）。

位相相関法とは、２つ画像について、フーリエ変換された画像信号の位相成分のみに着目して、２つの画像の平行移動量を求める手法である。
すなわち、位相相関法は、図１５に示すように、まず、２つの入力画像Ｌ（ｎ_１，ｎ_２），Ｒ（ｎ_１，ｎ_２）〔ｎ_１，ｎ_２は、画像内の座標〕をそれぞれフーリエ変換（ＦＦＴ：Fast Fourier Transform）して位相成分（パワースペクトル）を取り出す。そして、位相相関法は、図１５および図１６に示すように、２つの入力画像から取り出された２つのパワースペクトルを合成し、逆フーリエ変換（ＩＦＦＴ：Inverse FFT）を施すことにより、位相相関関数Ｐ（ｎ_１，ｎ_２）を求める。そして、位相相関法は、位相相関関数Ｐ（ｎ_１，ｎ_２）のピーク（最大値）を検出し、座標中心（原点座標）からそのピーク位置までの距離ｄを求める。この位相相関関数で求められる距離ｄが、２つの画像Ｌ（ｎ_１，ｎ_２），Ｒ（ｎ_１，ｎ_２）の平行移動量を示している。

この位相相関法を用いた視差推定法は、２つの画像の平行移動量を求める位相相関法を、画像内のブロックに適用して、ブロックごとの平行移動量として視差を求める手法である。
すなわち、位相相関法を用いた視差推定法は、図１７に示すように、左右の視点位置で撮影した２つの入力画像Ｌ（ｎ_１，ｎ_２），Ｒ（ｎ_１，ｎ_２）から切り出した対応する２つのブロックＢ_ｌ（ｐ_１，ｐ_２），Ｂ_ｒ（ｐ_１，ｐ_２）〔ｐ_１，ｐ_２は、ブロック内の座標〕をそれぞれフーリエ変換（ＦＦＴ）して位相成分を取り出し、これらを合成したものに逆フーリエ変換（ＩＦＦＴ）を施すことにより、位相相関関数Ｐ（ｐ_１，ｐ_２）を求める。そして、この視差推定法は、位相相関関数Ｐ（ｐ_１，ｐ_２）のピークを検出し、座標中心（原点座標）からそのピーク位置までの距離ｄを求めることで、２つのブロックの平行移動量、すなわち、視差を求める。

なお、非特許文献１には、それぞれのブロックの画像のエピポーラ線が画像の水平軸と平行になるように画像を平行化し、２次元のブロックを用いる代わりに、１次元のブロックを用いて視差を取得する技術も提案されている。

柴原琢磨、沼徳仁、長嶋聖、青木孝文、中島寛、小林孝次著、「一次元位相限定相関法に基づくステレオ画像の高精度サブピクセル対応付け手法」 電子情報通信学会論文誌D,Vol. J91-D, No. 9, pp. 2343-2356, September 2008

しかし、従来の位相相関法を用いた視差推定法において、２つの画像から切り出したブロックには、奥行きが不連続な部分が存在したり、奥行きが連続であってもその奥行きが大きく異なる部分が存在したりする。そのため、これらのブロックに位相相関法を適用すると、手前の位相成分と奥の位相成分とがブロック内で混合されてしまうため、視差推定の精度が低下してしまうという問題がある。

すなわち、異なる視点位置から被写体を撮影し、それら２つの画像から切り出した２つのブロック内に被写体と背景が映っている場合を例にとると、近いところでは視差が大きく、遠いところでは視差が小さくなる。例えば、被写体がブロックの画像上で５画素ずれており、背景が２画素ずれているということになる。そして、この２つのブロックに図１７に示した位相相関法を用いた視差推定法を適用し、位相相関関数のピーク（最大値）を対象画素の視差として求めようとすると、必ずしも対象画素の視差を推定するのではなく、ブロック内で同一視差の画素数が最大となる視差が、対象画素の最終的な視差として取得されてしまうことになる。つまり、従来の手法では、視差を求めたい対象画素が被写体の一部であっても、ブロック内に背景部分が多く写っていると、背景の視差が算出されてしまい、結果として視差推定の精度が低下してしまうという問題がある。

本発明は、以上のような問題点に鑑みてなされたものであり、同一の被写体を異なる視点位置で撮影した画像から高い精度で視差画像を生成することが可能な視差画像生成装置および視差画像生成プログラムを提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の視差画像生成装置は、同一の被写体を異なる視点位置で撮影した一方の画像である基準画像と他方の画像である参照画像とから、前記被写体の奥行きを示す視差画像を生成する視差画像生成装置であって、ブロック切出手段と、視差候補抽出手段と、視差候補記憶手段と、共通視差候補抽出手段と、類似度算出手段と、視差選択手段と、を備える構成とした。

かかる構成において、視差画像生成装置は、ブロック切出手段によって、基準画像および参照画像から、それぞれ予め定めた同じ大きさのブロックである基準ブロックおよび参照ブロックを、対応する位置で同一方向に切り出し位置を順次ずらして切り出す。視点位置が異なることから、この基準ブロックと対応する参照ブロックとは、画素単位で視差に伴う画像のずれが生じている。

そして、視差画像生成装置は、視差候補抽出手段によって、基準ブロックおよび参照ブロックごとに、位相の相関を示す位相相関関数の極大値の大きい順に、位相相関関数の原点座標から極大値を示す座標までの距離に対応する複数の視差を視差候補として抽出して視差候補記憶手段に記憶する。これによって、ブロック内に前景や背景といった奥行きの異なる画素が含まれている場合であっても、異なる複数の視差として検出されることになる。

そして、視差画像生成装置は、共通視差候補抽出手段によって、視差候補記憶手段に記憶されている基準ブロックごとの視差候補から、基準画像における視差を求める対象画素ごとに、当該対象画素を含む複数の基準ブロックで共通の視差候補を共通視差候補として抽出する。これによって、対象画素の視差の候補は、対象画素を含むブロックで共通する視差（共通視差候補）に絞られることになる。

そして、視差画像生成装置は、類似度算出手段によって、共通視差候補のそれぞれについて、当該対象画素を含んだ基準画像における所定の大きさの画像領域と、参照画像における対象画素の位置から当該共通視差候補で示される視差だけずらした対応画素を含んだ所定の大きさの画像領域との類似度を算出する。なお、この類似度を算出する画像領域は、画像特徴を表した領域であればよく、１画素以上であればよい。

そして、視差画像生成装置は、視差選択手段によって、共通視差候補の中から、類似度算出手段で算出された類似度が最も高い共通視差候補を対象画素における視差として選択する。これによって、画素単位で、複数の視差候補（共通視差候補）の中から最適な視差を求めることができ、対象画素ごとの視差の値で構成される視差画像が生成されることになる。

また、請求項２に記載の視差画像生成装置は、請求項１に記載の視差画像生成装置において、ブロック切出手段が、水平方向においてはブロックの水平画素数の半分ずつ、垂直方向においてはブロックの垂直画素数の半分ずつ、切り出し位置をずらして、基準ブロックおよび参照ブロックを切り出す構成とした。

かかる構成において、視差画像生成装置は、ブロック切出手段によって、基準ブロックおよび参照ブロックを半ブロックずつずらして切り出すことで、視差を求める対象画素が、水平および垂直方向に重なるブロックで共有する画素となる。このため、共通視差候補抽出手段において、視差を求める対象画素の視差の候補が、水平および垂直方向に重なるブロックで共通の視差に限定されることになる。また、対象画素が属するブロックの視差候補であっても、他のブロックと共通する頻度が所定の頻度より低い視差については、当該対象画素の視差としての可能性が低いことから、視差の候補から除外されることになる。

また、請求項３に記載の視差画像生成装置は、請求項１または請求項２に記載の視差画像生成装置において、位相相関関数のＸ座標を視差方向であるブロックの水平方向にとり、Ｙ座標を垂直方向にとったとき、視差候補抽出手段が、位相相関関数の極大値の個数として、当該極大値をとるＹ座標で示す値の絶対値が予め定めた閾値よりも大きい個数が、ブロックの総画素数に対する予め定めた割合となるまで、当該極大値をとるＸ座標の値を視差候補として抽出する構成とした。

かかる構成において、視差画像生成装置は、視差候補抽出手段によって、位相相関関数において、極大値をとるＹ座標の値の絶対値が予め定めた閾値を超える極大値の個数を、割合によって制限することで、視差方向に位相相関の強いＸ軸近傍の極大値を多く検出することができる。

また、請求項４に記載の視差画像生成プログラムは、同一の被写体を異なる視点位置で撮影した一方の画像である基準画像と他方の画像である参照画像とから、前記被写体の奥行きを示す視差画像を生成するために、コンピュータを、ブロック切出手段、視差候補抽出手段、共通視差候補抽出手段、類似度算出手段、視差選択手段、として機能させる構成とした。

かかる構成において、視差画像生成プログラムは、ブロック切出手段によって、基準画像および参照画像から、それぞれ予め定めた同じ大きさのブロックである基準ブロックおよび参照ブロックを、対応する位置で同一方向に切り出し位置を順次ずらして切り出す。
そして、視差画像生成プログラムは、視差候補抽出手段によって、基準ブロックおよび参照ブロックごとに、位相の相関を示す位相相関関数の極大値の大きい順に、位相相関関数の原点座標から極大値を示す座標までの距離に対応する複数の視差を視差候補として抽出して視差候補記憶手段に記憶する。
また、視差画像生成プログラムは、共通視差候補抽出手段によって、視差候補記憶手段に記憶されている基準ブロックごとの視差候補から、基準画像における視差を求める対象画素ごとに、当該対象画素を含む複数の基準ブロックで共通の視差候補を共通視差候補として抽出する。

さらに、視差画像生成プログラムは、類似度算出手段によって、共通視差候補のそれぞれについて、当該対象画素を含んだ基準画像における所定の大きさの画像領域と、参照画像における対象画素の位置から当該共通視差候補で示される視差だけずらした対応画素を含んだ所定の大きさの画像領域との類似度を算出する。
そして、視差画像生成装置は、視差選択手段によって、共通視差候補の中から、類似度算出手段で算出された類似度が最も高い共通視差候補を対象画素における視差として選択する。これによって、対象画素ごとの視差の値で構成される視差画像が生成されることになる。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，４に記載の発明によれば、基準ブロックと参照ブロックとにおいて複数の視差候補から、画素ごとに最も画像特徴が類似する視差を当該画素の視差として選択するため、画素単位で精度よく視差画像を生成することができる。また、これによって、ブロック内に前景や背景が混在している場合であっても、前景と背景との境界で精度よく視差を表すことができる。
さらに、請求項１，４に記載の発明によれば、対象画素が属するブロックで抽出した視差候補であっても、対象画素を含んだ複数のブロックで共通に現れる頻度が低い視差の場合は、当該対象画素の視差の可能性の低い候補として除外することができるため、視差ごとの類似度を算出するための演算量を抑えることができ、高速に視差画像を生成することができる。

請求項２に記載の発明によれば、ブロックの切り出し間隔を半ブロックずつとすることで、最も少ないブロックの切り出し数で、複数のブロック間で共通する視差を、対象画素の視差として可能性の高い共通視差候補として抽出することができる。これによって、高速かつ精度よく視差画像を生成することができる。

本発明の実施形態に係る視差画像生成装置の概要を説明するための説明図である。 本発明の実施形態に係る視差画像生成装置に入力される画像を説明するための説明図である。 本発明の実施形態に係る視差画像生成装置の構成を示すブロック構成図である。 本発明の実施形態に係る視差画像生成装置のブロック切出手段において、画像からブロックを切り出す処理を説明するための説明図である。 本発明の実施形態に係る視差画像生成装置の視差候補抽出手段において、位相相関法を用いて複数の視差を抽出する手法を説明するための説明図である。 本発明の実施形態に係る視差画像生成装置の共通視差候補抽出手段において、複数のブロックに共通する共通視差候補を抽出する手法を説明するための説明図である。 本発明の実施形態に係る視差画像生成装置の類似度算出手段において、対象画素と視差に対応した対応画素との類似度を算出する手法を説明するための説明図である。 本発明の実施形態に係る視差画像生成装置の動作を示すフローチャートである。 参考例の実施形態に係る視差画像生成装置の構成を示すブロック構成図である。 参考例の実施形態に係る視差画像生成装置のブロック切出手段において、画像からブロックを切り出す処理を説明するための説明図である。 参考例の実施形態に係る視差画像生成装置の類似度算出手段において、対象画素と視差に対応した対応画素との類似度を算出する手法を説明するための説明図である。 参考例の実施形態に係る視差画像生成装置において、ブロックの切り出し間隔を複数画素としたときの対象画素を説明するための説明図である。 本発明の実施形態に係る視差画像生成装置のブロック切出手段において、画像の周辺のブロックを切り出す処理を説明するための説明図である。 参考例の実施形態に係る視差画像生成装置の動作を示すフローチャートである。 従来の位相相関法を用いた画像の平行移動量を求める手法を説明するための説明図である。 従来の位相相関法を用いた画像の平行移動量を求める手法を説明するための説明図である。 従来の位相相関法を用いた視差推定法を説明するための説明図である。

以下、本発明の実施形態について図面を参照して説明する。
［視差画像推定装置の概要］
まず、図１，図２を参照して、本発明の実施形態に係る視差画像生成装置の概要について説明する。図１に示すように、視差画像生成装置１（１Ｂ）は、被写体を撮影した基準画像Ｉｓと参照画像Ｉｒとを入力し、被写体の奥行き（視差）を示す視差画像Ｉｚを生成するものである。

この視差画像生成装置１（１Ｂ）は、基準画像Ｉｓと参照画像Ｉｒとから、位相相関法（位相限定相関法）を用いて画像内のブロックごとに複数の視差候補を求め、画像特徴に基づいて、複数の視差候補を評価して、画素ごとに最も評価の高い視差を求めることで、視差画像Ｉｚを生成する。

ここで、基準画像Ｉｓとは、図２に示すように、ある被写体Ｔを撮影した画像であって、位相相関法によって視差を求める際の基準となる画像である。一方、参照画像Ｉｒは、基準画像Ｉｓに対して、同一の被写体Ｔを異なる視点位置で撮影した画像である。
すなわち、基準画像Ｉｓおよび参照画像Ｉｒは、図２に示すように、水平方向（視差方向）において異なる位置に配置されたカメラ（基準カメラＣｓ，参照カメラＣｒ）で撮影された画像である。このとき、基準カメラ（左視点カメラ）Ｃｓおよび参照カメラ（右視点カメラ）Ｃｒは、カメラの光軸が平行になるように設置され、高さも同じであることが好ましい。もちろん、カメラを厳密な位置に配置することは困難であるため、事前に、基準となるマーカ等を撮影し、撮影される画像を較正することで、基準画像Ｉｓおよび参照画像Ｉｒを平行化することとしてもよい。

なお、ここでは、基準カメラＣｓで撮影された画像を基準画像Ｉｓ、参照カメラＣｒで撮影された画像を参照画像Ｉｒとして説明を行うが、その逆、すなわち、基準カメラＣｓで撮影された画像を参照画像Ｉｒ、参照カメラＣｒで撮影された画像を基準画像Ｉｓとしても構わない。

このように、視差画像生成装置１（１Ｂ）は、基準画像Ｉｓから切り出したブロック（基準ブロック）を基準に、参照画像Ｉｒから切り出したブロック（参照ブロック）の平行移動量（視差）を求めるものである。
以下、本発明の実施形態に係る視差画像生成装置１（１Ｂ）の構成および動作について詳細に説明する。

［視差画像生成装置の構成］
まず、図３を参照して、本発明の実施形態に係る視差画像生成装置１の構成について説明する。
図３に示すように、視差画像生成装置１は、ブロック切出手段１１と、視差候補抽出手段１２と、視差候補記憶手段１３と、共通視差候補抽出手段１４と、視差候補評価手段１５と、を備えている。

ブロック切出手段１１は、基準画像Ｉｓおよび参照画像Ｉｒから、それぞれ予め定めた同じ大きさのブロックである基準ブロックおよび参照ブロックを、同一の切り出し位置で同一方向に切り出し位置を順次ずらして切り出すものである。
なお、ブロックの大きさは、基準ブロックおよび参照ブロックにおいて、被写体の重なり領域を確保して、平行移動量を求めることが可能な大きさとし、例えば、６４×６４画素（ピクセル）とする。もちろん、事前にこのブロックの大きさでは、ブロック同士の画像のずれが大きいため、平行移動量を求めることができないと分かっているときは、例えば、１２８×１２８画素、２５６×２５６画素等とブロックの大きさを予め大きくしておけばよい。
また、基準画像Ｉｓと参照画像Ｉｒの画像全体での平行移動量が分かっているときは、参照ブロックの切り出し位置は、対応する基準ブロックの切り出し位置から画像全体での平行移動量分ずらした位置とすればよい。
ここでは、ブロック切出手段１１は、基準ブロック切出手段１１ａと、参照ブロック切出手段１１ｂと、を備えている。

基準ブロック切出手段１１ａは、入力された基準画像Ｉｓから、予め定めた大きさのブロック（基準ブロック）を、切り出し位置を順次ずらして切り出すものである。この基準ブロック切出手段１１ａで切り出された基準ブロックは、視差候補抽出手段１２に出力される。

この基準ブロック切出手段１１ａは、図４に示すように、基準画像Ｉｓの左上から、水平方向（右方向）に所定の間隔だけ切り出し位置をずらして、基準ブロックＢｓを順次（Ｂｓ_１，Ｂｓ_２，Ｂｓ_３，Ｂｓ_４，…）切り出す。そして、基準ブロック切出手段１１ａは、基準画像Ｉｓの水平ラインについて切り出しが完了した後、垂直方向（下方向）に所定の間隔だけ切り出し位置をずらして左端から基準ブロックＢｓを切り出す。このように、基準ブロック切出手段１１ａは、水平方向および垂直方向に走査状の切り出し処理を行い、基準画像Ｉｓ全体から複数の基準ブロックＢｓを順次切り出す。もちろん、この切り出し順序や方向はこれに限定されるものではない。

なお、水平方向および垂直方向の基準ブロックＢｓの切り出し間隔は、基準画像Ｉｓの各画素が、複数の基準ブロックＢｓに重複して属するように予め定めた間隔とする。すなわち、基準ブロック切出手段１１ａは、１画素よりも多く、基準ブロックＢｓの水平画素数の半分（半ブロック）以下の範囲で、水平方向の切り出し間隔を予め定めておき、１画素よりも多く、基準ブロックＢｓの垂直画素数の半分（半ブロック）以下の範囲で、垂直方向の切り出し間隔を予め定めておく。

ここでは、重複領域を確保しつつ、切り出すブロック数が最も少なくなるように、水平方向においては、基準ブロックＢｓの水平画素数の半分、垂直方向においては、基準ブロックＢｓの垂直画素数の半分の切り出し間隔で、基準ブロックＢｓを切り出すこととする。

参照ブロック切出手段１１ｂは、入力された参照画像Ｉｒから、予め定めた大きさのブロック（参照ブロック）を、切り出し位置を順次ずらして切り出すものである。この参照ブロック切出手段１１ｂで切り出された参照ブロックは、視差候補抽出手段１２に出力される。この参照ブロック切出手段１１ｂは、入力する画像が、基準ブロック切出手段１１ａにおける基準画像Ｉｓから参照画像Ｉｒに代わっただけで、図４に示すように、参照ブロックＢｒの大きさ、参照ブロックＢｒの切り出し位置、切り出し順序は、基準ブロック切出手段１１ａと同じであるため、詳細な説明は省略する。

視差候補抽出手段１２は、ブロック切出手段１１で切り出された基準ブロックおよび参照ブロックごとに、位相の相関を示す位相相関関数の極大値の大きい順に、位相相関関数の原点座標から極大値を示す座標までの距離に対応する複数の視差を視差候補として抽出するものである。
ここでは、視差候補抽出手段１２は、位相相関関数生成手段１２ａと、極大値視差検出手段１２ｂと、を備えている。

位相相関関数生成手段１２ａは、基準ブロック切出手段１１ａで切り出された基準ブロックと、参照ブロック切出手段１１ｂで切り出された参照ブロックとにおいて、位相相関法（位相限定相関法）により、位相相関関数を生成するものである。
ここで、基準ブロックの各画素の画素値（輝度情報または色情報）をＢｓ（ｐ_１，ｐ_２）、参照ブロックの各画素の画素値をＢｒ（ｐ_１，ｐ_２）とする。なお、ｐ_１，ｐ_２は、ブロック（基準，参照）内のＸ座標およびＹ座標を示す。

このとき、位相相関関数生成手段１２ａは、以下の（１），（２）式により、基準ブロックＢｓ（ｐ_１，ｐ_２）および参照ブロックＢｒ（ｐ_１，ｐ_２）をそれぞれフーリエ変換して、パワースペクトルｂ_ｓ（ｋ_１，ｋ_２）およびｂ_ｒ（ｋ_１，ｋ_２）を求める。なお、ｋ_１およびｋ_２は波数、ＦＦＴ｛｝はフーリエ変換演算を示す。

そして、位相相関関数生成手段１２ａは、（１），（２）式で求められた位相成分を振幅で正規化し、合成することで、以下の（３）式に示す正規化相互パワースペクトルＧ（ｋ_１，ｋ_２）を算出する。なお、上付きバーを付したｂ_ｒ（ｋ_１，ｋ_２）は、ｂ_ｒ（ｋ_１，ｋ_２）の複素共役を示す。

そして、位相相関関数生成手段１２ａは、（３）式で求められた正規化相互パワースペクトルＧ（ｋ_１，ｋ_２）を逆フーリエ変換することで位相相関関数Ｐ（ｐ_１，ｐ_２）を求める。なお、ｐ_１，ｐ_２はブロック（基準，参照）内のＸ座標およびＹ座標、Ｐ_１，Ｐ_２はブロックの水平画素数および垂直画素数、ＩＦＦＴ｛｝は逆フーリエ変換演算を示す。

極大値視差検出手段１２ｂは、位相相関関数生成手段１２ａで生成された位相相関関数において、複数の極大値を検出し、極大値の大きい順に、位相相関関数の原点座標から極大値を示す座標までの距離に対応する複数の視差を視差候補として抽出するものである。

この極大値視差検出手段１２ｂは、視差方向である水平方向、すなわち、位相相関関数のＸ軸近傍に現れる極大値から視差候補を抽出する。
ここでは、極大値視差検出手段１２ｂは、極大値を大きい順に検出し、その極大値をとる位相相関関数のＸ座標の値を視差候補として順次抽出する。このとき、極大値視差検出手段１２ｂは、位相相関関数のＹ座標の値の絶対値が予め定めた閾値より大きい極大値の個数を累計し、その累計がブロック（基準、参照）の総画素数に対する予め定めた割合となるまで視差候補を抽出することとする。
これによって、Ｙ座標、すなわち、垂直方向に大きな相関を有する極大値に対応する視差を、視差候補から除外することができる。

ここで、図５を参照（適宜図３参照）して、極大値視差検出手段１２ｂにおいて視差候補を抽出する手法について模式的に説明する。
ここでは、説明を簡略化するため、図５（ａ）に示すように、基準ブロックＢｓおよび参照ブロックＢｒには、それぞれ対応する前景Ｆｇと、背景Ｂｇ_１，Ｂｇ_２とが撮影されているものとする。このとき、位相相関関数生成手段１２ａにおいて、位相相関法によって求められる位相相関関数には、図５（ｂ）に示すように、大きく３個の極大値が検出される。通常、平行に設置されたカメラで撮影された画像（基準ブロック，参照ブロック）、あるいは、事前に平行化された画像（基準ブロック，参照ブロック）から位相相関関数を求めると、正しい視差は、水平方向への移動のみになることから、Ｘ軸上（水平方向）に現れる。しかし、基準ブロックＢｓおよび参照ブロックＢｒは、３個の極大値以外にも、多くの極大値が存在する（図示せず）。

そこで、極大値視差検出手段１２ｂは、極大値が大きい順に、極大値のＹ座標で示す値が予め定めた閾値（±ｙ_ｍａｘの絶対値）よりも大きい極大値が増加してきた場合、その時点で、視差候補の抽出を終了する。この極大値のＹ座標で示す値が予め定めた閾値（±ｙ_ｍａｘの絶対値）よりも大きい極大値が増加してきたか否かの判定は、Ｙ座標の閾値を超える極大値の個数が、ブロックの総画素数に対して予め定めた割合（例えば、０．２％）以上となったか否かにより判定すればよい。

そして、極大値視差検出手段１２ｂは、その割合を超えるまで、極大値が大きい順に、極大値のＸ座標に対応する視差ｄ_１，ｄ_２，ｄ_３，…を順次視差候補として抽出する。
なお、極大値視差検出手段１２ｂは、これ以外にも、例えば、極大値の個数の最大数を予め限定し、位相相関関数Ｐ（ｐ_１，ｐ_２）の極大値の個数がその最大数になるまで、極大値の大きい順に位相相関関数のＸ座標ｐ_２の値を視差として検出することとしてもよい。あるいは、極大値視差検出手段１２ｂは、極大値の大きさを閾値で限定し、位相相関関数Ｐ（ｐ_１，ｐ_２）の極大値が、その閾値を超えるＸ座標ｐ_２の値を視差として検出することとしてもよい。

このように極大値視差検出手段１２ｂは、１つの基準ブロックにおいて、奥行きが不連続である部分や、奥行きが大きく異なる部分が存在する場合であっても、位相相関関数において、それぞれ別の視差候補として抽出することができる。
この極大値視差検出手段１２ｂは、抽出した複数の視差候補を、その視差候補を抽出した基準ブロックごとに対応付けて、視差候補記憶手段１３に記憶する。
図３に戻って、視差画像生成装置１の構成について説明を続ける。

視差候補記憶手段１３は、視差候補抽出手段１２で抽出された視差候補を、基準ブロックごとに記憶するものであって、半導体メモリ等の記憶媒体である。
この視差候補記憶手段１３には、基準ブロックを特定する情報と、複数の視差候補とを対応付けて記憶する。ここで、基準ブロックを特定する情報は、基準ブロックが、基準画像Ｉｓにおいて、どの位置のブロックであるのかを特定する情報であればよい。例えば、基準画像Ｉｓにおける切り出し順序番号、切り出し座標（例えば、基準ブロックの左上座標）等である。

共通視差候補抽出手段１４は、視差候補記憶手段１３に記憶されている基準ブロックごとの視差候補から、基準画像Ｉｓにおける視差を求める対象画素ごとに、当該対象画素を含む複数の基準ブロックで共通の視差候補を共通視差候補として抽出するものである。この共通視差候補抽出手段１４で抽出された共通視差候補は、視差候補評価手段１５に出力される。なお、共通視差候補抽出手段１４は、基準画像Ｉｓのすべての画素を順次視差を求める対象画素とする。

ここで、図６を参照（適宜図３参照）して、共通視差候補抽出手段１４が抽出する共通視差候補の抽出手法について説明する。なお、ここでは、ブロック切出手段１１において、ブロックの切り出し間隔を、水平方向において基準ブロックの半分、垂直方向において基準ブロックの半分としている。
図６（ａ）に示すように、基準画像Ｉｓにおいて、視差を求める画素（対象画素Ｐｓ）は、４つの基準ブロックＢｓ_１，Ｂｓ_２，Ｂｓ_３，Ｂｓ_４に含まれている。一方、図６（ｂ）に示すように、基準ブロックＢｓ_１，Ｂｓ_２，Ｂｓ_３，Ｂｓ_４のそれぞれの視差候補は、視差候補抽出手段１２によって抽出され、視差候補記憶手段１３に記憶されている。
そこで、共通視差候補抽出手段１４は、視差を求める対象画素Ｐｓが基準ブロックＢｓ_１，Ｂｓ_２，Ｂｓ_３，Ｂｓ_４で共通の領域（ブロック重複領域Ｑ）の画素である場合、基準ブロックＢｓ_１，Ｂｓ_２，Ｂｓ_３，Ｂｓ_４に共通に含まれている視差（図中、ｄ_５，ｄ_７）を共通視差候補として抽出する。

なお、対象画素Ｐｓの視差は、その画素が含まれる基準ブロックにピークとして現れるが、複数の基準ブロックが重複するブロック重複領域Ｑの画素については、複数の基準ブロックで共通する視差候補を対象画素Ｐｓの視差候補とすることで、ブロック重複領域Ｑ以外の画素の視差候補を排除することができる。これによって、共通視差候補抽出手段１４は、対象画素Ｐｓの視差候補を抽出する精度を高めることができる。また、対象画素Ｐｓの視差候補の数を限定することで、後記する視差候補評価手段１５における評価のためにかかる時間を短縮することができる。
図３に戻って、視差画像生成装置１の構成について説明を続ける。

視差候補評価手段１５は、視差を求める対象画素ごとに、複数の視差候補を評価して、最適な視差を選択するものである。すなわち、視差候補評価手段１５は、基準画像Ｉｓの視差を求める対象画素と、視差候補の視差に対応する参照画像Ｉｒの画素（対応画素）との画素近傍の画像特徴の類似度（一致度）を評価し、最も類似度の高い視差を選択する。
ここでは、視差候補評価手段１５は、類似度算出手段１５ａと、視差選択手段１５ｂと、を備えている。

類似度算出手段１５ａは、共通視差候補抽出手段１４で抽出された対象画素における共通視差候補のそれぞれについて、当該対象画素を含んだ基準画像Ｉｓにおける所定の大きさの画像領域と、参照画像Ｉｒにおける対象画素の位置から当該共通視差候補で示される視差だけずらした画素（対応画素）を含んだ所定の大きさの画像領域との類似度を算出するものである。この類似度算出手段１５ａで算出された類似度は、対象画素を特定する情報（例えば、基準画像上の座標位置）とともに、視差選択手段１５ｂに出力される。

この類似度算出手段１５ａは、画像領域の類似度として、当該画像領域の輝度情報や色情報において、ＳＳＤ（Sum of Squared Difference）、正規化相互相関（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）等の一般的な類似度の評価式を計算することで、基準画像Ｉｓの対象画素と、参照画像Ｉｒの対応画素との間で類似度を算出することができる。

なお、類似度を計算する画像領域の大きさは、基準ブロックの大きさと同じである必要はなく、小さく設定することができる。これは、位相相関法により視差を求める場合には、視差を考慮したブロックの大きさが必要であるが、画像特徴はそれよりも狭い範囲で比較することができるからである。例えば、類似度を計算する画像領域の大きさは、１画素であっても類似度を評価することができ、対象画素と対応画素とで類似度を算出することとしてもよい。
このように、類似度を算出するための画像領域を、ブロックの大きさよりも小さくすることで、ブロック内の前景と背景との境界付近においても細かく類似度を求めることができ、視差を選択するための精度を高めることができる。

ここで、図７を参照（適宜図３参照）して、類似度算出手段１５ａが類似度を算出する際の視差を求める対象画素と、当該対象画素の視差に対応する対応画素について説明する。ここでは、図７（ａ）に示すように、基準画像Ｉｓにおいて、４つの基準ブロックＢｓ_１，Ｂｓ_２，Ｂｓ_３，Ｂｓ_４に含まれた座標（ｘ１，ｙ１）の画素を、視差を求める画素（対象画素Ｐｓ）とする。

このとき、類似度算出手段１５ａは、図７（ｂ）に示すように、共通視差候補抽出手段１４で抽出された基準ブロックＢｓ_１，Ｂｓ_２，Ｂｓ_３，Ｂｓ_４の共通視差候補のそれぞれについて、対象画素Ｐｓに対応する対応画素Ｐｒを特定する。すなわち、共通視差候補の１つを視差ｄとしたとき、類似度算出手段１５ａは、対象画素Ｐｓの座標に対して、視差ｄだけずらした座標（ｘ１＋ｄ，ｙ１）の画素を、対応画素Ｐｒとする。

そして、類似度算出手段１５ａは、基準画像Ｉｓにおいて、対象画素Ｐｓを含んだ領域、例えば、対象画素Ｐｓを中心とした予め定めた大きさの矩形領域（類似度算出用画像領域Ｒｓ）と、参照画像Ｉｒにおいて、対応画素Ｐｒを含んだ領域、例えば、対象画素Ｐｓと同様、対応画素Ｐｒを中心とした予め定めた大きさの矩形領域（対応画像領域Ｒｒ）とで、類似度を算出する。
図３に戻って、視差画像生成装置１の構成について説明を続ける。

視差選択手段１５ｂは、共通視差候補抽出手段１４で抽出された共通視差候補の中から、類似度算出手段１５ａで算出された類似度が最も高い共通視差候補を対象画素における視差として選択するものである。
この視差選択手段１５ｂは、その選択した視差を、基準画像Ｉｓの対象画素における視差として、対象画素と同じ座標上において視差を画素値に設定した視差画像Ｉｚを生成する。

このように、視差画像生成装置１は、対象画素ごとに、視差候補のうちで最も評価値（画像特徴の類似度）が高い視差を当該対象画素における視差とするため、ブロックに前景と背景が混在している場合であっても、精度のよい視差画像を生成することができる。
なお、視差画像生成装置１には、基準画像Ｉｓおよび参照画像Ｉｒを、それぞれフレーム（またはフィールド）として連続して入力されることで、動画像から、フレーム（またはフィールド）に対応した視差画像を生成することも可能である。

［視差画像生成装置の動作］
次に、図８を参照（構成については、適宜図３参照）して、本発明の実施形態に係る視差画像生成装置１の動作について説明する。なお、ここでは、基準画像Ｉｓおよび参照画像Ｉｒが連続する動画が、視差画像生成装置１に入力されるものとして説明を行う。

まず、視差画像生成装置１は、ブロック切出手段１１によって、基準画像Ｉｓおよび参照画像Ｉｒを入力する（ステップＳ１）。
そして、視差画像生成装置１は、ブロック切出手段１１によって、ステップＳ１で入力された基準画像Ｉｓおよび参照画像Ｉｒから、予め定めた同じ大きさのブロックである基準ブロックおよび参照ブロックを切り出す（ステップＳ２）。
すなわち、視差画像生成装置１は、ブロック切出手段１１の基準ブロック切出手段１１ａによって、基準画像Ｉｓから、基準ブロックを切り出し、ブロック切出手段１１の参照ブロック切出手段１１ｂによって、参照画像Ｉｒから、基準ブロックと同じ大きさ、同じ位置で参照ブロックを切り出す。

そして、視差画像生成装置１は、視差候補抽出手段１２によって、ステップＳ２で切り出された基準ブロックと参照ブロックとの間で、複数の視差を視差候補として抽出し、視差候補記憶手段１３に記憶する（ステップＳ３）。

すなわち、視差画像生成装置１は、視差候補抽出手段１２の位相相関関数生成手段１２ａによって、基準ブロックと参照ブロックとにおいて、位相相関法（位相限定相関法）により、位相相関関数を生成する。
そして、視差画像生成装置１は、視差候補抽出手段１２の極大値視差検出手段１２ｂによって、位相相関関数において、複数の極大値を求め、極大値の大きい順に、位相相関関数の原点座標から極大値を示す座標までの距離に対応する複数の視差を視差候補として抽出して、ブロック（基準ブロック）に対応付けて視差候補記憶手段１３に記憶する。

そして、視差画像生成装置１は、ブロック切出手段１１によって、画像全体についてブロックの切り出しが終了したか否かを判定する（ステップＳ４）。
このステップＳ４において、画像全体についてブロックの切り出しが終了していない場合（ステップＳ４でＮｏ）、視差画像生成装置１は、ステップＳ２に戻って、ブロック切出手段１１によって、切り出し位置をずらして、次のブロックを切り出す。
一方、画像全体についてブロックの切り出しが終了した場合（ステップＳ４でＹｅｓ）、視差画像生成装置１は、ステップＳ５に動作を進める。

そして、視差画像生成装置１は、共通視差候補抽出手段１４によって、視差候補記憶手段１３に記憶されている基準ブロックごとの視差候補から、視差を求める対象画素を含む複数の基準ブロックで共通の視差候補を、対象画素における共通視差候補として抽出する（ステップＳ５）。

そして、視差画像生成装置１は、視差候補評価手段１５によって、対象画素において、共通視差候補を評価し、評価値の最も高い視差を、当該対象画素における視差とする。
すなわち、視差画像生成装置１は、視差候補評価手段１５の類似度算出手段１５ａによって、ステップＳ５で抽出された対象画素における共通視差候補の視差ごとに、当該対象画素を含んだ基準画像Ｉｓにおける所定の大きさの画像領域と、参照画像Ｉｒにおける対象画素の位置から当該視差だけずらした画素（対応画素）を含んだ所定の大きさの画像領域との画像の類似度を算出する（ステップＳ６）。
そして、視差画像生成装置１は、視差候補評価手段１５の視差選択手段１５ｂによって、ステップＳ６で算出された類似度（評価値）が最も高い視差を当該対象画素における視差として選択する（ステップＳ７）。
これによって、視差画像Ｉｚの対象画素位置における画素値が視差の値によって特定されることになる。

そして、視差画像生成装置１は、共通視差候補抽出手段１４によって、基準画像Ｉｓの全画素について視差を求める対象画素として処理したか、すなわち、視差画像Ｉｚの全画素について視差を特定したか否かを判定する（ステップＳ８）。

このステップＳ８において、全画素について処理が完了していない場合（ステップＳ８でＮｏ）、視差画像生成装置１は、ステップＳ５に戻って、共通視差候補抽出手段１４によって、対象画素を変更する。なお、この対象画素の変更は、例えば、画像全体の左上の画素から順に１画素ずつ右に移動させ、最右端まで達した段階で、１画素下の段の最左端の画素を対象画素とするように、走査状に変更すればよい。
一方、全画素について処理が完了した場合（ステップＳ８でＹｅｓ）、視差画像生成装置１は、ブロック切出手段１１によって、動画におけるフレームのすべてについて処理が完了したか否かを判定する（ステップＳ９）。

そして、視差画像生成装置１は、全フレームについて処理が完了しておらず、次フレームとして、他の基準画像Ｉｓおよび参照画像Ｉｒが入力された場合（ステップＳ９でＮｏ）、ステップＳ１に動作を戻す。
一方、視差画像生成装置１は、全フレームについて視差画像の生成処理が完了した場合（ステップＳ９でＹｅｓ）、動作を終了する。
以上の動作によって、視差画像生成装置１は、異なる視点位置で撮影された基準画像Ｉｓおよび参照画像Ｉｒから、被写体の奥行きを示す視差画像Ｉｚを生成することができる。

このとき、視差画像生成装置１は、ブロックごとに位相相関が最も高い１つの視差によって、対象画素の視差を求めるのではなく、複数の視差候補から、対応する画素の画像特徴が最も類似する視差を特定するため、ブロックに前景と背景が混在している場合であっても、精度のよい視差画像を生成することができる。

［視差画像生成装置の構成］
次に、図９を参照して、参考例の実施形態に係る視差画像生成装置１Ｂの構成について説明する。

図９に示すように、視差画像生成装置１Ｂは、ブロック切出手段１１Ｂと、視差候補抽出手段１２と、視差候補評価手段１５Ｂと、を備えている。
この視差画像生成装置１Ｂは、図３で説明した視差画像生成装置１の構成から、ブロックごとに画像全体の視差候補を記憶する視差候補記憶手段１３、および、ブロック間で共通する視差候補を抽出する共通視差候補抽出手段１４を省き、ブロック切出手段１１および視差候補評価手段１５を、その機能を変えたブロック切出手段１１Ｂおよび視差候補評価手段１５Ｂに替えて構成している。

視差候補抽出手段１２は、図３で説明した視差画像生成装置１と同一の構成であるため、同一の符号を付して説明を省略する。なお、視差候補抽出手段１２で抽出されたブロック（基準ブロックおよび参照ブロック）ごとの視差候補は、視差候補評価手段１５Ｂに出力される。

ブロック切出手段１１Ｂは、基準画像Ｉｓおよび参照画像Ｉｒから、それぞれ予め定めた同じ大きさのブロックである基準ブロックおよび参照ブロックを、同一の切り出し位置で同一方向に切り出し位置を順次ずらして切り出すものである。このブロックの大きさについては、ブロック切出手段１１（図３参照）と同様に、基準ブロックおよび参照ブロックにおいて、被写体の重なり領域を確保して、平行移動量を求めることが可能な大きさとし、例えば、６４×６４画素（ピクセル）とする。もちろん、事前にこのブロックの大きさでは、ブロック同士の画像のずれが大きいため、平行移動量を求めることができないと分かっているときは、例えば、１２８×１２８画素、２５６×２５６画素等とブロックの大きさを予め大きくしておけばよい。

なお、ブロック切出手段１１（図３参照）は、視差を求める対象画素を複数のブロックに含ませるため、水平、垂直方向、それぞれについて、１画素よりも多く、ブロックの水平、垂直画素数の半分（半ブロック）以下の範囲でブロックの切り出し間隔を定めた。しかし、ブロック切出手段１１Ｂは、ブロック間で共通する視差を求めないため、１画素以上、ブロックの水平、垂直画素数以下の範囲で、ブロックの切り出し間隔を定める。ここでは、一例としてブロックの切り出し間隔を１画素とする。
図９に示すように、ブロック切出手段１１Ｂは、基準ブロック切出手段１１Ｂａと、参照ブロック切出手段１１Ｂｂと、を備えている。

基準ブロック切出手段１１Ｂａは、入力された基準画像Ｉｓから、予め定めた大きさのブロック（基準ブロック）を、切り出し位置を順次ずらして切り出すものである。この基準ブロック切出手段１１Ｂａで切り出された基準ブロックは、視差候補抽出手段１２に出力される。

この基準ブロック切出手段１１Ｂａは、図１０に示すように、基準画像Ｉｓの左上から、水平方向（右方向）に所定の間隔（ここでは、１画素）だけ切り出し位置をずらして、基準ブロックＢｓを順次（Ｂｓ_１，Ｂｓ_２，Ｂｓ_３，Ｂｓ_４，…）切り出す。そして、基準ブロック切出手段１１Ｂａは、基準画像Ｉｓの水平ラインについて切り出しが完了した後、垂直方向（下方向）に所定の間隔（ここでは、１画素）だけ切り出し位置をずらして左端から基準ブロックＢｓを切り出す。このように、基準ブロック切出手段１１Ｂａは、水平方向および垂直方向に走査状の切り出し処理を行い、基準画像Ｉｓ全体から複数の基準ブロックＢｓを順次切り出す。もちろん、この切り出し順序や方向はこれに限定されるものではない。

参照ブロック切出手段１１Ｂｂは、入力する画像が、基準ブロック切出手段１１Ｂａにおける基準画像Ｉｓから参照画像Ｉｒに代わっただけで、図１０に示すように、参照ブロックＢｒの大きさ、参照ブロックＢｒの切り出し位置、切り出し順序は、基準ブロック切出手段１１Ｂａと同じであるため、詳細な説明は省略する。

視差候補評価手段１５Ｂは、視差を求める対象画素ごとに、複数の視差候補を評価して、最適な視差を選択するものである。すなわち、視差候補評価手段１５Ｂは、基準画像Ｉｓの視差を求める対象画素と、視差候補の視差に対応する参照画像Ｉｒの画素（対応画素）との画素近傍の画像特徴の類似度（一致度）を評価し、最も類似度の高い視差を選択する。なお、図３で説明した視差画像生成装置１の視差候補評価手段１５は、対象画素を共有する複数のブロックで共通の視差候補について評価（画像特徴の類似度判定）を行った。しかし、視差候補評価手段１５Ｂは、１つのブロック（基準ブロックおよび参照ブロック）について評価（画像特徴の類似度判定）を行う点が視差候補評価手段１５とは異なっている。
図９に示すように、視差候補評価手段１５Ｂは、類似度算出手段１５Ｂａと、視差選択手段１５Ｂｂと、を備えている。

類似度算出手段１５Ｂａは、基準画像Ｉｓにおける視差を求める対象画素ごとに、視差候補抽出手段１２で抽出された視差候補のそれぞれについて、当該対象画素を含んだ基準画像Ｉｓにおける所定の大きさの画像領域と、参照画像Ｉｒにおける対象画素の位置から当該視差候補で示される視差だけずらした画素（対応画素）を含んだ所定の大きさの画像領域との類似度を算出するものである。この類似度算出手段１５Ｂａで算出された類似度は、対象画素を特定する情報（例えば、基準画像上の座標位置）とともに、視差選択手段１５Ｂｂに出力される。

この類似度算出手段１５Ｂａは、画像領域の類似度として、当該画像領域の輝度情報や色情報において、ＳＳＤ、ＺＮＣＣ等の一般的な類似度の評価式を計算することで、基準画像Ｉｓの対象画素と、参照画像Ｉｒの対応画素との間で類似度を算出することができる。また、類似度を計算する画像領域の大きさは、基準ブロックの大きさと同じである必要はなく、小さく設定することができ、最小１画素とすることができる。
なお、視差を求める対象画素は、基準ブロック内の予め定めた位置に対応する画素とする。例えば、基準ブロックの中心画素とする。ただし、ブロックの水平、垂直画素数が偶数であれば、中心４画素のうちの予め定めた１画素、例えば、左上画素とする。

ここで、図１１を参照（適宜図９参照）して、類似度算出手段１５Ｂａが類似度を算出する際の視差を求める対象画素と、当該対象画素の視差に対応する対応画素について説明する。ここでは、図１１（ａ）に示すように、基準画像Ｉｓにおいて、基準ブロックＢｓの中心である座標（ｘ１，ｙ１）の画素を、視差を求める画素（対象画素Ｐｓ）とする。

このとき、類似度算出手段１５Ｂａは、図１１（ｂ）に示すように、視差候補抽出手段１２で抽出された基準ブロックＢｓに対応する視差候補のそれぞれについて、対象画素Ｐｓに対応する対応画素Ｐｒを特定する。すなわち、視差候補の１つを視差ｄとしたとき、類似度算出手段１５Ｂａは、対象画素Ｐｓの座標に対して、視差ｄだけずらした座標（ｘ１＋ｄ，ｙ１）の画素を、対応画素Ｐｒとする。

そして、類似度算出手段１５Ｂａは、基準画像Ｉｓにおいて、対象画素Ｐｓを含んだ領域、例えば、対象画素Ｐｓを中心とした予め定めた大きさの矩形領域（類似度算出用画像領域Ｒｓ）と、参照画像Ｉｒにおいて、対応画素Ｐｒを含んだ領域、例えば、対象画素Ｐｓと同様、対応画素Ｐｒを中心とした予め定めた大きさの矩形領域（対応画像領域Ｒｒ）とで、類似度を算出する。
図９に戻って、視差画像生成装置１Ｂの構成について説明を続ける。

視差選択手段１５Ｂｂは、視差候補抽出手段１２で抽出された視差候補の中から、類似度算出手段１５Ｂａで算出された類似度が最も高い視差候補を対象画素における視差として選択するものである。
この視差選択手段１５Ｂｂは、その選択した視差を、基準画像Ｉｓの対象画素における視差として、対象画素と同じ座標上において視差を画素値に設定した視差画像Ｉｚを生成する。

このように、視差画像生成装置１Ｂは、対象画素ごとに、視差候補のうちで最も評価値（画像特徴の類似度）が高い視差を当該対象画素における視差とするため、ブロックに前景と背景が混在している場合であっても、精度のよい視差画像を生成することができる。
この視差画像生成装置１Ｂは、視差画像生成装置１と同様に、基準画像Ｉｓおよび参照画像Ｉｒを、それぞれフレーム（またはフィールド）として連続して入力されることで、動画像から、フレーム（またはフィールド）に対応した視差画像を生成することも可能である。

なお、ここでは、ブロック切出手段１１Ｂがブロックを切り出す切り出し間隔を、１画素として説明したが、前記したとおり、最大でブロックの水平、垂直画素数とすることができる。この場合、視差を求める対象画素は、切り出し間隔の水平画素数および垂直画素数で特定される基準ブロックの予め定めた位置の矩形領域の各画素を対象画素とする。

例えば、図１２に示すように、ブロックの切り出し間隔が水平、垂直方向ともに２画素である場合、基準ブロックＢｓ内の４画素（水平２画素×垂直２画素）分の矩形領域に含まれる画素を対象画素とする。この場合、類似度算出手段１５Ｂａは、図１２（ａ）〜（ｄ）のそれぞれの対象画素Ｐｓを基準に類似度算出用画像領域Ｒｓを設定して、視差に対応する参照画像の画像領域との間で、類似度を算出すればよい。
このように、ブロックの切り出し間隔を広げる場合、その間隔に対応させて、基準ブロックＢｓ内の対象画素を増やせば、基準画像Ｉｓの全画素について、漏れなく対象画素として視差を求めることができる。

また、ブロック切出手段１１Ｂにおいて、ブロックの切り出し間隔を、ブロックの大きさよりも小さくした場合、例えば、切り出し間隔を１画素とし、ブロック内で視差を求める対象画素を中心画素とした場合、入力画像（基準画像Ｉｓ，参照画像Ｉｒ）からブロックを切り出すと、入力画像の周辺に対象画素として選択されない画素が存在してしまう。

そこで、厳密には、ブロック切出手段１１Ｂは、図１３に示すように、ブロックＢの視差を求める対象画素が、基準画像Ｉｓ，参照画像Ｉｒの上下左右の両端の画素に存在するように、ブロックＢを実際の画像に対してずらした位置から切り出すこととする。その場合、基準画像Ｉｓ，参照画像Ｉｒを超えた画像領域については、予め定めた固定値（例えば、値“０”）や、ブロック内に含まれる基準画像Ｉｓ，参照画像Ｉｒの画像をコピー等することで、仮想的にブロックＢを切り出すこととする。これによって、入力画像全体の画素について視差を求め、視差画像を生成することができる。

［視差画像生成装置の動作］
次に、図１４を参照（構成については、適宜図９参照）して、参考例の実施形態に係る視差画像生成装置１Ｂの動作について説明する。なお、ここでは、基準画像Ｉｓおよび参照画像Ｉｒが連続する動画が、視差画像生成装置１Ｂに入力されるものとして説明を行う。

まず、視差画像生成装置１Ｂは、ブロック切出手段１１Ｂによって、基準画像Ｉｓおよび参照画像Ｉｒを入力する（ステップＳ１１）。
そして、視差画像生成装置１Ｂは、ブロック切出手段１１Ｂによって、ステップＳ１１で入力された基準画像Ｉｓおよび参照画像Ｉｒから、予め定めた同じ大きさのブロックである基準ブロックおよび参照ブロックを切り出す（ステップＳ１２）。
すなわち、視差画像生成装置１Ｂは、ブロック切出手段１１Ｂの基準ブロック切出手段１１Ｂａによって、基準画像Ｉｓから、基準ブロックを切り出し、ブロック切出手段１１Ｂの参照ブロック切出手段１１Ｂｂによって、参照画像Ｉｒから、基準ブロックと同じ大きさ、同じ位置で参照ブロックを切り出す。

そして、視差画像生成装置１Ｂは、視差候補抽出手段１２によって、ステップＳ１２で切り出された基準ブロックと参照ブロックとの間で、複数の視差を視差候補として抽出する（ステップＳ１３）。
すなわち、視差画像生成装置１Ｂは、視差候補抽出手段１２の位相相関関数生成手段１２ａによって、基準ブロックと参照ブロックとにおいて、位相相関法（位相限定相関法）により、位相相関関数を生成する。
そして、視差画像生成装置１Ｂは、視差候補抽出手段１２の極大値視差検出手段１２ｂによって、位相相関関数において、複数の極大値を求め、極大値の大きい順に、位相相関関数の原点座標から極大値を示す座標までの距離に対応する複数の視差を視差候補として抽出する。

そして、視差画像生成装置１Ｂは、視差候補評価手段１５Ｂによって、視差を求める対象画素において、当該対象画素を含んだブロックの視差候補を評価し、評価値の最も高い視差を、当該対象画素における視差とする。
すなわち、視差画像生成装置１Ｂは、視差候補評価手段１５Ｂの類似度算出手段１５Ｂａによって、ステップＳ１３で抽出された対象画素における複数の視差候補ごとに、当該対象画素を含んだ基準画像Ｉｓにおける所定の大きさの画像領域と、参照画像Ｉｒにおける対象画素の位置から当該視差だけずらした画素（対応画素）を含んだ所定の大きさの画像領域との画像の類似度を算出する（ステップＳ１４）。
そして、視差画像生成装置１Ｂは、視差候補評価手段１５Ｂの視差選択手段１５Ｂｂによって、ステップＳ１４で算出された類似度（評価値）が最も高い視差を当該対象画素における視差として選択する（ステップＳ１５）。

なお、ブロック切出手段１１Ｂにおいて、ブロックの切り出し間隔が複数画素単位である場合、視差画像生成装置１Ｂは、このステップＳ１３〜Ｓ１５の動作を、対象画素分行う（図１２参照）。

そして、視差画像生成装置１Ｂは、視差候補評価手段１５Ｂによって、基準画像Ｉｓの全画素について視差を求める対象画素として処理したか、すなわち、視差画像Ｉｚの全画素について視差を特定したか否かを判定する（ステップＳ１６）。
このステップＳ１６において、全画素について処理が完了していない場合（ステップＳ１６でＮｏ）、視差画像生成装置１Ｂは、ステップＳ１２に戻って、ブロック切出手段１１Ｂによって、切り出し位置をずらして、次のブロックを切り出す。
一方、全画素について処理が完了した場合（ステップＳ１６でＹｅｓ）、視差画像生成装置１Ｂは、ブロック切出手段１１Ｂによって、動画におけるフレームのすべてについて処理が完了したか否かを判定する（ステップＳ１７）。

そして、視差画像生成装置１Ｂは、全フレームについて処理が完了しておらず、次フレームとして、他の基準画像Ｉｓおよび参照画像Ｉｒが入力された場合（ステップＳ１７でＮｏ）、ステップＳ１１に動作を戻す。
一方、視差画像生成装置１Ｂは、全フレームについて視差画像の生成処理が完了した場合（ステップＳ１７でＹｅｓ）、動作を終了する。
以上の動作によって、視差画像生成装置１Ｂは、異なる視点位置で撮影された基準画像Ｉｓおよび参照画像Ｉｒから、被写体の奥行きを示す視差画像Ｉｚを生成することができる。

なお、本発明および参考例の実施形態に係る視差画像生成装置１，１Ｂは、一般的なＣＰＵ、ＲＡＭ、ＲＯＭなどで構成することができ、コンピュータを、前記した各手段として機能させるプログラム（視差画像生成プログラム）で動作させることができる。

以上、本発明および参考例の実施形態に係る視差画像生成装置１，１Ｂの構成および動作について説明したが、本発明および参考例はこの実施形態に限定されるものではない。
例えば、ここでは、視差画像生成装置１，１Ｂは、対象画素ごとに１画素単位で視差を求めることとしたが、予め定めた大きさ、例えば、２画素×２画素の範囲についての複数画素を、視差を求める対象画素とし、そのうちの１画素について視差を求め、他の画素についてはその求めた視差と同じとすることとしてもよい。これによって、視差画像の解像度を荒くする代わりに、演算量を減らして高速に視差画像を生成することができる。

また、ここでは、視差画像生成装置１，１Ｂは、２台のカメラで撮影した画像から、視差画像を生成したが、３台以上のカメラを用いることも可能である。
この場合、視差画像生成装置１，１Ｂは、ブロック切出手段１１，１１Ｂによって、複数のカメラで撮影された画像から、それぞれブロックを切り出すこととし、視差候補抽出手段１２が、複数のカメラで撮影された画像のうち、ある基準となるカメラで撮影された画像（基準画像）と他のカメラで撮影された画像（参照画像）とから切り出したブロックをペアとして、それぞれ位相相関関数の極大値を求め、極大値の大きいものから順に視差を抽出すればよい。

あるいは、視差候補抽出手段１２が、複数の入力画像（基準画像と複数の参照画像）のうち、基準画像と参照画像との２つの画像のブロックのペアから、それぞれ極大値の大きい視差を抽出し、それぞれのブロックのペアで抽出された視差において、視差候補評価手段１５，１５Ｂが、視差に対応する画像の特徴が最も類似する視差を選択することとしてもよい。

また、ここでは、視差画像生成装置１，１Ｂは、ブロック切出手段１１，１１Ｂによって、基準画像と参照画像とから同一の位置でブロック（基準ブロック，参照ブロック）を切り出すこととしたが、予め大まかな視差が既知の場合、必ずしも同一の位置で切り出す必要はない。すなわち、基準ブロックと参照ブロックとを、予め既知の大まかな視差分だけ水平方向にずらして切り出し、求めた視差に予め切り出し位置をずらした視差を加算すればよい。この場合、視差の大きいステレオ画像であっても、位相相関法のブロックのサイズを小さくすることができる。これによって、処理時間を短縮して精度よく視差画像を生成することができる。

１ 視差画像生成装置
１１ ブロック切出手段
１１ａ 基準ブロック切出手段
１１ｂ 参照ブロック切出手段
１２ 視差候補抽出手段
１２ａ 位相相関関数生成手段
１２ｂ 極大値視差検出手段
１３ 視差候補記憶手段
１４ 共通視差候補抽出手段
１５ 視差候補評価手段
１５ａ 類似度算出手段
１５ｂ 視差選択手段

Claims (4)

1. 同一の被写体を異なる視点位置で撮影した一方の画像である基準画像と他方の画像である参照画像とから、前記被写体の奥行きを示す視差画像を生成する視差画像生成装置であって、
   前記基準画像および前記参照画像から、それぞれ予め定めた同じ大きさのブロックである基準ブロックおよび参照ブロックを、対応する位置で同一方向に切り出し位置を順次ずらして切り出すブロック切出手段と、
   このブロック切出手段で切り出された基準ブロックおよび参照ブロックごとに、位相の相関を示す位相相関関数の極大値の大きい順に、前記位相相関関数の原点座標から前記極大値を示す座標までの距離に対応する複数の視差を視差候補として抽出する視差候補抽出手段と、
   この視差候補抽出手段で抽出された視差候補を前記基準ブロックごとに記憶する視差候補記憶手段と、
   前記視差候補記憶手段に記憶されている基準ブロックごとの視差候補から、前記基準画像における視差を求める対象画素ごとに、当該対象画素を含む複数の基準ブロックで共通の視差候補を共通視差候補として抽出する共通視差候補抽出手段と、
   この共通視差候補抽出手段で抽出された対象画素における共通視差候補のそれぞれについて、当該対象画素を含んだ前記基準画像における所定の大きさの画像領域と、前記参照画像における前記対象画素の位置から当該共通視差候補で示される視差だけずらした対応画素を含んだ所定の大きさの画像領域との類似度を算出する類似度算出手段と、
   前記共通視差候補の中から、前記類似度算出手段で算出された類似度が最も高い共通視差候補を前記対象画素における視差として選択する視差選択手段と、
   を備えることを特徴とする視差画像生成装置。
2. 前記ブロック切出手段は、水平方向においては前記ブロックの水平画素数の半分ずつ、垂直方向においては前記ブロックの垂直画素数の半分ずつ、前記切り出し位置をずらして、前記基準ブロックおよび前記参照ブロックを切り出すことを特徴とする請求項１に記載の視差画像生成装置。
3. 前記位相相関関数のＸ座標を視差方向であるブロックの水平方向にとり、Ｙ座標を垂直方向にとったとき、
   前記視差候補抽出手段は、前記位相相関関数の極大値の個数として、当該極大値をとるＹ座標の値の絶対値が予め定めた閾値よりも大きい個数が、前記ブロックの総画素数に対する予め定めた割合となるまで、当該極大値をとるＸ座標の値を前記視差候補として抽出することを特徴とする請求項１または請求項２に記載の視差画像生成装置。
4. 同一の被写体を異なる視点位置で撮影した一方の画像である基準画像と他方の画像である参照画像とから、前記被写体の奥行きを示す視差画像を生成するために、コンピュータを、
   前記基準画像および前記参照画像から、それぞれ予め定めた同じ大きさのブロックである基準ブロックおよび参照ブロックを、対応する位置で同一方向に切り出し位置を順次ずらして切り出すブロック切出手段、
   このブロック切出手段で切り出された基準ブロックおよび参照ブロックごとに、位相の相関を示す位相相関関数の極大値の大きい順に、前記位相相関関数の原点座標から前記極大値を示す座標までの距離に対応する複数の視差を視差候補として抽出して視差候補記憶手段に記憶する視差候補抽出手段、
   前記視差候補記憶手段に記憶されている基準ブロックごとの視差候補から、前記基準画像における視差を求める対象画素ごとに、当該対象画素を含む複数の基準ブロックで共通の視差候補を共通視差候補として抽出する共通視差候補抽出手段、
   この共通視差候補抽出手段で抽出された対象画素における共通視差候補のそれぞれについて、当該対象画素を含んだ前記基準画像における所定の大きさの画像領域と、前記参照画像における前記対象画素の位置から当該共通視差候補で示される視差だけずらした対応画素を含んだ所定の大きさの画像領域との類似度を算出する類似度算出手段、
   前記共通視差候補の中から、前記類似度算出手段で算出された類似度が最も高い共通視差候補を前記対象画素における視差として選択する視差選択手段、
   として機能させることを特徴とする視差画像生成プログラム。

Images