JP5387856B2 - 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 - Google Patents

Description

本発明は、複数の視差画像を用いた画像処理を行う画像処理装置、画像処理方法および画像処理プログラム、ならびにそのような画像処理装置を備えた撮像装置に関する。

従来、様々な画像処理による距離算出のアルゴリズムが提案され、開発されている。そのうちの１つとして、ブロックマッチング（ステレオマッチング）と呼ばれる手法を用いた距離算出方法が提案されている（例えば、非特許文献１参照）。

これは、ある方向（例えば水平方向）に沿って視差の異なる複数の視差画像を用いた画像処理によって距離を算出する手法である。具体的には、視差画像同士を局所領域で逐次比較していく（相関値を求める）ことにより、物体の移動量（視差画像間の位相差）を求め、この位相差に基づいて距離を算出するようになっている。

D.Scharstein and R.Szeliski，「A taxonomy and evaluation of dense two-frame stereo correspondence algorithms.」，IJCV 2002.

このようなステレオマッチングの手法では、画像内の水平方向（Ｈ方向）に沿った複数の視差画像から距離を算出する場合、視差画像間の位相差を求める際に、比較対象の局所領域（単位領域）を水平方向に逐次移動させる。そして、比較範囲内で最も相関が強い単位領域同士の視差画像間での位置ずれ（Pixelずれ）を位相差として求めるようになっている。なお、画像内の垂直方向（Ｖ方向）に沿った複数の視差画像から距離を算出する場合には、視差画像間の位相差を求める際、同様に、比較対象の単位領域を垂直方向に逐次移動させる。

ところが、このような従来のステレオマッチングの手法では、例えば画像内にエッジ領域が含まれている場合には、そのエッジ領域において正しい位相差を求めることができず、その結果、画像内の位相差分布について正確なものを得るのが困難であるという問題があった。なお、位相差分布の正確性が低い場合には、これを基にして得られる距離情報（画像内の距離分布）についても、不正確なものとなってしまう。

これは、例えば水平方向に沿ったエッジ領域（水平エッジ領域）が存在する場合、その領域において比較対象の局所領域を移動させていっても（水平方向に移動させていっても）、常に相関が強くなる（比較範囲内で常に一定の相関値となる）ことに起因している。すなわち、最も相関が強い単位領域同士の位置ずれを一義的に決めることができないため、位相差を規定できないのである。

本発明はかかる問題点に鑑みてなされたもので、その目的は、従来と比べて正確な位相差分布を生成することが可能な画像処理装置、画像処理方法および画像処理プログラム、ならびにそのような画像処理装置を備えた撮像装置を提供することにある。

本発明の画像処理装置は、複数の視差画像において、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布を生成する位相差検出部を備えたものである。この位相差検出部は、互いに異なる２方向以上に沿って個別に位相差検出を行うと共に、それら２方向以上についての位相差検出結果を利用して位相差分布を生成するようになっている。

本発明の画像処理方法は、複数の視差画像において、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布を生成する際に、互いに異なる２方向以上に沿って個別に位相差検出を行うと共に、それら２方向以上についての位相差検出結果を利用して位相差分布を生成するようにしたものである。

本発明の画像処理プログラムは、複数の視差画像において、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布を生成する位相差検出ステップをコンピュータに実行させる際に、この位相差検出ステップにおいて、互いに異なる２方向以上に沿って個別に位相差検出を行うと共に、それら２方向以上についての位相差検出結果を利用して位相差分布を生成するようにしたものである。

本発明の撮像装置は、撮像光学系と、この撮像光学系により取得された撮像データに対して画像処理を行う画像処理装置とを備えたものである。この画像処理装置は、撮像データから直接もしくは間接的に得られる複数の視差画像において、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布を生成する位相差検出部を有している。この位相差検出部は、互いに異なる２方向以上に沿って個別に位相差検出を行うと共に、それら２方向以上についての位相差検出結果を利用して位相差分布を生成するようになっている。

本発明の画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置では、複数の視差画像において、相関値演算がなされることにより視差画像間の位相差が検出され、画像内の位相差分布が生成される。この際、互いに異なる２方向以上に沿って個別に位相差検出が行われ、それら２方向以上についての位相差検出結果を利用して位相差分布が生成される。これにより、例えば画像にエッジ領域が含まれている場合であっても、ある１方向に沿った位相差検出結果のみに基づいて位相差分布が生成されている従来の手法と比べ、位相差検出の際にエッジ領域の影響を受けにくくなる。

本発明の画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置によれば、互いに異なる２方向以上に沿って個別に位相差検出を行うと共に、それら２方向以上についての位相差検出結果を利用して位相差分布を生成するようにしたので、位相差検出の際に、従来と比べてエッジ領域の影響を受けにくくすることができる。よって、従来と比べて正確な位相差分布を生成することが可能となる。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。 マイクロレンズアレイのＦナンバーを説明するための模式図である。 図１に示した画像処理部の概略構成を表す機能ブロック図である。 図１に示した撮像素子上の受光領域を表す平面図である。 撮像素子上で受光される光線について説明するための模式図である。 ２つの視差画像に基づく位相差検出処理について説明するための模式図である。 第１の実施の形態の位相差検出の際に用いる３つの視差画像を表す模式図である。 エッジ領域を含む視差画像における水平方向での位相差検出処理について説明するための模式図である。 エッジ領域を含む視差画像における垂直方向での位相差検出処理について説明するための模式図である。 実施例および比較例に係る画像処理装置により生成される位相差分布（距離情報分布）を表す模式図である。 第１の実施の形態に係る位相差分布の生成動作を表す流れ図である。 図１１に示した信頼度判定処理の一例について説明するための模式図である。 図１１に示した信頼度判定処理の他の例について説明するための模式図である。 撮像レンズから測定対象までの距離の算出方法について説明するための模式図である。 距離情報とリフォーカス係数との関係について説明するための模式図である。 リフォーカス演算処理について説明するための模式図である。 本発明の第２の実施の形態に係る位相差分布の生成動作を表す流れ図である。 図１７に示したエッジ検出処理について説明するための模式図である。 エッジ検出フィルタの一例について説明するための模式図である。 本発明の撮像装置の一適用例に係るデジタルカメラの概略構成を表す図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

１．第１の実施の形態（信頼度判定処理を用いた位相差分布の生成動作の例）
２．第２の実施の形態（エッジ検出処理を用いた位相差分布の生成動作の例）
３．適用例（撮像装置のデジタルカメラ等への適用例）
４．変形例

＜第１の実施の形態＞
［撮像装置１の全体構成］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、撮像対象物（被写体）２を撮像して所定の画像処理を施すことにより、画像データ（撮像データ）Ｄoutを生成し出力するものである。この撮像装置１は、開口絞り１０を有する撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とを備えている。これらのうち、画像処理部１４が、本発明における「画像処理装置」の一具体例に対応している。

なお、本実施の形態（および後述する第２の実施の形態）の画像処理方法は、画像処理部１４において具現化されるため、以下併せて説明する。また、本実施の形態（および後述する第２の実施の形態）の画像処理プログラムは、画像処理部１４における各画像処理機能をソフトウェア的に実現したものに対応している。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の開口の形状（例えば円形状）に相似形となる撮像対象物２の像（後述のユニット像）が、撮像素子１３上にマイクロレンズごとに形成されるようになっている。

撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。

マイクロレンズアレイ１２は、複数のマイクロレンズが２次元配列したものであり、撮像レンズ１１の焦点面（結像面）に配置されている。各マイクロレンズは、例えば円形の平面形状を有しており、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。

ここで、撮像レンズ１１のＦナンバーＦ_MLと、マイクロレンズアレイ１２のＦナンバーＦ_MLAとは、概ね等しくなっていることが好ましい。これは、図２（Ａ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも小さい場合（Ｆ_ML＜Ｆ_MLAの場合）、隣接するマイクロレンズによる撮像光線間で重なりが生じるためである。この場合、クロストークが発生し、再構築画像の画質が劣化してしまうことになる。一方、図２（Ｂ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも大きい場合（Ｆ_ML＞Ｆ_MLAの場合）、マイクロレンズによる撮像光線が受光されない撮像画素が生じる。この場合、撮像画素を十分に利用することができず、再構築画像の画素数が低下してしまうことになる。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して複数の画素データを含む撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（以下、単に画素という）が、マトリクス状に配置されている。そして、複数の画素に対して、マイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられて配置されている。例えば、受光面上の画素数はＭ×Ｎ＝３７２０×２５２０＝９３７４４００個であり、このうちｍ×ｎ＝１２×１２＝１４４個の画素に対して１つのマイクロレンズが割り当てられるようになっている。ここで、各マイクロレンズに対する画素の割り当て個数ｍ，ｎの値が大きくなるに従って、後述する再構築画像の分解能、例えば任意の視野での分解能やリフォーカス演算処理に基づく奥行き方向の分解能（任意の焦点での分解能）などが高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の解像度と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の解像度が高くなる。このように、再構築画像の分解能と解像度とはトレードオフの関係にあるが、分解能および解像度の両者をできるだけ高い値で両立させることが望ましい。

なお、撮像素子１３の受光面上には、例えば図示しないカラーフィルタを画素単位で２次元配置するようにしてもよい。カラーフィルタとしては、例えば、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子１３により得られた撮像データを、カラーフィルタの色に対応した複数の色（この場合、３原色）の画素データとすることができる。

画像処理部１４は、撮像素子１３により得られた撮像データＤ０に対して後述する所定の画像処理を施すことにより、画像データＤoutを生成するものである。なお、この画像処理部１４の詳細構成については後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、このうち画像処理部１４の動作の制御は、制御信号Ｓoutを用いて行うようになっている。なお、制御部１６は例えばマイクロコンピュータなどにより構成されている。

［画像処理部１４の詳細構成］
次に、図３を参照して、画像処理部１４の詳細構成について説明する。図３は、画像処理部１４の機能ブロック構成を表したものである。画像処理部１４は、欠陥補正部１４１、クランプ処理部１４２、リフォーカス係数算出部１４３、並び替え処理部１４４、ノイズ低減処理部１４５、輪郭強調処理部１４６、ホワイトバランス処理部１４７およびガンマ補正処理部１４８を有している。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。

クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。なお、クランプ処理後の撮像データに対して、更にデモザイク処理などのカラー補間処理を施すようにしてもよい。

（リフォーカス係数算出部１４３）
リフォーカス係数算出部１４３は、クランプ処理部１４２から供給される撮像データＤ１に基づいて、後述する並び替え処理部１４４での並び替え処理に用いられるリフォーカス係数αを算出するものである。ここで、リフォーカス係数αは、撮像データＤ１に対応する撮像画像内の指定された奥行き面をリフォーカス面としたものに対応している。

このリフォーカス係数算出部１４３は、位相差検出部１４３Ａ、距離情報算出部１４３Ｂおよびリフォーカス係数設定部１４３Ｃを有している。

位相差検出部１４３Ａは、撮像データＤ１に基づいて、後述する位相差分布（後述するDisparity Map）ＤＭを生成（算出）するものである。距離情報算出部１４３Ｂは、位相差分布ＤＭに基づいて、後述する距離情報ｄ（撮像レンズ１１から後述するリフォーカス面までの距離情報）を算出するものである。リフォーカス係数設定部１４３Ｃは、距離情報ｄに基づいてリフォーカス係数αを設定（算出）するものである。なお、リフォーカス係数算出部１４３の詳細動作については後述する。

並び替え処理部１４４は、リフォーカス係数算出部１４３において算出されたリフォーカス係数αを用いて、クランプ処理部１４２から供給される撮像データＤ１に対して後述する所定の並べ替え処理を行うことにより、画像データＤ２を生成するものである。この並び替え処理としては、ここでは後述する「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理を用いている。なお、並び替え処理部１４４の詳細動作については後述する。

ノイズ低減処理部１４５は、並び替え処理部１４４により供給される画像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。

輪郭強調処理部１４６は、ノイズ低減処理部１４５により供給される画像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス処理部１４７は、輪郭強調処理部１４６により供給される画像データに対し、カラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス処理）を行うものである。

ガンマ補正処理部１４８は、ホワイトバランス処理部１４７により供給される画像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、画像データＤoutを生成するものである。

［撮像装置１の作用・効果］
続いて、本実施の形態の撮像装置１の作用および効果について説明する。

（１．基本動作）
この撮像装置１では、図１に示したように、撮像レンズ１１による撮像対象物２の像が、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線が、このマイクロレンズアレイ１２を介して撮像素子１３で受光される。このとき、マイクロレンズアレイ１２への入射光線は、その進行方向に応じて撮像素子１３上の異なる位置で受光される。その結果、例えば図４に示したように、開口絞り１０の開口形状に相似形となる撮像対象物２の像（ユニット像）１３−１が、マイクロレンズごとに結像する。なお、このユニット像１３−１、すなわち１つのマイクロレンズに割り当てられた画素Ｐによって構成される領域（再構築画素領域１３Ｄ）が、再構築される画像の１画素分に相当する。

ここで図５を参照して、撮像素子１３で受光される光線について説明する。図５に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとする。すると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_F（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の画素Ｐの配置によって、光線の入射方向が決まることとなる。

このようにして、撮像素子１３で受光がなされると、撮像素子駆動部１５による駆動動作に従って撮像データＤ０が得られ、画像処理部１４へ入力される。そして、画像処理部１４では、この撮像データＤ０に対して後述する所定の画像処理を施す。これにより、撮像装置１において画像データＤoutが生成され、外部へ出力される。

（２．画像処理動作）
次に、図３および図６〜図１６を参照して、画像処理部１４における画像処理動作（特に、リフォーカス係数算出部１４３の動作）について、比較例と比較しつつ詳細に説明する。

図３に示したように、画像処理部１４では、欠陥補正部１４１が撮像データＤ０に対して欠陥補正を行ったのち、クランプ処理部１４２が欠陥補正後の撮像データに対してクランプ処理を行う。これにより、クランプ処理後の撮像データＤ１が、リフォーカス係数算出部１４３へ入力される。

（２−１．リフォーカス係数算出動作）
次いで、リフォーカス係数算出部１４３は、この撮像データＤ１に基づいて、以下説明するようにしてリフォーカス係数αを算出する。

（位相差検出動作）
具体的には、まず、位相差検出部１４３Ａが、撮像データＤ１に基づいて、互いに視差の異なる複数（例えば３つ以上）の視差画像（異なる視点による任意視点画像）を生成する。なお、位相差を検出するための視差画像は、撮像素子１３上で受光したユニット像同士の間で、同一の位置に配置された画素Ｐで取得された画素データを抽出して合成することにより生成することができる。このため、生成される視差画像の数は、１つのマイクロレンズに割り当てられた画素数と同数となる。

そして、位相差検出部１４３Ａは、生成された複数の視差画像において、以下説明する相関値演算を行うことにより視差画像間の位相差を検出し、画像内の単位領域ごと（例えば画素Ｐごと）の位相差を示す位相差分布（Disparity Map）ＤＭを生成する。すなわち、例えば図６に示したような左右２つの視差について考えた場合、右側の光線ＬＲによる視差画像と、左側の光線ＬＬによる視差画像との間の位相差Δφ（光線ＬＲによる視差画像の位相φＲと、光線ＬＬによる視差画像の位相φＬとの間の位相差）を検出する。

詳細には、本実施の形態では、例えば図７に示したような、互いに異なる２方向以上（ここでは、画像内の水平（Ｈ）方向および垂直（Ｖ）方向の２方向）に沿った複数の視差画像（ここでは、３つの視差画像ＤＣ，ＤＨ，ＤＶ）を用いて、位相差分布ＤＭを生成する。ここで、２つの視差画像ＤＣ，ＤＨ同士は、互いに水平方向に視差を有しており、２つの視差画像ＤＣ，ＤＶ同士は、互いに垂直方向に視差を有している。

ここで、このような２つの視差画像間の位相差を検出（位相差分布ＤＭを生成）する際には、例えば以下のようなステレオマッチングの手法が用いられる。これは、２つの視差画像同士を局所領域で逐次比較していく（画像同士の類似度を示す相関値（画素相関値）を求める）ことにより、物体の移動量（視差画像間の位相差）を求めるという手法である。

具体的には、例えば水平方向に沿った２つの視差画像ＤＣ，ＤＨ間の位相差を求める場合、以下のようにして位相差分布ＤＭを生成する。すなわち、まず、一方の視差画像ＤＣ内の単位領域（図７中の部分画像Ｃ１：中心座標（ｘ１，ｙ１））を取り出し、位置を固定させる。次いで、他方の視差画像ＤＨ内における比較対象の単位領域（図７中の部分画像Ｈ１：中心座標（ｘ１，ｙ１）を取り出し、この部分画像Ｈ１の位置を比較範囲Ｈ１０内で水平方向に逐次移動させつつ、相関値を逐次算出する。そして、この比較範囲Ｈ１０内で最も相関が強いときの部分画素Ｃ１，Ｈ１同士の位置ずれ（Pixelずれ）が、位相差（Disparity）として求められる。また、このような演算処理を、部分画像Ｃ１の位置を変化させつつ視差画像ＤＣ，ＤＨの全面について繰り返し行うことにより、上記した位相差分布ＤＭ（Disparityの集合）が得られる。なお、垂直方向に沿った２つの視差画像ＤＣ，ＤＶ間の位相差を求める場合にも、同様にして位相差分布ＤＭを生成する。すなわち、まず、視差画像ＤＣ内の部分画像Ｃ１と、視差画像ＤＶ内の部分画像Ｖ１とをそれぞれ取り出し、部分画像Ｖ１の位置を比較範囲Ｖ１０内で垂直方向に逐次移動させつつ相関値を逐次算出する。そして、このような演算処理を、部分画像Ｃ１の位置を変化させつつ視差画像ＤＣ，ＤＶの全面について繰り返し行うことにより、位相差分布ＤＭを生成する。

このとき、相関値の算出式としては種々のものを用いることができるが、代表的なものとして以下の（１）〜（３）式が挙げられる。すなわち、（１）式で規定されるＳＡＤ（Sum of Absolute Difference）、（２）式で規定されるＳＳＤ（Sum of Squared Difference）、または（３）式で規定されるＮＣＣ（Normalized Cross-Correlation）などを相関値として用いることができる。ここで、（１）〜（３）式において、Ｉ１，Ｉ２はそれぞれ視差画像における画素値を表している。また、ＳＡＤおよびＳＳＤはそれぞれ、値が小さいほど（０に近いほど）相関が強いことを示し、値が大きいほど（∞に近いほど）相関が弱いことを示している。一方、ＮＣＣは、値が１に近いほど相関が強いことを示し、値が０に近いほど相関が弱いことを示している。

（比較例）
ところが、このような従来のステレオマッチングの手法では、例えば画像内にエッジ領域が含まれている場合には、以下のような問題が生じていた。

ここで、図８（Ａ）〜（Ｆ）は、エッジ領域を含む視差画像ＤＣ，ＤＨにおける水平方向での位相差検出処理の一例を模式的に表したものである。図中において、部分画像Ｃ１（中心座標（ｘ１，ｙ１））および水平方向の比較範囲Ｈ１０はそれぞれ、同一物体における垂直エッジ領域に位置するものとする。一方、部分画像Ｃ２（中心座標（ｘ２，ｙ２））および比較範囲Ｈ２０はそれぞれ、同一物体における水平エッジ領域に位置するものとする。また、図８（Ｅ），（Ｆ）にそれぞれ示した相関値は、一例として上記したＳＳＤを用いた場合で示している。このような水平方向の位相差検出の場合、図８（Ｃ），（Ｅ）に示したように、垂直エッジ領域に対しては正確に位相差が検出されている一方、図８（Ｄ），（Ｆ）に示したように、水平エッジ領域に対しては位相差が検出できない。これは、図８（Ｄ）に示したように、水平エッジ領域に位置する比較範囲Ｈ２０内で単位画像Ｈ２を移動させていっても（水平方向に移動させていっても）、図８（Ｆ）に示したように、常に相関が強くなる（比較範囲Ｈ２０内で常に一定の相関値となる）ことに起因している。すなわち、最も相関が強いときの位置ずれを一義的に決めることができないため、位相差を規定できないのである。

一方、例えば図９（Ａ）〜（Ｆ）は、エッジ領域を含む視差画像ＤＣ，ＤＶにおける垂直方向での位相差検出処理の一例を模式的に表したものである。図中において、部分画像Ｃ１（中心座標（ｘ１，ｙ１））および垂直方向の比較範囲Ｖ１０はそれぞれ、同一物体における垂直エッジ領域に位置するものとする。一方、部分画像Ｃ２（中心座標（ｘ２，ｙ２））および垂直方向の比較範囲Ｖ２０はそれぞれ、同一物体における水平エッジ領域に位置するものとする。また、図９（Ｅ），（Ｆ）にそれぞれ示した相関値は、一例として上記したＳＳＤを用いた場合で示している。このような垂直方向の位相差検出の場合、上記した水平方向の位相差検出の場合とは逆の結果となる。すなわち、図９（Ｄ），（Ｆ）に示したように、水平エッジ領域に対しては正確に位相差が検出されている一方、図９（Ｃ），（Ｅ）に示したように、垂直エッジ領域に対しては位相差が検出できない。これは、図９（Ｃ）に示したように、垂直エッジ領域に位置する比較範囲Ｖ１０内で単位画像Ｖ１を移動させていっても（垂直方向に移動させていっても）、図９（Ｅ）に示したように、常に相関が強くなる（比較範囲Ｖ１０内で常に一定の相関値となる）ことに起因している。すなわち、この場合も、最も相関が強いときの位置ずれを一義的に決めることができないため、位相差を規定できないのである。

このように、比較例に係る従来の手法では、画像内にエッジ領域が含まれている場合には、そのエッジ領域において正しい位相差を求めることができず、その結果、位相差分布ＤＭについて正確なものを得るのが困難となってしまう。これは、図８および図９に示したように、従来の手法では以下説明する本実施の形態とは異なり、ある１方向（この場合、水平方向または垂直方向）に沿った位相差検出結果のみに基づいて位相差分布ＤＭが生成されているためである。また、位相差分布ＤＭの正確性が低い場合には、これを基にして得られる後述する距離情報ｄ（画像内の距離分布）についても、不正確なものとなってしまう。

したがって、例えば図１０（Ａ）に示したような水平エッジ領域を含む画像（撮像データＤ１に対応）に基づいて、水平方向での位相差検出処理を行った場合、上記比較例の手法では、例えば図１０（Ｂ）に示したように、位相差分布ＤＭ１０１が不正確なものとなってしまう。すなわち、撮像データＤ１に対応する画像は、平板状の物体の撮像画像であるため、本来は、位相差の値が均一となる位相差分布（距離が均一となる距離情報分布）を示すのが望ましい。ところが、図１０（Ｂ）に示した比較例に係る位相差分布ＤＭ１０１では、図中の符号Ｐ１０1で示したように、上記した理由により、水平エッジ領域においては正確な位相差が検出されていない。

（本実施の形態）
これに対して、本実施の形態では、位相差検出部１４３Ａにおいて、以下説明するようにして位相差検出処理（位相差分布ＤＭの生成動作）を行う。これにより、本実施の形態では、例えば、上記した図１０（Ａ）に示したような水平エッジ領域を含む画像に基づいて水平方向での位相差検出処理を行った場合であっても、上記比較例とは異なり、例えば図１０（Ｃ）に示したように正確な位相差分布ＤＭ１が得られる。すなわち、この場合、位相差分布ＤＭ１では、位相差の値が均一となる位相差分布（距離が均一となる距離情報分布）を示している。

具体的には、位相差検出部１４３Ａは、互いに異なる２方向以上（ここでは、画像内の水平（Ｈ）方向および垂直（Ｖ）方向の２方向）に沿って個別に位相差検出処理を行うと共に、それら２方向以上についての位相差検出結果を利用して、位相差分布ＤＭを生成する。すなわち、ここでは一例として、図７に示した３つの視差画像ＤＣ，ＤＨ，ＤＶにおける水平方向および垂直方向に沿って個別に位相差検出処理を行うと共に、水平方向についての位相差検出結果と、垂直方向についての位相差検出結果とを利用して、位相差分布ＤＭを生成している。

図１１は、このような本実施の形態に係る位相差分布ＤＭの生成動作（位相差検出処理）を流れ図で表したものである。この図１１に示したように、位相差分布ＤＭの生成の際に、位相差検出部１４３Ａはまず、図７および図８を参照して前述したように、水平方向でのステレオマッチング処理を行う。言い換えると、視差画像ＤＣ，ＤＨを用いた位相差検出処理を行う（図１１のステップＳ１１）。また、これと並行して、位相差検出部１４３Ａは、図７および図９を参照して前述したように、垂直方向でのステレオマッチング処理を行う。言い換えると、視差画像ＤＣ，ＤＶを用いた位相差検出処理を行う（ステップＳ１２）。

次に、位相差検出部１４３Ａは、２方向以上についての位相差検出結果（ここでは、水平方向および垂直方向についての位相差検出結果）に対してそれぞれ、位相差の信頼度判定（信頼度判定処理）を単位領域ごとに行う（ステップＳ１３）。具体的には、例えば図８（Ｅ）,（Ｆ）および図９（Ｅ），（Ｆ）に示したような、相関値演算の際の画素位置と相関値との関係を示す相関特性線の形状に基づいて、信頼度判定処理を行う。これは、図８（Ｅ）および図９（Ｆ）に示したように、正確な位相差検出がなされる場合には、相関特性線が曲線（この場合、下に凸の曲線）状となる一方、図８（Ｆ）および図９（Ｅ）に示したように、正確な位相差検出がなされない場合には相関特性線が直線状となることを利用している。このような相関特性線の形状を利用した信頼度判定処理の手法としては、例えば以下の３つの手法が挙げられる。

まず、第１の手法は、以下の（４）式で規定される尖度γ（相関特性線の形状における尖っている度合いを示す指標）を用いた信頼度判定処理である。なお、この（４）式において、各画素位置ｉにおける相関値をＸｉ（ｉ＝１〜Ｎ（整数））とし、これらの相関値Ｘｉの平均値および標準偏差をそれぞれ、μ，σとしている。この尖度γの値が大きいほど、相関特性線の形状が尖っている（曲線状となっている）こと、すなわち、正確な位相差検出がなされる可能性が高い（信頼度が高い）ことを意味している。逆に、この尖度γの値が小さいほど、相関特性線の形状が尖っていない（直線状となっている）こと、すなわち、正確な位相差検出がなされる可能性が低い（信頼度が低い）ことを意味している。

第２の手法は、例えば図１２に示したように、相関特性線における頂点とその周辺の点とでの相関値の差分値を用いた信頼度判定処理である。すなわち、ここでは、画素位置ｘ，（ｘ−１），（ｘ＋１）における相関値をそれぞれ、ｆ（ｘ），ｆ（ｘ−１），ｆ（ｘ＋１）とし、係数（定数）をαとすると、信頼度Ｒは以下の（５）式で規定される。この信頼度Ｒの値が大きいほど、相関特性線の形状が尖っている（曲線状となっている）こと、すなわち、正確な位相差検出がなされる可能性が高い（信頼度が高い）ことを意味している。逆に、この信頼度Ｒの値が小さいほど、相関特性線の形状が尖っていない（直線状となっている）こと、すなわち、正確な位相差検出がなされる可能性が低い（信頼度が低い）ことを意味している。
信頼度Ｒ＝｜α×｛ｆ（ｘ−１）−２×ｆ（ｘ）＋ｆ（ｘ＋１）｝｜ ……（５）

第３の手法は、例えば図１３（Ａ）〜（Ｄ）に示したように、各画素位置における相関値の微分値の積算値（積分値）を用いた信頼度判定処理である。すなわち、例えば図１３（Ａ），（Ｃ）に示したように、この相関値の微分値の積算値（図１３（Ｃ）中の斜線領域の面積値に対応）が大きいほど、相関特性線の形状が尖っている（曲線状となっている）こと、すなわち、正確な位相差検出がなされる可能性が高い（信頼度が高い）ことを意味している。逆に、例えば図１３（Ｂ），（Ｄ）に示したように、この相関値の微分値の積算値が小さいほど、相関特性線の形状が尖っていない（直線状となっている）こと、すなわち、正確な位相差検出がなされる可能性が低い（信頼度が低い）ことを意味している。

最後に、位相差検出部１４３Ａは、ステップＳ１３における信頼度判定処理の結果に基づいて、信頼度が最も高い方向についての位相差検出結果を単位領域ごとに採用して組み合わせることにより、最終結果である位相差分布ＤＭを生成する（ステップＳ１４）。具体的には、ここでは、例えば水平方向についての位相差検出結果のほうが垂直方向についての位相差検出結果よりも信頼度が高くなっている単位領域では、水平方向についての位相差検出結果を採用し、その単位領域における最終的な位相差検出結果とする。一方、逆に、垂直方向についての位相差検出結果のほうが水平方向についての位相差検出結果よりも信頼度が高くなっている単位領域では、垂直方向についての位相差検出結果を採用し、その単位領域における最終的な位相差検出結果とする。このような位相差検出結果の選択（採用）を、画像全体について単位領域ごとに行うことにより、画像全体についての１つの位相差分布ＤＭが生成される。

このようにして、本実施の形態では、複数の視差画像（ここでは３つの視差画像ＤＣ，ＤＨ，ＤＶ）において、相関値演算がなされることにより視差画像間の位相差が検出され、画像内の位相差分布ＤＭが生成される。この際、互いに異なる２方向以上（ここでは、画像内の水平方向および垂直方向の２方向）に沿って個別に位相差検出が行われ、それら各方向についての位相差検出結果を利用して位相差分布ＤＭが生成される。これにより、例えば画像にエッジ領域（水平エッジ領域や垂直エッジ領域）が含まれている場合であっても、ある１方向に沿った位相差検出結果のみに基づいて位相差分布が生成されている従来（比較例）の手法と比べ、位相差検出の際にエッジ領域の影響を受けにくくなる。

（距離情報算出動作）
次に、リフォーカス係数算出部１４３では、距離情報算出部１４３Ｂが、位相差検出部１４３Ａにおいて求められた位相差分布ＤＭに基づいて、所定の距離情報ｄを算出する。この距離情報ｄとは、ここでは、撮像レンズ１１から、撮像データＤ１に対応する撮像画像内における任意の基準位置までの距離の情報を意味している。詳細には、撮像レンズ１１と合焦させたいリフォーカス面との間の距離情報ｄ（撮像レンズ１１から上記基準位置までの距離ｄの情報）、すなわち、後述するリフォーカス時の撮像レンズ１１の物体側の焦点距離のことである。

具体的には、距離情報算出部１４３Ｂは、位相差分布ＤＭを用いて以下の（６）〜（１３）式により、測定対象までの距離ｄ（距離情報ｄ）を算出する。ここでは、図１４に示したように、撮像レンズ１１の物体側焦点面をＤ、撮像レンズ１１の焦点距離をＦ、位相差分布ＤＭを求めたときの撮像レンズの開口の大きさをｖ、距離Ｄの物体を撮像したときの撮像レンズ１１の像側焦点面をｆ、撮像レンズ１１から距離ｄにある物体を撮像したときの撮像レンズ１１の像側焦点面をｇ、距離ｄの物体を開口の大きさｖを用いて計算した（（Disparity）×（撮像素子１３の画素Ｐの大きさ）×（マイクロレンズアレイ１２の一辺の長さに割り当てられた画素数））の値をｈとしている。

すなわち、まず、相似関係により、以下の（６）式が得られる。また、図１４により、ｅ＝（ｇ−ｆ）であるため、これを（６）式に代入することにより、以下の（７）式が得られ、この（７）式により以下の（８）式が得られる。また、撮像レンズ１１の結像式により、以下の（９）式および（１０）式が得られるため、（９）式を（８）式に代入することにより以下の（１１）式が得られ、（１０）式により以下の（１２）式が得られる。したがって、（１２）式を（１１）式に代入することにより、以下の（１３）式が得られるため、この（１３）式中においてＦ，Ｄ，ｖの値が既知のものであれば、位相差分布ＤＭに基づいて距離ｄが算出される。
（ｈ／ｅ）＝（ｖ／ｇ） ……（６）
｛ｈ／（ｇ−ｆ）｝＝（ｖ／ｇ） ……（７）
（１／ｇ）＝（１／ｆ）×｛１−（ｈ／ｖ）｝ ……（８）
（１／Ｆ）＝（１／ｇ）＋（１／ｄ） ……（９）
（１／Ｆ）＝（１／Ｄ）＋（１／ｆ） ……（１０）
（１／ｄ）＝（１／Ｆ）−［（１／ｆ）×｛１−（ｈ／ｖ）｝］ ……（１１）
ｆ＝Ｆ×｛Ｄ／（Ｄ−Ｆ）｝ ……（１２）
（１／ｄ）＝（１／Ｆ）−［１／｛Ｆ×Ｄ／（Ｄ−Ｆ）｝×｛１−（ｈ／ｖ）｝］
……（１３）

（リフォーカス係数設定動作）
次に、リフォーカス係数算出部１４３では、リフォーカス係数設定部１４３Ｃが、距離情報算出部１４３Ｂにおいて求められた距離情報ｄに基づいて、リフォーカス係数αを設定（算出）する。具体的には、図１５（Ａ）に示したように、撮像レンズ１１の物体側焦点面が距離Ｄだけ離れた位置にある状態で撮像された場合で考えると、以下のようになる。すなわち、図１５（Ｂ）に示したように、撮像レンズ１１から距離ｄだけ離れた位置にある平面のリフォーカス像を得るためのリフォーカス係数αは、上記（１０）式および以下の（１４）式により算出される。このようにして算出されたリフォーカス係数αは、撮像データＤ１と共に並べ替え処理部１４４へ入力される。
（１／Ｆ）＝（１／Ｄ）＋（１／αｆ） ……（１４）

（２−２．リフォーカス演算処理動作）
次いで、並び替え処理部１４４は、このようにしてリフォーカス係数算出部１４３において算出されたリフォーカス係数αを用いて、クランプ処理部１４２から供給される撮像データＤ１に対して所定の並べ替え処理を施し、画像データＤ２を生成する。具体的には、以下説明するリフォーカス演算処理（積分処理）を行うことにより、任意の焦点（リフォーカス係数αによって規定されるリフォーカス面）に設定された画像（再構築画像）を生成する。

ここで、図１６に示したように、リフォーカス係数αによって規定されるリフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_F'は、以下の（１５）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_F'（ｓ，ｔ）は、上記検出強度Ｌ_F'をレンズ口径に関して積分したものとなるので、以下の（１６）式のように表される。したがって、並び替え処理部１４４は、この（１６）式用いてリフォーカス演算処理を行うことにより、任意の焦点（リフォーカス係数αによって規定されるリフォーカス面１２０）に設定された再構築画像（画像データＤ２）を生成することができる。

なお、その後は、まず、ノイズ低減処理部１４５において、このようにして生成された画像データＤ２に対し、ノイズ低減処理を行う。次いで、輪郭強調処理部１４６が、ノイズ低減処理後の画像データに対し、輪郭強調処理を行う。次に、ホワイトバランス処理部１４７は、輪郭強調処理後の画像データに対し、色バランス調整処理（ホワイトバランス処理）を行う。そして、ガンマ補正処理部１４８が、ホワイトバランス処理後の画像データに対し、ガンマ補正処理を行う。これにより、画像データＤoutが生成され、画像処理部１４から出力される。

以上のように本実施の形態では、複数の視差画像ＤＣ，ＤＨ，ＤＶにおいて、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布ＤＭを生成する際に、画像内の水平方向および垂直方向の２方向に沿って個別に位相差検出を行うと共に、それら２方向についての位相差検出結果を利用して位相差分布ＤＭを生成するようにしたので、位相差検出の際に、従来と比べてエッジ領域の影響を受けにくくすることができる。よって、従来と比べて正確な位相差分布ＤＭを生成することが可能となり、その結果、この位相差分布ＤＭに基づいて得られる距離情報ｄ（距離情報分布）についても、従来と比べて正確なものとすることが可能となる。

＜第２の実施の形態＞
続いて、本発明の第２の実施の形態について説明する。本実施の形態は、位相差検出部１４３Ａにおいて、図１１に示した位相差検出処理の代わりに、以下説明する位相差検出処理を行うようにしたものであり、他の構成および動作については上記第１の実施の形態と同様となっている。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

図１７は、本実施の形態に係る位相差分布ＤＭの生成動作（位相差検出処理）を流れ図で表したものである。本実施の形態では、位相差検出部１４３Ａは位相差分布ＤＭの生成の際に、まず、２方向以上に沿った複数の視差画像のうちの少なくとも１つに対して、その視差方向に沿ったエッジ領域を検出するエッジ検出処理を行う。具体的には、ここでは、水平方向の視差画像ＤＨに対して、水平方向に沿ったエッジ領域（水平エッジ領域）を検出する水平エッジ検出処理を行う。あるいは、垂直方向の視差画像ＤＶに対して、垂直方向に沿ったエッジ領域（垂直エッジ領域）を検出する垂直エッジ検出処理を行う（図１７のステップＳ２１）。

すなわち、例えば図１８（Ａ）に示したようなエッジ領域を含む視差画像ＤＨに対して水平エッジ検出処理を行った場合には、例えば図１８（Ｂ）に示したような水平エッジ領域ＰＨ１，ＰＨ２が検出される水平エッジ検出結果が得られる。一方、図１８（Ａ）に示した視差画像が視差画像ＤＶである場合には、この視差画像ＤＶに対して垂直エッジ検出処理を行った場合、例えば図１８（Ｃ）に示したような垂直エッジ領域ＰＶ１，ＰＶ２が検出される垂直エッジ検出結果が得られる。

ここで、このようなエッジ検出処理の際に用いるフィルタ（エッジ検出フィルタ）としては、例えば図１９（Ａ），（Ｂ）に示したようなＳｏｂｅｌフィルタが挙げられる。具体的には、例えば図１９（Ａ）に示したＳｏｂｅｌフィルタは、水平エッジ検出フィルタとして機能し、例えば図１９（Ｂ）に示したＳｏｂｅｌフィルタは、垂直エッジ検出フィルタとして機能する。なお、エッジ検出処理前の画像における画素値をｉｍｇ（ｘ，ｙ）等、エッジ検出処理後の画像における画素値をＳ（ｘ，ｙ）等、とすると、水平エッジ検出フィルタおよび垂直エッジ検出フィルタとして機能するＳｏｂｅｌフィルタはそれぞれ、以下の（１７）式および（１８）式により表わされる。

次に、位相差検出部１４３Ａは、ステップＳ２１におけるエッジ検出結果に基づいて、検出されたエッジ領域の方向とは異なる方向についての位相差検出結果を単位領域ごとに採用して組み合わせることにより、位相差分布ＤＭを生成する。具体的には、ここでは、水平方向でのステレオマッチング処理（視差画像ＤＣ，ＤＨを用いた位相差検出処理）（ステップＳ２２）と、垂直方向でのステレオマッチング処理（視差画像ＤＣ，ＤＶを用いた位相差検出処理）（ステップＳ２３）とを組み合わせる。

詳細には、位相差検出部１４３Ａは、ステップＳ２１におけるエッジ検出処理の際にエッジ領域が検出されなかった単位領域については、そのエッジ検出処理の方向と同じ方向に沿って位相差検出処理を行う。また、エッジ検出処理の際にエッジ領域が検出された単位領域については、そのエッジ検出処理の方向とは異なる方向のうちの１つの方向に沿って位相差検出処理を行う。これにより、後述するステップＳ２４においてこれらの位相差検出結果を組み合わせる際に、不要（無駄）な位相差検出処理を行った単位領域が生じないため、位相差検出動作（位相差分布ＤＭの生成動作）全体の処理が高速化すると共に、計算コスト低減も図られる。

すなわち、ここでは、例えばステップＳ２１において水平エッジ検出処理を行った場合には、水平エッジ領域が検出されなかった単位領域については、ステップＳ２２において、水平方向に沿った位相差検出処理を行う。一方、この場合、水平エッジ領域が検出された単位領域については、ステップＳ２３において、垂直方向に沿った位相差検出処理を行う。

また、例えばステップＳ２１において垂直エッジ検出処理を行った場合には、垂直エッジ領域が検出されなかった単位領域については、ステップＳ２３において、垂直方向に沿った位相差検出処理を行う。一方、この場合、垂直エッジ領域が検出された単位領域については、ステップＳ２２において、水平方向に沿った位相差検出処理を行う。

最後に、位相差検出部１４３Ａは、ステップＳ２２，Ｓ２３において行った水平方向および垂直方向についての位相差検出結果を、単位領域ごとに組み合わせることにより、最終結果である位相差分布ＤＭを生成する（ステップＳ２４）。

このように、本実施の形態においても上記第１の実施の形態と同様に、位相差検出の際に、従来と比べてエッジ領域の影響を受けにくくすることができる。よって、従来と比べて正確な位相差分布ＤＭを生成することが可能となり、その結果、この位相差分布ＤＭに基づいて得られる距離情報ｄ（距離情報分布）についても、従来と比べて正確なものとすることが可能となる。

なお、本実施の形態では、図１７に示したように、エッジ検出処理を行ったのちに各方向についての位相差検出処理を行う場合について説明したが、この順序で処理を行う場合には限られず、例えば逆の順序で処理を行うようにしてもよい。すなわち、各方向についての位相差検出処理を行ったのちにエッジ検出処理を行うようにしてもよい。ただし、本実施の形態の順序で処理を行った場合には、上記したように、エッジ検出処理の結果を考慮して、単位領域ごとに選択的な位相差検出処理を行うことが可能となる。そのため、本実施の形態のほうが、位相差検出動作（位相差分布ＤＭの生成動作）全体の処理を高速化することができると共に、計算コストも低減させることが可能となる。

＜適用例＞
続いて、上記第１および第２の実施の形態において説明した撮像装置１の適用例について説明する。これらの実施の形態に係る撮像装置１は、例えば以下のようなデジタルカメラ３の他、位置センサや生体センサ、光学顕微鏡などに適用することが可能である。

図２０（Ａ），（Ｂ）は、上記撮像装置１を搭載したデジタルカメラ３の概略構成を表したものであり、（Ａ）は正面図、（Ｂ）は側面図である。このデジタルカメラ３は、筐体３００の内部に撮像装置１を備えており、筐体３００の上部には、シャッタ１７、フラッシュ１８およびファインダ光学系１９などが設けられている。

＜変形例＞
以上、実施の形態および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態等では、位相差検出部１４３Ａにおいて、３つの視差画像ＤＣ，ＤＨ，ＤＶを用いて位相差分布ＤＭの生成を行っているが、この場合には限定されず、４つ以上の視差画像を用いて位相差分布ＤＭを生成するようにしてもよい。

また、上記実施の形態等では、複数の視差画像における水平方向および垂直方向に沿って個別に位相差検出処理を行う場合について説明したが、この場合には限定されず、例えば画像内の斜め方向に沿った位相差検出処理を利用するようにしてもよい。すなわち、互いに異なる２方向以上に沿って個別に位相差検出処理を行うのであれば、位相差検出処理を行う方向については任意の方向を用いることが可能である。

更に、上記実施の形態等では、位相差検出部１４３Ａにより生成された位相差分布ＤＭに基づいて、距離情報ｄ（撮像レンズ１１からリフォーカス面までの距離情報）を算出する場合について説明したが、この場合には限られない。すなわち、生成された位相差分布に基づいて他のパラメータを算出する場合（例えば、中間視差画像生成処理や、視差強調処理など）にも、本発明を適用することが可能である。

加えて、上記実施の形態等では、画像処理部１４において行われる並び替え処理を含む画像処理の一例として、「Light Field Photography」を利用したリフォーカス演算処理について説明したが、並び替え処理を含む画像処理としてはこれには限られない。すなわち、例えば、焦点ぼかし処理や被写体深度調整処理などに対して適用するようにしてもよい。

また、上記実施の形態では、画像処理部１４を撮像装置１の構成要素の一つとして説明したが、必ずしもこの画像処理部１４が撮像装置１の内部に設けられている必要はない。具体的には、デジタルカメラ３の筐体３００内において、画像処理部を撮像装置とは別に設けておくと共に、この画像処理部によって、撮像装置で得られた撮像データに対して画像処理を施すようにしてもよい。

更に、上記実施の形態等では、画像処理部１４において、「Light Field Photography」を利用した撮像光学系（撮像レンズ１１、マイクロレンズアレイ１２および撮像素子１３を有する撮像光学系）により得られた撮像データＤ０に対して画像処理を行う場合について説明したが、この場合には限られない。すなわち、このような撮像光学系により光線の進行方向を保持した状態で取得された撮像データ以外にも、本発明を適用することが可能である。具体的には、例えば、複数の視差を有する撮像光学系を用いて取得された複数の視差画像に基づいて、位相差分布を生成するようにしてもよい。

加えて、上記実施の形態では、開口絞り１０の位置を撮像レンズの被写体側（入射側）に配置した構成としているが、これに限定されず、撮像レンズの像側（出射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。

また、上記実施の形態等では、カラーフィルタの一例として、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタを挙げて説明したが、これには限らない。すなわち、例えば補色フィルタなどの他の配列のカラーフィルタを用いるようにしてもよい。このような補色フィルタとしては、例えば、黄（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）および緑（Ｇ）の４補色のカラーフィルタが、Ｙ：Ｍ：Ｃ：Ｇ＝１：１：１：１の比率で市松状に配置されたものが挙げられる。

１…撮像装置、１０…開口絞り、１１…撮像レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１４…画像処理部、１４１…欠陥補正部、１４２…クランプ処理部、１４３…リフォーカス係数算出部、１４３Ａ…位相差検出部、１４３Ｂ…距離情報算出部、１４３Ｃ…リフォーカス係数設定部、１４４…並び替え処理部、１４５…ノイズ低減処理部、１４６…輪郭強調処理部、１４７…ホワイトバランス処理部、１４８…ガンマ補正処理部、１５…撮像素子駆動部、１６…制御部、２…撮像対象物（被写体）、３…デジタルカメラ、Ｄ０，Ｄ１，Ｄ２，Ｄout…撮像データ（画像データ）、ＤＭ，ＤＭ１…位相差分布（Disparity Map）、ｄ…距離情報、α…リフォーカス係数、ＬＲ，ＬＬ…視差画像の光線、φＲ，φＬ…視差画像の位相、Δφ…位相差、ＤＣ，ＤＨ，ＤＶ…視差画像、Ｃ１，Ｃ２，Ｈ１，Ｈ２，Ｖ１，Ｖ２…部分画像、Ｈ１０，Ｈ２０，Ｖ１０，Ｖ２０…比較範囲、ＥＨ，ＥＶ…エッジ検出結果（エッジ検出画像）、ＰＨ１，ＰＨ２…水平エッジ領域、ＰＶ１，ＰＶ２…垂直エッジ領域。

Claims (14)

1. 複数の視差画像において、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布を生成する位相差検出部を備え、
   前記位相差検出部は、互いに異なる２方向以上に沿って個別に位相差検出を行うと共に、それら２方向以上についての位相差検出結果を利用して、前記位相差分布を生成する
   画像処理装置。
2. 前記位相差検出部は、
   前記２方向以上についての位相差検出結果に対してそれぞれ、位相差の信頼度判定を単位領域ごとに行うと共に、
   それらの信頼度判定結果に基づいて、信頼度が最も高い方向についての位相差検出結果を単位領域ごとに採用して組み合わせることにより、前記位相差分布を生成する
   請求項１に記載の画像処理装置。
3. 前記位相差検出部は、前記相関値演算の際の画素位置と相関値との関係を示す相関特性線の形状に基づいて、前記信頼度判定を行う
   請求項２に記載の画像処理装置。
4. 前記位相差検出部は、
   前記２方向以上の視差画像のうちの少なくとも１つについて、その視差方向に沿ったエッジ領域を検出するエッジ検出処理を行うと共に、
   そのエッジ検出結果に基づいて、検出されたエッジ領域の方向とは異なる方向についての位相差検出結果を単位領域ごとに採用して組み合わせることにより、前記位相差分布を生成する
   請求項１に記載の画像処理装置。
5. 前記位相差検出部は、
   前記エッジ検出処理の際にエッジ領域が検出されなかった単位領域については、そのエッジ検出処理の方向と同じ方向に沿って位相差検出を行うと共に、
   前記エッジ検出処理の際にエッジ領域が検出された単位領域については、そのエッジ検出処理の方向とは異なる方向のうちの１つの方向に沿って位相差検出を行う
   請求項４に記載の画像処理装置。
6. 前記位相差検出部は、
   前記複数の視差画像における水平方向および垂直方向に沿って個別に位相差検出を行うと共に、
   前記水平方向についての位相差検出結果と、前記垂直方向についての位相差検出結果とを利用して、前記位相差分布を生成する
   請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
7. 前記複数の視差画像は、
   撮像レンズと、受光光線に基づいて撮像データを取得する撮像素子と、前記撮像レンズと前記撮像素子との間に配置され、前記撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられてなるマイクロレンズアレイとを有する撮像光学系により、
   光線の進行方向を保持した状態で取得された撮像データに基づいて生成されたものである
   請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
8. 前記位相差検出部により生成された位相差分布に基づいて、前記撮像レンズからリフォーカス面までの距離情報を算出する距離情報算出部を備えた
   請求項７に記載の画像処理装置。
9. 前記距離情報算出部により算出された距離情報に基づいて、リフォーカス係数を設定するリフォーカス係数設定部を備えた
   請求項８に記載の画像処理装置。
10. 前記リフォーカス係数設定部により設定されたリフォーカス係数を用いて、前記撮像データに対する並び替え処理を行う並び替え処理部を備えた
    請求項９に記載の画像処理装置。
11. 複数の視差画像において、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布を生成する際に、
    互いに異なる２方向以上に沿って個別に位相差検出を行うと共に、それら２方向以上についての位相差検出結果を利用して、前記位相差分布を生成する
    画像処理方法。
12. 複数の視差画像において、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布を生成する位相差検出ステップをコンピュータに実行させる際に、
    前記位相差検出ステップにおいて、互いに異なる２方向以上に沿って個別に位相差検出を行うと共に、それら２方向以上についての位相差検出結果を利用して、前記位相差分布を生成する
    画像処理プログラム。
13. 撮像光学系と、
    前記撮像光学系により取得された撮像データに対して画像処理を行う画像処理装置と
    を備え、
    前記画像処理装置は、前記撮像データから直接もしくは間接的に得られる複数の視差画像において、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布を生成する位相差検出部を有し、
    前記位相差検出部は、互いに異なる２方向以上に沿って個別に位相差検出を行うと共に、それら２方向以上についての位相差検出結果を利用して、前記位相差分布を生成する
    撮像装置。
14. 前記撮像光学系は、
    撮像レンズと、
    受光光線に基づいて前記撮像データを取得する撮像素子と、
    前記撮像レンズと前記撮像素子との間に配置され、前記撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられてなるマイクロレンズアレイと
    を有し、
    前記複数の視差画像は、光線の進行方向を保持した状態で取得された前記撮像データに基づいて生成されたものである
    請求項１３に記載の撮像装置。

Images