JP6918485B2 - 画像処理装置および画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、視点画像を用いた画像処理技術に関するものである。

撮像面位相差方式は、撮像素子の焦点検出画素により取得される複数の信号間の位相差を検出する焦点検出方式である。特許文献１に開示された撮像装置が備える２次元撮像素子は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光し、瞳分割が行われる。複数の光電変換部が受光した信号から視点の異なる画像信号（視点画像信号）を生成し、視点画像信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。特許文献２では、複数に分割された光電変換部による複数の視点画像信号を加算することで、撮像信号を生成することが開示されている。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報

カメラによる撮影では、ユーザが所望の主被写体に焦点を合わせ、主被写体の前景や背景を大きく暈すことで、主被写体を効果的に際立たせる撮影表現が用いられる。撮影シーンにより、合焦近傍の被写体領域の画像を明瞭化し、暈した前景や背景と対比させることで、被写体画像を際立たせる画像処理効果を得ることができる。画像処理効果に関して、ユーザが撮影後に調整できることが望ましい。

一方で、ユーザが上述の画像処理効果を確認する際に、画像処理効果の程度をユーザに提示する技術が重要である。例えば、表示装置の画面の大きさや解像度、周囲の明るさ等の環境条件によっては、画像処理効果を確認しにくいことが起こり得る。そこで、画像処理効果の確認を容易にするために表示画面上で画像の拡大表示等を行う方法がある。しかし、効果の大きい領域を拡大領域として選択することが困難である場合や、画像処理における設定を変更した場合の効果の差をユーザが視認しにくい場合がある。また、画像処理における設定の変更に対応した領域の選択が困難である場合にユーザが仮に画像内の領域の選択を行ったとしても、どのように設定を変更すれば、効果的な画像処理を行えるかが分かりにくいという課題があった。
本発明の目的は、画像内における効果が大きい領域を認識しやすくし、画像処理の設定を容易に選択可能な画像処理装置および画像処理方法を実現することである。

本発明の一実施形態の画像処理装置は、視点の異なる複数の視点画像を取得する取得手段と、前記複数の視点画像から視差に関連する関連情報を算出する算出手段と、前記複数の視点画像に基づく画像データに深度を修正する画像処理を施して出力画像を生成する画像処理手段と、前記画像処理手段による画像処理の設定を行う設定手段と、前記関連情報を取得して前記出力画像における領域ごとの前記画像処理の効果を判定して判定結果を出力する判定手段と、画像データと、前記判定手段による判定結果とを表示手段に表示させる制御を行う表示制御手段と、を有し、前記画像処理手段は、前記複数の視点画像および前記関連情報を用いて、深度を修正する中心となる奥行きを示すパラメータの設定を行い、前記出力画像を生成して前記表示手段に出力し、前記表示制御手段は、異なる複数の前記パラメータに対応する判定結果を区別して前記表示手段に表示させる制御を行うことを特徴とする。

本発明の画像処理装置によれば、画像内における効果が大きい領域を認識しやすくし、画像処理の設定を容易に選択可能な画像処理装置および画像処理方法を実現することができる。

本実施形態の画像処理装置の概略構成図である。 本実施形態における画素配列の概略図である。 本実施形態における画素の概略平面図と概略断面図である。 本実施形態における画素と瞳分割の概略説明図である。 本実施形態における画素内部の光強度分布例を示す図である。 本実施形態における瞳強度分布を例示する図である。 本実施形態における撮像素子と瞳分割の概略説明図である。 複数の視点画像のデフォーカス量と、像ずれ量の概略関係図である。 像ずれ量分布に基づく深度修正処理を例示するフローチャートである。 複数の視点画像の瞳ずれによるシェーディングを説明する図である。 本実施形態における撮像画像を例示する図である。 撮像画像の撮像コントラスト分布を例示する図である。 第１視点画像の第１視点コントラスト分布例を示す図である。 第２視点画像の第２視点コントラスト分布例を示す図である。 視点画像間の視差と遠近競合の概略関係図である。 コントラスト差分量分布例を示す図である。 コントラスト分布例を示す図である。 第１視点画像と第２視点画像の像ずれ量分布を例示する図である。 所定シフト量からの像ずれ差分量分布を例示する図である。 本実施形態の先鋭化処理を例示する図である。 本実施形態の合成処理による深度修正可能範囲の概略説明図である。 本実施形態の画像処理内容の設定を説明するフローチャートである。 本実施形態の表示処理の概略説明図である。 本実施形態の画像処理内容の決定後の表示を示す概略説明図である。 本実施形態の領域抽出処理のフローチャートである。 本実施形態の画像処理効果が大きい領域の概略説明図である。

以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。以下の実施形態では、デジタルカメラ等の画像処理装置に適用した場合の実施例を説明するが、本発明に係る画像処理方法を実行する撮像装置や情報処理装置、電子機器等に幅広く適用可能である。

本発明の実施形態に係る画像処理装置を適用した撮像装置を例示して、以下に説明する。図１は撮像部を有する画像処理装置の構成例を示すブロック図である。本実施形態では、視点画像データを記録可能なデジタルカメラを例示して説明する。なお、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

第１レンズ群１０１は撮像光学系（結像光学系）の先端に配置され、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は絞り兼用シャッタ１０２と一体となって光軸方向に進退する。第２レンズ群１０３は、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向に進退して焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、撮像光学系を通過して結像した被写体の光像を光電変換して電気信号を出力する。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は撮影時に使用され、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

ＣＰＵ（中央演算処理装置）１２１はシステム全体を制御する中枢部であり、カメラ本体部の制御部を構成する。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。

電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。

フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、ユーザのズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を画面に表示する。操作部１３２は操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。

図２は、撮像素子１０７の画素配列を示す概略図であり、２次元ＣＭＯＳイメージセンサの画素配列を示している。図２の紙面に垂直な方向をｚ方向とし、左右方向をｘ方向とし、上下方向をｙ方向と定義する。撮像画素については４行４列の範囲で示し、副画素配列について４行８列の範囲で示す。図２（Ａ）に示す２行２列の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂから成る。Ｒ（赤）の分光感度を有する画素２００Ｒは、図２の左上に位置し、Ｇ（緑）の分光感度を有する画素２００Ｇは右上および左下に位置し、Ｂ（青）の分光感度を有する画素２００Ｂは右下に位置している。さらに、各画素は１行２列に配列された第１の副画素２０１と第２の副画素２０２により構成されている。つまり、ｘ方向における分割数をＮｘと表記し、ｙ方向における分割数をＮｙと表記し、分割数をＮ_ＬＦと表記すると、図２（Ａ）はＮｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝Ｎｘ×Ｎｙ＝２の例を示している。第１の副画素２０１は、１つのマイクロレンズに対応する第１の光電変換部により構成され、第２の副画素２０２は、当該マイクロレンズに対応する第２の光電変換部により構成される。

図２（Ａ）に示す例では、４列×４行の画素（８列×４行の副画素）を平面上に多数配置することで、撮像画像と、瞳分割された複数の視点画像とを取得可能である。撮像画像は１つの画素部（２００Ｒ、2個の２００Ｇ、２００Ｒの組）から取得される画像である。複数の視点画像は視点の異なる画像であり、互いに視差を有する。撮像素子１０７により、分割数Ｎ_ＬＦに対応する複数の視点画像を生成するための入力画像を取得可能である。

撮像素子１０７における１つの画素２００Ｇを、その受光面側（＋ｚ方向）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）にて紙面に垂直な方向をｚ方向とし、左右方向をｘ方向、上下方向をｙ方向と定義する。手前側を＋ｚ方向とし、右方向を＋ｘ方向、上方向を＋ｙ方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。図３（Ｂ）にて紙面に垂直な方向がｙ方向であり、左右方向がｘ方向、上下方向がｚ方向である。

画素２００Ｇは、各画素の受光面側に入射光を集光するためのマイクロレンズ３０５が形成されている。カラーフィルタ３０６は、マイクロレンズ３０５よりも受光面側に形成される。必要に応じて、画素ごとに、または光電変換部ごとにカラーフィルタ３０６の分光透過率を変えてもよいし、カラーフィルタを省略しても構わない。

第１の光電変換部３０１と、第２の光電変換部３０２はそれぞれ、第１の副画素２０１と、第２の副画素２０２に対応する。第１の光電変換部３０１と第２の光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオード、またはイントリンシック層を省略したｐｎ接合フォトダイオードの構成をもつ。

画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６での分光後に、第１の光電変換部３０１と第２の光電変換部３０２がそれぞれ受光する。光電変換部３０１，３０２では受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子の外部へ排出される。光電変換部３０１，３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換されて画素信号として出力される。

光電変換部の分割数については２に限定されない。図２（Ｂ）、図３（Ｃ）、図３（Ｄ）には、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４、つまり４分割の例を示す。画素配列に対応した入力画像から複数の視点画像を取得可能である。この場合、４分割された第１乃至第４の光電変換部３０１〜３０４からそれぞれ画素信号が出力される。第１乃至第４の光電変換部３０１〜３０４は、結像光学系の第１乃至第４の瞳部分領域にそれぞれ対応する。瞳部分領域は結像光学系の射出瞳領域を構成する部分領域である、第１乃至第Ｎ_ＬＦ瞳部分領域のうちの、特定の瞳部分領域に対応した、所定の解像度をもつ第１視点画像乃至第Ｎ_ＬＦ視点画像を生成することが可能である。

図４は、図３（Ａ）および（Ｂ）に示す画素構造と瞳分割との対応関係を説明する概略図である。図４の下側には、画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図を示し、上側には結像光学系の射出瞳面（射出瞳４００参照）を、−ｚ方向から見た場合の図を示す。Ｚ方向は光軸方向であり、Ｘ方向およびＹ方向はＺ方向にそれぞれ直交する方向である。図４では、射出瞳面の座標軸と対応を取るために、画素構造の断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。図４では、２分割された第１瞳部分領域５０１と第２瞳部分領域５０２を例示する。

第１瞳部分領域５０１は、−ｘ方向に重心が偏倚している第１の光電変換部３０１の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。つまり、第１瞳部分領域５０１は第１の光電変換部３０１で受光可能な瞳領域を表し、射出瞳面上で＋Ｘ方向（図４の左方向）に重心が偏倚している。また、第２瞳部分領域５０２は、＋ｘ方向に重心が偏心している第２の光電変換部３０２の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。第２瞳部分領域５０２は第２の光電変換部３０２で受光可能な瞳領域を表し、射出瞳面上で、−Ｘ方向（図４の右方向）に重心が偏倚している。

瞳領域５００は、第１の光電変換部３０１と第２の光電変換部３０２を全て合わせた受光面と、マイクロレンズ３０５によって、概ね共役な関係になっている。この領域は光電変換部３０１と光電変換部３０２とを合わせた画素２００Ｇ全体での受光可能な瞳領域である。

図５に、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）はマイクロレンズの光軸に平行な断面での光強度分布を示す。図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、各光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケによって明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対（左右対称的）に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。

図７は、撮像素子と瞳分割との対応関係を示す概略図である。第１の光電変換部３０１と第２の光電変換部３０２はそれぞれ、第１の副画素２０１と第２の副画素２０２に対応し、撮像素子の各画素において、第１瞳部分領域５０１と第２瞳部分領域５０２を通過した光束をそれぞれ受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すライトフィールドデータ（以下、ＬＦデータという）が、入力画像データとして取得される。ＬＦデータから、画素ごとに特定の光電変換部の出力信号を選択することで、結像光学系の異なる瞳部分領域ごとに視点画像を生成することができる。例えば、画素ごとに、第１の副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した所定の解像度を有する視点画像（以下、第１視点画像という）を生成できる。一方、画素ごとに、第２の副画素２０１の信号を選択することで、結像光学系の第２瞳部分領域５０２に対応した所定の解像度を有する視点画像（以下、第２視点画像という）を生成できる。また、ＬＦデータから、画素ごとに、分割された光電変換部の出力信号を全て合成することで、所定の解像度を有する撮像画像を生成できる。

以上のように本実施形態の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部が設けられた画素部を複数配列させた構造を有し、ＬＦデータを取得することができる。

図８を参照して、撮像素子により取得されるＬＦデータから生成される第１視点画像と第２視点画像のデフォーカス量と、像ずれ量との関係について説明する。図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量について概略的に示す関係図である。撮像面６００には撮像素子が配置され、図４、図７と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割されるものとする。

図８のデフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図８に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示す。被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と表記すると、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。

したがって、本実施形態では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。

本実施形態では、複数の視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）のデフォーカス量と像ずれ量との関係性を用いて、撮像画像に対して、撮影後に、像ずれ量分布に基づき被写体の深度を修正する深度修正処理を行う。撮像素子により取得されたＬＦデータから、撮影後に、像ずれ量分布に基づいて、合焦近傍の被写体領域の深度が修正された画像を、深度修正画像という。

図９のフローチャートを参照して、深度修正画像を生成する画像処理方法について説明する。図９の処理は、ＣＰＵ１２１および画像処理回路１２５によって実行される。

［多視点画像と撮像画像］
図９のステップＳ１では、撮像素子により取得されたＬＦデータから、結像光学系の異なる瞳部分領域ごとに、複数の視点画像の生成処理が行われ、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像の生成処理が行われる。

ステップＳ１において、まず、撮像素子１０７によりＬＦデータが取得されるか、または、予め撮像素子１０７により撮像されて記録媒体に保存されているＬＦデータが読み出される。次に、結像光学系の異なる瞳部分領域ごとに、第１視点画像から第Ｎ_ＬＦ視点画像が生成される。入力画像データであるＬＦデータをＬＦと表記する。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ，ｉ）は、式（１）により生成される。

例えば、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２の場合、図２（Ａ）に例示した画素配列に対応したＬＦデータから、画素ごとに、ｘ方向にて２分割された第１副画素２０１と第２副画素２０２から特定の副画素の信号が選択される。結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２のうち、特定の瞳部分領域に対応した、所定の解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像と第２視点画像を生成することができる。

ここで、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１０に、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示す。尚、図４と同じ部分は同じ符号を付して示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

図１０（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合を示す。この場合には、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して、図１０（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合を示す。この場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。図１０（Ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合を示す。この場合も、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢ信号成分ごとに生じる。

必要に応じて、各視点画像のシェーディングを改善するために、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に、それぞれ、ＲＧＢ信号成分ごとに、シェーディング補正処理（光学補正処理）を行ってもよい。また、必要に応じて、キズ補正処理や、飽和処理、デモザイキング処理等を行ってもよい。

図９のステップＳ１において、次に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像（合成画像）を生成する処理が行われる。列方向にｉ番目で行方向にｊ番目の撮像画像Ｉ（ｊ，ｉ）は、式（２）により生成される。

本実施形態では、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割を例示する。図２（Ａ）に例示した画素配列に対応したＬＦデータから、画素ごとに、ｘ方向にて２分割された第１副画素２０１と第２副画素２０２の信号が全て合成され、所定の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像信号が生成される。必要に応じて、シェーディング補正処理、キズ補正処理、飽和処理、デモザイキング処理等を行ってもよい。図１１に、本実施形態のデモザイキング処理された撮像画像を例示する。中央に被写体（人形）が配置され、左側に細かい市松模様の平板が手前から奥に渡って傾斜して配置されている。

以上のように本実施形態では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域ごとに、複数の視点画像を生成する。そして、異なる瞳部分領域を合成した瞳領域に応じた撮像画像が生成される。これに限らず、本実施形態も他の実施形態でも、公知の技術により複数の視点画像及びそれらの合成画像を取得できるものであれば適用可能である。例えば、複数の視点の異なるカメラを用いる方法では、複数のカメラを撮像素子１０７とみなすことができる。また、図２や図３の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でもよい。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

［コントラスト分布］
次に、コントラスト分布の算出処理について説明する。図９のステップＳ２では、本実施形態の撮像画像と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域ごとに抽出して、コントラスト分布を生成する処理が実行される。本実施形態のコントラスト分布に対して、視点画像間の差に応じた調整が行われる。

図９のステップＳ２において、まず、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ，ｉ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、撮像輝度信号Ｙが式（３Ａ）により生成される。同様に、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点輝度信号Ｙｋが式（３Ｂ）により生成される。

ステップＳ２において、次に、空間周波数の高周波成分を抽出する２次元バンドパスフィルタを用いて、撮像輝度信号Ｙ（ｊ，ｉ）から、撮像高周波信号ｄＹ（ｊ，ｉ）が式（４Ａ）より生成される。２次元バンドパスフィルタを｛Ｆ_ＢＰＦ（ｊ_ＢＰＦ，ｉ_ＢＰＦ）｜−ｎ_ＢＰＦ≦ｊ_ＢＰＦ≦ｎ_ＢＰＦ、−ｍ_ＢＰＦ≦ｉ_ＢＰＦ≦ｍ_ＢＰＦ｝とする。同様に、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）が式（４Ｂ）より生成すされる。

本実施形態では、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ方向２分割を例示する。ｘ方向（瞳分割方向）の１次元フィルタＦｘ（ｉ_ＢＰＦ）と、ｙ方向（瞳分割方向と直交する方向）の１次元フィルタＦｙ（ｊ_ＢＰＦ）との直積により、２次元バンドパスフィルタを構成する例を示す。すなわち、２次元バンドパスフィルタをＦ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）＝Ｆｙ（ｊ_ＢＰＦ）×Ｆｘ（ｉ_ＢＰＦ）とする。瞳分割方向であるｘ方向の１次元フィルタＦｘ（ｉ_ＢＰＦ）には、ｘ方向の空間周波数の高周波成分を抽出するため、例えば、０．５×［１、２、０、−２、−１］＋１．５×［１、０、−２、０、１］等の１次元バンドパスフィルタを用いることができる。

ここで、１次微分型フィルタ［１、２、０、−２、−１］と２次微分型フィルタ［１、０、−２、０、１］を組み合わせた混合型フィルタとしている。一般的に、微分型フィルタ処理を行うと、フィルタ処理後の信号において、正符号から負符号に変化する部分にゼロ点が存在する。このため、絶対値演算と組み合わせることにより、空間周波数の高周波成分が含まれる領域に節が生じてしまう場合がある。節が発生する位置は、微分型フィルタの微分の次数により異なる。よって、本実施形態では、１次微分型フィルタと２次微分型フィルタ（一般には、異なる次数の微分型フィルタ）を組み合わせた混合型フィルタを用いることで、節の発生を抑制している。

必要に応じて、［１、２、０、−２、−１］等の１次微分型フィルタ、［１、０、−２、０、１］等の２次微分型フィルタ、高次微分型フィルタや、より一般的な１次元バンドパスフィルタを用いてもよい。瞳分割方向と直交する方向であるｙ方向の１次元フィルタＦｙ（ｊ_ＢＰＦ）には、ｙ方向の高周波ノイズを抑制するため、例えば、［１、１、１、１、１］や［１、４、６、４、１］等の高周波カット（ローパス）フィルタを用いることができる。必要に応じて、ｘ方向とｙ方向のいずれの方向に対しても、空間周波数の高周波成分を抽出するバンドパスフィルタ処理を行ってもよい。本実施形態では、２つの１次元フィルタの直積で構成される２次元バンドパスフィルタを例示したが、これに限定されず、一般的な２次元バンドパスフィルタを用いることができる。

図９のステップＳ２において、次に、Ｙ_０＞０として、撮像高周波信号ｄＹ（ｊ，ｉ）を、撮像輝度信号Ｙ（ｊ，ｉ）により規格化した、規格化撮像高周波信号ｄＺ（ｊ，ｉ）が式（５Ａ）により生成される。同様に、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）を、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）により規格化した、規格化第ｋ視点高周波信号ｄＺｋ（ｊ，ｉ）が式（５Ｂ）により生成される。分母のＹ_０＞０との最大値判定は、０による除算を防止するためである。必要に応じて、式（５Ａ）、式（５Ｂ）での規格化前に、撮像輝度信号Ｙ（ｊ，ｉ）、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対して、高周波カット（ローパス）フィルタ処理を行い、高周波ノイズを抑制してもよい。

ステップＳ２において、次に、低輝度閾値Ｙｍｉｎ、コントラスト最大閾値Ｃｍａｘ、指数γとして、撮像コントラスト分布Ｃ（ｊ，ｉ）が式（６Ａ）により生成する。式（６Ａ）の１行目で、撮像輝度信号Ｙ（ｊ，ｉ）が、低輝度閾値Ｙｍｉｎより小さい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が０に設定される。式（６Ａ）の３行目で、規格化撮像高周波信号ｄＺ（ｊ，ｉ）が、コントラスト最大閾値Ｃｍａｘより大きい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が１に設定される。それ以外の場合には、式（６Ａ）の２行目で、撮像コントラスト分布Ｃ（ｊ，ｉ）は、規格化撮像高周波信号ｄＺ（ｊ，ｉ）をコントラスト最大閾値Ｃｍａｘで規格化してγ乗した値に設定される。同様に、第ｋ視点コントラスト分布Ｃｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）が式（６Ｂ）により生成される。

以上のように、撮像コントラスト分布Ｃ（ｊ，ｉ）は、［０，１］（０以上１以下）の範囲内の値をとる。Ｃ（ｊ，ｉ）の値については、０に近いとコントラストが低く、１に近いとコントラストが高いことを示す。撮像コントラスト分布Ｃ（ｊ，ｉ）の０から１までのトーンカーブを調整するためにγ乗されている。低コントラスト側での変化を緩やかに、高コントラスト側での変化を急峻にするために、指数γは１．５以上２．５以下の値である。必要に応じて、定義域［０，１］から値域［０，１］への関数Ｆ：［０，１］→［０，１］を用いて、合成関数Ｆ（Ｃ（ｊ，ｉ））を撮像コントラスト分布としてもよい。

本実施形態の撮像コントラスト分布Ｃ（ｊ，ｉ）の分布例を図１２に示す。また第１視点コントラスト分布Ｃ_１（ｊ，ｉ）の分布例を図１３に示し、第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の分布例を図１４に示す。図１２から図１４に示す分布例では、右側の［０，１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分はｘ方向の空間周波数の高周波成分が多く、高コントラスト領域を示す。また、０近傍の黒い部分はｘ方向の空間周波数の高周波成分が少なく、低コントラスト領域を示している。

本実施形態における複数の視点画像として、第１視点画像と第２視点画像との間の視差と、遠近競合やオクルージョンとの関係について、図１５を用いて説明する。図１５において、撮像面６００に本実施形態の撮像素子（不図示）が配置され、図４、図７、図８と同様に、結像光学系の射出瞳が、瞳部分領域５０１と瞳部分領域５０２に２分割される。

図１５（Ａ）は、被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２のボケ像Γ１＋Γ２が重なって撮影され、撮影画像において遠近競合が生じている例である。この例を、結像光学系の瞳部分領域５０１を通過する光束と、結像光学系の瞳部分領域５０２を通過する光束に、それぞれ分けたものを、図１５（Ｂ）、図１５（Ｃ）に示す。

図１５（Ｂ）では、被写体ｑ１からの光束は、瞳部分領域５０１を通過して、合焦状態で像ｐ１に結像する。手前（撮像面６００側）の被写体ｑ２からの光束は、瞳部分領域５０１を通過して、デフォーカス状態でボケ像Γ１に広がり、撮像素子の各画素の第１副画素２０１で受光される。第１副画素２０１の受光信号から、第１視点画像が生成される。第１視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１が重ならずに、異なる位置で撮影される。第１視点画像において、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じていない例である。

一方、図１５（Ｃ）では、被写体ｑ１からの光束は、瞳部分領域５０２を通過して、合焦状態で像ｐ１に結像する。手前の被写体ｑ２からの光束は、瞳部分領域５０２を通過して、デフォーカス状態でボケ像Γ２に広がり、撮像素子の各画素の第２副画素２０２で受光される。第２副画素２０２の受光信号から、第２視点画像が生成される。第２視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が重なって撮影される。第２視点画像において、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じている例である。

図１５の例にて、撮影画像において遠近競合やオクルージョンが生じている領域近傍では、撮影画像を構成する第１視点画像と第２視点画像とで遠近競合やオクルージョンが生じている状態が異なる。すなわち、第１視点画像と第２視点画像との間の差が大きくなる可能性が高いことを示している。したがって、複数の視点画像間の差が大きい領域を検出することにより、遠近競合やオクルージョンが発生している可能性が高い領域を推定することができる。

本実施形態の第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）との差分量分布Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）を図１６に例示する。図１６に示す分布例では、右側の［−１、１］の範囲のグレースケール表示にて、第１視点画像のコントラストと第２視点画像のコントラストとの差についての大小の指標を表している。このコントラスト差は、第１視点コントラスト分布と第２視点コントラスト分布との差分量に相当する。０近傍の黒い部分は、第１視点画像のコントラストと第２視点画像のコントラストとの間のコントラスト差が小さい領域を示している。一方、±１近傍の白い部分は、第１視点画像のコントラストと第２視点画像のコントラストとの間のコントラスト差が大きい領域を示している。

図１６において、第１視点画像と第２視点画像とのコントラスト差が大きい白い領域として、中央下部で、主被写体（人形）の胴体と、市松模様の平板とで、遠近競合やオクルージョンを生じている領域が検出されている。また、遠近競合やオクルージョンを生じている領域以外に、第１視点画像と第２視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。例えば、デフォーカス状態の被写体エッジ部のように、高いコントラストが保たれたまま像ずれ量が大きい領域等、第１視点画像と第２視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出される。これらの検出領域では、第１視点画像と第２視点画像とで、空間周波数成分が大きく異なる被写体像が、それぞれ撮影されている。そのため、第１視点画像と第２視点画像を合わせた撮像画像では、これらの検出領域は、空間周波数成分が大きく異なる複数の被写体像が混成している領域である。

これらの空間周波数成分が異なる複数の被写体像の混成領域に、先鋭化や平滑化等の画像処理を強く行うと、画質品位が低下する場合がある。したがって、本実施形態では、第１視点コントラスト分布と第２視点コントラスト分布との差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜を用いて、空間周波数成分が異なる複数の被写体像の混成領域の検出を行う。そして、検出された混成領域では先鋭化や平滑化等の画像処理が抑制して行われる。これにより、画質品位を良好に維持しつつ、先鋭化や平滑化の画像処理を行うことができる。

本実施形態では、図９のステップＳ２において、次に、空間周波数成分が異なる複数の被写体像の混成領域を検出するために、コントラスト差分量分布を生成する。詳細には、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）から、式（７Ａ）により、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）が生成される。次に、式（７Ｂ）により、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を乗算する演算処理が行われる。これにより、空間周波数成分が異なる複数の被写体像の混成領域での値を０近傍に抑制したコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）が生成される。

コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、［０、１］の範囲の分布であり、視点画像間のコントラスト差が大きく、空間周波数成分が異なる複数の被写体像の混成が多い領域では０の値に近づく。またコントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、視点画像間のコントラスト差が小さく、空間周波数成分が異なる複数の被写体像の混成が少ない領域では１の値に近づく分布である。コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）は、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、かけ合わせた分布である。よって当該分布は、空間周波数成分が異なる複数の被写体像の混成領域での値を０近傍に抑制した分布である。

本実施形態のコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の分布例を図１７に示す。図１７に示す分布例では、右側の［０，１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分は、ｘ方向の空間周波数の高周波成分が多い高コントラスト領域を示している。０近傍の黒い部分は、ｘ方向の空間周波数の高周波成分が少ない低コントラスト領域を示している。図１２に示す撮像コントラスト分布Ｃ（ｊ，ｉ）に対して、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）との差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜が大きい領域でのコントラスト値が抑制される。

本実施形態では、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）として、第１視点コントラスト分布と第２視点コントラスト分布との差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜に対して単調減少な線形関数を用いた。しかしこれに限られるものではなく、必要に応じて、より一般的な関数を用いてもよい。

以上のように本実施形態では、撮像画像と複数の視点画像から、視点画像ごとのコントラスト差に応じて、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）が生成される。本実施形態のコントラスト分布は、視点画像ごとのコントラスト差が大きい領域より、コントラスト差が小さい領域の方が大きい。また、本実施形態のコントラスト分布は、所定の空間周波数帯域における撮像画像の空間周波数成分が少ない領域より、空間周波数成分が多い領域の方が大きい。また、本実施形態のコントラスト分布は、撮像画像の輝度が低い領域より、輝度が高い領域の方が大きい。

２回目以降の処理では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の生成を省略し、処理時間を短縮するために、例えば分布データの記録処理が実行される。すなわち、生成されたコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を、記録される画像データと関連付けてフラッシュメモリ等の記録媒体に記録する処理が行われ、必要に応じて分布データが参照される。

［像ずれ量分布］
図９のステップＳ３において、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値以上である各位置（ｊ，ｉ）において第１視点画像と第２視点画像との相関（信号の一致度）に基づき、像ずれ量分布が生成される。

ステップＳ３では、まず、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１から、式（３Ｂ）により生成された第１視点輝度信号Ｙ_１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理が行われる。これにより、第１焦点検出信号ｄＹＡが生成される。また、第２視点画像Ｉ_２から、式（３Ｂ）により生成された第２視点輝度信号Ｙ_２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理が行われる。これにより、第２焦点検出信号ｄＹＢが生成される。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］等を用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整してもよい。

ステップＳ３では、次に、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）以上である各位置（ｊ，ｉ）において相関量が算出される。第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（列方向）にシフトさせて、信号の一致度を表す相関量を算出する処理が実行される。そして、相関量に基づいて像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が生成される。一方、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０，２）未満である各位置（ｊ，ｉ）は、像ずれ量の算出から除外される。像ずれ量の検出を、高コントラストで、かつ、遠近競合やオクルージョンが生じていない領域に限定することにより、像ずれ量の検出精度を高精度化し、処理を高速化することができる。

位置（ｊ，ｉ）を中心として行方向ｊ_２（−ｎ_２≦ｊ_２≦ｎ_２）番目、瞳分割方向である列方向ｉ_２（−ｍ_２≦ｉ_２≦ｍ_２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ_２，ｉ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ_２，ｉ＋ｉ_２）と表記する。
シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）として、各位置（ｊ，ｉ）での相関量をＣＯＲ_ＥＶＥＮ（ｊ，ｉ，ｓ）、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ，ｓ）と表記する。相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ，ｓ）は式（８Ａ）により算出され、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ，ｓ）は式（８Ｂ）により算出される。

相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ，ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ，ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ，ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ，ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値が算出され、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が生成される。コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であり、像ずれ量の算出から除外された領域については、例えばＭ_ＤＩＳ（ｊ，ｉ）＝０とする。必要に応じて、０以外の値を設定してもよい。

本実施形態の像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の分布例を図１８に示す。右側に［−６，６］の範囲のグレースケール表示を示す。図１８に示す分布例では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２以上で、像ずれ量が算出されている領域は、グレースケール表示にて、第１視点画像と第２視点画像との間の像ずれ量を１ピクセル（１画素）単位で表している。マイナス（−）符号の黒側の部分は、前ピン状態の領域を示す、０付近の部分は合焦近傍の領域を示す。プラス（＋）符号の白側の部分は、後ピン状態の領域を示している。また、図１８の分布例の表示では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２未満で、像ずれ量の算出から除外される。つまり、Ｍ_ＤＩＳ（ｊ，ｉ）＝０と設定された領域に関しては、黒色で表示している。

以上のように本実施形態では、複数の視点画像から、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が生成される。２回目以降の処理で、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の生成を省略し、処理時間を短縮するために、生成された像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の記録処理が実行される。つまり像ずれ量分布データは、記録される画像データと関連付けてフラッシュメモリ等の記録媒体等に記録される。必要に応じて、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に、位置（ｊ，ｉ）と撮像レンズ（結像光学系）の絞り値、射出瞳距離等に応じた変換係数をかけて、視点画像内の被写体のデフォーカス量の分布を示すデフォーカス量分布に変換してもよい。

［像ずれ差分量分布］
図９のステップＳ４では、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量から、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）を生成する処理が実行される。ステップＳ４において、まず、深度修正処理を行いたい所定像ずれ量ｐが設定される。例えば、図１８の像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の例では、主被写体（人形）の目近傍の領域における像ずれ量は約２．５である。目近傍の領域を深度修正処理したい場合、所定像ずれ量ｐ＝２．５に設定される。

ステップＳ４において、次に、σ_ｐ＞０として、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）、所定像ずれ量ｐ、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）から、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）が式（９）により算出される。

像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜に対して単調減少する線形関数と、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）とを、かけ合わせた分布である。像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）は、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＜σ_ｐで正、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＝σ_ｐで０、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＞σ_ｐで負となる。

コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であり、像ずれ量の算出から除外された領域は、Ｍ_ＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σ_ｐ）×Ｍ_ＣＯＮ（ｊ，ｉ）とする。必要に応じて、他の値を設定してもよい。

本実施形態の像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の分布例を図１９に示す。右側に［−１，１］の範囲のグレースケール表示を示す。コントラスト分布Ｍ_ＣＯＮの値が所定値０．２以上で、像ずれ量が算出されている領域では、グレースケール表示にて、像ずれ差分量を示している。プラス（＋）符号の白側の部分は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜が小さく、かつ、コントラストが高い領域を示している。マイナス（−）符号の黒側の部分は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜が大きく、かつ、コントラストが高い領域を示している。また、図１９の分布例の表示では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２未満で、像ずれ量の算出から除外される。つまり、Ｍ_ＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σ_ｐ）×Ｍ_ＣＯＮ（ｊ，ｉ）と設定された領域に関しては、黒色で表示している。

［修正視点画像］
図９のステップＳ５では、複数の視点画像に対して、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、先鋭化および平滑化の処理が行われる。視点画像に対して、先鋭化および平滑化の処理が行われた画像を、修正視点画像という。第１視点画像から第Ｎ_ＬＦ視点画像に対し、第１修正視点画像から第Ｎ_ＬＦ修正視点画像がそれぞれ生成される。以下では２分割の例を説明する。

本実施形態にて、第１視点画像と第２視点画像に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正および先鋭化）処理が行われる。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、視点画像間の差を縮小して視差を平滑化する（クロストーク補正および平滑化）処理を行う。上記処理によって、第１修正視点画像と第２修正視点画像が生成される。

図９のステップＳ５において、まず、第１視点画像と第２視点画像に対して、処理の強さを指定する強度パラメータｋ_ｃｔ≧０が設定される。強度パラメータｋ_ｃｔは、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正および先鋭化）処理の強さ、もしくは、視点画像間の差を縮小して視差を平滑化する（クロストーク補正および平滑化）処理の強さを指定するパラメータである。

ステップＳ５において、次に、強度パラメータ分布Ｋ_ｃｔ（ｊ，ｉ）が式（１０）により設定される。強度パラメータ分布Ｋ_ｃｔ（ｊ，ｉ）は、ｋ_ｃｔを比例係数として、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に比例する。

ステップＳ５において、次に、第１視点画像Ｉ_１（ｊ，ｉ）と第２視点画像Ｉ_２（ｊ，ｉ）（第１視点画像から第Ｎ_ＬＦ視点画像）に対して、式（１１Ａ）、および、式（１１Ｂ）の演算処理が行われる。第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）が生成される。

式（１１Ａ）の処理は、強度パラメータ分布（像ずれ差分量分布）が０以上（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域で、第１視点画像と第２視点画像との間の差を拡大して視差を先鋭化する処理である。つまり式（１１Ａ）を用いて、クロストーク補正および先鋭化の処理が実行される。

一方、式（１１Ｂ）の処理は、強度パラメータ分布（像ずれ差分量分布）が０未満（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域で、第１視点画像と第２視点画像との間の差を縮小して視差を平滑化する処理である。つまり、式（１１Ｂ）を用いてクロストーク補正および平滑化処理が実行される。

図２０は、第１視点画像と第２視点画像との間の差を拡大して視差を先鋭化する（クロストーク補正および先鋭化）処理例をグラフで示した図である。横軸は画素位置を表し、縦軸は画素値（信号レベル）を表す。図２０では、クロストーク補正および先鋭化の処理が行われる前の第１視点画像（修正前Ａ）と第２視点画像（修正前Ｂ）の例を、破線のグラフで示す。また、式（１１Ａ）により、クロストーク補正および先鋭化の処理が行われた後の第１修正視点画像（修正後Ａ）と第２修正視点画像（修正後Ｂ）の例を、実線のグラフで示す。複数の視点画像間の差を拡大して視差を先鋭化する処理により、処理前に視点画像間の差が大きい部分は、より拡大されるが、処理前に複数の視点画像間の差が小さい部分はあまり変化しない。このように、複数の視点画像間の視差が先鋭化されることがわかる。

一方、式（１１Ｂ）を用いて平滑化する（クロストーク補正および平滑化）処理では、第１視点画像と第２視点画像との間の差が縮小され、複数の視点画像間の視差が平滑化される。

以上のように本実施形態では、複数の視点画像に対して、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行う。コントラスト分布および像ずれ量分布に応じた画像処理は、必要に応じて、先鋭化の処理、平滑化の処理、または、これらの組み合わせ処理のいずれでもよい。

本実施形態では、式（７Ａ）、式（７Ｂ）、式（９）、式（１０）、式（１１Ａ）および式（１１Ｂ）より演算処理が行われる。視点画像ごとのコントラスト差が大きい領域より、コントラスト差が小さい領域の方が、各視差画像への先鋭化や平滑化等の画像処理が強く行われる。また、コントラスト分布の小さい領域より大きい領域の方が、各視差画像への先鋭化や平滑化等の画像処理が強く行われる。

本実施形態では、式（９）、式（１０）、式（１１Ａ）および式（１１Ｂ）より、像ずれ量分布の所定シフト量からの差が小さい領域には、先鋭化の処理を行い、差が大きい領域には、平滑化の処理を行う。本実施形態では、式（９）、式（１０）、式（１１Ａ）より、像ずれ量分布の所定シフト量からの差が大きい領域に比べて、差が小さい領域の方が、先鋭化の処理がより強く行われる。本実施形態では、式（９）、式（１０）、式（１１Ｂ）より、像ずれ量分布の所定シフト量からの差が小さい領域に比べて、差が大きい領域の方が、平滑化の処理がより強く行われる。

また本実施形態では、式（１１Ａ）および式（１１Ｂ）より、複数の視点画像の画素ごとに、複数の視点画像間の差を拡大して視差を先鋭化しまたは、複数の視点画像間の差を縮小して視差を平滑化する処理を行い、複数の修正視点画像を生成する。式（１１Ａ）の先鋭化の処理、および、式（１１Ｂ）の平滑化の処理は、各（ｊ，ｉ）画素に含まれる第１光電変換部の出力信号である第１視点画像Ｉ_１（ｊ，ｉ）と、第２光電変換部の出力信号である第２視点画像Ｉ_２（ｊ，ｉ）間の演算処理である。

［重み係数］
図９のステップＳ６では、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の値が所定像ずれ量ｐ近傍である領域において被写界深度を微修正するために、重み係数を設定する処理が行われる。像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に基づいて、第１修正視点画像と第２修正視点画像ごとに重み係数が設定される。

ステップＳ６において、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）から、第１修正視点画像ＭＩ_１（ｊ，ｉ）の第１重み係数分布Ｗ_１（ｊ，ｉ）は、式（１３Ａ）により算出される。第２修正視点画像ＭＩ_２（ｊ，ｉ）の第２重み係数分布Ｗ_２（ｊ，ｉ）は、式（１３Ｂ）により算出される。

第１重み係数分布Ｗ_１（ｊ，ｉ）と第２重み係数分布Ｗ_２（ｊ，ｉ）との差は、｜Ｗ_１（ｊ，ｉ）−Ｗ_２（ｊ，ｉ）｜＝ｍａｘ（Ｍ_ＤＩＦＦ（ｊ，ｉ），０）となる。したがって、本実施形態では、像ずれ量分布の所定シフト量からの差が大きい領域よりも、差が小さい領域の方が、重み係数間の差｜Ｗ_１（ｊ，ｉ）−Ｗ_２（ｊ，ｉ）｜は大きい。必要に応じて、第１重み係数分布Ｗ_１（ｊ，ｉ）と第２重み係数分布Ｗ_２（ｊ，ｉ）に対して、高周波カット（ローパス）フィルタ処理を行い、平滑化してもよい。

［合成処理］
図９のステップＳ７では、第１修正視点画像と第２修正視点画像ごとに重み係数をかけて、式（１４）により加算する処理（合成処理）が行われる。像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に基づき深度修正された出力画像Ｉ_S（ｊ，ｉ）が生成される。

式（１３Ａ）の第１重み係数分布Ｗ_１（ｊ，ｉ）は第１修正視点画像ＭＩ_１（ｊ，ｉ）に乗算され、式（１３Ｂ）の第２重み係数分布Ｗ_２（ｊ，ｉ）は第２修正視点画像ＭＩ_２（ｊ，ｉ）に乗算される。これにより、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の値が所定像ずれ量ｐ近傍である領域での被写界深度を修正することができる。
本実施形態では、複数の視点画像から像ずれ量分布を生成し、像ずれ差分量分布に基づいて、複数の視点画像ごとに重み係数をかけて合成することにより、出力画像が生成される。

［深度修正可能範囲］
図２１の概略図を参照して、本実施形態での合成処理による深度修正可能範囲について説明する。撮像面６００には撮像素子（不図示）が配置され、図４、図７、図８の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

許容錯乱円径をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの焦点深度は、±Ｆ×δである。これに対して、Ｎｘ×Ｎｙ（例えば、２×１）に分割されて狭くなった瞳部分領域５０１（または５０２）の瞳分割方向（ｘ方向）の実効絞り値Ｆ_０１（またはＦ_０２）は、Ｆ_０１＝Ｎｘ×Ｆ（またはＦ_０２＝Ｎｘ×Ｆ）となって暗くなる。第１修正視点画像（または第２修正視点画像）ごとの実効的な焦点深度は、±Ｎｘ×Ｆ×δであり、Ｎｘ倍深くなり、合焦範囲がＮｘ倍に広がる。実効的な焦点深度「±Ｎｘ×Ｆ×δ」の範囲内では、第１修正視点画像（または第２修正視点画像）ごとに合焦した被写体像が取得されている。したがって、１つの修正視点画像の重み係数を１とし、他の修正視点画像の係数を０とすることにより、瞳分割方向の焦点深度を、概ね、Ｎｘ倍に深くすることができる。

しかしながら、図６の瞳強度分布例に示したように、画素部ごとに形成される、直径が数マイクロメートルのマイクロレンズと、複数に分割された光電変換部による瞳分割では、光の波動性による回折ボケのために、緩やかな瞳分割となる。そのため、第１視点画像と第２視点画像の瞳分割方向（ｘ方向）の焦点深度が十分に深くならず、第１視点画像と第２視点画像を用いて深度修正処理をしても、深度修正効果が十分に得られない場合があり得る。

本実施形態では、合成処理による深度修正にて、複数の視点画像に対して、強度パラメータ分布（像ずれ差分量分布）が０以上（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の画素ごとに、式（１１Ａ）を用いて処理を行う。すなわち、第１視点画像と第２視点画像との間の差を拡大して視差を先鋭化する（クロストーク補正および先鋭化）処理を行うことで、第１修正視点画像と第２修正視点画像が生成される。これにより、複数の修正視点画像の瞳分割方向（ｘ方向）の実効的な絞り値Ｆを大きくし、焦点深度を深く修正することができ、深度修正効果を向上させることができる。

次に、図２２のフローチャートを参照して、得られた深度修正画像の表示、および、深度修正画像に対して施す画像処理の内容を設定する方法について説明する。なお、図２２に示す処理は、ＣＰＵ１２１と画像処理回路１２５によって実行される。

図２２のステップＳ１０１では、撮像装置のフラッシュメモリ１３３に記録された画像の中から、処理対象である画像が選択される。１枚または複数の画像が表示部１３１の画面上に表示され、ユーザは任意の画像を選択可能である。

次に、ステップＳ１０２で、図９で説明した深度修正画像（出力画像）の生成処理が実行される。ステップＳ１０２の時点では、撮影画像に施す画像処理の強弱および領域等に関して、ユーザが意図する設定が完了していない。そのため、ステップＳ１０２では、ユーザが設定しうる複数の条件について、深度修正画像の生成処理が行われる。本実施形態では、図９のステップＳ４で設定された所定像ずれ量ｐに関して、複数の条件で深度修正画像が生成されるものとする。例えば、所定像ずれ量ｐを、−３から＋３まで、１刻みとする場合、７種類の深度修正画像が生成される。その際、上述の深度修正画像を生成する際の各種閾値や、σ_ｐ、ｋ_ｃｔ等の画像処理を行う領域、強弱を決定するパラメータとしては、初期設定値を用いる。これらのパラメータは、画像処理の強弱をユーザが決定する際に、変更すればよい。

次に、ステップＳ１０３では、生成された複数の深度修正画像に関して、画像処理効果が判定される。判定結果に基づき、画像処理効果が比較的大きく得られる領域が特徴領域として抽出される。本実施形態の深度修正処理は、上述の深度修正可能範囲で述べたとおり、焦点深度を分割数（Ｎｘ）倍程度に拡大するものである。一方で、撮像装置の表示部１３１は、撮像装置の携帯性等から画面の大きさに限界があるため、ユーザが深度修正を行うべき領域を設定したり、深度修正の効果を確認したりするのは困難であった。本実施形態では、ＣＰＵ１２１と画像処理回路１２５は、ステップＳ１０３で、画像処理により効果が得られやすい領域（以下、効果大領域ともいう）について抽出を行う。処理の詳細は後述する。

次に、ステップＳ１０４で表示部１３１は、ステップＳ１０１で選択された処理画像を画面に表示する。その際には、ステップＳ１０３で抽出された効果大領域の表示も行われる。図２３を参照して、効果大領域の表示について説明する。

図２３は、ステップＳ１０１で選択された画像に対して、４つの枠７０１から７０４が重畳して表示されている例を示す。表示される枠の線の種類は、所定像ずれ量ｐと対応している。例えば、所定像ずれ量ｐ＝１の時に、画像処理の効果が大きい効果大領域は、実線で示すように被写体（人形）の目の周辺に配置された２つの枠（７０１，７０２）で示される。一方で、所定像ずれ量ｐ＝−２の時に、効果大領域は１点鎖線で示された枠（７０３）として表示される。また、所定像ずれ量ｐ＝２の時に効果大きい領域は、破線で示された枠（７０４）として表示される。また、所定像ずれ量によっては、画像処理効果が大きく得られる領域が存在しない場合もある。その場合、所定像ずれ量に対応した枠は表示されない。所定像ずれ量がどの値であっても効果大領域が存在しない場合には、その旨をユーザに通知し、他の処理画像の選択や再撮影を促がす処理が行われる。

本実施形態では、所定像ずれ量をパラメータとして、画像処理効果が大きい領域を区別して表示する構成を説明した、表示の区別に用いるパラメータは、これに限らない。例えば、所定像ずれ量を画像処理装置が決定し、他の画像処理を行う上でのパラメータとして、例えばシャープネスの強弱ごとに区別する表示を行ってもよい。これにより、ユーザは画像処理装置が推奨するシャープネスの強度等を、領域ごとに区別して認識しやすくなる。同様に、深度修正画像を生成する際の各種閾値や、σ_ｐ、ｋ_ｃｔ等の画像処理を行う領域、強弱を決定するパラメータごとに、それらを区別する表示を行ってもよい。

このように本実施形態では、ユーザが設定しうる処理内容を事前に想定し、複数の所定像ずれ量において、深度修正の画像処理効果が大きく得られる領域が表示される。ユーザは画像処理を行う前に、どの領域に着目して画像処理を行うべきかを容易に判断できる。また、所定像ずれ量ごとに表示枠を区別することにより、ユーザは、どの領域が同じような深度修正の効果が得られるかを容易に判別できる。

次のステップＳ１０５でＣＰＵ１２１は、ユーザの操作による拡大表示の指示があるか否かを判定する。拡大表示の指示がない場合には、ステップＳ１０７に進む。拡大表示の指示を受け付けた場合には、ステップＳ１０６に進む。拡大表示の指示については、例えば、ユーザが表示されている枠を表示部の画面上で、触れることにより行う。

ステップＳ１０６では、ステップＳ１０２で算出されている複数の所定像ずれ量に対応した画像の中から、表示する画像が選択される。拡大表示の際に選択される枠で、深度修正処理の効果が大きく得られる所定像ずれ量に対応した画像を選択し、選択された枠の領域近傍を拡大表示する処理が行われる。拡大表示の際、拡大率は５倍、１０倍等所定の拡大率や被写体サイズに合わせた拡大率が設定され、あるいは、深度修正処理の効果が得られる領域の大きさに応じた拡大率が設定される。その際には、深度修正処理の効果が得られる領域が表示領域に含まれるように拡大処理が実行される。

また、深度修正処理の効果を確認できる拡大率に設定してもよい。深度修正領域の被写体パターンが高周波成分を多く含む場合には、より大きな拡大率にして、深度修正の効果を確認する必要がある。上述のコントラスト分布や他の方法を用いて、高周波成分の信号量が取得され、拡大率が設定される。また施されている画像処理の先鋭化や平滑化の強弱に応じて拡大率を設定してもよい。より強く先鋭化がなされている場合には、小さい拡大率でも、ユーザは画像処理効果を確認可能である。

画像表示の際には、画像処理効果の認識を容易にするため、処理前後の画像を交互表示してもよい。交互表示を行う際には、処理後の画像と画像処理領域を画素単位でハイライト表示等により強調した画像を用いてもよい。ハイライト表示では、画像処理領域の周囲の色に対して目立つ色が選択される。

交互表示等の表示方法は、画像処理効果がある領域をユーザに認識しやすくする一方で、施された画像処理効果そのものを認識しにくくなる場合がある。そのため、画像処理後の画像を表示している状態と、交互表示等の画像処理効果がある領域の強調表示の状態を、操作部材等により切り替えてもよい。例えば、ユーザが所定の操作部材を押している間のみ、強調表示が行われる。

このように、拡大の前後で、特徴領域としての効果大領域に対応する枠を表示する方法と、ハイライト表示等で、画素単位で特徴領域を表示する方法とを切り替えることで、表示形態に応じて、画像処理効果を認識しやすい表示方法を実現できる。

次に、ステップＳ１０７では画像処理内容の設定処理が行われる。例えば、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を生成する際の強度パラメータ（ｋ_ｃｔ）が、ユーザの指示に従って設定される。設定内容に応じた画像処理が行われて、処理後の画像が表示される。ユーザによる画像処理内容としては、その他に、シャープネスの調整やガンマ補正等を行ってもよい。また、デフォルトの表示画像としては、深度修正効果が大きくなるように、所定像ずれ量が設定された状態の画像を表示しているが、ユーザの意図に応じて、所定像ずれ量を変更してもよい。

画像処理内容の設定後、拡大表示を中断し、全画面表示に変更される。その際には、画像処理効果がある領域に絞り込み、効果が得られる領域が表示される。図２４は、画像処理の設定を終えた後の表示例を示す。画像処理効果の確認を、枠７０２内の画像を拡大して行った後の表示状態を示している。枠７０２の所定像ずれ量と等しい所定像ずれ量である枠７０１が表示される。枠７０２の所定像ずれ量と等しくない、その他の像ずれ量と対応する枠（７０３，７０４）については、非表示となる。このようにＣＰＵ１２１は、画像処理内容の決定処理にて、画像処理効果がある領域を決定する前後で、表示する特徴領域の絞り込みを行う。これは、ユーザの希望する深度修正領域が枠７０２であるとＣＰＵ１２１が判断したためであり、より画像処理効果のある領域が、わかりやすく表示される。またユーザは、拡大表示をしながら確認した領域以外に効果が得られる領域が存在することを容易に識別することができる。

次に、ステップＳ１０８に進み、画像処理の完了が検出されると、処理画像（処理済みの画像）の記録処理が実行される。ＣＰＵ１２１は処理前の画像データに加えて、処理画像の画像データを記録媒体に記録する制御を行い、画像処理内容の設定を完了する。

図２５のフローチャートを参照して、図２２のステップＳ１０３に示した効果大領域の抽出に関するサブルーチンについて説明する。図２５の処理はＣＰＵ１２１と画像処理回路１２５によって実行される。

図２５のステップＳ２０１では、選択された画像の撮影条件の取得処理が行われる。撮影条件とは、撮影光学系のＦ値やＩＳＯ感度の設定値に関する条件である。次に、ステップＳ２０２で、設定像ずれ量ごとの像ずれ差分量分布が取得される。その後、ステップＳ２０３へ進み、深度修正の効果が大きい領域の判定処理が行われ、画像全体および部分領域ごとの判定結果が取得される。まず、ＣＰＵ１２１はステップＳ２０１で取得された撮影条件から、画像全体として、深度修正効果が得られるか否かを判定する。Ｆ値が小さく小絞りの場合には、デフォーカス量に対する像ずれ量が小さいため、像ずれ差分量分布が全体的に小さい値になりやすい。そのため、深度修正効果が、画像全体で得られにくい。また、ＩＳＯ感度の設定値が大きい場合の画像では、画像信号のＳ／Ｎ比（信号対ノイズ比）が小さく、ノイズが信号に対して大きいため、信頼性のある像ずれ量を得にくい。また、深度修正効果も、画像信号に含まれるノイズの影響により、認識しにくい。

次にＣＰＵ１２１は、画像内の部分領域ごとの効果の大小を判定する。まず、被写体の奥行きと被写体距離を用いて、特徴領域として効果が大きい領域（効果大領域）を抽出する処理が行われる。撮影距離が所定距離の範囲外であって、近すぎる場合には、単位像ずれ量と対応する被写体空間（被写界にて被写体が占める空間）での深度修正が行われる奥行き方向の範囲が狭い。そのため、被写体の奥行きに対して、深度修正可能な画面内の領域が狭くなりがちとなる。同様に、撮影距離が所定距離の範囲外であって、遠すぎる場合には、単位像ずれ量と対応する被写体空間での深度修正が行われる奥行き方向の範囲が広い。そのため、被写体の奥行きに対して、深度修正可能な画面内の領域は広くなりがちとなる。言い換えると、適切に深度修正効果を得るためには、深度修正を行いたい被写体の奥行き方向の範囲と被写体の距離が、適切であることが必要である。

本実施形態では、被写体の奥行きに対して、深度修正可能な範囲が狭いことを、像ずれ差分量分布において、画像内の部分領域内の正値となっている画素の数で検出する処理が行われる。像ずれ差分量が正値となっている領域が小さい場合にＣＰＵ１２１は、先鋭化処理が行われる領域が狭く、効果が小さいと判定する。同様にＣＰＵ１２１は、被写体の奥行きに対して、深度修正可能な範囲が広いことを判定する。像ずれ差分量が正値となっている領域が大きい場合に、先鋭化処理が行われる領域が広いため、先鋭化と平滑化のメリハリのある効果が視認しづらく、効果が小さいと判定される。

また、像ずれ差分量分布の絶対値の大きさが、画像の領域のコントラストの大きさも示していることを利用して、ＣＰＵ１２１は画像内の部分領域ごとの効果の大小を判定する。像ずれ差分量分布の値が正値であって、かつ値が所定の閾値より大きい領域が、一定以上の大きさがある場合には、効果大領域と判定される。また、像ずれ差分量分布にて正値の領域の周囲に負値の領域が存在する場合には、先鋭化処理と平滑化処理のメリハリにより、効果を大きく感じられるため、効果大領域と判定される。

効果大領域の判定の際には、深度修正により先鋭化される領域と平滑化される領域を分けて検出してもよい。つまり、先鋭化される領域と平滑化される領域とを、区別して表示することによって、ユーザは画像処理を行いたい領域の選択を容易に行える。

効果大領域の判定には、視差関連情報として、像ずれ差分量分布を用いたが、他の情報を用いてもよい。例えば、コントラスト分布、コントラスト差分量分布等が利用可能である。コントラスト分布からは、画像信号の高周波成分の大小が領域ごとに判断できる。高周波成分が多い領域の方が深度修正の効果が得られやすいことが判断される。また、コントラスト差分量分布では、異なる視点画像間のコントラストの差が大きい領域は、上述のとおり画像修正には不適切な場合がある。そのため、コントラスト差分量の値が大きい領域は、深度修正の効果が得られにくいと判断される。

また、像ずれ差分量分布は、像ずれ量分布とコントラスト分布から算出されるが、像ずれ量分布と所定像ずれ量ｐとの差を、視差関連情報として用いてもよい。所定像ずれ量ｐに対して、像ずれ量が大きい領域は、深度修正範囲外であると判断できる。

深度修正による効果が大きい領域の判定処理は、所定像ずれ量ごとに行われて、所定像ずれ量ｐと対応づけて、効果が大きい領域（効果大領域）をメモリに記憶する処理が実行される。この際、Ｆ値やＩＳＯ感度の条件等によっては、所定像ずれ量や画面内の領域によらず、効果大領域が存在しない場合もある。この場合には、効果大領域が存在しないことがメモリに記憶される。ステップＳ２０３の終了後に、効果大領域の抽出のサブルーチンを完了する。

図２６の具体例を用いて、効果大領域について説明する。図２６は、図１９の像ずれ差分量分布の一部（顔周辺の領域）を拡大した図である。領域１８０１は、像ずれ差分量分布の値が正値であって、大きい値を示している領域が所定の範囲以上に亘って存在する領域である。そのため、この領域は効果大領域と判定される。一方で、領域１８０３は、領域内でのコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であり、像ずれ量の算出から除外された領域であるため、先鋭化の効果や平滑化の効果が表れない領域である。そのため、領域１８０３は効果が小さい領域と判定される。領域１８０２は、被写体の目の領域より遠い側でコントラストを有するが、像ずれ差分量が０に近くないために、平滑化処理が行われる領域を示している。このような領域については平滑化による画像修正が行われるが、効果大領域として表示してもよい。

またＣＰＵ１２１は、効果大領域の抽出のために、被写体の顔や目等を検出し、被写体検出領域と効果大領域を合わせて、表示すべき領域を決定する。例えば、画像修正の効果が大きい領域として被写体の顔と衣服の両方が検出された場合に、被写体検出情報から、被写体の顔に絞り込むことができるので、ユーザは画像処理の対象領域の選択を容易に行える。

本実施形態では、ユーザが、深度修正の効果の大きい領域候補から、深度修正を確認する領域を選択し、画像修正を行う構成例を説明した。画像修正内容の決定方法はこれに限らない。例えば、深度修正の効果が大きい領域候補から、自動的に画像処理装置が領域を選択し、その領域に応じた画像修正を行ってもよい。その際には、公知の被写体検出情報を活用し、例えば、被写体の顔領域を優先的に修正する処理が行われる。

本実施形態によれば、合焦近傍の被写体領域を、暈け状態の前景や背景との対比により際立たせる効果を、撮影後に調整する処理において、画像内における効果が大きい領域を認識しやすくすることができる。よって、適切な画像処理の設定を容易に選択可能な画像処理装置を実現できる。

以上の説明では、撮像素子にて１つのマイクロレンズに対応する２つの光電変換部により取得される第１および第２視点画像を主に例示して画像処理を説明した。図２（Ｂ）、図３（Ｃ）、図３（Ｄ）に示す４分割の光電変換部を有する撮像素子の実施形態では４つの視点画像が生成される。つまり、結像光学系の第１乃至第４瞳部分領域の中の特定の瞳部分領域に対応した、所定の解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像から第４視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）が生成される。画素ごとに、第１副画素２０１から第４副画素２０４の信号を全て合成することで、所定の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像が生成される。撮像素子の各画素部における光電変換部については、分割数をさらに多くして、例えば、Ｎｘ＝３、Ｎｙ＝３、Ｎ_ＬＦ＝９や、Ｎｘ＝４、Ｎｙ＝４、Ｎ_ＬＦ＝１６等の実施形態が可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０７ 撮像素子
１２１ ＣＰＵ
１２５ 画像処理回路
１３１ 表示部

Claims (19)

1. 視点の異なる複数の視点画像を取得する取得手段と、
   前記複数の視点画像から視差に関連する関連情報を算出する算出手段と、
   前記複数の視点画像に基づく画像データに深度を修正する画像処理を施して出力画像を生成する画像処理手段と、
   前記画像処理手段による画像処理の設定を行う設定手段と、
   前記関連情報を取得して前記出力画像における領域ごとの前記画像処理の効果を判定して判定結果を出力する判定手段と、
   画像データと、前記判定手段による判定結果とを表示手段に表示させる制御を行う表示制御手段と、を有し、
   前記画像処理手段は、前記複数の視点画像および前記関連情報を用いて、深度を修正する中心となる奥行きを示すパラメータの設定を行い、前記出力画像を生成して前記表示手段に出力し、
   前記表示制御手段は、異なる複数の前記パラメータに対応する判定結果を区別して前記表示手段に表示させる制御を行う
   ことを特徴とする画像処理装置。
2. 前記画像処理手段は、前記複数の視点画像を合成して前記出力画像を生成する処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記関連情報は、前記複数の視点画像の間の像ずれ量分布、前記複数の視点画像に係る予め定められた空間周波数帯域の信号量、前記複数の視点画像のコントラストのうちの１つ以上を用いて算出される情報である
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記判定手段は、前記像ずれ量分布にて所定像ずれ量に対して像ずれ量が小さい領域、またはコントラスト分布の値が所定値より大きい領域を、前記画像処理の効果が大きい領域であると判定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記判定手段は、前記画像処理の設定に用いる、前記複数の視点画像に対して処理の強さを指定する強度パラメータを参照して前記画像処理の効果を判定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記判定手段により、前記画像処理の効果が大きいと判定された特徴領域の画像、または当該特徴領域の画像および前記出力画像を表示する表示手段を有する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記特徴領域から前記出力画像を決定する決定手段を有する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記画像処理手段は、前記複数の視点画像および前記関連情報を用いてパラメータの設定を行い、前記出力画像を生成して前記表示手段に出力し、
   前記表示手段は、前記パラメータに対応する画像処理の効果の程度ごと、または、前記パラメータの設定値ごとに、前記特徴領域を区別して表示する
   ことを特徴とする請求項６に記載の画像処理装置。
9. 前記出力画像における被写体領域を検出する検出手段と、
   前記被写体領域および前記特徴領域から前記出力画像の領域を決定する決定手段と、を有し、
   前記表示手段は、前記決定手段により決定された領域を表示する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記表示手段は、前記特徴領域に対応する枠を表示する方法と、前記出力画像の画素単位で前記領域を表示する方法とを切り替える
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記表示手段は、前記特徴領域が得られない出力画像に対して、前記特徴領域が得られないことを通知する表示を行う
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記設定手段により前記画像処理の内容が設定される前に、前記表示制御手段は、前記画像処理の効果が大きいと判定された画像を、前記表示手段に表示させる制御を行う
    ことを特徴とする請求項９に記載の画像処理装置。
13. 前記画像処理手段は、前記画像処理の前に前記複数の視点画像に先鋭化または平滑化の処理を施す
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記取得手段は、結像光学系の異なる瞳部分領域をそれぞれ通過した光を、複数の光電変換部により光電変換して得られた画素信号から生成される前記複数の視点画像を取得する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 請求項１乃至１４のいずれか１項に記載の画像処理装置と、
    被写体を撮像する撮像素子と、を備える
    ことを特徴とする撮像装置。
16. 前記撮像素子は、複数のマイクロレンズと、複数の光電変換部を有し、各マイクロレンズがそれぞれ前記複数の光電変換部に対応しており、
    前記各マイクロレンズに対応する前記複数の光電変換部より出力される信号から前記複数の視点画像の信号が生成されることを特徴とする請求項１５に記載の撮像装置。
17. 視点の異なる複数の視点画像を取得する工程と、
    画像処理手段による画像処理の設定を行う工程と、
    前記複数の視点画像から視差に関連する関連情報を算出する工程と、
    前記複数の視点画像に基づく画像データに対して、前記画像処理手段が深度を修正する画像処理を施して出力画像を生成する工程と、
    前記関連情報を取得して前記出力画像における領域ごとの前記画像処理の効果を判定して判定結果を出力する工程と、
    画像データと、前記判定結果とを表示制御手段が表示手段に表示させる制御を行う工程と、を有し、
    前記画像処理手段により、前記複数の視点画像および前記関連情報を用いて、深度を修正する中心となる奥行きを示すパラメータの設定が行われ、生成された前記出力画像が前記表示手段に出力され、
    前記表示制御手段により、異なる複数の前記パラメータに対応する判定結果を区別して前記表示手段に表示させる制御が行われる
    ことを特徴とする画像処理方法。
18. 請求項１７に記載の各工程を画像処理装置のコンピュータに実行させるためのプログラム。
19. コンピュータに、請求項１７に記載の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
    

Images