JP6370348B2 - 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体 - Google Patents

Description

本発明は、視点画像を用いた画像処理技術に関する。

撮影によって得られた、同じ被写体画像を含む複数の視点に対応する複数の視差画像（視点画像）を用いた画像処理がいくつか提案されている。特許文献１には、多視点での撮影画像から、それらの合成比率の調節によって、任意の（仮想的）視点の撮影画像を生成する技術の開示がある。特許文献２には、１つのマイクロレンズに対して複数の光電変換部が割り当てられた撮像素子から取得される複数の視差像を、相対的にシフトして合成することで仮想的な像面にリフォーカスした画像を生成する技術の開示がある。

特開２０１２−１８６７９０号公報 特開２０１４−２２８５８６号公報 特開２０１１−２２７９６号公報

しかし、いずれの特許文献にも、複数の視点画像を用いて１種類の画像処理が可能な画像処理装置についてしか開示されていない。
本発明は、複数の視点画像を用いて、複数種類の画像処理を適用することが可能な構成を備えた画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、複数の視点画像を取得する取得手段と、前記複数の視点画像に基づく画像データに画像処理を施す画像処理手段と、前記画像処理手段による画像処理の設定を行う設定手段と、を有し、前記画像処理手段は、画像の解像感を調整する調整処理を含む異なる複数の画像処理を選択的に前記画像データに適用可能であり、前記設定手段は、前記複数の画像処理それぞれを前記画像データに適用するか否かと、前記画像データに適用する画像処理のパラメータを設定可能であり、前記調整処理は、画像の合焦位置からの距離とコントラストの少なくとも１つに基づいて、該画像に先鋭化または平滑化処理を施す処理を含むことを特徴とする。

本発明によれば、複数の視点画像を用いて、複数種類の画像処理を適用することが可能な構成を備えた画像処理装置を提供することができる。

本発明に係る画像処理装置の基本構成を示す図である。 本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の実施形態における撮像素子の画素配列の概略図である。 撮像素子の画素構成の概略平面図と概略断面図である。 撮像素子の画素と瞳分割領域との対応を説明するための図である。 瞳分割、およびデフォーカス量と像ずれ量の関係を示す図である。 本発明の実施形態における解像感の調整処理のフローチャートである。 瞳ずれによるシェーディングを示す図である。 撮像画像を例示する図である。 撮像画像の撮像コントラスト分布を例示する図である。 第１視点画像の第１視点コントラスト分布を例示する図である。 第２視点画像の第２視点コントラスト分布を例示する図である。 視点画像間の視差と遠近競合の概略関係図である。 第１視点画像と第２視点画像のコントラスト差分量分布を示す図である。 コントラスト分布を例示する図である。 第１視点画像と第２視点画像の像ずれ量分布を例示する図である。 所定シフト量からの像ずれ差分量分布を例示する図である。 視点画像間の視差を先鋭化する（クロストーク補正）処理を示す図である。 シフト合成処理によるリフォーカスの概略説明図である。 シフト合成処理によるリフォーカス可能範囲の概略説明図である。 従来技術と本実施形態の技術におけるリフォーカス画像例を示す図である。 主被写体への前ボケ被りが生じている画像例を示す図である。 前ボケ被り補正の効果の説明図である。 本発明の実施形態におけるゴースト低減処理のフローチャートである。 本発明の実施形態における画像処理装置の動作のフローチャートである。

本発明の各実施形態を説明する前に概要を説明する。図１は本発明に係る画像処理装置の基本構成の代表例を示す概念的な説明図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアによって実現されてもよい。ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

入力部１０１は複数の視点画像のデータを取得する。制御部１０４は入力部１０１を含めた各部を制御する。第１の処理部１０２は、制御部１０４の指示にしたがって、取得された複数の視点画像に対して、後述する分布情報の取得、平滑化処理と合成部１０５によるシフト合成のための各視点画像の相対座標（シフト量）を決定する。第２の処理部１０３は、さまざまな視点からの画像を再現するための視点画像の合成処理における複数の視点画像の合成比率を決定する。また、第２の処理部１０３は、合成画像に生じるゴースト（不要光）を低減するために、ゴーストの量（ゴースト成分）を検出する。合成部１０５は、適用される画像処理の設定に応じて複数の視点画像に対する平滑化処理を行う。合成部１０５はさらにシフト量と合成比率に基づいて画像の合成処理を行い、合成画像から第２の処理部１０３で検出したゴースト成分を減算し、結果の合成画像を出力部１０６に送る。出力部１０６は、出力先の装置またはデバイスに応じて画像データを処理して出力する。第１の処理部１０２、第２の処理部１０３、合成部１０５が実行する画像処理については、実施形態にて具体例を挙げて詳述する。

［第１実施形態］
以下に、本発明の第１実施形態を詳細に説明する。図２は、本実施形態の画像処理装置を、撮像装置に適用した場合の構成例を示すブロック図である。本実施形態では、視点画像データを記録可能なデジタルカメラ１００を例示して説明する。

撮影レンズ２３０は、撮像光学系を構成する複数の光学部材として、レンズおよび絞り２４０を備える。撮像素子１１０は、撮影レンズ２３０を通して結像される被写体の光学像を、光電変換により電気信号に変換する。Ａ／Ｄ変換器１２０は、撮像素子１１０のアナログ信号出力をデジタル信号に変換する。本実施形態では、撮影レンズ２３０、撮像素子１１０、Ａ／Ｄ変換器１２０が、図１の入力部１０１に含まれる。

画像処理部１３０は、Ａ／Ｄ変換器１２０からのデータ、或いはＲＡＭ（ランダム・アクセス・メモリ）１９０に記録されているデータに対して所定のデモザイク処理や色変換処理等を行う。画像処理部１３０は、図１の第１および第２の処理部（１０２，１０３）、合成部１０５に含まれる。すなわち、本実施形態では、画像処理部１３０およびＣＰＵ（中央演算処理装置）１７０によって、後述するように、リフォーカス処理とシャープ／アンシャープ制御が行われる。さらに、画像に写り込むゴーストの影響を抑制するために複数の視点画像間の差分に基づいてゴーストを検出し、ゴーストの影響を低減するよう画像データに補正処理が施される。Ａ／Ｄ変換器１２０の出力データは、画像処理部１３０、カメラ信号処理部１４０を介して、或いは直接的にカメラ信号処理部１４０を介して、ＲＡＭ１９０に書き込まれる。

ＣＰＵ１７０は、システム全体を制御する中枢部であり、図１の制御部１０４に相当する。ＣＰＵ１７０は、ＲＯＭ（リード・オンリ・メモリ）１８０に記憶されたプログラムを読み出して実行することにより、以下に示す各種処理を行う。操作部２１０は、シャッタレリーズスイッチ等の操作部材を備え、ユーザの操作指示信号をＣＰＵ１７０に出力する。例えば、シャッタレリーズスイッチの第１段階の操作指示により、撮像系制御部２０５が絞り２４０やレンズの駆動制御を行う。ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等が開始する。シャッタレリーズスイッチの第２段階の操作指示により、撮像素子１１０のアナログ出力信号をＡ／Ｄ変換器１２０がデジタル画像信号に変換し、画像処理部１３０、カメラ信号処理部１４０が処理を行う。カメラ信号処理部１４０は画像処理部１３０の出力、またはＲＡＭ１９０からの画像データを取得し、演算を用いた現像処理を実行する。例えばカメラ信号処理部１４０は、デモザイキング処理、撮像素子１１０固有の欠陥補正処理やシェーディング補正処理、黒レベル等の補正処理、ホワイトバランス処理、ガンマ補正処理、色変換処理、ノイズリダクション処理を行う。またカメラ信号処理部１４０は画像データの圧縮処理等を行い、処理済みのデータをメディアＩ／Ｆ（インタフェース）部１５０に出力する。メディアＩ／Ｆ部１５０は、記録媒体１６０に画像データを書き込む記録処理を実行する。

ＲＡＭ１９０は撮影後の静止画像や動画像のデータを格納するメモリであり、所定枚数の静止画像や所定時間の動画像の格納に十分な記憶容量を有する。画像表示部２２０はＴＦＴ（Thin film transistor）型液晶ディスプレイ等から構成され、ＲＡＭ１９０に書き込まれた表示用の画像データにしたがって画像表示を行う。ここで、画像表示部２２０が撮影された画像を逐次表示することにより、ライブビュー機能を実現できる。

図３は撮像素子１１０の画素配列を示す概略図であり、２次元ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサの画素配列を示している。図３の紙面に垂直な方向をｚ方向とし、左右方向をｘ方向とし、上下方向をｙ方向と定義する。撮像画素については４行４列の範囲で示し、副画素配列について４行８列の範囲で示す。図３に示す２行２列の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂから成る。Ｒ（赤）の分光感度を有する画素２００Ｒは、図３の左上に位置し、Ｇ（緑）の分光感度を有する画素２００Ｇは右上および左下に位置し、Ｂ（青）の分光感度を有する画素２００Ｂは右下に位置している。さらに、各画素は１行２列に配列された第１の副画素２０１と第２の副画素２０２により構成されている。

撮像素子１１０にて、図３に示す４行４列の撮像画素（４行８列の副画素）を撮像面上に多数配置することで、撮像画像信号および視点画像の信号を取得可能である。撮像素子１１０における１つの画素２００Ｇを、その受光面側（＋ｚ方向）から見た平面図を図４（Ａ）に示す。図４（Ａ）にて紙面に垂直な方向をｚ方向とし、左右方向をｘ方向、上下方向をｙ方向と定義する。手前側を＋ｚ方向とし、右方向を＋ｘ方向、上方向を＋ｙ方向と定義する。図４（Ａ）のａ−ａ断面を、−ｙ方向から見た場合の断面図を図４（Ｂ）に示す。図４（Ｂ）にて紙面に垂直な方向がｙ方向であり、左右方向がｘ方向、上下方向がｚ方向である。

画素２００Ｇでは、受光面側に入射光を集光するためのマイクロレンズ３０５が形成されている。光電変換部３００は、ｘ方向にＮ_Ｈ分割、ｙ方向にＮ_Ｖ分割される。図４の例では、Ｎ_Ｈ＝２、Ｎ_Ｖ＝１であり、２つの光電変換部３０１，３０２が形成されているが、分割数は任意に設定可能である。光電変換部３０１，３０２はそれぞれ、第１の副画素２０１と第２の副画素２０２に対応する。光電変換部３０１，３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオード、またはイントリンシック層を省略したｐｎ接合フォトダイオードの構成をもつ。

各画素には、マイクロレンズ３０５と、光電変換部３０１，３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、副画素ごとにカラーフィルタの分光透過率が変更されるか、あるいはカラーフィルタが省略される。画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６での分光後に、光電変換部３０１，３０２がそれぞれ受光する。光電変換部３０１，３０２では受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部３０１，３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換されて画素信号として出力される。

図５（Ａ）は、図４に示す画素構造と瞳分割との対応関係を説明する図である。図５（Ａ）の下側には、画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図を示し、上側には結像光学系の射出瞳面（射出瞳４１０参照）を、−ｚ方向から見た場合の図を示す。図５（Ａ）では、射出瞳面の座標軸と対応を取るために、画素構造の断面図にてｘ軸とｙ軸を図４（Ｂ）に示す状態とは反転させて示している。

第１の副画素２０１に対応する第１の瞳部分領域４０１は、−ｘ方向に重心が偏倚している光電変換部３０１の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。つまり、第１の瞳部分領域４０１は第１の副画素２０１で受光可能な瞳領域を表し、射出瞳面上で＋ｘ方向に重心が偏倚している。また、第２の副画素２０２に対応する第２の瞳部分領域４０２は、＋ｘ方向に重心が偏心している光電変換部３０２の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。第２の瞳部分領域４０２は第２の副画素２０２で受光可能な瞳領域を表し、射出瞳面上で、−ｘ方向に重心が偏倚している。

図５（Ａ）に示す領域４００は、光電変換部３０１と光電変換部３０２（第１の副画素２０１と第２の副画素２０２）とを合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。撮像素子と瞳分割との対応関係を図６（Ａ）の概略図に示す。第１の瞳部分領域４０１と第２の瞳部分領域４０２をそれぞれ通過した光束は、撮像素子の各画素に異なる角度で入射する。撮像面５００への入射光は、Ｎ_Ｈ（＝２）×Ｎ_Ｖ（＝１）に分割された光電変換部３０１，３０２でそれぞれ受光され、各光電変換部は光を電気信号に変換する。

画像処理部１３０は焦点検出において、各画素部の第１の副画素２０１の受光信号を集めて第１の視点画像を生成し、第２の副画素２０２の受光信号を集めて第２の視点画像を生成する。また画像処理部１３０は、撮像素子の画素部ごとに、第１の副画素２０１の信号と第２の副画素２０２の信号を加算することで、所定解像度の撮像信号を生成して撮像された画像データを出力する。図６（Ｂ）を参照して、撮像時の焦点検出や本実施形態に特徴的な解像感の調整処理等のために算出される、第１の視点画像と第２の視点画像の像ずれ量とデフォーカス量との関係について説明する。

図６（Ｂ）にて、撮像面５００上に撮像素子（不図示）が配置されている。結像光学系の射出瞳４１０は、第１の瞳部分領域４０１と第２の瞳部分領域４０２に２分割される。デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面５００までの距離を表す。被写体像の結像位置が撮像面５００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図６（Ｂ）に示す被写体６０１の位置は、合焦状態（ｄ＝０）に対応する位置を例示し、被写体６０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１の瞳部分領域４０１（または第２の瞳部分領域４０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面５００上でボケた像となる。ボケ像は、撮像素子に配列された各画素を構成する第１の副画素２０１（または第２の副画素２０２）により受光され、第１の視点画像（または第２の視点画像）が生成される。よって、第１の視点画像（または第２の視点画像）は、撮像面５００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）として検出される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１の視点画像と第２の視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１の視点画像と第２の視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。本実施形態では第１の視点画像と第２の視点画像、または第１の視点画像と第２の視点画像とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の視点画像と第２の視点画像との間の像ずれ量の大きさが増加する。

次に、画像処理部１３０が行う本実施形態に特徴的な各種の画像処理について説明する。本実施形態では、複数の視点画像を用いて画像に行う処理として、解像感を調整する処理、視点を変更した画像を生成する処理、画像に生じるゴースト（不要光）を低減する処理の一部または全部を行う。

まず、解像感を調整する処理について説明する。ここで解像感とは、画像における被写体画像の解像度、エッジ、ボケ具合等から総合的に感じる鮮明さのことを表現している。すなわち、本実施形態における解像感の調整処理とは、これらのパラメータの少なくともいずれかが調整される処理を含む。そのほか、例えば画像の輝度や彩度、色相の調整によって鮮明さが増すことも考えられ、解像感の調整処理は上記の処理に限らず、その他の処理を含んでいてもよい。

以下に、解像感を調整するために本実施形態で取得する各視点画像に必要な処理について説明する。先ず、本実施形態における撮像素子１１０の各画素（光電変換素子）に入射される光束によって得られる画素信号の性質について説明する。

各画素に形成されたマイクロレンズに光が入射した場合、入射光はマイクロレンズにより焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍであり、これに対してマイクロレンズの集光スポットが約１μｍである。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、第１および第２の瞳部分領域４０１、４０２は回折ボケによって明瞭には瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図５（Ｂ）に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図５（Ｂ）に実線で示すグラフ線Ｌ１は、図５（Ｂ）の第１瞳部分領域４０１のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図５（Ｂ）に破線で示すグラフ線Ｌ２は、第２瞳部分領域４０２のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対（左右対称的）に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。この緩やかな瞳分割が行われている状態で得られた複数の視点画像は、視点画像間を相対的にシフトして、シフト後の画像を合成するシフト合成（リフォーカス）処理を行っても、元々くっきりとした瞳分割が行われていないため効果が薄い。そこで本実施形態では、解像感を調整する処理のために、複数の視点画像間の瞳分割（瞳分離）を強調するためのクロストーク補正（平滑化）処理を行う。

［リフォーカス処理とシャープ／アンシャープ制御］
本実施形態では、第１視点画像と第２視点画像のデフォーカス量と像ずれ量の関係性を用いて、撮像画像に対して、撮影後に、フォーカス位置を再修正するリフォーカス処理を行う。本実施形態では、リフォーカス処理として以下の２つを組み合わせた処理を行う。１つは、第１視点画像と第２視点画像を用いたシフト合成処理によるリフォーカス処理である。もう１つは、像ずれ差分量分布に応じた先鋭化と平滑化によって先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ／アンシャープ制御である。しかし、実施形態としてはこれに限らず、上記のリフォーカス処理とシャープ／アンシャープ制御のうちで、いずれか一方のみを画像に行ってもよい。いずれか一方を行う場合には、いずれか一方の処理にのみ係るステップを省略すればよい。

図７は、リフォーカス処理及びシャープ／アンシャープ制御の流れの概要を示すフローチャートである。図７の処理は、本実施形態の画像処理手段であるＣＰＵ１７０と画像処理部１３０によって実行される。

［多視点画像と撮像画像］
図７のステップＳ１で、本実施形態の撮像素子により取得されたＬＦデータ（入力画像）から、結像光学系の異なる瞳部分領域ごとに、複数の視点画像が生成される。各画像処理のパラメータの設定等のために表示する画像用に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像（合成画像）を生成する処理が行われる。ステップＳ１では撮像素子により取得されたＬＦデータ（入力画像）が入力されるが、予め撮像素子により撮影されて記録媒体に保存されているＬＦデータ（入力画像）を読み出して用いてもよい。

ステップＳ１において、次に、結像光学系の異なる瞳部分領域毎に、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）が生成される。ＬＦデータ（入力画像）をＬＦとする。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ、ｉ）は、式（１）により生成される。

本実施形態では、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割を例示する。図３に例示した画素配列に対応したＬＦデータ（入力画像）から、画素ごとに、ｘ軸方向２分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の中から特定の副画素の信号を選択する処理が実行される。結像光学系の第１瞳部分領域４０１と第２瞳部分領域４０２（第Ｎ_ＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像と第２視点画像（第Ｎ_ＬＦ視点画像）が生成される。

ここで、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図８に、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域４０１、第２光電変換部３０２が受光する第２瞳部分領域４０２、および結像光学系の射出瞳４１０の関係を示す。尚、図４と同じ部分は同じ符号を付して示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

図８（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合である。この場合は、第１瞳部分領域４０１と第２瞳部分領域４０２により、結像光学系の射出瞳４１０が、概ね、均等に瞳分割される。これに対して、図８（Ｂ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４１０が、不均一に瞳分割されてしまう。同様に、図８（Ｃ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４１０が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢごとに生じる。

必要に応じて、各視点画像のシェーディングを改善するために、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に、それぞれ、ＲＧＢごとシェーディング補正処理（光学補正処理）を行ってもよい。また必要に応じて、キズ補正処理や、飽和処理、デモザイキング処理等を行ってもよい。

図７のステップＳ１において、次に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像（合成画像）を生成する処理が行われる。列方向にｉ番目で行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）は、式（２）により生成される。

本実施形態では、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割を例示する。図３に例示した画素配列に対応した入力画像から、画素ごとにｘ軸方向２分割された第１副画素２０１と第２副画素２０２の信号を全て合成し、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する処理が行われる。必要に応じて、シェーディング補正処理、キズ補正処理、飽和処理、デモザイキング処理等を行ってもよい。図９に、本実施形態のデモザイキング処理された撮像画像を例示する。中央に主被写体である人形が配置され、左側に細かい市松模様の平板が手前から奥に渡って傾斜して配置されている。

以上のように本実施形態では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域ごとに、複数の視点画像を生成する。そして、異なる瞳部分領域を合成した瞳領域に応じた撮像画像が生成される。しかしこれに限らず、本実施形態も他の実施形態でも、公知の技術により複数の視点画像及びそれらの合成画像を取得できるものであれば適用出来る。例えば特許文献３のように、複数の視点の異なるカメラをまとめて撮像素子１１０とみなす構成でもよい。また、図２や図３の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でもよい。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

［コントラスト分布］
次に、シャープ／アンシャープ制御に用いるコントラスト分布の算出処理について説明する。図７のステップＳ２では、本実施形態の撮像画像（合成画像）と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域ごとに抽出して、コントラスト分布が生成される。本実施形態のコントラスト分布は、視点画像間の差に応じた調整が行われる。

図７のステップＳ２において、まず、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、撮像輝度信号Ｙが式（３Ａ）により生成される。同様に、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点輝度信号Ｙｋが式（３Ｂ）により生成される。

ステップＳ２において、次に、空間周波数の高周波成分を抽出する２次元バンドパスフィルタを用いて、撮像輝度信号Ｙ（ｊ，ｉ）から、撮像高周波信号ｄＹ（ｊ，ｉ）が式（４Ａ）より生成される。２次元バンドパスフィルタを｛Ｆ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）｜−ｎ_ＢＰＦ≦ｊ_ＢＰＦ≦ｎ_ＢＰＦ、−ｍ_ＢＰＦ≦ｉ_ＢＰＦ≦ｍ_ＢＰＦ｝とする。同様に、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）が式（４Ｂ）より生成さる。

本実施形態では、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ軸方向２分割を例示する。ｘ軸方向（瞳分割方向）の１次元フィルタＦｘ（ｉ_ＢＰＦ）と、ｙ軸方向（瞳分割方向と直交する方向）の１次元フィルタＦｙ（ｊ_ＢＰＦ）との直積により、２次元バンドパスフィルタを構成する例を示す。すなわち、２次元バンドパスフィルタをＦ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）＝Ｆｙ（ｊ_ＢＰＦ）×Ｆｘ（ｉ_ＢＰＦ）とする。ｘ軸方向の１次元フィルタＦｘ（ｉ_ＢＰＦ）には、ｘ軸方向の空間周波数の高周波成分を抽出するため、例えば、０．５×［１、２、０、−２、−１］＋１．５×［１、０、−２、０、１］等の１次元バンドパスフィルタを用いることができる。

ここで、１次微分型フィルタ［１、２、０、−２、−１］と２次微分型フィルタ［１、０、−２、０、１］を組み合わせた混合型フィルタとしている。一般的に、微分型フィルタ処理を行うと、フィルタ処理後の信号において、正符号から負符号に変化する部分に０点が存在する。このため、絶対値演算と組み合わせることにより、空間周波数の高周波成分が含まれる領域に節が生じてしまう場合がある。節が発生する位置は、微分型フィルタの微分の次数により異なる。よって、本実施形態では、１次微分型フィルタと２次微分型フィルタ（一般には、異なる次数の微分型フィルタ）を組み合わせた混合型フィルタを用いることで、節の発生を抑制している。

必要に応じて、［１、２、０、−２、−１］等の１次微分型フィルタ、［１、０、−２、０、１］等の２次微分型フィルタ、高次微分型フィルタや、より一般的な１次元バンドパスフィルタを用いてもよい。瞳分割方向と直交するｙ軸方向の１次元フィルタＦｙ（ｊ_ＢＰＦ）には、ｙ軸方向の高周波ノイズを抑制するため、例えば、［１、１、１、１、１］や［１、４、６、４、１］等の高周波カット（ローパス）フィルタを用いることができる。必要に応じて、ｘ軸方向とｙ軸方向のいずれの方向に対しても、空間周波数の高周波成分を抽出するバンドパスフィルタ処理を行ってもよい。本実施形態では、２つの１次元フィルタの直積で構成される２次元バンドパスフィルタを例示したが、これに限定されず、一般的な２次元バンドパスフィルタを用いることができる。

図７のステップＳ２において、次に、Ｙ_０＞０として、撮像高周波信号ｄＹ（ｊ，ｉ）を、撮像輝度信号Ｙ（ｊ，ｉ）により規格化した、規格化撮像高周波信号ｄＺ（ｊ，ｉ）が式（５Ａ）により生成される。同様に、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）を、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）により規格化した、規格化第ｋ視点高周波信号ｄＺｋ（ｊ，ｉ）が式（５Ｂ）により生成される。分母における高周波信号とＹ_０との最大値判定は、０による除算を防止するためである。必要に応じて、式（５Ａ）、式（５Ｂ）での規格化前に、撮像輝度信号Ｙ（ｊ，ｉ）、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対して、高周波カット（ローパス）フィルタ処理を行い、高周波ノイズを抑制してもよい。

ステップＳ２において、次に、低輝度閾値Ｙｍｉｎ、コントラスト最大閾値Ｃｍａｘ、指数γとして、撮像コントラスト分布Ｃ（ｊ，ｉ）が式（６Ａ）により生成される。式（６Ａ）の１行目で、撮像輝度信号Ｙ（ｊ，ｉ）が、低輝度閾値Ｙｍｉｎより小さい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が０に設定される。式（６Ａ）の３行目で、規格化撮像高周波信号ｄＺ（ｊ，ｉ）が、コントラスト最大閾値Ｃｍａｘより大きい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値が１に設定される。それ以外の場合は、式（６Ａ）の２行目で、撮像コントラスト分布Ｃ（ｊ，ｉ）は、規格化撮像高周波信号ｄＺ（ｊ，ｉ）をコントラスト最大閾値Ｃｍａｘで規格化してγ乗した値に設定される。同様に、第ｋ視点コントラスト分布Ｃｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）は式（６Ｂ）により生成される。

以上のように、撮像コントラスト分布Ｃ（ｊ，ｉ）は、［０，１］（０以上１以下）の範囲内の値をとる。Ｃ（ｊ，ｉ）の値が、０に近いとコントラストが低く、１に近いとコントラストが高いことを示す。撮像コントラスト分布Ｃ（ｊ，ｉ）の０から１までのトーンカーブを調整するために、規格化された高周波信号とコントラスト最大閾値との比値のγ乗が算出される。低コントラスト側での変化を緩やかに、高コントラスト側での変化を急峻にするために、指数γは１．５以上２．５以下が望ましい。必要に応じて、定義域［０，１］から値域［０，１］への関数Ｆ：［０，１］→［０，１］を用いて、合成関数Ｆ（Ｃ（ｊ，ｉ））を撮像コントラスト分布としてもよい。

本実施形態の撮像コントラスト分布Ｃ（ｊ，ｉ）の分布例を図１０に示す。また第１視点コントラスト分布Ｃ_１（ｊ，ｉ）の分布例を図１１に示し、第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の分布例を図１２に示す。図１０から図１２に示す分布例では、右側の［０、１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分はｘ軸方向の空間周波数の高周波成分が多い高コントラスト領域を示す。また、０近傍の黒い部分はｘ軸方向の空間周波数の高周波成分が少ない低コントラスト領域を示している。

本実施形態における複数の視点画像として、第１視点画像と第２視点画像との間の視差と、遠近競合やオクルージョンとの関係を、図１３を用いて説明する。図１３において、撮像面６００に本実施形態の撮像素子（不図示）が配置され、結像光学系の射出瞳が、瞳部分領域４０１と瞳部分領域４０２に２分割される。

図１３（Ａ）は、被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２のボケ像Γ１＋Γ２が重なって撮影され、撮影画像において遠近競合が生じている例である。この例について、結像光学系の瞳部分領域４０１を通過する光束と、瞳部分領域４０２を通過する光束に、それぞれ、分けたものを、図１３（Ｂ）、図１３（Ｃ）に示す。

図１３（Ｂ）では、被写体ｑ１からの光束は、瞳部分領域４０１を通過して、合焦状態で像ｐ１に結像し、手前の被写体ｑ２からの光束は、瞳部分領域４０１を通過して、デフォーカス状態でボケ像Γ１に広がり、撮像素子の各画素の副画素２０１で受光される。副画素２０１の受光信号から、第１視点画像が生成される。第１視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１が重ならずに、異なる位置で撮影される。第１視点画像において、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じていない例である。

一方、図１３（Ｃ）では、被写体ｑ１からの光束は、瞳部分領域４０２を通過し、合焦状態で像ｐ１に結像する。そして、手前の被写体ｑ２からの光束は、瞳部分領域４０２を通過し、デフォーカス状態でボケ像Γ２に広がり、撮像素子の各画素の副画素２０２で受光される。副画素２０２の受光信号から、第２視点画像が生成される。第２視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が重なって撮影される。第２視点画像において、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じている例である。

図１３の例は、撮影画像において遠近競合やオクルージョンが生じている領域近傍では、撮影画像を構成する第１視点画像と第２視点画像とで遠近競合やオクルージョンが生じている状態が異なる。すなわち、第１視点画像と第２視点画像との間の差が大きくなる可能性が高いことを示している。したがって、複数の視点画像間の差が大きい領域を検出することにより、遠近競合やオクルージョンが発生している可能性が高い領域を推定することができる。

本実施形態の第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の差分量分布Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）を図１４に例示する。図１４に示す分布例では、右側の［−１、１］の範囲のグレースケール表示にて、第１視点画像のコントラストと第２視点画像のコントラストとの差についての大小の指標を表している。このコントラスト差は、第１視点コントラスト分布と第２視点コントラスト分布との差分量に相当する。０近傍の黒い部分は、第１視点画像と第２視点画像との間のコントラスト差が小さい領域を示している。一方、±１近傍の白い部分は、第１視点画像と第２視点画像との間のコントラスト差が大きい領域を示している。

図１４においては、第１視点画像と第２視点画像とのコントラスト差が大きい白い領域として、中央下部で、主被写体（人形）の胴体と、市松模様の平板とで、遠近競合やオクルージョンを生じている領域が、検出されている。また、遠近競合やオクルージョンを生じている領域以外に、第１視点画像と第２視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。例えば、デフォーカス状態の被写体エッジ部のように、高いコントラストが保たれたまま像ずれ量が大きい領域等、第１視点画像と第２視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出される。これらの検出領域では、第１視点画像と第２視点画像とで、空間周波数成分が大きく異なる被写体像が、それぞれ撮影される。そのため、第１視点画像と第２視点画像を合わせた撮像画像では、これらの検出領域は、空間周波数成分が大きく異なる複数の被写体像が混成している領域である。

これらの空間周波数成分が異なる複数被写体像の混成領域に、先鋭化や平滑化等の画像処理を強く行うと、画質品位が低下する場合がある。したがって、本実施形態では、第１視点コントラスト分布と第２視点コントラスト分布との差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜を用いて、空間周波数成分が異なる複数被写体像の混成領域を検出する。そして、検出された混成領域では先鋭化や平滑化等の画像処理が抑制して行われる。これにより、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。

本実施形態では、図７のステップＳ２において、次に、空間周波数成分が異なる複数被写体像の混成領域を検出するために、コントラスト差分量分布を生成する。詳細には、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）から、式（７Ａ）により、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）が生成される。次に、式（７Ｂ）により、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、乗算する演算処理が行われる。これにより、空間周波数成分が異なる複数被写体像の混成領域での値を０近傍に抑制したコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）が生成される。

コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、［０、１］の範囲の分布であり、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では０の値に近づく。またＣ_ＤＩＦＦ（ｊ，ｉ）は、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では１の値に近づく分布である。コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）は、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、かけ合わせた分布である。よって当該分布は、空間周波数成分が異なる複数の被写体像の混成領域での値を０近傍に抑制した分布である。

本実施形態のコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の分布例を図１５に例示する。図１５に示す分布例では、右側の［０、１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分はｘ軸方向の空間周波数の高周波成分が多い高コントラスト領域を示す。０近傍の黒い部分はｘ軸方向の空間周波数の高周波成分が少ない低コントラスト領域を示している。図１０に示す撮像コントラスト分布Ｃ（ｊ，ｉ）に対して、第１視点および第２視点の各コントラスト分布Ｃ_１（ｊ，ｉ）とＣ_２（ｊ，ｉ）の差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜が大きい領域でのコントラスト値が抑制される。

本実施形態では、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）として、第１視点コントラスト分布と第２視点コントラスト分布の差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜に対して単調減少な線形関数を用いた。しかしこれに限られるものではなく、必要に応じて、より一般的な関数を用いてもよい。

以上のように本実施形態では、撮像画像と複数の視点画像から、視点画像毎のコントラストの差に応じて、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）が合成コントラスト分布として生成される。本実施形態のコントラスト分布は、視点画像ごとのコントラスト間の差が大きい領域より、コントラスト間の差が小さい領域の方が大きい。また、本実施形態のコントラスト分布は、所定の空間周波数帯域における撮像画像の空間周波数成分が少ない領域より、空間周波数成分が多い領域の方が大きい。また、本実施形態のコントラスト分布は、撮像画像の輝度が低い領域より、輝度が高い領域の方が大きい。

２回目以降の処理では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の生成を省略し、処理時間を短縮するために、例えば分布データの記録処理が実行される。すなわち、生成されたコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を、記録される画像データと関連付けてフラッシュメモリ等の記録媒体に記録する処理が行われ、必要に応じて分布データが参照される。

［像ずれ量分布］
図７のステップＳ３にて、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値以上である各位置（ｊ，ｉ）で、第１視点画像と第２視点画像（複数の視点画像）から、２つの視点画像の相関（信号の一致度）に基づき像ずれ量分布を生成される。なお、これに限らず、コントラスト分布ＭＣＯＮ（ｊ，ｉ）の値に関係なく各視点画像に基づき像ずれ量分布を生成してもよい。

ステップＳ３では、まず、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１から、式（３Ｂ）により生成された第１視点輝度信号Ｙ_１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理が行われる。これにより第１焦点検出信号ｄＹＡが生成される。また、第２視点画像Ｉ_２から、式（３Ｂ）により生成された第２視点輝度信号Ｙ_２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理が行われる。これにより第２焦点検出信号ｄＹＢが生成される。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］等を用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整してもよい。

ステップＳ３では、次に、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）以上の各位置（ｊ，ｉ）において相関量が算出される。第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを相対的に瞳分割方向（列方向）にシフトさせ、信号の一致度を表す相関量を算出する処理が実行される。そして、相関量に基づいて像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が生成される。一方、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満である各位置（ｊ，ｉ）は、像ずれ量の算出から除外される。像ずれ量の検出を、高コントラストで、かつ、遠近競合やオクルージョンが生じていない領域に限定することにより、像ずれ量の検出精度を高精度化し、処理を高速化することができる。

位置（ｊ，ｉ）を中心として行方向ｊ_２（−ｎ_２≦ｊ_２≦ｎ_２）番目、瞳分割方向である列方向ｉ_２（−ｍ_２≦ｉ_２≦ｍ_２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ_２、ｉ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ_２、ｉ＋ｉ_２）と表記する。シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）として、各位置（ｊ，ｉ）での相関量をＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）と表記する。相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）は式（８Ａ）により算出され、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）は式（８Ｂ）により算出される。

相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。

相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値が算出され、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が生成される。コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であり、像ずれ量の算出から除外された領域については、例えばＭ_ＤＩＳ（ｊ，ｉ）＝０とする。必要に応じて、０以外の値を設定してもよい。

本実施形態の像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の分布例を図１６に例示する。右側に［−６、６］の範囲のグレースケール表示を示す。図１６では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２以上で像ずれ量が算出されている領域では、グレースケール表示にて、第１視点画像と第２視点画像との間の像ずれ量を１ピクセル単位で表している。マイナス（−）符号の黒側の部分は、前ピン状態の領域を示し、０付近の部分は合焦近傍の領域を示す。プラス（＋）符号の白側の部分は、後ピン状態の領域を示している。また、図１６の分布例の表示では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２未満で、像ずれ量の算出から除外される。つまり、Ｍ_ＤＩＳ（ｊ，ｉ）＝０と設定された領域に関しては、黒色で表示している。

以上のように本実施形態では、複数の視点画像から、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。２回目以降の処理で、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の生成を省略し、処理時間を短縮するために、生成された像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の記録処理が実行される。つまり像ずれ量分布データは、記録される画像データと関連付けてフラッシュメモリ等の記録媒体等に記録される。必要に応じて、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に、位置（ｊ，ｉ）と撮像レンズ（結像光学系）の絞り値、射出瞳距離等に応じた変換係数をかけて、視点画像内の被写体のデフォーカス量の分布を示すデフォーカス量分布に変換してもよい。

［像ずれ差分量分布］
図７のステップＳ４で、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量から、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）を生成する処理が実行される。ステップＳ４において、まず、本実施形態のリフォーカス処理により修正を行いたい像ずれ量が所定像ずれ量ｐとして設定される。例えば、図１６の像ずれ量分布Ｍ_ＤＩＳの例では、目近傍の領域での像ずれ量は約２．５である。リフォーカス処理により、主被写体（人形）の目近傍の領域での像ずれ量を、概ね、０に微修正したい場合、所定像ずれ量はｐ＝２．５と設定される。

ステップＳ４において、次に、σ_ｐ＞０として、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）、所定像ずれ量ｐ、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）から、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）が式（９）により算出される。

像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜に対して単調減少する線形関数と、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）とを、かけ合わせた分布である。像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）は、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＜σ_ｐで正、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＝σ_ｐで０、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＞σ_ｐで負となる。

コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であり、像ずれ量の算出から除外された領域は、Ｍ_ＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σ_ｐ）×Ｍ_ＣＯＮ（ｊ，ｉ）とする。必要に応じて、他の値を設定してもよい。

本実施形態の像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の分布例を図１７に例示する。右側の［−１、１］の範囲のグレースケール表示を示す。コントラスト分布Ｍ_ＣＯＮの値が所定値０．２以上で、像ずれ量が算出されている領域では、グレースケール表示にて、像ずれ差分量を示している。プラス（＋）符号の白側の部分は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜が小さく、かつ、コントラストが高い領域を示している。マイナス（−）符号の黒側の部分は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜が大きく、かつ、コントラストが高い領域を示している。また、図１７の分布例の表示では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２未満で、像ずれ量の算出から除外される。つまり、Ｍ_ＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σ_ｐ）×Ｍ_ＣＯＮ（ｊ，ｉ）と設定された領域に関しては、黒色で表示している。

［修正視点画像］
図７のステップＳ５で、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に対して、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、第１の先鋭化および第１の平滑化の処理が行われる。そして、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）が生成される。

本実施形態にて、第１視点画像と第２視点画像（複数の視点画像）に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理が行われる。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、視点画像間の差を縮小して視差を平滑化する（クロストーク、第１の平滑化）処理が行われる。上記処理によって、第１修正視点画像と第２修正視点画像（複数の修正視点画像）が生成される。

図７のステップＳ５において、まず、第１視点画像と第２視点画像（複数の視点画像）に対して、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理の強さが設定される。本処理の強さを指定する第１の強度パラメータをｋ_ｃｔと表記し、ｋ_ｃｔ≧０とする。または第１の強度パラメータとして、視点画像間の差を縮小して視差を平滑化する（クロストーク、第１の平滑化）処理の強さを指定する強度パラメータｋ_ｃｔ≧０が設定される。

ステップＳ５において、次に、第１の強度パラメータ分布Ｋ_ｃｔ（ｊ，ｉ）が式（１０）により設定される。第１の強度パラメータ分布Ｋ_ｃｔ（ｊ，ｉ）は、ｋ_ｃｔを比例係数として、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に比例する。

ステップＳ５において、次に、第１視点画像Ｉ_１（ｊ，ｉ）と第２視点画像Ｉ_２（ｊ，ｉ）（第１視点画像から第Ｎ_ＬＦ視点画像）に対して、式（１１Ａ）、および式（１１Ｂ）の演算処理が行われる。そして、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）が生成される。

式（１１Ａ）の処理は、第１の強度パラメータ分布（像ずれ差分量分布）が０以上（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域で、第１視点画像と第２視点画像間の差を拡大して視差を先鋭化する処理である。一方、式（１１Ｂ）の処理は、第１の強度パラメータ分布（像ずれ差分量分布）が０未満（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域で、第１視点画像と第２視点画像間の差を縮小して視差を平滑化する処理である。

図１８は、第１視点画像と第２視点画像（複数の視点画像）間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理例をグラフで示す。横軸は画素位置を表し、縦軸は画素値（信号レベル）を表す。図１８では、クロストーク補正および第１の先鋭化処理前の第１視点画像（修正前Ａ）と第２視点画像（修正前Ｂ）の例を、破線のグラフで示す。また、式（１１Ａ）による、クロストーク補正および第１の先鋭化処理後の第１修正視点画像（修正後Ａ）と第２修正視点画像（修正後Ｂ）の例を、実線のグラフで示す。視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理により、処理前に視点画像間の差が大きい部分は、より拡大されるが、処理前に視点画像間の差が小さい部分はあまり変化しない。このように、視点画像間の視差が先鋭化されることがわかる。

一方、式（１１Ｂ）による平滑化処理（クロストーク、第１の平滑化）では、第１視点画像と第２視点画像（複数の視点画像）間の差が縮小され、視点画像間の視差が平滑化される。

以上のように本実施形態では、複数の視点画像に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理が行われる。コントラスト分布および像ずれ量分布に応じた画像処理については、必要に応じて、先鋭化の処理、平滑化の処理、または、これらの組み合わせ処理のいずれでもよい。

本実施形態では、式（７Ａ）、式（７Ｂ）、式（９）、式（１０）、式（１１Ａ）、式（１１Ｂ）の演算処理が行われる。視点画像ごとのコントラスト間の差が大きい領域よりコントラスト間の差が小さい領域の方が、各視点画像への先鋭化や平滑化等の画像処理が強く行われる。また、コントラスト分布の小さい領域よりも大きい領域の方が、各視点画像への先鋭化や平滑化等の画像処理が強く行われる。

本実施形態では、式（９）、式（１０）、式（１１Ａ）および式（１１Ｂ）により、像ずれ量分布の所定シフト量（基準）からの差が小さい領域は先鋭化の処理が行われ、差が大きい領域は平滑化の処理が行われる。式（９）、式（１０）、式（１１Ａ）により、像ずれ量分布の所定シフト量からの差が大きい領域より、差が小さい領域の方が、先鋭化の処理が強く行われる。また式（９）、式（１０）、式（１１Ｂ）により、像ずれ量分布の所定シフト量からの差が小さい領域より、差が大きい領域の方が、平滑化の処理が強く行われる。

また本実施形態では、式（１１Ａ）および式（１１Ｂ）により、複数の視点画像の画素毎に、複数の視点画像間の差を拡大して視差を先鋭化、または、複数の視点画像間の差を縮小して視差を平滑化する処理を行い、複数の修正視点画像を生成する。式（１１Ａ）の第１の先鋭化の処理および式（１１Ｂ）の第２の平滑化の処理は、第１視点画像Ｉ_１（ｊ，ｉ）と第２視点画像Ｉ_２（ｊ，ｉ）間の演算処理である。第１視点画像Ｉ_１（ｊ，ｉ）の信号は各位置（ｊ，ｉ）の画素に含まれる第１光電変換部の出力信号であり、第２視点画像Ｉ_２（ｊ，ｉ）の信号は、各位置（ｊ，ｉ）の画素に含まれる第２光電変換部の出力信号である。

［重み係数］
図７のステップＳ６で、所定領域において被写界深度を微修正するために、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）ごとの重み係数が設定される。

ステップＳ６において、まず、被写界深度の再修正を行いたい所定領域Ｒ＝［ｊ１、ｊ２］×［ｉ１、ｉ２］、および、所定領域の境界幅σが設定される。式（１２）により、所定領域Ｒと所定領域の境界幅σに応じたテーブル関数Ｔ（ｊ、ｉ）が算出される。

式（１２）中のｔａｎｈは双曲線正接関数を表す。テーブル関数Ｔ（ｊ、ｉ）は、所定領域Ｒの内側で１、所定領域Ｒの外側で０となり、所定領域Ｒの境界幅σで、概ね、１から０に連続的に変化する。必要に応じて、所定領域は、円形や、その他の任意の形状としてもよい。また、必要に応じて、複数の所定領域、および、境界幅を設定してもよい。

ステップＳ６において、次に、実係数ｗ（−１≦ｗ≦１）として、第１修正視点画像ＭＩ_１（ｊ、ｉ）の第１重み係数分布Ｗ_１（ｊ、ｉ）が式（１３Ａ）により算出される。また、第２修正視点画像ＭＩ_２（ｊ、ｉ）の第２重み係数分布Ｗ_２（ｊ、ｉ）が式（１３Ｂ）により算出される。

所定領域において、第１修正視点画像ＭＩ_１（ｊ、ｉ）の加算比率を上げて、被写界深度を修正する場合には、−１≦ｗ＜０の範囲での設定とする。また第２修正視点画像ＭＩ_２（ｊ、ｉ）の加算比率を上げて、被写界深度を修正する場合は、０＜ｗ≦１の範囲での設定とする。必要に応じて、ｗ＝０として、Ｗ_１≡Ｗ_２≡１とし、被写界深度を修正しなくてもよい。

［シフト合成処理によるリフォーカス］
図７のステップＳ７で、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）ごとに重み係数をかけて、瞳分割方向（ｘ軸方向）に相対的にシフトして加算する処理（シフト合成処理）が行われる。そして、複数の視点画像による合成画像である中間画像が生成される。

図１９は、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）による瞳分割方向（ｘ軸方向）のシフト合成処理によるリフォーカスについて概要を示す説明図である。図１９では、紙面の上下方向にｘ軸を設定して下方をｘ軸の正方向と定義し、紙面に垂直な方向をｙ軸に設定して手前側をｙ軸の正方向と定義し、紙面の左右方向にｚ軸を設定して左方をｚ軸の正方向と定義する。図１９の撮像面６００は、図１３に示した撮像面６００に対応している。

図１９では、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を模式的に表している。第１修正視点画像ＭＩ_１（ｊ，ｉ）の信号は、図１３の第１瞳部分領域４０１に対応した主光線角度θ_１で位置（ｊ，ｉ）の第１光電変換部３０１に入射した光束の受光信号である。第２修正視点画像ＭＩ_２（ｊ，ｉ）の信号は、図１３の第２瞳部分領域４０２に対応した主光線角度θ_２で位置（ｊ，ｉ）の第２光電変換部３０２に入射した光束の受光信号である。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）は、光強度分布情報だけでなく、入射角度情報も有している。したがって、以下の平行移動および加算処理で仮想結像面６１０でのリフォーカス画像を生成できる。第１に、第１修正視点画像ＭＩ_１（ｊ，ｉ）を主光線角度θ_１に沿って仮想結像面６１０まで平行移動させ、第２修正視点画像ＭＩ_２（ｊ，ｉ）を主光線角度θ_２に沿って仮想結像面６１０まで平行移動させる処理。第２に、それぞれ平行移動させた第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を加算する処理である。

第１修正視点画像ＭＩ_１（ｊ，ｉ）を主光線角度θ_１に沿って仮想結像面６１０まで平行移動させることは、列方向への−１画素分のシフトに対応する。また、第２修正視点画像ＭＩ_２（ｊ，ｉ）を主光線角度θ_２に沿って仮想結像面６１０まで平行移動させることは、列方向への＋１画素分のシフトに対応する。したがって、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を相対的に＋２画素分シフトさせ、ＭＩ_１（ｊ，ｉ）とＭＩ_２（ｊ，ｉ＋２）を対応させて加算することで、仮想結像面６１０でのリフォーカス信号を生成できる。

図７のステップＳ７において、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）から、式（１４）により、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）を生成する処理が行われる。すなわち、仮想結像面でのリフォーカス画像であるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）が生成される。所定像ずれ量ｐに最も近い偶数をｐｅと表記する。ここで、所定像ずれ量ｐに最も近い偶数ｐｅは、ＲＯＵＮＤを四捨五入の関数として、ｐｅ＝２×ＲＯＵＮＤ（ｐ／２））により算出される。

式（１４）では、シフト加算と同時に、式（１３Ａ）の第１重み係数分布Ｗ_１（ｊ、ｉ）を第１修正視点画像ＭＩ_１（ｊ、ｉ）が乗算され、式（１３Ｂ）の第２重み係数分布Ｗ_２（ｊ、ｉ）を第２修正視点画像ＭＩ_２（ｊ、ｉ）に乗算される。これにより、所定領域での被写界深度を修正することができる。必要に応じて、Ｗ_１≡Ｗ_２≡１とし、被写界深度を修正しなくてもよい。複数の視点画像ごとに重み係数をかけてシフト合成処理が行われ、複数の視点画像による合成画像である中間画像が生成される。

第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）のシフト合成処理は、偶数シフトや加算処理に限定されず、必要に応じて、実数シフトや、より一般的な合成処理を用いてもよい。また、必要に応じて、後述する図７のステップＳ８の処理を省略し、式（１４）により、複数の修正視点画像をシフト加算して生成されるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）を出力画像としてもよい。

本実施形態では、式（１４）により生成されるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）の画素数を、撮像画像の画素数Ｎと同数に保つこととする。そのために、予め、第２修正視点画像ＭＩ_２（ｊ，ｉ）の瞳分割方向（ｘ軸方向）の終端部分に対して、データ長を拡大する終端処理が行われる。ｐｅ＞０の場合、最小列番号をｉ_ｍｉｎとして、終端の列番号ｉ_ｅ（ｉ_ｍｉｎ≦ｉ_ｅ≦ｉ_ｍｉｎ＋ｐｅ−１）に対して、式（１５Ａ）により、終端処理が実行される。ｐｅ＜０の場合、最大列番号をｉ_ｍａｘとして、終端の列番号ｉ_ｅ（ｉ_ｍａｘ＋ｐｅ＋１≦ｉ_ｅ≦ｉ_ｍａｘ）に対して、式（１５Ｂ）により、終端処理が実行される。本実施形態では、複数の修正視点画像の画像サイズを拡張する処理を行う。

［リフォーカス可能範囲］
図２０の概略図を参照して、本実施形態でのシフト合成処理によるリフォーカス可能範囲について説明する。撮像面６００には撮像素子（不図示）が配置され、図１３の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域４０１と第２瞳部分領域４０２に２×１分割される。

許容錯乱円径をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は、±Ｆ×δである。これに対して、Ｎｘ×Ｎｙ（例えば、２×１）に分割されて狭くなった瞳部分領域４０１（または５０２）の瞳分割方向（ｘ軸方向）の実効絞り値Ｆ_０１（またはＦ_０２）は、Ｆ_０１＝Ｎｘ×Ｆ（またはＦ_０２＝Ｎｘ×Ｆ）となって暗くなる。第１修正視点画像（または第２修正視点画像）ごとの実効的な被写界深度は、±Ｎｘ×Ｆ×δで、Ｎｘ倍深くなり、合焦範囲がＮｘ倍に広がる。実効的な被写界深度「±Ｎｘ×Ｆ×δ」の範囲内では、第１修正視点画像（または第２修正視点画像）ごとに合焦した被写体像が取得されている。よって、図１９に示した主光線角度θ_１（またはθ_２）に沿って第１修正視点画像（または第２修正視点画像）を平行移動させて加算する処理により、撮影後に、合焦位置をリフォーカスすることができる。

撮影後に合焦位置をリフォーカス可能な撮像面６００からのデフォーカス量ｄは限定される。デフォーカス量ｄのリフォーカス可能範囲は、概ね、式（１６）の範囲である。許容錯乱円径δは、δ＝２・ΔＸ（画素周期ΔＸのナイキスト周波数１／（２・ΔＸ）の逆数）等で規定される。

しかしながら、図５（Ｂ）の瞳強度分布例に示したように、画素部ごとに形成される直径数ｕｍのマイクロレンズと複数に分割された光電変換部による瞳分割では、光の波動性による回折ボケのために、緩やかな瞳分割となる。そのため、第１視点画像と第２視点画像（複数の視点画像）の瞳分割方向（ｘ軸方向）の焦点深度が十分に深くならず、第１視点画像と第２視点画像（複数の視点画像）を用いてリフォーカス画像を生成しても、リフォーカス効果が十分に得られない場合がある。

したがって、本実施形態では、シフト合成処理によるリフォーカスにおいて、第１視点画像と第２視点画像（複数の視点画像）に対し、以下の処理を行う。第１の強度パラメータ分布（像ずれ差分量分布）が０以上（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の画素ごとに、式（１１Ａ）により第１視点画像と第２視点画像間の差を拡大して視差を先鋭化する処理が行われる。そして第１修正視点画像と第２修正視点画像（複数の修正視点画像）が生成される。これにより、第１修正視点画像と第２修正視点画像の瞳分割方向（ｘ軸方向）の実効的な絞り値Ｆを大きく、焦点深度を深く修正することができ、リフォーカス効果を向上させることができる。

以下、図２１を参照して、シフト合成処理によるリフォーカスにおける、第１視点画像と第２視点画像（複数の視点画像）を先鋭化する（クロストーク補正、第１の先鋭化）処理の効果を説明する。図２１（Ａ）は、従来例における先鋭化（クロストーク補正、第１の先鋭化）前の第１視点画像と第２視点画像とのシフト合成処理によるリフォーカス画像の例を示す。

瞳分割が緩やかで、第１視点画像と第２視点画像（複数の視点画像）の瞳分割方向（ｘ軸方向）の焦点深度が十分に深くない例である。主被写体（人形）の右目よりも、後ろに焦点が合った後ピン状態の撮像画像に対し、シフト合成処理によるリフォーカスを行っているが、主被写体（人形）の右目や、まつ毛、髪の毛等が小ボケ状態のままで、十分なリフォーカス効果が得られていない。

一方、図２１（Ｂ）は、本実施形態における先鋭化（クロストーク補正、第１の先鋭化）後の第１修正視点画像と第２修正視点画像とのシフト合成処理によるリフォーカス画像の例を示す。第１視点画像と第２視点画像間の差を拡大して視差を先鋭化する処理により、第１修正視点画像と第２修正視点画像（複数の修正視点画像）の瞳分割方向（ｘ軸方向）の実効的な絞り値Ｆが大きく、焦点深度が深く修正された例である。シフト合成処理によるリフォーカスにより、撮影後に、主被写体（人形）の右目や、まつ毛、髪の毛等に合わせてフォーカス位置が再修正され、リフォーカス効果が向上している。

また、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２の瞳分割方向（ｘ軸方向）２分割の本実施形態のように、瞳分割数が少なく、視点画像数が少ない場合、以下のことが起こる場合がある。すなわち、シフト合成処理によるリフォーカスにおいて、ボケ量（像ずれ量）を増加させる領域で、人工的な２線ボケが生じて被写体の境界が２重となり、画像品位が低下する場合がある。

したがって、本実施形態では、シフト合成処理によるリフォーカスにおいて、第１視点画像と第２視点画像（複数の視点画像）に対し、以下の処理を行う。第１の強度パラメータ分布（像ずれ差分量分布）が０未満（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の画素ごとに、式（１１Ｂ）により、第１視点画像と第２視点画像間の差を縮小して視差を平滑化する処理（第１の平滑化処理）が行われる。そして、第１修正視点画像と第２修正視点画像（複数の修正視点画像）が生成される。これにより、ボケ量（像ずれ量）を増加させる領域で、人工的な２線ボケの発生を抑制し、画質品位を良好に保持して、シフト合成処理によるリフォーカスを行うことができる。

［シャープ／アンシャープ制御］
図７のステップＳ８では第２の先鋭化および第２の平滑化の処理が実行される。第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）より生成されたシフト合成画像（中間画像）に対し、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じた先鋭化および平滑化の処理が行われる。この処理によって、撮影後に、先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ／アンシャープ制御された出力画像を生成することができる。

本実施形態では、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域で第２の先鋭化処理が行われる。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では第２の平滑化処理が行われる。そして、出力画像が生成される。

図７のステップＳ８において、まず、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、第２の先鋭化処理、または第２の平滑化処理の強さを指定する第２の強度パラメータｋ_ＵＳＭ≧０が設定される。次に、２次元ローパスフィルタ｛Ｆ_ＬＰＦ（ｊ_ＬＰＦ、ｉ_ＬＰＦ）｜−ｎ_ＬＰＦ≦ｊ_ＬＰＦ≦ｎ_ＬＰＦ、−ｍ_ＬＰＦ≦ｉ_ＬＰＦ≦ｍ_ＬＰＦ｝を、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に作用させる処理が実行される。式（１７）により、アンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）が算出される。２次元ローパスフィルタＦ_ＬＰＦ（ｊ_ＬＰＦ、ｉ_ＬＰＦ）には、例えば、^ｔ［１、０、２、０、１］×［１、０、２、０、１］等の２次元フィルタを用いることができる。必要に応じて、２次元ガウシアン分布等を用いてもよい。

ステップＳ８において、最後に、第２の先鋭化、または第２の平滑化処理が行われる。シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、式（１８）により、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、アンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）を作用させ、出力画像であるリフォーカス画像Ｉ_ＲＦ（ｊ，ｉ）が生成される。

式（１８）は、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、以下の処理を表す。すなわち、正係数ｋ_ＵＳＭ×Ｍ_ＤＩＦＦ（ｊ，ｉ）が乗算されたアンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）により、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）を、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の大きさに応じて先鋭化する（第２の先鋭化）処理である。

一方、式（１８）は、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、以下の処理を表す。すなわち、負係数ｋ_ＵＳＭ×Ｍ_ＤＩＦＦ（ｊ，ｉ）が乗算されたアンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）により、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）を、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の大きさに応じて平滑化する（第２の平滑化）処理である。

シフト合成処理によるリフォーカスでは、ＬＦデータを用いて光学的な原理に基づいたリフォーカスを行うことができる。シフト合成処理によるリフォーカスは、像ずれ差分量分布を検出できない領域に対しても、処理を行えるという利点がある。しかしながら、本実施形態（Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２）の瞳分割のように、瞳分割方向がｘ軸方向（ｙ軸方向）の１方向のみであるときには、以下の場合がある。すなわち、瞳分割方向のｘ軸方向（ｙ軸方向）にはリフォーカス効果が得られるが、瞳分割方向と直交するｙ軸方向（ｘ軸方向）には、リフォーカス効果が十分に得られない場合がある。一方、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御では、瞳分割方向に関係なくリフォーカス効果を得ることができる。したがって、本実施形態では、シフト合成処理によるリフォーカスと、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御と、を組み合わせたリフォーカス処理を行う。これにより、瞳分割方向と直交する方向に対しても、リフォーカス効果を得ることができる。

以上のように本実施形態では、複数の修正視点画像の合成画像Ｉ_Ｓ（ｊ，ｉ）に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行い、出力画像を生成する。必要に応じて、シフト合成処理によるリフォーカスである図７のステップＳ５〜Ｓ７の処理を省略し、撮像画像Ｉ（ｊ、ｉ）に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行い、出力画像を生成してもよい。コントラスト分布および像ずれ量分布に応じた画像処理は必要に応じて、先鋭化の処理、平滑化の処理、または、これらの組み合わせ処理のいずれでもよい。

本実施形態では、式（７Ａ）、式（７Ｂ）、式（９）、式（１７）、式（１８）より、以下の領域に対して画像処理が強く行われる。すなわち、視点画像ごとのコントラスト間の差が大きい領域より、コントラスト間の差が小さい領域の方が、複数の修正視点画像の合成画像（または撮像画像）への先鋭化や平滑化等の画像処理が強く行われる。また、コントラスト分布が小さい領域よりも大きい領域の方が、複数の修正視点画像の合成画像（または撮像画像）への先鋭化や平滑化等の画像処理が強く行われる。

本実施形態では、式（９）、式（１７）、および式（１８）より、像ずれ量分布の所定シフト量（基準）からの差が小さい領域に対して先鋭化の処理を行い、差が大きい領域に対して平滑化の処理を行う。式（９）、式（１７）、および式（１８）より、像ずれ量分布の所定シフト量からの差が大きい領域より、差が小さい領域の方が、先鋭化の処理が強く行われる。式（９）、式（１７）、および式（１８）より、像ずれ量分布の所定シフト量からの差が小さい領域より、差が大きい領域の方が、平滑化の処理が強く行われる。

［視点変更、ボケ被り補正の画像処理］
次に、本実施形態における第２の処理部１０３で行われる第２の処理について説明する。第２の処理部１０３は、視点画像の合成による仮想視点の画像生成と、合成画像に生じるゴースト（不要光）を低減するために、ゴーストの量（ゴースト成分）を検出する。第２の処理では、複数の視点画像に対する処理のうち、合成比率の変更によって行う画像補正を想定する。例えば、視点変更処理、画像のボケ補正等の処理がある。以下では、前ボケ被りを補正してその度合いを低減する処理を例示して具体的に説明する。前ボケ被りとは、主被写体（第１被写体）の手前に位置する前景（第２被写体）のボケが大きい場合に主被写体が隠れてしまう現象である。例えば、撮影者は、複数の被写体のうち、主被写体に焦点を合わせるとともに、前景や背景を意図的に暈すことにより、主被写体を効果的に際立たせる撮影を行う場合がある。図２２は、前景を暈すことによって撮影者の意に反して主被写体に前ボケがかかっている画像を例示する。図２２の領域８００において、主被写体（鳥）の手前（至近側）に位置する前景（花びら）はボケが大きい。このため、主被写体が隠れる前ボケ被りが生じている。撮影画像の品位低下を防止するために、前ボケ被りの低減処理にてＣＰＵ１７０は、前ボケがユーザの意図した被写体の画像に被らないように、複数の視点画像を合成する際の合成比率を決定する。

主被写体への前ボケ被りの度合いを低減する画像処理は、ＣＰＵ１７０の指令にしたがって画像処理部１３０により実行される。画像処理部１３０は、撮像素子１１０により取得される複数の視点画像を取得して以下に説明する処理を行う。ｊとｉを整数の変数として、第１および第２の視点画像における行方向のｊ番目、列方向のｉ番目の位置を（ｊ，ｉ）と表記する。第１の視点画像Ａにおける位置（ｊ，ｉ）の画素をＡ（ｊ，ｉ）と表記し、第２の視点画像Ｂにおける位置（ｊ，ｉ）の画素をＢ（ｊ，ｉ）と表記する。

第１ステップは、主被写体への前ボケ被りの度合いを低減する所定領域（Ｒと記す）およびその境界幅（σと記す）の設定と、テーブル関数（Ｔ（ｊ，ｉ）と記す）の算出処理である。ＣＰＵ１７０は、所定領域Ｒ＝［ｊ_１，ｊ_２］×［ｉ_１，ｉ_２］として、所定領域Ｒの境界幅σを設定する。ＣＰＵ１７０は前記式（１２）により、所定領域Ｒおよびその境界幅σに応じたテーブル関数Ｔ（ｊ，ｉ）を算出する。

第２ステップは、第１および第２の視点画像に対する重み付け係数の算出処理である。ＣＰＵ１７０は実係数ｗ（−１≦ｗ≦１）として、式（１９Ａ）により、画素Ａ（ｊ，ｉ）の第１重み付け係数Ｗａ（ｊ，ｉ）を算出する。同様に、ＣＰＵ１７０は式（１９Ｂ）により、画素Ｂ（ｊ，ｉ）の第２重み付け係数Ｗｂ（ｊ、ｉ）を算出する。

第３ステップは、重み付け係数を用いた画像生成処理である。画像処理部１３０は、画素Ａ（ｊ，ｉ）およびＢ（ｊ，ｉ）と、重み付け係数Ｗ_ａ（ｊ，ｉ）およびＷ_ｂ（ｊ、ｉ）から、式（２０）により出力画像Ｉ（ｊ，ｉ）を生成する。

必要に応じて画像処理部１３０は、シフト量ｓによるリフォーカス処理と組み合わせて、式（２１Ａ）または（２１Ｂ）により、出力画像Ｉ_ｓ（ｊ，ｉ）を生成する。また、前述の式（１４）の表記に合わせれば下記Ａ（ｊ，ｉ）、Ｂ（ｊ，ｉ）はそれぞれＭＩ_１（ｊ，ｉ）、ＭＩ_２（ｊ，ｉ）に対応する。

次に、図１３を参照して、主被写体への前ボケ被りの度合いを低減する画像処理の原理について説明する。撮像素子１１０は撮像面６００上に配置されており、結像光学系の射出瞳が瞳部分領域４０１、４０２に２分割される。図１３（Ａ）は、主被写体への前ボケ被り画像の例を示す光路図である。図１３（Ａ）は主被写体ｑ１の像ｐ１（合焦像）に対し、手前の被写体ｑ２のボケ像（Γ１＋Γ２）が重なって撮影される状態を示している。図１３（Ｂ）、（Ｃ）は、図１３（Ａ）に示す状態に関し、瞳部分領域４０１を通過する光束と、瞳部分領域４０２を通過する光束とにそれぞれ分離した光路図である。撮像素子１１０の各画素において、第１光電変換部３０１の受光信号から第１の視点画像が生成され、第２光電変換部３０２の受光信号から第２の視点画像が生成される。

図１３（Ｂ）にて、主被写体ｑ１からの光束は瞳部分領域４０１を通過して合焦状態で像ｐ１に結像し、手前の被写体ｑ２からの光束は、瞳部分領域４０１を通過してデフォーカス状態でボケ像Γ１に広がり、撮像素子１１０の各画素の光電変換部で受光される。第１の視点画像では、像ｐ１とボケ像Γ１とが互いに重なることなく撮影される。この場合、所定領域（被写体ｑ１の像ｐ１近傍）において、第１および第２の視点画像の中で、至近側の被写体（被写体ｑ２のボケ像Γ１）が最も狭い範囲で撮影されている。また、所定領域（被写体ｑ１の像ｐ１近傍）において、第１および第２の視点画像の中で、被写体ｑ２のボケ像Γ１の写りが少なく、コントラスト評価値が最も大きい。

一方、図１３（Ｃ）では、主被写体ｑ１からの光束は瞳部分領域４０２を通過して合焦状態で像ｐ１に結像する。手前の被写体ｑ２からの光束は瞳部分領域４０２を通過してデフォーカス状態でボケ像Γ２に広がり、撮像素子１１０の各画素の光電変換部で受光される。第２の視点画像では、像ｐ１とボケ像Γ２が互いに重なって撮影される。所定領域（被写体ｑ１の像ｐ１近傍）において、第１および第２の視点画像の中で、至近側の被写体（被写体ｑ２のボケ像Γ２）が最も広い範囲で撮影されている。また、所定領域（被写体ｑ１の像ｐ１近傍）において、第１および第２の視点画像の中で、被写体ｑ２のボケ像Γ２の写りが多く、コントラスト評価値が最も小さい。

所定領域（像ｐ１近傍）において、像ｐ１とボケ像Γ１との重なりが少ない第１の視点画像に対する第１重み付け係数Ｗ_ａは、像ｐ１とボケ像Γ２との重なりが多い第２の視点画像に対する第２重み付け係数Ｗ_ｂよりも大きく設定される。例えば出力画像の所定領域において、複数の視点画像の中で、至近側の被写体が最も広い範囲で撮影されている視点画像の重み付け係数値が最も小さいか、または、至近側の被写体が最も狭い範囲で撮影されている視点画像の重み付け係数値が最も大きい。また、出力画像の所定領域において、複数の視点画像の中で、コントラスト評価値が最も小さい視点画像の重み付け係数値が最も小さいか、または、コントラスト評価値が最も大きい視点画像の重み付け係数値が最も大きい。

重み付け係数を用いて合成した出力画像を生成することにより、主被写体への前ボケ被りが低減された画像を生成できる。図２３を参照して、ボケ調整処理による前ボケ被りの低減効果について説明する。図２３（Ａ）はボケ調整処理前の画像例を示す。所定領域１０００における第１被写体（鳥）への第２被写体（花びら）の前ボケ被りが発生している。図２３（Ｂ）はボケ調整処理後の画像例を示す。図２３（Ａ）の画像では破線の円形枠内の所定領域１０００に示すように、鳥のくちばしや目、羽にかけて、花びらの前ボケで白く覆われている。一方、図２３（Ｂ）の画像では、このような前ボケが低減されている。必要に応じて、ボケ調整処理を行わない所定領域以外では、ボケ形状を変化させないために、複数の視点画像ごとの重み付け係数値を概ね均等にして加算し、出力画像が生成される。

次に、第２の処理部１０３および合成部１０５で行われるゴースト低減処理について説明する。第２の処理部１０３は、ゴースト（不要光）の決定処理およびゴーストを低減または除去するゴースト低減処理を行う。

本実施形態では、各視点画像における不要成分を算出し、出力画像の視点画像の合成処理に合わせて、同様の処理で各視点画像の不要成分の合成処理を行い、合成画像から不要成分として減算する。

図２４に本実施形態における不要成分（ゴースト成分）の決定処理のフローチャートを示す。以下の各ステップは、主に、ＣＰＵ１７０または画像処理部１３０により、コンピュータプログラムとしての画像処理プログラムに従って実行あるいは実行の指示が各部に出力される。以下の処理は、例えば、撮像素子１１０によって画像が撮像されたとき（例えば順次撮像されデジタル信号が出力されるモード時や撮像直後の記録時）や、メモリから画像データを画像処理部１３０内の一時記憶領域に読み出したときに開始する。

まずステップＳ２４０１において、ＣＰＵ１７０は、撮影レンズ２３０および撮像素子１１０、Ａ／Ｄ変換器１２０により構成される撮像部（撮像系）を制御して被写体の撮像を行い、入力画像（撮像画像）を取得する。あるいは、あらかじめ撮像され、画像記録媒体１０７に記録された画像データを画像処理部１３０内の一時記憶領域に読み出すことで入力画像が取得される。本実施形態では、入力画像として撮像素子１１０内で撮影レンズ２３０の異なる瞳領域を通過した光束に対応する複数の視点画像をあらかじめ合成した合成画像と、合成される前の一部の瞳領域に対応する視点画像とを入力画像として画像取得する。入力画像としてはこれに限らず、複数の視点画像をそれぞれ取得してもよい。

ステップＳ２４０２において、ＣＰＵ１７０は画像処理部１３０を制御し、合成画像と視点画像から一対の視点画像を生成させる。具体的には差分をとることで複数の視点画像を算出することができる。ここで、画像処理部１３０は、視点画像の生成にあたって、前述したような各種画像処理の一部を実施してもよい。ステップＳ２４０１にて複数の視点画像の形で入力画像を取得している場合は、本ステップでは各種画像処理の一部を行うのみでもよい。

続いてステップＳ２４０３において、画像処理部１３０は、視点画像間の差分を取ることで一対の視点画像の相対差分情報を求める。ここで本実施形態は、後述の不要成分低減処理の簡易化のため、相対差分情報における負の値を切り捨てて０値とする処理を実施する。このため、不要成分のみが正の値として検出される。

また、近距離被写体を含む画像において相対差分情報を求める際に視点の違いによる被写体視差成分を除去するため、一対の視点画像の位置合わせを行う処理を実施してもよい。具体的には、一対の視点画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながら画像間の相関が最大となるシフト位置を決定することにより、画像の位置合わせを行うことができる。また、視点画像間の差分の２乗和が最小化するシフト位置を決定することで画像の位置合わせを行ってもよい。また、視点画像中の合焦領域を位置合わせのためのシフト位置の決定の対象としてもよい。

また、予めそれぞれの視点画像においてエッジ検出を行い、検出されたエッジを示す画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によれば、合焦領域についてはコントラストの高いエッジが検出され、背景等の非合焦領域についてはコントラストが低く、エッジとして検出されにくい。このため、必然的に合焦領域が重視されたシフト位置の決定が行われる。また、相対差分画像を生成する際に、ノイズ等の影響を除去するために閾値処理等のステップを加えても構わない。

続いてステップＳ２４０４において、ステップＳ２４０３にて生成された相対差分画像中に残存した成分を不要成分として決定する処理が実行される。ステップＳ２４０５において、画像処理部１３０は、ステップＳ２４０４にて決定された各視点画像の不要成分を合算処理する（不要成分の合成値が算出される）。

続いてステップＳ２４０６において、画像処理部１３０は、不要成分からノイズ成分を低減または除去する補正処理を行う。具体的には、ステップＳ２４０５にて算出された不要成分の合成値から各視点画像の不要成分に含まれるノイズを減算する処理が実行される。

ここで、ステップＳ２４０６における、ゴースト成分からノイズ成分を低減または除去する補正処理の手順について説明する。まず、記憶部に記憶される、予め計測しておいた撮像素子１１０のノイズ成分（ノイズ情報）による標準偏差に基づいてノイズ成分が算出される。ここで、ノイズ成分の予測値は、撮像素子１１０によって、予め均一な輝度の被写体を撮像した結果から計測され、ノイズに影響の大きいＩＳＯ感度ごとに得られ、テーブル化されている。複数の視点画像ごとに本計測を行うと手間がかかってしまう上に、視点画像ごとのシェーディングの影響を受けてしまう。そこで、本実施形態では、光学系の異なる瞳領域からの光束に対応する複数の視点画像を合成した上記合成画像にて計測されたデータからノイズ成分を決定する。また、ノイズ成分としては計測値に基づいてＩＳＯごとに全画素一律のノイズ成分を持っていてもよいし、像高ごと、画素ごとに一律に持っていてもよい。算出された不要成分の合成値から、算出されたノイズ成分を減算する処理が行われる。このとき、各視点画像の不要成分に含まれるノイズ成分は、ステップＳ２４０５にて算出された不要成分の合算処理毎に上乗せされるため、ノイズ成分を減算する処理を視点画像の枚数−１回分を行う必要がある。ノイズ成分の引き方としてはこれに限らず、例えば各視点画像のノイズ成分による標準偏差を画像から算出してもよい。このとき、具体的には画像を１０×１０の局所領域に分割し、各領域内の画素値の標準偏差を算出し、各領域でノイズ成分を減算する処理が行われる。

続いてステップＳ２４０７において、画像処理部１３０は、出力すべき画像から不要成分を低減または除去する補正処理を行う。具体的には、ステップＳ２４０１で取得した合成画像から、ステップＳ２４０５で算出された不要成分を差し引く処理が行われる。ここで、ステップＳ２４０１にて複数の視点画像のみを取得して合成画像を取得していない実施形態である場合には、複数の視点画像を合成して生成した合成画像からステップＳ２４０５で算出した不要成分を差し引いて補正画像が生成される。ステップＳ２４０８で画像処理部１３０は補正画像に通常の処理を施し、記録媒体１６０や画像表示部２２０に出力されるような出力画像を生成する。このとき、通常のホワイトバランス処理やガンマ補正等の現像処理に加えて、補正画像に対して公知のノイズリダクション処理も行われる。この処理で、補正画像そのものに乗ったノイズを低減させることができる。

最後に、ステップＳ２４０９にてＣＰＵ１７０は、不要成分が除去または低減された出力画像を、記録媒体１６０に記録する制御を行う。または、併せて出力画像を画像表示部２２０に表示して処理が終了する。

以上の通り、複数の視点画像に基づく画像から不要光等に起因する不要成分を低減する画像処理装置において、不要成分からノイズ成分を低減または除去することで、画像からの良好な不要成分の低減処理を実現することができる。

本実施形態では、ゴースト低減処理の対象画像を複数の視点画像に基づく画像として、撮像センサからの出力時にすでにセンサ内でアナログ合成されている合成画像や複数の視点画像を合成して得られる合成画像を例示した。しかし処理の対象画像としてはこれに限らず、例えば、いずれかの視点画像等から対応する不要成分を算出し、低減処理を行ってもよい。

図２５に、本実施形態における画像処理装置の動作を説明するフローチャートを示す。以下の処理はＣＰＵ１７０、あるいはＣＰＵ１７０の指示によって各部で実行される。本実施形態では、複数の視点画像を用いた特徴的な複数の画像処理が画像に適用可能な画像処理装置を実現する。

ステップＳ２５０１では、撮像素子１１０の各画素の第１および第２の光電変換部にて受光して光電変換した信号から複数の視点画像のデータを取得する。複数の視点画像の入力については撮像直後の画像に限らず、画像ファイルをメモリーカードやネットワーク経由で取得することも可能である。また調整値については、ユーザインタフェース（ＵＩ）部を用いてユーザ操作により指定する方法と、画像処理装置があらかじめ保持している設定値を適用する方法がある。

ステップＳ２５０２では、ＣＰＵ１７０は視点画像に対する解像感の調整処理、視点変更処理あるいはボケ被り補正処理、ゴースト低減処理の少なくともいずれかの、前述した調整値を取得する。ＣＰＵ１７０は、ユーザによって操作部２１０から入力された解像感の調整処理の適用の有無、第１の先鋭化および平滑化処理および第２の先鋭化および平滑化処理の強さの調整値、シフト合成のためのシフト量の調整値を取得する。またＣＰＵ１７０は、ユーザによって操作部２１０から入力された視点変更処理の適用の有無、視点を変更する画像内の領域の位置情報、視点の調整位置を示す調整値を取得する。またＣＰＵ１７０は、ユーザによって操作部２１０から入力されたゴースト低減処理の適用の有無、適用する領域の位置情報、処理の強さに関する調整値を取得する。

本実施形態では、撮像素子１１０から得られる複数の視点画像の合成画像（撮像画像）を対象に、画像処理装置が提供するアプリケーション上で画像および画像処理の種類、調整値を設定する。これにより、合成画像に解像感の調整処理、視点変更処理、ゴースト低減処理を施すことが可能となる。さらに本実施形態では、これらの画像処理を同一画像に対して適用可能とする。

ここで、前述したように本実施形態のような瞳分割領域にそれぞれ対応する複数の視点画像である場合、緩やかな瞳分割となる。このため、解像感の調整処理に用いる視点画像には、その調整処理の効果をより高くするために第１の先鋭化および平滑化処理を適用することが望ましい。しかし、ゴースト低減処理や視点変更の処理にとっては、緩やかな瞳分割で滑らかな視点変更になっていた方が、つなぎ目が見えにくくきれいな合成結果が得られる。そこで本実施形態では、解像感の調整処理を適用する際に行う第１の先鋭化および平滑化処理の強さを、他の処理が適用される場合、適用されない場合に比べて弱く設定することで、第１の先鋭化および平滑化処理による他の処理の影響を低減する。弱く設定する場合にはもちろん第１の先鋭化および平滑化処理を施さない場合も含まれる。

また、ゴースト低減処理は、各視点画像から算出されるゴースト成分を合成画像から減算する手法を取っているので、他の処理を終えた最後に適用するのがより好ましい。以上のことを鑑みて、各画像処理は以下の流れで行われる。

ステップＳ２５０３では、解像感の調整処理が設定されている場合、第１の先鋭化および平滑化処理が行われる。ＣＰＵ１７０は操作部２１０への操作入力に基づいて取得した第１の先鋭化および平滑化処理の強さの調整値に基づいて第１の先鋭化および平滑化処理を複数の視点画像に施す。

ステップＳ２５０４では、解像感の調整処理にかかる複数の視点画像の相対的なシフトと、視点変更の処理にかかる合成比率の設定に基づいて複数の視点画像の合成処理が行われる。第１の先鋭化および平滑化処理が視点画像に施された場合には、適用後の複数の視点画像を、式（２１Ａ）または式（２１Ｂ）のように、調整値に基づいたシフトと適用される領域の位置情報と視点の調整値の情報に基づく合成比率に基づいて合成処理が行われる。なお、後にゴースト低減処理を行う場合には、メモリ上に合成直前の各視点画像を記憶しておくものとする。

ステップＳ２５０５では、合成後の画像について解像感の調整処理にかかる第２の先鋭化および平滑化処理が行われる。ここで、メモリ上に記憶した合成直前の視点画像についても対応する第２の先鋭化および平滑化処理が施される。ステップＳ２５０６では、第２の先鋭化および平滑化処理後の合成画像、各視点画像を用いて、前述したゴースト低減処理が行われる。

ステップＳ２５０７では合成結果の表示処理や記録処理が行われる。Ｓ２５０６までの処理の結果得られた合成画像は、画像表示部２２０等の表示デバイスに表示され、および／又は記録媒体１６０等の記録部に記録されて、一連の動作を終了する。表示された画像処理後の合成画像をユーザが見て再度画像処理（調整値）を変更した場合は、本フローチャートの処理が再び初めから実行される。また、ステップＳ２５０７における合成画像の出力形態には画像表示の他、画像ファイルとしてメモリーカード等の記録媒体に記録する形態がある。また、記録媒体に保存した画像ファイルを、ネットワーク等を介して外部装置に送信する形態等がある。

以上の通り、本実施形態によれば、複数の視点画像を用いた特徴的な複数の合成処理を適切に施すことができる画像処理装置を実現する。また異なる複数の画像処理を選択的に画像データに適用可能であり、視点画像に対する調整項目について決定された複数の調整値を同時に適用することができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。図１〜図２５にかかる画像処理装置の構成や各画像処理の説明は第１実施形態と同様とする。本実施形態にて第１実施形態の場合と同様の構成については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。

図１の制御部１０４は複数の制御モードを有し、第１の制御モードでは第１の条件を満たす場合に第１の処理のみを実行する。つまり、特定の条件に合致した場合に限り、第１の処理部１０２のみが処理を実行する。あるいは、装置の実装によっては第２の処理部１０３を含んでいない場合に第１の処理部１０２の処理のみが実行される。第１の条件とは、例えば下記のとおりである。

・ゴースト低減処理の効果が低い場合。
ゴースト低減処理は、視点画像を用いて、特定の条件下で発生するゴーストを低減する処理である。カメラやレンズの特定の組み合わせによっては、ゴースト低減効果が低い場合がある。そのような効果の低い組み合わせがあらかじめ判明している場合、ＣＰＵ１７０は第２の処理が実行されないように制御する。すなわち、ゴースト低減効果の低い条件で撮影された画像が入力された場合には、第２の処理に関する調整値を一切受け付けないように制御が行われる。ＣＰＵ１７０は、ユーザに対して調整が不要であることを画像表示部２２０の表示画面上に明確に示すことで注意を喚起する。

・本実施形態に係るプログラムを組み込む画像処理装置がリフォーカス機能に特化されている場合。
この場合には、第１の処理のみが実行され、ユーザはリフォーカスの調整のみ可能である。本実施形態では、第１の条件下にて第１の処理のみを有効として適用し、第２の処理を適用しないことで、処理負荷や消費電力を低減可能である。

［第３実施形態］
次に、本発明の第３実施形態を説明する。図１〜図２５にかかる画像処理装置の構成や各画像処理の説明は第１実施形態と同様とする。図１の制御部１０４は複数の制御モードを有し、第２の制御モードでは第２の条件を満たす場合に第２の処理のみを実行する。つまり、特定の条件に合致した場合に限り、第２の処理部１０３のみが処理を実行する。あるいは、装置の実装によっては第１の処理部１０２を含んでいない場合に第２の処理部１０３の処理のみが実行される。第２の条件とは、例えば下記のとおりである。

・リフォーカス処理を必要としない（効果が低い）場合。
解像感の調整処理の中でも仮想的にピントを変化させるシフト合成処理は、撮影条件によっては焦点ずれの問題がなく、その適用の必要がない（効果が低い）場合がある。そのため、顔認識等による被写体情報等と組み合わせることで、撮影時の状態によってリフォーカス処理自体を不要とみなすことができる。

・本実施形態に係るプログラムを組み込む画像処理装置がゴースト低減機能に特化されている場合。
この場合に第１の処理を行う余地はなく、写り込んだゴーストの除去または低減のみが可能である。本実施形態では、第２の条件下にて第２の処理のみを有効として適用し、第１の処理を適用しないことで、処理負荷や消費電力を低減可能である。

第２実施形態で説明した第１の条件および第３実施形態で説明した第２の条件のいずれも満たしておらず、図１の制御部１０４が、第１および第２の処理を実行しない制御を行う場合もある。例えば、ユーザが撮影時の絞りを絞った場合には被写界深度が深くなるため、視差の効果が低くなることがある。極端な場合には、視差の効果が無くなってしまい、視差を用いたリフォーカス処理やゴースト低減処理等の効果が失われてしまう。そのような撮影条件で撮影された場合、制御部１０４は視点画像の処理を適用しないように、ユーザにメッセージ表示等を提示し、調整を行わない。また、絞り以外にも、ＩＳＯ感度が上がることでノイズが増大する場合がある。ある一定以上のＩＳＯ感度である場合に制御部１０４は、絞りの場合と同様に調整を行わない。このように、特定の条件に合致した場合に制御部１０４は、第１および第２の処理を無効化して敢えて適用しない。これにより、操作上の分かり易さと画質等の担保との両立を図ることが可能である。

［第４実施形態］
次に、本発明の第４実施形態を説明する。図１〜図２５にかかる画像処理装置の構成や各画像処理の説明は第１実施形態と同様とする。第１実施形態で説明した複数の視点画像を用いた各画像処理が相互に少なからず影響を及ぼすことから、排他的に制御を行うことを特徴とする。本実施形態では、図２の操作部２１０によって複数の視点画像を用いた複数の画像処理を排他的に選択可能とし、図２５のステップＳ２５０２にてどの画像処理が設定されたかの情報と、その調整値の情報を取得する。ステップＳ２５０３〜ステップＳ２５０６では、選択された画像処理および調整値に関連する処理のみが行われ、他の処理、ステップは無視される。

ここで、排他的の制御とする利点についてさらに補足的に考えられるところを説明する。第１の処理にてリフォーカス演算が行われている場合、ＣＰＵ１７０は第２の処理における前ボケ被り補正を行わない。画像処理部１３０は、式（４Ａ）または（４Ｂ）により出力画像Ｉ_ｓ（ｊ，ｉ）を生成する場合にシフト量ｓを必要とする。このため、シフト量ｓが決定されるまで出力画像Ｉ_ｓ（ｊ，ｉ）の生成が所定時間以上かかって待たされたのでは処理の遅滞を招く可能性がある。このような場合、ＣＰＵ１７０によって、第１の処理と第２の処理が排他的に制御される。また、第２の処理にて前ボケ被り補正が行われている場合にシフト量ｓが既に決定されている。この場合、第１の処理を実行しないことで画像処理部１３０の処理負荷を低減可能である。本実施形態では、第１の処理と第２の処理とを排他的に制御することにより、複数の視点画像に対して複数種類の画像処理を適切なタイミングで施すことができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 入力部
１０２ 第１の処理部
１０３ 第２の処理部
１０４ 制御部
１０５ 合成部
１０６ 出力部

Claims (24)

1. 複数の視点画像を取得する取得手段と、
   前記複数の視点画像に基づく画像データに画像処理を施す画像処理手段と、
   前記画像処理手段による画像処理の設定を行う設定手段と、を有し、
   前記画像処理手段は、画像の解像感を調整する調整処理を含む異なる複数の画像処理を選択的に前記画像データに適用可能であり、
   前記設定手段は、前記複数の画像処理それぞれを前記画像データに適用するか否かと、前記画像データに適用する画像処理のパラメータを設定可能であり、
   前記調整処理は、画像の合焦位置からの距離とコントラストの少なくとも１つに基づいて、該画像に先鋭化または平滑化処理を施す処理を含むことを特徴とする画像処理装置。
2. 前記画像処理手段は、前記画像処理によって前記複数の視点画像を合成して生成される画像を出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像処理は、前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記複数の画像処理は、前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像処理手段は、前記複数の画像処理の前に前記複数の視点画像に先鋭化および平滑化処理の少なくともいずれかを施すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記複数の画像処理は、
   前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つを含み、
   前記画像処理手段は、前記複数の画像処理の前に前記複数の視点画像に先鋭化および平滑化処理の少なくとも１つを施し、
   該先鋭化および平滑化処理は、前記設定手段によって前記調整処理のみが適用されると設定される場合に比べて、前記調整処理とともに前記視点変更処理あるいは前記ゴースト低減処理が適用されると設定される場合に、より弱めに施されることを特徴とする請求項１に記載の画像処理装置。
7. 前記複数の画像処理は、
   前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つを含み、
   前記設定手段は、前記複数の画像処理を排他的に設定可能であることを特徴とする請求項１に記載の画像処理装置。
8. 前記複数の画像処理は、
   前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つを含み、
   前記画像処理手段は、前記設定手段によって前記調整処理および前記視点変更処理が適用されると設定された場合、前記調整処理に係り前記複数の視点画像を相対的にシフトさせて、前記視点変更処理に係る合成比率でシフト後の前記複数の視点画像を合成することを特徴とする請求項１に記載の画像処理装置。
9. 前記複数の画像処理は、
   前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つを含み、
   前記画像処理手段は、前記設定手段によって前記ゴースト低減処理と、前記調整処理および前記視点変更処理のいずれかが適用されると設定された場合、前記ゴースト低減処理によってゴーストが低減する処理が施された前記複数の視点画像を用いて、他の画像処理を行うことを特徴とする請求項１に記載の画像処理装置。
10. 前記調整処理は、前記複数の視点画像を相対的にシフトさせて合成するシフト合成処理を含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記ゴースト低減処理は、前記複数の視点画像間の差分に基づき得られるゴースト成分を画像から減算する処理を含むことを特徴とする請求項４、６乃至９のいずれか１項に記載の画像処理装置。
12. 複数の視点画像を取得する取得手段と、
    前記複数の視点画像に基づく画像データに画像処理を施す画像処理手段と、
    前記画像処理手段による画像処理の設定を行う設定手段と、を有し、
    前記画像処理手段は、異なる複数の画像処理を選択的に前記画像データに適用可能であり、
    前記設定手段は、前記複数の画像処理それぞれを前記画像データに適用するか否かと、前記画像データに適用する画像処理のパラメータを設定可能であり、
    前記複数の画像処理は、
    画像の解像感を調整する調整処理と、
    前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つとを含み、
    前記画像処理手段は、前記複数の画像処理の前に前記複数の視点画像に先鋭化および平滑化処理の少なくとも１つを施し、
    該先鋭化および平滑化処理は、前記設定手段によって前記調整処理のみが適用されると設定される場合に比べて、前記調整処理とともに前記視点変更処理あるいは前記ゴースト低減処理が適用されると設定される場合に、より弱めに施されることを特徴とする画像処理装置。
13. 複数の視点画像を取得する取得手段と、
    前記複数の視点画像に基づく画像データに画像処理を施す画像処理手段と、
    前記画像処理手段による画像処理の設定を行う設定手段と、を有し、
    前記画像処理手段は、異なる複数の画像処理を選択的に前記画像データに適用可能であり、
    前記設定手段は、前記複数の画像処理それぞれを前記画像データに適用するか否かと、前記画像データに適用する画像処理のパラメータを設定可能であり、
    前記複数の画像処理は、
    画像の解像感を調整する調整処理と、
    前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つとを含み、
    前記画像処理手段は、前記設定手段によって前記調整処理および前記視点変更処理が適用されると設定された場合、前記調整処理に係り前記複数の視点画像を相対的にシフトさせて、前記視点変更処理に係る合成比率でシフト後の前記複数の視点画像を合成することを特徴とする画像処理装置。
14. 複数の視点画像を取得する取得手段と、
    前記複数の視点画像に基づく画像データに画像処理を施す画像処理手段と、
    前記画像処理手段による画像処理の設定を行う設定手段と、を有し、
    前記画像処理手段は、異なる複数の画像処理を選択的に前記画像データに適用可能であり、
    前記設定手段は、前記複数の画像処理それぞれを前記画像データに適用するか否かと、前記画像データに適用する画像処理のパラメータを設定可能であり、
    前記複数の画像処理は、
    画像の解像感を調整する調整処理と、
    前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つとを含み、
    前記画像処理手段は、前記設定手段によって前記ゴースト低減処理と、前記調整処理および前記視点変更処理のいずれかが適用されると設定された場合、前記ゴースト低減処理によってゴーストが低減する処理が施された前記複数の視点画像を用いて、他の画像処理を行うことを特徴とする画像処理装置。
15. 前記取得手段は、結像光学系の異なる瞳部分領域をそれぞれ通過した光を、複数の光電変換部により光電変換して得られた画素信号から生成される前記複数の視点画像を取得することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 請求項１乃至１５のいずれか１項に記載の画像処理装置と、
    被写体を撮像する撮像素子を備えることを特徴とする撮像装置。
17. 前記撮像素子は、複数のマイクロレンズと、複数の光電変換部を有し、各マイクロレンズがそれぞれ前記複数の光電変換部に対応しており、
    前記各マイクロレンズに対応する前記複数の光電変換部より出力される信号から前記複数の視点画像の信号が生成されることを特徴とする請求項１６に記載の撮像装置。
18. 前記画像処理手段が行うリフォーカス演算にて算出されるシフト量からデフォーカス量を検出する焦点検出手段を有することを特徴とする請求項１７に記載の撮像装置。
19. 複数の視点画像を取得する取得ステップと、
    前記複数の視点画像に基づく画像データに画像処理を施す画像処理ステップと、
    前記画像処理ステップによる画像処理の設定を行う設定ステップと、を有し、
    前記画像処理ステップでは、画像の解像感を調整する調整処理を含む異なる複数の画像処理を選択的に前記画像データに適用可能であり、
    前記設定ステップでは、前記複数の画像処理それぞれを前記画像データに適用するか否かと、前記画像データに適用する画像処理のパラメータを設定可能であり、
    前記調整処理は、画像の合焦位置からの距離とコントラストの少なくとも１つに基づいて、該画像に先鋭化または平滑化処理を施す処理を含むことを特徴とする画像処理方法。
20. 複数の視点画像を取得する取得ステップと、
    前記複数の視点画像に基づく画像データに画像処理を施す画像処理ステップと、
    前記画像処理ステップによる画像処理の設定を行う設定ステップと、を有し、
    前記画像処理ステップでは、異なる複数の画像処理を選択的に前記画像データに適用可能であり、
    前記設定ステップでは、前記複数の画像処理それぞれを前記画像データに適用するか否かと、前記画像データに適用する画像処理のパラメータを設定可能であり、
    前記複数の画像処理は、
    画像の解像感を調整する調整処理と、
    前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つとを含み、
    前記画像処理ステップでは、前記複数の画像処理の前に前記複数の視点画像に先鋭化および平滑化処理の少なくとも１つを施し、
    該先鋭化および平滑化処理は、前記設定ステップによって前記調整処理のみが適用されると設定される場合に比べて、前記調整処理とともに前記視点変更処理あるいは前記ゴースト低減処理が適用されると設定される場合に、より弱めに施されることを特徴とする画像処理方法。
21. 複数の視点画像を取得する取得ステップと、
    前記複数の視点画像に基づく画像データに画像処理を施す画像処理ステップと、
    前記画像処理ステップによる画像処理の設定を行う設定ステップと、を有し、
    前記画像処理ステップでは、異なる複数の画像処理を選択的に前記画像データに適用可能であり、
    前記設定ステップでは、前記複数の画像処理それぞれを前記画像データに適用するか否かと、前記画像データに適用する画像処理のパラメータを設定可能であり、
    前記複数の画像処理は、
    画像の解像感を調整する調整処理と、
    前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つとを含み、
    前記画像処理ステップでは、前記設定ステップによって前記調整処理および前記視点変更処理が適用されると設定された場合、前記調整処理に係り前記複数の視点画像を相対的にシフトさせて、前記視点変更処理に係る合成比率でシフト後の前記複数の視点画像を合成することを特徴とする画像処理方法。
22. 複数の視点画像を取得する取得ステップと、
    前記複数の視点画像に基づく画像データに画像処理を施す画像処理ステップと、
    前記画像処理ステップによる画像処理の設定を行う設定ステップと、を有し、
    前記画像処理ステップでは、異なる複数の画像処理を選択的に前記画像データに適用可能であり、
    前記設定ステップでは、前記複数の画像処理それぞれを前記画像データに適用するか否かと、前記画像データに適用する画像処理のパラメータを設定可能であり、
    前記複数の画像処理は、
    画像の解像感を調整する調整処理と、
    前記複数の視点画像を合成する際の重み付け係数を変更することで視点を変更する視点変更処理および前記複数の視点画像のゴーストの影響を低減した画像を生成するゴースト低減処理の少なくとも１つとを含み、
    前記画像処理ステップでは、前記設定ステップによって前記ゴースト低減処理と、前記調整処理および前記視点変更処理のいずれかが適用されると設定された場合、前記ゴースト低減処理によってゴーストが低減する処理が施された前記複数の視点画像を用いて、他の画像処理を行うことを特徴とする画像処理方法。
23. 請求項１９乃至２２のいずれか１項に記載の各ステップを画像処理装置のコンピュータに実行させるためのプログラム。
24. コンピュータに、請求項１９乃至２２のいずれか１項に記載の画像処理方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。