JP6071374B2 - 画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置に関し、特に視差画像またはリフォーカス用の画像データを処理する画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置に関する。

撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。

特許文献１では、１つのマイクロレンズに１つの画素が対応し、当該画素が複数に分割された光電変換部が形成されている２次元撮像素子を備えた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部それぞれで受光した被写体光を光電変換して生成された画像信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。特許文献２では、分割された光電変換部から出力された画像信号を、画素ごとに全て加算することにより撮像画像を生成することが開示されている。

撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１では、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報

Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２，１（２００５）

しかしながら、ＬＦデータは、複数の視差画像から構成され、光強度の空間分布情報に加え、各画素の角度分布情報を含むため、データ量が多くなるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、必要な情報を保持し、かつＬＦデータのデータ量を抑制することが可能な画像処理装置および方法の提供を目的とする。

本発明の一観点によれば、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素からなる単位画素を複数配列した撮像素子により取得される副画素の撮像信号を処理して前記撮像素子により撮影される撮影画像の画像データを生成する画像処理装置であって、第１の領域と、前記第１の領域とは異なる第２の領域とを、前記撮影画像上に設定する設定手段と、前記第１の領域に対応する前記撮影画像の画像データが、前記第２の領域に対応する前記撮影画像の画像データに比べて単位画素当りの副画素の撮像信号が多くなるように、前記撮像素子より取得される副画素の撮像信号の一部を加算して前記撮影画像の画像データを生成する画像処理手段と、前記撮影画像の画像データを所定の記録フォーマットで記録媒体に記録する記録手段と、を有することを特徴とする画像処理装置が提供される。

本発明の画像処理装置により、必要な情報を保持しながらＬＦデータのデータ量を抑制することが可能となる。

本発明の実施形態に係わる画像処理を適用する撮像装置のブロック図 本発明の実施形態に係わる撮像素子における画素配列を模式的に示す図 本発明の実施形態に係わる撮像素子の画素構造を示す図 本発明の実施形態に係わる撮像素子における画素構造と光学的に概ね等価な画素構造を示す図 本発明の実施形態に係わる撮像素子における画素と瞳分割の関係を概念的に示す図 本発明の実施形態に係わる撮像素子と瞳分割の関係を概念的に示す図 本発明の実施形態に係わる撮像素子における視差画像間の像ずれ量とデフォーカス量を概念的に示す図 本発明の実施形態に係わる撮像素子における副画素と取得できる角度情報の関係を概念的に示す図 本発明の実施形態に係わる撮像素子におけるリフォーカス処理を概念的に示す図 本発明の実施形態に係わる撮像素子におけるリフォーカス可能範囲を概念的に示す図 本発明の第１の実施例に係わる画像処理動作の流れを模式的に示す図 本発明の実施形態に係わる撮像素子の読み出し回路を示す図 本発明の第１の実施例に係わる記録データの構成を示す図 本発明の第１の実施例における第１の領域と第２の領域の他の設定例を示す図 本発明の第２の実施例に係わる画像処理動作の流れを模式的に示す図

以下、本発明の例示的な実施の形態を、図面に基づいて詳細に説明する。

図１は本発明に係わる画像処理装置および方法を適用した撮像装置であるカメラの構成を示すブロック図である。本撮像装置は、後述するように、ＬＦデータを取得できる撮像素子を備える。
同図において、１０１は結像光学系の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。前記絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、前記第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を実現する。

１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は２次元ＣＭＯＳフォトセンサーと周辺回路からなる撮像素子であり、結像光学系の結像面に配置される。

１１１はズームアクチュエータで、変倍操作を行なために、不図示のカム筒を回動することで、第１レンズ群１１１ないし第３レンズ群１０３を光軸方向に進退駆動する。１１２は絞りシャッタアクチュエータで、撮影光量を調節するために絞り兼用シャッタ１０２の開口径を制御すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、焦点調節を行なうために、第３レンズ群１０５を光軸方向に進退駆動する。

１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

１２１はＣＰＵで、カメラ本体の種々の制御を司るカメラ内ＣＰＵであり、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。当該ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムをロードして実行することで、カメラが有する各種回路を駆動、制御し、ＡＦ、撮影、画像処理と記録等の一連の動作を実現する。従って、ＣＰＵ１２１は本発明に係わる画像処理装置を構成する手段であり、当該装置において画像処理制御を司る。

１２２は電子フラッシュ制御回路で、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像信号のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、焦点調節を行なうために第３レンズ群１０５を光軸方向に進退駆動する。１２８は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示装置で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、所定の記録フォーマットで記録回路１３４により撮影済み画像が記録される。

次に、上記撮像装置が有する撮像素子１０７について説明する。
本実施例に係わる撮像素子１０７の画素配列と副画素配列を模式的に図２に示す。
図２は、本実施例に係わる２次元ＣＭＯＳセンサー（撮像素子）の画素配列を４行×４列の範囲で示している。本実施例に係わる撮像素子の各画素は４×４の副画素に分割されているので、図２は、副画素配列についてみれば、１６行×１６列の副画素の範囲を示している。実際の撮像素子は、図２に示す４行×４列の画素配列（１６行×１６列副画素配列）に止まらず、多数の画素を受光面上に配置して被写体像の撮像を可能としている。本実施例では、画素周期ΔＸが９．２μｍ、有効画素数Ｎ_ＬＦが横３９００列×縦２６００行＝１０１４万画素（副画素周期Δｘが２．３μｍ、有効副画素数Ｎが横１５６００列×縦１０４００行＝約１６２００万画素）の撮像素子として説明を行う。

本実施例において、図２に示した２行×２列の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、Ｎ_θ×Ｎ_θ（４行×４列）の副画素２０１から２１６が２次元配列されている。

図２に示す撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。

図３に示すように、本実施例の画素２００Ｇでは、入射光を各画素の受光面に集光するためのマイクロレンズ３５０が形成され、ｘ方向にＮ_θ分割（４分割）、ｙ方向にＮ_θ分割（４分割）された光電変換部３０１−３１６が形成されている。光電変換部３０１−３１６が、それぞれ、副画素２０１から２１６に対応する。

光電変換部３０１−３１６は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。

各画素には、マイクロレンズ３５０と光電変換部３０１−３１６との間に、カラーフィルター３６０が形成される。また、必要に応じて、副画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３５０により集光され、カラーフィルター３６０で分光されたのち、光電変換部３０１−３１６で受光される。

光電変換部３０１−３１６では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子の外部に排出される。

本実施例では、図３に示すように、２つの光電変換部ごとに、その左右に静電容量部（ＦＤ：フローティングディフュージョン）３２０と転送ゲート３３０が形成される。静電容量部（ＦＤ）３２０のマイクロレンズ３５０側の上方に、配線層３４０が形成される。

光電変換部３０１−３１６のｎ型層（不図示）に蓄積された電子は、転送ゲート３３０を介して、静電容量部（ＦＤ）３２０に転送され、電圧信号に変換され、光電変換信号として出力される。

本実施例では、図３に示すように、マイクロレンズ３５０は、Ｎ_θ個（４個）のサブマクロレンズ３５１から３５４を、各サブマイクロレンズの光軸（頂点）を異なる方向に偏心させ、隣接するサブマイクロレンズが線接触した形状に形成される。図３の破線で、サブマイクロレンズの光軸（頂点）を示している。また、光電変換部がＮ_θ×Ｎ_θ分割（４×４分割）され、光電変換部３０１−３１６に隣接して、静電容量部（ＦＤ）３２０が配置されている。さらに、マイクロレンズ３０５とＦＤ３２０との間に、遮光層を兼ねた配線層３４０が形成される。ＦＤ３２０は、マイクロレンズにより集光された光が入射しない領域に、光電変換部３０１−３１６に隣接して配置されている。

図４（ａ）に、図３に示した、光軸（頂点）が偏心した複数のサブマイクロレンズから成るマイクロレンズ３５０と、分割された複数の光電変換部３０１−３０６から構成される本実施例の画素の概略断面図と概略平面図を示す。また、図４（ｂ）に、本実施例の画素の構造と光学的に概ね等価な画素構造の概略断面図と概略平面図を示す。図４（ａ）に示した本実施例の画素構造を、マイクロレンズを構成する各サブマイクロレンズの光軸（頂点）が全て重なり合うように再構成すると、図４（ｂ）に示した光学的に概ね等価な画素構造となる。画素中央部の光電変換部３０６、３０７、３１０、３１１間の分離帯やＦＤ３２０、遮光層を兼ねた配線層３４０の領域の影響を、光学的に抑制することができる。

図４（ｂ）に示す、本実施例の画素構造と光学的に概ね等価で、画素中央部の分離帯と配線層を無くした画素構造の光電変換部と瞳分割との光学的な対応関係を図５に概念的に示す。同図においては、図４（ｂ）に示す本実施例の画素構造と光学的に概ね等価な画素構造のａ−ａ断面を＋ｙ側から見た断面と結像光学系の射出瞳面を示す。図５では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３、図４に対して反転させている。

撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。瞳部分領域５０１−５１６は、Ｎ_θ×Ｎ_θ分割（４×４分割）された光電変換部３０１−３１６（副画素２０１−２１６）の受光面と、マイクロレンズによって、概ね、共役関係になっており、光電変換部（副画素）毎に受光可能な瞳部分領域を表している。また、瞳領域５００は、Ｎ_θ×Ｎ_θ分割（４×４分割）された光電変換部３０１−３１６（副画素２０１−２１６）を全て合わせた際の画素２００Ｇ全体での受光可能な瞳領域である。

瞳距離が数１０ｍｍであるのに対し、マイクロレンズ３５０の直径は数μｍであるため、マイクロレンズ３５０の絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。このため、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、瞳強度分布（受光率の入射角分布）となる。

本実施例の撮像素子と瞳分割との対応関係を概念的に図６に示す。瞳部分領域５０１−５１６の異なる瞳部分領域を通過した光束は、撮像素子の各画素に、それぞれ異なる角度で入射し、Ｎ_θ×Ｎ_θ分割（４×４分割）された光電変換部３０１−３１６（副画素２０１−２１６）で受光される。これにより、本実施例の撮像素子により、光強度の空間分布および角度分布を示すＬＦデータ（後述の第１の画像データ）を取得することができる。本発明の第１の画像データは、結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される。

ＬＦデータ（第１の画像データ）から、各画素の副画素２０１−２１６の中から特定の副画素の信号を選び出すことで、結像光学系の瞳部分領域５０１−５１６の中の特定の瞳部分領域に対応した視差画像を得られる。例えば、画素毎に、副画素２０９（光電変換部３０９）の信号を選び出すことで、結像光学系の瞳部分領域５０９に対応した有効画素数の解像度の視差画像を得ることができる。他の副画素についても同様である。よって、本実施例では、結像光学系の異なる瞳部分領域を通過するそれぞれの光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により、異なる瞳部分領域毎の複数（瞳分割数Ｎ_ｐ＝Ｎ_θ×Ｎ_θ）の視差画像が取得される。

また、画素毎に、副画素２０１−２１６の信号を全て加算することで、有効画素数の解像度を有する撮像画像を生成することができる。

次に、本実施例に係わる撮像素子から取得されるＬＦデータ（第１の画像データ）のデフォーカス量と像ずれ量との関係について説明する。

図７は、視差画像間の像ずれ量とデフォーカス量の関係を概念的に示す図である。撮像面８００に本実施例に係わる撮像素子（不図示）が配置され、図５、図６と同様に、結像光学系の射出瞳４００が、瞳部分領域５０１−５１６にＮ_ｐ分割（１６分割）される。

デフォーカス量ｄは、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面より被写体側にある前ピン状態を負（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正（ｄ＞０）として定義される。被写体の結像位置が撮像面にある合焦状態はｄ＝０である。図７で、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０９（５０１〜５１６）を通過した光束は、集光した後、光束の重心位置Ｇ０９（Ｇ０１〜Ｇ１６）を中心として幅Γ０９（Γ０１〜Γ１６）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する副画素２０９（２０１〜２１６）により受光され、視差画像が生成される。よって、副画素２０９（２０１〜２１６）の信号から生成される視差画像には、重心位置Ｇ０９（Ｇ０１〜Ｇ１６）に、被写体８０２が幅Γ０９（Γ０１〜Γ１６）にボケた被写体像として記録される。被写体像のボケ幅Γ０９（Γ０１〜Γ１６）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、それぞれの視差画像間の被写体像の像ずれ量ｐ（＝光束の重心位置の差：例えば、Ｇ０９−Ｇ１２など）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、視差画像間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。合焦状態（ｄ＝０）では、視差画像間の被写体像の重心位置が一致（ｐ＝０）し、像ずれは生じない。

したがって、本発明のＬＦデータ（第１の画像データ）では、ＬＦデータ（第１の画像データ）のデフォーカス量の大きさが増加するのに伴い、ＬＦデータ（第１の画像データ）から異なる瞳部分領域毎に生成される複数の視差画像間の像ずれ量の大きさが増加する。

本実施例では、ＬＦデータ（第１の画像データ）のデフォーカス量の大きさが増加するのに伴い、視差画像間の像ずれ量の大きさが増加する関係性から、視差画像間の像ずれ量を相関演算により算出することで、撮像面位相差方式の焦点検出を行う。この算出は、ＣＰＵ１２１の制御の下で、画像処理回路１２５で行えるが、必要に応じて、撮像素子とは別に構成した位相差方式の焦点検出装置を用いて焦点検出を行っても良い。また、ＬＦデータ（第１の画像データ）を利用してコントラスト方式の焦点検出を行っても良い。

次に、上述した撮像素子から得られたＬＦデータを用いたリフォーカス処理と、その場合のリフォーカス可能範囲について説明する。
図８に、本実施例における副画素と取得できる角度情報の関係を概念的に示す。副画素周期Δｘ、１画素あたりの副画素の分割数Ｎ_ｐをＮ_ｐ＝Ｎ_θ×Ｎ_θ分割とすれば、図示のように、画素周期ΔＸ＝Ｎ_θΔｘである。Δθは角度分解能であり、結像光学系の射出瞳の見込み角をθとして、Δθ＝θ／Ｎ_θである。近軸近似を用いると、結像光学系の絞り値をＦとして、概ね、Ｎ_θＦ≒１／Δθの関係式が成り立つ。画素に入射した全光束のうち、副画素２１２−２０９は、それぞれ、入射角度θ_０から入射角度θ_３の光束を受光する。各副画素へは、角度分解能Δθの幅を持った入射角度の光束が入射する。

本実施例におけるリフォーカス処理の概念図を図９に示す。
図９では、撮像面に配置された撮像素子の各画素Ｘ_ｉ（ｉ＝０〜Ｎ_ＬＦ−１）を線分で模式的に表している。ｉ番目の画素Ｘ_ｉに、角度θ_ａ（ａ＝０〜Ｎ_Θ−１）で入射した光束は、各副画素で受光される。受光された副画素信号をＬ_ｉ，ａ（ａ＝０〜Ｎ_Θ−１）とする。本実施例の撮像素子では、光強度の空間分布および角度分布情報であるＬＦデータ（第１の画像データ）を取得することができ、上述したように、異なる瞳部分領域毎の複数の視差画像から構成されている。

撮影後に、ＬＦデータ（第１の画像データ）から、撮像素子が配置され副画素信号Ｌ_ｉ，ａが取得された撮像面とは異なる仮想結像面画像を生成（リフォーカス処理）することができる。全ての副画素信号Ｌ_ｉ，ａを、撮像面から仮想結像面まで、それぞれの角度θ_ａに沿って平行移動させ、仮想結像面での各仮想画素に分配して、重み付け加算することにより、仮想結像面でのリフォーカス画像を生成することができる。ここで、重み付け加算に用いる係数は、全ての値が正で総和が１となる。

本実施例におけるリフォーカス可能範囲の概念図を図１０に示す。許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、Ｎ_θ×Ｎ_θ分割されて狭くなった瞳部分領域の実効絞り値Ｆ_０９（Ｆ_０１〜Ｆ_１６）はＦ_０９＝Ｎ_θＦと暗くなり、各視差画像の実効的な被写界深度は±Ｎ_θＦδとＮ_θ倍深くなり、合焦範囲がＮ_θ倍に広がる。実効的な被写界深度±Ｎ_θＦδの範囲内では、各視差画像に合焦した被写体像が取得されているため、上述した角度θ_ａに沿って各視差画像を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。実効的な被写界深度±Ｎ_θＦδの範囲外では、ボケた被写体像しか取得されていないため、合焦位置を再調整（リフォーカス）することができない。

したがって、撮影後に合焦位置を再調整（リフォーカス）できる撮像面からのデフォーカス量ｄは限定されており、デフォーカス量ｄのリフォーカス可能範囲は、概ね、式（１）の範囲である。
許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。

次に、本実施例の撮像素子から取得されたＬＦデータ（第１の画像データ）から、リフォーカスに必要な情報を保持してデータ量を抑制した圧縮ＬＦデータ（第２の画像データ）を生成する画像処理方法について、図１１乃至１４を用いて説明する。なお、図１１を参照して説明する動作は、本発明の画像処理手段であるＣＰＵ１２１（プログラム）と画像処理回路１２５で実行される。なお、信号データの加算（加算処理手段）も画像処理回路１２５で行うが、撮像素子１０７での加算読み出しで少なくとも部分的に行えば処理の負荷の軽減が可能となる（分担することが可能である）。

図１１は、本実施例の画像処理動作の流れを撮影画像を用いて模式的に示す図であり、画面上に設定される領域およびそれらが異なる画像処理に対象になることを模式的に例示している。また、図１２は、本実施例に係わる撮像素子の画素回路の構成を示し、画素内の副画素の光電変換信号を加算または非加算で読み出すことができる構成を示す。なお、図１２は、１画素内の副画素読み出し回路構成のみを便宜上示しているが、実際は、受光面に配列されたすべての画素について同様の回路構成を有している。以下、図１１に示す符号Ａ乃至Ｆに沿って本実施例の画像処理を説明する。
ステップ（Ａ）で、合焦したい焦点検出領域９００を撮影画像内に設定する（領域設定手段）。次いで、焦点検出領域１１００のＬＦデータ（第１の画像データ）を読み出し、撮像面位相差方式の焦点検出を行い、焦点検出領域１１００のデフォーカス量ｄ_11００を算出する。算出されたデフォーカス量ｄ_11００に応じてレンズ駆動を行い、焦点検出領域１１００の被写体像に合焦させる。なお、焦点検出領域１１００の焦点検出は、撮像素子とは別に構成した位相差方式の焦点検出装置を用いて焦点検出を行っても良いし、また、ＬＦデータ（第１の画像データ）を利用してコントラスト方式の焦点検出を行っても良い。

ステップ（Ｂ）で、焦点検出領域１１００を含む第１の領域１１０１ａを設定する。設定された第１の領域１１０１ａのＬＦデータを読み出し、第１の領域１１０１ａの複数の部分領域毎に位相差方式の焦点検出を行い、デフォーカスマップ（合焦情報）を算出する。算出したデフォーカスマップに基づき、所定値ｄ_０よりデフォーカス量ｄの大きさが小さい（｜ｄ｜≦ｄ_０）領域を含むように、第１の領域１１０１ａを再設定する。第１の領域１１０１ａの再設定後、撮像素子の全領域から第１の領域１１０１ａを除いた領域を、第２の領域１１０２ａとして設定する。所定値ｄ_０は、第１の領域１１０１ａがリフォーカス可能な領域を含むように、式（１）のリフォーカス可能範囲より、ｄ_０＝Ｎ_θＦδとすることが望ましい。しかし必要に応じて、デフォーカス量ｄの基準を撮像面から変更しても良い。

また、必要に応じて、焦点検出領域１１００を含まない第２の領域１１０２ａを設定してデフォーカスマップを算出し、算出したデフォーカスマップに基づきこの第２の領域を再設定および第１の領域の設定をしてもよい。即ち、所定値ｄ_０よりデフォーカス量ｄの大きさが大きい（｜ｄ｜＞ｄ_０）領域を含むように、第２の領域１１０２ａを再設定し、撮像素子の全領域から第２の領域１１０２ａを除いた領域を、第１の領域１１０１ａとして設定しても良い。

したがって、本実施例では、ＬＦデータ（第１の画像データ）のデフォーカス量に応じて、第１の領域１１０１ａと第２の領域１１０２ａが選択される。

移動する被写体の撮影で処理速度を優先する場合などは、必要に応じて、上述したデフォーカスマップの算出と第１の領域１１０１ａの再設定を行う処理を省略しても良い。

また、必要に応じて、ステップ（Ａ）では焦点検出領域１１００の設定のみ行い、ステップ（Ｂ）で第１の領域１１０１ａと第２の領域１１０２ａの設定後に、レンズ駆動を行い焦点検出領域１１００の被写体像に合焦させても良い。

ステップ（Ｃ）では、第２の領域１１０２ａのＬＦデータは、画素毎に副画素２０１−２１６の信号データが全て加算して得られたデータとする。

本実施例の撮像素子において、各画素内の副画素の信号データを加算して読み出す場合の蓄積動作制御について、図１２を用いて説明する。同図において、Ｐ０１からＰ１６は、それぞれ、副画素２０１から２１６（光電変換部３０１から光電変換部３１６）に対応したフォトダイオード（ＰＤ）である。Ｖ_ＤＤ、Ｖ_ＳＳは電源電圧、φＴ１からφＴ４はＰＤからＦＤに光電変換信号を転送するために垂直走査回路１２０２から供給される転送ゲート電圧である。φＲ１、φＲ２はＰＤをリセットするために垂直走査回路１２０２からリセット線１２０５に供給されるリセット電圧である。また、φＳ１、φＳ２は垂直走査回路１２０２から行選択線１２０６に供給される行選択電圧、φＬは負荷電圧である。また、１２０４はＰＤからＦＤに転送された光電変換信号を水平走査回路１２０１で水平出力線１２０７に読み出すための垂直出力線である。

まず、各副画素のＰＤをリセットするために、垂直走査回路１２０２は全行の転送ゲート電圧φＴ１〜φＴ４と、リセットゲート電圧φＲ１、φＲ２を同時にＯＮにする。次いで転送ゲート電圧φＴ１〜φＴ４とリセットゲート電圧φＲ１、φＲ２を同時にＯＦＦにした瞬間から蓄積動作が始まり、各副画素のＰＤ（Ｐ０１からＰ１６）の受光量に応じて、各副画素のＰＤ（Ｐ０１からＰ１６）のｎ型層に信号電荷が蓄積される。

メカシャッターと同期をとり、この信号蓄積を所定時間行う。次に、転送ゲート電圧φＴ１〜φＴ４をＯＮにし、再びＯＦＦにすることで、各副画素の信号電荷がＦＤに転送する。Ｐ０１、Ｐ０２、Ｐ０５、Ｐ０６の信号電荷が同一のＦＤに転送され、４副画素が加算された信号電荷Ａ１１となる。同時にＰ０３、Ｐ０４、Ｐ０７、Ｐ０８の信号電荷がこれらに共通のＦＤに転送され、４副画素が加算された信号電荷Ａ１２なる。また、Ｐ０９、Ｐ１０、Ｐ１３、Ｐ１４の信号電荷もこれらに共通のＦＤに転送され、４副画素が加算された信号電荷Ａ２１となる。さらにＰ１１、Ｐ１２、Ｐ１５、Ｐ１６の信号電荷がこれらに共通のＦＤに転送され、４副画素が加算された信号電荷Ａ２２となる。

次に、垂直走査回路１２０２により行選択電圧φＳ１をＯＮにして、水平走査回路１２０１により読み出す列（垂直出力線１２０６）を順に選択する。ＣＤＳ（Correlated Double Sampling）回路１２０３を介して、加算された信号電荷Ａ１１と加算された信号電荷Ａ１２を順に読み出した後、垂直走査回路１２０２は行選択電圧φＳ１をＯＦＦに戻す。同様に、行選択電圧φＳ２をＯＮにして、水平走査回路１２０１により読み出す列を順に選択し、ＣＤＳ回路１２０１を介して、加算された信号電荷Ａ２１と加算された信号電荷Ａ２２を順に読み出し、行選択電圧φＳ２をＯＦＦに戻す。垂直走査回路１２０２により読み出す行を順に選択し、第２の領域１１０２ａの全画素について４副画素の加算信号Ａ１１、Ａ１２、Ａ２１、Ａ２２を読み出す。

このように撮像素子から読み出された第２の領域１１０２ａの各画素の４副画素加算信号Ａ１１、Ａ１２、Ａ２１、Ａ２２は、画像処理回路１２５の加算回路で加算され、副画素２０１−２１６の信号データが全て加算された撮像画像データとなる。

ステップ（Ｄ）では、第１の領域１１０１ａのＬＦデータが、画素毎に副画素２０１−２１６の信号データとして個別に読み出される。

本実施例の撮像素子の各画素についてその副画素の信号データを個別に読み出す場合の読み出し動作制御について、図１２用いて説明する。

まず、各副画素のＰＤをリセットするために、垂直走査回路１２０２は、全行の転送ゲート電圧φＴ１〜φＴ４とリセットゲート電圧φＲ１、φＲ２を同時にＯＮにする。その後垂直走査回路１２０２が転送ゲート電圧φＴ１〜φＴ４とリセットゲート電圧φＲ１、φＲ２を同時にＯＦＦにした瞬間から蓄積動作が始まる。蓄積動作において、各副画素のＰＤ（Ｐ０１からＰ１６）は受光量に応じて、各副画素のＰＤ（Ｐ０１からＰ１６）のｎ型層に信号電荷を蓄積する。

この蓄積は、メカシャッターと同期をとって所定時間行われる。その後、垂直走査回路１２０２は、最初に転送ゲート電圧φＴ１をＯＮにし、再びＯＦＦにすることで、各副画素Ｐ０１、Ｐ０３、Ｐ０９、Ｐ１１の信号電荷を、それぞれ対応するＦＤに転送する。次いで垂直走査回路１２０２が行選択電圧φＳ１をＯＮにし、水平走査回路１２０１が垂直出力線１２０４を順に選択すると、ＣＤＳ回路１２０３を介して信号電荷Ｐ０１と信号電荷Ｐ０３が順に水平出力線１２０７に読み出される。その後、垂直走査回路１２０２は、行選択電圧φＳ１をＯＦＦに戻す。同様に、行選択電圧φＳ２をＯＮにして垂直出力線１２０４を順に選択することで、ＣＤＳ回路１２０３を介して信号電荷Ｐ０９と信号電荷Ｐ１１を水平出力線１２０７に順に読み出し、行選択電圧φＳ２をＯＦＦに戻す。
次に、転送ゲート電圧φＴ２をＯＮにし、再びＯＦＦにすることで、各副画素Ｐ０５、Ｐ０７、Ｐ１３、Ｐ１５の信号電荷を、それぞれ対応するＦＤに転送する。信号電荷の読み出し動作は、副画素Ｐ０１、Ｐ０３、Ｐ０９、Ｐ１１の読み出しと同様である。
次いで、転送ゲート電圧φＴ３をＯＮにし、再びＯＦＦにすることで、各副画素Ｐ０２、Ｐ０４、Ｐ１０、Ｐ１２の信号電荷を、それぞれ対応するＦＤに転送する。信号電荷の読み出し動作は、副画素Ｐ０１、Ｐ０３、Ｐ０９、Ｐ１１の読み出しと同様である。
最後に、転送ゲート電圧φＴ４をＯＮにし、再びＯＦＦにすることで、各副画素Ｐ０６、Ｐ０８、Ｐ１４、Ｐ１６の信号電荷を、それぞれ、対応するＦＤに転送する。信号電荷の読み出し動作は、副画素Ｐ０１、Ｐ０３、Ｐ０９、Ｐ１１の読み出しと同様である。これらの読み出し動作により、一つの画素の全ての副画素の光電変換信号を個別に読み出すことができる。

この読み出し動作を第１の領域１１０１ａの各画素に行なうことで、それらの副画素２０１−２１６の信号データが個別に読み出され、第１の領域１１０１ａの画像データが加算されてないＬＦデータとして生成される。

本実施例では、撮像信号であるＬＦデータ（第１の画像データ）から、第１の領域では各副画素のＬＦデータが保持された（非加算）信号が生成される。他方、第２の領域では副画素のＬＦデータが全て加算された画素信号データである、圧縮ＬＦデータ（第２の画像データ）が生成される。このように、第１領域のＬＦデータ（第１の画像データ）の加算の度合いが、第２領域のＬＦデータ（第１の画像データ）の加算の度合いより小さくなっている。

即ち、本発明では、撮像画像の第１の領域と、第２の領域とで第１の画像データに対する加算の度合いを異ならせて第２の画像データを生成する。

ここで、本実施例によるデータ量の抑制効果について説明する。

有効画素数Ｎ_ＬＦのＬＦデータは、光強度の空間分布データと共に角度分布データも有するため、各画素について瞳分割数Ｎ_Ｐ＝Ｎ_θ×Ｎ_θの副画素データから構成されている。従って、有効副画素数Ｎ＝Ｎ_θ×Ｎ_θ×Ｎ_ＬＦのデータ量が大幅に増加してしまう。

しかしながら、撮影後にリフォーカスできるデフォーカス量ｄは、式（１）のリフォーカス可能範囲内に限られている。そのため、式（１）のリフォーカス可能範囲外では、データ量を増加させてＬＦデータを取得してもリフォーカスすることができない。

よって、本実施例では、デフォーカス量ｄが、概ね、リフォーカス可能範囲内である領域を含む第１の領域では、取得されたＬＦデータをそのまま保持する。一方、それ以外の第２の領域では、データ量を抑制するため、画素毎に副画素のＬＦデータを加算して撮像データにした圧縮ＬＦデータ（第２の画像データ）を生成する。これにより、リフォーカスに必要な情報を保持し、かつデータ量を抑制することが可能となる。

例えば、有効画素数１０１４万画素、瞳分割数１６＝４×４の撮像素子の場合、ＬＦデータに必要な有効副画素数は約１６２００万画素となり、有効画素数の１６倍もの大量のデータが必要となる。ここで、撮像素子の全領域の２５％を第１の領域に設定し、７５％を第２の領域に設定して、本実施例を適応した場合、リフォーカスに必要な情報を保持したまま、取得された元のＬＦデータのデータ量をその約３０％のデータ量に抑制することができる。

図１３は、本実施例に係わる圧縮ＬＦデータ（第２の画像データ）を記録装置などに保存する際の、記録データの構成を示す。
同図を参照すると、本実施例の記録データの構成要素は、設定された領域数と、領域数分の領域データ群から構成される。各領域データ群は、設定された領域の情報（領域範囲など）、領域での副画素数（瞳分割数）、領域での副画素数に応じたＬＦデータ（画像データ）から構成される。また、必要に応じて、設定された焦点検出領域など、他の構成要素を含めても良い。本実施例の記録データの生成、記録は、図１の撮像装置のＣＰＵ１２１の制御の下での画像処理回路１２５および記録回路１３４の動作によって行なわれる。

次に、本実施例の圧縮ＬＦデータ（第２の画像データ）からリフォーカス画像データ（第３の画像データ）を生成する画像処理について、図１１を用いて説明する。本画像処理も、ＣＰＵ１２１の制御の下での画像処理回路１２５の動作によって行われる。

ステップ（Ｅ）で、所定のリフォーカス量を設定し、ステップ（Ｄ）で取得された第１の領域のＬＦデータ（第１の画像データ）から、第１の領域の所定リフォーカス量に応じたリフォーカス画像を生成する。

ステップ（Ｆ）で、ステップ（Ｅ）で生成された第１の領域のリフォーカス画像と、ステップ（Ｃ）で生成された第２の領域の撮像画像（第２の画像データ）を合成することにより、リフォーカス画像（第３の画像データ）を生成する。

ところで図１４に示すように、ＬＦデータ（第１の画像データ）の領域設定は、第１の領域１４０１ｂと第２の領域１４０２ｂに限定されず、副画素の加算度が第１の領域と第２の領域とは異なる第３の領域１４０３ｂ、１４０４ｂを設定しても良い。図１４の第３の領域１４０３ｂ、１４０４ｂでは、４副画素の加算信号Ａ１１、Ａ１２、Ａ２１、Ａ２２で構成される２×２分割ＬＦデータが生成される。また、第３の領域は１つの領域である必要はなく、図１４の第３の領域１４０３ｂと１４０４ｂのように、複数の領域から構成されていても良い。第１の領域と第２の領域についても同様である。

必要に応じて、画像処理回路１２５において、ダーク補正、シェーディング補正、デモザイキング処理などを、第１の画像データ、第２の画像データ、第３の画像データのいずれかもしくは複数の組み合わせに行っても良い。

上述した画像処理動作により生成した第３の画像データに基づいて画像を表示装置１３１により表示する。

本実施例は、上述した画像処理動作を行う画像処理手段を有する撮像装置の１例である。また、本実施例は、上述した画像処理動作を行う画像処理手段を有する表示装置の１例でもある。

以上の構成により、必要な情報を保持し、かつＬＦデータのデータ量を大幅に抑制することが可能となる。

次に、本発明の第２の実施例を説明する。本実施例は、ＬＦデータから視差画像データを生成する場合にデータ量の抑制を達成するための実施例である。
図１５を用いて、本実施例に係わるＬＦデータ（第１の画像データ）から、複数の視差画像の生成に必要な情報を保持してデータ量を抑制した圧縮ＬＦデータ（第２の画像データ）を生成する画像処理動作を説明する。

第１の実施例の図１１と同様、図１５は本実施例の画像処理動作の流れを撮像画像を用いて模式的に示す図であり、画面上に設定される領域およびそれらが異なる画像処理の対象となることを模式的に例示している。同図において、図１１と同じ部分は同じ符号を付して示す。また、図１５を参照して説明する動作も、ＣＰＵ１２１（プログラム）と画像処理回路１２５で実行される。なお、信号データの加算（加算処理手段）も画像処理回路１２５が行うが、撮像素子１０７での撮像信号の加算読み出しとして少なくとも部分的に行なえば処理の負荷の軽減が可能となる（分担することが可能である）。

ステップ（Ａ）までは、第１の実施例と同様である。

ステップ（Ｂ）で、焦点検出領域１１００を含まない第２の領域１５０２ｃを設定する。設定された第２の領域１５０２ｃのＬＦデータを読み出し、第２の領域１５０２ｃの複数の部分領域毎に位相差方式の焦点検出を行い、像ずれ量マップを算出する。算出した像ずれ量マップに基づき、所定値ｐ_０より像ずれ量ｐの大きさが大きい（｜ｐ｜≧ｐ_０）領域を含むように、第２の領域１５０２ｃを再設定する。第２の領域１５０２ｃの設定後、撮像素子の全領域から第２の領域１５０２ｃを除いた領域を、第１の領域１５０１ｃとして設定する。

また、必要に応じて、焦点検出領域１１００を含む第１の領域１５０１ｃを設定して像ずれ量マップを算出し、算出した像ずれ量マップに基づきこの第１の領域の再設定および第２の領域の設定をしてもよい。即ち、所定値ｐ_０より像ずれ量ｐの大きさが小さい（｜ｐ｜＜ｐ_０）領域を含むように、第１の領域１５０１ｃを再設定し、撮像素子の全領域から第１の領域１５０１ｃを除いた領域を、第２の領域１５０２ｃとして設定しても良い。

したがって、本実施例２では、ＬＦデータ（第１の画像データ）の像ずれ量に応じて、第１の領域と第２の領域が選択される。

移動する被写体の撮影で処理速度を優先する場合などは、必要に応じて、上述した像ずれ量マップの算出と第２の領域１５０２ｃの再設定を行う処理を省略しても良い。

ステップ（Ｃ）で、第２の領域１５０２ｃのＬＦデータとして、各画素について副画素２０１−２１６の信号データを個別に読み出す。本実施例における各画素の副画素の信号データを個別に読み出す動作は、第１の実施例と同様である。

第２の領域１５０２ｃの各画素については副画素２０１−２１６の信号データを個別に読み出してＬＦデータが保持された画像データを生成する。

ステップ（Ｄ）では、第１の領域１５０１ｃの、各画素について、副画素２０１−２１６のＬＦデータを全て加算する。本実施例の各画素における副画素のＬＦデータの加算読み出し動作は、第１の実施例と同様である。

第１の領域１５０１ｃの各画素については、副画素２０１−２１６のＬＦデータを全て加算して撮像画像データを生成する。

本実施例では、撮像信号であるＬＦデータ（第１の画像データ）から、第２の領域ではＬＦデータがそのまま保持された(非加算)信号が生成されている。他方、第１の領域では副画素のＬＦデータが全て加算された画素信号データである、圧縮ＬＦデータ（第２の画像データ）が生成される。このように、第１の領域のＬＦデータ（第１の画像データ）の加算の度合いが、第２の領域のＬＦデータ（第１の画像データ）の加算の度合いより大きくなっている。

なお、ＬＦデータ（第１の画像データ）から複数の視差画像を生成する場合、像ずれ量ｐの大きさが小さい領域内では、複数の視差画像で同一の撮像画像を用いることができる。

よって、本実施例では、像ずれ量ｐが所定値ｐ_０より小さい領域を含む第１の領域では、データ量を抑制するため、各画素の副画素のＬＦデータ(第１の画像データ)を加算して圧縮ＬＦデータ（第２の画像データ）を生成している。一方、それ以外の第２の領域では、取得されたＬＦデータをそのまま保持することにより、撮像データ(第１の画像データ)を生成している。したがって、本実施例の構成により、複数の視差画像の生成に必要な情報を保持してデータ量を抑制することが可能となる。

以下、本実施例の圧縮ＬＦデータ（第２の画像）から複数の視差画像（第３の画像）を生成する画像処理動作について、図１５を用いて説明する。

ステップ（Ｅ０１〜Ｅ１６）で、ステップ（Ｃ）で取得された第２の領域のＬＦデータ(第１の画像データ）から、各画素の副画素２０１−２１６の中から特定の副画素の信号を選び出すことで、複数の第２の領域の視差画像を生成する。生成された複数の第２の領域の視差画像とステップ（Ｄ）で生成された第１の領域の撮像画像（第２の画像データ）を合成することで、複数の視差画像（第３の画像データ）を生成する。
第３の画像データの記録および表示は第１の実施例と同様であるので、ここでの説明は省略する。

以上の構成により、本実施例によっても必要な情報を保持してＬＦデータのデータ量を大幅に抑制することが可能となる。

また、上述した実施形態において図１１、１４及び図１５に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してＣＰＵ１２１が実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図１１、１４及び図１５示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリで構成可能である。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体で構成してもよい。

また、図１１、１４及び図１５に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）である。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

Claims (20)

1. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素からなる単位画素を複数配列した撮像素子により取得される副画素の撮像信号を処理して前記撮像素子により撮影される撮影画像の画像データを生成する画像処理装置であって、
   第１の領域と、前記第１の領域とは異なる第２の領域とを、前記撮影画像上に設定する設定手段と、
   前記第１の領域に対応する前記撮影画像の画像データが、前記第２の領域に対応する前記撮影画像の画像データに比べて単位画素当りの副画素の撮像信号が多くなるように、前記撮像素子より取得される副画素の撮像信号の一部を加算して前記撮影画像の画像データを生成する画像処理手段と、
   前記撮影画像の画像データを所定の記録フォーマットで記録媒体に記録する記録手段と、
   を有することを特徴とする画像処理装置。
2. 前記撮影画像の合焦情報を取得する取得手段をさらに有し、
   前記設定手段は、前記取得手段により取得される前記合焦情報に基づいて、前記第１の領域と前記第２の領域とを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影画像の異なる瞳部分領域に対応する副画素間の像ずれ量を取得する取得手段をさらに有し、
   前記設定手段は、前記取得手段により取得される前記像ずれ量に基づいて、前記第１の領域と前記第２の領域とを設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記合焦情報は、前記撮影画像上の所定の領域のデフォーカス量の大きさであることを特徴とする請求項２に記載の画像処理装置。
5. 前記画像処理手段は、前記第１の領域を、所定値よりもデフォーカス量の大きさが小さい領域として設定し、前記第２の領域を、前記所定値よりもデフォーカス量の大きさが大きい領域として設定することを特徴とする請求項１に記載の画像処理装置。
6. 前記画像処理手段は、前記第１の領域を、所定値よりも像ずれ量が大きい領域として設定し、前記第２の領域を、前記所定値よりも像ずれ量の小さい領域として設定することを特徴とする請求項３に記載の画像処理装置。
7. 前記撮影画像の画像データを前記記録手段から読み出し、前記撮影画像の画像データ内の前記第１の領域に対応する副画素の撮像信号を加算して前記第１の領域に対応するリフォーカス画像データを生成し、生成された前記リフォーカス画像データと前記第２の領域に対応する前記撮影画像の画像データとを合成して前記撮影画像のリフォーカス画像を生成するリフォーカス画像生成手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像処理手段は、前記撮影画像の画像データを前記記録手段から読み出し、前記第１の領域に対応する前記撮影画像の画像データから視差画像データを生成し、生成された視差画像データの各々と前記第２の領域に対応する前記撮影画像の画像データとを合成して前記撮影画像の複数の視差画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記画像処理手段は、前記設定手段を制御し、焦点検出領域を前記撮影画像に設定し、前記焦点検出領域を含むように前記第１の領域を設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素からなる単位画素を複数配列した撮像素子と、
    請求項１乃至９のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
11. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素からなる単位画素を複数配列した撮像素子と、
    請求項７に記載の画像処理装置と、
    表示手段と、を備え、
    前記表示手段は、前記画像処理手段で前記撮影画像について生成される前記リフォーカス画像を表示することを特徴とする撮像装置。
12. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素からなる単位画素を複数配列した撮像素子と、
    請求項８に記載の画像処理装置と、
    表示手段と、を備え、
    前記表示手段は、前記画像処理手段で前記撮影画像について生成される前記複数の視差画像を表示することを特徴とする撮像装置。
13. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素からなる単位画素を複数配列した撮像素子と、
    請求項２に記載の画像処理装置と、
    前記撮影画像の所定の領域の副画素の撮像信号に基づいて前記合焦情報を算出する算出手段と、
    を有することを特徴とする撮像装置。
14. 前記算出手段は、前記撮影画像の所定の領域の視差画像間の像ずれ量を相関演算により算出して前記合焦情報を算出することを特徴とする請求項１３に記載の撮像装置。
15. 前記算出手段は、前記撮影画像の副画素の撮像信号に基づいて生成される複数のリフォーカス画像のコントラスト評価値に基づいて前記合焦情報を算出することを特徴とする請求項１３に記載の撮像装置。
16. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素からなる単位画素を複数配列した撮像素子により取得される副画素の撮像信号を処理して前記撮像素子により撮影される撮影画像の画像データを生成する画像処理方法であって、
    前記撮影画像の合焦情報を取得する取得ステップと、
    前記取得ステップにより取得される前記合焦情報に基づいて、第１の領域と、前記第１の領域とは異なる第２の領域とを、前記撮影画像上に設定する設定ステップと、
    前記第１の領域に対応する前記撮影画像の画像データが、前記第２の領域に対応する前記撮影画像の画像データに比べて単位画素当りの副画素の撮像信号が多くなるように、前記撮像素子より取得される副画素の撮像信号の一部を加算して前記撮影画像の画像データを生成する画像処理ステップと、
    前記撮影画像の画像データを所定の記録フォーマットで記録媒体に記録する記録ステップと、
    を有することを特徴とする画像処理方法。
17. コンピュータを、
    結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素からなる単位画素を複数配列した撮像素子により取得される副画素の撮像信号を処理して前記撮像素子により撮影される撮影画像の画像データを生成する画像処理装置における、
    前記撮影画像の合焦情報を取得する取得手段と、
    前記取得手段により取得される前記合焦情報に基づいて、第１の領域と、前記第１の領域とは異なる第２の領域とを、前記撮影画像上に設定する設定手段と、
    前記第１の領域に対応する前記撮影画像の画像データが、前記第２の領域に対応する前記撮影画像の画像データに比べて単位画素当りの副画素の撮像信号が多くなるように、前記撮像素子より取得される副画素の撮像信号の一部を加算して前記撮影画像の画像データを生成する画像処理手段と、
    前記撮影画像の画像データを所定の記録フォーマットで記録媒体に記録する記録手段として機能させるためのプログラム。
18. 請求項１７に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
19. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
20. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納した記録媒体。