JP6600217B2 - 画像処理装置および画像処理方法、撮像装置およびその制御方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特には画像データ量の削減技術に関する。本発明はまた、撮像装置およびその制御方法に関する。

撮影レンズ（結像光学系）の射出瞳を複数の瞳領域に分割し、それぞれが１つの瞳領域に対応する複数の画像を１回の撮影動作で生成可能な撮像装置が知られている（特許文献１）。これら複数の画像は互いに視差を有する画像（視差画像）であるため、光強度の空間分布および角度分布を表す情報であり、ライトフィールド（ＬＦ）データや光線空間データと呼ばれるデータと同様の性質を有する。

非特許文献１には、ＬＦデータを用い、撮像時とは異なる結像面（仮想結像面）における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

米国特許第４４１０８０４号明細書

Ren.Ng、他、"Light Field Photography with a Hand-Held Plenoptic Camera"，Stanford Tech Report CTSR 2005-02、2005.4.20

１画素の光電変換領域を複数（ｎ）に分割した撮像素子を用いて瞳領域を分割する構成の場合、１回の撮影動作で最大ｎの視差画像が生成される。そのため、画像のデータ量は瞳領域を分割しない場合に生成される画像（通常画像）のｎ倍になる。さらに、視差画像を取り扱いできない機器との互換性を考慮し、視差画像を合成して通常画像に相当する画像を追加すると、データ量はｎ＋１倍となる。

本発明は、このような従来技術の課題に鑑みてなされたものであり、光強度の空間分布および角度分布を表すデータのデータ量を効率よく抑制可能な画像処理装置および画像処理方法を提供することを目的とする。

上述の目的は、結像光学系の射出瞳を所定の瞳分割数に分割した瞳部分領域を通過した光束の強度の空間分布および角度分布を表すデータを取得する取得手段と、データを構成する信号のビット深度または階調数を、瞳分割数に基づいて削減する削減手段と、を有することを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、光強度の空間分布および角度分布を表すデータのデータ量を効率よく抑制可能な画像処理装置および画像処理方法を提供することができる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルスチルカメラの機能構成例を示す図 本発明の実施形態における画素配列の概略図 本発明の実施形態における画素の概略平面図と概略断面図 本発明の実施形態における画素構造と光学的に概ね等価な画素構造の概略説明図 本発明の実施形態における画素と瞳分割の概略説明図 本発明の実施形態における撮像素子と瞳分割との関係、視差画像間の像ずれ量とデフォーカス量との関係、リフォーカス可能範囲を説明するための図 本発明の実施形態における副画素と取得できる角度情報の概略関係図 本発明の実施形態におけるリフォーカス処理の概略説明図 本発明の実施形態におけるＬＦデータの削減処理に係るフローチャート

以下、添付図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、以下に説明する実施形態では、本発明を画像処理装置の一例としての撮像装置に適用した構成について説明するが、撮像に関する構成は本発明に必須でない。例えば、何らかの形式の画像ファイルとして既に記録されたライトフィールドデータを、記憶装置や外部装置から取得する構成であってもよい。また、ライトフィールドデータ（ＬＦデータ）は、光強度の空間分布および角度分布を表すデータの一例である。

［全体構成］
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ１００（以下、単にカメラ１００という）の機能構成例を示す図である。
第１レンズ群１０１は撮影光学系（結像光学系）の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ１０２は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ１０２の背面（撮像素子側）に配置された第２レンズ群１０３は、シャッタ１０２と一体となって光軸に沿って前後に可能であり、第１レンズ群１０１とともにズーム機能を実現する。

第３レンズ群１０５はフォーカスレンズであり、光軸に沿って前後に移動可能である。第１〜第３レンズ群１０１，１０３，１０５およびシャッタ１０２により撮影光学系（結像光学系）が形成される。光学ローパスフィルタ１０６は、撮像素子１０７の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子１０７は２次元ＣＭＯＳイメージセンサとその周辺回路で構成される。本実施形態において、撮像素子１０７は、横方向にｍ（＞１）個、縦方向にｎ（＞１）個の複数の受光素子（画素）が２次元配列され、受光素子にベイヤー配列の原色カラーモザイクフィルタが形成された、２次元単板カラーイメージセンサである。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。

ズームアクチュエータ１１１は、ズーム駆動回路１２９の制御に従い、不図示のカム筒を回動して第１レンズ群１０１と第２レンズ群１０３の少なくとも一方を光軸に沿って駆動して、ズーム機能を実現する。シャッタアクチュエータ１１２は、シャッタ駆動回路１２８の制御に従い、シャッタ１０２開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。
フォーカスアクチュエータ１１４は、フォーカス駆動回路１２６の制御に従い、第３レンズ群１０５を光軸に沿って駆動する。

フラッシュ１１５は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するＬＥＤを備えた照明装置であってもよい。ＡＦ補助光出力部１１６は、所定の開口パターンを有するマスクの像を投光レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、カメラ１００全体の動作を制御し、図示しない演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶されたプログラムを実行して、カメラ１００が有する各種回路を制御し、ＡＦ、ＡＥ、画像処理、記録等、カメラ１００の機能を実現する。

フラッシュ制御回路１２２は、撮像動作に同期してフラッシュ１１５を点灯制御する。補助光回路１２３は、焦点検出動作時にＡＦ補助光出力部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の動作を制御するとともに、撮像素子１０７から読み出した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、画像信号に対してγ変換、色補間、スケーリング、ＪＰＥＧ符号化／復号などの画像処理を適用する。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動することにより第３レンズ群１０５を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路１２８は、シャッタアクチュエータ１１２を駆動してシャッタ１０２の開口径及び開閉タイミングを制御する。ズーム駆動回路１２９は、例えば操作スイッチ１３２に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１はＬＣＤ等であり、カメラ１００の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ１３２は、電源スイッチ、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。記録媒体１３３は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。

［撮像素子］
図２は、撮像素子１０７における撮像画素と副画素の配置例を模式的に示す図であり、撮像画素が横４画素×縦４画素配列された領域を代表的に示している。本実施形態においては、各撮像画素の光電変換領域が縦横各方向に４分割されており、各光電変換領域が副画素として機能する。従って、図２においては、副画素が横１６画素×縦１６画素配列された領域とも言うことができる。後述するように、本実施形態の撮像素子１０７には、複数の副画素が設けられた撮像画素が複数配列され、撮像画素に設けられる副画素の各々は、互いに異なる、結像光学系の射出瞳の部分領域（瞳部分領域）を通過した光束を受光する。

本実施形態において、図２の左上の２×２の画素群２００は、撮像素子１０７に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。また、図２の右上の画素に代表的に示すように、また、各撮像画素には、Ｎ_θ×Ｎ_θ（ここではＮ_θ＝４）の副画素２０１〜２１６が２次元配列されている。

図２に示した４×４の撮像画素（１６×１６副画素）の配列を撮像素子１０７の撮像面に多数配置することにより、複数の視差画像（ライトフィールドデータ）を取得することができる。また、副画素は焦点検出画素としても機能するため、画面の様々な位置を焦点検出領域として用いた撮像面位相差検出方式の焦点検出を行うことができる。本実施形態では、撮像画素のピッチ（周期）ΔＸが縦横とも９．２μｍで、有効画素数Ｎ_ＬＦが横３９００列×縦２６００行＝１０１４万画素であるものとする。また、副画素周期Δｘが縦横とも２．３μｍ、有効副画素数Ｎが横１５６００列×縦１０４００行＝約１６２００万画素であるものとする。

図２に示した１つの撮像画素（ここでは２００Ｇとするが、２００Ｂ，２００Ｒも同じ構成である）を、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。

図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３５０が形成され、ｘ方向およびｙ方向にそれぞれＮ_θ分割（４分割）された光電変換部３０１〜３１６が形成される。光電変換部３０１〜３１６がそれぞれ副画素２０１〜２１６に対応する。なお、マイクロレンズ３５０は、Ｎ_θ個（４個）のサブマクロレンズ３５１〜３５４隣接するサブマイクロレンズが線接触した形状に形成される。サブマイクロレンズ３５１〜３５４の光軸（頂点）は、画素領域を２×２に４分割した領域の中心から画素領域の中心方向に偏心している。図３（ｂ）の破線３７０で、サブマイクロレンズ３５３および３５４の光軸（頂点）を示している。

光電変換部３０１〜３１６は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。

各画素には、マイクロレンズ３５０と、光電変換部３０１〜３１６との間に、カラーフィルタ３６０が形成される。また、必要に応じて、副画素ごとにカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略してもよい。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３５０により集光され、カラーフィルタ３６０で分光されたのち、光電変換部３０１〜３１６で受光される。

光電変換部３０１〜３１６では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層３００を通じて撮像素子１０７の外部へ排出される。

また、光電変換部３０１〜３１６に隣接して、静電容量部（フローティングディフュージョン：ＦＤ）３２０と転送ゲート３３０が形成される。さらに、マイクロレンズ３５０と静電容量部（ＦＤ）３２０との間に、遮光層を兼ねた配線層３４０が形成される。静電容量部（ＦＤ）３２０は、マイクロレンズ３５０により集光された光が入射しない領域に配置されている。
光電変換部３０１〜３１６のｎ型層に蓄積された電子は、転送ゲート３３０を介して、静電容量部（ＦＤ）３２０に転送され、電圧信号に変換される。

図４（ａ）は、図３に示した画素の概略断面図と概略平面図を示す。また、図４（ｂ）は、図３に示した画素と光学的に概ね等価な画素の概略断面図と概略平面図を示す。図４（ａ）に示した画素において、マイクロレンズ３５０を構成する各サブマイクロレンズ３５１〜３５４の光軸（頂点）３７０が全て重なり合うように再構成すると、図４（ｂ）の構成となる。マイクロレンズ３５０を４つのサブマイクロレンズ３５１〜３５４で構成することで、画素領域の中心に近い光電変換部３０６、３０７、３１０、３１１間の分離帯や静電容量部（ＦＤ）３２０、遮光層を兼ねた配線層３４０の領域の影響を、光学的に抑制できる。

図４（ｂ）に示す画素構造における光電変換部による瞳分割を、図５に模式的に示す。図５では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３および図４に対して反転させている。

撮像素子１０７は、撮影光学系（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、個々の光電変換領域（副画素）に入射する。瞳部分領域５０１〜５１６は、Ｎ_θ×Ｎ_θ分割（４×４分割）された光電変換部３０１〜３１６（副画素２０１〜２１６）の受光面と、マイクロレンズ３５０により概ね共役関係になっている。従って、瞳部分領域５０１〜５１６は個々の光電変換部（副画素）で受光可能な瞳部分領域を表している。また、瞳領域５００は、Ｎ_θ×Ｎ_θ分割（４×４分割）された光電変換部３０１〜３１６（副画素２０１〜２１６）を合わせた、画素２００Ｇ全体での受光可能な瞳領域である。

結像面から射出瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズ３５０の直径は数μｍであるため、マイクロレンズ３５０の絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。このため、光電変換部３０１〜３１６の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、瞳強度分布（受光率の入射角分布）となる。

本実施形態の撮像素子と瞳分割との対応関係を示した概略図を図６（ａ）に示す。ここでは、代表して瞳部分領域５０９〜５１２について示している。それぞれの瞳部分領域を通過した光束は、撮像素子の副画素２０９〜２１２に互いに異なる角度で入射し、光電変換部３０９〜３１２で受光される。同様に、瞳部分領域５１３〜５１６を通過した光束は光電変換部３１３〜３１６で、瞳部分領域５０５〜５０８を通過した光束は光電変換部３０５〜３０８で、瞳部分領域５０１〜５０４を通過した光束は光電変換部３０１〜３０４で受光される。

したがって、マイクロレンズ３５０を共有する光電変換部３０１〜３１６（副画素２０１〜２１６）は、互いに異なる瞳部分領域を通過する光束を受光する。そして、副画素２０１〜２１６から読み出される出力は、光強度の空間分布および角度分布を示すＬＦデータである。

ＬＦデータを構成する複数の撮像画素のデータから、副画素２０１〜２１６の特定の１つの信号を集めることで、結像光学系の瞳部分領域５０１〜５１６のうち対応する１つの瞳部分領域に対応した視差画像を得ることができる。例えば、各撮像画素のデータから、副画素２０９（光電変換部３０９）の信号を集めると、結像光学系の瞳部分領域５０９に対応した、有効画素数の解像度の視差画像を得ることができる。他の副画素でも同様である。よって、本実施形態では、互いに異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により、個々の瞳部分領域に対応した複数（瞳分割数Ｎ_ｐ＝Ｎ_θ×Ｎ_θ）の視差画像が取得できる。
また、撮像画素ごとに、副画素２０１〜２１６の信号を全て加算（合成）することで、有効画素数の解像度の撮像画像を生成することができる。

［デフォーカス量と像ずれ量の関係］
以下、本実施形態の撮像素子１０７で取得可能なＬＦデータ（視差画像群）のデフォーカス量と像ずれ量の関係について説明する。
図６（ｂ）に、視差画像間の像ずれ量とデフォーカス量との概略関係図を示す。撮像面８００に撮像素子が配置され、図５および図６（ａ）と同様に、結像光学系の射出瞳が瞳部分領域５０１〜５１６にＮ_ｐ分割（ここでは１６分割）される。

デフォーカス量ｄの大きさ｜ｄ｜は、被写体の結像位置から撮像面８００までの距離である。また、デフォーカス量ｄが負（ｄ＜０）の場合は、被写体の結像位置が撮像面８００より被写体側にある前ピン状態、正（ｄ＞０）の場合は、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を意味する。そして、被写体の結像位置が撮像面８００にある合焦状態で、デフォーカス量ｄの大きさは０となる。図６（ｂ）で、被写体８０１は合焦状態（ｄ＝０）にあり、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）と呼ぶ。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０９〜５１２を通過した光束は、撮像面８００より被写体側の位置で集光する。その後、光束の重心位置Ｇ０９〜Ｇ１２を中心として幅Γ０９〜Γ１２に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された撮像画素を構成する副画素２０９〜２１２により受光され、視差画像が生成される。よって、各撮像画素の副画素２０９の信号から構成される画像には、重心位置Ｇ０９に幅Γ０９にボケた被写体８０２の像が記録される。副画素２１０〜２１２のそれぞれから構成される画像についても、重心位置Ｇ１０〜Ｇ１２に幅Γ１０〜Γ１２にボケた被写体８０２の像が記録される。なお、瞳部分領域５１３〜５１６、５０５〜５０８、５０１〜５０４を通過した光束についても同様である。

被写体像のボケ幅Γ（Γ０１〜Γ１６）は、デフォーカス量ｄの大きさ｜ｄ｜の増加と概ね比例して増加していく。同様に、視差画像間の被写体像の像ずれ量ｐの大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加と概ね比例して増加していく。像ずれ量ｐは光束の重心位置の差であり、例えば、副画素２０９の出力からなる画像と副画素２１２の出力からなる画像との像ずれ量の大きさは｜Ｇ０９−Ｇ１２｜である。

後ピン状態（ｄ＞０）でも、視差画像間の被写体像の像ずれ方向が前ピン状態と反対となることを除いて同様である。合焦状態（デフォーカス量ｄ＝０）では、視差画像間の被写体像の重心位置が一致し、像ずれは生じない（像ずれ量ｐ＝０）。
したがって、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、ＬＦデータを構成する複数の視差画像間の像ずれ量の大きさが増加する。

本実施形態では、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、視差画像間の像ずれ量の大きさが増加する関係性を利用し、視差画像間の像ずれ量を相関演算により算出することで、撮像面位相差方式の焦点検出を行うことができる。なお、必要であれば、撮像素子１０７とは別個に構成された位相差方式の焦点検出装置を用いて焦点検出を行ってもよいし、視差画像または撮像画像を用いてコントラスト方式の焦点検出を行ってもよい。

［リフォーカス可能範囲］
次に、リフォーカス処理とリフォーカス可能範囲について説明する。まず、図７を用いて、副画素によって取得できる入射光束の角度情報に関して説明する。ここでは、副画素周期Δｘ、１画素あたりの副画素の分割数Ｎ_ｐ＝Ｎ_θ×Ｎ_θであり、画素周期ΔＸ＝Ｎ_θΔｘであるものとする。また、Δθは角度分解能であり、結像光学系の射出瞳の見込み角をΘとして、Δθ＝Θ／Ｎ_θである。近軸近似を用いると、結像光学系の絞り値をＦとして、概ね、Ｎ_θＦ≒１／Δθの関係式が成り立つ。画素に入射した全光束のうち、副画素２１２〜２０９には、それぞれ入射角度θ_０〜θ_３の光束が、角度分解能Δθの幅で入射する。

本実施形態におけるリフォーカス処理の概略説明図を図８に示す。図８では、撮像面に配置された撮像素子の画素Ｘ_ｉ（ｉ＝０〜Ｎ_ＬＦ−１）を線分で模式的に表している。ｉ番目の画素Ｘ_ｉに、角度θ_ａ（ａ＝０〜Ｎ_Θ−１）で入射した光束は、各副画素で受光される。受光された副画素信号をＬ_ｉ，ａ（ａ＝０〜Ｎ_Θ−１）とする。

撮影によって得られたＬＦデータから、撮像素子が配置された撮像面とは光軸上の位置が異なる仮想撮像面での画像（リフォーカス画像）を生成することができる。ＬＦデータからリフォーカス画像を生成する処理をリフォーカス処理と呼ぶ。ＬＦデータから生成される撮像画像とリフォーカス画像をまとめて再構成画像、ＬＦデータから再構成画像を生成する処理を再構成処理、と呼ぶ。

また、リフォーカス画像撮像面の各画素で副画素に入射する光束がそのまま進んで仮想撮像面と交わる位置は、撮像面と仮想撮像面との距離ｄ’と、光束の入射方向（角度θ_ａ）とによって求まる。従って、仮想結像面のある撮像画素で得られる撮像信号は、その画素位置に入射する光束を撮像面で受光した副画素の信号を合成することによって得ることができる。このようにして仮想結像面の全ての撮像画素の撮像信号をＬＦデータから生成することにより、仮想結像面に対応したリフォーカス画像を得ることができる。実際には、各視差画像の位置をずらして重み付け加算する処理によってリフォーカス画像を得ることができる。ここで、重み付け加算に用いる係数は、全ての値が正で総和が１となる係数群である。

本実施形態におけるリフォーカス可能範囲の概略説明図を図６（ｃ）に示す。許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、Ｎ_θ×Ｎ_θ分割され狭くなった瞳部分領域の実効絞り値Ｆ_０９（Ｆ_０１〜Ｆ_１６）はＦ_０９＝Ｎ_θＦとなる。したがって、視差画像の実効的な被写界深度は±Ｎ_θＦδと、瞳分割されない場合よりもＮ_θ倍深くなり、合焦範囲がＮ_θ倍に広がる。つまり、結像光学系の絞り値Ｆで撮影して得られるＬＦデータは、実効的な被写界深度±Ｎ_θＦδを有する視差画像群から構成されている。そのため、実効的な被写界深度±Ｎ_θＦδの範囲内の任意の位置の仮想結像面に合焦したリフォーカス画像を得ることができる。これは、撮像画像の合焦位置（合焦している被写体距離）を撮影後に再調整（リフォーカス）することに相当する。したがって、実効的な被写界深度±Ｎ_θＦδがリフォーカス可能範囲である。リフォーカス可能範囲外についてはボケた被写体像しかＬＦデータに存在しないため、リフォーカス可能範囲外に位置する仮想撮像面に対応するリフォーカス画像は生成できない（リフォーカス可能範囲外には合焦位置を変更できない）。

リフォーカス可能範囲は、撮影後になくすことのできる撮影時のデフォーカス量ともいえる。従って、撮影時におけるデフォーカスの大きさ｜ｄ｜が概ね以下の式（１）を満たす範囲であれば、リフォーカスによって合焦させることが可能である。
｜ｄ｜≦Ｎ_θＦδ （１）
なお、許容錯乱円δの大きさは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。

［ＬＦデータ量の削減］
瞳分割数Ｎ_ｐ＝Ｎ_θ×Ｎ_θの場合、ＬＦデータを構成する個々の副画素信号を、通常の撮像画像データと同じビット深度または階調数とすると、データ量が通常の撮像画像データのＮ_ｐ倍となることを先に述べた。

しかしながら、再構成画像（撮像画像またはリフォーカス画像）の各画素の信号は、瞳分割数Ｎ_ｐ分の副画素信号を合成することによって生成される。１つの画素信号を生成するための副画素信号の合成は、合計が１となる係数を用いた重み付け加算である。従って、再構成画像に必要なビット深度が第１のビット数ｂ１（ｂ１ビット／画素）であるとすると、
ｂ２≧ｂ１−（ｌｏｇ_２Ｎ_ｐ） （１）
である第２のビット数ｂ２のビット深度で副画素信号を生成すれば、再構成画像に必要なビット深度（階調数）を維持できる。また、ｂ２＜ｂ１とすれば、ＬＦデータ量を削減することができる。

式（１）において、ビット数ｂ１，ｂ２を、階調数ｔ１，ｔ２に置き換えると、
ｔ１＝２ ^ｂ１ ，ｔ２＝２ ^ｂ２ なので、
ｔ２≧ｔ１／Ｎ_ｐ （２）
となる。この場合も、階調数ｔ２＜ｔ１とすると、ＬＦデータ量を削減することができる。

なお、このようにデータ量を削減した副画素信号から再構成画像を生成する場合、合成に用いる重み付け係数を、データ量の削減に応じて変更する。例えば、データ量を削減しない場合の重み付け係数の、平均値（１／Ｎ_ｐ）に対する比とすることができる。なお、これは一例であり、他の方法で重み付け係数を変更してもよい。

本実施形態のカメラ１００は、撮影画像を通常画像データとして記録する第１の記録モードと、ＬＦデータとして記録する第２の記録モードとを有し、例えば操作スイッチ１３２の操作を通じていずれかを選択可能であってよい。そして、例えば図９（ａ）に示すように、記録用データを生成する際にＣＰＵは、第１の記録モードと第２の記録モードのどちらが選択されているか確認する（Ｓ９０１）。第１の記録モードが選択されている場合、ＣＰＵ１２１は撮像素子駆動回路１２４を通じて読み出した副画素信号を撮像画素単位で合成し、所定のビット深度（第１のビット数）または階調数（第１の階調数）を有する撮像画像データを生成する（Ｓ９０２）。また、第２の記録モードが選択されている場合、ＣＰＵ１２１は撮像素子駆動回路１２４を通じて読み出した副画素信号を予め定められたビット深度（第２のビット数）または階調数（第２の階調数）で表したライトフィールドデータを生成する（Ｓ９０３）。

第２のビット数は、結像光学系の射出瞳を分割する副画素の数（射出瞳の分割数）をＮ_ｐとすると、第１のビット数−（ｌｏｇ_２Ｎ_ｐ）以上の整数とすることで、ＬＦデータから生成される再構成画像の階調性を撮像画像データと同等以上とすることができる。また、第２のビット数を第１のビット数より小さくすることで、ＬＦデータ量を削減することができる。

あるいは、第２の階調数を、第１の階調数／瞳分割数（Ｎ_ｐ）以上とすることで、ＬＦデータから生成される再構成画像の階調性を撮像画像データと同等以上とすることができる。また、第２の階調数を第１の階調数より小さくすることで、ＬＦデータ量を削減することができる。

生成した撮像画像データまたはＬＦデータは、所定のファイル形式で例えば記録媒体１３３に記録されてよい。なお、ＬＦデータのビット深度または階調数は、ファイルのヘッダ情報として記録しておくことができる。これにより、ＬＦデータを利用する装置において、再構成画像を正しく生成することができる。

本実施形態のカメラは、複数の副画素を有する撮像画素であって、複数の副画素の各々は、結像光学系の射出瞳を所定の瞳分割数に分割した複数の瞳部分領域の互いに異なる１つを通過した光束を受光する撮像画素、が複数配列された撮像素子を有する。また、カメラは、撮像画素ごとに複数の副画素の信号を合成して得られる撮像信号を撮像画像データとして記録する第１の記録モードと、複数の副画素の信号を合成せずにＬＦデータとして記録する第２の記録モードとを有する。そして、カメラは第２の記録モードでは、副画素信号のビット深度または階調数を、第１の記録モードで記録する撮像信号のビット深度または階調数より小さくする。そのため、撮像画像データと同じビット深度または階調数で記録する場合よりもＬＦデータ量を削減することができる。さらに、瞳分割数を考慮して第２の記録モードにおけるビット深度または階調数を決定することで、第１の記録モードで記録する撮像画像データと同等以上のビット深度または階調数を有する再構成画像を生成可能なＬＦデータを記録することができる。

（その他の実施形態）
上述の実施形態では、結像光学系の射出瞳を所定の瞳分割数に分割した瞳部分領域を通過した光束の強度の空間分布および角度分布を表すＬＦデータを、撮像素子から読み出して生成する場合について説明した。しかし、記録済みのＬＦデータを用いることもできる。例えば、記録済みのＬＦデータのビット深度ｂ１または階調数ｔ１を低減すれば、ＬＦデータ量を削減することができる。
この場合、例えば図９（ｂ）に示すように、ＣＰＵ１２１はＬＦデータファイルの例えばヘッダ情報からＬＦデータの瞳分割数を取得する（Ｓ９１１）。この際、必要または取得可能であれば、再構成画像に必要なビット深度または階調数も取得してよい。
そして、ＣＰＵ１２１は、読み出したＬＦデータを構成する信号（副画素信号）の削減前のビット深度または階調数を、瞳分割数に基づいて決定した値に削減する（Ｓ９１３）。具体的には、ＣＰＵ１２１は、削減前のビット数を、（ｌｏｇ_２Ｎ_ｐ）未満（＞０）削減するか、削減前の階調数を、１／瞳分割数以上で、削減前の階調数未満の階調数に削減する。
Ｓ９１１でおいて、再構成画像に必要なビット深度または階調数を取得していれば、それより小さくなるように削減後のビット深度または階調数を決定することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…カメラ、１０７…撮像素子、１２ １…ＣＰＵ、１２５…画像処理回路、１３１…表示器、１３２…操作スイッチ、１３３…記録媒体

Claims (11)

1. 結像光学系の射出瞳を所定の瞳分割数に分割した瞳部分領域を通過した光束の強度の空間分布および角度分布を表すデータを取得する取得手段と、
   前記データを構成する信号のビット深度または階調数を、前記瞳分割数に基づいて削減する削減手段と、
   を有することを特徴とする画像処理装置。
2. 前記削減手段は、削減前のビット数を、（ｌｏｇ_２ （瞳分割数））未満（＞０）削減するか、削減前の階調数を、１／瞳分割数以上で、削減前の階調数未満の階調数に削減することを特徴とする請求項１に記載の画像処理装置。
3. 結像光学系の射出瞳を所定の瞳分割数に分割した瞳部分領域を通過した光束の強度の空間分布および角度分布を表すデータを生成可能な撮像素子と、
   請求項１または２に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
4. 前記撮像素子には、複数の撮像画素が配置され、
   前記複数の撮像画素の各々は複数の副画素を有し、
   前記複数の副画素の各々は、前記瞳部分領域の互いに異なる１つを通過した光束を受光する、ことを特徴とする請求項３記載の撮像装置。
5. 複数の撮像画素が配置された撮像素子であって、
   前記複数の撮像画素の各々は複数の副画素を有し、
   前記複数の副画素の各々は、結像光学系の射出瞳を所定の瞳分割数に分割した瞳部分領域の互いに異なる１つを通過した光束を受光する、撮像素子と、
   前記複数の副画素の信号を前記撮像画素ごとに合成して得られる撮像画像データと、前記複数の副画素の信号からなるライトフィールドデータとを生成可能な生成手段と、を有し、
   前記生成手段は、前記ライトフィールドデータを生成する際、前記複数の副画素の信号のビット深度または階調数を、前記撮像画像データの画素信号のビット深度または階調数よりも小さくなるよう、前記瞳分割数に基づいて決定する、
   ことを特徴とする撮像装置。
6. 前記生成手段は、前記撮像画像データの画素信号のビット深度がｂ１ビットの場合、前記複数の副画素の信号のビット深度を、
   ｂ１＞ｂ２≧ｂ１−（ｌｏｇ_２瞳分割数）
   を満たすビット数ｂ２に決定する、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記生成手段は、前記撮像画像データの画素信号の階調数がｔ１の場合、前記複数の副画素の信号の階調数を、
   ｔ１＞ｔ２≧ｔ１／瞳分割数
   を満たす階調数ｔ２に決定する、
   ことを特徴とする請求項５に記載の撮像装置。
8. 画像処理装置が実行する画像処理方法であって、
   取得手段が、結像光学系の射出瞳を所定の瞳分割数に分割した瞳部分領域を通過した光束の強度の空間分布および角度分布を表すデータを取得する取得工程と、
   削減手段が、前記データを構成する信号のビット深度または階調数を、前記瞳分割数に基づいて削減する削減工程と、
   を有することを特徴とする画像処理方法。
9. 複数の撮像画素が配置された撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子は、
   前記複数の撮像画素の各々は複数の副画素を有し、
   前記複数の副画素の各々は、結像光学系の射出瞳を所定の瞳分割数に分割した瞳部分領域の互いに異なる１つを通過した光束を受光し、
   前記制御方法は、
   生成手段が、モードに応じて、前記複数の副画素の信号を前記撮像画素ごとに合成して得られる撮像画像データと、前記複数の副画素の信号からなるライトフィールドデータとを生成する生成工程と、を有し、
   前記生成工程において前記生成手段は、前記ライトフィールドデータを生成する際、前記複数の副画素の信号のビット深度または階調数を、前記撮像画像データの画素信号のビット深度または階調数よりも小さくなるよう、前記瞳分割数に基づいて決定する、
   ことを特徴とする撮像装置の制御方法。
10. コンピュータを、請求項１または請求項２に記載の画像処理装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項５から請求項７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images