JP7001461B2 - 画像処理装置および画像処理方法、並びに撮像装置 - Google Patents

Description

本発明は、画像処理装置および画像処理方法、並びに撮像装置に関する。

撮像装置の焦点検出方法の１つとして、撮像素子で得られる信号を用いて位相差方式の焦点検出を行う撮像面位相差方式が知られている。特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる撮像装置が開示されている。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を通過した光束を受光するように構成されているため、いわゆる瞳分割を実現することができる。瞳分割により得られる複数の視点信号間の視差から像ずれ量を算出することができるため、得られた象ずれ量をデフォーカス量に換算することで、位相差方式の焦点検出を行うことができる。また、特許文献２には、複数に分割された光電変換部で受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。

なお、複数に分割された光電変換部では、上述したように撮影レンズの射出瞳の異なる領域を通過した光束を受光するため、光強度の空間分布および角度分布を取得することができる。従って、複数に分割された光電変換部を用いて撮影された複数の視点信号は、光強度の空間分布および角度分布の情報を含むＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）データと等価である。

米国特許第４４１０８０４号明細書 特開２００１－０８３４０７号公報

しかしながら、上述の特許文献に開示された撮像素子で取得されたＬＦデータを用いる場合、撮影レンズの射出瞳と撮像素子の入射瞳とのずれに起因して、光電変換部の間に光量分布の偏りが生じる場合がある。このため、視点画像に光量の変動（シェーディング）が生じて画質品位が低下し、位相差方式の焦点検出精度が低下する場合がある。上述した特許文献では、視点画像に生じる光量の変動は考慮されておらず、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減する技術が求められている。

本発明は、上記の課題に鑑みてなされたものであり、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することが可能な画像処理装置および画像処理方法、並びに撮像装置を提供することを目的とする。

上述の目的は、結像光学系の瞳領域のうち、異なる部分領域を通過する光束を受光する複数の光電変換部の、一部の光電変換部で得られる信号から生成される視点画像と、全部の光電変換部で得られる信号から生成される撮像画像とを取得する画像取得手段と、視点画像の輝度補正量を、視点画像および撮像画像を用いて取得する補正量取得手段と、輝度補正量に基づいて視点画像の輝度を補正する補正手段と、を有する画像処理装置であって、補正量取得手段は、撮像画像および視点画像それぞれの射影信号を生成する射影手段と、視点画像の射影信号の有効性を判定する判定手段と、視点画像の射影信号のうち、判定手段に有効と判定された射影信号と、撮像画像の射影信号とを用いて輝度補正量を生成する生成手段と、を有することを特徴とする画像処理装置によって達成される。

本発明によれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することが可能な画像処理装置および画像処理方法、並びに撮像装置を提供できる。

第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 第１の実施形態における画素配列を概略的に示す図 第１の実施形態における画素の概略平面図（Ａ）と概略断面図（Ｂ） 第１の実施形態における画素と瞳分割の関係を概略的に示す図 第１の実施形態における画素内部の光強度分布例を示す図 第１の実施形態における瞳強度分布を例示する図 第１の実施形態における撮像素子と瞳分割の関係を概略的に示す図 第１の実施形態における第１視点画像と第２視点画像のデフォーカス量と、像ずれ量との関係を概略的に示す図 第１の実施形態における補正処理の一連の動作を示すフローチャート（前半） 第１の実施形態における補正処理の一連の動作を示すフローチャート（後半） 第１の実施形態における第１視点画像と第２視点画像の瞳ずれによるシェーディングを説明する図 第１の実施形態における有効性判定処理に関するフローチャート 第１の実施形態における撮像画像の射影信号、視点画像の射影信号及びシェーディング曲線の例を示す図 第１の実施形態における（Ａ）撮像画像、（Ｂ）シェーディング補正前の第１視点画像、（Ｃ）シェーディング補正後の第１視点画像を例示する図 第１の実施形態における（Ａ）欠陥補正前の第１視点画像、（Ａ）欠陥補正後の第１視点画像を例示する図 第１の実施形態における（Ａ）補正前の第２視点画像、（Ａ）補正後の第２視点画像を例示する図

以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。以下の実施形態では、本発明を画像処理装置の一例としてのデジタルカメラに適用した場合を例に説明するが、本発明はＬＦデータを処理可能な任意の機器に適用可能である。任意の機器には、例えばパーソナルコンピュータ、タブレット、ゲーム機、眼鏡型や時計型等のウェアラブル端末、車載用システム、監視カメラ用システム、医療機器が含まれてよい。

（第１の実施形態）
第１の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を、図１を参照しながら説明する。

図１は本実施形態に係る撮像装置の機能構成例を示すブロック図である。撮影レンズ（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。撮像素子１０７の詳細は後述する。

ズームアクチュエータ１１１は、不図示のカム筒を回動することにより、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は、キセノン管を用いた閃光照明装置、又は連続発光するＬＥＤ（発光ダイオード）を備えた照明装置を含み、撮影時に使用される。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

制御部１２１は、例えばＣＰＵ（中央演算処理装置）を含み、デジタルカメラ１００全体の動作を制御する。制御部１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を含む。制御部１２１は、ＲＯＭに記憶された所定のプログラムをＲＡＭに展開、実行することにより、デジタルカメラ１００の各部を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。

電子フラッシュ制御回路１２２は制御部１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３は制御部１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は制御部１２１の制御指令に従い、撮像素子１０７により取得された画像信号に対してガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。

フォーカス駆動回路１２６は制御部１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８は制御部１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は制御部１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１は、例えばＬＣＤ（液晶表示装置）等の表示デバイスを含み、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は、例えば電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等の操作スイッチやタッチパネルを含み、操作指示信号を制御部１２１に出力する。記録媒体１３３は、半導体メモリカードなど、デジタルカメラ１００に着脱可能な記録媒体である。撮影で得られた画像データ等を記録媒体１３３に記録することができる。

（撮像素子の構成）
本実施形態に係る撮像素子１０７の画素と副画素の配列の概略図を図２に示す。図２の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）とする。図２に示す例は、２次元ＣＭＯＳセンサー（撮像素子）の画素（単位画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示している。

２列×２行の画素群２００は、例えば左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置される。さらに、各画素（単位画素）は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に１分割（Ｎｙ分割）された分割数２（分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）の複数の副画素により構成されている。

図２に示す例では、撮像素子１０７の各画素を水平方向に並んだ２つの副画素に分割することにより、１回の撮影で得られる画像信号（ＬＦデータ）から、分割数Ｎ_ＬＦに等しい数の視点画像と、全ての視点画像を合成した撮像画像とを生成することができる。なお、画素は２方向に分割してもよいし、方向ごとの分割数にも制限はない。したがって、視点画像は複数の副画素のうち、一部の副画素の信号から生成される画像、撮像画像は全部の副画素の信号から生成される画像ということができる。本実施形態では一例として撮像素子１０７の水平および垂直方向の画素周期Ｐを６μｍ、水平画素数Ｎ_Ｈ＝６０００、垂直画素数Ｎ_Ｖ＝４０００とする。したがって、総画素数Ｎ＝Ｎ_Ｈ×Ｎ_Ｖ＝２４００万である。また、副画素の水平方向周期Ｐ_Ｓを３μｍとすると、総副画素数Ｎ_Ｓ＝Ｎ_Ｈ×（Ｐ／Ｐ_Ｓ）×Ｎ_Ｖ＝４８００万である。

図２に示した撮像素子１０７の１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ－ａ切断線に沿って、－ｙ側から見た場合の断面図を図３（Ｂ）に示す。

図３（Ａ）および、図３（Ｂ）に示すように、画素２００Ｇには、各画素の受光面側（＋ｚ方向）にマイクロレンズ３０５が形成され、このマイクロレンズ３０５によって入射光が集光される。さらに、ｘ（水平）方向に２分割、ｙ（垂直）方向に１分割された分割数２の第１光電変換部３０１と第２光電変換部３０２の複数の光電変換部が形成される。第１光電変換部３０１と第２光電変換部３０２が、それぞれ図２の第１副画素２０１と第２副画素２０２に対応する。より一般的に記載すれば、各画素の光電変換部が、ｘ方向にＮｘ分割、ｙ方向にＮｙ分割され、光電変換部の分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙであるとき、第１～第Ｎ_ＬＦ光電変換部が、第１～第Ｎ_ＬＦ副画素に対応する。

第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルター３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルター３０６の分光透過率を変えても良いし、カラーフィルターを省略しても構わない。

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルター３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子１０７の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

図４は、画素構造と瞳分割との対応関係を概略的に示している。図４には、図３（Ａ）に示した画素構造のａ－ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、－ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。

撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置されており、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。なお、撮像素子１０７が配置された面を撮像面とする。

第１瞳部分領域５０１と第２瞳部分領域５０２は、第１光電変換部３０１と第２光電変換部３０２の受光面と、マイクロレンズによって、概ね、光学的に共役である。つまり、第１瞳部分領域５０１と第２瞳部分領域５０２は、第１副画素２０１と第２副画素２０２でそれぞれ受光可能な瞳領域である。このように、瞳領域をＮｘ×Ｎｙ分割することで得られる第１～第Ｎ_ＬＦ瞳部分領域は、第１～第Ｎ_ＬＦ副画素の対応する１つで受光可能な瞳領域となる。また、第１副画素２０１が対応する第１瞳部分領域５０１は瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２が対応する第２瞳部分領域５０２は瞳面上で－Ｘ側に重心が偏心している。

また、瞳領域５００は、分割された全ての光電変換部（ここでは第１および第２光電変換部３０１および３０２）の受光面を合わせた受光面と、マイクロレンズによって、概ね、光学的に共役である。つまり、分割された第１～第Ｎ_ＬＦ光電変換部は、全体で瞳領域５００を受光可能である。したがって、第１～第Ｎ_ＬＦ光電変換部で得られる信号を合成することにより、画素２００全体が受光可能な瞳領域５００に対応した画素信号を得ることができる。この合成信号は、画素２００の光電変換部が分割されていない場合に得られる画素信号に相当する。

図５は、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を模式的に示す図である。図５（Ａ）は、マイクロレンズの光軸に平行な断面における光強度分布を示している。また、図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面における光強度分布を示している。図５において、Ｈはマイクロレンズ３０５の凸側の面を、ｆはマイクロレンズの焦点距離を示している。また、ｎＦΔは後述するリフォーカスによる焦点位置の可動範囲を、φは入射する光束の最大角度を示している。入射光は、マイクロレンズ３０５により、焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１～２μｍ程度であり、これに対してマイクロレンズの集光スポットは約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４に示した第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。

次に、図７を参照して、撮像素子１０７と瞳分割との対応関係について説明する。第１光電変換部３０１と第２光電変換部３０２（第１副画素２０１と第２副画素２０２）は、それぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２を通過した光束を受光する。第１副画素群で得られた画像信号と、第２副画素群で得られた画像信号とはそれぞれ異なる視点を有する画像である。ＬＦデータは、各副画素群で得られた画像を生成可能なデータであり、光強度の空間分布および角度分布の情報を含む。なお、ＬＦデータは各画素群で得られた画像の集合であってもよいし、各画素群で得られた画像を演算によって求めることが可能なデータであってもよい。例えば、第１副画素群で得られる画像をＡ像、第２副画素群で得られる画像をＢ像とすると、ＬＦデータはＡ像およびＢ像のデータであってもよいし、Ａ像とＢ像との合成画像（Ａ＋Ｂ像と記載する）のデータと、Ａ像またはＢ像のデータとであってもよい。

つまり、ＬＦデータについて、画素ごとに、全ての副画素（ここでは第１副画素２０１と第２副画素２０２）の信号を合成することにより、総画素数Ｎの解像度を有する撮像画像を生成することができる。

また、ＬＦデータについて、画素ごとに、特定の副画素で得られた信号を抽出することにより、その副画素に対応する瞳部分領域に対応した画像（視点画像）を生成することができる。例えば、各画素について第１副画素２０１で得られた画像信号を抽出することで、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素についても同様である。

以上のように本実施形態の撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素が複数配列された構造を有し、ＬＦデータを取得することができる。なお、上述した説明では、瞳領域が水平方向に２分割される例を示したが、水平方向の代わりに、あるいは水平方向に加えて、垂直方向にも分割されてよい。また、水平および垂直方向の少なくとも一方について分割数を３以上としてもよい。

（デフォーカス量と像ずれ量の関係）
さらに、図８を参照して、撮像素子１０７により取得されるＬＦデータに基づいて生成可能な第１視点画像と第２視点画像（第１～第Ｎ_ＬＦ視点画像）のデフォーカス量と像ずれ量との関係について説明する。

図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量の関係を概略的に示している。撮像面６００には撮像素子（不図示）が配置され、結像光学系の射出瞳は、図４、図７の場合と同様に、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（すなわち合焦位置）にある合焦状態では、ｄ＝０である。例えば、被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を示している。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２から受光した光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子１０７に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、図８に示すように、像ずれ量ｐは光束の重心位置の差「Ｇ１－Ｇ２」として定義することができ、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様に｜ｐ｜がデフォーカス量｜ｄ｜に比例する傾向がある。

したがって、本実施形態では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。

（撮像画像に基づく視点画像の補正処理）
以下の実施形態では、撮像画像に基づき、第１視点画像と第２視点画像（第１～第Ｎ_ＬＦ視点画像）に対するキズ補正やシェーディング補正等の画像処理（補正処理）を行い、出力画像を生成する例について説明する。

まず、図９および図１０を参照して、取得されたＬＦデータに基づいて、補正処理を行い、出力画像を生成する一連の流れについて説明する。なお、図９および図１０に示す処理は、制御部１２１がＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより実行される。また、撮像素子１０７や画像処理回路１２５は制御部１２１の指示に応じて動作する。

（撮像画像と視点画像）
まず、図９に示すＳ１の前処理として、画像取得手段としての制御部１２１は、撮像素子１０７により取得されたＬＦデータから、結像光学系の異なる瞳部分領域を合成した撮像画像と、結像光学系の瞳部分領域に対応する少なくとも１つの視点画像とを生成する。なお、制御部１２１は、撮像画像と視点画像をＬＦデータから生成する代わりに、生成済みの撮像画像と視点画像を記憶媒体から読み出すなどして取得してもよい。前処理を便宜上Ｓ０とする。以下、前処理Ｓ０について説明する。

制御部１２１は、ＬＦデータを取得する。ＬＦデータは撮像素子１０７を用いて取得してもよいし、予め保存されているＬＦデータを例えば記録媒体から読み出すことによって取得してもよい。

そして制御部１２１は、ＬＦデータを構成する複数の視点画像を合成することにより、撮像画像を生成する。ＬＦデータを構成する各画素信号は、水平方向Ｎｘ、垂直方向Ｎｙの総数Ｎ_ＬＦの副画素信号から構成される。ここで、１つの画素信号を構成する総数Ｎ_ＬＦの副画素信号のうち、水平方向にｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、垂直方向にｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素の信号をｋ番目の副画素信号とする（ｋ＝Ｎｘ（ｊ_Ｓ－１）＋ｉ_Ｓ）。ここで、１≦ｋ≦Ｎ_ＬＦであり、ｋは、水平方向Ｎｘ，垂直方向Ｎｙに分割された総数Ｎ_ＬＦの光電変換領域（副画素）の通し番号である。撮像画像は、図４における瞳領域５００に対応する画像であり、各画素の副画素信号を合成することによって得られる。撮像画像Ｉを構成する、垂直方向にｊ番目、水平方向にｉ番目の画素Ｉ（ｊ，ｉ）、１≦ｊ≦Ｎ_Ｖ、１≦ｉ≦Ｎ_Ｈは、式（１）に従って得ることができる。

なお、本処理は、ＬＦデータを生成する際に行ってもよい。この場合、撮像画像ＩのＳ／Ｎを良好に保持するため、各副画素信号をアナログ／デジタル変換（Ａ／Ｄ変換）する前に、撮像素子１０７内の静電容量部（ＦＤ）において式（１）に従う副画素信号の合成を行ってもよい。撮像素子１０７内のＦＤに蓄積された電荷を電圧信号に変換する際に、式（１）に従う各副画素信号の合成を行ってもよいし、Ａ／Ｄ変換を行った後に、式（１）に従う各副画素信号の合成を行ってもよい。

なお、本実施形態は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２であるｘ方向２分割の場合であり、図２に例示した画素配列に対応した入力画像（ＬＦデータ）を用いる。このため、制御部１２１は、画素ごとに、ｘ方向に２分割された第１副画素２０１と第２副画素２０２の信号を全て合成した撮像画像を生成する。この撮像画像は、画素数Ｎ（＝水平方向の画素数Ｎ_Ｈ×垂直方向の画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である。

なお、後述する視点画像の補正処理では、撮像画像を補正基準の参照画像として用いるため、撮像画像Ｉに対してもＲＧＢ毎のシェーディング補正処理、欠陥補正処理を行う。

次に、制御部１２１は、結像光学系の第ｋ瞳部分領域に対応した、水平方向ｉ番目、垂直方向ｊ番目の第ｋ視点画像Ｉ_ｋを構成する画素Ｉ_ｋ（ｊ，ｉ）を、式（２）に従って生成する。

なお、本実施形態では、ｘ方向に光電変換部を２分割（水平方向に瞳領域を２分割）するＮｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２の構成の撮像素子１０７で得られるＬＦデータから生成可能な２つの視点画像のうち、第１の視点画像（ｋ＝１）を生成するものとする。制御部１２１は、図２に例示した画素配列に対応したＬＦデータのうち、第１副画素２０１の信号を抽出し、第１視点画像Ｉ_１を生成する。第１視点画像Ｉ_１は、結像光学系の第１瞳部分領域５０１に対応した視点画像である。第１視点画像Ｉ_１は、画素数Ｎ（＝水平方向の画素数Ｎ_Ｈ×垂直方向の画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である。なお、必要に応じて、結像光学系の第２瞳部分領域５０２に対応した第２視点画像Ｉ_２を生成してもよい。

このように本実施形態では、ＬＦデータに基いて、結像光学系の瞳領域に対応する撮像画像Ｉと、それぞれが結像光学系の異なる瞳部分領域に対応する視点画像Ｉ_ｋの１つ以上とを生成する。生成した撮像画像および視点画像のデータは、記録媒体１３３に記録してもよい。なお、撮像画像Ｉから第１視点画像Ｉ_１を減じることにより、第２視点画像Ｉ_２を生成することができる。撮像画像Ｉは、各画素の光電変換部が分割されていない従来の撮像素子で得られる撮像画像に相当する。そのため、撮像画像Ｉには従来と同様の画像処理を適用することができる。また、各視点画像への処理を同等にするために、第１視点画像Ｉ_１と、第２視点画像Ｉ_２とを生成して、記録媒体１３３に記録するようにしてもよい。この場合、第１視点画像Ｉ_１と第２視点画像Ｉ_２とを合成することで、撮像画像Ｉを生成することができる。

（視点画像のシェーディング補正（輝度補正））
次に、図９に示すＳ１におけるシェーディング補正（輝度補正）について説明する。本処理では、制御部１２１は、撮像画像Ｉに基づいて、第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）に対してＲＧＢ毎のシェーディング補正を行う。なお、以降の処理についても制御部１２１が実行する場合を例に説明するが、その一部又は全部を画像処理回路１２５が実行してもよい。

まず、第１視点画像と第２視点画像（第１～第Ｎ_ＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１１は、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示している。図１１では、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

図１１（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して、図１１（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合を示している。この場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。図１１（Ｂ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。

同様に、図１１（Ｃ）に示す、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子１０７の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じる。このため、図１１（Ｃ）に示す場合にも結像光学系の射出瞳４００が不均一に瞳分割されてしまう。図１１（Ｃ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。

このように、瞳分割が不均一になることに伴い、第１視点画像と第２視点画像の強度も不均一になり（すなわち光量分布が偏り）、第１視点画像と第２視点画像のいずれか一方の強度が大きく、また他方の強度が小さくなるシェーディングが生じる。そして、このシェーディングは画素ごと、すなわちＲＧＢごとに生じる。

そこで、上述したシェーディングによる不均一な信号強度分布を一様に近づけて良好な画質品位の視点画像を生成するため、ＲＧＢごとのシェーディング補正を行う。すなわち、本実施形態では、補正撮像画像Ｉ（ｊ，ｉ）を基準の参照画像として第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）に対するＲＧＢ毎のシェーディング補正を行う。

具体的には、図９のＳ１において制御部１２１は、まず、撮像画像Ｉと第１視点画像Ｉ_１から有効画素を検出する（Ｓ１－１）。有効画素は、撮像画像Ｉにおいても、第１視点画像Ｉ_１においても非飽和かつ非欠陥（非キズ）の画素である。具体的には、制御部１２１は、撮像画像Ｉと第１視点画像Ｉ_１との対応する画素（画素Ｉ（ｊ，ｉ）および画素Ｉ_１（ｊ，ｉ））について、いずれも有効画素であるか、少なくとも一方が有効画素でないかを判定する。そして、制御部１２１は、いずれも有効画素と判定されればＶ_１（ｊ，ｉ）＝１、少なくとも一方が有効画素でないと判定されればＶ_１（ｊ，ｉ）＝０とする。Ｖ_１は、有効画素については１、無効画素については０の値を有する２値画像と見なすことができる。あるいはＶ_１は、欠陥画素位置を０で示す画像と見なすこともできる。例えば、制御部１２１は、画素値が飽和判定閾値ＩＳを超える場合には飽和画素、超えない場合は非飽和画素と判定することができる。ただし、視点画像に用いる飽和判定閾値ＩＳ_ｋは、撮像画像に用いる飽和判定閾値ＩＳ以下とする。また、制御部１２１は、撮像素子１０７に欠陥画素として登録されている画素については欠陥画素、登録されていない画素は非欠陥画素と判定することができる。なお、これらの判定方法は単なる例示であり、ある画素が飽和画素か否かや、欠陥画素か否かは、公知の任意の方法で判定することができる。制御部１２１は、第ｋ視点画像Ｉ_ｋ（ｋ≧２）についてシェーディング補正を行う場合も、同様にして有効画素を検出する。

本実施形態の撮像素子１０７では、各画素が有する複数の光電変換部のいずれかが飽和した場合、画素外ではなく、同一画素内の他の光電変換部（副画素）に飽和電荷が漏れこむように構成される。このような飽和電荷の漏れ込みを電荷クロストークと呼ぶ。同一画素内で電荷クロストークが発生すると、飽和した副画素（例：第２副画素２０２）と、飽和電荷が漏れこむ副画素（例：第１副画素２０１）のいずれも、入射光量に対する蓄積電荷量の線形関係が保たれない。そのため、電荷クロストークが生じた画素については、シェーディングを正しく検出できない。

撮影感度が高い場合よりも低い場合の方が、光電変換部に蓄積される電荷量が相対的に多く、電荷クロストークが相対的に生じやすい。したがって、本実施形態では、飽和画素の検出精度を向上するために、第１の撮影感度での撮像信号の飽和判定閾値ＩＳを、第１の撮影感度より高い第２の撮影感度での撮像信号の飽和判定閾値ＩＳ以下とすることができる。視点画像に用いる飽和判定閾値ＩＳ_ｋについても同様である。

さらに、結像光学系の射出瞳距離が、第１の所定瞳距離より短い（もしくは、第２の所定瞳距離（＞第１の所定瞳距離）より長い）場合、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによるシェーディングを生じる。この場合、像高が大きな周辺部の画素では、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるため、電荷クロストークが生じやすい。したがって、本実施形態では、飽和画素の検出精度を向上するために、瞳ずれによるシェーディングが発生する場合の飽和判定閾値ＩＳを、瞳ずれによるシェーディングが発生しない場合の飽和判定閾値ＩＳ以下にすることができる。瞳ずれによるシェーディングが発生しない場合とは、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合である。視点画像に用いる飽和判定閾値ＩＳ_ｋについても同様である。

ここで、図２に示したベイヤー配列の撮像画像Ｉは、ベイヤーパターンの各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）ごとに定義することができる。
すなわち、Ｒの撮像画像をＲＩは、
画素ＲＩ（２ｊ_２－１，２ｉ_２－１）＝Ｉ（２ｊ_２－１，２ｉ_２－１）から構成される。
Ｇｒの撮像画像ＧｒＩは、
画素ＧｒＩ（２ｊ_２－１，２ｉ_２）＝Ｉ（２ｊ_２－１，２ｉ_２）から構成される。
Ｇｂの撮像画像ＧｒＩは、
画素ＧｂＩ（２ｊ_２，２ｉ_２－１）＝Ｉ（２ｊ_２，２ｉ_２－１）から構成される。
Ｂの撮像画像ＢＩは、
画素ＢＩ（２ｊ_２，２ｉ_２）＝Ｉ（２ｊ_２，２ｉ_２）から構成される。
このとき、整数ｊ_２および整数ｉ_２は、それぞれ１≦ｊ_２≦Ｎ_Ｖ／２、１≦ｉ_２≦Ｎ_Ｈ／２である。

同様に、図２に例示したベイヤー配列の第ｋ視点画像Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに取り扱う。
すなわち、Ｒの第ｋ視点画像ＲＩ_ｋは、
画素ＲＩ_ｋ（２ｊ_２－１，２ｉ_２－１）＝Ｉ_ｋ（２ｊ_２－１，２ｉ_２－１）から構成される。
Ｇｒの第ｋ視点画像ＧｒＩ_ｋ
画素ＧｒＩ_ｋ（２ｊ_２－１，２ｉ_２）＝Ｉ_ｋ（２ｊ_２－１，２ｉ_２）から構成される。
Ｇｂの第ｋ視点画像ＧｂＩ_ｋは、
画素ＧｂＩ_ｋ（２ｊ_２，２ｉ_２－１）＝Ｉ_ｋ（２ｊ_２，２ｉ_２－１）から構成される。
Ｂの第ｋ視点画像ＢＩ_ｋは、
画素ＢＩ_ｋ（２ｊ_２，２ｉ_２）＝Ｉ_ｋ（２ｊ_２，２ｉ_２）から構成される。
整数ｊ_２および整数ｉ_２は、それぞれ１≦ｊ_２≦Ｎ_Ｖ／２、１≦ｉ_２≦Ｎ_Ｈ／２である。

［射影処理］
次に、図９に示すＳ１において、射影手段としての制御部１２１は、撮像画像ＲＩ、ＧｒＩ、ＧｂＩ、ＢＩに基づく射影処理を行う（Ｓ１－２Ａ）。具体的には、撮像画像ＲＩ、ＧｒＩ、ＧｂＩ、ＢＩの各画素を、式（３Ａ）から式（３Ｄ）に従って、射影方向に投影し、射影方向と直交する方向に複数の信号が並んだ１次元の射影信号を生成する。ここでは、射影方向を、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）とする。これにより、画像のｘ方向における輝度変化に関する射影信号が得られる。なお、射影方向は他の方向であってもよい。これにより、制御部１２１は、撮像画像の射影信号Ｐを構成する各色の画素ＲＰ（２ｉ_２－１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２－１）、ＢＰ（２ｉ_２）を生成する。

なお、飽和信号値や欠陥信号値には、撮像画像のＲＧＢ毎のシェーディングを正しく検出するための情報が含まれていない。そのため、制御部１２１は、撮像画像ＩとＶ_ｋとの対応する画素の積を取ることにより、撮像画像Ｉの無効画素を除外してから射影処理を行う。この射影処理は、式（３Ａ）～（３Ｄ）上段の式の分子に相当する。そして、制御部１２１は、射影結果を、射影処理に用いた有効画素数で規格化する。この正規化処理は、式（３Ａ）～（３Ｄ）上段の式の分母に相当する。射影処理に用いた有効画素数が０の場合、制御部１２１は、式（３Ａ）～（３Ｄ）の下段に示すように、撮像画像の射影信号を０に設定する。さらに、制御部１２１は、撮像画像の射影信号がノイズの影響などで負信号となった場合も撮像画像の射影信号を０に設定する。

同様に、Ｓ１－２Ｂで制御部１２１は、第ｋ視点画像ＲＩ_ｋ、ＧｒＩ_ｋ、ＧｂＩ_ｋ、ＢＩ_ｋの各画素を、式（３Ｅ）から式（３Ｈ）に従って、瞳分割方向と直交する方向（ｙ方向）に射影する。これにより、制御部１２１は、第ｋ視点画像の射影信号Ｐ_ｋを構成する各色の画素ＲＰ_ｋ（２ｉ_２－１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２－１）、ＢＰ_ｋ（２ｉ_２）を生成する。

制御部１２１は、上述の射影処理の後に、撮像画像の射影信号Ｐと第ｋ視点画像の射影信号Ｐ_ｋを平滑化するためにローパスフィルタ処理を必要に応じて適用する。

Ｓ１ー３で制御部１２１は、Ｓ１－２Ｂで求めた、視点画像の射影信号を、シェーディングの補正値の算出に用いるか否かを判定する。制御部１２１は、視点画像について、射影方向に並んだ複数の画素ごと（すなわち、画素列ごと）に評価値を求める。そして、制御部１２１は、評価値と予め定められた閾値との比較結果に応じて、対応する射影信号を有効とするか無効とするか（シェーディング補正値の算出に用いるか用いないか）を判定する。

信号のＳＮ比を考慮して射影信号の有効性を判定するため、有効画素数と輝度との両方を考慮した評価値を用いる。一般に、信号のＳＮ比は、複数の信号値を加算することによって向上し、例えば、信号値を４つ加算すれば、信号のＳＮ比を２倍にすることができる。また、画像信号のＳＮ比は輝度の１／２乗に比例する。そのため、信号値の加算を含む演算により評価値を求めることで、輝度が低く、したがってＳＮ比が低い視点画像の信号の有効／無効を正確に判定することができる。射影信号の有効性を正確に判定することで、有効な（信頼性の高い）射影信号を用いてシェーディング補正値を算出できる。

視点画像の射影信号の有効性判定は色成分（Ｒ、Ｇｒ、Ｇｂ、Ｂ）ごとに行う。例えば、第ｋ視点画像の射影信号Ｐ_ｋを構成する赤色画素ＲＰ_ｋ（２ｉ_２－１）の有効性は、第ｋ視点画像ＲＩ_ｋから得られる評価値に基づいて判定する。

撮像画像Ｉと視点画像Ｉ_ｋとを比較した場合、視点画像Ｉ_ｋの方が輝度は小さい。これは、視点画像Ｉ_ｋの生成に用いる光電変換部の受光面の大きさが、撮像画像Ｉの生成に用いる光電変換部の受光面の大きさより小さいからである。そのため、本実施形態では、撮像画像よりも輝度が低く、したがってＳＮ比が低い視点画像の射影信号についての有効性を判定する。また、撮像画像よりも輝度が低い視点画像についての閾値判定を正確に行うため、信号値を加算した評価値を生成し、閾値と比較する。

判定処理は、色成分（Ｒ、Ｇｒ、Ｇｂ、Ｂ）ごとに、同じ式に基づいて適用する。以下では、図１２に示すフローチャートを用い、Ｒ成分に関する処理を代表的に説明するが、他の色成分についても同様に適用することができる。

上述したように、Ｒの第ｋ視点画像ＲＩ_ｋは、
画素ＲＩ_ｋ（２ｊ_２－１，２ｉ_２－１）＝Ｉ_ｋ（２ｊ_２－１，２ｉ_２－１）から構成される。また、整数ｊ_２および整数ｉ_２は、それぞれ１≦ｊ_２≦Ｎ_Ｖ／２、１≦ｉ_２≦Ｎ_Ｈ／２である。

閾値判定において制御部１２１は、まず、式（３Ｉ）により、ｉ_２列目の評価値Ｅ_ｉ２を求める（Ｓ１３０１）。ここで、評価値Ｅ_ｉ２は、欠陥画素位置に該当する画素の値を用いずに生成されるため、有効画素数に比例する。また、評価値Ｅ_ｉ２は、画素値（輝度）の二乗累積値であるから、画素値（輝度）に比例する。したがって、評価値Ｅ_ｉ２は、有効画素数および輝度を考慮した評価値である。また、このような評価値を用いることで、画像信号のＳＮ比を考慮して射影信号の有効性を判定できる。

次に、制御部１２１は、式（３Ｊ）により、評価値Ｅ_ｉ２と垂直方向の評価閾値Ｅ_limitとを比較する（Ｓ１３０２）。そして、制御部１２１は、評価値Ｅ_ｉ２が評価閾値Ｅ_limitより大きい場合、Ｓ１－３で求めた射影信号ＲＰ（２ｉ_２－１）を有効と判定する（Ｓ１３０３）。一方、制御部１２１は、評価値Ｅ_ｉ２が評価閾値Ｅ_limit以下である場合、Ｓ１－３で求めた射影信号ＲＰ（２ｉ_２－１）を無効と判定する（Ｓ１３０４）。制御部１２１は、無効と判定した射影信号については、その値が使用されないように値を０にしてもよい。

制御部１２１は、有効性判定を視差画像の全画素列について実行したか否かを判定し（Ｓ１３０５）、実行したと判定されれば処理を終了し、判定されなければ処理をＳ１３０１に戻して未判定の画素列に対する判定処理を実行する。制御部１２１は、このような評価値Ｅの算出、評価値Ｅと閾値Ｅ_limitとの比較による射影信号ＲＰ_ｋ（２ｉ_２－１）の有効性判定を、視差画像の画素列ごとに（ｉの値を変えながら）実行する。また、制御部１２１は、他の色成分であるＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２－１）、ＢＰ_ｋ（２ｉ_２）についても同様に判定処理を適用する。

なお、式（３Ｉ）は評価値Ｅを算出するための１例であり、視点画像について、垂直方向の画素数を考慮して算出された他の任意の評価値を用いることができる。なお、式（３Ｉ）で得られる評価値Ｅは、固定パターンノイズを考慮していないため、固定パターンノイズを考慮した評価値とすることで、より正確な判定を行うことができる。具体的には、固定パターンノイズは輝度に依存しないため、式（３Ｉ）に固定値Ｏｆｆｓｅｔの項を追加した式（３Ｋ）を用いることにより、固定パターンノイズを考慮した評価値Ｅを求めることができる。

また、撮像画像Ｉや視差画像Ｉ_ｋは、画像処理負荷の低減やＳＮ比の改善を目的として、Ｓ１－１における有効画素検出処理の実施前に加算や間引により画素数が削減されていることがある。特に、画素が加算されている場合、上述したように信号のＳＮ比が向上しているため、評価値を、加算を考慮した閾値と比較することにより、射影信号の有効性を正確に判定することができる。例えば、Ｓ１－１における有効画素検出処理の前に、垂直または垂直方向の画素数が加算処理によって１／Ｎ（Ｎは２以上の整数）に削減されているとする。この場合、加算処理により、加算方向における画像信号のＳＮ比がＮ^1/2倍向上している。そのため、評価値を、補正した閾値Ｅ_limit/(Ｎ^1/2)と比較するようにする。なお、画素が間引きされている場合は信号のＳＮ比に変化はないため、閾値Ｅの補正は不要である。

本実施形態では射影処理において画像を画素列ごと（垂直方向）に射影し、水平方向の１次元画像（射影信号）を得ているため、閾値Ｅは画像の垂直方向における閾値である。一方、画像の水平方向にも閾値を設定することができる。例えば、図１２に示した処理において有効と判定された射影信号の割合について閾値を設定することができる。射影信号の総数は水平方向の画素数に等しいため、有効と判定された射影信号の割合についての閾値は、水平方向における閾値である。例えば、色成分単位での有効性判定処理の結果、有効と判定された射影信号の割合もしくは数が閾値以下の場合、制御部１２１は、有効と判定された射影信号を含め、視点画像の射影信号を全て無効と判定する。この場合、後述するＳ１－４でシェーディング関数を生成するためのデータとして、信頼性の高いデータが十分な数得られなかったことになる。そのため、制御部１２１は、シェーディング関数の生成およびシェーディング関数を用いたシェーディング補正を行わない。つまり、水平方向における閾値は、シェーディング補正を行うか否かの判定閾値である。

Ｓ１－１における有効画素検出は、飽和やキズの有無に基づくものであり、信号のＳＮ比は考慮されていない。具体的には、画素の出力値が低いＳＮ比によって真値からずれていても、出力値に基づいて有効性が判定される。一方、Ｓ１－３における射影信号の有効性判定は、射影信号がシェーディング補正値の算出に用いるのに適切あるか否かの判定であるため、低いＳＮ比による真値からのずれを許容してしまうと、シェーディング補正の精度低下を招く。低いＳＮ比によって真値からずれている射影信号は除外することにより、精度の良いシェーディング補正が実現できる。

図１３（Ａ）および（Ｂ）は射影信号の具体例を示し、横軸は水平方向の画素位置、縦軸は信号強度である。す。図１３（Ａ）は、撮像画像の射影信号Ｐを構成する緑（Ｇ）成分、赤（Ｒ）、青（Ｂ）成分の値の例を示している。なお、Ｇ成分はＧｒ成分とＧｂ成分とをまとめて示しているため、水平方向の各画素位置に値が存在する。一方、Ｒ、Ｂ成分は１画素おきの位置に値を有するが、図では便宜上連続的に記載している。また、図１３（Ｂ）は、図１３（Ａ）と同様に、第１視点画像の射影信号Ｐ_ｋを構成する緑（Ｇ）成分、赤（Ｒ）、青（Ｂ）成分の値の例を示している。各射影信号の信号強度は、被写体の色に応じた値を有する。従って、第ｋ視点画像Ｉ_ｋのシェーディング補正を正確に行うためには、瞳ずれにより生じる第ｋ視点画像Ｉ_ｋのＲＧＢ成分間の光量のずれ（シェーディング成分）と、被写体の色に起因するＲＧＢ成分とを分離する必要がある。

図９のＳ１－４を実行する前に制御部１２１は、Ｓ１－３における有効性判定処理により、全ての色成分について、水平方向の閾値を超える割合または数の射影信号が有効と判定されているか否かを判定する。そして、水平方向の閾値を超える割合または数の射影信号が有効と判定されていない色成分が１つでもある場合には、Ｓ１－４以降の、シェーディング補正に関する処理は行わない。

一方、全ての色成分について水平方向の閾値を超える割合または数の射影信号が有効と判定されていれば、制御部１２１はＳ１－４以降の処理を実行する。なお、以下の処理においては、全ての射影信号が有効と判定された場合を想定して説明するが、実際には、無効と判定された射影信号については処理をスキップする。

Ｓ１－４において制御部１２１は、式（４Ａ）から式（４Ｄ）に従って、撮像画像Ｉを基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング信号ＲＳ_ｋ（２ｉ_２－１）、ＧｒＳ_ｋ（２ｉ_２）、ＧｂＳ_ｋ（２ｉ_２－１）、ＢＳ_ｋ（２ｉ_２）を算出する。なお、撮像素子における画素の受光量は、画素を分割した副画素の受光量より大きい必要があり、さらに、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、制御部１２１は、条件式ＲＰ（２ｉ_２－１）＞ＲＰ_ｋ（２ｉ_２－１）＞０を満たす場合、式（４Ａ）に従って、第ｋ視点画像のＲ成分ＲＩ_ｋの射影信号ＲＰ_ｋ（２ｉ_２－１）と撮像画像のＲ成分ＲＩの射影信号ＲＰ（２ｉ_２－１）との比（すなわち割合）を算出する。そして、制御部１２１は、算出した比に規格化のための瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＲ成分のシェーディング信号ＲＳ_ｋ（２ｉ_２－１）を生成する。これにより、被写体に起因するＲの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＲのシェーディング成分を分離することができる。一方、制御部１２１は、条件式ＲＰ（２ｉ_２－１）＞ＲＰ_ｋ（２ｉ_２－１）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＲ成分のシェーディング信号ＲＳ_ｋ（２ｉ_２－１）を０に設定する。

同様に、他の色成分におけるシェーディング信号を算出する。第ｋ視点画像Ｉ_ｋのＧｒ成分については、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たす場合、式（４Ｂ）に従って第ｋ視点画像のＧｒ成分の射影信号ＧｒＰ_ｋ（２ｉ_２）と、撮像画像のＧｒ成分の射影信号ＧｒＰ（２ｉ_２）との比を算出する。そして、制御部１２１は、算出した比に規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＧｒ成分のシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を生成する。これにより、被写体に起因するＧｒの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＧｒ成分のシェーディング成分を分離することができる。また、制御部１２１は、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＧｒ成分のシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を０に設定する。

同様に、式（４Ｃ）及び（４Ｄ）に従って、第ｋ視点画像Ｉ_ｋのＧｂ成分のシェーディング信号ＧｂＳ_ｋ（２ｉ_２－１）及び第ｋ視点画像Ｉ_ｋのＢ成分のシェーディング信号ＢＳ_ｋ（２ｉ_２）を生成する。

なお、シェーディング補正精度を高精度に行うために、有効なシェーディング信号が十分存在する場合にのみシェーディング補正を行うようにしてもよい。例えば、ＲＳ_ｋ（２ｉ_２－１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２－１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号が所定数以上である場合に、シェーディング補正を行うようにすればよい。

また、制御部１２１は、式（５Ａ）から式（５Ｄ）に従って、第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２－１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２－１）、ＢＳＦ_ｋ（２ｉ_２）を算出する。これらのシェーディング関数は、例えば瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮ_ＳＦ次元の多項式関数である。また、上述した、ＲＳ_ｋ（２ｉ_２－１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２－１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号を、これらのシェーディング関数に入力するデータ点とする。

制御部１２１は、これらデータ点を用いて、例えば最小二乗法によりパラメーターフィッティングを行い、式（５Ａ）から式（５Ｄ）の各シェーディング関数の係数ＲＳＣ_ｋ（μ）、ＧｒＳＣ_ｋ（μ）、ＧｂＳＣ_ｋ（μ）、ＢＳＣ_ｋ（μ）を算出する。このようにして、撮像画像を基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２－１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２－１）、ＢＳＦ_ｋ（２ｉ_２）を生成することができる。シェーディング関数を用いた統計処理により、ｘ方向の位置に応じた統計的なシェーディングの発生傾向に基づいてシェーディング信号を調整することができるため、滑らかなシェーディング補正を行うことができる。

シェーディング関数ＲＳＦ_ｋ、ＧｒＳＦ_ｋ、ＧｂＳＦ_ｋ、ＢＳＦ_ｋを、瞳分割方向（ｘ方向）に反転した関数を、それぞれ、Ｒ［ＲＳＦ_ｋ］、Ｒ［ＧｒＳＦ_ｋ］、Ｒ［ＧｂＳＦ_ｋ］、Ｒ［ＢＳＦ_ｋ］とする。所定許容値をε（０＜ε＜１）として、１－ε≦ＲＳＦ_ｋ＋Ｒ［ＲＳＦ_ｋ］≦１＋ε、１－ε≦ＧｒＳＦ_ｋ＋Ｒ［ＧｒＳＦ_ｋ］≦１＋ε、１－ε≦ＧｂＳＦ_ｋ＋Ｒ［ＧｂＳＦ_ｋ］≦１＋ε、１－ε≦ＢＳＦ_ｋ＋Ｒ［ＢＳＦ_ｋ］≦１＋εの各条件式が、各位置で、全て満たされる場合、検出されたシェーディング関数は適正であると判定し、式（６Ａ）から式（６Ｄ）の処理を行う。それ以外の場合、検出されたシェーディング関数は不適正であると判定し、ＲＳＦ_ｋ≡１、ＧｒＳＦ_ｋ≡１、ＧｂＳＦ_ｋ≡１、ＢＳＦ_ｋ≡１とし、必要に応じて、例外処理を行う。

図１３（Ｃ）に、撮像画像Ｉを基準とした相対的な第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数ＲＳＦ_１（Ｒ）、ＧｒＳＦ_１（Ｇ）、ＧｂＳＦ_１（Ｇ）、ＢＳＦ_１（Ｂ）の例を示す。図１３（Ｂ）に示した第１視点画像の射影信号と、図１３（Ａ）に示した撮像画像の射影信号とには、被写体の色に起因した成分と、シェーディング成分とが含まれている。本実施形態では、第１視点画像の射影信号と撮像画像の射影信号の比を求めることによって被写体の色成分を相殺し、射影信号から分離したシェーディング信号に基づいてシェーディング関数を生成する。そのため、第１視点画像Ｉ_１について、精度のよい、滑らかなシェーディング関数をＲＧＢ成分ごとに生成することができる。

なお、上述の説明では、シェーディング関数を多項式関数を用いて生成した。しかし、これに限定されることはなく、シェーディングの特性に応じて他の関数を用いてシェーディング関数を生成してもよい。

Ｓ１－５において、制御部１２１は、第ｋ視点画像Ｉ_ｋ（ｊ，ｉ）に対して、式（６Ａ）から式（６Ｄ）に従ってシェーディング補正（輝度補正）を適用する。具体的には、制御部１２１は、第ｋ視点画像Ｉ_ｋ（ｊ，ｉ）の色成分ごとに、対応するシェーディング関数を用いてシェーディング補正処理を適用する。以下、シェーディング補正後の第ｋ視点画像Ｉ_ｋを第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋと呼ぶ。

ここで、ベイヤー配列の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第１修正）画像をＲＭ_１Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）＝Ｍ_１Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）、Ｇｒの第ｋ視点（第１修正）画像をＧｒＭ_１Ｉ_ｋ（２ｊ_２－１、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２－１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第１修正）画像をＧｂＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２－１）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２－１）、Ｂの第ｋ視点（第１修正）画像をＢＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。必要に応じて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ，ｉ）を出力画像としてもよい。

このように本実施形態では、撮像画像と視点画像の射影信号を用い、被写体の色成分による信号変化を相殺することにより、ＲＧＢごとのシェーディング関数（すなわち瞳ずれによって生じる光量のずれの大きさと位置との関係）を求めるようにした。この際、視点画像の射影信号の信頼性を判定し、信頼性の高い射影信号を用いてシェーディング関数を生成するため、精度の良いシェーディング関数が得られる。補正量取得手段としての制御部１２１は、シェーディング関数値の逆数をシェーディング補正量（輝度補正量）として生成する。そして、補正手段としての制御部１２１は、輝度補正量に基づいて視点画像の輝度を補正するシェーディング補正処理を行う。したがって、シェーディング関数の精度の向上により、シェーディング補正の精度も向上する。

ここで、図１４（Ａ）～図１４（Ｃ）を参照して、図９のＳ１に示した第１視点画像Ｉ_１（ｊ，ｉ）のＲＧＢごとのシェーディング補正処理の効果を説明する。まず、図１４（Ａ）は、本実施形態の撮像画像Ｉ（デモザイキング後）の例であり、画質品位が良好な撮像画像の例を示している。また、図１４（Ｂ）は、本実施形態のシェーディング補正前の第１視点画像Ｉ_１（デモザイキング後）の例を示している。すなわち、上述した結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによりＲＧＢごとのシェーディングが生じ、図１４（Ｂ）に示す第１視点画像Ｉ_１（ｊ，ｉ）では右側の周辺像高において輝度の低下（及びＲＧＢ比の変調）が生じている。更に図１４（Ｃ）は、本実施形態のシェーディング補正後の第１視点（第１修正）画像Ｍ_１Ｉ_１（デモザイキング後）の例を示している。すなわち、上述したＲＧＢごとのシェーディング補正により、輝度の低下（及びＲＧＢ比の変調）が修正され、撮像画像と同様に、画質品位の良好なシェーディング補正後の第１視点（第１修正）画像Ｍ_１Ｉ_１（ｊ，ｉ）が生成される。

（視点画像の欠陥補正）
次に、図９のＳ２で行う、視点画像に対する欠陥補正処理について説明する。本実施形態では、制御部１２１は、撮像画像Ｉに基づいて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの欠陥補正を行う。本実施形態では、ｋ＝１の場合を例に説明する。

撮像素子の回路構成や駆動方式により、転送ゲートの短絡などに起因して、撮像画像Ｉは正常であるものの、第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）のごく一部分な信号の欠陥が生じ、点欠陥や線欠陥となる場合がある。このような場合、必要に応じて、量産工程等で検査された点欠陥情報や線欠陥情報を、例えば画像処理回路１２５等に事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）の欠陥補正処理を行うことができる。また、必要に応じて、第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）をリアルタイムに検査して点欠陥判定や線欠陥判定を行うことができる。

以下、Ｓ２における欠陥補正処理の例では、第ｋ視点画像Ｉ_ｋには奇数行２ｊ_Ｄ－１もしくは偶数行２ｊ_Ｄの水平方向（ｘ方向）のライン状の線欠陥がある場合であって、撮像画像Ｉには当該奇数行もしくは偶数行の線欠陥がない場合を例に説明する。

Ｓ２－１において、制御部１２１は、正常な撮像画像Ｉを参照画像として用いて、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの欠陥補正を行う。すなわち、制御部１２１は、欠陥と判定されていない位置の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値とを比較する。但し、この比較を行う際には、瞳ずれにより生じた第ｋ視点画像Ｉ_ｋのＲＧＢごとのシェーディング成分の影響を取り除いたうえで、第ｋ視点画像Ｉ_ｋと撮像画像Ｉとで、被写体が有するＲＧＢごとの信号成分を正確に比較することが必要である。そのため、Ｓ１において生成された第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋを用いて、撮像画像Ｉと同等のシェーディング状態となった第ｋ視点画像を用いる。すなわち、本ステップでは、撮像画像Ｉを参照画像として用いながら、シェーディング補正された第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋに対して高精度な欠陥補正を行う。

制御部１２１は、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ，ｉ）のごく一部で欠陥と判定された信号に対して、撮像画像Ｉの正常信号と、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの正常信号とを用いる。なお、欠陥補正処理により生成される画像を第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ，ｉ）とする。ここで、ベイヤー配列の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第２修正）画像をＲＭ_２Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）＝Ｍ_２Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）、Ｇｒの第ｋ視点（第２修正）画像をＧｒＭ_２Ｉ_ｋ（２ｊ_２－１、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２－１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第２修正）画像をＧｂＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２－１）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２－１）、Ｂの第ｋ視点（第２修正）画像をＢＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

制御部１２１は、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＲの第１位置（２ｊ_Ｄ－１、２ｉ_Ｄ－１）が欠陥と判定された場合、式（７Ａ）に従う演算を行って、第１位置における第ｋ視点（第２修正）画像ＲＭ_２Ｉ_ｋ（２ｊ_Ｄ－１、２ｉ_Ｄ－１）を生成する。式（７Ａ）の演算には、第１位置の撮像画像ＲＩ（２ｊ_Ｄ－１、２ｉ_Ｄ－１）と、欠陥と判定されていないＲの第２位置の第ｋ視点（第１修正）画像ＲＭ_１Ｉ_ｋと、第２位置の撮像画像ＲＩとを用いる。

また、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＧｒの第１位置（２ｊ_Ｄ－１、２ｉ_Ｄ）が欠陥と判定された場合、式（７Ｂ）に従う演算を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｒＭ_２Ｉ_ｋ（２ｊ_Ｄ－１、２ｉ_Ｄ）を生成する。さらに、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＧｂ及びＢについても同様に、それぞれ式（７Ｃ）及び式（７Ｄ）に従って欠陥補正後の視点画像を生成する。

欠陥と判定されていない大部分の位置（ｊ，ｉ）では、第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ，ｉ）が第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ，ｉ）と同一（又は略同一）の信号値、すなわちＭ_２Ｉ_ｋ（ｊ，ｉ）＝Ｍ_１Ｉ_ｋ（ｊ，ｉ）である。なお、必要に応じて、欠陥補正後の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ，ｉ）を出力画像としてもよい。

さらに、図１５（Ａ）および図１５（Ｂ）を参照して、上述した欠陥補正処理の効果を説明する。図１５（Ａ）は、上述した欠陥補正前の第１視点（第１修正）画像Ｍ_１Ｉ_１の例を示す。なお、本画像は、シェーディング補正処理およびデモザイキング処理が施されている。この例は、第１視点（第１修正）画像Ｍ_１Ｉ_１（ｊ，ｉ）の中央部に、水平方向（ｘ方向）のライン状の線欠陥が生じている場合を示している。一方、図１５（Ｂ）は、上述した欠陥補正後の第１視点（第２修正）画像Ｍ_２Ｉ_１（シェーディング補正後、デモザイキング後）の例を示している。正常な撮像画像Ｉに基づく欠陥補正により、水平方向（ｘ方向）のライン状の線欠陥が修正され、撮像画像と同様に、画質品位が良好になっている。

本実施形態では、欠陥と判定された第１位置における視点画像の信号値を、第１位置における撮像画像の信号値と、欠陥と判定されていない第２位置における視点画像および撮像画像の信号値とに基づいて補正する。この際、シェーディング補正（輝度補正）された視点画像の信号値を用いるようにしたので、視点画像の補正精度を高めることができる。

さらに、制御部１２１は、Ｓ２－２において、欠陥補正後の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ，ｉ）に対して、式（８Ａ）から式（８Ｄ）に従ったシェーディング処理を行い、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ，ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第３修正）画像をＲＭ_３Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）＝Ｍ_３Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）、Ｇｒの第ｋ視点（第３修正）画像をＧｒＭ_３Ｉ_ｋ（２ｊ_２－１、２ｉ_２）＝Ｍ_３Ｉ_ｋ（２ｊ_２－１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第３修正）画像をＧｂＭ_３Ｉ_ｋ（２ｊ_２、２ｉ_２－１）＝Ｍ_３Ｉ_ｋ（２ｊ_２、２ｉ_２－１）、Ｂの第ｋ視点（第３修正）画像をＢＭ_３Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_３Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

Ｓ３において、撮像画像Ｉ（ｊ，ｉ）と、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ，ｉ）に対して、飽和信号処理を行う。本実施形態では、ｋ＝１、Ｎ_ＬＦ＝２である場合を例に説明する。

まず、Ｓ３－１において、制御部１２１は、撮像画像Ｉ（ｊ，ｉ）に対する飽和信号処理を行う。すなわち、式（９）に従い、撮像信号の最大値をＩｍａｘとする飽和信号処理を行って、修正撮像画像ＭＩ（ｊ，ｉ）を生成する。ここで、撮像信号の最大値Ｉｍａｘと、撮像信号の飽和判定閾値ＩＳは、Ｉｍａｘ≧ＩＳを満たす。

次に、Ｓ３－２において、制御部１２１は、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ，ｉ）に対する飽和信号処理を行う。すなわち、式（１０）に従い、ベイヤー配列のシェーディング関数をＳＦ_ｋ（ｊ，ｉ）としたシェーディング状態に合わせた飽和信号処理を行い、第ｋ視点（第４修正）画像Ｍ_４Ｉ_ｋ（ｊ，ｉ）を生成する。ここで、ベイヤー配列のシェーディング関数ＳＦ_ｋ（ｊ，ｉ）を、式（５Ａ）から式（５Ｄ）により、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに生成されたシェーディング関数ＲＳＦ_ｋ（２ｉ_２－１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２－１）、ＢＳＦ_ｋ（２ｉ_２）から、ＳＦ_ｋ（２ｊ_２－１、２ｉ_２－１）＝ＲＳＦ_ｋ（２ｉ_２－１）、ＳＦ_ｋ（２ｊ_２－１、２ｉ_２）＝ＧｒＳＦ_ｋ（２ｉ_２）、ＳＦ_ｋ（２ｊ_２、２ｉ_２－１）＝ＧｂＳＦ_ｋ（２ｉ_２－１）、ＳＦ_ｋ（２ｊ_２、２ｉ_２）＝ＢＳＦ_ｋ（２ｉ_２）とする。

次に、Ｓ４－１において、制御部１２１は、Ｓ３－１で生成された修正撮像画像ＭＩ（ｊ，ｉ）と、Ｓ３－２で生成された第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ，ｉ）から、式（１１）に従って第２視点画像Ｉ_２（ｊ，ｉ）を生成する。

なお、撮像素子の駆動方式やＡ／Ｄ変換の回路構成によっては、第１視点（第３修正）画像Ｍ_３Ｉ_１（ｊ，ｉ）の飽和時の最大信号値が、撮像画像Ｉ（ｊ，ｉ）の飽和時の最大信号値Ｉｍａｘと、同一の最大信号値となる場合がある。このような場合に、飽和信号処理を行うことなく、式（１１）を適用して撮像画像から第１視点（第３修正）画像を減算すると、生成される第２視点画像において飽和信号値となるべきところが誤った信号値０となる場合がある。このような動作を防止するため、Ｓ３では、撮像画像Ｉ（ｊ，ｉ）と第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ，ｉ）に対して予めシェーディング状態に合わせた飽和信号処理を行う。このようにして、飽和信号処理後の修正撮像画像ＭＩ（ｊ，ｉ）と第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ，ｉ）を生成する。Ｓ４－１では、式（１１）に従って第２視点画像Ｉ_２（ｊ，ｉ）を生成することにより、より正しい飽和信号値に対応した第２視点画像Ｉ_２を生成することができる。

Ｓ５では、制御部１２１は、第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ，ｉ）と、第２視点画像Ｉ_２（ｊ，ｉ）に対して、それぞれシェーディング補正を行う。Ｓ５－１では、第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ，ｉ）に対して、式（５Ａ）から式（５Ｄ）に従って生成済みのシェーディング関数ＲＳＦ_１、ＧｒＳＦ_１、ＧｂＳＦ_１、ＢＳＦ_１を適用する。そして、式（６Ａ）から式（６Ｄ）に従って、シェーディング補正処理を行う。なお、このとき第１視点（第５修正）画像Ｍ_５Ｉ_１（ｊ，ｉ）が生成される。

次に、Ｓ５－２において、制御部１２１は、第２視点画像Ｉ_２（ｊ，ｉ）に対して、式（３Ａ）から式（６Ｄ）と同様に、修正撮像画像ＭＩ（ｊ，ｉ）に基づくシェーディング補正処理を行って、第２視点（第５修正）画像Ｍ_５Ｉ_２（ｊ，ｉ）を生成する。なお、第２視点画像Ｉ_２の射影信号についても、第１視点画像Ｉ_１の射影信号と同様に有効性判定を行い、信頼性の高い射影信号を用いてシェーディング関数を生成する。

次に、Ｓ６では、制御部１２１は、第１視点（第５修正）画像Ｍ_５Ｉ_１（ｊ，ｉ）と、第２視点（第５修正）画像Ｍ_５Ｉ_２（ｊ，ｉ）に対して、それぞれ飽和信号処理を行う。Ｓ６－１では、第１視点（第５修正）画像Ｍ_５Ｉ_１（ｊ，ｉ）に対して、式（１２）に従って飽和信号処理を行い、修正第１視点画像ＭＩ_１（ｊ，ｉ）を生成する。一方、Ｓ６－２では、第２視点（第５修正）画像Ｍ_５Ｉ_２（ｊ，ｉ）に対して、式（１２）に従って飽和信号処理を行い、修正第２視点画像ＭＩ_２（ｊ，ｉ）を生成する。ここで、第ｋ視点画像の最大値Ｉｍａｘ／Ｎ_ＬＦと、第ｋ視点画像の飽和判定閾値ＩＳ_ｋは、Ｉｍａｘ／Ｎ_ＬＦ≧ＩＳ_ｋを満たす。

以下、図１６（Ａ）および図１６（Ｂ）を参照して、Ｓ５に示した第２視点画像Ｉ_２（ｊ，ｉ）に対するＲＧＢごとのシェーディング補正処理の効果について説明する。図１６（Ａ）は、シェーディング補正前の第２視点画像Ｉ_２（デモザイキング後）の例を示している。この例では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによってＲＧＢごとのシェーディングが生じているため、第２視点画像Ｉ_２（ｊ，ｉ）の左側では、輝度の低下（およびＲＧＢ比の変調）が生じている。一方、図１６（Ｂ）は、本実施形態に係るシェーディング補正後の修正第２視点画像ＭＩ_２（デモザイキング後）の例を示している。この例では、撮像画像に基づいたＲＧＢごとのシェーディング補正により、輝度の低下（およびＲＧＢ比の変調）が修正され、撮像画像と同様に、画質品位が良好な修正第２視点画像ＭＩ_２（ｊ，ｉ）が生成されている。

最後に、制御部１２１は、修正第１視点画像ＭＩ_１（ｊ，ｉ）および修正第２視点画像ＭＩ_２（ｊ，ｉ）のそれぞれを出力する。あるいは、制御部１２１は、修正第１視点画像ＭＩ_１（ｊ，ｉ）および修正第２視点画像ＭＩ_２（ｊ，ｉ）を１枚に合成した合成画像を出力する。

このように、本実施形態では、第１視点画像および第２視点画像に対し、撮像画像と視点画像とを用いて生成したシェーディング関数に基づくシェーディング補正を適用するようにした。その際、視点画像の射影信号に対して信頼性判定を行い、信頼性の高い射影信号を用いてシェーディング関数を生成することにより、精度の良いシェーディング関数を生成することができ、視点画像に対するシェーディング補正の精度を高めることができる。

（位相差方式の焦点検出処理）
次に、第１視点画像と第２視点画像（第１～第Ｎ_ＬＦ視点画像）から、第１視点画像と第２視点画像の相関（信号の一致度）に基づき、位相差方式によりデフォーカス量を検出する焦点検出処理について説明する。なお、以下の説明では、制御部１２１が処理を実行する例を説明するが、画像処理回路１２５が実行してもよい。

まず、制御部１２１は、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１～Ｎ_ＬＦ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、第ｋ視点輝度信号Ｙｋを、式（１３）に従って生成する。

次に、制御部１２１は、式（１４）に従って、第ｋ視点輝度信号Ｙｋ（ｋ＝１～Ｎ_ＬＦ）のシェーディング補正量Ｓ_ｋ（ｉ）を、瞳分割方向（ｘ方向）の位置ｉに対する滑らかなＮ_Ｓ次の多項式関数として算出する。撮像素子１０７の光学特性（第ｋ副画素ごとの瞳強度分布）と、結像光学系の光学特性（絞り値Ｆ、射出瞳距離Ｄｌ）に基づき、予め、各係数ＳＣ_ｋ（μ|Ｆ、Ｄｌ）を算出し、不図示のＲＯＭ等へ保存しておく。

さらに、制御部１２１は、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対して、式（１５）に従って、シェーディング補正量Ｓ_ｋ（ｉ）を用いたシェーディング補正処理を行い、第ｋ修正視点輝度信号ＭＹｋ（ｊ，ｉ）を生成する。

制御部１２１は、生成された第１修正視点輝度信号ＭＹ_１に対して、瞳分割方向（水平方向）に、１次元バンドパスフィルター処理を行い、第１焦点検出信号ｄＹＡを生成する。同様に、第２修正視点輝度信号ＭＹ_２に対して、瞳分割方向（水平方向）に、１次元バンドパスフィルター処理を行い、第２焦点検出信号ｄＹＢを生成する。なお、１次元バンドパスフィルターとしては、例えば、１次微分型フィルター［１、５、８、８、８、８、５、１、－１、－５、－８、－８、－８、－８、－５、－１］などを用いることができる。必要に応じて、１次元バンドパスフィルターの通過帯域を調整してもよい。

次に、制御部１２１は、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（水平方向）にシフトさせて、信号の一致度を表す相関量を算出し、算出した相関量に基づいて像ずれ量Ｍ_ＤＩＳを生成する。

例えば、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）を中心として、垂直方向ｊ_２番目、瞳分割方向である水平方向ｉ_２番目の第１焦点検出信号をｄＹＡ（ｊ_ＡＦ＋ｊ_２、ｉ_ＡＦ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ_ＡＦ＋ｊ_２、ｉ_ＡＦ＋ｉ_２）とする。但し、ｊ_２は－ｎ_２≦ｊ_２≦ｎ_２、ｉ_２は－ｍ_２≦ｉ_２≦ｍ_２である。さらに、シフト量をｓ（－ｎ_ｓ≦ｓ≦ｎ_ｓ）とすると、各位置（ｊ_ＡＦ，ｉ_ＡＦ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）および相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）は、それぞれ式（１６Ａ）および式（１６Ｂ）により算出することができる。

なお、相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相－１シフトずらした相関量である。

制御部１２１は、相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）から、それぞれ、サブピクセル演算を行って、相関量が最小値となる実数値のシフト量を算出する。さらに、算出したシフト量の平均値を算出し、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）における像ずれ量Ｄｉｓ（ｊ_ＡＦ、ｉ_ＡＦ）を検出する。

次に、制御部１２１は、像ずれ量からデフォーカス量への変換係数Ｋを、焦点検出領域の像高位置ごとに像ずれ量Ｄｉｓ（ｊ_ＡＦ、ｉ_ＡＦ）に乗算し、各焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）におけるデフォーカス量Ｍ_Ｄｅｆ（ｊ_ＡＦ、ｉ_ＡＦ）を検出する。なお、変換係数Ｋは、例えば、撮像素子の光学特性（第ｋ副画素ごとの瞳強度分布）およびレンズ情報（結像光学系の絞り値Ｆ、射出瞳距離Ｄｌなど）に応じて算出し、不図示のＲＯＭへ保存しておく。

最後に、制御部１２１は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）で検出されたデフォーカス量Ｍ_Ｄｅｆ（ｊ_ＡＦ、ｉ_ＡＦ）に応じて合焦位置にレンズを駆動して、焦点検出処理を終了する。

第１視点画像と第２視点画像（複数の視点画像）を用いて、自動焦点検出を行う場合、応答性に優れたリアルタイム処理の自動焦点検出を行うために、高速なシェーディング補正が必要となる場合がある。そのため、本実施形態では、自動焦点検出を行う場合には、不図示のＲＯＭ等に保存されている、予め算出されたシェーディング補正関連データを用いて高速にシェーディング補正を行うようにしてもよい。このようにすれば、良好な信号品質の位相差方式の焦点検出信号を用いることができ、精度が高く、応答性に優れた自動焦点検出を実現することができる。なお、シェーディング補正関連データは、撮像素子の光学特性（第ｋ副画素ごとの瞳強度分布）と結像光学系の光学特性（絞り値Ｆ、射出瞳距離Ｄｌ）とに基づき算出することができる。この場合、自動焦点検出を行う際には、特定の視点画像（例えば第１視点画像）についてのみシェーディング補正を適用し、より高速な自動焦点検出を行うようにしてもよい。

本実施形態は、画質品位が良好な視点画像、もしくは、これらの合成画像を画像出力する際は、撮像画像に基づいて、高精度なＲＧＢ毎のシェーディング補正を行う。一方、優れた応答性が要求されるリアルタイム処理の自動焦点検出の際は、シェーディング補正方法を切り換え、予め、算出され、記録媒体に保存されたシェーディング補正関連データによる高速なシェーディング補正を行う例を説明した。これにより、画質品位が良好な視点画像の画像出力と、応答性に優れた高精度な自動焦点検出を、両立することができる。

以上説明したように、単位画素内の光電変換部を分割した構造の撮像素子から得られるＬＦデータに基づいて撮像画像と視点画像を生成し、これらの画像に基づき視点画像に対するシェーディング（光量分布の偏り）を補正するようにした。さらに、シェーディング補正のなされた視点画像を用いて欠陥画素を補正するようにした。このようにすることで、良好な画質品位の視点画像を生成することができる。換言すれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することができるようになる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０７…撮像素子、１２１…制御部、１２５…画像処理回路

Claims (11)

1. 結像光学系の瞳領域のうち、異なる部分領域を通過する光束を受光する複数の光電変換部の、一部の光電変換部で得られる信号から生成される視点画像と、全部の光電変換部で得られる信号から生成される撮像画像とを取得する画像取得手段と、
   前記視点画像の輝度補正量を、前記視点画像および前記撮像画像を用いて取得する補正量取得手段と、
   前記輝度補正量に基づいて前記視点画像の輝度を補正する補正手段と、
   を有する画像処理装置であって、
   前記補正量取得手段は、
   前記撮像画像および前記視点画像それぞれの射影信号を生成する射影手段と、
   前記視点画像の射影信号の有効性を判定する判定手段と、
   前記視点画像の射影信号のうち、前記判定手段に有効と判定された射影信号と、前記撮像画像の射影信号とを用いて前記輝度補正量を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記射影手段は、前記撮像画像および前記視点画像を予め定めた射影方向に射影して１次元の射影信号を生成し、
   前記判定手段は、前記視点画像の前記射影方向に並んだ複数の画素の値に基づく評価値を、閾値と比較することにより、該信号の有効性を判定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記評価値が、前記複数の画素のうち、欠陥画素位置に該当する画素の値を用いずに生成されることを特徴とする請求項２に記載の画像処理装置。
4. 前記評価値が、前記複数の画素のうち、欠陥画素位置に該当しない画素の値の二乗累積値であることを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記評価値が、前記視点画像のＳＮ比を考慮した評価値であることを特徴とする請求項２または請求項３に記載の画像処理装置。
6. 前記判定手段は、前記複数の画素に基づく前記評価値が前記閾値より大きい場合、前記複数の画素に対応する射影信号を有効と判定し、前記評価値が前記閾値以下の場合、前記複数の画素に対応する射影信号を無効と判定することを特徴とする請求項２から請求項５のいずれか１項に記載の画像処理装置。
7. 前記射影信号のうち、前記判定手段によって有効と判定された信号の数または割合が閾値以下の場合、前記輝度補正量の生成および前記輝度補正量に基づく前記視点画像の輝度の補正を行わないことを特徴とする請求項２から請求項６のいずれか１項に記載の画像処理装置。
8. 前記補正量取得手段は、前記視点画像の射影信号のうち前記判定手段によって有効と判定された射影信号と、対応する前記撮像画像の射影信号との比に基づく前記輝度補正量を取得することを特徴とする請求項２から請求項７のいずれか１項に記載の画像処理装置。
9. 請求項１から請求項８のいずれか１項に記載の画像処理装置と、
   前記複数の光電変換部を備わる画素が複数配列された撮像素子と、
   を有することを特徴とする撮像装置。
10. 画像処理装置が実行する画像処理方法であって、
    結像光学系の瞳領域のうち、異なる部分領域を通過する光束を受光する複数の光電変換部の、一部の光電変換部で得られる信号から生成される視点画像と、全部の光電変換部で得られる信号から生成される撮像画像とを取得する画像取得工程と、
    前記視点画像の輝度補正量を、前記視点画像および前記撮像画像を用いて取得する補正量取得工程と、
    前記輝度補正量に基づいて前記視点画像の輝度を補正する補正工程と、
    を有し、
    前記補正量取得工程は、
    前記撮像画像および前記視点画像それぞれの射影信号を生成する射影工程と、
    前記視点画像の射影信号の有効性を判定する判定工程と、
    前記視点画像の射影信号のうち、前記判定工程で有効と判定された射影信号と、前記撮像画像の射影信号とを用いて前記輝度補正量を生成する生成工程と、
    を有することを特徴とする画像処理方法。
11. コンピュータを、請求項１から請求項８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images