JP6506506B2 - 画像処理装置、撮像装置、制御方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法およびプログラムに関し、特に外的要因による画素信号の出力低下を検出する技術に関する。

デジタルカメラ等の撮像装置の中には、撮像面に入射した被写体からの反射光束の強度分布をその入射方向の情報とともに光線空間情報（Light Field Information）として記録可能なものがある。このような撮像装置では、撮影により記録された光線空間情報を用いることで、撮影後に所定の焦点位置での光束の強度分布を再現し、対応する被写体距離に合焦した画像（再構成画像）を生成（再構成）することができる（特許文献１）。

特開２００７−４４７１号公報

ところで、撮像装置を用いた撮影により得られる画素信号では、画素に結像される光束に対応して本来得られる信号出力とは異なる出力が得られることがある。また、特許文献１に記載の撮像装置において、このような信号出力の低下が発生した場合、得られた光線空間情報から再構成画像を生成する際に正しい強度分布が再現できず、再構成画像の画質を劣化させることになる。

画素の信号出力を変動させる要因の１つに、撮像素子を構成する半導体（光電変換素子）の局所的な感度不良がある。このような感度不良は、撮像素子の製造工程において初期的に生じるものと、経時変化等の後発的なものとが存在する。これらの感度不良を生ぜしめる画素は、例えば遮光状態での暗電流の発生を測定する方法等により検出できる。

またこの他、撮像装置内に混入した異物が反射光束の光路上に存在することによっても信号出力の変動が生じうる。例えば特許文献１のように光路上にマイクロレンズが配置される場合、マイクロレンズに付着した埃、塵等の異物によって信号出力が低下しうる。具体的には、マイクロレンズに異物が付着している場合、該マイクロレンズを通過する一部の光束が遮られることになるため、信号出力の低下が発生する。特に光線空間情報は、入射した光束をマイクロレンズによって異なる複数の入射方向に分離させることで得られるため、該マイクロレンズに対応付けられた画素群のうち、少なくとも一部の画素において信号出力の低下が発生する。またマイクロレンズを使用する場合は、マイクロレンズ上に発生した傷やクラック等によっても同様に信号出力の低下が発生する。

しかしながら、画素の信号出力を変動させた要因が、半導体の感度不良によるものであるか、マイクロレンズの傷や付着した異物等の外的要因によるものであるか判別することは困難であった。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、外的要因による画素信号の出力変動を検出することが可能な画像処理装置、撮像装置、制御方法およびプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、複数のマイクロレンズと、該複数のマイクロレンズのそれぞれに複数の画素が対応づけられた撮像素子から得られる画素信号を取得する取得手段と、取得手段により取得される撮像面での画素信号に基づいて、前記撮像面とは光軸方向において異なる位置に設定された再構成面における画像を生成する生成手段と、生成手段により生成された前記再構成面における画像の画素信号を用いて、前記再構成面における対応する複数の画素の画素値が、他のマイクロレンズにおいての前記再構成面における対応する複数の画素の画素値に比べて低い異常マイクロレンズを検出する検出手段とを有することを特徴とする。

本発明によれば、外的要因による画素信号の出力変動を検出することが可能になる。

実施形態１に係るマイクロレンズに付着した異物の検出および異物の影響を補正した再構成画像の生成方法を説明する図 実施形態１に係るデジタルカメラ１００の機能構成例を示すブロック図 実施形態１に係るデジタルカメラ１００の撮像素子６、マイクロレンズアレイ２０、撮影光学系３の関係を模式的に示す図 実施形態１に係る再構成画像の生成方法を模式的に示す図 異物が付着した場合の撮像素子６、マイクロレンズ、撮影光学系３の関係を模式的に示す図 実施形態１に係る異常を検出する処理の一連の動作を示すフローチャート 実施形態１に係る異常の影響を補正する処理の一連の動作を示すフローチャート 実施形態２に係る異常の影響を補正する処理を模式的に示す図 実施形態２に係る異物の影響を補正する処理の一連の動作を示すフローチャート 実施形態３に係る補正処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、被写体からの反射光束の強度および入射角度の情報を有する画素値から構成される光線空間情報（ＬＦデータ）を記録可能なデジタルカメラ１００に本発明を適用した例を説明する。しかし、本発明は必ずしもＬＦデータを記録可能な構成に限らず、記録されたＬＦデータを読み込んで、画素出力の低下を検出することが可能な機器にも適用可能である。

（１ デジタルカメラ１００の構成）
図２は本実施形態のデジタルカメラ１００の機能構成例を示すブロック図である。

本実施形態のデジタルカメラ１００は、カメラボディ１と脱着可能なレンズ２とから構成される。カメラボディ１とレンズ２とは、レンズマウント（不図示）を通じて機械的に接続されるとともに、互いの有する電気接点１１の接触により電気的に接続される。

被写体からの反射光束は、撮影光学系３を介して撮像素子６の各受光素子に結像される。本実施形態では撮像素子６と撮影光学系３との間にはマイクロレンズアレイ（ＭＬＡ）２０が配置されており、ＭＬＡ２０上にはマイクロレンズが格子状に並んでいる。１つのマイクロレンズには、撮像素子の複数の光電変換素子が対応付けられており、マイクロレンズに入射した光束は該複数の光電変換素子によって受光されて光電変換される。即ち、撮影光学系３の射出瞳を通過した光束は各マイクロレンズによって複数の入射方向ごとに展開され、複数の光電変換素子によって受光される。このように、１つのマイクロレンズに対応付けられた光電変換素子の各々は、分割された瞳領域の各々を通過した光束に対応した画素信号を出力する。つまり、本実施形態の撮像素子６は、ＭＬＡ２０の各マイクロレンズの位置に入射した光束を、さらに入射方向ごとに分離して光電変換できるため、画素信号を上述のＬＦデータとして出力することができる。なお、ＭＬＡ２０の機能や配置の詳細については図３を用いて後述する。

画像処理部７は、撮像素子６が出力したＬＦデータに対して種々の画像処理を適用し、記録用のデータを生成する。画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路等を有し、入力されたＬＦデータに対して種々の画像処理を適用する。また、画像処理部７は、入力されたＬＦデータに対して、画素出力を低下させる要因となるマイクロレンズの異常を検出する処理を行う。なお、本実施形態では撮像素子６の感度不良によるものでなく、上述したようなマイクロレンズの傷やマイクロレンズに付着した異物等の出力低下を引き起こす外的要因を「マイクロレンズの異常」として表現する。また、画像処理部７は、入力されたＬＦデータからマイクロレンズの異常を検出した場合、検出した異常を補正した上で、任意の被写体距離に合焦させた再構成画像を生成する処理を行う。さらに、画像処理部７は、記録用のデータが予め定められた符号化形式で記録される場合、ＬＦデータ、画像、動画、音声などの記録用のデータを圧縮・伸長する回路を有していてもよい。この場合、画像処理部７は記録用のデータを圧縮した後、記録部８に伝送して記録させる、あるいは記録部８に記録されたデータを読み出し、伸長することで例えば後述の表示部９に表示するデータを生成する。

記録部８は、入力されたデータを記録する記録媒体である。記録部８は、記録媒体の他に、該記録媒体へのデータの読み書きをするための回路を備えており、画像処理部７から入力されたデータの記録媒体への記録および記録媒体に記録されたデータの読み出しを行う。

カメラシステム制御部５は、例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサである。カメラシステム制御部５は、例えば不図示の不揮発性メモリに記憶されたプログラムを読み出し、ＲＡＭ（不図示）に展開して実行することにより各ブロックの動作を制御する。例えば、レリーズボタンになされた操作を操作部１０が検出すると、撮像素子６の駆動や画像処理部７の動作などを制御するほか、必要に応じて表示部９に画像や情報を表示させる。カメラシステム制御部５は、画像処理部７の処理結果に基づいて適切な焦点位置、絞り値を求め、電気接点１１を介してレンズシステム制御部１２を制御する。

レンズシステム制御部１２は、カメラシステム制御部５からの指示に応じてレンズ駆動部１３を適切に制御する。レンズシステム制御部１２には不図示の手振れ検出センサが接続されている。レンズシステム制御部１２は、手振れ補正を行うモードが設定されている場合、手振れ検出センサの信号に基づいてレンズ駆動部１３を介して振れ補正レンズを適切に制御する。レンズ駆動部１３は、焦点レンズ、振れ補正レンズ、絞りなどを駆動することができる。

操作部１０は、デジタルカメラ１００が有するユーザインタフェースである。操作部１０は、例えばレリーズボタンになされた操作入力や、合焦距離や絞り等の変更に係る操作入力を検出すると、該操作に対応する制御信号をカメラシステム制御部５に出力する。

（２ 撮影光学系の説明）
図３（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示している。図３（ａ）の側面図に示されるように、撮像素子６とＭＬＡ２０は一体となって構成されている。本実施形態では撮像素子６上のＭＬＡ２０は、各マイクロレンズの前側主点が撮影光学系３の結像面近傍となるように配置される。また図３（ａ）の正面図（ｚ軸負の方向にＭＬＡ２０を見た図）に示されるように、ＭＬＡ２０は撮像素子６の光電変換素子（以下、画素という）を覆うように配置されている。

ここで、ＭＬＡ２０の各マイクロレンズには、図３（ｂ）に示されるように撮像素子６の複数の画素が対応付けられている。図３（ｂ）において格子状の枠は、撮像素子６の各画素を示しており、円２０ａ，２０ｂ，２０ｃ，２０ｄはマイクロレンズを示している。本実施形態のデジタルカメラ１００では、図３（ｂ）に示されるように１つのマイクロレンズに対して５行×５列＝２５個の画素が対応付けられている（すなわち各マイクロレンズの大きさは画素の大きさの５×５倍の大きさに対応する）。

また図３（ｃ）は、ＭＬＡ２０の各マイクロレンズに対応付けられた撮像素子６の画素に入射する光束と、撮影光学系３の瞳領域との対応関係を示している。図３（ｃ）では便宜上、１つのマイクロレンズの主点を通りＹ軸と直交するＸＺ断面について示した該マイクロレンズおよびレンズに対応付けられた撮像素子６の画素と、Ｚ軸と直交する射出瞳面（ＸＹ平面）を示した瞳領域とを同一平面に展開して示している。図３（ｃ）において画素２１〜２５は、例えば図３（ｂ）の画素２１ａ〜２５ａと対応しており、該画素にはそれぞれ分割瞳領域を通過した光束が入射する。つまり、ＭＬＡ２０のマイクロレンズによって画素２１〜２５の各々は撮影光学系３の射出瞳面上の特定の分割瞳領域と共役になるように設計されている。図３（ｃ）の例では、画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４、画素２５と領域３５がそれぞれ対応している。従って、マイクロレンズの位置および射出瞳面と撮像素子６の距離が定まることにより、該マイクロレンズに対応付けられた画素の各々に入射する光束の入射角度の情報が実質的に取得可能である。

（３ 像シフト処理および像生成処理）
本実施形態の記載において「再構成画像の生成」とは、撮像面について得られたＬＦデータから任意の被写体距離に合焦させた画像を生成する処理をいう。

再構成画像の生成では、（１）合焦させる被写体距離に対応する像面（再構成面、焦点面）における光線分布をＬＦデータを基に再現し、（２）再構成画像の各画素に対応する光束に基づいて該画素の画素値を決定する。再構成面における光線分布とは、再構成面の位置にＭＬＡ２０および撮像素子６を配置して撮影した場合に得られるＬＦデータと等価である。具体的には、画像処理部７はまず、撮像により得られたＬＦデータの各画素に対応する光束が再構成面上のいずれの位置を通過したかを、撮像面と再構成面との位置関係およびＬＦデータの各画素に対応する光束の入射方向により特定する。即ち、画像処理部７は、再構成面に仮想的に撮像素子６を配置して撮影を行った場合に各画素が受光する光束が、記録されたＬＦデータのいずれの画素において受光された光束と対応するかを特定する。

例えば、図３（ｂ）のように各マイクロレンズに撮像素子６の５×５の画素が対応付けられている場合の、撮像面について得られたＬＦデータと、再構成面において再現するＬＦデータとの対応を図４に示す。なお、撮像面および再構成面上の各画素は２次元に配列されるが、説明を簡略化する目的で、図４にはＹ軸方向に１次元に並んだ画素の配列を示す。

図４では、撮像面について得られたＬＦデータの各画素に対し、対応する光束が通過した分割瞳領域を識別可能なように「１」〜「５」の番号を付して示している。ＭＬＡ２０の各マイクロレンズに対応付けられた画素は該マイクロレンズにより入射方向ごとに展開された光束を受光するため、各画素に入射する光束の光路を特定することができる。図４には、撮像面について得られたＬＦデータの各画素と各画素が対応付けられたマイクロレンズとの位置関係から定まる、各画素に対応する光束の光路が直線で示されている。即ち、撮像面について得られたＬＦデータからはこれらの光路の情報が取得できるため、撮像面と異なる位置に設定された再構成面において光束がいずれの位置を通過したかを特定することができる。図４に示されるように、例えば１つのマイクロレンズに対応するＭＬ画素群５０の「２」の画素に対応する光束は、再構成面４１において同一位置のマイクロレンズに対応して配置された仮想的な画素群のうちの異なる画素位置を通過している。図４では、再構成面４１、４２、４３の各々に仮想的に撮像素子を配置した場合に、ＬＦデータのいずれの画素に対応する光束が仮想的に配置した撮像素子の各画素を通過するかを明示するため、分割瞳領域を識別する番号を各画素に示している。図からも明らかなように、撮像面について得られたＬＦデータの各画素に対応する光束の光路の情報から、任意の再構成面上に撮像素子を配置した場合に得られるＬＦデータの各画素の対応関係を特定することができる。

再構成画像の生成を行う再構成面について、撮像面とのＬＦデータの対応関係を特定した後、画像処理部７はＬＦデータの画素の配列（並べ替え）を行い、再構成面において得られるＬＦデータ（再現情報）を生成する。本実施形態では該再現情報を生成する処理、即ち再構成面における光線分布を示すようにＬＦデータの画素の配列を行う処理を像シフト処理と呼ぶ。

そして画像処理部７は、このように生成した再現情報に基づいて、再構成画像の生成を行う。ＬＦデータは、ＭＬＡ２０の各マイクロレンズに結像した光学像を、瞳領域ごとに分割して対応する画素に受光させることで得られたものである。従って、各マイクロレンズに対応付けられた瞳分割数の画素で構成される画素群（以下、ＭＬ画素群）の画素値を総和することで、該マイクロレンズに結像した光学像に対応する画素値を得ることができ、撮像面に対応する再構成画像を生成することができる。一方、任意の被写体距離に合焦させた再構成画像を生成する場合は、対応する再構成面に仮想的にＭＬＡ２０および撮像素子を配置した際の各マイクロレンズにて、同様の画素値の総和を行えばよい。即ち、任意の被写体距離に合焦させた再構成画像の各画素の画素値は、再現情報に含まれる各ＭＬ画素群を構成する画素の画素値を総和することで得られる。これにより、ＭＬＡ２０が有するマイクロレンズの数を画素数とする再構成画像を生成することができる。本実施形態では、像シフト処理後のＬＦデータ（再現情報）から画素値の合算により再構成画像の各画素の画素値を決定し、再構成画像を生成する処理を像生成処理と呼ぶ。

図４は撮像面上のＭＬ画素群５０が瞳分割数分の画素を足し合わせることで生成される例を示す。例えば、撮像面上のＭＬ画素群５０ａにおいては、該ＭＬ画素群を構成する各画素、即ち１〜５の各画素に入射した光束について、画素値を総和することで該マイクロレンズに結像した光学像に対応する画素値を得ることができる。一方、再構成面４１におけるＭＬ画素群５０ｂを構成する画素に対するＬＦデータの対応関係は、撮像面上のＭＬ画素群５０ａを構成する２、３、４の画素と、隣接するＭＬ画素群の１の画素と、隣接する他方のＭＬ画素群の５の画素のように特定される。そして、特定された各画素はＭＬ画素群５０ｂに配置（像シフト）され、再構成面４１におけるＭＬ画素群５０ｂの画素値は、各画素の画素値を加算して生成（像生成）される。なお、加算においては、それぞれ重み付け係数を１として加算して生成するものとする。この加算処理は各マイクロレンズに対して順次行われる。これらの処理により、図４に示す再構成面４２および再構成面４３における像生成も同様に可能となる。また、例えば画素加算時に所定のマイクロレンズ下の３の画素値のみの重み付け係数を１、他は０としたＭＬ画素群の出力は、瞳を絞った状態と等価、即ち撮像素子に入射する光束を中央の分割瞳を通過する光束に制限した場合と等価な画像となる。このため、全画素加算して得られる画像よりも被写界深度が深い画像となる。

（４ マイクロレンズの異常検出処理）
ＭＬＡ２０のマイクロレンズ表面に異物が付着しているケースを例に、マイクロレンズの異常を検出する処理を説明する。

上述のように、各マイクロレンズに入射する光束は、マイクロレンズに対応する画素群（即ち、ＭＬ画素群）によって複数の入射方向に分離して受光される。このため、マイクロレンズ上に異物が付着した場合、ＭＬ画素群が受光する一部の光束が遮られ、ＭＬ画素群を構成する各画素の出力は低下する。このとき、複数の入射角度を持った光束の一部が一様に遮られるため、各画素の出力は異物が付着していない場合と比べて同様の比率で低下する。また、上述のように像生成処理では、設定された再構成面において各ＭＬ画素群を構成する画素の画素値を総和する。このため、異物により出力の低下した各画素の画素値を用いて像生成処理を行う場合、生成される再構成画像は、画素値の低下による劣化した画像となる。

例えば図５に示すように、異物６１が図３（ｃ）で示したマイクロレンズ上に付着した場合、撮影光学系３の射出瞳面上の領域３１〜３５を通過した光束は、異物によりその一部が一様に遮られた状態となる。このため、該光束を受光した各画素２１、２２、２３、２４、２５の画素値は低下する。射出瞳面上の領域３１〜３５のハッチングは異物の影響により該領域を通過した光束を受光した画素の画素値が揃って低下していることを示している。以下の説明では、異物の影響を受けて画素値の低下した画素を、単に低下画素と呼ぶ。

本実施形態では、異物の付着したマイクロレンズに対応する各画素の画素値が該異物により同程度に低下することを利用して、異物の付着を検出する。例えば図１に示すようにマイクロレンズ２０ｅ上に異物６１が付着した場合、撮像面でマイクロレンズ２０ｅに対応する画素２００ａ、２００ｂ、２００ｃ、２００ｄ、２００ｅは異物によって一部が遮られた光束を受光する。図１では、図４と同様に撮像面について得られたＬＦデータの各画素に対して対応する光束が通過した分割瞳領域を識別可能なように「１」〜「５」の番号を付している。また異物により画素値の低下した画素（低下画素）をハッチングで示している。取得したＬＦデータに対して像シフト処理を施し、所定の被写体距離に対応する再構成面における光線分布を再現すると、撮像面上の低下画素は再構成面４２上の異なるＭＬ画素群に分散して配列される。再構成面４２におけるＭＬ画素群５０ｃは、画素２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ、２０１ｅから構成され、撮像面における画素２００ｂ、２００ｃ、２００ｄは像シフト処理されるとＭＬ画素群５０ｃに配列される。また、ＭＬ画素群５０ｄは画素２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ、２０２ｅから構成され、撮像面の異物６１の影響を受けた画素２００ａは像シフト処理されてＭＬ画素群５０ｄに配列される。同様にＭＬ画素群５０ｅは画素２０３ａ、２０３ｂ、２０３ｃ、２０３ｄ、２０３ｅから構成され、撮像面の画素２００ｅが像シフト処理されるＭＬ画素群５０ｅに配列される。なお、以下の説明では、ＭＬ画素群が対応する再構成画像上の二次元位置を単に二次元位置と称する。

仮に異物が存在せず、かつ再構成面におけるＭＬ画素群の二次元位置において被写体が合焦状態にある場合、被写体の１点から反射した光束はＭＬ画素群に対応するマイクロレンズに収束するため、該ＭＬ画素群を構成する画素の画素値は略同一となる。一方、異物が存在し、再構成面上において画素値の低下した画素が配置されたＭＬ画素群（５０ｃ、５０ｄ、５０ｅ）の二次元位置において被写体が合焦状態にある場合を考える。この場合、画素値の低下した画素２０１ａ、２０１ｃ、２０１ｅの画素値は他の画素２０１ｂ、２０１ｄと比較して一定の割合で低下した状態となる。従って合焦状態にあるＭＬ画素群を構成する画素のうち、出力の高い画素値（出力の低下していない画素値）を基準に出力の低下した画素値の比率（即ち出力比）を求めれば、異物の影響を受けた可能性のある画素を特定することができる。例えばＭＬ画素群５０ｃにおける画素２０１ａ、２０１ｃ、２０１ｅの出力比が所定の値より低い場合、これらの画素は異物の影響を受けた可能性があると判断できる。なお、出力比は例えば０から１までの値が設定され、異物の影響が無い場合は１が、異物の影響により画素値が低下した場合は１より小さい値が設定される。

本実施形態では、このように特定された異物の影響を受けた可能性がある画素が、所謂欠陥画素のような半導体の感度不良によるものではなく、マイクロレンズに付着した異物の影響を受けたものであることを判別するために、さらに判断を行う。具体的には、該異物の影響を受けた可能性があると特定された画素の、撮像面の配置における画素位置を特定し、対応するＭＬ画素群の他の画素についても同様に影響を受けた可能性があるとの判定がなされているかを判断を行う。なお、このような判断を行うためには、少なくとも該ＭＬ画素群の他の画素についても上述の異物の影響を受けた可能性があるか否かの判定を行っておく必要がある。

前述のように、撮像面において異物の付着したマイクロレンズに対応するＭＬ画素群の各画素の画素値は低下に係る出力比が同様の傾向を示す。このため、異物の影響を受けた可能性があるとして特定された画素が含まれる、撮像面におけるＭＬ画素群を構成する画素のうち所定数以上の画素の出力比が所定の値より低いときは、対応するマイクロレンズに異物が付着していると判断できる。図１の例において、画素２０１ａが撮像面におけるＭＬ画素群５０ｂに対応することから、画像処理部７はＭＬ画素群５０ｂを構成する他の画素の出力比、即ち画素２０１ｃ、２０１ｅ、２０２ｄ、２０３ｂの出力比が同様に低いか判定する。各出力比が同様に低い場合、画像処理部７はマイクロレンズ２０ｅに異物が付着しているものとして異常検出を行う。また、各出力比が所定の値より低いだけでなく、所定数以上の各画素の出力比が一定の範囲内に収まる一様な出力比である場合に異物が付着していると判断しても良い。異物が付着したことによってＭＬ画素群の一部の画素が一様に影響を受ける特性を活かした、より好適な異常検出が可能になる。画像処理部７は、異物が検出された検出結果を示す情報（以下、単に検出情報という）を記録部８に記録する。検出情報には例えば異物が付着しているマイクロレンズの位置、撮像面において該マイクロレンズに対応する各画素のアドレス、各画素に対する出力比が含まれる。

本実施形態では、再構成画像上の合焦する画像位置のＭＬ画素群および対応する撮像面上でのＭＬ画素群において、各画素の画素値あるいは出力比を比較してマイクロレンズ上の異常を検出する処理を異常検出処理と呼ぶ。

なお、本実施形態では特定の再構成面（例えば再構成面４２）上の合焦する二次元位置のＭＬ画素群について異常検出を行う場合を説明したが、再構成面に対応する被写体距離を順次変えながら異常検出処理を行ってもよい。このようにすれば合焦する二次元位置を変化させて各二次元位置で合焦するＭＬ画素群について異常検出を行うことが可能となり、広範囲でマイクロレンズの異常検出が可能となる。また、本実施形態ではマイクロレンズに異物が付着した場合について説明したが、製造工程等でマイクロレンズに傷等の欠陥が生じ、ＭＬ画素群を構成する画素の画素値が一様に減衰する場合についても、上述の異常検出処理が適応可能である。

（５ 低下画素に対する補正処理）
低下画素を含むＬＦデータを用いて像生成処理を行う場合における低下画素に対する補正方法を説明する。

上述したように、再構成面におけるＭＬ画素群の二次元位置で被写体が合焦状態となる場合、該ＭＬ画素群に含まれる低下画素以外の画素は、略同一の画素値となる。このため、低下画素の画素値は、同一のＭＬ画素群に含まれる他の画素の画素値を用いて補正される。図１に示すＭＬ画素群５０ｄの例では、低下画素である２０２ｄの画素値はＭＬ画素群５０ｄに含まれる他の画素２０２ａ、２０２ｂ、２０２ｃ、２０２ｅの画素値の平均値に置き換えられて補正される。一方、再構成面におけるＭＬ画素群の二次元位置が合焦状態でない場合、低下画素は異常検出処理で得られた出力比の逆数のゲインをかけることにより補正される。ゲインを掛けることで低下画素のノイズを増幅することとなるが、対象となる再構成画像上の領域はボケている状態であるためノイズの影響による違和感は少ない。

なお、低下画素の出力比が所定の値よりも高い場合は、異物の影響が少ないものとして上述の補正処理を行わず、単に低下画素の画素値に出力比の逆数のゲインをかけて補正してもよい。異物の影響が少ない画素に対しては処理を簡略化して処理の高速化を図ることが可能になる。

また、上述の補正処理は、上述の異常検出処理により生成された検出情報に加えて別途生成された検出情報を用いてもよい。別途生成された検出情報は、例えば撮影前またはデジタルカメラ１００の製造工程等において予め異常を検出して記録部８に書き込まれる。この異常の検出では、異物がなければ撮像面のすべての画素の出力が同一となる均一な輝度の光源を撮影し、ＭＬ画素群の画素について出力が低下している画素を特定して検出情報を記録する。

（６ 異常検出処理および補正処理に係る一連の動作）
本実施形態における異常検出処理および補正処理に係る一連の動作について図６および図７に示すフローチャートを用いて説明する。

図６（ａ）は、異常検出処理および補正処理を含むＬＦデータの取得から再構成画像の生成までの動作全体を示すフローチャートである。図６（ｂ）は異常検出処理の動作を、図７（ａ）は像生成処理の動作を、図７（ｂ）は補正処理の動作を、それぞれ示す。

フローチャートに対応する処理は、カメラシステム制御部５が、例えば不揮発性メモリに記憶されている処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。本処理は、例えばデジタルカメラ１００が撮影モードに設定されている状態で、レリーズボタンの押下等により画像取得指示がなされたことを検出した場合に開始される。

処理が開始すると、まずＳ１００１において画像処理部７はカメラシステム制御部５の制御の下、撮像により得られたＬＦデータを取得する。具体的にはカメラシステム制御部５により電気接点１１を通じてレンズシステム制御部１２に指示が出されると、レンズシステム制御部１２はレンズ駆動部１３にシャッタ兼絞りの動作を制御させ、適切な露出条件で撮像素子６を露光する。さらに、撮像素子６は、露光により各受光素子に蓄積された電荷を読み出し、得られたアナログ画素信号を画像処理部７に出力する。そして画像処理部７は、アナログ画素信号に対してＡ／Ｄ変換や補正等の処理を施すことにより、ＬＦデータを取得する。

Ｓ１００２において、カメラシステム制御部５は、得られたＬＦデータの、各二次元位置の被写体距離を検出する。具体的にはカメラシステム制御部５は、例えば不図示の位相差検出方式の焦点検出ユニットの２次元出力に基づいて、各二次元位置の被写体に合焦する焦点位置の情報から、各二次元位置の被写体距離を算出する。ここで、各二次元位置の被写体とは、合焦した場合に再構成画像の各２次元座標に現れる被写体を示すものとする。焦点検出ユニットは、この他、例えば撮像光学系のフォーカスレンズを駆動させることで生じる像のコントラスト変化により焦点検出を行うコントラスト検出方式を使用するものであってもよい。カメラシステム制御部５は、各二次元位置の被写体距離の情報を取得すると、該情報をＲＡＭに格納する。

Ｓ１００３において、画像処理部７は、異常画素の検出を行う被写体距離を設定し、該被写体距離に合焦する再構成面の光線分布を再現したＬＦデータを生成する。具体的には画像処理部７は、Ｓ１００１で取得したＬＦデータに対して像シフト処理を適用し、設定した被写体距離に合焦する光線分布を示すようにＬＦデータの各画素を並べ替える。即ち、画像処理部７は、ＬＦデータの各画素に対応する光束が再構成面において通過する位置を特定し、ＬＦデータの各画素のシフト量（並べ替え時の移動量）を算出する。そして画像処理部７は、算出したシフト量に基づいて各画素を並べ替え、シフト後のＬＦデータを生成する。

Ｓ１００４において、画像処理部７は、設定した被写体距離に被写体が存在する二次元位置を特定し、シフト後のＬＦデータの該位置の画素群について後述の異常検出処理を行う。なお、上述したように画素値の出力低下が半導体の感度不良によるものか、マイクロレンズの異常によるものかを判別するために、異常検出処理はＳ１００３で設定した被写体距離だけでなく、その他の被写体距離についても行われるものとする。

Ｓ１００５において画像処理部７は、再構成画像を生成する像生成処理を行う。画像処理部７は本処理においてＳ１００４で検出された低下画素に対する補正処理を行い、異物の影響を補正した再構成画像を生成する。像生成処理および補正処理の動作についてはそれぞれ図７（ａ）および図７（ｂ）を用いて後述する。

Ｓ１００６においてカメラシステム制御部５は、像生成処理により生成された再構成画像を表示部９に表示させて一連の動作を終了する。記録部８は、カメラシステム制御部５の指示に応じて得られた再構成画像を記録部８に記録する。

次に図６（ｂ）を用いて異常検出処理の動作の詳細を説明する。画像処理部７は、マイクロレンズの各々について、対応するＭＬ画素群を構成する画素に対する処理を行う。即ち、像シフト処理によって所定の再構成面におけるＭＬ画素群（図１では５０ｃ乃至５０ｅ）について対応するマイクロレンズごとに順次処理が行われる。従って、画像処理部７は、マイクロレンズの数繰り返し処理を行う。以下のＳ１２０１乃至Ｓ１２０３およびＳ１２０４乃至Ｓ１２１０は該繰り返し処理のループとなっている。

Ｓ１２０１において画像処理部７は、ＭＬＡ２０が有するマイクロレンズの数だけＳ１２０１乃至Ｓ１２０３のループ処理を実行したか否かを判断する。画像処理部７は、マイクロレンズの数だけループ処理を実行したと判断した場合は、ループを抜けて処理をＳ１２０４へ進める。画像処理部７は、マイクロレンズの数だけループ処理を実行していないと判断した場合は、まだループ処理が実行されていないマイクロレンズを選択して処理をＳ１２０２に移す。

Ｓ１２０２において画像処理部７は、ＭＬ画素群を構成する画素の画素値の最大値を特定し、特定した最大値で各画素の画素値を除算した出力比を算出してＲＡＭに格納する。

Ｓ１２０４ではＳ１２０１と同様にＭＬＡ２０を構成するマイクロレンズの数に応じてループ計算が実行される。Ｓ１２０４において画像処理部７は、ＭＬＡ２０が有するマイクロレンズの数だけＳ１２０４乃至Ｓ１２１０のループ処理を実行したか否かを判断する。画像処理部７は、マイクロレンズの数だけループ処理を実行したと判断した場合は、ループを抜けて処理をＳ１２１１へ進める。画像処理部７は、マイクロレンズの数だけループ処理を実行していないと判断した場合は、まだループ処理が実行されていないマイクロレンズを選択して処理をＳ１２０５に移す。

Ｓ１２０５において画像処理部７は、処理対象の二次元位置が再構成面において合焦状態であるかを判断する。画像処理部７は、Ｓ１００２においてＲＡＭに格納された合焦状態となる二次元位置の情報を読み出して、処理対象の二次元位置が合焦状態であるかを判断する。画像処理部７は、該二次元位置が合焦状態でない場合は処理をＳ１２１０に進め、二次元位置が合焦状態である場合は処理をＳ１２０６に進める。

Ｓ１２０６において画像処理部７は、Ｓ１２０２において記録されたＭＬ画素群の各画素の出力比を用いて、所定の閾値Ｔよりも低い出力比を持つ画素を抽出する。画像処理部７は、ＭＬ画素群を構成する画素について、出力比が閾値Ｔよりも低い画素がない場合、Ｓ１２１０に処理を進め、出力比が閾値Ｔよりも低い画素がある場合、Ｓ１２０７に処理を進める。なお、出力比が閾値Ｔよりも低い画素は異物の影響を受けた可能性がある画素となる。

Ｓ１２０７において画像処理部７は、異物の影響を受けた可能性のある画素について、該画素が含まれる撮像面上のＭＬ画素群を特定し、該ＭＬ画素群を構成する画素の出力比を取得する。

図１の例では、再構成面４２上においてＭＬ画素群５０ｃ、５０ｄ、５０ｅの二次元位置が合焦状態であり、ＭＬ画素群が５０ｄである場合、２０２ｄの出力比が閾値Ｔより低いと判断される。画像処理部７は、画素２０２ｄが含まれる撮像面上のＭＬ画素群５０ｂを特定し、これを構成する画素（即ち画素２０１ｂ、２０１ｃ、２０１ｅ、２０３ｂ）の出力比を取得する。

Ｓ１２０８において画像処理部７は、Ｓ１２０７で取得したＭＬ画素群を構成する各画素の出力比について、所定の出力比（例えば上記同様の閾値Ｔとする）よりも低い画素の個数を判定する。画像処理部７は、出力比の低い画素数が、予め設定した定数Ｎ、即ちマイクロレンズに異物が付着しているかを判断するための定数を超えるかを判定する。

画像処理部７は、出力比の低い画素が定数Ｎ個よりも少ない場合、Ｓ１２１０に処理を進め、出力比が低い画素がＮ個以上ある場合、Ｓ１２０９に処理を進める。

図１の例では、ＭＬ画素群５０ｄの画素の最大値に対する画素２０２ｄの出力比は、ＭＬ画素群５０ｃの画素の最大値に対する画素２０１ａ、２０１ｃ、２０１ｅの出力比と同等であり、閾値Ｔを下回る。同様に、ＭＬ画素群５０ｅの画素の最大値に対する画素２０３ｂの出力比も閾値Ｔを下回る。この場合、出力比が低い画素の個数が閾値Ｎ個を超える。

Ｓ１２０９において画像処理部７は、撮像面マイクロレンズに異物が付着していると判断して、検出情報をＲＡＭに記録する。画像処理部７は、異物が付着しているマイクロレンズの位置、撮像面において該マイクロレンズに対応する各画素（即ち低下画素）のアドレス、該画素に対する出力比を検出情報として記録する。図１の例では、マイクロレンズ２０ｅに異物が付着していると判断した場合、画像処理部７はマイクロレンズ２０ｅ、対応する画素２００ａ乃至２００ｅのアドレス、およびその出力比を検出情報として記録する。なお、画素を特定する情報には再構成面における画素２０１ａ、２０１ｃ、２０１ｅ、２０２ｄ、２０３ｂを特定して記録してもよい。

Ｓ１２１１において画像処理部７は、処理を呼び出し元のＳ１００４へ戻す。

図７（ａ）を用いて像生成処理の動作の詳細を説明する。画像処理部７は、上述の異常検出処理と同様にＭＬＡ２０が有するマイクロレンズの各々について、Ｓ１００３において生成したシフト後のＬＦデータを用いて該マイクロレンズに対応するＭＬ画素群に対する処理を行う。以下のＳ１３０１乃至Ｓ１３０６は該繰り返し処理のループとなっている。

Ｓ１３０１において画像処理部７は、ＭＬＡ２０が有するマイクロレンズの数だけＳ１３０１乃至Ｓ１３０６のループ処理を実行したか否かを判断する。画像処理部７は、マイクロレンズの数だけループ処理を実行したと判断した場合は、ループを抜けて処理をＳ１３０７へ進める。画像処理部７は、マイクロレンズの数だけループ処理を実行していないと判断した場合は、まだループ処理が実行されていないマイクロレンズを選択して処理をＳ１３０２に移す。

Ｓ１３０２において画像処理部７は、ＲＡＭに格納された検出情報を読み込んで低下画素のアドレスと異物影響による出力比を取得する。画像処理部７は、Ｓ１００４において生成された検出情報に加え、撮像前または製造時において生成された検出情報が記録部に記録されているときは該検出情報を合わせて読み込む。

Ｓ１３０３において画像処理部７は、シフト後のＬＦデータおよび検出情報に基づいて、ＭＬ画素群に低下画素があるかを判断する。画像処理部７は、ＭＬ画素群に低下画素が存在しないと判断するとＳ１３０５に処理を進める。画像処理部７は、低下画素が有ると判断した場合、Ｓ１３０４に処理を進める。

Ｓ１３０４において画像処理部７は、ＭＬ画素群に含まれる各低下画素について補正処理を実行して各低下画素の画素値を補正する。補正処理の動作の詳細は図７（ｂ）を用いて後述する。

Ｓ１３０５において画像処理部７は、読み込んだシフト後のＬＦデータおよび補正後の画素値に基づいて、ＭＬ画素群の各画素値を加算して再構成画像の画素値を算出する。なお、画像処理部７は、ＭＬ画素群の各画素値を加算する際に、各画素の重み付け係数をすべて１に設定するものとする。但し、該ＭＬ画素群の５×５の格子状の位置に応じて重み付け係数をかけることで絞り値を変更することも可能である。

Ｓ１３０７において画像処理部７は、再構成画像の生成を完了し、処理を呼び出し元のＳ１００４に戻す。

さらに図７（ｂ）を用いて補正処理の動作の詳細を説明する。

Ｓ１４０１において画像処理部７は、Ｓ１３０２において取得した低下画素の出力比が所定の閾値Ｔｇ以下であるかを判断する。画像処理部７は、低下画素の出力比が閾値以下の場合はＳ１４０２に処理を進め、閾値より大きい場合はＳ１４０４に処理を進める。出力比に応じて処理を分岐することで、画像処理部７は低下画素に対する異物の影響が小さい場合、より簡易的な補正処理を行うことができる。

Ｓ１４０２において画像処理部７は、ＭＬ画素群の二次元位置がＳ１００２の焦点検出処理の結果から合焦状態となっているかを判断する。画像処理部７は、該二次元位置が合焦状態である場合は処理をＳ１４０３に進め、合焦状態でない場合は処理をＳ１４０４へ進める。

Ｓ１４０３において画像処理部７は、同一のＭＬ画素群を構成する低下画素以外の画素の画素値を用いて低下画素の補正を行う。画像処理部７は、該低下画素以外の画素の画素値の平均値を求め、求めた平均値を低下画素の画素値に置き換える。画像処理部７は、低下画素について補正を行うと処理をＳ１４０５に進める。

Ｓ１４０４において画像処理部７は、ＭＬ画素群のうちの各低下画素の画素値に対して、検出情報に含まれる出力比の逆数を乗算して補正を行なう。画像処理部７はＭＬ画素群の各低下画素について補正を行うとＳ１４０５に処理を進める。

Ｓ１４０５において画像処理部７は、補正処理を完了して呼び出し元のＳ１３０５に処理を戻す。

本実施形態では、異常検出処理においてＭＬ画素群を構成する画素の画素値の最大値を用いた出力比を用いたが、その他の方法を用いてもよい。例えば、画像処理部７はＭＬ画素群の２５画素について画素値の偏差を求め、求めた偏差が別途設定される閾値に対して大きいかで異物による影響の可能性を判断してもよい。ＭＬ画素群の画素値の最大値が特異な場合であっても、ＭＬ画素群を構成する画素の傾向から外れる画素を低下画素として抽出することができる。

また、カメラシステム制御部５は、異物が付着しているマイクロレンズの位置を表示部９に表示し、ユーザにマイクロレンズのクリーニングを促す通知を出してもよい。ユーザは異物が付着したことを知ることができる。さらに、Ｓ１２０９において記録された低下画素の出力比を用いれば、該出力比が小さいほどマイクロレンズへの光線を遮断する異物の大きさが大きいと推定してもよい。カメラシステム制御部５は、表示部９に警告を表示する際に推定した異物の大きさを合わせて表示したり、推定された異物の大きさに応じて警告内容を段階的に変更することができる。ユーザは異物の付着している状態をより具体的に把握することができるため、クリーニングの方法や時期を判断し易くなる。

以上説明したように本実施形態では、再構成面において合焦しているＭＬ画素群を構成する画素の出力比を比較することで画素出力の低下した画素を特定した。そして、撮像面上において該画素を含むＭＬ画素群を構成する画素の出力比を比較することで、外的要因による画素信号の出力変動を検出することが可能になる。また、出力の低下した画素に対して、再構成面において合焦しているＭＬ画素群の画素値を用いることで、画素値の補正が可能になる。該補正を行うことで生成する再構成画像の画質劣化を低減ことができる。

（実施形態２）
次に実施形態２について説明する。実施形態２では、再構成面におけるＭＬ画素群に多くの低下画素が存在する場合、撮像面に入射する光束をデフォーカスさせることで低下画素を含むＭＬ画素群を分散させ、補正処理の精度を向上させる。本実施形態のデジタルカメラ１００は、実施形態１と同一の構成であり、焦点検出処理と像生成処理の間に追加される動作以外、実施形態１と同一である。このため、重複する説明は省略し、相違点について重点的に説明する。

図８および図９を参照して、本実施形態に係る補正処理について説明する。実施形態１では、再構成面において合焦状態にあるＭＬ画素群については、同一のＭＬ画素群を構成する他の画素を用いて低下画素の出力を補正した。しかしながら、例えばＭＬ画素群における低下画素が比率が比較的高い場合等、補正が好適に行えず画像の劣化が生じる可能性がある。図１の例では、ＭＬ画素群５０ｃは低下画素が２０１ａ、２０１ｃ、２０１ｅの３つ含まれており、低下画素２０２ｄが１つ含まれるＭＬ画素群５０ｄと比較すると補正の精度が低下し得る。そこで、画像処理部７は、ＭＬ画素群において一定数以上の低下画素が存在する場合、該ＭＬ画素群における低下画素が一定数未満に減るように光学系の調整（フォーカスレンズ駆動）を行なって新たに得られたＬＦデータを用いて補正を行う。

図８は本実施形態における再構成画像の生成方法を模式的に示すものである。図１と異なる点は、所望の焦点状態の再構成画像を生成するために設定される面が、最初に得られたＬＦデータで再構成面４２であった場合に、光学系の調整後に新たに得られたＬＦデータでは該面よりも撮像面から離れた再構成面８１に変更する点である。再構成面４２におけるＭＬ画素群５０ｃには、低下画素が３つ含まれているため、低下画素２０１ａ、２０１ｃ、２０１ｅの出力を各低下画素以外の画素から補正すると補正の精度が低下し得る。なお、合焦状態となる被写体距離に対応する面が撮像面である時は、当然ながらＭＬ画素群５０ｂに含まれる画素の全てが低下画素である場合は、低下画素以外の画素を用いた補正を行うことができない。

一方、再構成面８１には該再構成面におけるＭＬ画素群５０ｆ、５０ｇ、５０ｈ、５０ｉがあり、それぞれの画素群には低下画素が１つずつ（２０４ｃ、２０５ｄ、２０６ｂ、２０７ａ）含まれている。即ち、再構成面８１では、ＭＬ画素群あたりの低下画素の数が１つに減るため、合焦状態にあるＭＬ画素群において低下画素以外の画素を用いて補正を行えば補正の精度が向上する。そこで本実施形態では、再構成面４２においてＭＬ画素群５０ｃに対応する二次元位置の被写体が合焦状態となる場合、カメラシステム制御部５は撮像面でのデフォーカス量（ボケ量）が大きくなるように撮影光学系３のフォーカスレンズ群を移動させる。具体的にはカメラシステム制御部５は、再構成面８１においてＭＬ画素群５０ｃに対応する二次元位置の被写体が合焦状態となるようにフォーカスレンズ群を移動させ、新たにＬＦデータを取得する。カメラシステム制御部５は、新たに取得したＬＦデータに対して補正処理を行い再構成面８１における再構成画像を得る。フォーカスレンズ群を移動させることで、最初に得られたＬＦデータでは再構成面４２において合焦状態となる二次元位置の被写体を、新たなＬＦデータでは同一の被写体をＭＬ画素群あたりの低下画素の数が少ない再構成面８１において合焦状態にできる。故に、より好適な補正を行うことができる。

次に図９のフローチャートを用いて実施形態２で補正処理の対象となるＬＦデータ（新たなＬＦデータ）を取得して再構成画像を生成する処理を説明する。本実施形態の再構成画像を生成する処理の説明において、図６（ａ）に示した実施形態１の同処理と同様の動作を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態に特徴的なステップの説明に留める。

Ｓ１００４で異常検出処理を行った後、画像処理部７はＳ２００１において、シフト後のＬＦデータにより規定される再構成面において被写体が合焦状態となるＭＬ画素群について、低下画素が所定の個数以上含まれるかを判断する。低下画素がＭＬ画素群にＮ個以上含まれていない場合、画像処理部７は処理をＳ１００５に進める。一方、低下画素がＭＬ画素群にＮ個以上含まれる場合は、Ｓ２００２に進める。

Ｓ２００２において画像処理部７は、対象とする再構成面からさらに像シフト処理を行った場合に、シフト後の再構成面において被写体が合焦状態となるＭＬ画素群あたりの低下画素がＮ個未満になるようなシフト量を算出する。画像処理部７は、シフト後のＬＦデータを用いて徐々に再構成面を変化させたときの画素の配列を再現し、低下画素が含まれる合焦したＭＬ画素群において低下画素が所定の個数未満となる再構成面を特定する。画像処理部７は特定した再構成面を構成するためのシフト量を算出する。

Ｓ２００３においてカメラシステム制御部５は、Ｓ２００２において算出されたシフト量に対応する焦点位置の変化量を求める。そしてカメラシステム制御部５は、求めた焦点位置の変化量をレンズシステム制御部１２に伝送し、レンズ駆動部１３を用いてフォーカスレンズ群を駆動させる。

Ｓ２００４においてカメラシステム制御部５は、撮像素子６を適切な露出条件で露光し、新たにＳ１００１におけるＬＦデータの取得時とは異なる焦点位置のＬＦデータを取得する。

Ｓ２００５において画像処理部７は、Ｓ２００４において取得したＬＦデータに対して像シフト処理を行う。即ち画像処理部７は、Ｓ２００２において特定した再構成面を再現するためのＬＦデータの画素の並べ替えを行ない、シフト後のＬＦデータを生成する。

Ｓ１００５以降のステップにおいて画像処理部７は、生成されたシフト後のＬＦデータを用いて低下画素の補正を含む像生成処理を行い、再構成画像を生成する。再構成画像の生成処理を完了すると一連の処理を終了する。

以上説明したように本実施形態では、所望の再構成面における合焦状態のＭＬ画素群に低下画素が複数含まれるとき、再構成面での画像がよりデフォーカスするようにフォーカスレンズを駆動させる。フォーカスレンズ駆動前の再構成面と同等の合焦状態の再構成面を得て、ＭＬ画素群における低下画素の数を減少させる。求めた再構成面において合焦したＭＬ画素群を構成する他の画素を用いて低下画素の補正を行うことで、検出した異物の付着に対して、該異物の影響をより軽減した好適な補正処理を行うことができる。

（実施形態３）
図８および図１０を用いて本発明に係る実施形態３について説明する。

実施形態１では、再構成面において低下画素の存在する二次元位置が合焦状態でない場合、出力比の逆数のゲインを乗算して各画素の補正を行った。この場合、上述したように像生成処理においてＭＬ画素群の各画素を重み付け係数を１として加算をする場合は、該補正によるノイズの影響が目立ち難い。しかし、例えば絞り値の大きな再構成画像を生成する場合、ＭＬ画素群の１つの画素を重み付け係数を１として用いるため、該画素が低下画素であると補正によるノイズの影響が目立ち易くなる。また、立体表示や視差の異なる画像を生成するためにＭＬ画素群の画素を限定的に使用する場合も、同様にノイズの影響が目立ち易くなる。

このため実施形態３では、所定の再構成面において低下画素の存在する二次元位置が合焦状態でない場合、該低下画素が含まれるＭＬ画素群が合焦状態となる再構成面を探索する。探索された新たな再構成面においてＭＬ画素群を構成する他の画素を用いて補正することで、低下画素の画素値はより好適に補正される。

図８において、再構成面４２におけるＭＬ画素群５０ｃの二次元位置は合焦状態ではなく、再構成面８１における同様の二次元位置に含まれるＭＬ画素群５０ｆは合焦状態にあるとする。このとき、ＭＬ画素群５０ｃに含まれる低下画素２０１ｃはＭＬ画素群５０ｃの二次元位置では合焦状態ではないため、同一のＭＬ画素群５０ｃを構成する他の画素から補正することができない。一方、再構成面８１において２０１ｃをシフトさせた低下画素２０４ｃが含まれるＭＬ画素群５０ｆは合焦状態にあるので、低下画素２０４ｃはＭＬ画素群５０ｆを構成する他の画素から補正することができる。

次に図１０を用いて、本実施形態の補正処理の動作について説明する。図１０は像生成処理のうち補正処理の動作を表すフローチャートであり、実施形態１における図７（ｂ）の補正処理と置き換えられる。その他の動作は実施形態１と共通である。

Ｓ３４０１において画像処理部７は、取得した検出情報を用いて低下画素の出力比が閾値Ｔｇ以下かを判断する。画像処理部７は、低下画素の出力比が閾値Ｔｇ以下の場合は処理をＳ３４０２に進め、該出力比が閾値Ｔｇより大きい場合は処理をＳ３４０６に進める。

Ｓ３４０２において画像処理部７は、補正を行う低下画素が含まれるＭＬ画素群の二次元位置がＳ１００２の焦点検出処理の結果に基づき合焦状態となっているかを判断する。画像処理部７はＭＬ画素群の二次元位置が合焦状態である場合、処理をＳ３４０３に進め、合焦状態でない場合は処理をＳ３４０４に進める。

Ｓ３４０３は、実施形態１におけるＳ１４０３と共通である。画像処理部７は、同じＭＬ画素群を構成する低下画素以外の画素の画素値を用いて平均値を求め、該平均値で低下画素の画素値を置き換える。画像処理部７は置き換えによる補正を行うと処理をＳ３４０７に進める。

Ｓ３４０４において画像処理部７は、Ｓ１００３で生成したシフト後のＬＦデータに基づいて、対象の低下画素が配列される二次元位置が合焦状態となる再構成面と、探索した再構成面において該低下画素が含まれるＭＬ画素群を探索する。

Ｓ３４０５において画像処理部７は、探索された再構成面において対象の低下画素が含まれるＭＬ画素群の低下画素以外の画素を用いて、低下画素の出力を置き換える。画像処理部７は、置き換えによる補正を行うと処理をＳ３４０７に進める。

Ｓ３４０６において画像処理部７は実施形態１におけるＳ１４０３と同一の処理を実行して対象の低下画素を補正する。即ち画像処理部７は、ＭＬ画素群を構成する低下画素以外の画素の画素値の平均値を算出し、該平均値を低下画素の出力に置き換える。

Ｓ３４０７において画像処理部７は、呼び出し元のＳ１２０５に処理を戻す。

以上説明したように本実施形態によれば、低下画素を含むＭＬ画素群の二次元位置が合焦状態でない場合であっても、ＭＬ画素群が合焦状態となる再構成面を探索するようにした。これにより合焦状態となるＭＬ画素群の画素を用いて好適な補正を行うことができ、生成する再構成画像の劣化を低減することができる。

なお、本実施形態は、低下画素の検出処理を行ったうえで低下画素を補正する構成のデジタルカメラ１００を前提として説明したが、検出処理と補正処理が分離されても良い。検出処理を行わずに補正処理のみを行う構成のデジタルカメラ１００に対しては、デジタルカメラ１００の製造工程等において予め本発明によって検出した検出情報を利用してもよい。このとき、検出処理は製造工程において別途使用される調整装置が備えていてもよく、生成された検出情報はデジタルカメラ１００に記録される。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

３…撮影光学系、６…撮像素子、７…画像処理部、８…記録部、２０…マイクロレンズアレイ

Claims (14)

1. 複数のマイクロレンズと、該複数のマイクロレンズのそれぞれに複数の画素が対応づけられた撮像素子から得られる画素信号を取得する取得手段と、
   前記取得手段により取得される撮像面での画素信号に基づいて、前記撮像面とは光軸方向において異なる位置に設定された再構成面における画像を生成する生成手段と、
   前記生成手段により生成された前記再構成面における画像の画素信号を用いて、前記再構成面における対応する複数の画素の画素値が、他のマイクロレンズにおいての前記再構成面における対応する複数の画素の画素値に比べて低い異常マイクロレンズを検出する検出手段と、を有することを特徴とする画像処理装置。
2. 前記検出手段は、前記再構成面において、第１の画素と、該第１の画素と同一の被写体からの別の光束を記録した第２の画素との画素値の比率に基づいて、前記第１の画素が相対的に低い画素値を有する画素であるか否かを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記第２の画素の画素値に対する前記第１の画素の画素値の比率が閾値以下である場合に、前記第１の画素が相対的に低い画素値を有する画素であると判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、前記再構成面において、第１の画素の画素値よりも、該第１の画素と同一の被写体からの別の光束を記録した第２の画素の画素値の方が大きい場合に、前記第１の画素が相対的に低い画素値を有する画素であると判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記検出手段は、前記再構成面において、第１の画素の画素値と、該第１の画素と同一の被写体からの別の光束を記録した複数の第２の画素の画素値とについて求めた前記第１の画素の画素値に係る偏差が所定の値を超える場合に、前記第１の画素が相対的に低い画素値を有する画素であると判定することを特徴とする請求項１に記載の画像処理装置。
6. 前記検出手段は、前記第１の画素の画素値と前記第２の画素の画素値との比率を出力し、相対的に低い画素値を有する画素であると判定された複数の画素について出力された前記比率が一様であると判断する場合に、該複数の画素に対応するマイクロレンズを前記異常マイクロレンズと検出することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記検出手段による検出結果を記録する記録手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記検出手段により前記異常マイクロレンズが検出された場合に通知する通知手段をさらに有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記検出手段により前記異常マイクロレンズが検出された場合に、該異常マイクロレンズに対応する複数の画素の画素値を、該画素と同一の被写体からの別の光束を記録した画素の画素値を用いて補正する補正手段と、
   前記補正された画素の画素値を用いて、所定の被写体距離に合焦させた再構成画像を生成する生成手段と、
   をさらに有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記補正手段は、前記異常マイクロレンズに対応する画素の画素値を、該画素と同一の被写体からの別の光束を記録した複数の画素の画素値の平均値を用いて補正することを特徴とする請求項９に記載の画像処理装置。
11. 前記検出手段により相対的に低い画素値を有する画素であると判定された画素が、前記異常マイクロレンズに対応する前記画素信号の画素に予め定められた個数以上含まれる場合に、
    前記取得手段は、前記検出手段により相対的に低い画素値を有する画素であると判定される画素が予め定められた個数未満となるように光束の焦点位置を調整して得られた画素信号を新たに取得することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 複数のマイクロレンズと、該複数のマイクロレンズのそれぞれに複数の画素が対応づけられた前記撮像素子を有する撮像手段と、
    請求項１乃至１１のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
13. 取得手段が、複数のマイクロレンズと、該複数のマイクロレンズのそれぞれに複数の画素が対応づけられた撮像素子から得られる画素信号を取得する取得工程と、
    生成手段が、前記取得工程において取得される撮像面での画素信号に基づいて、前記撮像面とは光軸方向において異なる位置に設定された再構成面における画像を生成する生成工程と、
    検出手段が、前記生成手段により生成された前記再構成面における画像の画素信号を用いて、前記再構成面における対応する複数の画素の画素値が、他のマイクロレンズにおいての前記再構成面における対応する複数の画素の画素値に比べて低い異常マイクロレンズを検出する検出工程と、を有することを特徴とする画像処理装置の制御方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images