JP5943596B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルカメラなどの撮像素子を有する撮像装置に関し、特に該撮像素子の画素欠陥の補正処理機能を有する撮像装置に関する。

デジタルカメラ等で使用される撮像素子では、いわゆる画素欠陥自体をなくすことは非常に困難である。一方、近年の多画素化（欠陥数の増加）、画素の狭ピッチ化（欠陥比率の増加）により画素欠陥に対する対策の必要性は増している。画素欠陥の処理に求められる特性としては、画素欠陥処理能力が高いこと、処理負荷が適当な大きさであること等があげられる。

一方で、異なる瞳領域を通過した光束を取得して画像を再構成し、それを出力画像とする装置（ライトフィールドカメラ等と通称されている）が提案されている。

例えば、特許文献１では異なる瞳領域を通過した光束を個別に受光可能な撮像素子を使用して被写体画像を撮像し、撮像後にピント調整を行った画像を生成する手法が開示されている。

また、非特許文献１では、水平方向および垂直方向、さらにはフレーム間における画素欠陥（画素欠陥の具体的内容については後述する）の補間を行う方法が開示されている。

特開２００７−４４７１号公報

『ＣＣＤカメラ技術』 竹村裕夫著 ラジオ技術社

しかしながら、上述の特許文献１に開示された従来技術では、異なる瞳領域を通過した光束を取得するため撮像系を構成する撮像素子に画素欠陥が存在する場合に、必ずしも適切な画像が得られない場合がある。

すなわち特許文献１では、撮像後においてピント位置を変化させた像を得ることができるが、画素欠陥が存在する場合には欠陥部の影響を排除した画像を得る方法は開示されていない。非特許文献１では、画像の単純な相関に基づいて補間処理を行っているために、特許文献１の撮像系を構成する撮像素子に対しては適切な補間を行えない場合がある。

そこで、本発明の目的は、異なる瞳領域を通過した光束の情報を取得できる撮像素子においても、画素欠陥の影響を低減した高品位な画像を得ることを可能にする撮像装置を提供することである。

上記本件発明の目的を達成するため、本件発明の撮像装置は、撮影レンズを介して入射される被写体の光学像を光電変換して撮影された前記被写体の画像信号を出力する撮像素子を含む撮像装置であって、さらに撮像素子の画素欠陥の情報および撮像素子の各画素への光学像の入射角度を決定するための情報を記憶する記憶手段と、撮影された被写体の画像信号から像が再構成される像再構成面を設定する設定手段と、撮像素子の各画素に入射する被写体の光学像の光束を撮影レンズの特定の瞳領域からの光束に制限する瞳分割手段と、設定手段で設定された像再構成面と撮像素子の各画素への光学像の入射角度を決定するための情報とに基づいて、像再構成面に対応する前記撮影された被写体の画像信号のシフト量を瞳領域ごとに決定して画像信号をシフトする像シフト手段と、画素欠陥の情報に従って、欠陥画素の画像信号を像シフト手段から得られた欠陥画素以外の画素のシフトされた画像信号を用いて補正する欠陥補正手段と、欠陥補正手段で補正された画像信号から像再構成面に対応する画像を再構成する像再構成手段とを備える。

本発明によれば、異なる瞳領域を通過した光束を取得するため撮像系を構成する撮像素子に画素欠陥が存在する場合にも、画素欠陥の影響を低減した高品位な画像を得ることを可能にした撮像装置を達成することが可能となる。

本件発明の実施形態に係わる撮影装置のシステム構成を示すブロック図 本件発明の第１の実施例に係わる撮影装置の撮像系の模式図 本件発明の第１の実施例に係わる像再生動作のフローチャートを示す図 コントラストＡＦの動作における合焦判定を概念的に示す図 本件発明に係わる像の再構成を模式的に示す図 本件発明に係わる撮像系での像生成を模式的に示す図 第２の実施例に係わる像の再構成動作のフローチャートを示す図

以下に、本発明の好ましい実施の形態を、添付の図面を参照して詳細に説明する。

以下、図１から図６を参照して、本発明の第1の実施例に係わる撮影装置について説明する。

図１は、本発明に係わる撮影装置としてのデジタルカメラおよびレンズからなるカメラシステムの構成を示すブロック図である。本カメラシステムは、異なる瞳領域を通過した光束を取得するため撮像系を含み、本件発明が目的とする画素欠陥の補正機能を有する。

カメラ１０１およびレンズ１０２（撮影レンズ）からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系１０３ 、撮像素子１０６を含み、画像処理系は、画像処理部１０７を含む。また、記録再生系は、メモリ手段１０８、表示手段１０９を含み、制御系は、カメラシステム制御回路１０５、操作検出部１１０、およびレンズシステム制御回路１１２、レンズ駆動手段１１３を含む。レンズ駆動手段１１３は、撮影光学系１０３に含まれる焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系は、被写体からの光（光学像）を、撮影光学系１０３を介して撮像素子１０６の撮像面に結像する光学処理系である。撮影素子１０６表面（受光面）にはマイクロレンズが格子状に配置され、いわゆるマイクロレンズアレイ（以下 ＭＬＡ）を形成している。ＭＬＡは本実施例において、複数の画素を各マイクロレンンズに対応して複数の画素グループに分割する瞳分割手段を構成する。ＭＬＡの機能や配置の詳細については図２を用いて後述するが、この瞳分割手段があるために、撮影素子１０６からピント評価量／適当な露光量が得られるので、この情報に基づいて適切に撮影光学系１０３が調整される。これにより、適切な光量の物体光を撮像素子１０６に露光することおよび撮像素子１０６近傍で被写体像が結像することが可能となる。

画像処理部１０７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を画像処理により生成することができる。また、本発明の要部である、像シフト手段、像生成手段、コントラスト評価手段、相関計算手段等を含めることもできる。本実施例ではこれらの要素はカメラシステム制御内に制御プログラムとして構成されている。
メモリ手段１０８は実際にデータを記憶する記憶部だけでなく、記録に必要な処理回路を備えている。メモリ手段１０８は、記録部へ出力を行うとともに、表示手段９に出力する像を生成、保存する。また、メモリ手段１０８ は、予め定められた方法を用いて画像、動画、音声などの圧縮も行う。

カメラシステム制御回路１０５は撮像の際のタイミング信号などを生成して出力する。外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路１１０が検出して、撮像素子１０６の駆動(光電変換)、画像処理部１０７の動作、メモリ手段１０８の圧縮処理などを制御する。さらにカメラシステム制御回路１０５は、表示手段１０９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態をも制御する。

制御系の光学系の調整動作について説明する。カメラシステム制御回路１０５には画像処理部１０７が接続されており、撮像素子１０６からの信号に基づいて撮影条件に適切な焦点位置、絞り位置を求める。カメラシステム制御回路１０５は、電気接点１１１を介してレンズシステム制御回路１１２に指令を送信し、レンズシステム制御回路１１２は指令に従いレンズ駆動手段１１３を適切に制御する。さらにレンズシステム制御回路１１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動手段１１３を介してブレ補正レンズを適切に制御する。

図２は、本実施例における撮影光学系の要部を説明する図である。同図において、第１図と同じ要素は同じ符号を付して示す。

図１のカメラシステムに本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する構成が必要である。本実施例では、角度情報の取得のために撮影光学系１０３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。

図２（ａ）は撮像素子１０６とＭＬＡ２００の対応関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡとの対応を模式的に示す図である。図２（ｃ）はＭＬＡ２００によってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられることを示す概念図である。

図２（ａ）に示すように撮像素子１０６上にはＭＬＡ２００が設けられており、ＭＬＡ２００の前側主点は撮影光学系１０３の結像面近傍になるように配置されている。図２（ａ）は撮影装置の側面図と、ＭＬＡ２００の正面図を示しており、ＭＬＡ２００のレンズが撮像素子１０６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡ２００を構成する各マイクロレンズを見やすくするために大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。実際の大きさについては図２（ｂ）を用いて説明する。

図２（ｂ）は図２（ａ）のＭＬＡ２００の正面図の一部を拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子１０６の各画素を示している。一方、ＭＬＡ２００を構成する各マイクロレンズは太い円２２０ａ，２２０ｂ，２２０ｃ，２２０ｄで示した。図２（ｂ）から明らかなようにマイクロレンズ１つに対して複数の画素が割り当てられており、図２（ｂ）の例では、５行x５列＝２５個の画素が１つのマイクロレンズに対して設けられている。すなわち各マイクロレンズのおおきさは画素のおおきさの５倍x５倍の大きさである。

図２（ｃ）は撮像素子１０６を、マイクロレンズ光軸を含み撮像素子の長手方向（Ｘ方向）が図の横方向になるように切断したときの一つのマイクロレンズについての切断面を示す図である。図２（ｃ）の２２１、２２２、２２３、２２４、２２５は撮像素子１０６の画素（１つの光電変換部）を示している。一方、図２（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方に示した撮像素子の図と方向を合わせると、射出瞳面（Ｘ−Ｙ面）は図２（ｃ）の紙面垂直方向（ｙ方向）と平行になるが、説明のために投影方向を変化させている。また、図２（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。即ち、瞳分割が２３１−２３５だけの一次元であり、対応する画素配列も、例えば図２（ｂ）の３２１ａ−３２５ａだけの一次元とする。この仮定は、図５の説明においても適用する。実際の装置においては、これを容易に２次元に拡張することができる。

図２（ｃ）の画素２２１、２２２、２２３、２２４、２２５は図２（ｂ）の２２１ａ、２２２ａ、２２３ａ、２２４ａ、２２５ａとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、マイクロレンズ２００によって各画素は撮影光学系１０３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２２１と領域２３１が、画素２２２と領域２３２が、画素２２３と領域２３３が、画素２２４と領域２３４が、画素２２５と領域２３５がそれぞれ対応している。すなわち画素２２１には撮影光学系１０３の射出瞳面上の領域２３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子１０６上の位置関係から角度の情報を取得することが可能となる。

ここで以後の説明を簡単にするために記号を導入する。図２（ｃ）に示すように、撮像素子１０６の画素ピッチをΔx、角度分解能をΔθとする。さらに角度の分割数をN_θ（図２の例ではN_θ=5）とする。画素ピッチは撮像素子１０６の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数N_θで決定される。すなわち、撮像系の物理的な構造（撮像素子１０６およびＭＬＡ２００の構造）のみによってこれらのパラメータは決定される。

本実施例に示した撮影光学系を利用して、撮像素子１０６の信号から欠陥を適当に処理された画像を得る処理について図３、図４及び図５を用いて説明する。

図３は本実施例のカメラシステムにおける画像の再構成動作のフローチャートを示す図である。図３（ａ）は画像再構成動作の全体を、図３（ｂ）は欠陥補正手段の動作を、図３（ｃ）は像シフト手段の動作を、図３（ｄ）は像生成手段の動作を、図３（ｅ）は相関計算手段の動作それぞれのフローチャートを示す図である。

図３（ａ）から各ステップ順に説明する。ステップＳ３０１は画像取得動作の開始を示している。例えば、図１に示す操作検出部１１０が撮影者からの特定の動作を検出した時（例えばレリーズボタンの押下）などが該当する。

ステップＳ３０２では、撮像素子１０６を適当な時間露光した後、撮像信号を読み出してＡ／Ｄ変換することにより画像信号を取得する。露光時間などの撮像条件は、図示しない測光手段などからの情報に従ってカメラシステム制御回路１０５が設定するものとする。

ステップＳ３０３では、相関計算手段を動作させて相関計算の結果を得る。相関計算手段からはピント評価値に関する情報が得られる。動作の詳細は図３（ｅ）を用いて後述する。

ステップＳ３０４では、設定されたエリア（相関計算手段の説明で後述するが、ステップＳ３６２での評価枠に対応する）毎にピント位置（像生成位置）を決定する。後述する相関計算手段から得られるピント評価値が最も良くなる位置をピント位置として決定して設定する（像生成位置設定手段）。ここでいう「良い」というのは、後述するステップＳ３６６での相関計算式による値が小さい場合を良い状態とする。

ただし、ここでのピント位置とは、現在のピント位置からの相対的なピントずれを示すものである。すなわち、現在のピント位置でピントが合っている被写体のピント位置を０とし、それよりも前や後ろにあるピント位置がそれぞれプラスマイナスの符号を持った値として得られる。さらには、ピント位置は被写体側での深さではなく像面側での結像面の位置を示すものとして得られる。

ステップＳ３０５では欠陥補正手段を動作させ、その補正の結果を得る。欠陥補正手段の動作の詳細は図３（ｂ）のフローチャートを用いて後述する。

ステップＳ３０６では像シフト手段を動作させて、像生成のための像シフトの結果を得る。この時の像生成位置はいくつかの方法が考えられる。たとえば、ステップＳ３０４で求めた各エリアのピント位置と被写体認識結果を総合してピント位置を与える方法などが考えられる。このようにすることで被写体として認識された物体に対してピントを合わせることが出来る。別の方法としては、ユーザー指定の位置を与えることが出来る。このようにすることで、いわゆるマニュアルフォーカスを実現することが出来る。像シフト手段の動作の詳細は図３（ｃ）のフローチャートを用いて後述する。

ステップＳ３０７では像生成手段を動作させ、像生成の結果を得る。像生成手段の動作の詳細は図３（ｄ）のフローチャートを用いて後述する。

ステップＳ３０８では、記録用画像フォーマットへの変換や圧縮などの記録に必要な処理を生成された画像信号に施したのちにメモリ手段１０８に記録する。

ステップＳ３０９において、上述した画像信号の取得から記録までの一連の動作を終了する。

図３（ｂ）のフローチャートを用いて欠陥補正手段の動作の詳細を説明する。ステップＳ３７１は欠陥補正手段の動作開始を示している。

ステップＳ３７２はメモリ手段１０８から欠陥情報及び定数であるd_maxを取得する。ここでd_maxとは、像生成手段によって適切な再構成像が得られる像生成位置の範囲を示す値であり、次式で与えられる。

ただしd_maxは正常に画像の構成を行える閾値を、N_θは瞳分割数を、Δxは撮像素子１０６の画素ピッチを、Δθは角度分解能を示している。図２で説明したように、これらの値は撮影条件などによらず、撮像装置１の物理的な構造によって決定される。そのため、予め計算されたd_maxの値をメモリ手段１０８に格納しておき、ステップＳ３７２およびステップＳ３７３において読み出して用いれば良い。

欠陥情報とは画素欠陥に関する情報であり、具体的には白とび（輝度飽和値になってしまう現象）や黒つぶれ（輝度値が０として得られてしまう現象）が発生している画素のアドレスに関する情報である。このように、画素欠陥によって生じた異常な輝度値を出力する画素を欠陥画素と呼ぶことにする。被写体によらず白とびや黒つぶれが発生するような欠陥画素は現像に用いることができないので、通常は非特許文献１に示されたような方法で処理がなされてきた。本実施例でも、場合に応じてステップＳ３７４からステップＳ３８０でそのような処理がなされる。またこのような画素は少数で且つ移動することが無いため、欠陥情報をメモリ手段１０８に格納しておきステップＳ３７２およびステップＳ３７３によって読み出して用いれば良い。

ステップＳ３７４からステップＳ３８０はループを形成しており、すべての欠陥画素に対して処理がなされる。

ステップＳ３７５はステップＳ３０４で決定されたピント位置の絶対値とd_maxの絶対値(閾値)の比較を行う。ピント位置の絶対値がd_maxの絶対値である閾値以下の場合にはステップＳ３７７に進み、その他の場合はステップＳ３７６に進む。

ステップＳ３７６では公知の技術によって欠陥画素の補間処理が施される。すなわち欠陥画素以外の画素から取得された画像信号に対して、特段の処理を施す前に欠陥画素の縦方向または横方向の相関を計算し、相関が高い方向の補間処理を行う。図３（ｂ）では、これを「撮像画像での補間処理」（像シフト手段の出力以外の画像信号を用いた補間処理）と図示した。この補間を式で示すと以下のようになる。

数２では非常に基本的な補間の考え方を式で示した。ここでは、欠陥画素のアドレスをi,jとしてアドレスi,jでの輝度値をX_i,jで示している。数２では｜X_i-1,j−X_i+1,j |と｜X_i,j-1−X_i,j+1 |を比較しているが、これが横方向と縦方向で相関が高い方向を判断することに対応している。自然画における被写体像はランダムパターンとはことなる特徴を持っている。エッジ方向では輝度が急峻に変化するが、エッジが無い方向には比較的平坦な輝度分布を持つことが多い。この特徴を利用して｜X_i-1,j−X_i+1,j |と｜X_i,j-1−X_i,j+1 |の小さい方向には輝度分布が平坦であることを仮定して補間処理を施している。さらに高度な処理方法が提案されているが、ここでは基礎的な考え方のみを提示する。

ステップＳ３７６では従来技術によって欠陥補正がなされるために、本発明を用いることの積極的な効果が得られる訳ではない。しかしながら、ステップＳ３７５でピント位置の絶対値とd_maxの絶対値の判断を行っているために得られる効果がある。それは、欠陥画素がd_maxよりもピントが外れた被写体像を捉えていることが分かっているので（Ｓ３７５で「ＮＯ」と判断された場合）、簡単な補間処理によって像を再構成しても影響が無いということである。つまり、ステップＳ３０７で施される像生成手段の動作において、当該欠陥画素が重篤な影響（リンギングの発生）に寄与しないことを示している。再構成像が得られる範囲であるd_maxよりもピントが外れているということは再構成された像においてもピントがぼけているので、高周波の被写体像の情報は欠落した状態で像が得られる。このような現像においては数２のような簡単な補間処理によっても相当程度に良い補間値を得ることが可能となる（ここで、ボケによってX_i,jで捉えるべき輝度の情報が広がって周辺画素に漏れ出ているためである。このことと高周波成分がカットされていることは同義である）。

ステップＳ３７７では現在処理を行っている欠陥画素位置でピントが合うように像シフト手段を動作させてその結果を得る。即ち、画像信号は、図５の再構成面における像シフトは完了しているが、縦方向の加算を行ってＳ_iを求める処理は行っていない状態にある。像シフト手段の動作の詳細は図３（ｃ）を用いて後述する。

ステップＳ３７８では、ステップＳ３７７から得られた像シフトの結果に基づいて補間処理を行う。これを「シフト画像での補間処理」として図３（ｂ）に図示した。具体的には、ステップＳ３７７での像シフト手段の動作の結果、現在処理を行っている画像の欠陥画素の位置ではピントがあった状態にある。この状態では良く知られているように、通過する瞳位置によらず同じ情報が得られる。これは同じ被写体上の１点から出た光線が、現像された画像で１つの点に結像しているためである。この場合には、明らかに他の瞳領域を通過した情報から補間を行うことが適切である。図４を用いて後述する相関計算を参照すればより理解がしやすい（ここでも図４を用いて簡単な説明を行うが、図４の詳細な説明は後述する。）。図４では、図４（ｂ）はピントがあった状態を示しているが、この場合、異なる瞳領域を通過した情報の輝度値の分布A_iおよびB_iは類似の形状をしている。例えば、画素A_kが欠陥画素の場合、図４（ｂ）のB_jの対応する画素の輝度値をコピーすることによって適切な処理がなされる。図４は、図を煩雑にしない為に２つの瞳通過領域の情報を図示している。なお、瞳分割数が多い時には欠陥ではない画素からの情報がより多く得られるので、コピーではなく他の適当な補間方法を用いることもできる。例としては正常画素の輝度値の平均値や分散などを利用することが考えられる。

ステップＳ３７９までの処理によって、ピントが合っている面での情報（前述した様に通過した瞳領域によらず同じ情報が得られている）、または相関が良い（＝類似性が高い）情報を活用して補間処理がなされるので、欠陥画素に対して適切な補間処理がなされる。結果として、像の再構成においても高品位な画像を得ることが可能となる。

ステップＳ３８０において、本欠陥補正ルーチンの呼び出し元のステップＳ３０５に戻る。

図３（ｃ）を用いて像シフト手段の動作の詳細を説明する。ステップＳ３２１は像シフト手段の動作開始を示している。

ステップＳ３２２からステップＳ３２６はループを形成している。ステップＳ３２２では瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、撮影光学系１０３の射出瞳が２５に分割されていたので、２５のそれぞれの瞳位置に応じた計算がなされる。図５を用いて後述するように、同じ再構成面であっても入射角度が異なると（射出瞳が十分遠い場合には、通過する瞳領域が異なることとほぼ同義）再構成のために像をシフトさせる量が異なる。これを適切に反映させるためのループである。

ステップＳ３２３ではステップＳ３２４からのデータをもとに、評価位置に対応する各瞳領域での像シフト量を計算する。ステップＳ３２４には、各画素とＭＬＡとの対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。

ステップＳ３２５では、ステップＳ３２３で得た情報に基づいて同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。同じ入射角の光線を得ている画素は例えば図２の２２５ａと２２５ｂが該当するとする。このような画素がＭＬＡ２００を構成するマイクロレンズの数だけ存在している。

像シフト手段につては、図５を用いてさらに具体的に説明する。（後述）
ステップＳ３２７において、本像シフト手段の呼び出し元のステップＳ３０４またはステップＳ３７７に戻る。

図３（ｄ）を用いて像生成手段の動作の詳細を説明する。

ステップＳ３３１は、像生成手段の動作開始を示している。

ステップＳ３３２では、ステップＳ３３５での加算の結果のデータを記憶する領域を初期化（０で埋める）する。この時のデータ領域の大きさはＭＬＡ２００の数量分あれば良く、データの諧調は元のデータの諧調と瞳分割数の積を格納できるだけあれば都合がよい。例えばデータが8bitで瞳分割数が25の場合、13bit （> 8bit + log₂25）あればデータの桁あふれを考慮する必要が無い。

ステップＳ３３３からステップＳ３３８はループを形成している。ステップＳ３３３ではＭＬＡ２００を構成するマイクロレンズの数だけループ計算が実行される。例えば、図２に示した例では、撮像素子の画素数÷25（瞳分割数）がマイクロレンズの数となる。

ステップＳ３３４からステップＳ３３７はループも形成している。ステップＳ３３４では、瞳分割数だけループ計算が実行される。例えば、図２に示した例では、射出瞳が２５に分割されているので、２５のそれぞれの瞳位置からの光束が処理される。

ステップＳ３３５では加算すべき瞳領域であるかの判断がなされる。すなわちユーザーの設定に応じて加算すべき領域を変化させて意図に沿った画像を提供する。一般的に加算する瞳領域を増やすと、Ｓ／Ｎに優れて焦点深度の浅い画像となる、減らすとその反対になる。

ステップＳ３３６では加算がなされる。シフト量が画素の整数倍でない場合は、加算Ｓ３３６において、適当に内分されながら加算する。（例えば、重なっている面積に応じて適当に加算すればよい。）
像生成手段は、図５を用いてさらに具体的に説明する。（後述）
ステップＳ３３９において、本像生成手段の呼び出し元のステップＳ３０７に戻る。

図３（ｅ）を用いて相関計算手段の動作の詳細を説明する。

ステップＳ３６１は相関計算手段の動作開始を示している。

ステップＳ３６２では、評価を行う評価点の数と、評価枠（例えば評価点を中心とする枠）の大きさを設定する。評価点は、撮影条件やレンズ１０２の種類などに応じて適宜設定される。また、評価枠は大きすぎると距離の異なる被写体の像を同時に評価するいわゆる遠近競合が発生してしまう。ここでの評価枠は、相関がノイズなどに負けずに適切に計算できる範囲で可能な限り小さくすることが好ましい。そのようにすることで欠陥補正を行う場合のピント位置検出が適切に行われる。

ステップＳ３６３からステップＳ３６９はループを形成している。ステップＳ３６３では、ステップＳ３６２で決定された評価点の数に対応した評価値を得るように繰り返し演算を行う。

ステップＳ３６４からステップＳ３６７はループを形成している。ステップＳ３６４では、ステップＳ３６２で決定された評価枠に含まれる画素について相関計算を行う。

ステップＳ３６５では画素A_iまたはB_iが欠陥であるか否かを判断する。ここで、A_iは特定の瞳領域を通過したi番目の画素の輝度を示している。B_iはA_iとは異なる瞳領域を通過したi番目の画素の輝度を示している。例えば図２において、画素２２２に対応する画素のみを並べたものをA_i、画素２２４に対応する画素のみを並べたものをB_iとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すればよい。

ステップＳ３６５において、欠陥であると判断された画素の場合には相関計算に用いるのは適当ではないのでステップＳ３６７に進み、欠陥ではない場合はステップＳ３６６に進む。相関計算は例えばステップＳ３６６にあるようにΣ｜A_i - B_i｜で計算すればよい。なお、本発明において相関計算を用いる意義は欠陥画素のピント位置を知ることであり、ここで示した相関計算の式は一例であり発明の本質ではない。

上記のように設定することで、異なる瞳領域を通過した像の相関を計算でき、いわゆる位相差AFに基づく評価量を得ることができる。ステップＳ３６８では、得られた相関値を評価量として格納する。

上記に示したΣ｜A_i - B_i｜という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分２乗値を加算する方法など他の計算方法によって相関計算を行っても良い。

ステップＳ３６９において、相関計算手段の呼び出し元のステップＳ３０７に戻る。

ここで説明した相関計算手段での評価に対応する輝度値の分布の例を図４に示す。

図４（ａ）、図４（ｂ）、図４（ｃ）はこの順にピント位置が変化したときの輝度値の分布を示しており、横軸は画素位置を、縦軸は輝度値を示している。また前述した様に、図２において画素２２２に対応する画素のみを並べたものをA_i、画素２２４に対応する画素のみを並べたものをB_iとして図示した。相関計算手段においては例えば次のような式で評価が行われる。

ここでC(p)は相関の評価量であり、ＳＡＤ（Sum of Absolute Difference）と呼ばれる相関演算方法における相関評価値である。しかし、これは相関評価方法の一例であり、他の相関演算方法、例えばＳＳＤ（Sum of Squared Difference）による評価であってもかまわない。
図３（ｅ）では、ｑはステップＳ３６４からステップＳ３６７のループで繰り返し処理の対象となる画素として表現されている。数３によると、ｑに応じてA_iおよびB_iは対応する画素がずらされながら相関の計算を施される。これは、図５に示されるように隣接する画素列をずらしながらそれらの相関をとることに相当する。これを図４では縦に並べて表現している。すなわち図４（ａ）ではA_iのピークがB_iのピークよりも左側に位置しているが、図４（ｂ）で一致し、図４（ｃ）ではA_iのピークがB_iのピークよりも右側に位置している。これがピント位置を変化させた場合の異なる瞳領域を通過した像のふるまいである。

ピントがあった状態は図４（ｂ）に表現されているが、この時は通過する瞳領域によらず同じ情報が得られる。これは、図４（ｂ）でA_iとB_iが重なっていることに対応し、A_iとB_iは概略一致する。なお、あわない分はノイズ成分や被写体の光の拡散特性の違いなどによる。

図４で特定の画素A_kが欠陥である場合を考えると、図４（ｂ）においてA_kと対応する画素B_jの値を利用してA_kの欠陥を処理すれば良い。ここで注意すべきなのは、B_jは必ずしも撮影した状態ではA_kの隣接した画素ではないということである。数３から明らかなようにq=0の場合は、B_jはA_kの近傍に存在したと考えられるが、その他の場合は必ずしも隣接画素ではない。一方で、ピントが合うように像を再構成した場合は、B_jはA_kの近傍に存在する。このような画素を特定して欠陥補正手段で活用するのである。本実施例では画素を特定して記録する必要はなく、ピントがあう位置が特定されればA_kと対応する画素は自ずと定まるので、ピント位置を記憶することにしている。

次に図５を用いて像シフトおよび像生成を模式的に示し、像の再構成によるコントラスト計算の有用性について述べる。

図５において、まず図５（ｂ）は実際に撮像素子１０６が存在して画像を取得した面を、図５（ａ）は図５（ｂ）よりも物体側の再構成面（再構成面１とする）を、図５（ｃ）は図５（ｂ）よりも物体側から遠い側の再構成面（再構成面２とする）をそれぞれ示す。なお、上述のよういに、図５においては、説明を明瞭かつ簡潔にするために瞳分割方向および画素配列をそれぞれ一次元としている。

図５（ｂ）において、X_1,i、X_2,i、X_3,i、X_4,i、X_5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズX_iに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半はマイクロレンズの番号を示している。物理的な位置との関係においては、X_1,iは図２（ｃ）の２２１領域から得られるデータを、X_2,iは図２（ｃ）の２２２領域から得られるデータを、以下添え字の３、４、５は領域２２３、２２４、２２５に対応していることを示している。

取得面での画像を生成するためには、図５（ｂ）にあるように、マイクロレンズX_iに入射したデータを加算すればよい。具体的には、S_i = X_1,I + X_2,i + X_3,i + X_4,i + X_5,iでX_iに入射した光の角度方向の積分値を得ることができる。これをすべてのマイクロレンズについて行なうことにより通常のカメラと同様の像が生成される。

次に再構成面１での像の生成方法を考える。図２で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはX_1,iのように瞳領域の添え字が１のものは図５の右側の図において５４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ５４２，５４３，５４４，５４５に対応しているとする。この時再構成面１でのマイクロレンズX_iに入射した光束は、取得面においては、X_i-2からX_i+2(一次元)に分散して入射していることになる。より具体的には、X_1,i-2、X_2,i-1、X_3,i、X_4,i+1、X_5,i+2に分散している。X_iに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良いことが分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなしとする。さらに、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトすることで入射角度に応じたシフトを与えることができる。その後図５（ａ）の縦方向に加算することで再構成面１でのデータを得ることができる。具体的には、S_i = X_1,i-2 + X_2,i-1 + X_3,i + X_4,i+1 + X_5,i+2で再構成面１において、X_iに入射した光の角度方向の積分値を得ることができる。これにより再構成面での画像が得られる。

ここで、再構成面１において、X_iに輝点があったとすると、取得面においてはX_1,i-2、X_2,i-1、X_3,i、X_4,i+1、X_5,i+2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びX_iに輝点が生成されコントラストの高い像が得られる。すなわち像を再構成してコントラストを計算することで、いわゆるコントラストＡＦを行うことが可能となる。

また、図５（ｃ）から分かるように、再構成面２においても再構成面と全く同様に像を生成することができる。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。

図６を用いて図２の撮像系における仮想的な結像面での像の再構成の例を説明する。

図６は物体（被写体）からの光線が撮像素子１０６上に結像する状態を模式的に示した図である。図６（ａ）は図２で説明した光学系の結像状態に対応しており、撮影光学系１０３の結像面近傍にＭＬＡ２００が配置されている例である。図６（ｂ）は撮影光学系１０３の結像面よりも物体寄りにＭＬＡ２００を配置された時の結像状態を示し図である。図６（ｃ）は撮影光学系１０３の結像面よりも物体から遠い側にＭＬＡ２００を配置したときの結像状態を示す図である。

図６において、１０６は撮像素子を、２００はＭＬＡを、２３１から２３５は図２で用いた瞳領域を、６５１は物体平面を、６５１ａ，６５１ｂは物体上の適当な点を、６５２は撮影光学系の瞳平面をそれぞれ示す。また、６６１、６６２、６７１，６７２，６７３，６８１，６８２，６８３，６８４はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図６（ｂ）および（ｃ）に示した６ａは仮想的な結像面に位置する撮像素子を、２００ａは仮想的な結像面に位置するＭＬＡを示している。これらは、図６（ａ）との対応関係を明確にするために参考に示した。また、物体上の点６５１ａから出て瞳平面上の領域２３１および２３３を通過する光束を実線で、物体上の点６５１ｂから出て瞳平面上の領域２３１および２３３を通過する光束を破線で図示した。

図６（ａ）の例では、図２でも説明したように、撮影光学系１０３の結像面近傍にＭＬＡ２００を配置することで、撮像素子１０６と撮影光学系の瞳平面６５２が共役の関係にある。さらに、物体平面６５１とＭＬＡ２００が共役の関係にある。このため物体上の点６５１ａから出た光束はマイクロレンズ６６１に、６５１ｂを出た光束はマイクロレンズ６６２に到達し、領域２３１から２３５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図６（ｂ）の例では、マイクロレンズ２００で撮影光学系３からの光束を結像させ、その結像面に撮像素子１０６を設ける。このように配置することで、物体平面６５１と撮像素子１０６は共役の関係にある。物体上の点６５１ａから出で瞳平面上の領域２３１を通過した光束はマイクロレンズ６７１に到達し、物体上の点６５１ａから出で瞳平面上の領域２３３を通過した光束はマイクロレンズ６７２に到達する。物体上の点６５１ｂから出で瞳平面上の領域２３１を通過した光束はマイクロレンズ６７２に到達し、物体上の点６５１ｂから出で瞳平面上の領域２３３を通過した光束はマイクロレンズ６７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、撮像素子の異なる位置にそれぞれ結像する。これらを、仮想的な撮像面１０６ａ上の位置に並べなおせば、図６（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができ、瞳分割手段としての機能が達成される。

図６（ｃ）の例では、マイクロレンズ２００で撮影光学系３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子６を設ける。このように配置することで、物体平面６５１と撮像素子１０６は共役の関係にある。被写体上の点６５１ａから出で瞳平面上の領域２３１を通過した光束はマイクロレンズ６８２に到達し、被写体上の点６５１ａから出で瞳平面上の領域２３３を通過した光束はマイクロレンズ６８１に到達する。被写体上の点６５１ｂから出で瞳平面上の領域２３１を通過した光束はマイクロレンズ６８４に到達し、被写体上の点６５１ｂから出で瞳平面上の領域２３３を通過した光束はマイクロレンズ６８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図６（ｂ）と同様に、仮想的な撮像面１０６ａ上の位置に並べなおせば、図６（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができ、瞳分割手段としての機能が達成される。

図６ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

以上に説明したように、本実施例によると、撮像素子において異なる瞳領域を通過した光束の情報をもとに、画素欠陥を含む撮像素子を利用した場合においても、画素欠陥の影響提供を低減した高品位な画像を得ることが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

以下、図７を参照して、本発明の第２の実施例に係わるカメラシステムの構成を説明する。なお、本実施例においてもカメラシステムの装置構成自体は図１に示す構成と同じであるので、ここでの説明は省略する。

図７は本実施例に係わる撮影画像を得るための動作のフローチャートを示す。図７（ａ）はカメラシステム全体の動作、図７（ｂ）は予備現像動作、図７（ｃ）は欠陥補正手段の動作それぞれのフローチャ−トを示している。なお、図７において、第１の実施例と同様の動作を行うステップについては図３と同じ番号を付して示す。

本実施例では、検出されたピント位置がd_maxの範囲であるかどうかに従って補間方法を変更した第１実施例に対し、ピント位置がd_max の範囲内であるとして像シフトを行い（予備現像）、シフトされた画素値の相関に応じて補間方向を決定する。

図７（ａ）の各ステップを順に説明する。なお、図３のフローチャートと同じステップは同じ符号を付して示し、ここでの説明は基本的に省略する。

ステップＳ３０１は画像取得動作の開始を示している。ステップＳ３０２では、撮像素子１０６を適当な時間だけ露光した後、撮像信号を読み出してＡ／Ｄ変換することにより画像データを取得する。

ステップＳ７０３では第１の実施例とは異なり予備現像動作を行う。予備現像に関しては図７（ｂ）を用いて後述する。

ステップＳ７０５では欠陥補正手段を動作させる。本実施例における欠陥補正手段については図７（ｃ）を用いて後述する。

ステップＳ３０６からステップＳ３０９は第１の実施例と同じ動作を行なう。すなわち、ステップＳ３０６で像シフト手段を動作させ、ステップＳ３０７で像生成手段を動作させ、ステップＳ３０８で記録処理を行った後に、ステップＳ３０９で終了する。

図７（ｂ）を用いて予備現像動作について説明する。

ステップＳ７１１で予備現像動作が開始し、ステップＳ７１２に進む。

ステップＳ７１２からステップＳ７１４はループを形成しており、設定された複数の位置において画像の生成（＝現像）が行われる。現像を行う位置は、第１の実施例に示した| d_max |の範囲内に複数設定する方法などが考えられる（像生成位置設定手段）。

ステップＳ７１３では、複数設定されたうちの現在の現像位置に対応するように像シフト手段が動作する。この動作は、第１の実施例で説明した動作である。

ステップＳ７１４までの動作によって複数の位置でのシフト画像が生成されることになる。像生成手段によって加算されていないので、現像すべき位置に画素をずらした状態になっている。図５と対応させると、図５の再構成面における像シフトは完了しているが、縦方向の加算を行ってＳ_iを求める処理は行っていない状態にある。

ステップＳ７１５において、予備現像ルーチンの呼び出し元のステップＳ７０３に戻る。

図７（ｃ）を用いて本実施例における欠陥補正手段について説明する。ステップＳ３７１は欠陥補正手段の動作開始を示している。

ステップＳ３７２およびステップＳ３７３は欠陥情報をメモリ手段１０８から読みだす操作を示している。第１の実施例で述べたように、欠陥情報は固定的なため記憶しておいてここで用いる。

ステップＳ３７４からステップＳ３７９はループを形成しており、すべての欠陥画素に対して本実施例の補間処理を行うことを示している。

ステップＳ７７０では、角度（光線の入射角度）および位置（画素値）の相関を計算する。図５の記号を使ってここで角度の相関と位置の相関を定義する。

p,iはそれぞれ角度と位置に対応する添え字である。ここでは角度、位置ともに説明のために１次元で示しているが、実際のカメラでは２次元で考えれば良い。この場合簡単に拡張を行うことが出来る。たとえば角度の添え字をp,q、位置の添え字をi,jとすると以下のように書くことが出来る。

数４および数５では隣接する角度（マイクロレンズ）、位置(画素)方向に相関を計算した。このような計算方法を用いると簡易に相関を求めることが可能であるとともに、位置の相関と角度の相関を同じ次元で扱うことが出来るというメリットがある。

なお、相関の演算方法は上記に限るものではなく、その他の方法によっても良い。たとえば、角度の相関は

数６によると、欠陥以外の画素の値がどの程度類似しているかを知ることが出来る。さらには数６を加算数で割って正規化すれば位置の相関と同じ次元で扱うことが出来る。

ステップＳ７７５では角度の相関と位置の相関の比較を行う。角度の相関値が位置の相関値以下の場合にはステップＳ７７８に進み、角度の相関が位置の相関より大きい場合にはステップＳ７７６に進む。

ステップＳ７７６では位置方向での補間処理がなされる。これは実施例１のステップＳ３７６と同じ処理になり数２によって処理される。

ステップＳ７７８では角度方向での補間処理がなされる。これは次式によって与えられる。

すなわち隣接する角度の情報がある場合は両側の情報を活用し、両側には情報が存在しない場合は隣接する他方の情報を活用して補間を行う。

ステップＳ３７９までの処理によって、相関が良い（＝類似性が高い）情報を活用して補間処理がなされるので、欠陥画素に対して適切な補間処理がなされる。結果として高品位な画像を得ることが可能となる。

ステップＳ３８０において、欠陥補正ルーチンの呼び出し元のステップＳ３０５に戻る。

以上した本実施例によっても、異なる瞳領域を通過した光束の情報が得られる撮像素子を利用した場合において、当該撮像素子が画素欠陥を含んでいても、その影響を低減した高品位な画像を得ることが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、図３及び図７に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた場合である。このプログラムの指示に基づき、機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本件発明に含まれる。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含む。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

Claims (11)

1. 撮影レンズを介して入射される被写体の光学像を光電変換して撮影された前記被写体の画像信号を出力する撮像素子を含む撮像装置であって、
   前記撮像素子の画素欠陥の情報および前記撮像素子の各画素への前記光学像の入射角度を決定するための情報を記憶する記憶手段と、
   前記撮影された被写体の前記画像信号から像が再構成される像再構成面を設定する設定手段と、
   前記撮像素子の各画素に入射する前記被写体の光学像の光束を前記撮影レンズの特定の瞳領域からの光束に制限する瞳分割手段と、
   前記設定手段で設定された像再構成面と前記撮像素子の各画素への前記光学像の入射角度を決定するための前記情報とに基づいて、前記像再構成面に対応する前記撮影された被写体の前記画像信号のシフト量を前記瞳領域ごとに決定して前記画像信号をシフトする像シフト手段と、
   前記画素欠陥の情報に従って、欠陥画素の画像信号を前記像シフト手段から得られた前記欠陥画素以外の画素のシフトされた前記画像信号を用いて補正する欠陥補正手段と、
   前記欠陥補正手段で補正された画像信号から前記像再構成面に対応する画像を再構成する像再構成手段と、
   を備えたことを特徴とする撮像装置。
2. 前記欠陥補正手段は、前記像シフト手段から得られた画像信号から位置および角度の相関を計算し、前記計算された相関に基づいて前記像シフト手段から得られた前記画像信号を用いて前記画素欠陥の画像信号を補正することを特徴とする請求項１に記載の撮像装置。
3. 前記欠陥補正手段は、前記計算された角度の相関値が前記計算された位置の相関値以下である場合には、角度方向の補間処理により前記欠陥画素の画像信号を補正し、前記計算された角度の相関値が前記計算された位置の相関値より大きい場合には、位置方向の補間処理により前記欠陥画素の画像信号を補正することを特徴とする請求項２に記載の撮像装置。
4. 前記像シフト手段によるシフトを受けていない画像信号から異なる瞳領域に対応する画像信号の差分を計算する相関計算手段を備え、前記設定手段は、前記相関計算手段の相関計算の結果に基づいて前記像再構成面を設定することを特徴とする請求項１記載の撮像装置。
5. 前記記憶手段は、次式に定める閾値を記憶し、
   

   

   前記設定手段は、前記閾値の範囲内で前記像再構成面を設定する手段を有することを特徴とする請求項２または３に記載の撮像装置。
6. 前記瞳分割手段は前記撮像素子の受光面に配置されたマイクロレンズアレイであり、前記マイクロレンズアレイは、前記撮像素子の受光面に形成されている複数の画素を各マイクロレンズに対応して複数の画素グループに分割し、前記マイクロレンズは対応する画素グループの各画素を前記撮影レンズの異なる瞳領域からの光束に対応させることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 撮影レンズを介して入射される被写体の光学像を光電変換して撮影された被写体の画像信号を出力する撮像素子と、前記撮像素子の各画素に入射する前記被写体の光学像の光束を前記撮影レンズの特定の瞳領域からの光束に制限する瞳分割手段と、前記撮像素子の画素欠陥の情報および前記撮像素子の各画素への前記光学像の入射角度を決定するための情報を記憶する記憶手段とを含む撮像装置の制御方法において、
   前記撮影された被写体の前記画像信号から像が再構成される像再構成面を設定する設定ステップと、
   前記設定ステップで設定された像再構成面と前記撮像素子の各画素への前記光学像の入射角度を決定するための前記情報とに基づいて、前記像再構成面に対応する前記撮影された被写体の前記画像信号のシフト量を前記瞳領域ごとに決定して前記画像信号をシフトする像シフトステップと、
   前記画素欠陥の情報に従って、欠陥画素の画像信号を前記像シフトステップで得られた前記欠陥画素以外の画素のシフトされた前記画像信号を用いて補正する欠陥補正ステップと、
   前記欠陥補正ステップで補正された画像信号から前記像再構成面に対応する画像を再構成する再構成ステップと、
   を備えたことを特徴とする制御方法。
8. コンピュータを、
   撮影レンズを介して入射される被写体の光学像を光電変換して撮影された前記被写体の画像信号を出力する撮像素子と、前記撮像素子の各画素に入射する前記被写体の光学像の光束を前記撮影レンズの特定の瞳領域からの光束に制限する瞳分割手段と、前記撮像素子の画素欠陥の情報および前記撮像素子の各画素への前記光学像の入射角度を決定するための情報を記憶する記憶手段とを含む撮像装置の制御方法において、
   前記撮影された被写体の前記画像信号から像が再構成される像再構成面を設定する設定手段、
   前記設定手段により設定された像再構成面と前記撮像素子の各画素への前記光学像の入射角度を決定するための前記情報とに基づいて、前記像再構成面に対応する前記撮影された前記被写体の前記画像信号のシフト量を前記瞳領域ごとに決定して前記画像信号をシフトする像シフト手段、
   前記画素欠陥の情報に従って、欠陥画素の画像信号を前記像シフト手段から得られた前記欠陥画素以外の画素のシフトされた前記画像信号を用いて補正する欠陥補正手段、および
   前記欠陥補正手段で補正された画像信号から前記像再構成面に対応する画像を再構成する像再構成手段として機能させるためのプログラム。
9. 請求項８のプログラムを記録したコンピュータが読み取り可能な記録媒体。
10. コンピュータを、請求項１乃至６のいずれか一項に記載の撮像装置の各手段として機能させるプログラム。
11. コンピュータを、請求項１乃至６のいずれか一項に記載の撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

Images