JP6494333B2 - 画像処理装置及び画像処理方法、及び撮像装置 - Google Patents

Description

本発明は画像処理装置及び画像処理方法、及び撮像装置に関し、特に手振れ補正機能及びリフォーカス機能を有する撮像装置から得られた画像信号を処理する画像処理装置及び画像処理方法、及び撮像装置に関する。

従来より、手振れ補正機能を持つデジタルカメラが提案されている。手振れ補正機能を持つデジタルカメラにおいては、検出した手振れ量に応じて光学部材や撮像素子の姿勢を所望の方向に変化させることにより、手振れ補正機能を実現している。光学部材を姿勢変化させる方式においては、複数の光学部材を用いてそれぞれ独立な方向に変化させることにより、補正可能な角度を増加させることができる。

特許文献１では、固定部材を挟んで前後にそれぞれ第１の光学部材を保持する第１の可動鏡筒と、第２の光学部材を保持する第２の可動鏡筒を配置することで、それぞれの可動鏡筒を独立に駆動して振れを補正する方法が開示されている。また、特許文献２及び３では、光学部材を光軸上の１点を回転中心として弧を描くように駆動して振れを補正する方法が開示されている。

さらに特許文献３には、凸状球面レンズの保持枠と凹状球面レンズの保持枠との間に複数の球体を配し、凸状球面レンズを駆動させることで、光軸上の１点を回転中心とした弧を描くような駆動の実現方法について開示されている。

一方、撮像素子の前面に複数の画素に対して一つの割合でマイクロレンズアレイを配置することで、光の２次元強度分布だけではなく撮像素子に入射する光線の入射方向の情報を取得し、被写体空間の３次元的な情報を得ることが可能である。このような被写体空間の３次元的な情報を得ることが可能なカメラはライトフィールドカメラと呼ばれている。また、被写体空間の３次元的な情報はライトフィールドデータと呼ばれ、ライトフィールドデータの取得と撮影後の画像再構成処理によって、画像のピント位置の変更や、撮影視点の変更、被写界深度の調節などのリフォーカスと呼ばれる画像処理が可能となる。

このようなライトフィールドカメラにおいて、プレノプティク方式が広く知られている。プレノプティク方式では、マイクロレンズアレイの各マイクロレンズの下に分割された撮像用光電変換素子（ＰＤ）が二次元状に配置されており、光学系が有するフォーカスレンズは、各マイクロレンズの射出瞳の役割を有する。このような構成の撮像装置において、各マイクロレンズの下に存在する複数のＰＤから得られた信号は、被写体からの複数の光線情報を有することが知られている。この光線情報を利用して、マイクロレンズの下に存在するＰＤ群から得られた信号のうち、各マイクロレンズに対して同一位置に存在するＰＤから得られた信号のみで形成した複数の二次元画像は、通常の二次元画像と異なり、互いに視差を有している。このような視差を有する２次元画像同士を合成することによって、画像のフォーカス面を仮想的に移動させることができる（特許文献４参照）。

特開２００９−２５８３８９号公報 特許第３００３３７０号公報 特開２００８−１３４３２９号公報 米国特許第８３５８３６７号明細書

しかしながら、特許文献２及び３に記載されている方法で防振光学系を駆動した場合であっても、防振光学系の全ての状態において理想的に像面と撮像面を平行に保つことは困難である。

また、特許文献３に記載されている防振光学系では、光学部材はある焦点距離で最適に像面と撮像面を平行に保つように設計されている為、ズームレンズの焦点距離によっては像面と撮像面の平行を保つことは困難である。

このように、防振光学系を用いた場合、像面と撮像面との平行が保てないために撮像された画像に片ボケが生じることがある。特に、動画撮影中に各フレームで片ボケが発生すると、撮影動画の品質を著しく低下させてしまうという問題がある。

本発明は上記問題点を鑑みてなされたものであり、防振光学系の駆動によって片ボケが発生した状態であっても、高品質な動画を得ることを目的とする。

上記目的を達成するために、複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、撮像装置に加わる振れを補正する防振光学系を含む撮像光学系を介して入射する光束を光電変換する撮像素子により撮影して得られた画像信号を用いて、画像を補正する本発明の画像処理装置は、前記画像信号と、撮影時の前記防振光学系の駆動状態とを取得する第１の取得手段と、前記防振光学系の駆動により発生する、前記撮像素子の異なる像高における、焦点面の移動によるデフォーカス量のばらつきを補正する補正値を取得する第２の取得手段と、前記取得した画像信号に基づいてリフォーカス処理を行って、前記画像を生成するリフォーカス手段と、を有し、前記リフォーカス手段は、更に、前記補正値に基づいて、前記デフォーカス量のばらつきを前記リフォーカス処理により補正する。

本発明により、防振光学系の駆動によって片ボケが発生した状態であっても、高品質な動画を得ることが可能となる。

本発明における撮像装置の概略構成を示すブロック図。 第１の実施形態で使用される撮像素子の単位画素セルの構成及び、得られる画像の一例を示した図。 第一補正レンズと第二補正レンズと撮像素子の位置関係を示す図。 各単位画素セルが６×６に分割された場合のリフォーカス可能範囲を説明するための図。 第一補正レンズと第二補正レンズの駆動によって発生したデフォーカス量の一例を表した図。 第１の実施形態におけるブロック分割方法の一例を示す図。 第１の実施形態におけるブロック分割方法の別の一例を示す図。 第１の実施形態における片ボケの補正処理のフローチャート。 各単位画素セルが３×３及び２×２に分割された場合のリフォーカス可能範囲を説明するための図。 第２の実施形態における片ボケの補正処理のフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態における撮像装置１の構成を示すブロック図である。図１において、光学系ユニット１００は少なくとも、第一補正レンズ１０１と第二補正レンズ１０２とからなる防振光学系と、絞り１０３を含む。光学系ユニット１００は更に、不図示のズームレンズやフォーカスレンズを有し、レンズ駆動制御部１１２の出力に基づいて駆動され、第一補正レンズ１０１、第二補正レンズ１０２、絞り１０３と共に撮像光学系を構成する。

本第１の実施形態では、第一補正レンズ１０１は光軸の1点を中心に、光軸に垂直な平面に対して弧を描くように傾ける（チルト）ことで、入射した光束を屈折することができる。一方、第二補正レンズ１０２は光軸に対して垂直な方向に移動（シフト）することで、入射した光束を平行移動することができる。

ジャイロセンサ１１３は、撮像装置１の３次元方向の加速度を検知し、ＣＰＵ１１０に出力する。レンズ駆動制御部１１２はＣＰＵ１１０の出力に応じて、光学系ユニット１００の防振駆動を行い、第一補正レンズ１０１のチルト角の制御、及び、第二補正レンズ１０２の垂直移動量の制御を行う。なお、具体的なチルト角の制御については詳細に後述する。

また、ＣＰＵ１１０はレンズ駆動制御部１１２を介して光学系ユニット１００に含まれる絞り１０３及び不図示のシャッターの制御を行うことで、露光量の制御を行う。光学系ユニット１００を介して入射した光束は、撮像素子１０４の受光面上に結像し、光電変換される。撮像素子１０４は、１つのマイクロレンズと、光電変換部である複数のフォトダイード（ＰＤ）とをそれぞれ含む単位画素セルが、２次元マトリクス状に配列されている。そして、撮像素子駆動制御部１１１の出力に応じて、各ＰＤに蓄積された電荷を加算もしくは非加算で読み出し、Ａ／Ｄ変換部１０５に出力する。撮像素子駆動制御部１１１はＣＰＵ１１０により制御され、撮像素子１０４の加算もしくは非加算読み出しの切り換えの他に、ＩＳＯ感度などを設定する。

ここで図２を参照して、第１の実施形態における撮像素子１０４に配置されている単位画素セルについて説明する。図２（ａ）に示すように、単位画素セルはマイクロレンズアレイに含まれる１つのマイクロレンズ２０１あたり、６×６のＰＤ１Ａ〜６Ｆを有している。このような単位画素セルが撮像素子１０４上にベイヤー配列で２次元状に配置されている。

Ａ／Ｄ変換部１０５は、撮像素子１０４から出力されるアナログ電気信号を不図示のアナログ信号処理部でアナログ信号処理を行った上で、デジタル電気信号（画素信号）に変換し、キャプチャー部１０６に出力する。なお、アナログ信号処理部は、例えば、伝送路上のノイズを除去するＣＤＳ回路や非線形増幅回路等である。

キャプチャー部１０６は画素信号の有効期間及び種別を判定し、ＰＤ１Ａ〜６Ｆをそれぞれ読み出した信号、または、ＰＤ１Ａ〜６Ｆを加算読み出しして得た信号を、ライトフィールド（ＬＦ）データとしてリフォーカス部１０７に出力する。

リフォーカス部１０７は、ＣＰＵ１１０から設定されるＰＤの分割数に応じてリフォーカス処理を行い、第一補正レンズ１０１及び第二補正レンズ１０２の駆動によって生じたボケに対して補正を行う。

デジタル信号処理部１０８では、ベイヤー配列で入力された画像信号に対して、公知の同時化処理、ガンマ処理、ノイズリダクション処理に代表されるデジタル信号処理を行う。デジタル信号処理部１０８の出力は、ＳＤカードに代表されるメモリカード等により構成される画像記録部１０９に記録したり、不図示の画像表示部に出力する。

ＣＰＵ１１０は、撮像装置１全体のシステム制御を行う中央演算装置であって、ＲＯＭ１１４に記録されているプログラムに基づいて動作を行う。本第１の実施形態ではリフォーカス部１０７、撮像素子駆動制御部１１１、レンズ駆動制御部１１２に対して、防振及び画像補正用のパラメータの演算及び設定を行う。

ＲＯＭ１１４には、ＣＰＵ１１０により撮像装置１全体のシステム制御を行うためのプログラム情報であるマイクロコードが記憶されている。他に、防振光学系の位置情報に基づいた像高別のリフォーカスパラメータ、像ずれ量からデフォーカス量への変換を行う変換係数Ｋなども記録されている。なお、リフォーカスパラメータ及び変換係数Ｋについては、詳細に後述する。

次に図３を用いて、防振制御における第一補正レンズ１０１と第二補正レンズ１０２の制御方法について説明する。

図３は、防振動作中の第一補正レンズ１０１及び第二補正レンズ１０２の動作を示す概念図であり、第一補正レンズ１０１、第二補正レンズ１０２及び撮像素子１０４の姿勢を示している。防振動作中は、光学系ユニット１００に含まれるズームレンズが望遠側か広角側かに応じて、動き方の異なる各補正レンズを有効に活用して、像振れが最小限になるように制御を行う。

図３（ａ）は像振れの無い状態を示しており、第一補正レンズ１０１と第二補正レンズ１０２ともにレンズ中心が光軸上に位置している。

次に、防振動作中について説明する。ズームレンズが広角側に位置する場合、像振れの主たる要因はカメラのシフトによるものとなる。よって第二補正レンズ１０２を図３（ｃ）に示すようにカメラのシフトによって起こる光軸に対する像ずれを打ち消すように制御し、像振れを補正する。

一方、ズームレンズが望遠側に位置する場合においては、像振れの主たる要因はカメラのチルトによるものとなる。よって第一補正レンズ１０１を図３（ｂ）に示すように、カメラのチルトによって起こる光軸に対する像ずれを打ち消すように制御して、像振れを補正する。

このように第一補正レンズ１０１と第二補正レンズ１０２を駆動することによって、防振することができる。なお、図３に示す例では、第一補正レンズ１０１と第二補正レンズ１０２のいずれか一方のみを制御した場合について説明したが、第一補正レンズ１０１と第二補正レンズ１０２を組み合わせて制御してもよい。

次に、図２（ａ）に示す構成を有する撮像素子１０４から得られる信号を用いてリフォーカス画像を生成する場合の、リフォーカス可能な範囲について説明する。

撮像素子１０４に含まれる単位画素セルにおいて、各マイクロレンズに対して同一位置に存在するＰＤからの信号のみで構成された二次元画像は、他の同一位置に存在するＰＤからの信号のみで構成された２次元画像に対して、視差を有する。例えば、図２（ａ）のＰＤ１Ａの信号のみで構成された画像と、ＰＤ２Ａの信号のみで構成された画像は異なる視差を有する。つまり、６×６のＰＤで構成された撮像素子１０４からは、合計３６の異なる視差の画像を得ることができる。

一般的にライトフィールドカメラでは、これらの分割画素数に応じた異なる視差の画素を合成してリフォーカス画像を得ることとなる。リフォーカス画像を得るための原理として、図２（ｂ）の画像の例においては、花の位置に視差を有さないように合成した場合には、花の位置には合焦しており、葉の位置では視差を有する画像同士を加算して合成するためにボケた画像を得ることとなる。また葉の位置に視差を有さないように合成した場合には、葉の位置に合焦しており、花の位置ではボケた画像を得ることとなる。

この時、リフォーカス可能な範囲は各視差画像の合焦範囲のみである。これは、ボケた各視差画像に対して視差を有さないように加算したとしても、元の像がシャープではないために、ボケた像しか得ることができないことによる。つまり、リフォーカス可能な範囲は各位置のＰＤから構成された視差画像の焦点深度に基づいて決まる。

図４を使用して、具体的にリフォーカス可能な範囲について説明する。図４において、許容錯乱円をδとし、絞り１０３の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、図２（ａ）に示すように６×６に分割されて狭くなった瞳部分領域５０１の水平及び垂直方向の実行絞り値Ｆ０１は、Ｆ０１＝６Ｆ（６は分割数）と暗くなる。その結果、各視差画像の実効的な被写界深度は±６Ｆδと６倍深くなり、合焦範囲が６倍に広がる。即ち、各視差画像において、実効的な被写界深度±６Ｆδの範囲内で合焦した被写体像が取得される。ライトフィールドにおけるリフォーカス画像は各画素の合成によって得られる像であるため、各画素で構成される像は少なくとも合焦している必要がある。よって、撮影後のリフォーカス処理により、デフォーカス量ｄは式（１）により示される範囲で仮想的に移動可能となる。
｜d｜ ≦ 6Fδ …（１）
なお、許容錯乱円δは、δ＝２ΔＸ（ΔＸは画素周期）のナイキスト周波数１／（２ΔＸ）の逆数などで規定される。このように射出瞳を共有する分割画素の数に応じて、各視差画像の焦点深度が決まる。

次に、図５を使用して第一補正レンズ１０１及び第二補正レンズ１０２の駆動に応じて生じる画像のボケについて説明する。図５は、ある焦点距離における第一補正レンズ１０１及び第二補正レンズ１０２の駆動中の、異なる像高におけるデフォーカス量の一例を表した図であって、像高をｈ、デフォーカス量をｄｅｆとして表している。図５（ａ）、（ｂ）、（ｃ）は各々像高ｈが１５、−１５、０の場合のデフォーカス量を表している。

このように第一補正レンズ１０１及び第二補正レンズ１０２が駆動することで、撮像素子１０４において像高毎に焦点面が異なり、像高中心では合焦していても像高によっては合焦していない、いわゆる片ボケが発生する状態が存在する。

そこで、本第１の実施形態では、第一補正レンズ１０１及び第二補正レンズ１０２の各駆動状態について、所定の像高を基準とし、基準の像高（例えば、像高中心）において合焦している場合の像高別のデフォーカス量を、ＲＯＭ１１４に記憶しておく。具体的には図６で示されるように、撮像素子１０４を像高別に８×８に６４分割したブロック毎に、デフォーカス量が記録されている。なお、デフォーカス量は、例えば工場出荷時等に、防振光学系を異なる状態に駆動しながら、所定距離に配置された基準画像を、焦点状態を検出可能な撮像素子を用いて撮影することで得ることができる。

この時、６４分割したブロック毎に記録されるデフォーカス量としては、例えば、各ブロックに含まれる画素のデフォーカス量の平均値や各ブロックの中央に位置する画素のデフォーカス量が記録される。なお、本第１の実施形態では６４個のブロックに分割してデフォーカス量を記録しているが、例えば、デフォーカス量を求める為の近似式や異なる分割数のデフォーカス量が記録されていてもよい。つまり、光学系の状態毎に各像高のデフォーカス量を求められる情報が記録されていればよい。

リフォーカス部１０７は、防振光学系の位置に基づいて、片ボケに対するリフォーカスによる補正を行い、デジタル信号処理部１０８に画像信号の出力を行う。具体的には、リフォーカス部１０７は、各像高別にＣＰＵ１１０を介してＲＯＭ１１４に記録されているデフォーカス量だけ、仮想焦点面を移動させた像を生成する。

この時、仮想焦点面を設定されたデフォーカス量だけ移動させるために、各ＰＤ１Ａ〜６Ｆから得られた信号を変換係数Ｋに基づいて相対的にシフトさせ加算処理を行う。上述したように、変換係数Ｋは像ずれ量からデフォーカス量への変換を行うための係数であり、基準となるＰＤとの相対的なシフト量を求める組み合わせの数だけ存在している。変換係数Ｋは、各単位画素セルが６×６＝３６個のＰＤから成る場合、ある基準のＰＤとの相対的なシフト量を求める組み合わせの数、つまり３６−１の３５個の変換係数Ｋが存在する。変換係数Ｋはさらに、Ｆ値、画素ピッチなどに基づいて設定される。

本第１の実施形態では、変換係数Ｋは、基準のＰＤをＰＤ１Ａとすると、ＰＤ１Ａと、ＰＤ１Ａを除く、列１〜６（ｉ）と行Ａ〜Ｆ（ｊ）で示される座標の３５個のＰＤとの組み合わせで存在しており、それぞれＫ２Ａ〜Ｋ６Ｆ（Ｋｉｊ）とする。また、ＰＤ２Ａ〜６Ｆのシフト量（補正値）をＮ２Ａ〜Ｎ６Ｆ（Ｎｉｊ）とし、移動させるデフォーカス量をｄｃとすると、ＰＤ１Ａ以外のＰＤのシフト量は、式（２）により表すことが可能となる。
Ｎｉｊ＝ｄｃ／Ｋｉｊ …（２）
式（２）により求めたシフト量Ｎ２ＡからＮ６Ｆに基づいてＰＤから得られた信号をシフトし、加算処理を行うことで仮想的に焦点面を移動させることが可能となる。

なお、ブロック毎にリフォーカス処理を行って画像を組み合わせて合成すると、ブロック毎に処理が異なるため、境界線が見えてしまうことがある。そのような場合にはブロックの境界近傍の画像をオーバーラップして生成し、加算平均で合成することが望ましい。

また、リフォーカス処理により補正した画像同士を合成するのではなく、各ブロックのデフォーカス量と、隣接するブロックのデフォーカス量とから各画素に適用するデフォーカス量を求めてリフォーカス処理による補正を行っても良い。

また、本第１の実施形態では矩形に分割されたブロック毎にデフォーカス量を設定したが、本発明はこれに限るものではない。例えば、像高の中心を極座標の中心位置として、角度と距離で分割した複数のブロックそれぞれについてデフォーカス量を設定しても良い。図７はその一例を示す図であり、中央付近は疎であって、周辺像高になるに従って密になるような極座標により平面の分割を行っても良い。

なお、リフォーカスの方法として変換係数Ｋに基づいてＰＤから得られた信号を相対的にシフトして加算する方法について説明を行ったが、本発明はこれに限られるものではない。例えば、特許文献４に記載されているようなフーリエ空間で処理を行うリフォーカスの方法であっても良い。

なお、本第１の実施形態では変換係数Ｋが予めＲＯＭ１１４に記録されている場合について説明を行ったが、光学的な状態、画素ピッチ、読み出し時の各単位画素セルにおけるＰＤの分割数に基づいて設定しても良い。

次に、図８のフローチャートを参照して、第１の実施形態における防振動作について説明する。本防振動作は不図示の動画撮影ＳＷをユーザーが操作することでスタートする。

Ｓ１１で、ＣＰＵ１１０は撮像素子駆動制御部１１１に、ＰＤ１Ａ〜６Ｆの非加算読み出しを設定する。Ｓ１２で、ＣＰＵ１１０はジャイロセンサ１１３の出力に基づいて防振量を求め、Ｓ１３で、求めた防振量に基づいて、レンズ駆動制御部１１２を介して第一補正レンズ１０１及び第二補正レンズ１０２の駆動を行い、Ｓ１４に進む。

Ｓ１４でＣＰＵ１１０は、ＲＯＭ１１４に記録された像高別のデフォーカス量ｄｅｆの読み出しを行い、Ｓ１５に進む。Ｓ１５でＣＰＵ１１０は記録された像高別のデフォーカス量ｄｅｆが上述した式（１）により表されるリフォーカス可能な範囲に収まっているかどうかを判定し、リフォーカス可能な範囲内であればＳ１７に進み、可能な範囲を超えていればＳ１６に進む。Ｓ１６でＣＰＵ１１０は、デフォーカス量ｄｅｆをリフォーカス可能な範囲の上限値に設定し、Ｓ１７に進む。

Ｓ１７で、撮像素子１０４は光学系ユニット１００を介して得られた光学像を光電変換し、Ａ／Ｄ変換部１０５、キャプチャー部１０６を介してリフォーカス部１０７に出力し、Ｓ１８に進む。Ｓ１８でリフォーカス部１０７は設定された像高別のデフォーカス量に基づいてリフォーカス処理を行い、片ボケを補正してＳ１９に進む。

Ｓ１９でＣＰＵ１１０は、動画撮影を終了するかどうかを不図示の動画撮影ＳＷの状態に基づいて判定し、動画撮影を継続する場合にはＳ１２へ、動画撮影を終了する場合には図８の動作を終了する。

以上のように本第１の実施形態によれば、リフォーカス処理を行うことで、防振光学系が動作することによって発生する片ボケを適切に補正することが可能となる。

なお、本第１の実施形態では第一補正レンズ１０１及び第二補正レンズ１０２の両方を備える装置について説明を行ったが、本発明はこれに限られるものではなく、撮像素子の中央部と周辺部との間でデフォーカス量が異なる撮像装置に適用することが可能である。

また、上述した例では、動画撮影を行う場合に防振動作を行うものとして説明したが、静止画撮影を行う場合の所謂ライブビュー時に実行してもよい。

また、第１の実施形態では、光学系ユニット１００が撮像装置１に含まれるものとして説明したが、光学系ユニット１００を着脱可能に構成してもよい。

また、第１の実施形態では、ジャイロセンサ１１３により撮像装置１の振れを検知する構成について説明したが、振れを検知する方法はこれに限るものではなく、公知の方法を利用することが可能である。例えば、連続するフレーム間の画像の動きを検知することにより、撮像装置１の振れを検知する構成としても良いし、ジャイロセンサ１１３との組み合わせにより検知する構成としても良い。

＜変形例＞
上述した第１の実施形態では、撮像素子１０４の各単位画素セルから非加算読み出しにより、６×６のＰＤそれぞれから独立に電荷を読み出す場合について説明した。撮像素子が６×６のＰＤを有している場合において、６×６のＰＤそれぞれから独立に電荷の読み出しを行うことで、リフォーカスによる補正可能範囲を最も大きく取ることが可能である。しかしながら、処理量も比例して増加するため、消費電力の問題が発生する。

そこで、本変形例では、第一補正レンズ１０１の防振量を最大限確保しつつも消費電力の削減を図る為に、ＰＤの読み出し方法を切り換える。なお、本変形例における撮像装置の構成は、第１の実施形態において図１及び図２を参照して説明したものと同様であるので、ここでは説明を省略する。

図９を使用して、本変形例における読み出し方法を変更した時のリフォーカス可能範囲について説明する。図９（ａ）は、６×６のＰＤを２×２単位で加算して読み出す場合を示している。この場合、瞳部分領域は８００となり、デフォーカス量ｄは式（３）で表すことができ、このデフォーカス量ｄの範囲で仮想的に焦点面を移動することができる。

図９（ｂ）は、６×６のＰＤを３×３単位で加算して読み出す場合を示している。この場合、瞳部分領域は８０１となり、デフォーカス量ｄは式（４）で表すことができ、このデフォーカス量ｄの範囲で仮想的に焦点面を移動することができる。
｜d｜ ≦ 2Fδ …（４）

この場合、図８のＳ１１において、分割読み出し方法を決定し、Ｓ１５で、デフォーカス量が、式（３）または（４）により規定されるデフォーカス量ｄの範囲内であるかどうかを判断することで、第１の実施形態と同様の効果を得ることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、撮影時の防振光学系の状態によって発生する片ボケを撮像装置１で補正を行う方法について説明をした。これに対し、本第２の実施形態では、撮影後のデータに対して、コンピュータプログラムにより発生した片ボケを補正する画像処理方法について説明を行う。

図１０は、コンピュータプログラムにより補正を行う画像処理を説明するフローチャートである。なお、図１０において、図８と同一の符号が振られているＳ１４、Ｓ１５、Ｓ１６、Ｓ１８は撮像装置１のＣＰＵ１１０で処理を行った内容と同様の処理を行う為、ここでは説明を省略する。本防振動作はユーザーの操作で、ハードディスクに代表される記録装置からＬＦデータを読み出すことによってスタートする。

Ｓ２１で、記録されたＬＦデータ取得時のＰＤの分割数、光学系ユニットの情報をＬＦデータのヘッダ部から読み出し、次のＳ２２において、記録されたＬＦデータ取得時の防振光学系の動作状態を取得し、Ｓ１４に進む。Ｓ１４で、読み出された防振光学系の動作状態及び光学系ユニットの情報に基づいて、像高別のデフォーカス量ｄｅｆを予め用意されたルックアップテーブルから取得し、Ｓ１５に進む。

Ｓ１５、Ｓ１６、Ｓ１８では第１の実施形態で説明した処理と同様の処理を行い、Ｓ２３に進む。Ｓ２３では補正されたデータを記録装置に記録し、Ｓ２４に進む。Ｓ２４では動画ファイルが最終データまで補正されたかどうかを確認し、最終データまで完了している場合には本フローチャートの動作を完了し、そうでない場合にはＳ２１に進む。

以上のように本第２の実施形態によれば、第１の実施形態で説明した処理をコンピュータプログラムで実現し、記録されたＬＦデータの防振光学系の駆動による片ボケを補正することが可能となる。

また、本発明は、上述の第２の実施形態で説明したプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：光学系ユニット、１０１：第一補正レンズ、１０２：第二補正レンズ、１０３：絞り、１０４：撮像素子、１０７：リフォーカス部、１１０：ＣＰＵ、１１１：撮像素子駆動制御部、１１２：レンズ駆動制御部、１１３：ジャイロセンサ、２０１：マイクロレンズ

Claims (14)

1. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、撮像装置に加わる振れを補正する防振光学系を含む撮像光学系を介して入射する光束を光電変換する撮像素子により撮影して得られた画像信号を用いて、画像を補正する画像処理装置であって、
   前記画像信号と、撮影時の前記防振光学系の駆動状態とを取得する第１の取得手段と、
   前記防振光学系の駆動により発生する、前記撮像素子の異なる像高における、焦点面の移動によるデフォーカス量のばらつきを補正する補正値を取得する第２の取得手段と、
   前記取得した画像信号に基づいてリフォーカス処理を行って、前記画像を生成するリフォーカス手段と、を有し、
   前記リフォーカス手段は、更に、前記補正値に基づいて、前記デフォーカス量のばらつきを前記リフォーカス処理により補正することを特徴とする画像処理装置。
2. 前記撮像素子の異なる像高における、前記防振光学系の複数の駆動状態それぞれに対するデフォーカス量の情報を記憶手段に記憶しておき、
   前記第２の取得手段は、前記記憶手段から読み出した前記デフォーカス量に基づいて、前記補正値を求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記デフォーカス量の情報は、前記防振光学系の複数の駆動状態それぞれにおいて基準画像を撮影して得られた画像の、異なる像高におけるデフォーカス量であることを特徴とする請求項２に記載の画像処理装置。
4. 前記デフォーカス量の情報は、前記防振光学系の複数の駆動状態それぞれにおいて、異なる像高におけるデフォーカス量を求めるための近似式であることを特徴とする請求項２に記載の画像処理装置。
5. 前記デフォーカス量の情報を、前記撮像素子を矩形で分割した複数のブロック毎に有することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記デフォーカス量の情報を、像高の中心を極座標の中心位置として、角度と距離で分割した複数のブロック毎に有することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
7. 前記第２の取得手段は、前記デフォーカス量のばらつきを、前記リフォーカス処理において前記ばらつきを補正するために前記複数の光電変換部から読み出された信号をシフトするシフト量に変換し、該シフト量を前記補正値とすることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第２の取得手段は、前記複数の光電変換部のうちの１つを基準の光電変換部として、前記リフォーカス処理において前記基準の光電変換部を除く前記複数の光電変換部から読み出された信号のシフト量をデフォーカス量に変換するための変換係数を、前記基準の光電変換部を除く前記複数の光電変換部について取得し、前記デフォーカス量を前記変換係数で除することにより、該基準の光電変換部を除く前記複数の光電変換部から得られた信号の前記シフト量を取得することを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の取得手段は、前記デフォーカス量が前記リフォーカス手段によりリフォーカス可能な範囲よりも広い場合に、前記デフォーカス量を前記リフォーカス可能な範囲の上限値に変更することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記デフォーカス量は、前記撮像素子の像高の中心が合焦している場合の、前記異なる像高における前記デフォーカス量であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記撮像素子と、
    請求項１乃至１０のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
12. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、撮像装置に加わる振れを補正する防振光学系を含む撮像光学系を介して入射する光束を光電変換する撮像素子により撮影して得られた画像信号を用いて、画像を補正する画像処理方法であって、
    第１の取得手段が、前記画像信号と、撮影時の前記防振光学系の駆動状態とを取得する第１の取得工程と、
    第２の取得手段が、前記防振光学系の駆動により発生する、前記撮像素子の異なる像高における、焦点面の移動によるデフォーカス量のばらつきを補正する補正値を取得する第２の取得工程と、
    リフォーカス手段が、前記取得した画像信号に基づいてリフォーカス処理を行って、前記画像を生成するリフォーカス工程と、を有し、
    前記リフォーカス工程では、更に、前記補正値に基づいて、前記デフォーカス量のばらつきを前記リフォーカス処理により補正することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
14. 請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。