JP6541477B2 - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、およびプログラムに関する。

従来、それぞれの画素が１つのマイクロレンズに対して複数の光電変換部を備える撮像素子を利用して瞳分割像（視差画像）を取得する技術が知られている。特許文献１では、瞳分割した像により位相差を求めて焦点検出を行うとともに、同一のマイクロレンズに対応した光電変換部の信号を全て加算して１つの画素信号として出力する技術が開示されている。

特許第３７７４５９７号明細書

Ｒｅｎ．Ｎｇ、外７名、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」、Ｓｔａｎｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

特許文献１では、同一のマイクロレンズ下の複数の光電変換部から取得される画素値を加算して得られる画像は、許容飽和レベルが改善され画質が向上する。しかしながら、加算前の瞳分割像を用いて信号処理を行う場合においては、飽和画素から飽和画素近傍の画素に電荷の漏れこみが発生し、本来の強度とは異なる強度を持つ信号がそのまま使用されることになる。そのため、瞳分割像を用いた所定の信号処理の結果が所望の結果とならないといった問題が生じる。

このような課題に鑑みて、本発明は、飽和画素の影響を受けている画像信号を補正可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、画素ごとにマイクロレンズが設けられ、それぞれの画素が複数の光電変換部を備える撮像素子から出力される画像信号を処理する画像処理装置であって、第１の撮像において第１の光束を受光する第１の光電変換部と第２の光束を受光する第２の光電変換部を備える第１の画素からの出力値を含む第１の画像信号と、第２の撮像において前記第２の光束を受光する第３の光電変換部を備える第２の画素からの出力値を含む第２の画像信号と、を取得する制御手段と、前記第１の光電変換部の出力値が飽和し、前記第２の画素が備える複数の光電変換部の出力値が飽和していない場合に、前記第２および第３の光電変換部の出力値に基づいて、前記第１の画像信号を補正する補正手段と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、画素ごとにマイクロレンズが設けられ、それぞれの画素が複数の光電変換部を備える撮像素子と、第１の撮像において第１の光束を受光する第１の光電変換部と第２の光束を受光する第２の光電変換部を備える第１の画素からの出力値を含む第１の画像信号と、第２の撮像において前記第２の光束を受光する第３の光電変換部を備える第２の画素からの出力値を含む第２の画像信号と、を取得する制御手段と、前記第１の光電変換部の出力値が飽和し、前記第２の画素が備える複数の光電変換部の出力値が飽和していない場合に、前記第２および第３の光電変換部の出力値に基づいて、前記第１の画像信号を補正する補正手段と、を有することを特徴とする。

また、本発明の他の側面としての画像処理方法は、画素ごとにマイクロレンズが設けられ、それぞれの画素が複数の光電変換部を備える撮像素子から出力される画像信号を処理する画像処理方法であって、第１の撮像において第１の光束を受光する第１の光電変換部と第２の光束を受光する第２の光電変換部を備える第１の画素からの出力値を含む第１の画像信号と、第２の像において前記第２の光束を受光する第３の光電変換部を備える第２の画素からの出力値を含む第２の画像信号と、を取得するステップと、前記第１の光電変換部の出力値が飽和し、前記第２の画素が備える複数の光電変換部の出力値が飽和していない場合に、前記第２および第３の光電変換部の出力値に基づいて、前記第１の画像信号を補正するステップと、を有することを特徴とする。

また、本発明の他の側面としてのプログラムは、コンピュータに、画素ごとにマイクロレンズが設けられ、それぞれの画素が複数の光電変換部を備える撮像素子から出力される画像信号を処理する画像処理方法を実行させるプログラムであって、第１の撮像において第１の光束を受光する第１の光電変換部と第２の光束を受光する第２の光電変換部を備える第１の画素からの出力値を含む第１の画像信号と、第２の撮像において前記第２の光束を受光する第３の光電変換部を備える第２の画素からの出力値を含む第２の画像信号と、を取得するステップと、前記第１の光電変換部の出力値が飽和し、前記第２の画素が備える複数の光電変換部の出力値が飽和していない場合に、前記第２および第３の光電変換部の出力値に基づいて、前記第１の画像信号を補正するステップと、を実行させることを特徴とする。

本発明によれば、飽和画素の影響を受けている画像信号を補正可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することができる。

実施例１の撮像装置の構成を示すブロック図である。 撮像素子の部分拡大図である。 撮像素子の画素構造を示す図である。 分割画素の飽和についての説明図である。 像崩れの説明図である。 飽和画素の補正についての説明図である。 実施例１の飽和補正処理のフローチャートである。 リフォーカス処理の概念の説明図である。 実施例２の撮像装置の構成を示すブロック図である。 実施例２の飽和補正処理のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本実施例の撮像装置１００の構成を示すブロック図である。図２は、撮像素子１０２の部分拡大図である。被写体からの光束は、複数のレンズ群および絞りを備える撮像光学系１０１を通過し、撮像素子１０２に導かれる。撮像素子１０２に導かれた光束は、撮像素子１０２上に結像される。撮像光学系１０１に設けられたフォーカシングレンズは、レンズ駆動部１０８からの駆動命令、または撮像光学系１０１に設けられるフォーカスリング（不図示）の手動調節によって光軸に沿って移動する。撮像素子１０２は、図２に示されるように、Ｒ(赤)、Ｇ(緑)、Ｂ(青)のいずれかのカラーフィルターを備える画素がベイヤー状に配置される。ＣＰＵ（制御手段）１０３は、データを一時記憶する記憶領域を備え、撮像装置１００の内部状態に応じて撮影や記録などの撮像装置１００全体の制御を行う。飽和検出部（検出手段）１０４は、撮像素子１０２から出力される画像信号中の飽和画素を検出する。補正量算出部（算出手段）１０５は、飽和補正処理に用いる補正量を算出する。信号補正部（補正手段）１０６は、算出された補正量に基づいて画像信号を補正する。再構成部（リフォーカス手段）１０７は、任意の位置にピントの合った画像を生成する。レンズ駆動部１０８は、ＣＰＵ１０３からのレンズ駆動指示に応じて、撮像光学系１０１に設けられたフォーカシングレンズやズームレンズなどのレンズ群を駆動させる。

図３は、撮像素子１０２の画素構造を示す図である。図３（ａ）は撮像素子１０２上の１画素の上面図であり、図３（ｂ）は図３（ａ）に示す線分Ｐ−Ｐ’に沿う断面図である。１画素は、マイクロレンズ３０１、光電変換部３０２，３０３、およびカラーフィルター３０４から構成される。マイクロレンズ３０１は、撮像光学系１０１からの光束を集光する。カラーフィルター３０４は、マイクロレンズ３０１を通過した光束のうち、特定の波長の光を透過させる。光電変換部３０２，３０３はそれぞれ、受光した光束を光電変換し、個別に信号を取得する。以後、本実施例では、各画素において、光電変換部３０２の位置に対応する部分を分割画素Ａ、光電変換部３０３の位置に対応する部分を分割画素Ｂという。

分割画素Ａのみの画素を集めて構成した画像と分割画素Ｂのみの画素を集めて構成した画像では瞳が分割されているため、視差が生じる。その視差は、焦点検出、ステレオ画像、およびリフォーカス処理などに利用される。また、分割画素Ａと分割画素Ｂの画素値を加算すれば、通常の画素と同じ瞳形状に戻るため、加算画素に対して一般的な信号処理を行うことで従来の撮像素子と同様の画像を取得することができる。

なお、本実施例では、１画素に対して２つの光電変換部が設けられているが、１画素に構成される分割画素が射出瞳上の異なる領域を通過した光束をそれぞれ独立して受光可能であれば、１画素に対する光電変換部の数は２つに限定されない。また、本実施例では、ＲＧＢのいずれかのカラーフィルター３０４が使用されているが、カラーフィルター３０４の分光感度特性はこれに限定されるものではない。

次に、分割画素の飽和について、図４を参照して説明する。図４において、横軸はマイクロレンズ３０１に入射した光束の光量、縦軸は画素からの出力値を示している。線（ａ）は分割画素Ａ、線（ｂ）は分割画素Ｂを示している。図４では、像高の高い場所の画素、つまり画面の周辺の画素に光束が当たっている状態である。このとき、画面の周辺の画素では光束は斜めから入射するため、分割画素Ｂに比べて分割画素Ａに光束が当たる。そのため、図４に示されるように、分割画素Ａが分割画素Ｂよりも先に飽和している。線（ｃ）は、画素を分割しない場合を示しており、飽和レベルに達するまで直線性が保たれる。仮に、マイクロレンズに入射した光束が各分割画素に均等に当たっているときに、分割画素の出力値を加算すれば線（ｃ）と一致する。しかし、像高中心、かつ焦点が合っている状態でもない限り各分割画素に当たる光束は均等にはならない。通常、線（ａ），（ｂ）のように他の分割画素に比べて先に飽和レベルに達する分割画素が存在するため、分割画素Ａと分割画素Ｂを加算した画素は線（ｄ）のようになってしまい、線（ｃ）に比べて早く飽和の影響が出てしまう。そのため、本実施例では、分割画素Ａが飽和に達してしまった場合、分割画素Ａで発生した電荷を分割画素Ｂに漏れこませる。そうすることで、分割画素Ｂは、図４（ｂ）の線（ｅ）のようになる。このとき、分割画素Ａと分割画素Ｂの出力値を加算すると、線（ｃ）のようになる。

次に、分割画素の飽和による像崩れについて、図５を参照して説明する。図５は、焦点が合っていない状態の分割画素を用いて作成した画像信号の波形である。図５（ａ）は、飽和が発生しない理想的な状態を示している。図５（ｂ）は、飽和レベルに達した分割画素から漏れた電荷により他の分割画素の画像信号まで変形している状態を示している。図５（ｂ）の状態で焦点検出や距離画像を作成するために各画像信号をずらした状態を図５（ｃ）に示している。図５（ｃ）に示されるように、飽和により漏れた電荷の影響で、各画像信号の一致度が下がっている。したがって、ステレオ画像として鑑賞する場合やリフォーカス処理による再構成画像を生成する場合においても、像崩れの発生している部分にクロストークが発生してしまう。

次に、本発明の飽和画素の補正について、図６を参照して説明する。フォーカシングレンズを移動させることで、第１の焦点位置での第１の撮像と、第２の焦点位置での第２の撮像を行う。図６に示されるように、第１の焦点位置で任意の光束が入射する分割画素と、第２の焦点位置で同一の光束が入射する分割画素が異なる。第２の焦点位置で任意の光束が入射する分割画素は、第１の焦点位置で同一の光束が入射する分割画素に対し、±２画素離れている。光束６０８は、第１の焦点位置では分割画素６００に入射し、第２の焦点位置では分割画素６０５に入射する。光束６０９は、第１の焦点位置では分割画素６０２に入射し、第２の焦点位置では分割画素６０７に入射する。光束６１０は、第１の焦点位置では分割画素６０１に入射し、第２の焦点位置では分割画素６０４に入射する。光束６１１は、第１の焦点位置で分割画素６０３に入射し、第２の焦点位置では分割画素６０６に入射する。

光束６１０が飽和判定の閾値を超える強度を持つ場合、分割画素６０１は飽和している。第１の焦点位置において、分割画素６０１で飽和した電荷は分割画素６０２に漏れ、像崩れが発生する。第１の焦点位置で分割画素６０２に入射していた光束６０９は、第２の焦点位置で分割画素６０７に入射する。分割画素６０６は飽和していないため、分割画素６０７は飽和画素の影響を受けていない。第１の焦点位置で像崩れの発生している分割画素６０２と分割画素６０７との差分を取ることで、分割画素６０１から分割画素６０２に漏れこんでいる電荷量が算出される。算出された電荷量を分割画素６０１に加算し、分割画素６０２から減算することで、第１の焦点位置における分割画素の画素値を求めることができる。このような原理に基づいて、本発明の画像処理装置は、飽和画素を補正する。

次に、飽和補正処理について、図７のフローチャートを用いて説明する。図７のフローチャートで説明する一連の動作は、ＣＰＵ１０３によって制御される。飽和補正処理が開始されると、ステップＳ７００では、第１の撮像が実施され、第１の焦点位置において第１の画像信号が取得される。ステップＳ７０１では、ステップＳ７００で取得した第１の画像信号に対して飽和検出処理を実施する。

飽和検出処理は、飽和検出部１０４によって実行される。飽和検出部１０４は、撮像素子１０２上の各画素位置における分割画素Ａの画素値、分割画素Ｂの画素値、および現在の画素の位置情報が入力される。分割画素Ａ，Ｂの画素値は、あらかじめ定義されている飽和判定用の閾値Ｈ＿ＬＩＭＩＴと比較される。

Ｈ＿ＬＩＭＩＴ＜分割画素Ａの画素値 （１）
Ｈ＿ＬＩＭＩＴ＜分割画素Ｂの画素値 （２）
比較の結果、条件式（１）または（２）の少なくとも一方が成立する場合、対象となっている画素は飽和画素であると判定し、分割画素Ａ，Ｂのそれぞれに飽和判定用のフラグ情報を付与し、飽和している画素位置をＣＰＵ１０３の記憶領域に記憶する。

ステップＳ７０２では、レンズ駆動部１０８が所定の移動量だけフォーカシングレンズを移動させる。フォーカシングレンズの移動量は、不図示の絞り、フォーカシングレンズ、および画素の受光位置の関係に基づいて光学的に決められる。本実施例では、図６に示されるように、第１および第２の撮像において同一の光束を受光する画素の位置が相対的に２画素離れるように設定している。以下、同一の光束を受光する第１の撮像における分割画素と、第２の撮像における分割画素との位置関係を対応画素位置という。

ステップＳ７０３では、第２の撮像が実施され、第２の焦点位置において第２の画像信号が取得される。ステップＳ７０４では、ステップＳ７０３で取得した第２の画像信号について飽和検出処理が行われる。この処理は、入力されるデータを除いてステップＳ７０１で説明した内容と同様であるため説明を省略する。ステップＳ７０５では、補正量算出部１０５が各飽和画素に対する補正量を算出する。

ここで、補正量算出部１０５による補正量の算出方法について説明する。補正量算出部１０５には、第１の画像信号中のいずれかが飽和画素となっている分割画素Ａ１，Ｂ１のそれぞれの画素値ａ１，ｂ１と、その対応画素位置に存在する第２の画像信号中の対応画素Ａ２，Ｂ２のそれぞれの画素値ａ２，ｂ２が入力される。

分割画素Ａ１が飽和画素であり、分割画素Ｂ１が飽和画素でなく、かつ対応画素Ａ２が飽和画素であり、対応画素Ｂ２を含む画素が飽和画素でないと判定された場合、補正量は以下の式（３）および式（４）で算出される。なお、分割画素Ｂ１は、飽和画素であってもよい。

分割画素Ａの補正量α＝ｂ１−ｂ２ （３）
分割画素Ｂの補正量β＝ｂ２−ｂ１ （４）
分割画素Ａ１が飽和画素でなく、分割画素Ｂ１が飽和画素であり、かつ対応画素Ａ２を含む画素が飽和画素でなく、対応画素Ｂ２が飽和画素であると判定された場合、補正量は以下の式（５）および式（６）で算出される。なお、分割画素Ａ１は、飽和画素であってもよい。

分割画素Ａの補正量α＝ａ１−ａ２ （５）
分割画素Ｂの補正量β＝ａ２−ａ１ （６）
分割画素Ａ１，Ｂ１がともに飽和画素であり、かつ対応画素Ａ２，Ｂ２を含む画素が飽和画素である、または対応画素Ａ２，Ｂ２を含む画素が飽和画素でないと判定された場合、補正量は以下の式（７）および式（８）で算出される。

分割画素Ａの補正量α＝０ （７）
分割画素Ｂの補正量β＝０ （８）
ステップＳ７０６では、信号補正部１０６は、補正量算出部１０５により算出された飽和画素の補正量に基づいて、以下の式（９），（１０）により飽和の影響を受けている画素値(ａ１，ｂ１)を画素値（ａ１’，ｂ１’）に補正する。

ａ１’＝ ａ１＋α （９）
ｂ１’＝ ｂ１＋β （１０）
ステップＳ７００からステップＳ７０６の一連の処理により、飽和している分割画素および飽和の影響を受けている分割画素の補正を完了する。なお、本実施例では、異なる焦点位置で撮影された２枚の画像信号を用いて補正処理を行ったが、更に焦点位置を変更して撮影した複数の画像を用いて補正を行ってもよい。また、本実施例では、相対的に２画素離れた対応関係の例を説明したが、相対的に１画素離れた対応関係としてもよい。この場合、同一の光束が入射する画素の分光感度特性が変わるため、分光感度特性による信号レベルの違いを考慮した色変換処理を行った上で補正値を求めればよい。

補正後の信号は、各種画像処理に用いられる。本実施例では、補正後の信号を用いて、再構成部１０７によるリフォーカス処理を行う例について説明する。非特許文献１では、マイクロレンズアレイを介して、撮像素子の各画素に異なる瞳領域を通過した光束を結像させることにより、光の強度分布と進行方向とを記録可能な技術（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ）が開示されている。このようにして記録されたデータを再構成することにより任意の焦点距離に合焦した画像を生成する技術が提案されている。このような再構成処理を一般的にリフォーカス処理と呼んでいる。

再構成部１０７の動作について、図８を参照して説明する。図８（ａ）は、撮像素子１０２の任意の領域における入射光と焦点面の撮像時における関係を示している。図８（ａ）は、焦点面がマイクロレンズアレイ２０１のアレイ面にある場合の入射光を、実線、破線、点線などによりマイクロレンズごとに示している。撮像時の撮像素子１０２の撮像面には、焦点の合った像が形成されている。各マイクロレンズに対応する２つの分割画素に入射する光束を同じ種類の線で示している。図８（ｂ）は、図８（ａ）においてそれぞれの分割画素が受光する光束を模式的に示した図である。同一のマイクロレンズ下の分割画素８０１および８０２、８０３および８０４、８０５および８０６、８０７および８０８、８０９および８１０をそれぞれ加算することによって同一の種類の線が結像した画像を得ることができる。

図８（ｃ）は、第１のリフォーカス処理後の画像に対応する焦点面（仮想焦点面１）における入射光と分割画素との対応を示す図である。分割画素８０１〜８１０のそれぞれは、図８（ａ）で示した光束情報を有している。図８（ｄ）は、仮想焦点面１におけるリフォーカス画像を、図８（ａ）で受光した信号から生成された画像データをシフトして加算することで生成する例を示している。図８（ａ）で得られた画像信号のシフト加算によって異なる線種の結像した画像信号を得ることで、図８（ｃ）の仮想焦点面１で取得できる画像データと等価なデータとして扱うことができる。図８（ｅ）および（ｆ）は、図８（ｃ）および（ｄ）と逆方向にシフトして加算を行った例であり、第２のリフォーカス処理後の画像に対応する焦点面（仮想焦点面２とする）における入射光と分割画素との関係を示している。このように、分割画素ごとにシフトしたデータを加算することでデータを再構成し、任意の被写体領域にピントの合ったリフォーカス画像を生成することができる。

なお、本実施例では、マイクロレンズに対して分割画素が２つである場合の例を用いてリフォーカス処理を説明した。本発明の範囲はこれに限定されるものではなく、分割画素の分割数等の画素構造や光学系の構成に応じた再合成処理を行うことで表示用仮想焦点面に対応したリフォーカス画像を得ることができればよい。また、説明のために簡易なシフト加算演算によるリフォーカス処理の例を示したが、これに限定されるものではなく、公知の技術を用いてリフォーカス処理を行ってもよい。

また、補正を行ったデータは、リフォーカス処理以外の用途に用いてもよい。例えば、補正を行った分割画素Ａの信号群と、分割画素Ｂの信号群を用いてステレオ画像を生成してもよいし、同様に分割画素Ａの信号群と、分割画素Ｂの信号群を用いて相関演算を行い、位相差検出型の焦点検出処理を行ってもよい。いずれにしても分割画素単位で本来の光の強度となるように補正を行っているため、像崩れやクロストークによる表示上の違和感が低減される。

以上、説明した通り、異なる焦点位置で得られる少なくとも２枚以上の画像と、焦点位置に基づいて決定される２枚以上の画像の対応関係に基づいて飽和画素を補正することによって飽和の影響を低減した画像処理を行うことが可能となる。

なお、本実施例では撮像装置を用いて一連の処理を行う例を説明したが、本発明はこれに限定されない。例えば、あらかじめ撮影された焦点位置の異なる少なくとも２枚以上の画像信号、画像信号間の対応画素位置を決定するためのデータ、および飽和画素位置の情報があれば、撮像後に外部の画像処理装置を用いて同様の処理を実施することが可能である。また、本実施例では、画像処理用の回路を用いて各種処理を行う例を示したが、同様の処理をコンピュータにプログラムによって実現させてもよい。

以上説明したように、焦点位置の異なる少なくとも２枚以上の画像信号間で対応しあう画素同士を比較し、その差分値を少なくとも一方の画像の補正値として用いることで、分割画素単位での飽和補正が可能となる。そのため、再構成画像の画質の劣化を低減することが可能となる。

実施例１では、フォーカシングレンズを移動させて第１および第２の撮像を行い、焦点位置の異なる画像信号を取得する。本実施例では、撮像素子を光軸に沿って移動させることで、焦点位置の異なる画像信号を取得する。

図９は、本実施例の撮像装置１００のブロック図である。実施例１で図１を用いて既に説明を行ったブロックは、図１と同一の部番を振っており、詳細な説明は省略する。本実施例の撮像装置５００は、レンズ駆動部１０８の代わりに、撮像素子駆動部９０８を備えている。

飽和補正処理について、図１０のフローチャートを用いて説明する。図１０のフローチャートで説明する一連の動作は、ＣＰＵ１０３によって制御される。実施例１で図７を用いて既に説明を行ったブロックは、図７と同一の部番を振っており、詳細な説明は省略する。本実施例の飽和補正処理では、実施例１の飽和補正処理でフォーカシングレンズを移動させる代わりに、ステップＳ１００２で、撮像素子駆動部９０８に対して駆動指示を出し、所定量だけ撮像素子１０２を移動させる。所定量は、実施例１において説明した量と同様の考え方によってあらかじめ設定された量である。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

１０２ 撮像素子
１０３ ＣＰＵ（制御手段）
１０６ 信号補正部（補正手段）
３０１ マイクロレンズ
３０２ 光電変換部
３０３ 光電変換部

Claims (11)

1. 画素ごとにマイクロレンズが設けられ、それぞれの画素が複数の光電変換部を備える撮像素子から出力される画像信号を処理する画像処理装置であって、
   第１の撮像において第１の光束を受光する第１の光電変換部と第２の光束を受光する第２の光電変換部を備える第１の画素からの出力値を含む第１の画像信号と、第２の撮像において前記第２の光束を受光する第３の光電変換部を備える第２の画素からの出力値を含む第２の画像信号と、を取得する制御手段と、
   前記第１の光電変換部の出力値が飽和し、前記第２の画素が備える複数の光電変換部の出力値が飽和していない場合に、前記第２および第３の光電変換部の出力値に基づいて、前記第１の画像信号を補正する補正手段と、を有することを特徴とする画像処理装置。
2. 出力値が飽和している光電変換部を検出する検出手段と、を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記補正手段により補正された前記第１の画像信号に基づいて、焦点検出処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段により補正された前記第１の画像信号に基づいて、リフォーカス処理を行うリフォーカス手段を更に有することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 画素ごとにマイクロレンズが設けられ、それぞれの画素が複数の光電変換部を備える撮像素子と、
   第１の撮像において第１の光束を受光する第１の光電変換部と第２の光束を受光する第２の光電変換部を備える第１の画素からの出力値を含む第１の画像信号と、第２の撮像において前記第２の光束を受光する第３の光電変換部を備える第２の画素からの出力値を含む第２の画像信号と、を取得する制御手段と、
   前記第１の光電変換部の出力値が飽和し、前記第２の画素が備える複数の光電変換部の出力値が飽和していない場合に、前記第２および第３の光電変換部の出力値に基づいて、前記第１の画像信号を補正する補正手段と、を有することを特徴とする撮像装置。
6. 前記撮像装置は、前記第１の撮像では第１の焦点位置を有し、前記第２の撮像では前記第１の焦点位置と所定の差がある第２の焦点位置を有し、
   前記所定の差は、前記第２の画素の前記第１の画素に対する位置関係に基づいて決定されることを特徴とする請求項５に記載の撮像装置。
7. 前記所定の差は、前記第２の画素が前記第１の画素に対し相対的に２画素離れた位置となるように決定されることを特徴とする請求項６に記載の撮像装置。
8. 前記所定の差は、前記第２の画素が前記第１の画素に対し相対的に１画素離れた位置となるように決定されることを特徴とする請求項６に記載の撮像装置。
9. 前記補正手段は、前記第１および第２の画素の分光感度特性による信号レベルの違いを補正した後に、前記第１の画像信号を補正することを特徴とする請求項８に記載の撮像装置。
10. 画素ごとにマイクロレンズが設けられ、それぞれの画素が複数の光電変換部を備える撮像素子から出力される画像信号を処理する画像処理方法であって、
    第１の撮像において第１の光束を受光する第１の光電変換部と第２の光束を受光する第２の光電変換部を備える第１の画素からの出力値を含む第１の画像信号と、第２の像において前記第２の光束を受光する第３の光電変換部を備える第２の画素からの出力値を含む第２の画像信号と、を取得するステップと、
    前記第１の光電変換部の出力値が飽和し、前記第２の画素が備える複数の光電変換部の出力値が飽和していない場合に、前記第２および第３の光電変換部の出力値に基づいて、前記第１の画像信号を補正するステップと、を有することを特徴とする画像処理方法。
11. コンピュータに、
    画素ごとにマイクロレンズが設けられ、それぞれの画素が複数の光電変換部を備える撮像素子から出力される画像信号を処理する画像処理方法を実行させるプログラムであって、
    第１の撮像において第１の光束を受光する第１の光電変換部と第２の光束を受光する第２の光電変換部を備える第１の画素からの出力値を含む第１の画像信号と、第２の撮像において前記第２の光束を受光する第３の光電変換部を備える第２の画素からの出力値を含む第２の画像信号と、を取得するステップと、
    前記第１の光電変換部の出力値が飽和し、前記第２の画素が備える複数の光電変換部の出力値が飽和していない場合に、前記第２および第３の光電変換部の出力値に基づいて、前記第１の画像信号を補正するステップと、を実行させることを特徴とするプログラム。