JP6164849B2 - 信号処理装置、撮像装置、および、撮像システム - Google Patents

Description

本発明は、１つのマイクロレンズを共有する複数の画素を備えた撮像素子から得られる信号を処理する信号処理装置に関する。

従来から、１つのマイクロレンズを共有する複数の画像を備えた撮像素子を用いて、その撮像素子から得られた２つの瞳分割画像の位相差に基づいて焦点検出を行う撮像装置が知られている。特許文献１には、１つのマイクロレンズを共有する複数の画像を備えた撮像素子を有する撮像装置が開示されている。特許文献１に開示された撮像装置は、撮像素子から得られた２つの瞳分割画像の位相差に基づいて焦点検出を行うとともに、１つのマイクロレンズを共有する複数の画素の加算信号（加算電荷）を用いて撮像信号を生成することで高品位な画像出力を得ることができる。

特開２００１−８３４０７号公報

しかしながら、特許文献１に開示された撮像装置において、各分割画素が飽和すると、高精度な焦点検出を行うことができない。

そこで本発明は、焦点検出の精度を向上させた信号処理装置、撮像装置、および、撮像システムを提供する。

本発明の一側面としての信号処理装置は、第一のマイクロレンズを共有する第一の複数の画素および第二のマイクロレンズを共有する第二の複数の画素を含み、該第一の複数の画素間に設けられた境界部と、該第二の複数の画素間に設けられた境界部との飽和特性が互いに異なる撮像素子から得られる信号を処理する信号処理装置であって、前記第一の複数の画素および前記第二の複数の画素のうち電荷量が飽和レベルに達している飽和画素を検出する飽和検出手段と、前記飽和画素の境界部または前記飽和画素の近傍画素の境界部の飽和特性に基づいて、前記飽和画素の近傍画素を用いて前記飽和画素の電荷量を推定する推定手段と、を有する。

本発明の他の側面としての撮像装置は、第一のマイクロレンズを共有する第一の複数の画素および第二のマイクロレンズを共有する第二の複数の画素を含み、該第一の複数の画素間に設けられた境界部と、該第二の複数の画素間に設けられた境界部との飽和特性が互いに異なる撮像素子と、前記第一の複数の画素および前記第二の複数の画素のうち電荷量が飽和レベルに達している飽和画素を検出する飽和検出手段と、前記飽和画素の境界部または前記飽和画素の近傍画素の境界部の飽和特性に基づいて、前記飽和画素の近傍画素を用いて前記飽和画素の電荷量を推定する推定手段と、を有する。

本発明の他の側面としての撮像システムは、撮像光学系と、前記撮像装置とを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、特許文献１の技術を用いて最終画像の画質を向上しつつも、多分割の瞳分離されたそれぞれの像の、飽和による像くずれを補正する事ができる。それにより、焦点検出精度の向上の効果が期待できる。

本実施形態における撮像装置の構成を示すブロック図である。 本実施形態における撮像素子の構成図である。 本実施形態の撮像素子において、像高の高い位置の画素が光を受光する場合の説明図である。 本実施形態の撮像素子における画素のバリエーションを示す図である。 実施例１における撮像素子の画素配列を示す図である。 実施例１において、画面周辺におけるケラレが各画素に発生している状況を示す図である。 実施例２における撮像素子の画素配列を示す図である。 実施例３における撮像素子の画素配列を示す図である。 本実施形態の撮像素子の要部断面およびポテンシャルの概略図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１を参照して、本実施形態における撮像装置１００の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。１０１はレンズユニット（撮像光学系）、１０２は撮像素子、および、１０３はＡ／Ｄ変換部である。撮像素子１０２は、第一のマイクロレンズを共有する第一の複数の画素および第二のマイクロレンズを共有する第二の複数の画素を含む。また撮像素子１０２において、第一の複数の画素および第二の複数の画素の飽和特性は互いに異なるように構成されている。

１０４は飽和検出部（飽和検出手段）である。飽和検出部１０４は、撮像素子１０２における第一の複数の画素および第二の複数の画素のうち電荷量が飽和レベルに達している飽和画素を検出する。１０５は飽和補正部である。飽和補正部１０５は、飽和検出部１０４から出力された信号（飽和画素を示す信号）に基づいて、飽和画素に対する補正処理を行う。すなわち飽和補正部１０５は、飽和画素の近傍画素を用いて飽和画素の電荷量を推定する推定手段である。後述の各実施例のように、飽和補正部１０５は、飽和画素の周辺に配置された近傍画素の電荷量を用いて飽和画素の電荷量を推定する。または、飽和補正部１０５は、飽和画素の周辺に配置された近傍画素のリニアリティが保たれている画素加算値を用いて飽和画素の電荷量を推定する。本実施形態において、飽和検出部１０４および飽和補正部１０５は、撮像素子１０２から得られる信号を処理する信号処理装置を構成する。

１０６は、１つのマイクロレンズを共有する複数の画素から得られる信号を加算するＡＢ像加算部である。１０７は、ＡＢ像加算部１０６から出力された加算信号に対してカラー映像信号に変換する処理などの各種の信号処理を行う信号処理部である。信号処理部１０７は、各種の信号処理を行って得られた画像データを撮影画像として出力する。

１０８は、Ａ像とＢ像とを分離するＡＢ像分離部である。ＡＢ像分離部１０８には、飽和補正部１０５からＡＢ像加算部１０６に入力された信号と同じ信号が入力され、２つの異なる像信号が出力される。１０９は相関演算部（演算手段）である。相関演算部１０９は、撮像素子１０２の複数の画素の少なくとも一部から得られた信号（像信号）に基づいて相関演算を行う。１１０はデフォーカス量算出部である。１１１は撮像装置１００のシステム全体を制御する制御マイコンである。

１１３は飽和レベルの個体差を記憶するＲＯＭ（記憶手段）である。従来、撮像素子１０２の飽和レベルを検出する回路として、飽和時に発生する色の非線形部分や偽色を消す目的のものが存在していた。しかし、飽和周辺で彩度をなだらかに変化させて飽和レベルにおいて真っ白にすることを目的とするため、厳密に飽和レベルを調整する必要がなかった。そこで本実施形態では、飽和による電荷漏れを高精度に補正するため、飽和レベルの個体差をシステムのＲＯＭ１１３に予め記憶しておく。

なお、本実施形態の撮像装置１００は、レンズユニット１０１（撮像光学系）を一体的を備えた構成されているが、これに限定されるものではない。本実施形態は、撮像光学系（レンズ装置）が着脱可能な撮像装置本体と、撮像装置本体に取り付けられた撮像光学系とを有する撮像システムにも適用可能である。

次に、図２を参照して、本実施形態における撮像素子の構成について説明する。図２は、本実施形態における撮像素子１０２の構成図であり、図２（ａ）は撮像素子１０２の要部断面図、図２（ｂ）は画素２０４〜２０７（受光部）の平面図である。

図２（ａ）において、マイクロレンズ２０１は、光（入射光）を効率的に受光部としての画素２０４〜２０７（複数の光電変換部）に集光する。カラーフィルタ２０２は、入射光のうち所望の波長域の光のみを選択的に通過させる。２０３は、半導体（撮像素子１０２）の配線層である。カラーフィルタ２０２を通過した光は、画素２０４〜２０７（フォトダイオード）で受光され、光電変換が行われる。

撮像素子１０２は、通常、１つのマイクロレンズ２０１に対して１つの受光部（フォトダイオード）を有するが、本実施形態では、１つのマイクロレンズ２０１に対する受光部（画素）を複数に分割することにより、瞳分割像を取得する。多分割受光部として、例えば水平方向に２分割および垂直方向に２分割の合計４分割の受光部（４分割画素）を設けた場合、上側の２画素を加算し、かつ、下側の２画素を加算すれば、垂直方向に２分割して得られる瞳分割画像と同等の画像を得ることができる。一方、４分割画素のうち左側の２画素を加算し、かつ、右側２画素を加算すれば、垂直方向に２分割して得られる瞳分割画像と同等の画像を得ることができる。したがって、水平方向または垂直方向の２分割画素と比較して、１つのマイクロレンズ２０１の単位で垂直方向および水平方向の両方の瞳分割画像を同時に得ることが可能である。

図２（ｂ）に示されるように、撮像素子１０２は、１つのマイクロレンズ２０１に対して４分割された画素２０４〜２０７を有する。本実施形態において、画素２０４〜２０７は、１つのマイクロレンズ２０１を共有する複数の画素（第一の画素、第二の画素、および、第三の画素）を含む。以下、説明の便宜上、画素２０７、２０６、２０４をそれぞれ第一の画素、第二の画素、および、第三の画素とするが、これに限定されるものではない。

４分割された受光部（画素２０４〜２０７）には、それぞれの画素の電荷量が飽和した場合、電荷を隣接画素に積極的に漏出させる構造を有する境界部６０１と、電荷を積極的に漏出させない構造を有する境界部６０２が形成されている。境界部６０１（第一の境界部または第三の境界部）は、画素２０７（第一の画素または第四の画素）と画素２０６（第二の画素または第五の画素）との間（および、画素２０５と画素２０４との間）に設けられている。また、境界部６０２（第二の境界部または第四の境界部）は、画素２０７（第一の画素または第四の画素）と画素２０４（第三の画素または第六の画素）との間（および、画素２０６と画素２０５との間）に設けられている。

第一の画素（例えば画素２０７）の電荷量が飽和した場合、境界部６０１は、第一の画素から第二の画素（例えば画素２０６）への電荷移動を可能とするように（電荷が漏れやすいように）構成される。一方、第一の画素（例えば画素２０７）の電荷量が飽和した場合、境界部６０２は、第一の画素から第三の画素（例えば画素２０４）への電荷移動を妨げるように（電荷が漏れにくいように）構成されている。すなわち画素２０７の電荷量が飽和した場合、画素２０７から境界部６０１を介して画素２０６へ移動する電荷量（第一の電荷量、第三の電荷量）は、画素２０７から境界部６０２を介して画素２０４へ移動する電荷量（第二の電荷量、第四の電荷量）よりも多い。

続いて図３を参照して、画素の電荷量の飽和について説明する。マイクロレンズに入射した光が分割した画素に均等当たっている場合、分割画素を加算すればリニアリティが保たれることになる。しかし、像高の高い位置にある画素においては、分割した画素に均等に光が当たらない。

図３は、像高の高い位置において、マイクロレンズ２０１を通して画素２０４、２０５（受光部）に光が照射している様子を示している。図３において、光軸の中心は画素２０４，２０５の右側遠方に位置している。光は、通常、画像の周辺部ほど斜めから入射するため、画素２０５はより多くの光を受光するが、画素２０４はほとんど光を受光しない。このため、画素２０５（画素２０５の電荷量）は、画素２０４（画素２０４の電荷量）よりも先に飽和状態に到達してしまう。このため、加算した値のリニアリティが崩れてしまう。

このような現象を回避するため、本実施形態では、図２に示されるような境界部６０１、６０２を設けている。例えば、飽和に到達した画素２０５で発生した電荷が画素２０４に漏れ込むように構成することで、画素２０５と画素２０４の値を加算して得られた加算画素値のリニアリティが保たれる。

次に、図９を参照して、境界部６０１、６０２の構造の一例について説明する。図９（ａ）は本実施形態の撮像素子１０２の要部の断面構造を示し、図９（ｂ）は図９（ａ）の半導体領域の信号電荷に対するポテンシャルを模式的に示す図である。なお、図９（ｂ）では、隣接する２つのマイクロレンズ２１２ａ、２１２ｂに対応する４つの画素（光電変換素子）を示しているが、４つの画素が１つのマイクロレンズを共有する構成でも、境界部６０１、６０２に関する説明は適用可能である。

図９（ａ）において、３２１ａ、３２１ｂはカラーフィルタである。３２２は配線層である。ここでは異なる高さに配された３つの配線層を図示している。Ｐ型半導体領域３２４と複数のＮ型半導体領域２１３、２１４とがＰＮ接合を構成する。Ｐ型半導体領域３２４は、半導体領域３２３上に配置されている。半導体領域３２３は、例えばＰ型半導体基板またはＮ型半導体基板を用いて構成される。

画素（光電変換素子）はＮ型半導体領域２１３、２１４及びＰ型半導体領域３２４を含んで構成される。具体的には、Ｐ型半導体領域３２４とＮ型半導体領域２１３ａ、２１３ｂとで二つの画素（光電変換素子ＰＤ１、ＰＤ２）が構成される。また、Ｐ型半導体領域３２４とＮ型半導体領域２１４ａ、２１４ｂとで二つの画素（光電変換素子ＰＤ３、ＰＤ４）が構成される。Ｎ型半導体領域２１３ａ、２１３ｂ、２１４ａ、２１４ｂは、電子に対してポテンシャルが低くなっており、信号電荷を収集する領域である。更にＮ型半導体領域２１３ａ、２１３ｂ、２１４ａ、２１４ｂの入射面側にＰ型半導体領域を配していわゆる埋め込み型のフォトダイオードとしてもよい。光電変換素子ＰＤ１、ＰＤ２には、１つのマイクロレンズ２１２ａにより集光された光が入射する。また光電変換素子ＰＤ３、ＰＤ４には、１つのマイクロレンズ２１２ｂにより集光された光が入射する。

光電変換素子ＰＤ１、ＰＤ２にそれぞれ含まれるＮ型半導体領域２１３ａ、２１３ｂの間には、Ｐ型半導体領域３２６が形成されている。Ｐ型半導体領域３２６は、Ｎ型半導体領域２１３ａ、２１３ｂの間における電子に対するポテンシャル障壁として機能する。Ｐ型半導体領域３２６は、図２（ｂ）の境界部６０１に相当する。

光電変換素子ＰＤ２、ＰＤ３は互いに隣接して配置されているが、光電変換素子ＰＤ２、ＰＤ３には互いに異なるマイクロレンズ２１２ａ、２１２ｂにより集光された光がそれぞれ入射する。光電変換素子ＰＤ２、ＰＤ３にそれぞれ含まれるＮ型半導体領域２１３ｂ、２１４ａの間には、Ｐ型半導体領域３２５が形成されている。Ｐ型半導体領域３２５は、Ｎ型半導体領域２１３ｂとＮ型半導体領域２１４ａとの間における電子に対するポテンシャル障壁として機能する。Ｐ型半導体領域３２５は、図２（ｂ）の境界部６０２に相当する。

本実施形態では、Ｐ型半導体領域３２５とＰ型半導体領域３２６の不純物濃度とを異ならせる。具体的には、Ｐ型半導体領域３２６のＰ型不純物濃度が、Ｐ型半導体領域３２５のＰ型不純物濃度よりも低い。このような濃度関係とすることにより、光電変換素子ＰＤ１、ＰＤ２間のポテンシャル障壁の高さを、光電変換素子ＰＤ２、ＰＤ３間のポテンシャル障壁の高さより低くすることが可能となる。

図９（ｂ）に示されるように、光電変換素子ＰＤ１、ＰＤ２間のポテンシャル障壁３２７の高さはｈ１である。また、光電変換素子ＰＤ２、ＰＤ３間のポテンシャル障壁３２８の高さはｈ２である。光電変換素子ＰＤ１、ＰＤ２間のポテンシャル障壁の高さｈ１は、光電変換素子ＰＤ２、ＰＤ３間のポテンシャル障壁の高さｈ２よりも低い。

本実施形態において、ポテンシャル障壁３２７を構成するＰ型半導体領域３２５のＰ型の不純物濃度を、ポテンシャル障壁３２８を構成するＰ型半導体領域３２６のＰ型の不純物濃度の３倍以上に設定するのが好ましい。このような構成によれば、電荷の持つポテンシャル（室温２７℃で約２６ｍＶ）と同程度のポテンシャル障壁の差を形成することができる。さらに好ましくは、撮像装置（撮像素子１０２）の動作温度範囲を考慮して、不純物濃度を１０倍以上に設定する。

なお本実施形態では、境界部６０１の不純物濃度を境界部６０２の不純物濃度よりも低くしているが、これに限定されるものではなく、例えば、境界部６０１の幅を境界部６０２の幅よりも狭くすることにより、同様の効果を達成することができる。

次に、図４（ａ）、（ｂ）、および、図５を参照して、本発明の実施例１における飽和補正部１０５による補正方法について説明する。本実施例は、分割画素が４つ（４分割画素構成）の場合の補正方法である。

図４（ａ）、（ｂ）は、本実施例における撮像素子１０２の画素のバリエーションを示す図である。図５は、撮像素子１０２の画素配列を示す図である。本実施例において、撮像素子１０２の画素はベイヤー配列を有して構成される。Ｒ、Ｇ、Ｂの各画素は、図４の（ａ）、（ｂ）に示されるように、一つのマイクロレンズ２０１に対して上下左右に均等に４分割された画素である。

図４（ａ）、（ｂ）において、画素を分割する境界部６０２は電荷が漏れない境界（電荷が漏れにくい境界）であり、境界部６０１は電荷が漏れる（電荷が漏れやすい境界）である。このため、図４（ａ）に示される画素の電荷は縦方向に（画素ａ、ｃとの間、または、画素ｂ、ｄとの間で）漏れる。図４（ａ）において、例えば、画素ｂ、ｄ、ａがそれぞれ第一の画素、第二の画素、第三の画素となる。一方、図４（ｂ）に示される画素の電荷は横方向に（画素ａ、ｂの間、または、画素ｃ、ｄの間で）漏れる。図４（ｂ）において、例えば、画素ｂ、ａ、ｄがそれぞれ第四の画素、第五の画素、第六の画素となる。本実施例において、図５に示されるように、このような特性を有する画素（図４（ａ）の縦漏れ画素と図４（ｂ）の横漏れ画素）を、同色隣接画素のそれぞれについて交互になるように配置する。

４つに瞳分割する場合、例えば、図４（ａ）の画素ａ、ｃを加算して得られた画素信号と、画素ｂ、ｄを加算して得られた画素信号により位相差信号を生成することにより、被写体が縦縞のパターンの場合でも正確な焦点検出が可能となる。また、図４（ｂ）の画素ａ、ｂを加算して得られた画素信号と画素ｃ、ｄを加算して得られた画素信号により位相差信号を生成することにより、被写体が横縞のパターンの場合でも正確な焦点検出が可能となる。

また、より高精度にデフォーカス量を検出するには、焦点検出画素の基線長を長くとることが効果的である。このため、例えば、図４（ａ）、（ｂ）の画素ａ、ｄ、または、画素ｂ、ｃのように、対角線上の画素により位相差信号を生成することで焦点検出精度を向上させることができる。

＜４分割画素のうち１画素が飽和した場合に周囲の非破壊画素の値を用いて補正する場合＞
続いて、図５を参照して、４つに瞳分割した画素のうち右上の画素が飽和している場合における画素７０４（Ｇ画素）の補正方法について説明する。画素７０４Ｇｂが飽和した場合、画素７０４は電荷が横方向に漏れる構造を有するため、画素７０４Ｇａの電荷は画素７０４Ｇａに漏れる。このため、画素７０４Ｇａの電荷量は、本来の画素７０４Ｇａの電荷量に画素７０４Ｇｂから漏れた電荷量を足した値となる。一方、画素７０４は電荷が縦方向に漏れない構造を有するため、画素７０４Ｇｃと画素７０４Ｇｄは本来の値（本来の電荷量）が保たれており非破壊である（本来の電荷量が失われていない）。このため、画素７０４Ｇａおよび画素７０４Ｇｂが補正対象となる。

ここで、図６を参照して、ケラレについて説明する。ケラレとは、絞りを開放付近に設定した場合にレンズの被写体側や本体側の縁で光束が制限される現象であり、口径食ともいう。光軸中心においては絞りよりもレンズの縁のほうが大きいため影響がないが、像高が高くなると影響が生じる場合がある。図６は、画面周辺におけるケラレが各画素に発生している状況を示している。画素に対する入射角もケラレも光軸中心から像高が高くなるにつれてなだらかに変化する。このため、近傍画素同士ではほぼ同じ特性を示す。

画素７０１Ｇｂが飽和した場合、画素７０１は電荷が縦方向に漏れる構造を有するため、画素７０１Ｇｂの電荷は画素７０１Ｇｄに漏れる。このため、画素７０１Ｇｄの電荷量は、本来の画素７０１Ｇｄの電荷量に画素７０１Ｇｂから漏れた電荷量を足した値となる。一方、画素７０１は電荷が横方向に漏れない構造を有するため、画素７０１Ｇａと画素７０１Ｇｃは本来の値（本来の電荷量）が保たれており非破壊である。同様に、画素７０２、画素７０５、画素７０６の画素Ｇａ、Ｇｃも非破壊である。

本実施例では、補正対象画素の周囲に正しい値（正しい電荷量）を有する画素が存在するため、飽和補正部１０５は、補正対象画素の本来の電荷量（正しい値）を欠陥画素補正により推定することができる。具体的には、以下の式（１）で表されるように、周囲の（近傍の）同色の非破壊画素の平均値から画素７０４Ｇａの本来の値を導出することができる。

画素７０４Ｇａは、本来の値に画素７０４Ｇｂから漏れた電荷を足した値となっている。このため、以下の式（２）で表されるように、画素７０４Ｇａの値（実際の値）と本来の画素７０４Ｇａの値との差分を画素７０４Ｇｂに加算することにより、画素７０４Ｇｂの本来の値を導出することができる。

＜４分割画素のうち２画素が飽和した場合に周囲のニ―特性の出ていない加算画素値を用いて補正する場合＞
続いて、図５を参照して、４つに瞳分割した画素のうち上部の２画素が飽和している場合における画素７０４（Ｇ画素）の補正方法について説明する。画素７０４Ｇａおよび画素７０４Ｇｂが飽和した場合、画素７０４は電荷が縦方向に漏れない構造を有するため、画素７０４Ｇｃおよび画素７０４Ｇｄは本来の値が保たれており非破壊である。このため、画素７０４Ｇａおよび画素７０４Ｇｂが補正対象となる。

画素７０１Ｇａおよび画素７０１Ｇｂが飽和した場合、画素７０１は電荷が縦方向に漏れる構造を有するため、画素７０１Ｇａの電荷は画素７０１Ｇｃに漏れる。このため、画素７０１Ｇｃは本来の画素７０１Ｇｃの値に画素７０１Ｇａから漏れた電荷を足した値になる。同様に、画素７０１Ｇｂの電荷は画素７０１Ｇｄに漏れるため、画素７０１Ｇｄは本来の画素７０１Ｇｄの値に画素７０１Ｇｂから漏れた電荷を足した値になる。周囲の（近傍の）同色画素の画素Ｇａおよび画素Ｇｃの加算画素値と、画素Ｇｂおよび画素Ｇｄの加算画素値は、いずれも、加算画素としては飽和していないためリニアリティが保たれる。このため、この値は信頼に値する。

本実施例では、補正対象画素の周囲に正しい値（正しい電荷量）を有する画素が存在するため、飽和補正部１０５は、補正対象画素の本来の電荷量（正しい値）を欠陥画素補正により推定することができる。すなわち、周囲の同色画素（画素７０１）の画素Ｇｂおよび画素Ｇｄの加算画素値と画素７０４Ｇｂおよび画素７０４Ｇｄの加算画素値とは、同一（実質的に同一）であると推定される。この点は、画素７０２、画素７０５、画素７０６の画素Ｇａ、Ｇｃおよび画素Ｇｂ、Ｇｄのそれぞれの加算画素についても同様である。

このため、以下の式（３）で表されるように、周囲の同色画素の画素Ｇａ、Ｇｃの加算画素値の平均値から非破壊画素７０４Ｇｃの画素値を減算することにより、画素７０４Ｇａの本来の値を導出することができる。

また、画素７０４Ｇｂの本来の値についても、同様の手順で導出することができる。

＜４分割画素のうち２画素が飽和した場合に周囲の非破壊画素値を用いて補正する場合＞
続いて、図５を参照して、４つに瞳分割した画素のうち上部の２画素が飽和している場合における画素７０５（Ｇ画素）の補正方法について説明する。画素７０５Ｇａおよび画素７０５Ｇｂが飽和した場合、画素７０５は電荷が縦方向に漏れる構造を有するため、画素７０５Ｇａの電荷が画素７０５Ｇｃに漏れる。このため、画素７０５Ｇｃの値（電荷量）は、本来の画素７０５Ｇｃの値（本来の電荷量）に画素７０５Ｇａから漏れた電荷量を足した値になる。同様に、画素７０５Ｇｂの電荷は画素７０５Ｇｄに漏れるため、画素７０５Ｇｄの値は、本来の画素７０５Ｇｄの値に画素７０５Ｇｂから漏れた電荷量を足した値になる。このため画素７０５Ｇａ、画素７０５Ｇｂ、画素７０５Ｇｃ、画素７０５Ｇｄが補正対象となる。

画素７０３Ｇａおよび画素７０３Ｇｂが飽和した場合、画素７０３は電荷が縦方向に漏れない構造を有するため、画素７０３Ｇｃおよび画素７０３Ｇｄは、本来の値が保たれており非破壊である。画素７０４、画素７０７、画素７０８の画素Ｇｃ、Ｇｄも同様に非破壊である。

本実施例では、補正対象画素の周囲に正しい値（正しい電荷量）を有する画素が存在するため、飽和補正部１０５は、補正対象画素の本来の電荷量（正しい値）を欠陥画素補正により推定することができる。具体的には、以下の式（４）で表されるように、周囲画素（近傍画素）の画素Ｇｃの平均値から本来の画素７０５Ｇｃの値を導出する。

また、画素７０５Ｇｃの値（実際の値）は、画素７０５Ｇｃの本来の値に、画素７０５Ｇａの値から漏れた電荷を足した値である。このため、以下の式（５）で表されるように、本来の画素７０５Ｇｃの値と画素７０５Ｇｃの値との差分を画素７０５Ｇａに加算することにより、本来の画素７０５Ｇａの値を導出する。

画素７０５Ｇｂおよび画素７０５Ｇｄについても、同様の手順で導出することができる。

以上のように、本実施例では、第一の境界部（第一のマイクロレンズの境界部６０１）および第三の境界部（第二のマイクロレンズの境界部６０１）を互いに異なる方向（縦方向、横方向）に設ける。換言すると、第二の境界部（第一のマイクロレンズの境界部６０２）および第四の境界部（第二のマイクロレンズの境界部６０２）を互いに異なる方向に設ける。これにより、第一の複数の画素（図４（ａ）中の画素ａ〜ｄ）および第二の複数の画素（図４（ｂ）中の画素ａ〜ｄ）の飽和特性が互いに異なるように構成される。このため、飽和画素が存在する場合でも近傍画素を用いて飽和画素の本来の電荷量を求めることができる。

次に、図４（ｃ）、（ｄ）、および、図７を参照して、本発明の実施例２における飽和補正部１０５による補正方法について説明する。本実施例は、分割画素が３つ（３分割画素構成）の場合の補正方法である。

図４（ｃ）、（ｄ）は、本実施例における撮像素子１０２の画素のバリエーションを示す図である。図７は、撮像素子１０２の画素配列を示す図である。本実施例において、撮像素子１０２の画素はベイヤー配列を有して構成される。Ｒ、Ｇ、Ｂの各画素は、図４の（ｃ）、（ｄ）に示されるように、一つのマイクロレンズ２０１に対して縦方向に均等に３分割された画素である。

図４（ｃ）、（ｄ）において、画素を分割する境界部６０２は電荷が漏れない境界（電荷が漏れにくい境界）であり、境界部６０１は電荷が漏れる（電荷が漏れやすい境界）である。図４（ｃ）において、画素ａ（第三の画素）が飽和した場合、画素ａの電荷は画素ｂ（第一の画素）に漏れない。画素ｂが飽和した場合、画素ｂの電荷は画素ｃ（第二の画素）に漏れるが、画素ａには漏れない。また画素ｃが飽和した場合、画素ｃの電荷は画素ｂに漏れる。同様に、図４（ｄ）において、画素ａ（第五の画素）と画素ｂ（第四の画素）との間での電荷漏れは生じるが、画素ｂ（第四の画素）と画素ｃ（第六の画素）との間での電荷漏れは生じない。本実施例において、図７に示されるように、このような特性を有する画素（図４（ｃ）の画素と図４（ｄ）の画素）を、同色隣接画素のそれぞれについて交互になるように配置する。

＜３分割画素のうち１画素が飽和した場合に周囲のニー特性の出ていない加算画素値を用いて補正する場合＞
続いて、図７を参照して、３つに瞳分割した画素のうち右側の画素が飽和している場合における画素９０４（Ｇ画素）の補正方法について説明する。画素９０４Ｇｃが飽和した場合、画素９０４は画素９０４Ｇｂと画素９０４Ｇａとの間には電荷が漏れない構造を有するため、画素９０４Ｇｂおよび画素９０４Ｇａは、本来の値が保たれており非破壊である。このため、画素９０４Ｇｃが補正対象となる。

画素９０１Ｇｃが飽和した場合、画素９０１Ｇｃから画素９０１Ｇｂに電荷が漏れるため、画素９０１Ｇｂの値は本来の画素９０１Ｇｂの値に画素９０１Ｇｃから漏れた電荷を足した値になる。一方、画素９０１Ｇａには電荷が漏れないため、画素９０１Ｇａは本来の値が保たれており非破壊である。

画素９０１Ｇｂの値と画素９０１Ｇｃの値とを加算して得られた加算画素値はリニアリティが保たれているため、この加算画素値は信頼に値する。同様に、画素９０２、画素９０５、画素９０６の画素Ｇｂ、Ｇｃの加算画素値も信頼に値する。

本実施例では、補正対象画素の周囲に正しい値（正しい電荷量）を有する画素が存在するため、飽和補正部１０５は、補正対象画素の本来の電荷量（正しい値）を欠陥画素補正により推定することができる。具体的には、以下の式（６）で表されるように、周囲の同色画素の画素Ｇｂ、Ｇｃを加算した値の平均値から画素９０４Ｇｂの値を減算することにより、画素９０４Ｇｃの本来の値を導出する。

＜３分割画素のうち１画素が飽和した場合に周囲の非破壊画素の値を用いて補正する場合＞
続いて、図７を参照して、３つに瞳分割した画素のうち右側の画素が飽和している場合における画素９０５（Ｇ画素）の補正方法について説明する。画素９０５Ｇｃが飽和した場合、画素９０５は画素９０５Ｇｃから画素９０５Ｇｂに電荷が漏れる構造を有するため、画素９０５Ｇｂの値は本来の画素９０５Ｇｂの値に画素９０５Ｇｃから漏れた電荷を足した値になる。一方、画素９０５Ｇａには電荷が漏れないため、画素９０５Ｇａは本来の値が保たれており非破壊である。このため、画素９０５Ｇｂおよび画素９０５Ｇｃが補正対象となる。

画素９０３Ｇｃが飽和した場合、画素９０３は画素９０３Ｇｂおよび画素９０３Ｇａに電荷が漏れない構造を有するため、画素９０３Ｇｂおよび画素９０３Ｇａは本来の値が保たれており非破壊である。同様に、画素９０４、画素９０７、画素９０８の画素Ｇａ、Ｇｂも非破壊である。

本実施例では、補正対象画素の周囲に正しい値（正しい電荷量）を有する画素が存在するため、飽和補正部１０５は、補正対象画素の本来の電荷量（正しい値）を欠陥画素補正により推定することができる。具体的には、以下の式（７）で表されるように、周囲の画素Ｇｂの平均値から本来の画素９０５Ｇｂの値を導出する。

また、画素９０５Ｇｂの値（実際の値）は、本来の画素９０５Ｇｂの値に、飽和した画素９０５Ｇｃから漏れた電荷を足した値である。このため、以下の式（８）で表されるように、本来の画素９０５Ｇｂの値と画素９０５Ｇｂの値との差分を画素９０５Ｇｃに加算することにより、本来の画素９０５Ｇｃの値を導出する。

以上のように、本実施例では、第一の境界部（第一のマイクロレンズの境界部６０１）および第三の境界部（第二のマイクロレンズの境界部６０１）を互いに異なる位置（対応するマイクロレンズに対して互いに異なる位置）に設ける。換言すると、第二の境界部（第一のマイクロレンズの境界部６０２）および第四の境界部（第二のマイクロレンズの境界部６０２）を互いに異なる位置に設ける。これにより、第一の複数の画素（図４（ｃ）中の画素ａ〜ｃ）および第二の複数の画素（図４（ｄ）中の画素ａ〜ｃ）の飽和特性が互いに異なるように構成される。このため、飽和画素が存在する場合でも近傍画素を用いて飽和画素の本来の電荷量を求めることができる。

次に、図４（ｅ）、（ｆ）、および、図８を参照して、本発明の実施例３における飽和補正部１０５による補正方法について説明する。本実施例は、分割画素が２つ（２分割画素構成）の場合の補正方法である。

図４（ｅ）、（ｆ）は、本実施例における撮像素子１０２の画素のバリエーションを示す図である。図８は、撮像素子１０２の画素配列を示す図である。本実施例において、撮像素子１０２の画素はベイヤー配列を有して構成される。Ｒ、Ｇ、Ｂの各画素は、図４の（ｅ）、（ｆ）に示されるように、一つのマイクロレンズ２０１に対して縦方向に均等に２分割された画素である。

図４（ｅ）、（ｆ）において、画素を分割する境界部６０２は電荷が漏れない境界（電荷が漏れにくい境界）であり、境界部６０１は電荷が漏れる（電荷が漏れやすい境界）である。このため、例えば図４（ｅ）において、画素ａ（第一の画素）が飽和した場合、画素ａの電荷は画素ｂ（第二の画素）に漏れる。また、画素ｂが飽和した場合、画素ｂの電荷は画素ａに漏れる。一方、図４（ｆ）において、画素ａ（第三の画素）が飽和した場合、画素ａの電荷は画素ｂ（第四の画素）には漏れない。また、画素ｂが飽和した場合、画素ｂの電荷は画素ａには漏れない。本実施例において、図８に示されるように、このような特性を有する画素（図４（ｅ）の画素と図４（ｆ）の画素）を、同色隣接画素のそれぞれについて交互になるように配置する。

＜２分割画素のうち１画素が飽和した場合に周囲の非破壊画素の値を用いて補正する場合＞
続いて、図８を参照して、２つに瞳分割した画素のうち右側の画素が飽和している状況における画素１００４（Ｇ画素）の補正方法について説明する。画素１００４Ｇｂが飽和した場合、画素１００４は画素１００４Ｇｂから画素１００４Ｇａに電荷が漏れる構造を有するため、画素１００４Ｇａの値は本来の画素１００４Ｇａの値に画素１００４Ｇｂから漏れた電荷を足した値になる。このため、画素１００４Ｇａおよび画素１００４Ｇｂが補正対象となる。

画素１００１Ｇｂが飽和した場合、画素１００１は画素１００１Ｇｂから画素１００１Ｇａには電荷が漏れない構造を有するため、画素１００１Ｇａは本来の値が保たれており非破壊である。同様に、画素１００２、画素１００５、画素１００６も非破壊である。

本実施例では、補正対象画素の周囲に正しい値（正しい電荷量）を有する画素が存在するため、飽和補正部１０５は、補正対象画素の本来の電荷量（正しい値）を欠陥画素補正により推定することができる。具体的には、以下の式（９）で表されるように、周囲の画素Ｇｂの平均値から本来の画素１００４Ｇｂの値を導出する。

＜２分割したうち１画素が飽和した場合に周囲のニー特性の出ていない加算画素値を用いて補正する場合＞
続いて、図８を参照して、２つに瞳分割した画素のうち右側の画素が飽和している場合における画素１００５（Ｇ画素）の補正方法について説明する。画素１００５Ｇｂが飽和した場合、画素１００５は画素１００５Ｇａに電荷が漏れない構造を有するため、画素１００５Ｇａは本来の値が保たれており非破壊である。このため、画素１００５Ｇｂが補正対象となる。

画素１００３Ｇｂが飽和した場合、画素１００３は画素１００３Ｇｂから画素１００３Ｇａに電荷が漏れる構造を有するため、画素１００３Ｇａの値は本来の画素１００３Ｇａの値に画素１００３Ｇｂから漏れた電荷を足した値になる。画素１００３Ｇａおよび画素１００３Ｇｂを加算した値（加算画素値）はリニアリティが保たれているため、この加算画素値は信頼に値する。同様に、画素１００４、画素１００７、画素１００８の加算画素値も信頼に値する。

本実施例では、補正対象画素の周囲に正しい値（正しい電荷量）を有する画素が存在するため、飽和補正部１０５は、補正対象画素の本来の電荷量（正しい値）を欠陥画素補正により推定することができる。具体的には、以下の式（１０）で表されるように、周囲の同色の加算画素値の平均値から画素１００５Ｇａを減算することにより、画素１００５Ｇｂの本来の値を導出する。

以上のとおり、本実施例によれば、第一のマイクロレンズと第二のマイクロレンズとを二次元状に交互に配列することにより、第一の複数の画素および第二の複数の画素の飽和特性は互いに異なる。これにより、第一の複数の画素（図４（ｅ）中の画素ａ、ｂ）および第二の複数の画素（図４（ｆ）中の画素ａ、ｂ）の飽和特性が互いに異なるように構成される。このため、飽和画素が存在する場合でも近傍画素を用いて飽和画素の本来の電荷量を求めることができる。

上記各実施例の構成によれば、電荷の漏れ方が互いに異なる複数の画素（周囲画素）を配置しているため、周囲の同色非破壊画素の値を用いて本来の値（本来の電荷量）を推定することができる。また、加算画素として考えた場合、ニー特性が発生する加算画素と、リニアリティが保たれる加算画素とを交互に配列することにより、相互補完が可能である。また各実施例では、周囲の同色画素の平均値を用いているが、これに限定されるものではなく、欠陥画素補正のアルゴリズムを用いて補正を行ってもよい。また各実施例では、周囲の同色画素を用いて補正しているが、これに限定されるものではない。例えば、周囲の色から色毎の比率を求め、先に色毎の感度の違いを補正することで、周囲の上下左右の画素に基づいて補正することもできる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０２ 撮像素子
１０４ 飽和検出回路
１０５ 飽和補正回路
２０１ マイクロレンズ
２０４、２０５ 画素

Claims (21)

1. 第一のマイクロレンズを共有する第一の複数の画素および第二のマイクロレンズを共有する第二の複数の画素を含み、該第一の複数の画素間に設けられた境界部と、該第二の複数の画素間に設けられた境界部との飽和特性が互いに異なる撮像素子から得られる信号を処理する信号処理装置であって、
   前記第一の複数の画素および前記第二の複数の画素のうち電荷量が飽和レベルに達している飽和画素を検出する飽和検出手段と、
   前記飽和画素の境界部または前記飽和画素の近傍画素の境界部の飽和特性に基づいて、前記飽和画素の近傍画素を用いて前記飽和画素の電荷量を推定する推定手段と、を有することを特徴とする信号処理装置。
2. 前記推定手段は、前記飽和画素の周辺に配置された、異なる飽和特性を有する前記近傍画素の電荷量を用いて、該飽和画素の電荷量を推定することを特徴とする請求項１に記載の信号処理装置。
3. 前記推定手段は、前記飽和画素の周辺に配置された前記近傍画素のリニアリティが保たれている画素加算値を用いて、該飽和画素の電荷量を推定することを特徴とする請求項１に記載の信号処理装置。
4. 第一のマイクロレンズを共有する第一の複数の画素および第二のマイクロレンズを共有する第二の複数の画素を含み、該第一の複数の画素間に設けられた境界部と、該第二の複数の画素間に設けられた境界部との飽和特性が互いに異なる撮像素子と、
   前記第一の複数の画素および前記第二の複数の画素のうち電荷量が飽和レベルに達している飽和画素を検出する飽和検出手段と、
   前記飽和画素の境界部または前記飽和画素の近傍画素の境界部の飽和特性に基づいて、前記飽和画素の近傍画素を用いて前記飽和画素の電荷量を推定する推定手段と、を有することを特徴とする撮像装置。
5. 該第一の複数の画素間に設けられた境界部および該第二の複数の画素間に設けられた境界部はそれぞれ複数の境界部を含み、
   前記複数の境界部の飽和特性はそれぞれ異なることを特徴とする請求項４に記載の撮像装置。
6. 前記飽和特性を記憶する記憶手段を更に備えることを特徴とする請求項４または５に記載の撮像装置。
7. 前記第一の複数の画素は、
   第一の画素、第二の画素、および、第三の画素と、
   前記第一の画素と前記第二の画素との間に設けられた第一の境界部と、
   前記第一の画素と前記第三の画素との間に設けられた第二の境界部と、を有し、
   前記第一の画素の電荷量が飽和した場合、該第一の画素から前記第一の境界部を介して前記第二の画素へ移動する第一の電荷量は、該第一の画素から前記第二の境界部を介して前記第三の画素へ移動する第二の電荷量よりも多く、
   前記第二の複数の画素は、
   第四の画素、第五の画素、および、第六の画素と、
   前記第四の画素と前記第五の画素との間に設けられた第三の境界部と、
   前記第四の画素と前記第六の画素との間に設けられた第四の境界部と、を有し、
   前記第四の画素の電荷量が飽和した場合、該第四の画素から前記第三の境界部を介して前記第五の画素へ移動する第三の電荷量は、該第四の画素から前記第四の境界部を介して前記第六の画素へ移動する第四の電荷量よりも多いことを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
8. 前記第一の画素の電荷量が飽和した場合、
   前記第一の境界部は、前記第一の画素から前記第二の画素への電荷移動を可能とするように構成され、
   前記第二の境界部は、前記第一の画素から前記第三の画素への電荷移動を妨げるように構成され、
   前記第四の画素の電荷量が飽和した場合、
   前記第三の境界部は、前記第四の画素から前記第五の画素への電荷移動を可能とするように構成され、
   前記第四の境界部は、前記第四の画素から前記第六の画素への電荷移動を妨げるように構成されていることを特徴とする請求項７に記載の撮像装置。
9. 前記第一の境界部および前記第三の境界部を互いに異なる方向に設けることにより、前記第一の複数の画素および前記第二の複数の画素の前記飽和特性は互いに異なることを特徴とする請求項７または８に記載の撮像装置。
10. 前記第一の複数の画素は、第一の画素および第二の画素と、該第一の画素と該第二の画素との間に設けられた第一の境界部とを有し、
    前記第二の複数の画素は、第三の画素および第四の画素と、該第三の画素と該第四の画素との間に設けられた第二の境界部とを有し、
    前記第一の画素および前記第三の画素の電荷量が飽和した場合、該第一の画素から前記第一の境界部を介して前記第二の画素へ移動する第一の電荷量は、該第三の画素から前記第二の境界部を介して前記第四の画素へ移動する第二の電荷量よりも多いことを特徴とする請求項４に記載の撮像装置。
11. 前記第一の画素および前記第三の画素の電荷量が飽和した場合、
    前記第一の境界部は、前記第一の画素から前記第二の画素への電荷移動を可能とするように構成され、
    前記第二の境界部は、前記第三の画素から前記第四の画素への電荷移動を妨げるように構成されていることを特徴とする請求項１０に記載の撮像装置。
12. 前記第一のマイクロレンズと前記第二のマイクロレンズとを二次元状に交互に配列することにより、前記第一の複数の画素および前記第二の複数の画素の前記飽和特性は互いに異なることを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記第一の境界部および前記第二の境界部はＰ型半導体で構成されており、
    前記第一の境界部のＰ型不純物濃度は、前記第二の境界部のＰ型不純物濃度よりも低いことを特徴とする請求項７乃至１２のいずれか１項に記載の撮像装置。
14. 前記第一の境界部の幅は前記第二の境界部の幅よりも狭いことを特徴とする請求項７乃至１２のいずれか１項に記載の撮像装置。
15. 撮像光学系と、
    請求項４乃至１４のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
16. 第一のマイクロレンズを共有する第一の複数の画素および第二のマイクロレンズを共有する第二の複数の画素を含み、該第一の複数の画素および該第二の複数の画素の飽和特性が互いに異なる撮像素子を有し、
    前記第一の複数の画素は、第一の位置に第一の画素、第二の位置に第二の画素、および、第三の位置に第三の画素と、該第一の画素と該第二の画素との間に設けられた第一の境界部、および、該第一の画素と該第三の画素との間に設けられた第二の境界部とを有し、
    前記第一の画素の電荷量が飽和した場合、該第一の画素から前記第一の境界部を介して前記第二の画素へ移動する第一の電荷量は、該第一の画素から前記第二の境界部を介して前記第三の画素へ移動する第二の電荷量よりも多く、
    前記第二の複数の画素は、前記第一の位置に第四の画素、前記第二の位置に第五の画素、および、前記第三の位置に第六の画素と、該第四の画素と該第五の画素との間に設けられた第三の境界部、および、該第四の画素と該第六の画素との間に設けられた第四の境界部と、を有し、
    前記第四の画素の電荷量が飽和した場合、該第四の画素から前記第三の境界部を介して前記第五の画素へ移動する第三の電荷量は、該第四の画素から前記第四の境界部を介して前記第六の画素へ移動する第四の電荷量よりも多く、
    前記第一の複数の画素および前記第二の複数の画素のうち電荷量が飽和レベルに達している前記第一の位置における飽和画素を検出する飽和検出手段と、
    前記第二の位置における前記第二の画素および第四の画素を用いて、前記第一の複数の画素のうち前記第二の画素を推定することで前記第一の位置における前記飽和画素の電荷量を推定する推定手段と、を有することを特徴とする撮像装置。
17. 第一のマイクロレンズを共有する第一の複数の画素および第二のマイクロレンズを共有する第二の複数の画素を含み、該第一の複数の画素および該第二の複数の画素の飽和特性が互いに異なる撮像素子を有し、
    前記第一の複数の画素は、第一の位置に第一の画素、第二の位置に第二の画素、第三の位置に第三の画素、および、第四の位置に第四の画素と、該第一の画素と該第二の画素との間および該第三の画素と該第四の画素との間に設けられた第一の境界部、および、該第一の画素と該第三の画素との間および該第二の画素と該第四の画素との間に設けられた第二の境界部と、を有し、
    前記第一の画素の電荷量が飽和した場合、該第一の画素から前記第一の境界部を介して前記第二の画素へ移動する第一の電荷量は、該第一の画素から前記第二の境界部を介して前記第三の画素へ移動する第二の電荷量よりも多く、
    前記第二の複数の画素は、前記第一の位置に第五の画素、前記第二の位置に第六の画素、第三の位置に第七の画素、および、前記第四の位置に第八の画素と、該第五の画素と該第七の画素との間および該第六の画素と該第八の画素との間に設けられた第三の境界部、および、該第五の画素と該第六の画素との間および該第七の画素と該第八の画素との間に設けられた第四の境界部と、を有し、
    前記第五の画素の電荷量が飽和した場合、該第五の画素から前記第三の境界部を介して前記第六の画素へ移動する第三の電荷量は、該第五の画素から前記第四の境界部を介して前記第七の画素へ移動する第四の電荷量よりも多く、
    前記第一の複数の画素および前記第二の複数の画素のうち電荷量が飽和レベルに達している前記第一の位置における飽和画素を検出する飽和検出手段と、
    前記第二の位置における前記第二の画素および第四の画素を用いて、前記第一の複数の画素のうち前記第二の画素を推定することで前記第一の位置における前記飽和画素の電荷量を推定する推定手段と、を有することを特徴とする撮像装置。
18. 前記第一の画素の電荷量が飽和した場合、
    前記第一の境界部は、前記第一の画素から前記第二の画素への電荷移動を可能とするように構成され、
    前記第二の境界部は、前記第一の画素から前記第三の画素への電荷移動を妨げるように構成され、
    前記第五の画素の電荷量が飽和した場合、
    前記第三の境界部は、前記第五の画素から前記第六の画素への電荷移動を可能とするように構成され、
    前記第四の境界部は、前記第七の画素から前記第六の画素への電荷移動を妨げるように構成されていることを特徴とする請求項１７に記載の撮像装置。
19. 前記第一の境界部および前記第三の境界部を互いに異なる方向に設けることにより、前記第一の複数の画素および前記第二の複数の画素の前記飽和特性は互いに異なることを特徴とする請求項１７または１８に記載の撮像装置。
20. 前記推定手段は、前記第一のマイクロレンズを共有する、飽和している第一の画素の電荷量を、
    前記第一のマイクロレンズを共有する、飽和していない別の第一の画素の電荷量を前記第一のマイクロレンズとは異なる前記第二のマイクロレンズを共有する、前記別の第一の画素の周囲にある第二の画素の電荷量を用いて算出し、
    算出された前記別の第一の画素の電荷量と前記撮像素子によって得られた前記別の第一の画素の電荷量を比較し、
    前記比較結果を用いることで推定し、
    前記第一の画素の電荷量が飽和している場合、前記第一の画素から前記別の第一の画素へ、電荷は移動可能であることを特徴とする請求項１に記載の撮像装置。
21. 前記推定手段は、前記第一のマイクロレンズを共有する、飽和している第一の画素の電荷量を、前記第一の画素から別の第一の画素へ移動する電荷量を計算することで推定し、
    前記別の第一の画素は、前記第一のマイクロレンズを共有し、その電荷量は飽和しておらず、
    前記第一の画素から前記別の第一の画素へ移動する電荷量は、前記第一のマイクロレンズとは異なる前記第二のマイクロレンズを共有する、前記別の第一の画素の周囲にある第二の画素の電荷量を用いて算出され、
    前記第一の画素の電荷量が飽和している場合、前記第一の画素から前記別の第一の画素へ、電荷は移動可能であることを特徴とする請求項１に記載の撮像装置。