JP5943655B2 - 画像処理装置、焦点検出装置、および、画像処理プログラム - Google Patents

Description

本発明は、１つのマイクロレンズに対して複数の画素を備えた撮像素子からの画像信号を処理する画像処理装置に関する。

従来から、１つのマイクロレンズに対して複数の画素を備えた撮像素子により瞳分離像を取得し、取得した二つの瞳分割像の位相差を利用して焦点検出を行う技術が知られている。例えば特許文献１には、瞳分離像から位相差を算出して焦点検出を行う撮像装置が開示されている。特許文献１では、同一のマイクロレンズに対応する複数の画素の全ての出力値を加算して１つの画素として取り扱うことで、従来と同等の画素配列を構成している。

特開２００１−８３４０７号公報

しかし、特許文献１のような構成では、同一のマイクロレンズに対応する複数の画素それぞれが飽和レベルに達する可能性がある。すなわち、特定の画素が飽和レベルに達することにより、１つのマイクロレンズに１つの画素が対応する従来の構成では許容できていた分の電荷が特定の画素から漏れて失われる可能性がある。

そこで本発明は、画素の出力値が飽和レベルに達する場合でも所望の最終出力を得ることができ、かつ高精度な焦点検出を可能とするための飽和補正を行う画像処理装置、焦点検出装置、および、画像処理プログラムを提供する。

本発明の一側面としての画像処理装置は、複数のマイクロレンズを有し、それぞれのマイクロレンズに対応する第１の画素と第２の画素を備えた撮像素子からの画像信号を処理する画像処理装置であって、前記第１の画素と前記第２の画素のそれぞれの出力値が飽和レベルに達していることを検出する飽和検出手段と、前記複数のマイクロレンズのうちの第１のマイクロレンズに対応する前記第１の画素および前記第２の画素において、前記第１の画素が前記飽和レベルに達し、かつ、前記第２の画素が前記飽和レベルに達していない場合に、前記第１のマイクロレンズに対応する前記第１の画素の出力値および前記第２の画素の出力値を補正する飽和補正手段と、を有する。

本発明の他の側面としての焦点検出装置は、前記画像処理装置と、前記画像処理装置からの出力信号を用いて焦点検出を行う焦点検出手段とを有する。

本発明の他の側面としての画像処理プログラムは、情報処理装置に、複数のマイクロレンズを有し、それぞれのマイクロレンズに対応する第１の画素と第２の画素を備えた撮像素子から得られた前記第１の画素と前記第２の画素それぞれの出力値、および、該それぞれの出力値が飽和レベルに達していることを示す飽和画素の情報を記憶手段から読み出すステップと、前記複数のマイクロレンズのうちの第１のマイクロレンズに対応する前記第１の画素および前記第２の画素において、前記第１の画素が前記飽和レベルに達し、かつ、前記第２の画素が前記飽和レベルに達していない場合に、前記記憶手段から読み出された前記情報に基づいて、前記第１のマイクロレンズに対応する前記第１の画素の出力値および前記第２の画素の出力値を補正するステップと、を実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、画素の出力値が飽和レベルに達する場合でも所望の最終出力を得ることができ、かつ高精度な焦点検出を可能とするための飽和補正を行う画像処理装置、焦点検出装置、および、画像処理プログラムを提供することができる。

実施例１における撮像装置のブロック図である。 本実施例における撮像素子の画素構造を示す図である。 本実施例における撮像素子のフォトダイオードへの入射光と画素の出力の関係を示す図である。 本実施例における撮像素子のフォトダイオードへの不均等な入射光の説明図である。 焦点が合っていない状態の分割画素を用いて作成した映像信号の波形図である。 実施例１における撮像素子の画素配列を示す図である。 実施例１における撮像素子の画素配列を示す図である。 実施例１における撮像素子の画素配列を示す図である。 実施例１において、画面周辺におけるケラレが各画素に発生している状況を示す図である。 実施例１における飽和補正方法のフローチャートである。 実施例２における撮像装置のブロック図である。 実施例３における撮像装置のブロック図である。 実施例３における制御マイコンの動作を示すフローチャートである。 実施例４における成分と周波数との関係図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず図２を参照して、本実施例における撮像素子１０２の構造について説明する。２０１は、画素に光を集光するためのマイクロレンズである。２０２はカラーフィルターであり、一般にＲＧＢなどの色で一定周期の繰り返しで配列される。２０３は、半導体の配線層である。２０４、２０５は、光電変換を行う画素（光電変換部）であり、フォトダイオードを備えて構成される。通常の撮像素子では、１つのフォトダイオードにより１つの光電変換部が構成されるが、本実施例の撮像素子１０２は、２つに分割された画素２０４、２０５により瞳分割像の取得が可能である。画素２０４を集めて構成された画像と画素２０５を集めて構成された画像とでは瞳が分割されているため、視差が生じる。その視差を利用することにより、焦点検出やステレオ画像の取得が可能となる。また、画素２０４、２０５の画素値を加算すれば、一般の画素と同じ瞳形状に戻るため、加算画素に通常の信号処理を行うことで、従来の撮像素子と同様の画像を得ることができる。

次に、図３を参照して、画素の出力値の飽和について説明する。図３は、撮像素子１０２の画素への入射光と画素の出力値の関係を示す図である。横軸はマイクロレンズ２０１への入射光の光量、縦軸は画素から出力される画素値（出力値）を示す。３０１は、画素（フォトダイオード）を分割しない場合の出力特性を示しており、飽和レベルＯＰに達するまでリニアリティが保たれている。ここで、マイクロレンズ２０１への入射光が分割画素に均等に照射されれば、分割画素を加算することにより出力特性３０１と同様の特性が得られる。しかし、像高中心で且つ合焦状態のいずれでもない場合、分割画素への入射光は均等にならない。

続いて、図４を参照して、分割画素への入射光が不均等である場合について説明する。図４は、不均等な入射光の説明図であり、像高の高い領域における画素、すなわち画面の周辺画素に光が照射している様子を示している。画面の周辺画素では光は斜めから入射するため、画素２０４の大部分には光が照射されない状態となり、光の大部分は画素２０５照射する。このため、図４に示されるような状態では、画素２０５の出力が先に飽和に達する。

図３（ａ）において、３０３は画素２０５の出力特性、３０４は画素２０４の出力特性をそれぞれ示している。図４の状態では、出力特性３０３、３０４を比較してわかるように、画素２０５の出力値は画素２０４の出力値よりも先に飽和レベルに達する。このため、画素２０４、２０５の出力値を加算して得られた画素（加算画素）の特性は、出力特性３０２のようになり、画素出力の飽和による影響が早期に出る。そこで、このような画素出力の飽和による影響を低減するため、図３（ｂ）のような特性となることが好ましい。画素２０４、２０５間の境界の半導体不純物濃度が、それ以外の画素境界の半導体不純物濃度よりも低い構成として、画素２０４、２０５間のポテンシャル障壁の高さが低い画素構造を採用する。画素の出力値が飽和レベルに達した場合、画素２０５で発生した電荷が画素２０４に漏れ込むように構成することにより、画素２０４、２０５の出力値を加算すると出力特性３０１が得られる。このとき、画素２０４の出力特性は図３（ｂ）中の出力特性３０５のようになる。

次に、図５を参照して、特許文献２の画素構造における画素出力の飽和による像崩れについて説明する。図５（ａ）〜（ｃ）は、焦点が合っていない状態の分割画素を用いて作成した映像信号の波形図である。図５（ａ）〜（ｃ）において、５０１は画素２０５から得られた画像であり、５０２は画素２０４から得られた画像である。図５（ａ）は、画素出力が飽和していない場合に取得される理想的な像を示している。図５（ｂ）は、画素出力が飽和して、漏れた電荷により対面する像まで変形している様子を示している。図５（ｃ）は、焦点検出や距離画像を生成するのに用いられる相関演算で像をずらし、一致度の高いずれ量を取得する演算における誤差発生要因の部分を示している。このように、画素飽和により漏れた電荷が画像を変形させ、ずれ量を得るための一致度を低下させていることがわかる。ステレオ画像として鑑賞する場合にも、図中の部分にクロストークが発生して見えることになる。

次に、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００のブロック図である。撮像装置１００は、１つのマイクロレンズに対して複数の画素を有する撮像素子からの画像信号を処理する画像処理装置を備える。撮像装置１００は、この撮像素子から画像信号（瞳分割像）を取得し、取得した二つの瞳分割画像の位相差から焦点検出を行うことで、飽和による像崩れを効果的に補正する。

１０１はレンズユニット（光学系）、１０２は撮像素子、１０３はＡ／Ｄ変換器、１０４は飽和検出回路（飽和検出手段）、１０５は飽和補正回路（飽和補正手段）である。飽和検出回路１０４は、複数の画素のそれぞれの出力値が飽和レベルに達していることを検出し、その飽和レベルに達したことを示す信号を後段の飽和補正回路１０５に出力する。飽和補正回路１０５は、後述のように、飽和レベルに達している飽和画素の出力値、および、同一のマイクロレンズを飽和画素と共有する隣接画素の出力値を補正する。本実施例の画像処理装置は、飽和検出回路１０４および飽和補正回路１０５を備えて構成される。

１０６はＡＢ像加算回路であり、１つのマイクロレンズ２０１を共有する分割画素の各出力値を加算して１つの画素として加算値を出力する。１０７は信号処理回路であり、ＡＢ像加算回路１０６の出力信号をカラー映像信号に変換する。１０８はＡＢ像分離回路であり、二つの異なる映像信号を出力する。ＡＢ像分離回路１０８には、ＡＢ像加算回路１０６へ入力された信号と同じ信号が入力される。１０９は相関演算部であり、ＡＢ像分離回路１０８から出力された二つの映像信号の相関演算を行う。１１０はデフォーカス量算出部である。１１１は制御マイコンであり、レンズユニット１０１および撮像装置１００のシステム全体を制御する。相関演算部１０９、デフォーカス量算出部１１０、および、制御マイコン１１１により、画像処理装置からの出力信号を用いて焦点検出を行う焦点検出手段が構成される。また、画像処理装置と焦点検出手段により焦点検出装置が構成される。

１１３は、撮像素子１０２の飽和レベルの個体差を記憶するＲＯＭ（記憶部）である。従来、撮像素子の飽和レベルを検出する回路として、飽和時に発生する色の非線形部分や偽色を消す回路が存在していた。しかし、飽和レベルの周辺で彩度をなだらかに変化させて飽和レベルにおいて真っ白にするため、厳密に飽和レベルを調整する必要はなかった。一方、本実施例では、飽和による電荷漏れを精度良く補正するため、飽和レベルの個体差を撮像装置１００のＲＯＭ１１３に予め記憶しておく。

次に、図６を参照して、本実施例における撮像素子１０２の画素配列について説明する。図６は、撮像素子１０２の画素配列を示す図である。画素２０４、２０５はそれぞれ、図２中の画素２０４、２０５と対応しており、撮像素子１０２は、マイクロレンズ２０１に対して左右に二分割した画素構成を有する。二つに瞳分離した画像はそれぞれ、Ａ像およびＢ像と呼び区別する。図６において、ＲＡは赤色のＡ像画素、ＲＢは赤色のＢ像画素をそれぞれ示す。同様に、ＧＡ、ＧＢはそれぞれ緑色のＡ像画素、Ｂ像画素を示し、ＢＡ、ＢＢはそれぞれ青色のＡ像画素、Ｂ像画素である。ここで、Ａ像画素とＢ像画素を加算するとベイヤー配列と呼ばれる単板カラー撮像素子において一般的な配列となる。

次に、飽和補正回路１０５により実行される飽和補正方法について説明する。
＜第１の補正方法＞
まず、図７を参照して、飽和画素の周囲の同色画素が飽和していない場合の補正方法（第１の補正方法）について説明する。第１の補正方法は、飽和画素の周囲（近傍）の同色画素を用いた補正方法である。図７は、撮像素子１０２の画素配列を示す図である。図７において、７０４は緑色のＡ像画素、７０３は緑色のＢ像画素を示している。本実施例において、Ａ像画素７０４は、その出力値が飽和レベルに達している飽和画素である。Ｂ像画素７０３は、同一のマイクロレンズをＡ像画素７０４（飽和画素）と共有する隣接画素であり、その出力値は飽和レベルに達していない。本実施例では、Ａ像画素７０４およびＢ像画素７０３が飽和補正対象の画素である。

Ｂ像画素７０３（隣接画素）の出力値は、本来のＢ像画素７０３の出力値とＡ像画素７０４（飽和画素）から漏れ込んだ電荷による値の加算値である。そこで第１の補正方法では、本来のＢ像画素７０３の値を推定する。Ｂ像画素７０３の周囲（近傍）に配置された同色画素、すなわち緑色の画素の出力値は飽和レベルに達していない。このため、周囲の同色画素の出力値は信頼に値する。そこで、同色（緑色）であるＢ像画素７０１、７０２、７０６、７０５を参照し、欠陥画素補完アルゴリズムを用いてＢ像画素７０３の値を推定する。本実施例では、Ｂ像画素７０１、７０２、７０６、７０５の値の平均値を用いる。Ｂ像画素７０１、７０２、７０６、７０５の値の平均値をＢ像画素７０３の補正値とし、Ｂ像画素７０３の値とＢ像画素７０３の補正値との差分をＡ像画素７０４に加算して得られた値を、Ａ像画素７０４の補正値とする。

このように、飽和補正回路１０５は、Ａ像画素７０４（飽和画素）の出力値とＢ像画素７０３（隣接画素）の出力値の加算値が維持されるように、飽和画素の出力値と隣接画素の出力値を補正する。具体的には、飽和画素と隣接画素とで共有されるマイクロレンズとは異なるマイクロレンズに対応する同色画素の出力値が飽和レベルに達していない場合、飽和補正回路１０５は、同色画素の出力値を用いて飽和画素の出力値と隣接画素の出力値を補正する。なお本実施例では、Ｂ像画素７０３の出力値を推定するために周囲の（近傍の）同色画素の平均値を用いたが、欠陥画素補完アルゴリズムとして提案されているアルゴリズムであれば他の補正方法を採用してもよい。
＜第２の補正方法＞
次に、図８を参照して、飽和画素の周囲の同色画素も飽和している場合の補正方法（第２の補正方法）について説明する。第２の補正方法は、同色画素と異色画素の色比率を利用した補正方法である。図８は、撮像素子１０２の画素配列を示す図である。図８において、Ａ像画素７０４（飽和画素）が飽和してＢ像画素７０３（隣接画素）に電荷が漏れている。また、飽和画素の周囲の緑色画素も同様に、Ａ像画素またはＢ像画素のいずれか一方が飽和している。ただし、Ａ像画素とＢ像画素を加算した状態では飽和していない。このような状態において、Ｂ像画素７０３の値を推定するには、Ｂ像画素７０３と同じ瞳形状となるＢ像側の別の色の画素（異色画素）を用いる。

Ｂ像画素８０１は、Ｂ像画素７０３と同じＢ像側であるが、色が異なる赤色画素（異色画素）である。このため、Ｂ像画素８０１の値そのままではＢ像画素７０３の推定に用いることはできない。このため、Ｂ像画素８０１の位置における緑色画素（同色画素）の値を導出する。Ｂ像画素８０１の位置における緑色画素の出力値を導出するため、周囲の色を用いる。Ａ像画素およびＢ像画素の出力値の加算後の周囲の色から赤と緑の比率を算出し、Ｂ像画素８０１に算出した比率の逆数を乗算してＢ像画素８０１の位置における緑色画素の値を導出する。Ｂ像画素８０２、８０３、８０４に対しても同様に緑色画素に換算した値を求める。これにより、Ｂ像画素７０３の上下左右の緑色Ｂ像画素が揃う。その後、欠陥画素補正アルゴリズムを用いてＢ像画素７０３の値を推定して補正を行う。

このように第２の補正方法では、飽和画素と隣接画素とで共有されるマイクロレンズとは異なるマイクロレンズに対応する同色画素の出力値が飽和レベルに達している場合に適用される。このとき飽和補正回路１０５は、異色画素の出力値および同色画素と異色画素との色比率を用いて飽和画素の出力値と隣接画素の出力値を補正する。
＜第３の補正方法＞
次に、本実施例における第３の補正方法について説明する。第３の補正方法は、合焦状態における複数の同色画素の出力値の比率（Ａ像Ｂ像比率）を用いた補正方法である。本実施例において、デフォーカス状態は、デフォーカス量算出部１１０のデフォーカス量算出結果により判定することができる。合焦状態においてＡ像およびＢ像の間には視差がなく、Ａ像およびＢ像の加算画像とも完全に一致する。しかしながら像高中心でない場合、図４を参照して説明したように、Ａ像画素とＢ像画素のバランスは均等ではなく片側の画素が飽和することがある。

図４は、入射角に関して示しているが、ケラレが要因となる場合もある。ケラレとは、絞りを開放付近に設定した場合にレンズの被写体側や本体側の縁で光束が制限される現象であり、口径食ともいう。光軸中心においては絞りよりもレンズの縁のほうが大きいため影響がないが、像高が高くなると影響が生じる場合がある。図９は、画面周辺におけるケラレが各画素に発生している状況を示している。画素に対する入射角もケラレも光軸中心から像高が高くなるにつれてなだらかに変化する。このため、近傍画素同士ではほぼ同じ特性を示す。合焦状態にある領域におけるＡ像、Ｂ像の光量比率はケラレと入射角が支配的であるため、近傍画素のＡ像、Ｂ像の比率はほぼ同じになる。この特徴を利用することにより、合焦領域では近傍のＡ像Ｂ像比率と同じになるように補正を行えばよい。図８を参照して、この補正方法について説明する。図８において、Ａ像画素７０４は飽和しており、Ｂ像画素７０３に電荷が漏れている。Ａ像画素８０５とＢ像画素８０１の比率（Ａ像Ｂ像比率）と同じようになるようＡ像画素７０４とＢ像画素７０３の値を補正する。

このように第３の補正方法では、合焦状態において、飽和補正回路１０５は、飽和画素と隣接画素とで共有されるマイクロレンズとは異なるマイクロレンズに対応する複数の同色画素の出力値の比率を用いて飽和画素の出力値と隣接画素の出力値を補正する。
＜第４の補正方法＞
次に、図５（ａ）〜（ｃ）を参照して、非合焦状態において用いられる第４の補正方法について説明する。第４の補正方法は、位置合わせを利用した補正方法である。図５（ａ）は本来あるべき像、図５（ｂ）は飽和により像が崩れた状態をそれぞれ示している。非合焦状態の場合、Ａ像とＢ像には視差があるため、同じ像の結像位置は横にずれる。その結果、Ａ像の飽和位置とＢ像の飽和位置もずれる。同じ像が視差によりずれているため、意図的にずらせば像が重なる場所が必ず存在する。図５（ｃ）は、像をずらして重ねた状態である。この像ずれの方向とずれ量によりデフォーカス量を求めることができるが、本発明の本質ではないためその説明を省略する。

図５（ｂ）中に丸で囲まれた部分は飽和レベルに達しており、補正対象領域である。また図５（ｃ）中に、同じ場所を丸で囲んで示している。丸で囲まれた部分であって互いに重ならない部分は、飽和により漏れた電荷が原因と考えることができる。このため、この差分をそのまま飽和画素側に移動させて補正することが可能である。

このように飽和補正回路１０５は、非合焦状態において、飽和画素の出力値および隣接画素の出力値である瞳分離像の位相をずらして得られた相関量に基づいて、瞳分離像の一致度が高くなるように飽和画素の出力値と隣接画素の出力値を補正する。

次に、図１０を参照して、本実施例における上述の各補正方法（第１の補正方法〜第４の補正方法）を利用した飽和補正方法について説明する。図１０は、本実施例における飽和補正方法のフローチャートである。なお、図１０の各ステップは、制御マイコン１１１からの指令または情報に基づいて、主に飽和補正回路１０５により実行される。

まずステップＳ１００１において、飽和補正方法の処理を開始する。最初のフレームでは合焦状態に関する情報がない。このため、ステップＳ１００２において、周囲の同色画素が飽和しているか否かを判定する。ステップＳ１００２にて周囲の同色画素が飽和していない場合、ステップＳ１００３に進む。そしてステップＳ１００３において、周囲の同色画素を用いた補正方法（第１の補正方法）により飽和補正を行う。なお、第１の補正方法の詳細は上述のとおりである。一方、ステップＳ１００２にて周囲の同色画素が飽和している場合、ステップＳ１００４に進む。そしてステップＳ１００４において、周囲の色を利用した補正方法（第２の補正方法）により飽和補正を行う。なお、第２の補正方法の詳細は上述のとおりである。

第１の補正方法または第２の補正方法のいずれかにより飽和補正を行うと、補正データが後段の回路に送られる。続いてステップＳ１００５において、各領域における相関演算およびデフォーカス量の算出が行われる。ステップＳ１００５の処理は、主に、制御マイコン１１１およびデフォーカス量算出部１１０の連携により行われる。そして次のフレームからは、飽和補正領域のデフォーカス量を参照した補正を行うことができる。

続いてステップＳ１００６において、飽和領域が合焦状態であるか否かを判定する。飽和領域が合焦状態である場合、ステップＳ１００７に進む。そしてステップ１００７において、近傍のＡ像、Ｂ像の比率を用いた補正方法（第３の補正方法）により飽和補正を行う。なお、第３の補正方法の詳細は上述のとおりである。一方、ステップＳ１００６において、飽和領域が非合焦状態である場合、ステップＳ１００８に進む。そしてステップＳ１００８において、像をずらして像が一致するように位置合わせを行って補正を行う（第４の補正方法）。なお、第４の補正方法の詳細は上述のとおりである。

このように飽和補正回路１０５（制御マイコン１１１）は、周囲の同色画素の出力値が飽和レベルに達しているか、また、合焦状態であるかなどの条件に応じて、飽和画素の出力値および隣接画素の出力値の補正方法を変更する。本実施例では、条件に応じて４つの異なる種類の補正方法（補正アルゴリズム）を切り替えて飽和補正を行う。ただし本実施例はこれに限定されるものではない。例えば、飽和補正回路１０５（制御マイコン１１１）は、複数の補正方法を用いて飽和画素の出力値および隣接画素の出力値を補正し、補正後の飽和画素の出力値および隣接画素の出力値の相関演算結果に基づいて最も信頼性の高い補正方法を採用してもよい。

次に、図１１を参照して、本発明の実施例２における撮像装置について説明する。図１１は、本実施例における撮像装置１００ａのブロック図である。撮像装置１００ａは、飽和検出回路１０４による飽和検出結果と未処理のＲＡＷ信号を記録媒体１１４（記憶手段）に記録するように構成されている点で実施例１の撮像装置１００と異なり、それ以外の基本的構成は実施例１と同様である。

本実施例において、飽和補正などの各種の信号処理は、後処理としてパーソナルコンピュータなどの情報処理装置により行われる。実施例１では瞳分離により生じる視差をオートフォーカスに利用するが、本実施例では視差をステレオ画像の生成および距離画像の生成のために用いる。また、実施例１では最初のフレームにおいて合焦状態に応じて切り替えるアルゴリズムを採用していないが、本実施例では記録済みの同じフレームのデータを何度もランダムアクセスしながら処理が可能であるため、そのような制約はない。また、実施例１では４つの補正方法（補正アルゴリズム）を条件に応じて切り替えて適用しているが、全ての補正方法を実行してその平均値を補正値としてもよい。また、全ての補正方法を実行して相関演算結果に基づいて一致度が最も高くなる（最も信頼性の高い）補正方法を選択的に採用してもよい。

本実施例は、情報処理装置に、上述の補正方法を実行させる画像処理プログラムとしても提供可能である。情報処理装置は、１つのマイクロレンズに対して複数の画素を備えた撮像素子から得られた複数の画素それぞれの出力値、および、複数の画素それぞれの出力値が飽和レベルに達していることを示す飽和画素の情報を記録媒体１１４から読み出す。そして、記録媒体１１４から読み出された情報に基づいて、飽和レベルに達している飽和画素の出力値、および、同一のマイクロレンズを飽和画素と共有する隣接画素の出力値を補正する。なお、記録媒体１１４の代わりに、情報処理装置内に設けられた記憶手段を用いてもよい。

次に、図１２を参照して、本発明の実施例３における撮像装置について説明する。図１２は、本実施例における撮像装置１００ｂのブロック図である。撮像装置１００ｂは、ＡＢ像を分離した視差画像をステレオ画像として記録する点、および、コントラスト検出による焦点検出を行う点で、実施例１の撮像装置１００と異なり、それ以外の基本的構成は実施例１と同様である。

具体的には、ＡＢ像分離回路１０８からのＡ像およびＢ像の出力信号は信号処理回路１０７ａ、１０７ｂにそれぞれ入力される。これらの出力信号は、それぞれ、信号処理回路１０７ａ、１０７ｂにより信号処理され、後段に出力される。また撮像装置１００ｂは、コントラスト検出回路１１５を備える。コントラスト検出回路１１５には、ＡＢ像加算回路１０６の出力、および、ＡＢ像分離回路１０８の出力が入力される。コントラスト検出回路１１５の出力は、制御マイコン１１１に入力される。制御マイコン１１１は、コントラスト検出回路１１５の出力を読み出し、焦点検出に役立てる。コントラスト検出方法による焦点検出は、コントラストのレベルを読み出しながらレンズユニット１０１を駆動して、フォーカシングレンズの位置とコントラストとの関係を調べることにより行われる。ただし、この構成については本発明の本質ではないため、その説明を省略する。

コントラスト検出回路１１５には、ＡＢ像加算回路１０６の出力と、ＡＢ像分離回路１０８の出力が入力される。いずれの出力信号のコントラストも制御マイコン１１１に入力されるが、制御マイコン１１１では、その結果を条件に応じて選択的に用いる。

図１３を参照して、本実施例における制御マイコン１１１の動作について説明する。図１３は、制御マイコン１１１の動作を示すフローチャートである。まずステップＳ１３０１において、制御マイコン１１１の動作を開始する。続いてステップＳ１３０２において、飽和検出回路１０４により飽和が検出されているか否かを判定する。ステップＳ１３０２にて飽和が検出されている場合、ステップＳ１３０４に進む。そしてステップＳ１３０４において、ＡＢ像を加算した信号（ＡＢ像加算回路１０６の出力信号）によるコントラスト値を用いて焦点検出を行う。一方、ステップＳ１３０２にて飽和が検出されていない場合、ステップＳ１３０３に進む。そしてステップＳ１３０３において、ＡＢ像を分離した信号（ＡＢ像分離回路１０８の出力信号）によるコントラスト値を用いて焦点検出を行う。ステップＳ１３０３、Ｓ１３０４のいずれかを経て、本フローは終了する（ステップＳ１３０５）。

なお本実施例では、単純にＡＢ像の分離像と加算像のコントラスト値のいずれか一方を用いるかを選択するように構成されているが、これに限定されるものではない。例えば、飽和レベルに応じて分離像と加算像のコントラスト値を混合（ミックス）するように構成してもよい。

次に、本発明の実施例４における撮像装置について説明する。本実施例では、Ａ像とＢ像の周波数分布を用いて飽和補正を行うように構成されており、実施例２の撮像装置１００ａを用いて、記録媒体１１４に記録されたＲＡＷ信号の像を補正する。Ａ像の飽和領域を含むブロックとＢ像の飽和領域を含むブロックに対して、実施例１で説明したそれぞれの補正方法（補正アルゴリズム）を用いて飽和補正を行う。そして、Ａ像、Ｂ像それぞれの周波数成分をフーリエ変換により調べる。

図１４は、本実施例における成分と周波数との関係図であり、横軸は周波数、縦軸はその成分をそれぞれ示している。Ａ像とＢ像が良好に補正されている場合、図１４の周波数成分のグラフの形状は類似する。本実施例では、この特徴を利用して複数の補正アルゴリズムから適正に補正されている補正結果を選択して使用する。なお、本実施例ではＲＡＷ信号として記録された像を処理するように構成されているが、これに限定されるものではなく、例えばオンザフライで処理するように構成してもよい。

本発明によれば、画像飽和による像崩れが発生した場合でも焦点検出を可能にするために飽和補正を行う画像処理装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０２ 撮像素子
１０４ 飽和検出回路
１０５ 飽和補正回路
１１１ 制御マイコン

Claims (12)

1. 複数のマイクロレンズを有し、それぞれのマイクロレンズに対応する第１の画素と第２の画素を備えた撮像素子からの画像信号を処理する画像処理装置であって、
   前記第１の画素と前記第２の画素のそれぞれの出力値が飽和レベルに達していることを検出する飽和検出手段と、
   前記複数のマイクロレンズのうちの第１のマイクロレンズに対応する前記第１の画素および前記第２の画素において、前記第１の画素が前記飽和レベルに達し、かつ、前記第２の画素が前記飽和レベルに達していない場合に、前記第１のマイクロレンズに対応する前記第１の画素の出力値および前記第２の画素の出力値を補正する飽和補正手段と、を有することを特徴とする画像処理装置。
2. 前記飽和補正手段は、補正される前の前記第２の画素の出力値と補正された後の前記第２の画素の出力値の差分を、前記補正される前の前記第１の画素の出力値に加算することで、補正された前記第１の画素の出力値を求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のマイクロレンズに対応する前記第１の画素および前記第２の画素と同色であって、かつ、前記第１のマイクロレンズとは異なる第２のマイクロレンズに対応する画素の出力値が前記飽和レベルに達していない場合、前記飽和補正手段は、前記第２のマイクロレンズに対応する画素の出力値を用いて、前記第１のマイクロレンズに対応する前記第１の画素の出力値と前記第２の画素の出力値を補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記飽和補正手段は、前記第１のマイクロレンズに対応する前記第１の画素および前記第２の画素に対して異色となる画素の出力値、および、前記第１のマイクロレンズに対応する前記第１の画素および前記第２の画素に対して同色となる画素と前記異色となる画素との色比率を用いて、前記第１のマイクロレンズに対応する前記第１の画素の出力値と前記第２の画素の出力値を補正することを特徴とする請求項１または２に記載の画像処理装置。
5. 合焦状態において、前記飽和補正手段は、前記第１のマイクロレンズに対応する前記第１の画素および前記第２の画素と同色であって、かつ、前記第１のマイクロレンズとは異なる第２のマイクロレンズに対応する前記第１の画素の出力値と前記第２の画素の出力値の比率を用いて、前記第１のマイクロレンズに対応する前記第１の画素の出力値と前記第２の画素の出力値を補正することを特徴とする請求項１または２に記載の画像処理装置。
6. 非合焦状態において、前記飽和補正手段は、複数のマイクロレンズに対応する前記第１の画素の出力値で構成される第１の像および前記第２の画素の出力値で構成される第２の像の位相を互いにずらし、前記第１のマイクロレンズに対応する前記第１の像の一部と、前記第１のマイクロレンズと異なる第２のマイクロレンズに対応する前記第２の像の一部が重なる場合に、前記第２の像の前記第１の像と重ならない部分における前記第２の像と前記第１の像との差分を、前記第１のマイクロレンズに対応する前記第１の像の一部に加算することで、前記第１のマイクロレンズに対応する前記第１の画素の出力値と該第２の画素の出力値を補正することを特徴とする請求項１に記載の画像処理装置。
7. 前記飽和補正手段は、条件に応じて、前記第１のマイクロレンズに対応する前記第１の画素の出力値および前記第２の画素の出力値の補正方法を変更することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記飽和補正手段は、複数の補正方法を用いて前記第１のマイクロレンズに対応する前記第１の画素の出力値および前記第２の画素の出力値を補正し、補正後の前記第１の画素の出力値および前記第２の画素の出力値の相関演算結果に基づいて、最も信頼性の高い補正方法を採用することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記撮像素子は、１つのマイクロレンズに対して備わる前記第１の画素と前記第２の画素の境界の半導体不純物濃度が、それ以外の画素との境界の半導体不純物濃度よりも低いことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記第１の画素が前記飽和レベルに達すると、前記第１の画素で発生した電荷が同一のマイクロレンズを共有する前記第２の画素に漏れ込むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 請求項１乃至１０のいずれか１項に記載の画像処理装置と、
    前記画像処理装置からの出力信号を用いて焦点検出を行う焦点検出手段と、を有することを特徴とする焦点検出装置。
12. 情報処理装置に、
    複数のマイクロレンズを有し、それぞれのマイクロレンズに対応する第１の画素と第２の画素を備えた撮像素子から得られた前記第１の画素と前記第２の画素それぞれの出力値、および、該それぞれの出力値が飽和レベルに達していることを示す飽和画素の情報を記憶手段から読み出すステップと、
    前記複数のマイクロレンズのうちの第１のマイクロレンズに対応する前記第１の画素および前記第２の画素において、前記第１の画素が前記飽和レベルに達し、かつ、前記第２の画素が前記飽和レベルに達していない場合に、前記記憶手段から読み出された前記情報に基づいて、前記第１のマイクロレンズに対応する前記第１の画素の出力値および前記第２の画素の出力値を補正するステップと、を実行させることを特徴とする画像処理プログラム。