JP5396566B2 - 撮像装置及びそのオートフォーカス制御方法 - Google Patents

Description

本発明は、焦点検出用画素（位相差検出画素ともいう。）を持つ固体撮像素子を搭載したデジタルカメラ等の撮像装置及びそのオートフォーカス制御方法に係り、特に、位相差検出画素から出力される位相差情報により被写体までの焦点距離を求める撮像装置及びそのオートフォーカス制御方法に関する。

カメラシステムにおいて、例えば図１９に示す様に、固体撮像素子の受光面（固体撮像素子の受光面である感光画素領域の前面には光学ローパスフィルタが配置されるため、実際には光学ローパスフィルタ上）１００上にダスト１０１が乗ってしまうことがある。カメラの機種によっては、光学ローパスフィルタを振動させてダストを除去できるものもあるが、粘着性の高いダストの場合はなかなか取れない。この場合、固体撮像素子で撮像された被写体画像の中に、ダストが乗った部分的領域が感度低下領域として現れる。

特許文献１には、ダスト１０１の存在する領域を特定し、ダストの存在する領域を除いた領域の撮像画像信号を用いて焦点検出を行う技術が開示されている。また、特許文献２には、固体撮像素子とは別に設けたＡＦセンサ表面の複数の焦点検出領域を各々複数のブロックに分割し、ダスト有無判定手段によりダスト有りと判定されたブロックでのフォーカス量検出手段の出力を無効にする技術が開示されている。この様な場合、ダスト有り領域に主要被写体が映っていると、その主要被写体に焦点を合わせることができない。

近年、固体撮像素子の受光面上に位相差検出画素を埋め込んだものが普及し始めている。位相差検出画素は、例えば２つの隣接画素を瞳分割して構成することができる。例えば、下記の特許文献３に記載されている様に、遮光膜開口を他の通常画素より小面積にし、かつ２つの隣接画素（ペア画素）の各遮光膜開口を反対方向に偏心させて構成される。

この様な位相差検出画素を持つ固体撮像素子においても、固体撮像素子受光面上にダストが乗ってしまうと、正確な位相差情報がとれず、オートフォーカス（ＡＦ）の精度が低下してしまう。特に、主要被写体画像がダスト有り領域に来てしまうと、主要被写体にピントのあった画像を撮像することができない。

日本国特開２０１０―１４９８１号公報 日本国特開２００９―２７１４２８号公報 日本国特開２００９―１０５３５８号公報

本発明の目的は、位相差検出画素を持つ固体撮像素子の受光面上かつ主要被写体画像に重なる位置にダスト画像が来てしまっても主要被写体に合焦した画像を撮像することができる撮像装置及びそのオートフォーカス制御方法を提供することにある。

本発明の撮像装置は、瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子と、前記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定するダスト有無判定部と、前記ＡＦエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第１の位相差検出画素の検出信号と前記第２の位相差検出画素の検出信号との間のズレ量を求める焦点ズレ量演算部と、前記ズレ量の信頼性を判定するズレ量信頼性判定部と、前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差ＡＦ方式以外のオートフォーカス制御を行う制御部とを備え、前記ＡＦエリア内の前記ダスト画像に重なる領域の境界部にある前記第１の位相差検出画素及び前記第２の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を前記ズレ量の演算対象外とし、前記ズレ量信頼性判定部は、前記ズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号、前記ズレ量から換算される被写体までの距離、前記ダスト画像の面積、及び、前記ダスト画像の位置の少なくとも１つに基づいて、前記ズレ量の信頼性を判定するものである。

本発明の撮像装置のオートフォーカス制御方法は、瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置のオートフォーカス制御方法であって、前記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定し、前記ＡＦエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第１の位相差検出画素の検出信号と前記第２の位相差検出画素の検出信号との間のズレ量を求め、前記ズレ量の信頼性を判定し、前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差ＡＦ方式以外のオートフォーカス制御を行い、前記ＡＦエリア内の前記ダスト画像に重なる領域の境界部にある前記第１の位相差検出画素及び前記第２の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を前記ズレ量の演算対象外とし、前記ズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号、前記ズレ量から換算される被写体までの距離、前記ダスト画像の面積、及び、前記ダスト画像の位置の少なくとも１つに基づいて、前記ズレ量の信頼性を判定するものである。

本発明によれば、位相差検出画素を持つ固体撮像素子の受光面上かつ主要被写体画像に重なる位置にダスト画像が来てしまっても主要被写体に合焦した画像を撮像することができる。

本発明の一実施形態に係る撮像装置の機能ブロック図である。 図１に示す固体撮像素子の表面模式図である。 図２に代わる固体撮像素子の表面模式である。 図２，図３に代わる固体撮像素子の表面模式図である。 位相差検出画素による位相差情報の検出原理説明図である。 ダストが位相差検出画素有効領域に付着した状態を示す図である。 図７Ａは、図６に示すダストの付着した状態を示す拡大図であり、図７Ｂは、ダスト画像を示す拡大図である。 本発明の一実施形態に係るオートフォーカス制御方法の処理手順の全体を示すフローチャートである。 図４に示す固体撮像素子にダストが乗ったときのダスト境界部の状態を示す図である。 図８に示す位相差検出画素除外処理のステップＳ５の詳細処理手順を示すフローチャートである。 図８のダスト有り領域における位相差検出画素の検出信号を求めるステップＳ６の詳細処理手順を示すフローチャートである。 図８のダスト無し領域における位相差検出画素の検出信号を求めるステップＳ１０の詳細処理手順を示すフローチャートである。 図８の焦点ズレ量ｄｉ算出処理のステップＳ７の詳細処理手順を示すフローチャートである。 図８のダスト有り領域で求めた焦点ズレ量ｄｉの信頼性判定処理のステップＳ８の詳細処理手順を示すフローチャートである。 図８の焦点ズレ量ｄｊ算出処理のステップＳ１１の詳細処理手順を示すフローチャートである。 図８のダスト無し領域で求めた焦点ズレ量ｄｊの信頼性判定処理のステップＳ１２の詳細処理手順を示すフローチャートである。 図８のコントラストＡＦ制御ステップＳ１４の説明図である。 図８のコントラストＡＦ制御ステップＳ１４を行うときの領域分割を示す図である。 固体撮像素子の受光面にダストが乗った状態を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置（デジタルカメラ）の機能ブロック構成図である。撮像装置１０は、ＣＣＤ型やＣＭＯＳ型等の固体撮像素子１１と、固体撮像素子１１の前面に配置された光学的ローパスフィルタ（ＯＬＰＦ）１２と、光学的ローパスフィルタ１２の前段に配置されるレンズユニット１３とを備える。なお、光学的ローパスフィルタ１２には、赤外線カットフィルタが並置されるが、この図示は省略している。

レンズユニット１３は、レンズユニット内のレンズマウント１４と、カメラ本体側のレンズマウント１５とを着脱自在に係合することで、他の図示しないレンズユニットと交換可能になっている。

レンズユニット１３内には、ズームレンズやフォーカスレンズを持つ撮影レンズ１７と、撮影レンズ１７の背部に配置された絞り１８と、撮影レンズ１７の倍率制御やフォーカス位置を、後述するシステムコントローラ２１の指示に従って制御するマイコン１９とを備える。

撮像装置１０は、更に、固体撮像素子１１から出力されるアナログの撮像画像信号を処理（相関二重サンプリング処理，利得制御処理，アナログデジタル変換処理等）するアナログ信号処理部１６と、このアナログ信号処理部１６の出力信号を取り込んで各種画像処理等を行う信号処理ＬＳＩ２０とを備える。

信号処理ＬＳＩ２０は、この撮像装置１０の全体を統括的に制御するシステムコントローラ（マイコン）２１と、取り込んだ撮像画像信号に対して各種画像処理等を行うカメラ信号処理部２２と、画像処理された画像データを圧縮したり伸張したり画素数変換処理等を行う圧縮伸張処理部２３と、固体撮像素子１１から出力されるスルー画像データを処理してＡＦ（自動焦点）処理，ＡＥ（自動露出）処理，ＡＷＢ（自動ホワイトバランス）処理等を行い、後述する焦点ズレ量の演算を行うと共に露出の判定を行うＡＦ／ＡＥ／ＡＷＢ処理部２４とを備える。

信号処理ＬＳＩ２０は、更に、メインメモリとして使用するＳＤＲＡＭ４１に接続されるメモリコントローラ２５と、カメラ背面などに設けられた表示部４２やビデオアンプ４３に接続される表示系処理部２６と、オーディオＩＣ４４に接続されるオーディオ処理部２７と、ダスト検出・除去演算部２８と、撮像画像データを記録するメモリカード４５に接続されるメモリインタフェースやＵＳＢ端子４６に接続されるＵＳＢインタフェースを持つインタフェース部２９とを備える。

信号処理ＬＳＩ２０の上記の各構成部（システムコントローラ２１〜インタフェース部２９）は、バス３０によって相互に接続されている。オーディオＩＣ４４にはマイク４７やスピーカ４８が接続され、ビデオアンプ４３とオーディオＩＣ４４にはＡＦインタフェース４９が接続される。

システムコントローラ２１は、レンズユニット１３内のマイコン１９と通信を行い、フォーカス制御や絞り制御を行うと共にレンズ情報を取得する。また、システムコントローラ２１は、ドライバ（ＤＲ）５１を介し光学的ローパスフィルタ１２の微細振動制御を行ってダスト除去制御を行うと共に、タイミングジェネレータ（ＴＧ）５２を介して固体撮像素子１１に駆動パルスを供給する。また、カメラ前面所要箇所に設けたフラッシュ５３の発光制御を行う。撮像装置１０には電源回路５４が設けられており、上述した各構成部に電源供給を行う。

図２は、図１に示す固体撮像素子１１の画素配列，カラーフィルタ配列の一例を示す図である。斜め４５度に傾けた正方形枠が各々画素（光電変換素子：フォトダイオード）を示し、その上に記載したＲ（＝ｒ），Ｇ（＝ｇ），Ｂ（＝ｂ）は、カラーフィルタの色を示している。

図示する例の固体撮像素子１１は、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配置された、所謂ハニカム画素配列となっている。奇数行の画素だけみると正方格子配列され、その上に、カラーフィルタｒｇｂがベイヤ配列され、偶数行の画素だけみても正方格子配列され、その上に、カラーフィルタＲＧＢがベイヤ配列されている。

そして、水平方向，垂直方向共に、４画素に１画素、緑色（Ｇ，ｇ）のカラーフィルタが積層された隣接画素の遮光膜開口２ａ，２ｂを他の通常画素の遮光膜開口（図示省略）より小さく、かつ互いに反対方向に偏心して設け、瞳分割を行っている。この様な遮光膜開口２ａを持つ画素が、第１の位相差検出画素（焦点検出画素）２を構成し、遮光膜開口２ｂを持つ画素が、ペアとなる第２の位相差検出画素２を構成している。なお、この例では、隣接二画素の遮光膜開口を偏心させることで瞳分割したが、隣接二画素に共通の１つの楕円状のマイクロレンズを搭載して瞳分割することでも良い。

図３は、別実施形態に係る固体撮像素子の表面模式図である。画素配列，カラーフィルタ配列は図２の実施形態と同じであるが、本実施形態では、全画素を位相差検出画素２とし、ペアとなる隣接二画素の夫々に偏心した遮光膜開口２ａ，２ｂを設けている点が異なる。

図２の実施形態では、位相差検出画素は位相差情報だけを検出し、位相差検出画素位置の撮像画像信号は、周りの通常の同色画素の撮像画像信号を補間演算して求めるが、本実施形態では、全画素が位相差情報を検出すると共に、全画素の検出信号を撮像画像信号として被写体撮像画像を生成する。

図４は、更に別実施形態に係る固体撮像素子の表面模式図である。図２，図３の実施形態における画素配列は所謂ハニカム画素配列であったが、本実施形態では、正方格子配列となっている。そして、全画素を位相差検出画素とし、ペアとなる水平方向に隣接する同色二画素に夫々偏心した遮光膜開口２ａ，２ｂを設けている。勿論、画素配列が正方格子配列の場合でも、位相差検出画素を図２の実施形態と同様に離散的位置（及び／又は周期的位置）に設けることでも良い。

なお、図２〜図４の実施形態では、固体撮像素子受光面（感光画素領域）の全領域の全画素又は離散的画素に位相検出画素を設けたが、受光面の中央部分の領域にだけ位相差検出画素を設ける構成としても良い。位相差情報は、ＡＦ処理を行う場合に必要な情報であり、主要被写体は中央部分の領域内に入る蓋然性が高いためである。

図５は、位相差検出画素により検出する位相差情報の検出原理を説明する図である。撮影レンズの焦点位置をずらしながら、遮光膜開口２ａを持つ第１の位相差検出画素の出力信号ｆ（ｘ）と、遮光膜開口２ｂを持つ第２の位相差検出画素の出力信号ｇ（ｘ）をプロットしていくと、図５のようになる。ここで、ｘは、水平方向（横方向）の位置を表す。f（ｘ），ｇ（ｘ）の値が高いほど、ピントがあっていることになる。図５の場合、ｆ（ｘ），ｇ（ｘ）は、位相差量ｄだけずれたところでピントの山がきている。この位相差量ｄが焦点ズレ量に相当し、被写体までの距離の関数となる。

焦点ズレ量は、
Ｓ（ｄ）=∫｜ｆ（ｘ＋ｄ）−ｇ（ｘ）｜ｄｘを定義した場合、Ｓ（ｄ）が最小となるｄを求めればよい。

焦点ズレ量を算出した後、焦点ズレ量をフォカースレンズの駆動パルス数等のＡＦ用パラメータに変換し（変換用のテーブルは撮像装置の記憶領域に格納されている）、ＡＦ制御を行うことができる。

この位相差ＡＦ制御は、コントラストＡＦ方式に比べて高速処理が可能なため、シャッタチャンスを逃す虞が小さくなる。しかし、ＡＦ精度を高精度にするには、固体撮像素子の垂直方向（縦方向）に並ぶ複数個の位相差検出画素の検出信号を加算平均して上記のｆ（ｘ），ｇ（ｘ）を算出するのが好ましい。この垂直加算数を確保できない場合には、ＡＦ精度が期待できない可能性が高い。

図６は、ダストが固体撮像素子受光面（光学的ローパスフィルタ表面）に付着した状態を示す図である。固体撮像素子１１の受光面（感光画素領域）１１ａの中央部分の領域内でダスト１０１が付着した様子を示している。中央部分の領域は、図２〜図５で説明した位相差検出画素２が設けられ、位相差画素有効領域１１ｂとなっている。

撮像装置１０で被写体（例えば、人物）の画像を撮像するとき、このダスト１０１が付着した領域に主要被写体部分（例えば、顔）の画像が入るとする。撮影者は、当然に、主要被写体部分（この例では人の顔）にピントの合った画像を撮像したい意図があるはずである。

しかし、図７Ａに示す様に、位相差画素有効領域１１ｂ内の所要部分（合焦させるＡＦエリア）の位相差検出画素２の上にダスト１０１が乗ると、図７Ｂに示す様に、ダスト１０１が乗ったダスト有り領域内の位相差検出画素２（ハッチングで示す）の感度は、ダスト１０１の透過光量が少なくなる分だけ、ダスト無し領域内の位相差検出画素の感度より低下し、若干暗い画像となってしまう。

このため、ダスト有り領域で位相差ＡＦ制御を行うと、ＡＦ精度が低下してしまう虞がある。しかし、ダスト無し領域で位相差ＡＦ制御を行うと、主要被写体に合焦しない所謂ピンボケ画像が撮像されてしまう虞がある。

そこで、以下に述べる実施形態では、ダスト有り領域における位相差量ｄｉ（図５）を求め、この位相差量の信頼性を判断し、その信頼性が高い場合にはダスト有り領域で求めた位相差量ｄｉで位相差ＡＦ制御を行う。

ダスト有り領域における位相差量ｄｉの信頼性が低い場合には、ダスト無し領域の位相差量ｄｊを求め、この位相差量ｄｊの信頼性を判断し、この信頼性が高い場合にはダスト無し領域で求めた位相差量ｄｊで位相差ＡＦ制御を行う。ダスト無し領域における位相差量ｄｊの信頼性が低い場合には、コントラストＡＦ制御を行う。

図８は、本発明の実施形態に係るＡＦ制御処理手順を示すフローチャートであり、図１のシステムコントローラ２１がバス３０で接続された配下の各構成部を用いて実行する。先ず、ステップＳ１で、装着しているレンズユニット１３の情報を取得すると共に、固体撮像素子１１の情報を取得する。位相差量を算出する場合、撮影レンズ１７の射出瞳位置や撮像素子対角長，画素ピッチなどを用いるためである。レンズユニット１３が交換式でなく、固定であれば、これらの情報は固定値となる。

次のステップＳ２ではドライバ５１に指示を出し、光学的ローパスフィルタ１２に微細震動を与えるダスト除去制御を行う。そしてステップＳ３で、光学的ローパスフィルタ１２の表面に残ったダストの有無を検出する。即ち、光学的ローパスフィルタ１２を透過した入射光は固体撮像素子１１の受光面に投射されるため、ダストの画像が固体撮像素子１１で撮像されることになり、このダスト画像の有無を検出する。

ダストの有無の検出すなわちダスト画像の有無の検出は、撮像装置１０が起動して固体撮像素子１１が動画状態の撮像画像データ（スルー画像データ）を出力したとき、この画像を解析することで検出できる。例えばこのとき、シャッタ速度を遅くし露光量を大きくしたスルー画像データを出力させ、周囲より感度が低下している領域があるか否かで検出できる。このとき、ユーザに対して「白い壁や紙にレンズを向けて下さい。」とか「空を写して下さい。」というメッセージを表示することで、より精度良くダスト画像の有無を検出しても良い。

あるいは、通常の撮影動作で撮影される画像を撮影毎に解析し、その数が数十枚，数百枚と累積していくと精度良くダストの有無が検出可能となる。検出したダストの位置をメモリ等に保存しておき、これを用いて以下の制御を行う様にしても良い。

次のステップＳ４では、ＡＦエリア内にダストが有るか否か判定し、ダスト有りの場合にはステップＳ５に進む。ステップＳ５では、ダスト境界部の位相差検出画素（焦点検出画素）の除外処理を行う。本実施形態の位相差検出画素は、図２〜図５で説明したように、水平方向に隣接する２画素をペア画素としており、例えば図９に示す様に、ダスト境界部では、ペア画素の一方がダスト領域に重なり、他方がダスト領域外となっているペア画素（図中、矩形枠６１で囲っている。）が存在する。

図５で説明した様に、ペア画素を構成する第１の位相差検出画素の検出信号と第２の位相差検出画素の検出信号との差分を求めることで、位相差情報を取得するため、ペア画素の一方だけがダストで覆われていると、その差分は位相差情報よりもダストの有無に影響されてしまい、精度の高い位相差情報を取得することができない。このため、ダスト境界部の図９の矩形枠６１で囲ったペア画素（位相差検出画素）を除外する必要がある。

図１０は、ダスト境界部の位相差検出画素除外処理（図８のステップＳ５）の詳細手順を示すフローチャートである。先ず、ダスト有り領域とダスト無し領域の境界に位置する位相差検出画素を抽出する（ステップＳ５１）。次のステップＳ５２では、ペア画素となる２つの隣接する位相差検出画素が同じ領域内（両方共にダスト有り領域内、又は、両方共にダスト無し領域内）に存在するか否かを判定する。

ステップＳ５２の判定の結果、同じ領域内に存在しないペアの位相差検出画素は次のステップＳ５３に進んで除外し、図５で説明した加算平均処理の対象から外し、ステップＳ５４に進む。ステップＳ５２の判定の結果、ペアとなる位相差検出画素が同じ領域内に存在する場合にはステップＳ５４に進む。

ステップＳ５４では、ステップＳ５１で抽出された位相差検出画素の全てでステップＳ５２の判定処理を行ったか否かを判定し、判定結果が否定（Ｎｏ）の場合にはステップＳ５２に戻り、判定結果が肯定（Ｙｅｓ）の場合には、この図１０の処理を終了し、図８のステップＳ６に進む。

図８のステップＳ６では、ＡＦエリア内のダスト有り領域（図７Ｂのハッチング領域）で図５で説明したｆ（ｘ），ｇ（ｘ）のサンプリング点（遮光膜開口２ａ，２ｂの位置）の信号量ｆｉ（ｘ），ｇｉ（ｘ）を求め、次のステップＳ７でダスト有り領域における焦点ズレ量ｄｉの算出処理を行う。

図５に示した様に、位相差検出画素２の検出信号からは、下段のｆ（ｘ），ｇ（ｘ）のグラフ上の離散的な黒点位置（サンプリング点）の信号しか検出できない。ペア画素による信号検出位置（遮光膜開口２ａ位置と遮光膜開口２ｂ位置）には若干の位置ズレはあるが、これは同一水平位置ｘとみなすことができる。この離散的な検出位置から、連続的なｆ（ｘ），ｇ（ｘ）のグラフを求め、両者間の例えばピーク位置の位置ズレを焦点ズレ量ｄｉとして算出する。

ダスト有り領域における焦点ズレ量ｄｉが算出された後は、ステップＳ８に進み、ダスト有り領域で求めた焦点ズレ量ｄｉの信頼性を後述する様に判定する。この信頼性が高い場合にはステップＳ９に進み、焦点ズレ量ｄｉに基づいて位相差ＡＦ制御を実行し、この処理を終了する。

ステップＳ４の判定の結果、ダスト無しと判定された場合には、ステップＳ１０に進む。また、ステップＳ８の判定の結果、信頼性が低い場合にもステップＳ１０に進む。

ステップＳ１０では、ＡＦエリア内のダスト無し領域（図７Ｂの白抜き領域）で、ステップＳ６と同様にして、サンプリング点のｆｊ（ｘ），ｇｊ（ｘ）を求め、次のステップＳ１１で、ダスト無し領域における焦点ズレ量ｄｊの算出処理を行う。

次のステップＳ１２では、ダスト無し領域で求めた焦点ズレ量ｄｊの信頼性を後述するように判定し、信頼性が高い場合にはステップＳ１３に進み、焦点ズレ量ｄｊで位相差ＡＦ制御を実行し、この処理を終了する。

ステップＳ１２の判定の結果、信頼性が低い場合には、ステップＳ１４に進み、後述するようにしてコントラストＡＦ制御を実行し、この処理を終了する。

図１１は、図８のステップＳ６の詳細処理手順を示すフローチャートである。先ず、ステップＳ６１で、ダスト有り領域に含まれる画素群の同一列の複数のペア画素を構成する第１及び第２の位相差検出画素の検出信号を垂直方向に加算し、その平均値を算出する。

次のステップＳ６２では、ダスト有り領域で、ペア画素列の第ｎ列において垂直加算平均された第１（又は第２）位相差検出画素の総加算平均化数が所定閾値Ａ未満であるか否かを判定する。Ａ以上の場合には、画素加算数が充分に有りＡＦ精度がとれると考え、この図８の処理を終了する。

ステップＳ６２の判定の結果、総加算平均化数がＡ未満とされた場合、画素加算数が少なくＡＦ精度をとれない蓋然性が高いため、次のステップＳ６３の処理を行い、この図８の処理を終了する。

ステップＳ６３では、ペア画素列の第ｎ列と隣接する第ｎ＋１列（又は第ｎ−１列）の第１位相差検出画素の検出信号の垂直加算平均値を加算し、第２位相差検出画素の検出信号の垂直加算平均値を加算する。これにより、図５に示すｆ（ｘ），ｇ（ｘ）の黒点で示す位置の信号量が求まる。

この様に、本実施形態では、画素加算数が少ない場合には、垂直加算平均値の確からしさが低いと考えられるため、水平方向の解像度は犠牲にして水平方向の画素加算を行い、ＡＦ精度の向上を図る。

図１２は、図８のステップＳ１０の詳細処理手順を示すフローチャートである。このステップＳ１０１，Ｓ１０２，Ｓ１０３の処理内容は、夫々図１１のステップＳ６１，Ｓ６２，Ｓ６３の処理内容と同じであり、図１１がダスト有り領域での処理であるのに対し、図１２はダスト無し領域での処理の違いしかない。このため、重複する説明は省略する。

図１３は、図８のステップＳ７の詳細処理手順を示すフローチャートである。先ず、ステップＳ７１で、ダスト有り領域におけるペア画素列の第ｎ列において、垂直加算平均した画素数が所定閾値Ｅより大であるか否かを判定する。

この判定の結果、加算画素数≧Ｅの場合には次のステップＳ７２に進む。ステップＳ７１の判定の結果、加算画素数＜Ｅの場合にはステップＳ７３で第ｎ列を焦点ズレ演算対象から除外してステップＳ７２に進む。

ステップＳ７２では、ダスト有り領域の全列でステップＳ７１の判定を行ったか否かを判定し、まだ未判定の列がある場合にはステップＳ７１に戻る。全列の判定が済んだ場合には、次にステップＳ７４に進み、図５にしめすｆ（ｘ），ｇ（ｘ）を算出し、次のステップＳ７５で、ｆ（ｘ）のピーク位置とｇ（ｘ）のピーク位置との位相差量ｄｉを、ダスト有り領域の焦点ズレ量ｄｉとして算出し、図８のステップＳ８に進む。

図１４は、信頼性の判定を行うステップＳ８（図８）の詳細処理手順を示すフローチャートである。先ず、ステップＳ８１で、焦点ズレ量の演算対象とするペア画素列の本数が所定閾値本数Ｆより大であるか否かを判定する。演算対象ペア画素列本数＜Ｆの場合には、精度がとれる本数ではないため、信頼性が低いと判断して図８のステップＳ１０に進む。

ステップＳ８１の判定の結果、演算対象ペア画素列本数≧Ｆの場合には、次にステップＳ８２に進み、ペア画素列の第ｎ列において、第１位相差検出画素の信号量と第２位相差検出画素の信号量との差分の絶対値を算出する。

そして次のステップＳ８３で、上記差分の絶対値の最小値が所定閾値Ｇ未満であるか否かを判定する。差分の絶対値の最小値≧Ｇの場合、すなわち、差分が大きすぎる場合には、この差分が視差（位相差量）によるものではなく他の要因に起因すると考えられるため、焦点ズレ量ｄｉの信頼性は低いと判断し、ステップＳ１０に進む。

ステップＳ８３の判定の結果、差分の絶対値＜Ｇの場合には、次にステップＳ８４に進む。このステップＳ８４では、ダスト有り領域で算出された焦点ズレ量ｄｉを被写体までの距離に換算し、所定閾値Ｂ（例えば最短撮影距離ＭＯＤ）より遠方か否か、即ち、被写体距離＞Ｂであるか否かを判定する。

この判定の結果が否定、すなわち被写体までの距離≦Ｂの場合、最短撮影距離より近いということは考え難いため、焦点ズレ量ｄｉの信頼性は低いと判断してステップＳ１０に進む。

ステップＳ８４の判定の結果、被写体距離＞Ｂの場合、次のステップＳ８５に進み、ダストの占める面積若しくは位置の判定を行い、主要被写体がダスト有り領域に存在する可能性が高いか否かを判定する。即ち、ダスト有り領域の面積が所定閾値Ｃより大面積であるか否かを判定し、あるいは、撮像面（受光面）中心からダスト有り領域の中心までの距離が所定閾値Ｄより小つまり近いか否かを判定する。

この判定の結果が否定の場合には、焦点ズレ量ｄｉの信頼性が低いと判断してステップＳ１０に進み、肯定の場合には、焦点ズレ量ｄｉの信頼性が高いと判断し、ステップＳ９に進み、焦点ズレ量ｄｉを用いた位相差ＡＦ制御を実行する。

図１５は、図８のステップＳ１１の詳細処理手順を示すフローチャートである。このステップＳ１１１，Ｓ１１２，Ｓ１１３，Ｓ１１４，Ｓ１１５の処理内容は、図１３で説明したステップＳ７１，Ｓ７２，Ｓ７３，Ｓ７４，Ｓ７５の処理内容と同じであり、異なるのは、図１５がダスト無し領域の処理である点だけである。ステップＳ１１５では、焦点ズレ量ｄｊが算出され、ステップＳ１２に進む。

図１６は、図８のステップＳ１２の詳細処理手順を示すフローチャートであり、ステップＳ１１で算出されたダスト無し領域における焦点ズレ量ｄｊの信頼性を判定する処理手順を示している。このフローチャートでは、ステップＳ１２１，Ｓ１２２，Ｓ１２３の３つのステップを備える。これら３つのステップでは、夫々図１４のステップＳ８１，Ｓ８２，Ｓ８３と同じ処理を行う。即ち、ステップＳ１２１で焦点ズレ量演算対象列の本数がＦより大のときステップＳ１２２に進み、小のとき信頼性が低いとしてステップＳ１４に進む。

ステップＳ１２２では、ステップＳ８２と同様に差分の絶対値を求め、ステップＳ１２３で、差分の絶対値の最小値＜Ｇのとき焦点ズレ量ｄｊの信頼性が高いとしてステップＳ１３に進み、差分の絶対値の最小値≧Ｇのときは焦点ズレ量ｄｊの信頼性が低いとしてステップＳ１４に進む。

ステップＳ１４では、コントラストＡＦ制御を行う。このコントラストＡＦ制御を行う場合、例えば撮影画像を複数領域に分割し、各領域でコントラスト値を評価する。このとき、ダストが含まれる領域をダスト有り領域とする。ダスト有り領域は、コントラストＡＦの対象から外したり、焦点ズレ量演算時と同等の判定基準（例えば、被写体距離がＭＯＤＥかの場合はＮＧとする等）をもって、ダスト有り領域で求めたコントラスト値の信頼性を判定する。

また、ダスト有り領域のみで、別途、コントラストＡＦを行い、他の領域のコントラスト値と比較しても良い。この場合は、ダスト有り領域において、矩形にて最大の面積がとれるように領域を指定する。例えば、図１７に示す様に、矩形の最大面積をとる四隅のペア画素６３，６４，６５，６６を決める。ペア画素の２画素は共にダスト有り領域に含まれる様に選択する。これは、感度不足等を補うために、第１位相差検出画素と第２位相差検出画素の各検出信号を画素混合するためである。

撮像領域を複数領域に分割する場合、上記のペア画素６３，６４，６５，６６の大きさを基準とする。つまり、ペア画素６３とペア画素６４との距離（矩形の横寸法）をａ、ペア画素６４とペア画素６５との距離（矩形の縦寸法）をｂとしたとき、この横ａ縦ｂの矩形領域を単位領域とする。そして、図１８に示す様に、感光画素領域を多数の単位領域で分割する。ダスト１０１の一部でも含まれる領域はダスト有り領域１０２とする。周囲の単位領域で感光画素領域の外側の無効画素領域にはみ出す単位領域は無効とする。

以上の様にして複数領域に分割し、コントラストＡＦを行うことで、精度の高いコントラストＡＦ制御を行うことが可能となる。このコントラストＡＦを行う場合、先に、ダスト有り領域のコントラスト値を求め、コントラストＡＦ制御を行うことで、ダスト有り領域に主要被写体画像が重なった場合でも主要被写体に合焦した被写体画像を撮像することが可能となる。

ダスト有り領域のコントラスト値の信頼性が低いとき、ダスト有り領域を除いたダスト無し領域でコントラストＡＦを行う様にしても良く、最初からダスト無し領域でコントラストＡＦを行う様にしても良い。また、撮像領域に複数のダストが存在した場合、その内の最小のダストの大きさで上記の単位領域の大きさを決めれば良い。

以上述べた実施形態によれば、位相差検出画素を用いた位相差ＡＦ方式をコントラストＡＦ方式よりも優先して実施し、かつ、位相差ＡＦ方式を実施する場合でも、ＡＦエリアにダストが重なったとしてもダスト有り領域での位相差ＡＦ方式を優先するため、主要被写体に合焦した画像を撮像することが可能となる。また、位相差ＡＦ方式でＡＦ精度がとれない場合に初めてコントラストＡＦ方式を実施するため、どのような場面でもピント合わせを行うことが可能となる。

以上述べた実施形態の撮像装置及びそのオートフォーカス制御方法は、瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置及びそのオートフォーカス制御方法であって、上記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定し、上記ＡＦエリア内に上記ダスト画像が含まれる場合にはこのダスト画像に重なる上記第１の位相差検出画素の検出信号と上記第２の位相差検出画素の検出信号との間のズレ量を求め、上記ズレ量の信頼性を判定し、上記ズレ量の信頼性が高い場合にはこのズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、上記信頼性が低い場合には上記ズレ量を用いた上記位相差ＡＦ方式以外のオートフォーカス制御を行う。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記信頼性が低い場合には、上記ＡＦエリア内の上記ダスト画像と重ならないダスト無し領域のズレ量を求め、このダスト無し領域のズレ量の信頼性を判定し、この信頼性が高い場合にはこのダスト無し領域のズレ量を用いて位相差ＡＦ方式でオートフォーカス制御を行い、この信頼性が低い場合にはコントラストＡＦ方式でオートフォーカス制御を行う。

また、実施形態の撮像装置及びそのオートフォーカス制御方法の上記コントラストＡＦ方式は、上記受光面のうち、上記ダスト画像が存在する領域と上記ダスト画像が存在しない領域の各々で行う。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ＡＦエリア内の上記ダスト画像に重なる領域の境界部にある上記第１の位相差検出画素及び上記第２の位相差検出画素の組のうち一方がこのダスト画像に重ならない領域に含まれる上記位相差検出画素の組を、請求項１３記載の上記ズレ量の演算対象外とする。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を算出するときに使用する上記第１，第２の位相差検出画素の上記検出信号として、上記受光面に垂直方向に並ぶ複数の上記位相差検出画素で構成される画素列の検出信号を加算平均した信号を用いる。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記加算平均した画素数が第１所定閾値未満の場合には、上記画素列の上記信号とこの画素列に隣接する画素列の上記信号とを加算平均した信号を上記ズレ量を算出する検出信号として使用する。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記加算平均するときに加算した数が第２所定閾値未満の場合には上記画素列の上記信号を除外して上記ズレ量を求める。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を算出するときに使用した上記画素列の本数が第３所定値未満の場合には上記信頼性が低いと判定する。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を算出するときに使用した上記第１の位相差検出画素の検出信号から求めた上記信号と上記第２の位相差検出画素の検出信号から求めた上記信号との差分の絶対値を上記信頼性の評価値とする。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記評価値が低いほど上記信頼性が高いと判定し、上記絶対値の最小値が第４所定閾値より大きいとき上記信頼性が低いと判定する。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ズレ量を被写体までの距離に換算し、この被写体までの距離が第５所定閾値より小さいとき上記信頼性が低いと判定する。

また、実施形態の撮像装置及びそのオートフォーカス制御方法は、上記ダスト画像の面積が第６所定閾値より大きく、又は、上記ダスト画像の中心と上記受光面の中心との距離が第７所定閾値より小さい場合には上記信頼性が低いと判定する。

以上述べた実施形態によれば、固体撮像素子の受光面上かつ主要被写体画像に重なる位置にダスト画像が来てしまっても主要被写体に合焦した画像を撮像することができる。

本発明に係る撮像装置は、ＡＦエリアにダストが乗った場合でもＡＦエリア内の主要被写体画像に合焦した画像を撮像することができるため、デジタルカメラやカメラ付携帯電話機等の撮像装置に適用すると有用である。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１１年０３月３０日出願の日本特許出願（特願２０１１−０７６３４４）に基づくものであり、その内容はここに参照として取り込まれる。

２ 位相差検出画素
２ａ 第１の位相差検出画素の遮光膜開口
２ｂ 第２の位相差検出画素の遮光膜開口
１０ 撮像装置
１１ 固体撮像素子
１１ａ 感光画素領域（受光領域）
１１ｂ 位相差検出画素有効領域
２０ 信号処理ＬＳＩ
２１ システムコントローラ
１０１ ダスト

Claims (22)

1. 瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子と、
   前記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定するダスト有無判定部と、
   前記ＡＦエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第１の位相差検出画素の検出信号と前記第２の位相差検出画素の検出信号との間のズレ量を求める焦点ズレ量演算部と、
   前記ズレ量の信頼性を判定するズレ量信頼性判定部と、
   前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差ＡＦ方式以外のオートフォーカス制御を行う制御部とを備え、
   前記ＡＦエリア内の前記ダスト画像に重なる領域の境界部にある前記第１の位相差検出画素及び前記第２の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を前記ズレ量の演算対象外とし、
   前記ズレ量信頼性判定部は、前記ズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号、前記ズレ量から換算される被写体までの距離、前記ダスト画像の面積、及び、前記ダスト画像の位置の少なくとも１つに基づいて、前記ズレ量の信頼性を判定する撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記信頼性が低い場合には、前記ＡＦエリア内の前記ダスト画像と重ならないダスト無し領域のズレ量を前記焦点ズレ量演算部で求め、
   前記ズレ量信頼性判定部は、該ダスト無し領域のズレ量の信頼性を、該ダスト無し領域のズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号に基づいて判定し、
   該信頼性が高い場合には該ダスト無し領域のズレ量を用いて位相差ＡＦ方式でオートフォーカス制御を行い、該信頼性が低い場合にはコントラストＡＦ方式でオートフォーカス制御を行う撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記コントラストＡＦ方式は、前記受光面のうち、前記ダスト画像が存在する領域と前記ダスト画像が存在しない領域の各々で行う撮像装置。
4. 請求項１から請求項３のいずれか１項に記載の撮像装置であって、
   前記ズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号として、前記受光面に垂直方向に並ぶ複数の前記位相差検出画素で構成される画素列の検出信号を加算平均した信号を用いる撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記加算平均した画素数が第１所定閾値未満の場合には、前記画素列の前記信号と該画素列に隣接する画素列の前記信号とを加算平均した信号を前記ズレ量を算出する検出信号として使用する撮像装置。
6. 請求項４又は請求項５に記載の撮像装置であって、
   前記加算平均するときに加算した数が第２所定閾値未満の場合には前記画素列の前記信号を除外して前記ズレ量を求める撮像装置。
7. 請求項４から請求項６のいずれか１項に記載の撮像装置であって、
   前記ズレ量を算出するときに使用した前記画素列の本数が第３所定値未満の場合には前記信頼性が低いと判定する撮像装置。
8. 請求項４から請求項７のいずれか１項に記載の撮像装置であって、
   前記ズレ量を算出するときに使用した前記第１の位相差検出画素の検出信号から求めた前記信号と前記第２の位相差検出画素の検出信号から求めた前記信号との差分の絶対値を前記信頼性の評価値とする撮像装置。
9. 請求項８に記載の撮像装置であって、
   前記評価値が低いほど前記信頼性が高いと判定し、前記絶対値の最小値が第４所定閾値より大きいとき前記信頼性が低いと判定する撮像装置。
10. 請求項１から請求項９のいずれか１項に記載の撮像装置であって、
    前記被写体までの距離が第５所定閾値より小さいとき請求項１に記載の信頼性が低いと判定する撮像装置。
11. 請求項１から請求項１０のいずれか１項に記載の撮像装置であって、
    前記ダスト画像の面積が第６所定閾値より大きく、又は、前記ダスト画像の中心と前記受光面の中心との距離が第７所定閾値より小さい場合には請求項１に記載の信頼性が低いと判定する撮像装置。
12. 瞳分割された隣接する第１の位相差検出画素及び第２の位相差検出画素の組が受光面に複数組設けられた固体撮像素子を搭載した撮像装置のオートフォーカス制御方法であって、
    前記受光面のＡＦエリア内で撮像される画像中にダスト画像があるか否かを判定し、
    前記ＡＦエリア内に前記ダスト画像が含まれる場合には該ダスト画像に重なる前記第１の位相差検出画素の検出信号と前記第２の位相差検出画素の検出信号との間のズレ量を求め、
    前記ズレ量の信頼性を判定し、
    前記ズレ量の信頼性が高い場合には該ズレ量を用いた位相差ＡＦ方式でオートフォーカス制御を行い、前記信頼性が低い場合には前記ズレ量を用いた前記位相差ＡＦ方式以外のオートフォーカス制御を行い、
    前記ＡＦエリア内の前記ダスト画像に重なる領域の境界部にある前記第１の位相差検出画素及び前記第２の位相差検出画素の組のうち一方が該ダスト画像に重ならない領域に含まれる前記位相差検出画素の組を前記ズレ量の演算対象外とし、
    前記ズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号、前記ズレ量から換算される被写体までの距離、前記ダスト画像の面積、及び、前記ダスト画像の位置の少なくとも１つに基づいて、前記ズレ量の信頼性を判定する撮像装置のオートフォーカス制御方法。
13. 請求項１２に記載の撮像装置のオートフォーカス制御方法であって、
    前記信頼性が低い場合には、前記ＡＦエリア内の前記ダスト画像と重ならないダスト無し領域のズレ量を求め、該ダスト無し領域のズレ量の信頼性を、該ダスト無し領域のズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号に基づいて判定し、該信頼性が高い場合には該ダスト無し領域のズレ量を用いて位相差ＡＦ方式でオートフォーカス制御を行い、該信頼性が低い場合にはコントラストＡＦ方式でオートフォーカス制御を行う撮像装置のオートフォーカス制御方法。
14. 請求項１３に記載の撮像装置のオートフォーカス制御方法であって、
    前記コントラストＡＦ方式は、前記受光面のうち、前記ダスト画像が存在する領域と前記ダスト画像が存在しない領域の各々で行う撮像装置のオートフォーカス制御方法。
15. 請求項１２から請求項１４のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    前記ズレ量を算出するときに使用する前記第１，第２の位相差検出画素の前記検出信号として、前記受光面に垂直方向に並ぶ複数の前記位相差検出画素で構成される画素列の検出信号を加算平均した信号を用いる撮像装置のオートフォーカス制御方法。
16. 請求項１５に記載の撮像装置のオートフォーカス制御方法であって、
    前記加算平均した画素数が第１所定閾値未満の場合には、前記画素列の前記信号と該画素列に隣接する画素列の前記信号とを加算平均した信号を前記ズレ量を算出する検出信号として使用する撮像装置のオートフォーカス制御方法。
17. 請求項１５又は請求項１６に記載の撮像装置のオートフォーカス制御方法であって、
    前記加算平均するときに加算した数が第２所定閾値未満の場合には前記画素列の前記信号を除外して前記ズレ量を求める撮像装置のオートフォーカス制御方法。
18. 請求項１５から請求項１７のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    前記ズレ量を算出するときに使用した前記画素列の本数が第３所定値未満の場合には前記信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
19. 請求項１５から請求項１８のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    前記ズレ量を算出するときに使用した前記第１の位相差検出画素の検出信号から求めた前記信号と前記第２の位相差検出画素の検出信号から求めた前記信号との差分の絶対値を前記信頼性の評価値とする撮像装置のオートフォーカス制御方法。
20. 請求項１９に記載の撮像装置のオートフォーカス制御方法であって、
    前記評価値が低いほど前記信頼性が高いと判定し、前記絶対値の最小値が第４所定閾値より大きいとき前記信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
21. 請求項１２から請求項２０のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、
    請求項１２に記載のズレ量を被写体までの距離に換算し、該被写体までの距離が第５所定閾値より小さいとき請求項１２に記載の信頼性が低いと判定する撮像装置のオートフォーカス制御方法。
22. 請求項１２から請求項２１のいずれか１項に記載の撮像装置のオートフォーカス制御方法であって、 前記ダスト画像の面積が第６所定閾値より大きく、又は、前記ダスト画像の中心と前記受光面の中心との距離が第７所定閾値より小さい場合には請求項１２に記載の信頼性が低いと判定する撮像装置のオートフォーカス制御方法。

Images