JP5963552B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ、等の撮像装置及びその制御方法に関する。特に、コントラストＡＦと位相差ＡＦを用いたハイブリッドＡＦ検出方式を用いた撮像装置及びその制御方法に関する。

撮像装置の焦点検出調節方法の一般的な方式として、コントラストＡＦと位相差ＡＦとがある。コントラストＡＦはビデオカメラやデジタルスチルカメラで多く用いられるＡＦ方式であり、撮像素子が焦点検出用センサとして用いられるものである。

撮像素子の出力信号、特に高周波成分のコントラスト情報に着目し、そのＡＦ評価値が最も大きくなるフォーカスレンズの位置を合焦位置とするＡＦ方式である。しかしながら、山登り方式とも言われるように、フォーカスレンズの光軸方向の位置を微少量だけ移動させながら評価値を求め、その評価値が結果的に最大であったとわかるまで移動させることが必要であるため、高速な焦点検出動作には不向きとされている。

一方、位相差ＡＦ検出方式の焦点検出は、一眼レフカメラに多く用いられ、自動焦点検出（ＡｕｔｏＦｏｃｕｓ：ＡＦ）一眼レフカメラの実用化に貢献した技術である。例えば、デジタル一眼レフカメラで、位相差ＡＦ検出方式は、２次結像光学系からなる焦点検出手段により行われる。焦点検出手段は、撮影光学系の射出瞳を通過した光束を２つの領域に分割する瞳分割手段を備え、２分割された光束はミラーボックス内に配置された光路分割手段を介して、２次結像光学系により一組の焦点検出用センサ上に結像する。

そして、その焦点検出用センサの受光量に応じて出力される信号のずれ量すなわち瞳分割方向の相対的位置ずれ量を検出することで、撮影光学系のピント方向のずれ量を直接的に求める。従って、焦点検出用センサにより一度蓄積動作を行なえば、ピントずれの量と方向が同時に得られ、高速な焦点調節動作が可能となる。焦点検出した後の撮影時には、光路分割手段を撮影光束外へ退避させ、撮像素子への露光を行い撮影画像を取得する。

また、撮像素子に位相差ＡＦ機能を付与し、背面液晶などの表示手段でリアルタイムに画像を確認する電子ファインダ観察時や動画撮影時でも高速のＡＦを実現する技術が特許文献１に開示されている。例えば、撮像素子の一部の受光用画素において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させて瞳分割機能を付与する技術が開示されている。

これらの画素を焦点検出用画素とし、撮影用画素群の間に所定の間隔で配置することで、撮像面位相差ＡＦ検出を行なう。ここで、焦点検出用画素が配置された箇所は撮影用画素の欠損部に相当するため、周辺の撮影用画素情報から補間して画像情報を生成している。この例によると、撮像面で撮像面位相差ＡＦ検出を行えるので、電子ファインダ観察時や動画撮影時でも、高速かつ高精度な焦点検出を行うことができる。

近年、コントラストＡＦと位相差ＡＦのお互いの長所を活かした方式として、ハイブリッドＡＦも提案されている。特許文献２では、位相差ＡＦの焦点検出結果により、フォーカスレンズの調節を行い、合焦位置近傍では、コントラストＡＦに変更することにより、高速かつ、高精度な焦点検出を可能としている。

また、特許文献２では、位相差ＡＦの焦点検出に用いる信号の特徴に応じて、焦点検出結果の精度が変わることを利用している。例えば、位相差ＡＦで、信号の信頼性が高く、高精度な焦点検出結果が得られた場合には、より合焦位置に近づくまで、位相差ＡＦの焦点検出結果を利用して、焦点調節を行う。それにより、更なる高速化が実現できる。

特開２００９−００３１２２号公報 特開２０１０−２５６８２４号公報

しかしながら、上述の特許文献１、２に開示された従来技術では、高速化と高精度化の両立が困難な場合があった。特許文献１では、位相差ＡＦの焦点検出に用いる信号から、位相差ＡＦの焦点検出精度を、見積もるよう構成されている。しかし、位相差ＡＦの焦点検出精度は、様々な要因の影響を受けるため、位相差ＡＦ検出方式の焦点検出に用いる信号だけでは、焦点検出精度の見積もり精度は低くなる可能性があった。

また、特許文献２では、合焦位置近傍では、高精度な焦点調節を目的として、コントラストＡＦの焦点検出結果で、焦点調節をするよう構成されている。しかし、コントラストＡＦは、被写体や撮影環境によっては、十分な焦点検出精度が得られない場合があった。

そこで、本発明の目的は、位相差ＡＦとコントラストＡＦのハイブリッド焦点検出を行う際に、より高速で高精度な焦点検出を行うことを可能にした焦点検出装置を有する撮像装置を提供することである。

上記目的を達成するために、本発明では、撮影光学系の異なる瞳領域を通過する複数の光束を検出し第１の画素信号を出力可能であるとともに、前記撮影光学系の瞳領域を通過する光束を検出し第２の画素信号を出力可能な撮像素子と、前記第１の画素信号に基づいてデフォーカス量を検出する第１の焦点検出部と、前記第２の画素信号に基づいてコントラスト評価値の検出を行う第２の焦点検出手段と、焦点検出処理の際に、前記撮像素子への露光に伴って前記第１の画素信号から前記第１の焦点検出手段によるデフォーカス量の検出を行うとともに当該検出されたデフォーカス量および前記第２の画素信号に基づいた駆動量でレンズを駆動させ、当該レンズ駆動後の再度の露光に伴って、前記第２の画素信号に基づいて前記第１の焦点検出手段に基づく焦点調節処理を行うか、１ステップの駆動量を決定して前記第２の焦点検出手段に基づく焦点検出処理を行うかを切換える制御手段を有することを特徴とする。

本発明によれば、位相差ＡＦとコントラストＡＦのハイブリッドＡＦ検出方式を行う際に、より高速で高精度な焦点検出を行うことを可能にした焦点検出装置を有する撮像装置を提供することができる。

本実施例の焦点検出処理を説明するためのフローチャートである。 本実施例のデジタルカメラのブロック図である。 図１の撮像面位相差ＡＦにおけるフォーカスレンズの駆動を説明する図である。 撮像素子上の一部の光学像が形成されている様子を示した図である。 図４に示した光学像により得られる出力信号を示した図である。 ＴＶＡＦ制御時のレンズ駆動量のステップ幅の設定について説明する図である。 ＴＶＡＦ制御による焦点調節処理サブルーチンのフローを示した図である。 ＴＶＡＦ制御を説明する図である。 撮像面位相差ＡＦ制御による焦点調節処理サブルーチンのフローを示した図である。

（実施例１）
以下、本発明の実施例１では、本発明の撮像装置をレンズ交換可能な一眼レフタイプのデジタルカメラに適用した例について説明する。

図２は本実施例のデジタルカメラのブロック図である。本実施例のデジタルカメラは交換レンズ式一眼レフカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０と接続される。

レンズユニット１００は、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、及び、後述する制御手段を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含むと共に被写体の像を形成する撮影光学系を有する。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体として光軸方向ＯＡに進退し、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向の進退により焦点調節を行う。

制御手段は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。

ズームアクチュエータ１１１は、第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに進退駆動し、ズーム操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。

フォーカスアクチュエータ１１３で、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行なう。フォーカスアクチュエータ１１３は、フォーカスレンズ１０４の現在位置を検出する位置検出部としての機能が備わっている。

ズーム駆動回路１１４は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。シャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。

フォーカス駆動回路１１６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行なう。

レンズＭＰＵ１１７は、撮像素子１２２上に被写体像を結像させる撮影光学系に係る全ての演算、制御を行い、ズーム駆動回路１１４、シャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズメモリ１１８を制御する。また、レンズＭＰＵ１１７は、現在のレンズ位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。レンズメモリ１１８には自動焦点調節に必要な光学情報を記憶する。

カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、後述する制御手段を有する。

光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。

撮像素子１２２は、Ｃ−ＭＯＳセンサとその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に１つの光電変換素子が配置される。撮像素子１２２は、全画素の独立な出力が可能なように構成されている。また、一部の画素が焦点検出用画素となっており、撮像面で位相差ＡＦ検出方式の焦点検出（撮像面位相差ＡＦ）が可能となっている。

焦点検出用画素は、複数の撮影用画素内に離散的に配置されている（図４）。

より具体的には、撮像素子１２２は、被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各々が受光して被写体の像を生成する複数の撮影用画素を有する。また、撮像素子１２２は、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する複数の焦点検出用画素を更に有する。複数の焦点検出用画素は全体として撮影光学系の射出瞳の全域を通る光束を受光することができる。例えば、撮像素子１２２は、２行×２列の画素のうち、対角に配置される一対のＧ画素は撮影用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換える。

駆動手段は、撮像素子駆動回路１２３、画像処理回路１２４、第１の制御手段、第２の制御手段、第３の制御手段の機能を備えたカメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を有する。

撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮などを行う。

第１の制御手段、第２の制御手段、第３の制御手段の機能を備えたカメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る全ての演算、制御を行い、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作ＳＷ１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を制御する。

第１の制御手段は、撮影光学系の異なる瞳領域を通過する複数の光束を検出する焦点検出用画素から出力される第１の画素信号に基づいて位相差ＡＦを行う。

第２の制御手段は、撮影光学系の瞳領域を通過する複数の光束を検出する撮影用画素から出力される第２の画素信号に基づいてコントラストＡＦを行う。

第２の制御手段は、被写体像のコントラスト情報及び被写体像の輝度情報の少なくとも１つに基づいてフォーカスレンズのレンズ駆動量の駆動幅を可変する。

第３の制御手段は、第２の画素信号から抽出された被写体情報を用いて、前記位相差ＡＦと前記コントラストＡＦを切換える。

第２の画素信号から抽出された被写体情報は、焦点検出用画素の焦点検出の精度と相関のある情報又は撮影用画素の焦点検出の精度と相関のある情報である。

第２の画素信号から抽出された被写体情報は、焦点検出用画素の焦点検出の精度と相関のあるコントラスト情報及び焦点検出用画素の焦点検出の精度と相関のある被写体像の空間周波数情報及び焦点検出用画素の焦点検出の精度と相関のある被写体像に含まれる迷光情報のうち少なくとも１つである。

第２の画素信号から抽出された被写体情報は、撮影用画素の焦点検出の精度と相関のある被写体像の輝度情報及び撮影用画素の焦点検出の精度と相関のある被写体像の経時による変化量情報及び撮影用画素の焦点検出の精度と相関のある被写体像のコントラスト情報うち少なくとも１つである。

第１の制御手段、第２の制御手段、第３の制御手段の機能を備えたカメラＭＰＵ１２５はマウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７に対してレンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行したり、レンズユニット１００に固有の光学情報を取得したりする。

第１の制御手段、第２の制御手段、第３の制御手段の機能を備えたカメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。

更に、カメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納したプログラムにより焦点検出処理を実行する。焦点検出処理の詳細は後述する。また、カメラＭＰＵ１２５は、撮像面位相差ＡＦにおいて、焦点検出位置の像高が大きい時にケラレの影響が大きく信頼度が低下するため、その補正も行う。

表示器１２６はＬＣＤなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。本実施例のメモリ１２８は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。

撮像面位相差焦点検出部（第１の焦点検出部）１２９は、撮像素子１２２の複数の撮影用画素内に離散的に配置されてた焦点検出用画素の像信号により位相差ＡＦ方式での焦点検出処理を行う。より具体的には、撮像面位相差焦点検出部１２９は、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差ＡＦを行う。

撮像面位相差ＡＦの原理は、特許文献１の図５〜図７、図１６などにおいて説明されているものと同様である。

ＴＶＡＦ焦点検出部（第２の焦点検出部）１３０は、画像処理回路１２４にて得られた画像情報のコントラスト成分によりコントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理は、フォーカスレンズ１０４を移動してコントラスト評価値がピークとなるフォーカスレンズの位置を検出する。

このように、本実施例は、撮像面位相差ＡＦとコントラストＡＦを組み合わせており、いずれの焦点検出手段も撮像面上の情報に基づくため、位相差ＡＦとコントラストＡＦ（ＴＶＡＦ）を組み合わせるよりも焦点検出精度を向上することができる。

以下、図１、図３を参照して、第１の制御手段、第２の制御手段、第３の制御手段の機能を備えたカメラＭＰＵ（プロセッサ）１２５が実行する焦点検出処理について説明する。図１において、「Ｓ」はステップの略である。図１は、カメラＭＰＵ１２５が実行する焦点検出処理を説明するためのフローチャートである。

カメラＭＰＵ１２５は、焦点検出処理を開始すると（Ｓ１００）、まず、現在選択中の焦点検出領域に含まれる撮像面位相差ＡＦの焦点検出用画素列を探索し、その焦点検出用画素列が検出可能な最大検出デフォーカス量を取得する（Ｓ１０１）。焦点検出用画素が検出可能な最大デフォーカス量は焦点検出用画素列の長さ及び像ずれ量をデフォーカス量に変換する係数（Ｋ値）から決定される。Ｋ値は、焦点検出用画素列毎に予めＥＥＰＲＯＭ１２５ｃに記憶しておく。

次に、撮像素子１２２への露光を行う（Ｓ１０２）。これにより、撮像面位相差ＡＦやＴＶＡＦに用いる出力信号を得るだけでなく、ＴＶＡＦ用の焦点検出領域や撮像面位相差ＡＦ用の焦点検出領域を含む近傍の被写体の情報を得ることができる。後述するＴＶＡＦや撮像面位相差ＡＦの信頼性を判定するために、被写体の情報を得るための撮像面上の画素領域は、ＴＶＡＦ用の焦点検出領域や撮像面位相差ＡＦ用の焦点検出領域を包含しているのが望ましい。

また、ＴＶＡＦや撮像面位相差ＡＦは、必要な焦点調節精度に合わせて、撮影用画素の出力信号の数を間引いて用いてもよい。その際にも、被写体の情報を得るための出力信号はＴＶＡＦや撮像面位相差ＡＦの出力信号よりも多い画素数で構成されているのが望ましい。それによりＴＶＡＦや撮像面位相差ＡＦの出力信号からは得られない情報を得ることができ、後述のＴＶＡＦや撮像面位相差ＡＦの焦点検出結果の信頼性を判断することができる。

撮像面位相差ＡＦに用いる第１の画素信号は、第１の画像信号と対応している。また、コントラストＡＦ（ＴＶＡＦ）に用いる画素信号や被写体からの情報を得るための第２の画素信号は、第２の画像信号と対応している。

次に、カメラＭＰＵ１２５は、撮像面位相差ＡＦによる焦点検出処理を行い（Ｓ１０３）、デフォーカス量を検出したかどうかを判断する（Ｓ１０４）。

デフォーカス量を検出していないと判断すると（Ｓ１０４のＮｏ）、カメラＭＰＵ１２５は、Ｓ１０１で取得した最大検出デフォーカス量から被写体像の検出抜けがないようにフォーカスレンズ１０４を駆動し（Ｓ１０５）、フローはＳ１０２に帰還する。

図３（ａ）は、Ｓ１０５におけるレンズ駆動のタイミングとフォーカスレンズ１０４の駆動位置との関係を示す図である。カメラＭＰＵ１２５は、フォーカスレンズ１０４を、撮像面位相差ＡＦで検出可能な最大検出デフォーカス量の２倍に相当する駆動量Ｕで駆動する。隣接する２つの焦点検出点Ｔ１の間隔は駆動量Ｕであり、焦点検出点Ｔ１の前後のＵ／２に相当するデフォーカス量を取得する。ここで行う撮像面位相差ＡＦの結果に基づくフォーカスレンズ駆動は、第１のレンズ制御によるレンズ駆動と称することする。第１のレンズ制御は、撮像面位相差ＡＦの結果に基づくため、比較的大きな駆動量のレンズ駆動を行うことができ、高速なレンズ駆動を実現できる。

一方、デフォーカス量を検出したと判断すると（Ｓ１０４のＹｅｓ）、カメラＭＰＵ１２５は、Ｓ１０２の露光時に取得していたＴＶＡＦ用の焦点検出領域や撮像面位相差ＡＦ用の焦点検出領域を含む近傍の被写体の情報から、撮像面位相差ＡＦ結果の信頼性を算出する（Ｓ１０６）。

一般に、撮像面位相差ＡＦは、被写体の状況によって、見込まれる検出精度が異なる。例えば、被写体のコントラストが低くなったり、被写体近傍に強い光源があり、ゴーストの影響を受けたりすることにより、焦点検出精度が低下することがある。上述した特許文献２では、このような撮像面位相差ＡＦの焦点検出精度が低下するか否かを、撮像面位相差ＡＦの画素信号のコントラストから判断してフォーカスレンズの駆動を制御している。

しかし、焦点検出精度の低下を招く被写体の状況の全てを、撮像面位相差ＡＦの画素信号から判断するのは困難である。例えば、焦点検出精度の低下が見込まれる被写体の状況として、撮像面位相差ＡＦのコントラスト検出方向（瞳分割方向）に対して、斜め方向にコントラストがある被写体や、撮像面位相差ＡＦの検出できる被写体の空間周波数情報より高い空間周波数成分を含む被写体が考えられる。

図４、図５に、焦点検出精度の低下が見込まれる被写体の状況の例を示す。

図４は、撮像素子１２２の撮像面上の一部に、光学像（斜線部）が形成されている様子を示している。被写体の光学像を示す斜線部が被写体上ではより高い輝度を有する部分で、斜線部以外は、より低輝度とする。

各正方形は、画素を示しており、Ｒ、Ｇ、Ｂと書かれている各画素は、それぞれ赤、緑、青の光に対して主に感度を有する画素を示している。上述の通り、２行×２列の画素のうち、対角に配置される一対のＧ画素は撮影用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換えられており、図４中の左右方向に瞳分割を行う焦点検出用画素対として、ＡＦ１とＡＦ２が配置されている。対のＡＦ画素は、図４中では、４対が描かれているが、焦点検出に用いる画素の数は、より多く構成されていてもよく、図４中で左右方向に連なっていてもよい。

図４では、被写体の光学像が撮像素子１２２の撮像面上に合焦状態で結像するよう焦点調節された状態を示している。合焦状態では、対のＡＦ画素に対して、ほぼ同一形状で、同一の位置に光学像は形成されるため、図４では、対のＡＦ画素に対して、共通の光学像のみを示している。

図４（Ａ）は、被写体の光学像として、図中、縦方向に比較的幅の広い範囲で輝度を持つ被写体の光学像が撮像素子１２２の撮像面上の一部に、形成されている場合を示している。この場合、４対のＡＦ画素のうち、２，３番目の対のＡＦ画素は、光学像の一部に含まれているため、図中の４画素の出力は、図５（Ａ）のようになる。図５（Ａ）の詳細は後述する。

図４（Ｂ）は、被写体の光学像として、図中、斜め方向に比較的幅の広い範囲で輝度を持つ被写体の光学像が撮像素子１２２上の一部に、形成されている場合を示している。この場合、４対のＡＦ画素のうち、３番目のＡＦ１のＡＦ画素，２番目のＡＦ２のＡＦ画素のみ、光学像の一部に含まれているため、図中の４画素の出力は、図５（Ｂ）のようになる。図５（Ｂ）の詳細は後述する。

図４（Ｃ）は、被写体の光学像として、図中、縦方向に比較的幅の狭い範囲で輝度を持つ被写体の光学像が撮像素子１２２の撮像面上の一部に形成されている場合を示している。この場合、４対のＡＦ画素のうち、３番目のＡＦ１のＡＦ画素，２番目のＡＦ２のＡＦ画素のみ、光学像の一部に含まれているため、図中の４画素の出力は、図５（Ｂ）のようになる。図５（Ｂ）の詳細は後述する。

図５は、図４で示した撮像素子１２２上に形成された光学像により、撮像素子１２２から得られる出力信号としての画素信号を示している。横軸に画素の位置を示す画素番号を表し、縦軸に光量を示す出力信号としての画素信号を表している。図５中、四角い印で表しているのが、ＡＦ１のＡＦ画素の出力で、丸印で表しているのが、ＡＦ２のＡＦ画素の出力である。

図５（Ａ）は、図４（Ａ）のように光学像が形成された場合の出力で、合焦状態のため、ＡＦ１，ＡＦ２の出力は、ほぼ同じである。

図５（Ｂ）は、図４（Ｂ）、（Ｃ）のように光学像が形成された場合の出力で、合焦状態にもかかわらず、ＡＦ１の画素とＡＦ２の画素の出力が異なる。この場合、形成された出力によると、１画素分、像がずれた状態を示しているため、撮像面位相差焦点検出部１２９は、デフォーカス状態と判断し、誤った焦点検出、焦点調節を行ってしまう。しかし、ＡＦ画素のみの信号を用いていては、こういった焦点検出誤差を検出することはできない。

Ｓ１０６では、ＡＦ画素の周囲の撮影用画素から、上述したような焦点検出誤差を鑑みて、撮像面位相差ＡＦの結果の信頼性を算出する。例えば、図４（Ｂ），（Ｃ）のような被写体の状況では、ＡＦ画素近傍の撮影用画素の信号のコントラストの高い部分の方向や位置を認識することにより、図５（Ｂ）のような焦点検出誤差の有無を検出することができる。図５（Ｂ）では、１画素分の像ずれ量に対応するピントずれが焦点検出誤差として得られる。

また、図４（Ｃ）のような被写体に対しては、公知のフーリエ変換などにより空間周波数成分に変換し、ＡＦ画素の検出できる空間周波数成分より高周波な成分が含まれるか否かで、焦点検出誤差を設定してもよい。このような方法で、焦点検出誤差を設定する場合には、被写体の空間周波数に対応した焦点検出誤差を事前に記憶しておくことにより、焦点検出誤差を見積もることができる。

図４のような、一対の焦点検出用画素の焦点検出方向（瞳分割方向）の中心同士の間隔の１／２以上の空間周波数の被写体は原理的に検出できない。第１の一対のＡＦ画素の中心と第２の一対のＡＦ画素の中心の間隔の１／２以上の高周波の空間周波数の被写体は原理的に検出できない。一般的に、タダの白と黒のエッジには、低周波から高周波まで多様な空間周波数情報の空間周波数成分を含むので、上述の焦点検出誤差が発生する。

図４に示した被写体の状況以外でも、被写体近傍の強い光源による迷光が、対のＡＦ画素に不均等に到達するような状況も考えられる。そのような場合にも、対のＡＦ画素の出力が一致せず焦点検出誤差が発生するが、撮影用画素の信号から強い光源の位置が特定できるため、光源の位置に応じた焦点検出への影響を、事前に撮像面位相差焦点検出部１２９が、記憶していることにより、焦点検出誤差を見積もることができる。例えば、強い光源の位置に対応した焦点検出誤差量の対応表を、ＥＥＰＲＯＭ１２５ｃに記憶しておく。

Ｓ１０６では、撮像面位相差ＡＦ結果の信頼性を、発生しうる焦点検出誤差として算出する。上述の撮像面位相差ＡＦ結果の信頼性を算出する処理は、カメラＭＰＵ１２５で行われる。Ｓ１０６では、下記の式１を用いて、焦点検出誤差を算出する。

被写体コントラスト方向誤差は、上述の通り、撮影用画素の信号のコントラストの高い部分の方向と関連付けられた焦点検出誤差量の情報をＥＥＰＲＯＭ１２５ｃに記憶しておき、被写体毎に、算出される。また、被写体空間周波数誤差も同様に、撮影用画素の信号から検出された高周波成分の信号量と関連付けられた焦点検出誤差量の情報をＥＥＰＲＯＭ１２５ｃに記憶しておき、被写体毎に、算出される。さらに、迷光による誤差も、同様に、ＥＥＰＲＯＭ１２５ｃに記憶された強い光源の位置と光量に対応した焦点検出誤差量を用いて、被写体毎に算出される。

Ｓ１０７では、Ｓ１０４で算出されたデフォーカス量とＳ１０６で算出された焦点検出誤差から、フォーカスレンズ１０４のレンズ駆動量を算出する。図３（ｂ）は、Ｓ１０４でデフォーカス量を検出した時のフォーカスレンズ１０４の駆動制御の詳細を示す図である。図３（ｂ）中の第１の合焦位置であるＴ２は、Ｓ１０４で算出されたデフォーカス量に基づく撮像面位相差ＡＦが検出した合焦時のレンズ位置を示している。

Ｓ１０７では、Ｔ２の位置に対して、Ｓ１０６で算出された焦点検出誤差を鑑みて、レンズ駆動量Ｔ４の手前のレンズ位置Ｔ３に到達するよう駆動する。Ｓ１０４で算出されたデフォーカス量に対して、Ｓ１０６で算出された焦点検出誤差が大きい場合には、算出されたデフォーカス量は、信頼性が乏しいとして、Ｓ１０７で算出するレンズ駆動量を０とし、撮像面位相差ＡＦの結果に基づくレンズ駆動を行わないようにする。

このように、撮像面位相差ＡＦの焦点検出精度に合わせてレンズ駆動量を設定するため、被写体の状況に合わせた高速な焦点検出が可能となる。このような撮像面位相差ＡＦを用いるか否かの判断は、カメラＭＰＵ１２５が行う。

Ｓ１０８では、レンズ駆動量が０ではない有限値を持っているかどうかを判断する。レンズ駆動量として有限値を持っていた場合（Ｓ１０８でＹｅｓ）、撮像面位相差ＡＦの結果に基づくレンズ制御（第１のレンズ制御）によるレンズ駆動を行う。（Ｓ１０９）レンズ駆動量が０であった場合（Ｓ１０８でＮｏ）、Ｓ１０９をスキップする。

Ｓ１０９でレンズ駆動を終えると、次に、Ｓ１０２と同様に、撮像素子１２２への露光を行う（Ｓ１１０）。これにより、撮像面位相差ＡＦやＴＶＡＦに用いる出力信号を得るだけでなく、ＴＶＡＦ用の焦点検出領域や撮像面位相差ＡＦ用の焦点検出領域を含む近傍の被写体の情報を得ることができる。

次に、直前の露光時の被写体情報からＴＶＡＦの信頼性を判断する（Ｓ１１１）。

Ｓ１１１で判断するＴＶＡＦの信頼性は、焦点検出処理をＴＶＡＦを用いて終えるか、撮像面位相差ＡＦを用いて終えるかを判断する。この処理は、被写体情報抽出手段としてのカメラＭＰＵ１２５で行われる。上述の通り、コントラスト方式の焦点検出処理は、フォーカスレンズ１０４を移動してコントラスト評価値がピークとなるフォーカスレンズ位置を検出する。

そのため、この方式に依存した課題がいくつか存在する。例えば、高輝度な点光源が被写体として、コントラスト評価を行うＴＶＡＦ用の焦点検出領域内に存在した場合、露光条件によっては、点光源の出力信号は飽和してしまうことが発生する。そのような際には、点光源が少しボケた状態の方が、出力信号は飽和した状態のまま、コントラスト評価を行うＴＶＡＦ用の焦点検出領域内の被写体の面積が大きくなり、コントラストが大きいエッジが多く検出される。その結果、少しぼけた状態の方がコントラスト評価値が大きくなり、誤った焦点調節を行ってしまう。

また、別の課題として、被写体が動いたり、撮影者の手振れなどにより、コントラスト評価を行うＴＶＡＦ用の焦点検出領域内の被写体が揺れ動くことにより、安定したコントラスト評価値が得られないことがあげられる。そのような場合、コントラスト評価値のピークが高精度に検出できないことは容易に想像できる。また、点滅するような被写体も同様である。

このため、Ｓ１１１では、事前の露光で得られる画像信号から高精度なコントラスト方式の焦点検出が行えるか否かを判断する。具体的には、点光源の有無については、特開２００７−３３７３５号公報で、開示されている技術を用いてコントラスト評価を行うＴＶＡＦ用の焦点検出領域内の飽和している信号の有無を判断できる。点光源が存在していると判明した場合にはＴＶＡＦの信頼性が低いと判断する。例えば、下記の式２を用いて、点光源に関するＴＶＡＦの信頼性を算出する。

上述の式において、高輝度部を含む行の評価値は、特開２００７−３３７３５におけるＴＥラインピーク積分評価値Ｈｉに相当する。また、焦点検出領域全域の評価値は、ＴＥラインピーク積分評価値に相当する。

このように、焦点検出領域における高輝度部の割合をＴＶＡＦの信頼性として算出することにより、高輝度部が大きい場合には、ＴＶＡＦの信頼性は、大きい値を取る。点光源のＴＶＡＦの信頼性が、所定の閾値以上の値を取る場合には、Ｓ１１１で撮像面位相差ＡＦを用いるという判断を行う。

また、コントラスト評価を行うＴＶＡＦ用の焦点検出領域内の被写体の変化を検出するためには、事前に取得した基準画像に対して、コントラスト評価を行うＴＶＡＦ用の焦点検出領域内の画像をパターンマッチング（正規化相関）処理し、基準画像内における被写体の像の位置または範囲を検出する。所定の閾値に対して、位置の変化や範囲の変化（被写体の大きさの変化）が大きい場合には、ＴＶＡＦの信頼性が低いと判断する。

また、パターンマッチング処理後、所定の条件を満たす場合には、基準画像の更新を行う。更新される基準画像は、新たに露光して得られた画像信号でもよいし、前回のパターンマッチング処理に用いた画像でもよい。所定の条件を満たす場合とは、例えば、被写体領域の大きさが変わった場合や、被写体の向きが変化することなどによって類似度が低下した場合である。

また、より簡易的に焦点検出領域内の被写体の変化を検出するために、レンズユニット１００もしくはカメラ本体１２０に、撮影者が撮影時に発生させる手振れ量を検出し、焦点検出領域内の被写体の変化としてもよい。

ＴＶＡＦ用の焦点検出領域内の被写体の変化によるＴＶＡＦの信頼性は、下記の式３を用いて算出される。

コントラストＡＦでは、被写体の輪郭などのコントラストのある境界の高域の空間周波数成分を評価する。そのため、上述の被写体の位置変化や大きさ変化による被写体輪郭の位置変化が、ＴＶＡＦの信頼性に影響を与える。被写体輪郭の位置変化を撮像素子上の変化量として算出し、その変化量が、撮像素子上の被写体検出範囲より大きい場合には、全く異なる被写体に対して焦点検出を行うことになってしまう。

コントラストＡＦは、被写体の異なるボケ状態を評価することで、合焦位置を判別するため、焦点検出動作中は、同じ被写体の評価を行う必要がある。そこで、式３のように、被写体変化のＴＶＡＦ信頼性を算出することにより、ＴＶＡＦ信頼性が所定の閾値よりも大きい場合には、Ｓ１１１で撮像面位相差ＡＦを用いるという判断を行う。

本発明では、コントラスト評価を行うＴＶＡＦ用の焦点検出領域近傍を含む画像信号を用いて、点光源などの被写体や不安定なコントラスト評価値が見込まれる被写体を、ＴＶＡＦ制御で焦点調節することを避けることができる。これにより、高精度な焦点調節を実現できる。

Ｓ１１１でＴＶＡＦの信頼性が低いと判断された場合（Ｓ１１１でＮｏ）、撮像面位相差ＡＦ制御のサブルーチンに移行する（Ｓ１１４）。Ｓ１１４で焦点調節を終えると焦点検出処理が終了する。このようなＴＶＡＦの信頼性に関する判断は、カメラＭＰＵ１２５が行う。

Ｓ１１１でＴＶＡＦの信頼性が高いと判断された場合（Ｓ１１１でＹｅｓ）、ＴＶＡＦ制御を行う際のフォーカスレンズ１０４のレンズ駆動量のステップ幅を設定する（Ｓ１１２）。図６は、ＴＶＡＦ制御時のレンズ駆動量のステップ幅の設定について説明する図であり、横軸はフォーカスレンズ１０４の位置、縦軸はＴＶＡＦのコントラスト評価値である。

一般に、ＴＶＡＦのコントラスト評価値は、被写体の明暗差であるコントラストが高ければ高いほど大きくなる。また、被写体を照明する光源環境によって、被写体が高輝度であるほど、コントラストが高くＴＶＡＦ評価値も大きくなる。そのため、被写体のコントラスト情報、輝度情報により、フォーカスレンズの位置変化に応じたＴＶＡＦ評価値変化は異なる。

図６中、白い丸印で表しているのが、被写体が高コントラスト、高輝度であった場合の評価値の推移の例で、黒い丸印で表しているのが、被写体が低コントラスト、低輝度であった場合の評価値の推移の例である。

被写体が高コントラスト、高輝度であった場合（白い丸印）、フォーカスレンズの位置によるコントラスト評価値変化は、比較的大きいため、フォーカスレンズのレンズ駆動量のステップ幅は小さめに設定することにより、高精度に焦点検出を行うことができる。一方で、被写体が低コントラスト、低輝度であった場合（黒い丸印）、高コントラスト、高輝度時と同様なフォーカスレンズ駆動量のステップ幅としての駆動幅に設定すると、コントラスト評価値の変化が大きく表れない。

一般に、コントラスト評価値は、被写体の光学像のコントラスト変化に加え、出力信号のノイズや被写体状況の変化によるノイズを含んでいる。ＴＶＡＦ制御では、コントラスト評価値のピーク位置を探すようにフォーカスレンズの位置を駆動制御するため、フォーカスレンズの位置毎の光学的なコントラスト変化が小さい場合には、その他のノイズの影響を大きく受け、誤ったフォーカスレンズの駆動方向にコントラスト評価値のピークが存在すると検出してしまう恐れがある。

そのため、本実施例では、被写体の状況に応じて、レンズ駆動量のステップ幅としての駆動幅を変更する。例えば、図６では、被写体が高コントラスト、高輝度であった場合（白い丸印）、小ステップ量としてＲ１、被写体が低コントラスト、低輝度であった場合（黒い丸印）、大ステップ量としてＲ１の２倍のＲ２としてレンズ駆動を行っていることを示している。

本実施例では、被写体の状況の判断を、ＴＶＡＦ用の焦点検出領域であるコントラスト評価範囲近傍を含む画像信号を用いて行う。具体的には、ＴＶＡＦ用の焦点検出領域である内の画像信号で、隣接画素の出力差の和を被写体のコントラストとして計算し、所定の閾値に対する大小に応じて、フォーカスレンズの駆動量のステップ幅を設定してもよい。

また、より簡単に、ＴＶＡＦ用の焦点検出領域であるコントラスト評価範囲内の画像信号の出力最大値によって、フォーカスレンズ駆動量のステップ幅を設定してもよい。また、事前に複数の露光により、フォーカスレンズ１０４の位置の異なる複数の画像信号を得ている場合には、画像信号の隣接画素の出力差の２乗和の大小に応じて、フォーカスレンズの駆動量のステップ幅を設定してもよい。この処理は、カメラＭＰＵ１２５で行われる。

Ｓ１１２でフォーカスレンズの駆動量のステップ幅を設定した後、ＴＶＡＦ制御のサブルーチンに移行する（Ｓ１１３）。Ｓ１１３で焦点調節を終えると焦点検出処理が終了する。

図７、図８を用いて、ＴＶＡＦ制御による焦点調節処理サブルーチンについて説明する。図７は、ＴＶＡＦ制御による焦点調節処理サブルーチンのフローを示している。図８は、ＴＶＡＦ制御を説明する図であり、横軸はフォーカスレンズ１０４の位置、縦軸はＴＶＡＦの評価値である。図１のＳ１１２で設定したフォーカスレンズの駆動量のステップ幅を、１回のレンズ駆動のパルス数としてＴ８として表している。

カメラＭＰＵ１２５は、Ｓ１１２で設定した駆動間隔Ｔ８で開始位置Ｔ７から撮像面位相差ＡＦの合焦位置Ｔ２の方向にフォーカスレンズ１０４を駆動し、駆動間隔Ｔ８毎にＴＶＡＦの評価値を取得する（Ｓ３０１）。

次に、カメラＭＰＵ１２５は、ピークが検出されたかどうか、即ちＴＶＡＦの評価値が増加から減少に切り替わり、ピーク判断の閾値Ｔ９以上の減少がされたかどうかを判断する（Ｓ３０２）。ピークを検出するための最初のＴＶＡＦ評価値は、図１のＳ１１０の露光で得られるＴＶＡＦ評価値を用いてもよい。カメラＭＰＵ１２５は、ピークが検出されないと判断すると（Ｓ３０２のＮｏ）、フローはＳ３０１に帰還する。

一方、ピークが検出されたと判断すると（Ｓ３０２のＹｅｓ）、カメラＭＰＵ１２５は、現在の駆動間隔Ｔ８が狭いかどうか判断する（Ｓ３０３）。

カメラＭＰＵ１２５は、狭い駆動間隔Ｔ８でピークを検出していると判断すれば（Ｓ３０３のＹｅｓ）、ピーク位置へフォーカスレンズ１０４を駆動する（Ｓ３０４）。

一方、カメラＭＰＵ１２５は、広い駆動間隔Ｔ８でピークを検出していると判断すれば（Ｓ３０３のＮｏ）、カメラＭＰＵ１２５は、駆動間隔Ｔ８を狭く設定し（Ｓ３０５）ＴＶＡＦ合焦位置Ｔ１１に向けて山登り駆動を行って評価値を取得する（Ｓ３０６）。

次に、カメラＭＰＵ１２５は、ピークが検出されたかどうか、即ち、ＴＶＡＦの評価値が増加から減少に切り替わり、ピーク判断の閾値Ｔ９以上の減少がされたかどうかを判断する（Ｓ３０７）。カメラＭＰＵ１２５は、ピークが検出されていないと判断すると（Ｓ３０７のＮｏ）、フローはＳ３０６に帰還する。一方、カメラＭＰＵ１２５は、ピークが検出されたと判断すると（Ｓ３０７のＹｅｓ）、ピーク位置へフォーカスレンズ１０４を駆動する（Ｓ３０４）。

このように、カメラＭＰＵ１２５は、被写体像のコントラスト変化が大きくなることを見込めればＴＶＡＦにおけるフォーカスレンズ１０４のステップ幅を狭く設定して検出精度を確保し、コントラスト評価値変化が小さいと見込まれる場合は、ステップ幅を広く設定して応答性を向上し、ピーク検出後にステップ幅を狭く再設定する。このようなＴＶＡＦ制御に関する判断は、カメラＭＰＵ１２５が行う。

Ｓ３０４でフォーカスレンズ１０４の駆動を終えるとＴＶＡＦ制御による焦点調節処理を終了する。

ここで行うＴＶＡＦの結果に基づくフォーカスレンズの駆動は、第２のレンズ制御によるレンズ駆動と称することとする。第２のレンズ制御は、ＴＶＡＦの結果に基づくため、比較的小さな駆動量の繰り返しレンズ駆動で構成され、比較的、低速なレンズ駆動となる。

次に、撮像面位相差ＡＦ制御による焦点調節処理サブルーチンについて説明する。図９は、撮像面位相差ＡＦ制御による焦点調節処理サブルーチンのフローを示している。

図１のＳ１１０で行われた露光で得られた撮像面位相差ＡＦに用いる出力信号を用いて算出されたデフォーカス量に対応したレンズ駆動量を算出する。

このように、Ｓ１１０の露光時の出力信号は、撮像面位相差ＡＦやＴＶＡＦのいずれにも用いられる可能性がある。そのため、露光の度に、撮像面位相差焦点検出部によるデフォーカス量の算出とＴＶＡＦ検出部によるコントラスト評価値をともに算出する。

これにより、常に両方の焦点検出方式で焦点検出が行える。しかし、本発明の実施形態として、これに限る必要はなく、露光の度に、いずれか一方のみの焦点検出を行うようにしてもよい。その場合には、焦点検出に必要な演算量が減るという効果が得られる。

次に、算出されたレンズ駆動量に基づいて、第１のレンズ制御によるフォーカスレンズの駆動を行う（Ｓ４０２）。

その後、撮像素子１２２への露光を行い、少なくとも撮像面位相差ＡＦの出力信号を得て、算出されるデフォーカス量から、合焦しているか否かを判断する（Ｓ４０３）。

合焦している場合（Ｓ４０３でＹｅｓ）には、撮像面位相差ＡＦ制御による焦点調節処理を終える。合焦していない場合（Ｓ４０３でＮｏ）には、Ｓ４０１に帰還する。ここでは、レンズ駆動後、必ず合焦判定を行うために、デフォーカス量を再度算出するように説明したが、実施形態はこれに限らない。Ｓ４０１で算出されたレンズ駆動量が、所定値より小さい場合には、検出されたデフォーカス量やレンズ駆動の誤差が少ないと判断し、合焦判定を省くことができる。

以上のように、撮像面位相差ＡＦやＴＶＡＦに用いる信号以外の出力信号から、それぞれのＡＦの信頼性を鑑みて、各々のＡＦ制御の選択を行うことにより、焦点調節の精度と速度を両立した焦点調節を行うことができる。

１２２ 撮像素子
１００ 撮影光学系
１２９ 撮像面位相差焦点検出部（第１の焦点検出部）
１３０ ＴＶＡＦ焦点検出部（第２の焦点検出部）
１２５ カメラＭＰＵ

Claims (2)

1. 撮影光学系の異なる瞳領域を通過する複数の光束を検出し第１の画素信号を出力可能であるとともに、前記撮影光学系の瞳領域を通過する光束を検出し第２の画素信号を出力可能な撮像素子と、
   前記第１の画素信号に基づいてデフォーカス量を検出する第１の焦点検出部と、
   前記第２の画素信号に基づいてコントラスト評価値の検出を行う第２の焦点検出手段と、
   焦点検出処理の際に、前記撮像素子への露光に伴って前記第１の画素信号から前記第１の焦点検出手段によるデフォーカス量の検出を行うとともに当該検出されたデフォーカス量および前記第２の画素信号に基づいた駆動量でレンズを駆動させ、当該レンズ駆動後の再度の露光に伴って、前記第２の画素信号に基づいて前記第１の焦点検出手段に基づく焦点調節処理を行うか、１ステップの駆動量を決定して前記第２の焦点検出手段に基づく焦点検出処理を行うかを切換える制御手段を有することを特徴とする撮像装置。
2. 前記制御手段は、前記第１の画素信号を用いず前記第２の画素信号から抽出された被写体情報に基づいて算出された信頼性が低いと判断された場合、前記レンズの駆動量を０にする請求項１に記載の撮像装置。

Images