JP7532067B2 - 焦点検出装置、撮像装置および焦点検出方法 - Google Patents

Description

本発明は、位相差方式の焦点検出機能を有する焦点検出装置、撮像装置および焦点検出方法に関する。

撮像面位相差検出方式による自動焦点調節（撮像面位相差ＡＦ）では、撮影光学系における互いに異なる射出瞳領域を通過した光束を受光して得られた一対の像信号の位相差から算出されたデフォーカス量に相当する移動量だけフォーカスレンズを移動させる。撮像面位相差ＡＦで広範囲、かつ被写体抜けのない安定的な動作を実現するためには、より多くの焦点検出領域（ＡＦ枠）を広範囲、かつ高密度で設定する必要がある。また、その中から合焦状態を得るまでのフォーカスレンズの移動量の計算に使用するデフォーカス量を選択、又は算出する必要がある。特許文献１には、低コントラスト等の焦点検出に適さない被写体においても適切に焦点調節を行うために、複数のＡＦ枠のそれぞれで演算される信頼性の判定結果に基づいて、複数のＡＦ枠の中からＡＦ枠を選択する撮像装置が開示されている。

特開２０１４－１３７５６７号公報

表示装置等に表示される測距表示枠は画面上の測距可能な領域や合焦位置を視認可能とするために配置されるが、焦点検出領域は被写体抜けの低減や、低コントラスト被写体に対する測距性能の低下を防止するために設定される。そのため、隣接する測距表示枠において、それぞれの焦点検出領域はある程度の重なりを持つとともに、ある程度の大きさを持つ。測距性能を維持したまま、ＡＦ枠数を増加させると、焦点検出領域の重なりは増加する。このとき、小さな被写体を測距すると、枠内に被写体が含まれていないが、焦点検出領域に被写体が含まれる測距表示枠が合焦表示枠として点灯していしまう。

特許文献１の撮像装置では、焦点検出領域に同一の被写体を含む複数の測距枠において、被写体を中央で捉える測距枠と端で捉えている測距枠との信頼度は同様となる。そのため、被写体のコントラストをより焦点検出領域の中心で捉えている測距枠を選択することは困難である。

本発明は、適切な焦点検出動作を実現可能な焦点検出装置、撮像装置および焦点検出方法を提供することを目的とする。

本発明の一側面としての焦点検出装置は、それぞれが第１の焦点検出領域、および第１の焦点検出領域より大きい第２の焦点検出領域を含む複数のＡＦ枠ごとに、第１の焦点検出領域、および第２の焦点検出領域のそれぞれに対応する一対の像信号を用いてデフォーカス量を取得する取得手段と、第１および第２の焦点検出領域のそれぞれから取得される一対の像信号を用いて複数のＡＦ枠のそれぞれの優先順位を決定する決定手段と、優先順位を用いて複数のＡＦ枠から合焦すべきＡＦ枠を選択する選択手段と、を有し、決定手段は、第１の焦点検出領域から取得される一対の像信号に基づく値と第１の閾値との関係、及び第２の焦点検出領域から取得される一対の像信号に基づく値と第２の閾値との関係を用いて複数のＡＦ枠のそれぞれの優先順位を決定することを特徴とする。

また、本発明の他の側面としての焦点検出方法は、それぞれが第１の焦点検出領域、および第１の焦点検出領域より大きい第２の焦点検出領域を含む複数のＡＦ枠ごとに、第１の焦点検出領域、および第２の焦点検出領域のそれぞれに対応する一対の像信号を用いてデフォーカス量を取得する取得工程と、第１および第２の焦点検出領域のそれぞれから取得される一対の像信号を用いて複数のＡＦ枠のそれぞれの優先順位を決定する決定工程と、優先順位を用いて複数のＡＦ枠から合焦すべきＡＦ枠を選択する選択工程と、を有し、決定工程では、第１の焦点検出領域から取得される一対の像信号に基づく値と第１の閾値との関係、及び第２の焦点検出領域から取得される一対の像信号に基づく値と第２の閾値との関係を用いて複数のＡＦ枠のそれぞれの優先順位を決定することを特徴とする。

本発明によれば、適切な焦点検出動作を実現可能な焦点検出装置、撮像装置および焦点検出方法を提供することができる。

本発明の実施形態に係る撮像装置のブロック図である。 撮像面位相差ＡＦの画素構成を示す図である。 撮像装置の動作を示すフローチャートである。 ＡＦ動作を示すフローチャートである。 焦点検出処理を示すフローチャートである。 主枠を選択するための優先順位の設定処理を示すフローチャートである。 焦点検出処理で用いられる焦点検出領域を示す図である。 図７の焦点検出領域から得られる像信号を示す図である。 図８の像信号のシフト量と相関量との関係を示す図である。 図８の像信号のシフト量と相関変化量との関係を示す図である。 信頼度の評価方法を示すフローチャートである。 急峻性と像ずれ量の標準偏差との関係を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の実施形態に係るカメラシステムのブロック図である。デジタルカメラ本体（撮像装置）２００には、レンズ装置（交換レンズ、撮影光学系）１００が、電気接点ユニット１０６を有する不図示のマウント部を介して、着脱可能に（交換可能に）取り付けられている。

レンズ装置１００は、ズーム機構を含む撮影レンズ１０１、光量を制御する絞りおよびシャッター１０２、フォーカスレンズ１０３、フォーカスレンズ１０３を駆動するモータ１０４、およびレンズコントローラ１０５を有する。フォーカスレンズ１０３は、撮像素子上に焦点を合わせるための焦点調節手段である。

デジタルカメラ本体２００は、撮像素子２０１、Ａ／Ｄ変換部２０２、画像処理部２０３、ＡＦ信号処理部２０４、フォーマット変換部２０５、ＤＲＡＭ２０６、画像記録部２０７、タイミングジェネレータ２０８、およびシステム制御部２０９を有する。ＤＲＡＭ２０６は、例えばランダムアクセスメモリ等の高速な内蔵メモリであり、一時的な画像記憶手段としての高速バッファ、又は画像の圧縮伸張における作業用メモリ等に使用される。画像記録部２０７は、メモリーカード等の記録媒体とそのインターフェースからなる。

また、デジタルカメラ本体２００は、レンズ通信部２１０、ＡＥ処理部２１１、画像表示用メモリ（ＶＲＡＭ）２１２、画像表示部２１３、および操作部２１４を有する。画像表示部２１３は、画像表示の他、操作補助のための表示やカメラ状態の表示を行い、撮影時には撮影画面と測距領域を表示する。操作部２１４は、カメラを外部から操作するための部材であり、例えば撮影機能や画像再生時の設定等の各種設定を行うメニュースイッチ、および撮影モードと再生モードの動作モード切換えスイッチ等を含む。

また、デジタルカメラ本体２００は、撮影モードスイッチ２１５、メインスイッチ２１６、スイッチ２１７（ＳＷ１）、およびスイッチ２１８（ＳＷ２）を有する。撮影モードスイッチ２１５は、マクロモードやスポーツモード等の撮影モードを選択するためスイッチである。メインスイッチ２１６は、カメラ本体２００に電源を投入するためのスイッチである。

本実施例では、ＡＦ信号処理部２０４およびシステム制御部２０９により焦点検出装置が構成される。

撮像素子２０１は、ＣＣＤやＣＭＯＳセンサにより構成され、レンズ装置１００を介した被写体像を撮像する。具体的には、レンズ装置１００を通過した光束は、撮像素子２０１の撮像面（受光面）で結像され、フォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、システム制御部２０９の指令に従ってタイミングジェネレータ２０８から与えられる駆動パルスに基づいて電荷量に応じた電圧信号として撮像素子２０１から順次読み出される。

撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ，Ｂと一対のフォトダイオードＡ，Ｂに対して設けられた１つのマイクロレンズから構成されている。一対のフォトダイオードＡ，Ｂは１つのマイクロレンズを介して撮影レンズ１０１の射出瞳の異なる領域を受光するように構成され、一対のフォトダイオードＡ，Ｂ上には一対の光学像が形成される。一対のフォトダイオードＡ，Ｂは、後述するＡＦ用信号に用いられる一対の像信号（Ａ信号およびＢ信号）を出力する。また、一対のフォトダイオードＡ，Ｂの出力を加算することで、撮像用信号（Ａ＋Ｂ信号）を得ることができる。

複数の画素から出力された複数のＡ信号と複数のＢ信号をそれぞれ瞳分割方向と直交する方向で加算処理を施すことで、撮像面位相差検出方式によるＡＦ（以下、撮像面位相差ＡＦ）に用いられるＡＦ用信号（焦点検出用信号）としての一対の像信号が生成される。ＡＦ信号処理部２０４は、一対の像信号に対する相関演算を行うことで一対の像信号のずれ量である位相差（以下、像ずれ量）を取得し、さらに像ずれ量からレンズ装置１００のデフォーカス量（およびデフォーカス方向）を取得する。

図２（ａ）は、撮像面位相差ＡＦに対応していない画素構成を示している。図２（ｂ）は、撮像面位相差ＡＦに対応する画素構成を示している。いずれの図においても、ベイヤー配列が用いられており、Ｒは赤のカラーフィルタを、Ｂは青のカラーフィルタを、Ｇｒ，Ｇｂは緑のカラーフィルタを示している。

図２（ｂ）の画素構成では、図２（ａ）の画素構成における実線で囲んで示される１画素に相当する画素内に、図の水平方向において２分割された２つのフォトダイオードＡ，Ｂが設けられている。なお、図２（ｂ）の画素の分割方法は一例であり、図の垂直方向へ分割したり、水平および垂直方向へ２分割ずつ（計４分割）したりしてもよい。また、同じ撮像素子内に互いに異なる分割方法で分割された複数種類の画素が含まれていてもよい。

撮像素子２０１から読み出された撮像用信号、およびＡＦ用信号は、Ａ／Ｄ変換部２０２に入力される。Ａ／Ｄ変換部２０２は、撮像用信号、およびＡＦ用信号に対して、リセットノイズを除去するための相関二重サンプリング、ゲインの調節、および信号のデジタル化を行う。Ａ／Ｄ変換部２０２は、撮像用信号を画像処理部２０３に出力し、ＡＦ用信号をＡＦ信号処理部２０４に出力する。ＡＦ信号処理部２０４は、ＡＦ用信号である一対の像信号を基に、相関演算を行い、デフォーカス量や、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、およびキズ情報等）を算出する。算出したデフォーカス量、および信頼性情報は、システム制御部２０９に出力される。なお、本実施例では、信頼性情報として、コントラスト情報を使用するが、相関演算により取得される相関波形の特徴量を使用してもよい。

図３は、撮像装置の動作を示すフローチャートである。

ステップＳ３０１では、ＡＥ処理部２１１は、画像処理部２０３の出力からＡＥ処理を行う。具体的には、ＡＥ処理部２１１は、画像処理部２０３の出力から算出される測光値を元に、予め記憶されているプログラム線図を元に露出条件を演算する。

ステップＳ３０２では、システム制御部２０９は、ＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ２１７（ＳＷ１）がＯＮされているかどうかを判断する。スイッチ２１７がＯＮされている場合、ステップＳ３０３に進み、そうでない場合、ステップＳ３０１に戻る。

ステップＳ３０３では、ＡＦ動作が実行される。

ステップＳ３０４では、システム制御部２０９は、スイッチ２１７がＯＮされているかどうかを判断する。スイッチ２１７がＯＮされている場合、ステップＳ３０５に進み、そうでない場合、ステップＳ３０１に戻る。

ステップＳ３０５では、システム制御部２０９は、撮影を行うためのスイッチ２１８（ＳＷ２）がＯＮされているかどうかを判断する。スイッチ２１８がＯＮされている場合、ステップＳ３０６に進み、そうでない場合、ステップＳ３０４に戻る。

ステップＳ３０６では、撮影動作が実行され、その後、ステップＳ３０１に戻る。

図４は、図３のステップＳ３０３のＡＦ動作を示すフローチャートである。

ステップＳ４０１では、ＡＥ処理部２１１は、画像処理部２０３の出力からＡＥ処理を行う。

ステップＳ４０２では、焦点検出処理が実行され、デフォーカス量と信頼性情報（焦点検出処理の信頼度）が取得される。

ステップＳ４０３では、システム制御部２０９は、ステップＳ４０２で取得された焦点検出処理の信頼度が予め設定されている信頼度閾値２より高いかどうかを判断する。信頼度が信頼度閾値２より高い場合、ステップＳ４０４に進み、そうでない場合、ステップＳ４１３に進む。信頼度閾値２は、信頼度が信頼度閾値２未満であればデフォーカス量の精度は保証できないが、被写体のピント位置方向は保証できる値である。

ステップＳ４０４では、システム制御部２０９は、ステップＳ４０２で取得されたデフォーカス量が予め設定されているＤｅｆ量閾値２以下であるかどうかを判断する。デフォーカス量がＤｅｆ量閾値２以下である場合、ステップＳ４０５に進み、そうでない場合、ステップＳ４１２に進む。Ｄｅｆ量閾値２は、所定回数（例えば３回）以内で焦点深度内にフォーカスレンズ１０３を制御することができる値（例えば焦点深度の５倍の量）である。

ステップＳ４０５では、システム制御部２０９は、フォーカスレンズ１０３が停止状態であるかどうかを判断する。フォーカスレンズ１０３が停止状態である場合、ステップＳ４０６に進み、そうでない場合、ステップＳ４１０に進む。

ステップＳ４０６では、システム制御部２０９は、ステップＳ４０２で取得された信頼度が予め設定されている信頼度閾値１より高いかどうかを判断する。信頼度が信頼度閾値１より高い場合、ステップＳ４０７に進み、そうでない場合、ステップＳ４１０に進む。信頼度閾値１は、信頼度が信頼度閾値１以上であれば、デフォーカス量の精度ばらつきが所定範囲内（例えば焦点深度内）となる値である。

ステップＳ４０７では、システム制御部２０９は、ステップＳ４０２で取得されたデフォーカス量が予め設定されているＤｅｆ量閾値１以下であるかどうかを判断する。デフォーカス量がＤｅｆ量閾値１以下である場合、ステップＳ４０８に進み、そうでない場合、ステップＳ４０９に進む。Ｄｅｆ量閾値１は、フォーカスレンズ１０３が合焦とみなせる範囲内で制御されているかどうかを判断するための合焦判定幅である。

ステップＳ４０８では、システム制御部２０９は、合焦状態であると判断して本フローを終了する。

ステップＳ４０９では、システム制御部２０９は、レンズ通信部２１０を介してレンズコントローラ１０５にフォーカスレンズ１０３をステップＳ４０２で取得されたデフォーカス量だけ駆動するよう指示する。すなわち、本実施例では、システム制御部２０９がフォーカスレンズ１０３の駆動を指示する制御手段として機能する。その後、ステップＳ４０２に戻る。

ステップＳ４０５～Ｓ４０９の一連の処理を行うことにより、ステップＳ４０２で取得された信頼度が信頼度閾値１より高い場合にフォーカスレンズ１０３を停止した状態で再度デフォーカス量を取得することができる。

ステップＳ４１０では、システム制御部２０９は、レンズ通信部２１０を介してレンズコントローラ１０５にフォーカスレンズ１０３をステップＳ４０２で取得されたデフォーカス量に対して所定割合を掛けた量だけ駆動するよう指示する。

ステップＳ４１１では、システム制御部２０９は、レンズ通信部２１０を介してレンズコントローラ１０５にフォーカスレンズ１０３の停止を指示する。その後、ステップＳ４０２に進む。

ステップＳ４１２では、システム制御部２０９は、レンズ通信部２１０を介してレンズコントローラ１０５にフォーカスレンズ１０３をステップＳ４０２で取得されたデフォーカス量に対して所定割合を掛けた量だけ駆動するよう指示する。その後、ステップＳ４０２に進む。

なお、ステップＳ４１０やステップＳ４１２における所定割合は、デフォーカス量に対してフォーカスレンズ１０３の駆動量が少なくなるように、例えば８割に設定される。また、フォーカスレンズ１０３の駆動速度は例えば、次フレームにて測距演算が完了するまでに目標位置に到達できる駆動速度より遅くなるように設定される。これにより、取得されたデフォーカス量が正しくない場合に被写体ピント位置を越えてしまうことを防ぐことができ、さらにフォーカスレンズ１０３を停止させることなく次のフォーカスレンズ１０３の駆動を行うことができる（オーバーラップ制御）。

ステップＳ４１３では、システム制御部２０９は、非合焦条件を満たしたかどうかを判断する。非合焦条件を満たした場合、ステップＳ４１４に進み、そうでない場合、ステップＳ４１５に進む。非合焦条件とは、合焦すべき被写体が存在しないと判断する条件である。

ステップＳ４１４では、システム制御部２０９は、非合焦状態であると判断して本フローを終了する。

ステップＳ４１５では、システム制御部２０９は、フォーカスレンズ１０３がいずれかのレンズ端に到達したかどうかを判断する。フォーカスレンズ１０３がいずれかのレンズ端に到達した場合、ステップＳ４１６に進み、そうでない場合、ステップＳ４１７に進む。

ステップＳ４１６では、システム制御部２０９は、レンズ通信部２１０を介してレンズコントローラ１０５にフォーカスレンズ１０３の駆動方向を反転させる。その後、ステップＳ４０２に進む。

ステップＳ４１７では、システム制御部２０９は、レンズ通信部２１０を介してレンズコントローラ１０５にフォーカスレンズ１０３を所定方向へ駆動させる。その後、ステップＳ４０２に進む。

なお、ステップＳ４１６やステップＳ４１７におけるフォーカスレンズ１０３の駆動速度は例えば、デフォーカス量が検出できるようになった時点でピント位置を通り過ぎることのない速度の範囲で最も速い速度に設定される。

図５は、図４のステップＳ４０２の焦点検出処理を示すフローチャートである。

ステップＳ５０１では、撮像素子２０１内の任意の範囲の焦点検出領域が設定される。

ステップＳ５０２では、ステップＳ５０１で設定された焦点検出領域に対して撮像素子２０１から焦点検出用の一対の像信号（Ａ像，Ｂ像）が取得される。

ステップＳ５０３では、ステップＳ５０２で取得された一対の像信号の垂直方向への行加算平均処理が行われる。この処理によって像信号のノイズの影響を軽減することができる。

ステップＳ５０４では、一対の像信号それぞれ、又は加算した信号からコントラスト情報が算出される。コントラスト情報は、像信号の最大値（Ｐｅａｋ）、最小値（Ｂｏｔｔｏｍ）、波高（Ｐｅａｋ－Ｂｏｔｔｏｍ）、又は波高／最大値等の像信号のコントラストの指標となる値である。

ステップＳ５０５では、ステップＳ５０３で垂直行加算平均した信号から所定の周波数帯域の信号成分を取り出すフィルタ処理が行われる。

ステップＳ５０６では、ステップＳ５０５でフィルタ処理した信号から相関量が算出される。

ステップＳ５０７では、ステップＳ５０６で算出された相関量から相関変化量が算出される。

ステップＳ５０８では、ステップＳ５０６より算出された相関変化量から像ずれ量が算出される。

ステップＳ５０９では、ステップＳ５０８で算出された像ずれ量がどれだけ信頼できるかを表す信頼度が算出される。

ステップＳ５１０では、像ずれ量がデフォーカス量に変換される。

ステップＳ５１１では、ステップＳ５０５で行われるフィルタ処理においてフィルタの種類分演算したかどうかが判断される。フィルタの種類分演算した場合、ステップＳ５１２に進み、そうでない場合、ステップＳ５０５に戻る。ステップＳ５０４のフィルタ処理では例えば、垂直行加算平均した信号に対して帯域の異なる複数の周波数帯域のバンドパスフィルタによる処理が水平方向に行われる。ステップＳ５１０では、ステップＳ５０４～Ｓ５０９の一連の処理を周波数帯域の種類分全てにおいて行われたかどうかが判断される。

ステップＳ５１２では、各ＡＦ枠に対応した領域で、複数種類の枠領域に対する同様の演算が完了したかどうかが判断される。演算が完了した場合、ステップＳ５１３に進み、そうでない場合、ステップＳ５０１に戻る。

ステップＳ５１３では、全面に対してより合焦すべき測距枠の位置を特定する主枠選択のための前段階として主枠を選択するための優先順位が設定される。本実施例では、システム制御部２０９が複数のＡＦ枠の優先順位を決定する決定手段として機能する。

図６は、主枠を選択するための優先順位の設定処理を示すフローチャートである。

ステップＳ１１０１では、被写体表示枠内判定Ｓ１１０１が実施される。被写体表示枠内判定とは各ＡＦ枠の焦点検出領域に対して、高コントラスト成分がいかに測距領域の中心付近に存在しているかを判定するための方法であり、各ＡＦ枠で大小の焦点検出領域に対する演算結果の相対関係から判定が行われる。

本実施例では一例として、コントラスト情報の相対関係による実施方法について説明する。測距表示枠に比較的大きさの近い小枠のコントラストが極端に低く、同様のＡＦ枠に対応した大枠ではコントラストが高い場合、そのコントラスト成分は、着目枠に対して焦点検出領域の端に位置している可能性が高い。このような測距枠の配置状態では、デフォーカス状態による被写体の出入り等により、デフォーカス検出結果の変動が大きく、仮に着目枠が主枠選択された際に、誤測距や非合焦となる可能性も高まる。また、着目枠の焦点検出領域の端でコントラストの高い被写体を補足している場合、隣接する測距枠ではより焦点検出領域の中央に近い領域でコントラストを補足可能となる可能性も高く、誤測距等の頻度低減を実施するためにも、適切な主枠選択が必要となる。上述した方法を実施する際のコトントラスト情報として、低コントラスト状態を評価するための以下の式（１）で表される評価値ＥｖａＶａｌｕｅを使用することができる。

ＥｖａＶａｌｕｅ＝（Ｐｅａｋ－Ｂｏｔｔｏｍ）／（Ｐｅａｋ） （１）
ここで、Ｐｅａｋは焦点検出用信号の最大値、Ｂｏｔｔｏｍは焦点検出用信号の最小値を表すものである。すなわち「Ｐｅａｋ－Ｂｏｔｔｏｍ」は、波高値を表す。なお、本実施例では、焦点検出用信号を使用しているが、同じ位置での撮像用信号を使用してもよい。

評価値ＥｖａＶａｌｕｅは、各ＡＦ枠で大小の焦点検出領域に対して取得される。被写体表示枠内判定は、大枠の評価値ＥｖａＶａｌｕｅ１と小枠の評価値ＥｖａＶａｌｕｅ２が以下の式（２），（３）で表される条件を満たす場合には測距表示枠内に高コントラスト被写体は入っていない「偽」と判定し、それ以外を「真」と判定する。

ＥｖａＶａｌｕｅ１≧ＣｎｔＴｈ１ （２）
ＥｖａＶａｌｕｅ２＜ＣｎｔＴｈ２ （３）
ここで、ＣｎｔＴｈ１は高コントラスト被写体と判定可能な閾値であり、本実施例では０．５程度とする。また、ＣｎｔＴｈ２は極低コントラスト被写体と判定可能な閾値であり、本実施例では０．１程度とする。

なお、本実施例では、被写体表示枠内判定を式（１）を用いて行うが、本発明はこれに限定されない。例えば、以下の式（４）で表されるコントラスト情報ＡＢＳＣＮＴ等の被写体のコントラスト配置が評価できる値を用いて判定を行ってもよい。

ＡＢＳＣＮＴ＝Σ（Ｓ_ｉ＋１－Ｓ_ｉ） （４）
ここで、Ｓは、焦点検出用信号である。

また、本実施例では被写体表示枠内判定をコントラスト情報を用いて行っているが、相関演算等の測距演算における大小枠の信頼性の相対関係から判定を行ってもよい。

ステップＳ１１０２～Ｓ１１１５では、被写体表示枠内判定、取得されたデフォーカスの信頼度、測距枠の位置から主枠選択の優先順位を優先順位１～７で決定する。全ての測距枠に対して優先順位の設定が完了した場合、図５のステップＳ５１４に進む。測距枠の配置等については図６より後述する。

ステップＳ５１４では、全てのＡＦ枠に対する同様の演算が完了したかどうかが判断される。演算が完了した場合、ステップＳ５１５に進み、そうでない場合、ステップＳ５０２に戻る。

ステップＳ５１５では、ステップＳ５０１～Ｓ５１３の一連の処理によって算出された複数のＡＦ枠の中から、より合焦すべき被写体位置である主枠となるＡＦ枠がステップＳ５１３での優先順位設定の結果を基に少なくとも一つ以上選択される。主枠選択ではステップＳ５１３で優先順位１～７で設定された結果に従って、各優先順位の測距枠内から最至近となる枠を主枠として設定する。この選択作業を優先順位１～７内で順に実施していくことで主枠を選択する。本ステップで主枠が選択されると、焦点検出処理を終了する。なお、本実施例では、システム制御部２０９が合焦すべき測距枠を選択する選択手段として機能する。

図７は、焦点検出処理で用いられる焦点検出領域を示す図である。図７（ａ）は、焦点検出処理において撮像素子２０１の画素アレイ６０１上で複数位置での測距を行う際の、測距表示枠６０２の例を示しており、背面液晶等のライブビュー画像に重畳させるための、測距表示枠のイメージである。本実施例では、システム制御部２０９が撮像素子２０１の撮像面上に複数のＡＦ枠を二次元状に設定するＡＦ枠設定手段として機能する。図７（ｂ）は、測距表示枠と焦点検出領域の関係を示している。

測距表示枠６０２は、図７（ａ）で複数配置しているＡＦ枠のうちの一点を表している。本実施例では、測距表示枠６０２に対応した、複数種類の焦点検出領域が設定される。ここで、設定される焦点検出領域には少なくとも、第１の焦点検出領域（小枠の焦点検出領域）と第１の焦点検出領域より大きい第２の焦点検出領域（大枠の焦点検出領域）が含まれていればよい。大枠の焦点検出領域６０４とシフト領域６０５を合わせた領域が大枠の相関演算に必要な画素領域である。図７（ｂ）のｐ，ｑ，ｓ，ｔはそれぞれ、水平方向（ｘ軸方向）での座標を表している。座標ｐ，ｑはそれぞれ画素領域の始点と終点のｘ座標、座標ｓ，ｔはそれぞれ焦点検出領域６０４の始点と終点のｘ座標を示している。また、小枠の焦点検出領域６０６とシフト領域６０７を合わせた領域が小枠の相関演算に必要な画素領域である。各ＡＦ枠に対して複数枠の演算を行う場合、小枠の焦点検出領域は測距表示枠の大きさにある程度合わせた領域であることが望ましい。本実施例では、各ＡＦ枠で大小複数の焦点検出領域の測距演算を行い、大小複数の焦点検出に対する信頼度の相対関係を基に、ＡＦ枠選択時に必要な各測距枠の選択優先度を設定する。また、本実施例では、システム制御部２０９が複数のＡＦ枠の各ＡＦ枠ごとに大きさの異なる複数の焦点検出領域を設定する焦点検出領域設定手段として機能する。

図８は、図７の焦点検出領域６０４に含まれる複数の画素から得られる一対の像信号を示す図である。実線７０１が一方の像信号Ａであり、破線７０２が他方の像信号Ｂである。図８（ａ）は、シフト前の像信号Ａ，Ｂを示している。図８（ｂ），（ｃ）はそれぞれ、像信号Ａ，Ｂを図８（ａ）の状態からプラス方向およびマイナス方向へシフトした状態を示している。像信号Ａ，Ｂの相関量を算出する際には、像信号Ａ，Ｂの両方を矢印の方向へ１ビットずつシフトする。

次に、相関量の算出方法について説明する。まず、図８（ｂ），（ｃ）に示されるように、像信号Ａ，Ｂをそれぞれ１ビットずつシフトして、像信号Ａ，Ｂの差の絶対値の和を算出する。シフト量をｉ、マイナス方向の最大シフト量をｐ－ｓ、プラス方向の最大シフト量をｑ－ｔ、ｘを焦点検出領域６０４の開始座標、ｙを焦点検出領域６０４の終了座標とするとき、相関量ＣＯＲは以下の式（５）によって算出される。

図９は、図８の像信号のシフト量と相関量との関係を示す図である。図９（ａ）は、シフト量と相関量ＣＯＲとの関係の一例を示している。横軸はシフト量、縦軸は相関量ＣＯＲを示している。シフト量とともに変化する相関量８０１における極値付近８０２，８０３のうち、より小さい相関量に対応するシフト量において一対の像信号Ａ，Ｂの一致度が最も高くなる。

次に、相関変化量の算出方法について説明する。図９（ａ）の相関量８０１の波形における１シフトおきの相関量の差を相関変化量として算出する。シフト量をｉ、マイナス方向の最大シフト量をｐ－ｓ、プラス方向の最大シフト量をｑ－ｔとするとき、相関変化量ΔＣＯＲは以下の式（６）によって算出される。

図１０は、図８の像信号のシフト量と相関変化量との関係を示す図である。図１０（ａ）は、シフト量と相関変化量ΔＣＯＲとの関係の一例を示している。横軸はシフト量、縦軸は相関変化量ΔＣＯＲを示している。シフト量とともに変化する相関変化量９０１は、９０２，９０３の部分でプラスからマイナスになる。相関変化量が０となる状態をゼロクロスと呼び、一対の像信号Ａ，Ｂの一致度が最も高くなる。したがって、ゼロクロスを与えるシフト量が像ずれ量となる。

図１０（ｂ）は、図１０（ａ）の９０２で示した部分を拡大した図である。９０４は相関変化量９０１の一部分である。図１０（ｂ）を用いて像ずれ量ＰＲＤの算出方法について説明する。

ゼロクロスを与えるシフト量（ｋ－１＋α）は、整数部分β（＝ｋ－１）と小数部分αとに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥとの相似の関係から、以下の式（７）によって算出される。

整数部分βは、以下の式（８）によって算出される。

β＝ｋ－１ （８）
小数部分αと整数部分βの和から像ずれ量ＰＲＤを算出することができる。図１０（ａ）に示されるように、相関変化量ΔＣＯＲのゼロクロスが複数存在する場合、その付近での相関変化量ΔＣＯＲの変化の急峻性がより大きい方を第１のゼロクロスとする。この急峻性はＡＦの行い易さを示す指標であり、値が大きいほど精度良いＡＦを行い易い点であることを示す。急峻性ｍａｘｄｅｒは、以下の式（９）によって算出される。

このように、相関変化量ΔＣＯＲののゼロクロスが複数存在する場合、その急峻性によって第１のゼロクロスを決定し、第１のゼロクロスを与えるシフト量を像ずれ量とする。

以下、図５のステップＳ５０９で算出された信頼度の評価方法について説明する。図１１は、信頼度の評価方法を示すフローチャートである。本実施例では、信頼度を４段階で評価する。

ステップＳ１００１では、信頼性の精度を高めるため、急峻性ｍａｘｄｅｒを撮影条件（センサーゲインや、読み出し行加算数等）や被写体条件（コントラスト等）で正規化する。

ステップＳ１００２では、ステップＳ５１０で取得されたデフォーカス量がデフォーカス量閾値よりも大きいかどうかが判断される。デフォーカス量がデフォーカス量閾値よりも大きい場合、ステップＳ１００３に進み、そうでない場合、ステップＳ１００４に進む。

ステップＳ１００３では、信頼度は０に設定される。信頼度が０に設定されると、デフォーカス量の信頼性は低いと評価されて、本フローは終了する。

ステップＳ１００４では、ステップＳ１００１で正規化された急峻性ｍａｘｄｅｒ（正規化ｍａｘｄｅｒ）がｍａｘｄｅｒ閾値以下であるかどうかが判断される。正規化された急峻性ｍａｘｄｅｒがｍａｘｄｅｒ閾値以下である場合、ステップＳ１００３に進み、そうでない場合、ステップＳ１００５に進む。

なお、本実施例では、デフォーカス量閾値とｍａｘｄｅｒ閾値をフィルタごとに設定している。デフォーカス量閾値は、各フィルタのデフォーカス量検出能力（総シフト量的に測距可能な限界距離）に応じて設定される。また、低輝度時の測距やコントラストが低い被写体に対する測距等で誤った信頼度が出力されやすい場面では正規化ｍａｘｄｅｒが小さくなるため、ｍａｘｄｅｒ閾値を設定することで誤った信頼度が出力されることを防止している。

ステップＳ１００５では、正規化ｍａｘｄｅｒに基づいて像ずれ量の標準偏差が推定される。図１２に示されるように正規化ｍａｘｄｅｒと像ずれ量の標準偏差との間には負の相関があるため、正規化ｍａｘｄｅｒから像ずれ量の標準偏差を推定することが可能である。

ステップＳ１００６では、像ずれ量の標準偏差に所定の換算係数を乗算することでデフォーカス量の標準偏差が算出される。換算係数は、二像のずれ量からデフォーカス量を算出する際に使用した換算係数と同様で、絞りの絞り値、撮影レンズの射出瞳距離、撮像素子の個体情報、および焦点検出領域を設定する座標によって決定される。また、デフォーカス量の標準偏差に対しても絞り値Ｆと許容錯乱円δを除算して正規化しておく。仮に、急峻性ｍａｘｄｅｒを基に信頼度（デフォーカス量の標準偏差）を評価する場合、換算係数の個数分の閾値を設定する必要がある。本実施例では大量の閾値データを記憶しておかなくても、より所望の閾値を設定することができる。また、絞り値Ｆによって正規化しているため、絞りの状態に関係なく閾値を設定することが可能である。以上のように算出したデフォーカス量の標準偏差に応じてデフォーカス量の信頼度を評価する。本実施例では、デフォーカス量の標準偏差の３つの閾値（ＴＨＲＥＳＨＯＬＤ１，ＴＨＲＥＳＨＯＬＤ２，ＴＨＲＥＳＨＯＬＤ３）を設定しておく。ＴＨＲＥＳＨＯＬＤ１，ＴＨＲＥＳＨＯＬＤ２，ＴＨＲＥＳＨＯＬＤ３の順に大きい。

ステップＳ１００７では、デフォーカス量の標準偏差が閾値ＴＨＲＥＳＨＯＬＤ１より大きいかどうかが判断される。デフォーカス量の標準偏差が閾値ＴＨＲＥＳＨＯＬＤ１より大きい場合、ステップＳ１００３に進み、そうでない場合、ステップＳ１００８に進む。

ステップＳ１００８では、デフォーカス量の標準偏差が閾値ＴＨＲＥＳＨＯＬＤ２より大きいかどうかが判断される。デフォーカス量の標準偏差が閾値ＴＨＲＥＳＨＯＬＤ２より大きい場合、ステップＳ１００９に進み、そうでない場合、ステップＳ１０１０に進む。

ステップＳ１００９では、信頼度は１に設定される。

ステップＳ１０１０では、デフォーカス量の標準偏差が閾値ＴＨＲＥＳＨＯＬＤ３より大きいかどうかが判断される。デフォーカス量の標準偏差が閾値ＴＨＲＥＳＨＯＬＤ３より大きい場合、ステップＳ１０１１に進み、そうでない場合、ステップＳ１０１２に進む。

ステップＳ１０１１では、信頼度は２に設定される。

ステップＳ１０１２では、信頼度は３に設定される。

以上説明したように、ＡＦ動作、焦点検出処理、および焦点検出処理の内部処理としてデフォーカス量の信頼度の評価について説明した上で、複数ＡＦ枠に多対する主枠の選択方法について説明した。

本実施例では、複数測距枠に対して、被写体表示枠内判定の結果から主枠を選択する方法について説明したが、本方法はカメラの動作や被写体の状態に応じて実施してもよい。

一例として、被写体の動作状態によって、被写体が静止被写体であるか、動被写体であるかに応じて被写体表示枠内判定の結果を有効／無効を切り替えることでより適切な状況で実施が可能となる。深度内表示枠の正確な表示に関しては、静止被写体に対するピント確認でより有効な方法であるのに対して、動被写体に対しては正確な深度内の表示より、被写体抜けによる測距結果の連続性、および表示枠に対しても連続性を重視した表示であることが望ましい。

また、ユーザーによる測距枠配置数の設定結果や、被写体の自動検出結果に応じて被写体表示枠内判定の結果を有効／無効を切り替えることでより適切な状況で実施が可能となる。測距枠の配置はＡＦ方式として、任意の位置に単数、又は少数枠を配置する方式と、比較的広範囲な領域で複数ＡＦ枠で測距を可能とする方式をユーザーがカメラメニューから設定可能となっている。任意の位置に単数、又は少数枠を配置する方式では、画面上でピントを合わせる位置をユーザーが積極的に指定している方式であるため、必ずしも被写体表示枠内判定の結果から主枠選択した位置が一致しない可能性がある。そのため、同ＡＦ方式においては被写体表示枠内判定の結果を無効とし、その他のＡＦ方式で有効とすることで、より適切な制御を可能とする。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ レンズ装置（撮影光学系）
１０３ フォーカスレンズ（焦点調節手段）
２００ デジタルカメラ本体（撮像装置）
２０４ ＡＦ信号処理部（取得手段）
２０９ システム制御部（決定手段、選択手段）

Claims (13)

1. それぞれが第１の焦点検出領域、および前記第１の焦点検出領域より大きい第２の焦点検出領域を含む複数のＡＦ枠ごとに、前記第１の焦点検出領域、および前記第２の焦点検出領域のそれぞれに対応する一対の像信号を用いてデフォーカス量を取得する取得手段と、
   前記第１および第２の焦点検出領域のそれぞれから取得される前記一対の像信号を用いて前記複数のＡＦ枠のそれぞれの優先順位を決定する決定手段と、
   前記優先順位を用いて前記複数のＡＦ枠から合焦すべきＡＦ枠を選択する選択手段と、を有し、
   前記決定手段は、前記第１の焦点検出領域から取得される前記一対の像信号に基づく値と第１の閾値との関係、及び前記第２の焦点検出領域から取得される前記一対の像信号に基づく値と第２の閾値との関係を用いて前記複数のＡＦ枠のそれぞれの優先順位を決定することを特徴とする焦点検出装置。
2. 前記第１の閾値は、前記第２の閾値よりも小さく、
   前記決定手段は、前記複数のＡＦ枠に含まれるＡＦ枠において、前記第１の焦点検出領域から取得される前記一対の像信号に基づく値が前記第１の閾値よりも小さく、かつ前記第２の焦点検出領域から取得される前記一対の像信号に基づく値が前記第２の閾値よりも大きい場合、前記ＡＦ枠の優先順位を下げることを特徴とする請求項１に記載の焦点検出装置。
3. 前記一対の像信号は、撮像素子により生成された信号に基づいて取得されることを特徴とする請求項１又は２に記載の焦点検出装置。
4. 前記撮像素子は、フォーカスレンズを含む撮影光学系を介した被写体像を撮像することを特徴とする請求項３に記載の焦点検出装置。
5. 前記選択手段により選択されたＡＦ枠に対応するデフォーカス量に基づいて、前記フォーカスレンズの移動を制御する制御手段を更に有することを特徴とする請求項４に記載の焦点検出装置。
6. 前記デフォーカス量の信頼度は、各焦点検出領域から取得される一対の像信号に基づくコントラスト情報であることを特徴とする請求項１乃至５の何れか一項に記載の焦点検出装置。
7. 前記コントラスト情報は、各焦点検出領域から取得される前記一対の像信号の最大値を含むことを特徴とする請求項６に記載の焦点検出装置。
8. 前記コントラスト情報は、各焦点検出領域から取得される前記一対の像信号の波高値と最大値との比を含むことを特徴とする請求項６又は７に記載の焦点検出装置。
9. 前記取得手段は、前記一対の像信号に基づく一対の焦点検出用信号の位相差を演算するための相関演算を行い、
   前記デフォーカス量の信頼度は、前記相関演算により取得される相関波形の特徴量であることを特徴とする請求項１乃至５の何れか一項に記載の焦点検出装置。
10. 前記複数のＡＦ枠を二次元状に設定するＡＦ枠設定手段を更に有することを特徴とする請求項１乃至９の何れか一項に記載の焦点検出装置。
11. 前記第１および第２の焦点検出領域を設定する焦点検出領域設定手段を更に有することを特徴とする請求項１乃至１０の何れか一項に記載の焦点検出装置。
12. フォーカスレンズを含む撮影光学系を介した被写体像を撮像する撮像素子と、
    請求項１乃至１１の何れか一項に記載の焦点検出装置とを有することを特徴とする撮像装置。
13. それぞれが第１の焦点検出領域、および前記第１の焦点検出領域より大きい第２の焦点検出領域を含む複数のＡＦ枠ごとに、前記第１の焦点検出領域、および前記第２の焦点検出領域のそれぞれに対応する一対の像信号を用いてデフォーカス量を取得する取得工程と、
    前前記第１および第２の焦点検出領域のそれぞれから取得される前記一対の像信号を用いて前記複数のＡＦ枠のそれぞれの優先順位を決定する決定工程と、
    前記優先順位を用いて前記複数のＡＦ枠から合焦すべきＡＦ枠を選択する選択工程と、を有し、
    前記決定工程では、前記第１の焦点検出領域から取得される前記一対の像信号に基づく値と第１の閾値との関係、及び前記第２の焦点検出領域から取得される前記一対の像信号に基づく値と第２の閾値との関係を用いて前記複数のＡＦ枠のそれぞれの優先順位を決定することを特徴とする焦点検出方法。