JP6682319B2 - 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体 - Google Patents

Description

本発明は、焦点検出装置に関し、特に被写体検出領域の焦点状態を検出する焦点検出装置に関する。

近年、撮像素子にあるマイクロレンズで瞳分割し、複数の焦点検出画素で光軸を受光することで、撮像を行うと同時に焦点検出を行う撮像素子を用いた位相差ＡＦ方式（撮像面位相差ＡＦ）が提案されている。撮像面位相差ＡＦを行うメリットのひとつとして、同一の撮像素子から得られた信号をもとに被写体検出と焦点調節を行うことができるため、高速かつ高精度な焦点調節を行うことができるという点がある。

特許文献１においては、１つの画素の中にある１つのマイクロレンズで集光されるフォトダイオードを分割することによって、各々のフォトダイオードは撮像レンズの異なる瞳面の光を受光するように構成されている。これによって、２つのフォトダイオードの出力を比較することで撮像面位相差ＡＦが可能となる。

特許文献２においては、撮像素子の一部の受光用画素において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させて瞳分割機能を付与する技術が開示されている。これらの画素を焦点検出用画素とし、撮影用画素群の間に所定の間隔で配置することで、撮像面位相差ＡＦを行う。ここで、焦点検出用画素が配置された箇所は撮影用画素の欠損部に相当するため、周辺の撮影用画素情報から補間して画像情報を生成している。同方式では撮像面で位相差検出を行うことができるため、電子ファインダ観察時や動画撮影時でも、高速かつ高精度な焦点調節を行うことができる。

また、これら撮像面位相差ＡＦでＡＦ時間が短縮されたことにより、ライブビュー撮影時の連続撮影でも従来のコントラストＡＦ方式に比べて秒間撮影枚数を向上させることが可能となる。

特開２００１−０８３４０７号公報 特開２００９−００３１２２号公報

しかしながら、ＡＦ時間の短縮により秒間撮影枚数が向上する一方で、新たに発生する課題がある。秒間撮影枚数を優先した高速連写モードの場合、ＡＦを行うためのライブビュー撮影と静止画撮影を交互に行うことで最速シーケンスを実現することが考えられる。ところがこのシーケンスでは、ピント精度等を優先した低速連写モードの場合などに比べて、撮像面位相差ＡＦに必要なライブビュー撮影の間隔が離散的なものとなり、過去のフレームとの相対的な時間差が大きくなってしまう。このことは、顔検出などの被写体検出情報を使用してＡＦを行う場合に特に致命的である。

そこで、本発明の目的は、被写体検出領域における焦点検出に有利な焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体を提供することにある。

本発明の一側面としての焦点検出装置は、撮像素子から出力される画素信号を取得する取得手段と、前記画素信号に基づいて被写体を検出する被写体検出手段と、被写体検出領域の焦点状態を検出する焦点検出手段と、前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出手段による被写体検出処理と、前記現在取得された画素信号よりも過去に取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出手段による焦点検出処理とを並行して行う第１の制御と、前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出手段による被写体検出処理と、前記現在取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出手段による焦点検出処理を順番に行う第２の制御と、を撮影条件に応じて切り替える制御手段と、を有し、前記撮影条件は、連写モードであり、前記制御手段は、前記連写モードが第１の連写モードである場合に前記第１の制御を行い、前記第１の連写モードよりも撮影間隔が短い第２の連写モードである場合に前記第２の制御を行うことを特徴とする。

本発明によれば、被写体検出領域における焦点検出に有利な焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体を提供することができる。

本発明の実施形態における撮像装置のブロック図である。 従来の焦点調節制御におけるタイミングチャート図である。 本発明の実施形態の撮像面位相差ＡＦにおける画素配列図である。 第１の実施形態における低速連写モードのフローチャート図である。 第１の実施形態における高速連写モードのフローチャート図である。 第１の実施形態における焦点検出処理のフローチャート図である。 本発明の実施形態の焦点検出処理における測距領域の説明図である。 本発明の実施形態の焦点検出処理における像信号の説明図である。 本発明の実施形態の焦点検出処理におけるシフト量と相関量の関係の説明図である。 本発明の実施形態の焦点検出処理におけるシフト量と相関変化量の関係の説明図である。 第１の実施形態の焦点調節制御におけるタイミングチャート図である。 第２の実施形態におけるコンティニュアスＡＦのフローチャート図である。 第２の実施形態の焦点調節制御におけるタイミングチャート図である。 第３の実施形態におけるコンティニュアスＡＦのフローチャート図である。 第３の実施形態の焦点調節制御におけるタイミングチャート図である。

以下、本発明の実施の形態を図面に基づいて説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置の一例としてのレンズ交換式カメラシステムの機能構成例を示すブロック図である。

本実施形態の撮像装置は交換可能なレンズユニット１０及びカメラ本体２０から構成されている。レンズ全体の動作を統括制御するレンズ制御部１０６と、レンズユニット１０を含めたカメラシステム全体の動作を統括するカメラ制御部２１２とは、レンズマウントに設けられた端子を通じて相互に通信可能である。

まず、レンズユニット１０の構成について説明する。固定レンズ１０１、絞り１０２、フォーカスレンズ１０３は撮像光学系を構成する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３はフォーカスレンズ駆動部１０５によって駆動され、フォーカスレンズ１０３の位置に応じて撮像光学系の合焦距離が変化する。絞り駆動部１０４、フォーカスレンズ駆動部１０５はレンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３の位置を決定する。

レンズ操作部１０７は、ＡＦ（オートフォーカス）／ＭＦ（マニュアルフォーカス）モードの切り替え、ＭＦによるフォーカスレンズの位置調整、手ブレ補正モードの設定など、ユーザがレンズユニット１０の動作に関する設定を行うための入力デバイス群である。レンズ操作部１０７が操作された場合、レンズ制御部１０６が操作に応じた制御を行う。

レンズ制御部１０６は、後述するカメラ制御部２１２から受信した制御命令や制御情報に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５を制御し、また、レンズ制御情報をカメラ制御部２１２に送信する。

次に、カメラ本体２０の構成について説明する。カメラ本体２０はレンズユニット１０の撮像光学系を通過した光束から撮像信号を取得できるように構成されている。

撮像素子２０１はＣＣＤやＣＭＯＳセンサにより構成される。レンズユニット１０の撮像光学系から入射した光束は撮像素子２０１の受光面上に結像し、撮像素子２０１に配列された画素に設けられたフォトダイオードにより、入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１２の指令に従ってタイミングジェネレータ２１４が出力する駆動パルスより、信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

本実施形態で用いられる撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ、Ｂとこれら一対のフォトダイオードＡ、Ｂに対して設けられた１つのマイクロレンズとにより構成されている。各画素は、入射する光をマイクロレンズで分割して一対のフォトダイオードＡ、Ｂ上に一対の光学像を形成し、該一対のフォトダイオードＡ、Ｂから後述するＡＦ用信号として用いられる一対の画素信号（Ａ信号およびＢ信号）を出力する。このように、本実施例の撮像素子２０１は、１つのマイクロレンズに対して第１の光電変換部および第２の光電変換部を備えており、第１の光電変換部および第２の光電変換部から被写体の光学像を形成する撮像光学系の焦点状態に応じた一対の像信号を出力する。また、一対のフォトダイオードＡ、Ｂの出力を加算することで、撮像用信号として用いられる画素信号（Ａ＋Ｂ信号）を得ることができる。

複数の画素から出力された複数のＡ信号と複数のＢ信号をそれぞれ合成することで、撮像面位相差検出方式によるＡＦ（以下、撮像面位相差ＡＦという）に用いられるＡＦ用信号（言い換えれば、焦点検出用信号）としての一対の像信号が得られる。後述するＡＦ信号処理部２０４は、該一対の像信号に対する相関演算を行って、これら一対の像信号のずれ量である位相差（以下、像ずれ量という）を算出し、さらに該像ずれ量から撮像光学系のデフォーカス量（およびデフォーカス方向）を算出する。

図３（ａ）には撮像面位相差ＡＦに対応していない画素構成を、図３（ｂ）は撮像面位相差ＡＦに対応した画素構成を示している。いずれの図においても、ベイヤー配列が用いられており、Ｒは赤のカラーフィルタを、Ｂは青のカラーフィルタを、Ｇｒ、Ｇｂは緑のカラーフィルタを示している。撮像面位相差ＡＦに対応する図３（ｂ）に示す画素構成では、図３（ａ）に示した撮像面位相ＡＦに非対応の画素構成における１画素（実線で囲んで示す）に相当する画素内に、図の水平方向に２分割された２つのフォトダイオードＡ、Ｂが設けられている。なお、図３（ｂ）に示した画素の分割方法は例に過ぎず、図の垂直方向に分割したり、水平および垂直方向に２分割ずつ（計４分割）したりしてもよい。また、同じ撮像素子内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。

ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から出力される画素信号（ＡＦ用信号および撮像用信号）に対して、リセットノイズを除去するための相関二重サンプリング、ゲイン調節およびＡＤ変換を行う。該コンバータ２０２は、これらの処理を行った撮像用信号およびＡＦ用信号をそれぞれ、画像入力コントローラ２０３およびＡＦ信号処理部２０４に出力する。

画像入力コントローラ２０３は、コンバータ２０２から出力された撮像用信号をバス２１を介してＳＤＲＡＭ２０９に画像信号として格納する。ＳＤＲＡＭ２０９に格納された画像信号は、バス２１を介して表示制御部２０５によって読み出され、表示部２０６に表示される。また、画像信号の記録を行う録画モードでは、ＳＤＲＡＭ２０９に格納された画像信号は記録媒体制御部２０７によって半導体メモリ等の記録媒体２０８に記録される。

ＲＯＭ２１０には、カメラ制御部２１２が実行する制御プログラムや処理プログラムおよびこれらの実行に必要な各種データ等が格納されている。フラッシュＲＯＭ２１１には、ユーザにより設定されたカメラ２０の動作に関する各種設定情報等が格納されている。

カメラ制御部２１２内の取得部２１２３（取得手段）は、カメラ制御部２１２で実行される処理に必要な各種情報を取得する。例えば、画像コントローラ２０３から出力される撮像用信号や、ＲＯＭ２１０から出力される各種プログラムや、レンズ制御部１０６から出力されるレンズ情報や、後述するＡＦ信号処理部２０４から出力される像ずれ量などの情報を取得する。

カメラ制御部２１２内の被写体検出部２１２１は、画像入力コントローラ２０３から入力された撮像用信号を基に特定の被写体を検出して、撮像用信号内（画像内）での特定の被写体の位置（領域）を決定する。また、画像入力コントローラ２０３から連続的に撮像信号を入力し、検出した特定の被写体が移動した場合には移動先の位置を判断し、特定の被写体の位置を追従する。特定の被写体とは、例えば顔被写体や、カメラ操作部２１３でユーザによって撮像画面内で指定された位置に存在する被写体などが一例である。後述するように、検出した特定の被写体の位置や大きさに関する情報は、主にＡＦを行う領域の設定の為に用いる。このように、被写体検出部２１２１は、撮像素子２０１から出力される撮像用信号に基づいて特定の被写体（主被写体）を検出する被写体検出手段として機能する。

焦点検出装置としてのＡＦ信号処理部２０４は、コンバータ２０２から出力されたＡＦ用信号である一対の像信号に対して相関演算を行い、これら一対の像信号の像ずれ量や信頼性を算出する。信頼性は、後述する二像一致度と相関変化量の急峻度を用いて算出される。また、ＡＦ信号処理部２０４は、撮像画面内で焦点検出およびＡＦを行う領域である測距領域の位置および大きさの設定を行う。ＡＦ信号処理部２０４は、測距領域（被写体検出領域）で算出した像ずれ量（検出量）および信頼性の情報をカメラ制御部２１２に出力する。このように、ＡＦ信号処理部２０４は、測距領域（被写体検出領域）の焦点状態を検出する焦点検出手段として機能する。なお、ＡＦ信号処理部２０４が行う処理の詳細については後述する。

また、カメラ制御部２１２は、被写体検出部２１２１によって行われる被写体検出処理とＡＦ信号処理部２０４によって行われる焦点検出処理とを制御する制御手段として機能する。なお、後述するように、カメラ制御部２１２は、被写体検出処理と焦点検出処理とを並行して行う第１の制御と、被写体検出処理の完了後に焦点検出処理を行う第２の制御と、を切り替える制御を行う。

カメラ制御部２１２内のＡＦ制御部２１２２は、ＡＦ信号処理部２０４が求めた像ずれ量、信頼性およびレンズユニット１０とカメラ本体２０の状態を示す情報に基づいて、必要に応じてＡＦ信号処理部２０４の設定を変更する。例えば、ＡＦ信号処理部２０４に対して像ずれ量が所定量以上である場合には相関演算を行う領域を広く設定したり、一対の像信号のコントラストに応じてバンドパスフィルタの種類を変更したりする。また、ＡＦ信号処理部２０４での測距領域の設定の為に、被写体検出部２１２１で検出した特定の被写体や、カメラ操作部２１３でユーザによって撮像画面内で指定された位置を渡すことで、この情報をもとに測距領域の位置／範囲を設定する。

なお、本実施形態では撮像用信号およびＡＦ用信号である一対の像信号の計３つの信号を撮像素子２０１から取得する。ただし、撮像素子２０１の負荷を考慮して、例えば撮像用信号と１つのＡＦ用像信号の計２つの信号を取り出し、取り出した撮像用信号とＡＦ用像信号の差分をもう１つのＡＦ用像信号として用いてもよい。

カメラ制御部２１２は、カメラ本体２０内の各部と情報をやり取りしながらこれらを制御する。また、カメラ制御部２１２は、ユーザ操作に基づくカメラ操作部２１３からの入力に応じて、電源のＯＮ／ＯＦＦ、各種設定の変更、撮像処理、ＡＦ処理、記録画像の再生処理等、ユーザ操作に対応する様々な処理を実行する。さらに、カメラ制御部２１２は、レンズユニット１０（レンズ制御部１０６）に対する制御命令やカメラ本体２０の情報をレンズ制御部１０６に送信したり、レンズユニット１０の情報をレンズ制御部１０６から取得したりする。カメラ制御部２１２は、マイクロコンピュータにより構成され、ＲＯＭ２１０に記憶されたコンピュータプログラムを実行することで、交換レンズ１０を含むカメラシステム全体の制御を司る。

カメラ制御部２１２は、ＡＦ信号処理部２０４にて算出された測距領域での像ずれ量を用いてデフォーカス量を算出し、該デフォーカス量に基づいてレンズ制御部１０６を通じてフォーカスレンズ１０３の駆動を制御する。

以下、カメラ本体２０で行われる処理について説明する。カメラ制御部２１２は、コンピュータプログラムである撮像処理プログラムに従って以下の処理を行う。

図４はピント精度優先の低速連写モードにおけるカメラ本体２０の撮影処理の手順を示すフローチャートである。Ｓはステップを意味する。

初めに、カメラ制御部２１２は、カメラ設定やカメラ操作部２１３からの入力に応じて低速連写中のＡＦ動作を実行するかを判断する（Ｓ４０１）。

ＡＦ動作を実行すると判断すると、カメラ制御部２１２は、撮像面位相差ＡＦ用に用いるＡＦ用信号およびライブビュー表示用に用いる撮像信号を取得するため、撮像素子２０１への露光を行い、ライブビュー撮影を実行する（Ｓ４０２）。

次に、カメラ制御部２１２は、現在のカメラ設定が被写体検出モードであるかを判断する（Ｓ４０３）。ここでの被写体検出モードとは、たとえば顔検出のようにカメラが自動的に被写体の検出または追尾を行い、ＡＦ対象を決定するモードを意味する。

被写体検出モードであると判断すると、カメラ制御部２１２内のＡＦ制御部２１２２は、同カメラ制御部２１２内の被写体検出部２１２１から最新の検出結果を取得し、現在被写体が検出されているかを判断する（Ｓ４０４）。一般的に、被写体検出処理にはある程度の時間を要するため、Ｓ４０２で撮影されたライブビュー画像に対してＡＦ制御部２１２２が処理を実行する際、同画像に対する被写体検出部２１２１の処理完了を待ってしまうとＡＦ制御の開始が著しく遅延してしまう。また、ＡＦ制御周期が被写体検出処理周期に依存してしまうため、被写体検出処理に要する時間が１フレームの時間より長い場合はＡＦ制御も間引かれてしまい、結果的に合焦までの時間が必要以上にかかってしまうこととなる。そのため、低速連写モードのようにライブビュー撮影が連続的に実行されるシーケンスでは、ＡＦ制御が所定周期で安定的に動作できるように被写体検出処理とは独立に実行されることが望ましい。

現在被写体が検出されていると判断すると、ＡＦ制御部２１２２は、同被写体に対応する位置に測距領域が設定されるようＡＦ信号処理部２０４に位置情報を通知する（Ｓ４０５）。

一方、被写体検出モードでない、あるいは、現在被写体が検出されていないと判断すると、ＡＦ制御部２１２２は、あらかじめ決められた位置に測距領域が設定されるようＡＦ信号処理部２０４に位置情報を通知する（Ｓ４０６）。なお、ここで設定する位置は、たとえば画面中央位置や、前回の測距位置等、任意の位置で構わない。

次に、カメラ制御部２１２は、ＡＦ信号処理部２０４に焦点検出処理を行わせる（Ｓ４０７）。焦点検出処理は、撮像面位相差ＡＦを行うためのデフォーカス量と信頼性の情報を取得する処理であり、また、情報を取得する撮像画面内の領域についても、カメラ本体２０の状態に応じて設定する。ここでの詳細については後述する。

続いて、ＡＦ制御部２１２２は、Ｓ４０７の焦点検出処理で算出された測距信頼性が所定信頼性より高いかを判断する（Ｓ４０８）。ここにいう信頼性は、前述した二像一致度や像ずれ量の急峻性により求められるものであり、算出されたデフォーカス量が信頼できない信頼性範囲の最高値を所定信頼性と設定するのが望ましい。なお、信頼性は、二像一致度と像ずれ量の急峻性の両方を用いて求めてもよいし、一方のみを用いて求めてもよい。また、二像の信号レベル等の他の指標を用いても構わない。

測距信頼性が所定信頼性より高いと判断すると、ＡＦ制御部２１２２は、Ｓ４０７の焦点検出処理で算出された検出デフォーカス量が焦点深度以内であるかを判断する（Ｓ４０９）。

検出デフォーカス量が焦点深度内であると判断すると、ＡＦ制御部２１２２は、被写体に合焦させることができたと判断してフォーカスレンズ１０３を停止し（Ｓ４１０）、ＡＦ制御を完了する。

一方、検出デフォーカス量が焦点深度内でないと判断すると、ＡＦ制御部２１２２は、同検出デフォーカス量に基づいてフォーカスレンズ１０３の駆動量を算出するとともに、フォーカス駆動部１０５を介してフォーカスレンズ１０３を駆動する（Ｓ４１１）。そして、フローはＳ４０２へ帰還する。

他方、測距信頼性が所定信頼性より低いと判断すると、ＡＦ制御部２１２２は、信頼性が高いデフォーカス量が得られるよう、フォーカスレンズ駆動量を算出するとともに、フォーカス駆動部１０５を介してフォーカスレンズ１０３を駆動する（Ｓ４１２）。そして、フローはＳ４０２へ帰還する。

ＡＦ制御が完了すると、カメラ制御部２１２は、記録媒体制御部２０７に静止画撮影を指示する（Ｓ４１３）。

最後に、カメラ制御部２１２は、カメラ操作部２１３からの入力に応じて低速連写中のＡＦ動作を終了するかを判断し（Ｓ４１４）、ＡＦ動作を終了しないと判断すると、フローはＳ４０２へ帰還する。

このように、低速連写モードでは、Ｓ４０８およびＳ４０９で測距信頼性が所定信頼性より高い、かつ、検出デフォーカス量が焦点深度内であることを確認してからＳ４１２で静止画撮影を行うため、ピント精度の保証が可能となる。

対して、図５は秒間撮影枚数優先の高速連写モードにおけるカメラ本体２０の撮影処理の手順を示すフローチャートである。

初めに、カメラ制御部２１２は、カメラ設定やカメラ操作部２１３からの入力に応じて高速連写中のＡＦ動作を実行するかを判断する（Ｓ５０１）。

ＡＦ動作を実行すると判断すると、カメラ制御部２１２は、撮像面位相差ＡＦ用に用いるＡＦ用信号およびライブビュー表示用に用いる撮像信号を取得するため、撮像素子２０１への露光を行い、ライブビュー撮影を実行する（Ｓ５０２）。

次に、カメラ制御部２１２は、現在のカメラ設定が被写体検出モードであるかを判断する（Ｓ５０３）。ここでの被写体検出モードとは、たとえば顔検出のようにカメラが自動的に被写体の検出または追尾を行い、ＡＦ対象を決定するモードを意味する。

被写体検出モードであると判断すると、カメラ制御部２１２内のＡＦ制御部２１２２は、処理を実行しようとするＳ５０２で撮影されたライブビュー画像に対して、同カメラ制御部２１２内の被写体検出部２１２１の処理が完了しているかを判断する（Ｓ５０４）。一般的に、被写体検出処理にはある程度の時間を要するため、Ｓ５０２で撮影されたライブビュー画像に対してＡＦ制御部２１２２が処理を実行しようとする際、多くの場合はその時点で同画像に対する被写体検出部２１２１の処理は完了していない。そのため、このときに最新の被写体検出結果を取得してしまうと、前回のライブビュー撮影に対する被写体検出結果を使用してしまうことになり、被写体が移動している場合に適切に測距領域を設定できなくなるリスクが高くなってしまう。

被写体検出部２１２１の処理が完了していると判断すると、ＡＦ制御部２１２２は、被写体検出部２１２１から最新の検出結果を取得し、現在被写体が検出されているかを判断する（Ｓ５０５）。Ｓ５０４で被写体検出部２１２１の処理が完了するのを待つことにより、ここでは被写体検出処理に使用されたライブビュー画像とＡＦ制御に使用するライブビュー画像が同一であることを保証できる。

現在被写体が検出されていると判断すると、ＡＦ制御部２１２２は、同被写体に対応する位置に測距領域が設定されるようＡＦ信号処理部２０４に位置情報を通知する（Ｓ５０６）。

一方、被写体検出モードでない、あるいは、現在被写体が検出されていないと判断すると、ＡＦ制御部２１２２は、あらかじめ決められた位置に測距領域が設定されるようＡＦ信号処理部２０４に位置情報を通知する（Ｓ５０７）。なお、ここで設定する位置は、たとえば画面中央位置や、前回の測距位置等、任意の位置で構わない。

次に、カメラ制御部２１２は、ＡＦ信号処理部２０４に焦点検出処理を行わせる（Ｓ５０８）。焦点検出処理は、撮像面位相差ＡＦを行うためのデフォーカス量と信頼性の情報を取得する処理であり、また、情報を取得する撮像画面内の領域についても、カメラ本体２０の状態に応じて設定する。ここでの詳細については後述する。

続いて、ＡＦ制御部２１２２は、Ｓ５０８の焦点検出処理で算出された測距信頼性が所定信頼性より高いかを判断する（Ｓ５０９）。ここにいう信頼性は、前述した二像一致度や像ずれ量の急峻性により求められるものであり、算出されたデフォーカス量が信頼できない信頼性範囲の最高値を所定信頼性と設定するのが望ましい。なお、信頼性は、二像一致度と像ずれ量の急峻性の両方を用いて求めてもよいし、一方のみを用いて求めてもよい。また、二像の信号レベル等の他の指標を用いても構わない。

測距信頼性が所定信頼性より高いと判断すると、ＡＦ制御部２１２２は、Ｓ５０８の焦点検出処理で算出された検出デフォーカス量が焦点深度以内であるかを判断する（Ｓ５１０）。

検出デフォーカス量が焦点深度内であると判断すると、ＡＦ制御部２１２２は、被写体に合焦させることができたと判断してフォーカスレンズ１０３を停止し（Ｓ５１１）、ＡＦ制御を完了する。

一方、検出デフォーカス量が焦点深度内でないと判断すると、ＡＦ制御部２１２２は、同検出デフォーカス量に基づいてフォーカスレンズ１０３の駆動量を算出するとともに、フォーカス駆動部１０５を介してフォーカスレンズ１０３を駆動する（Ｓ５１２）。そして、ＡＦ制御を完了する。

他方、測距信頼性が所定信頼性より低いと判断すると、ＡＦ制御部２１２２は、フォーカス駆動部１０５を介してフォーカスレンズ１０３を停止し（Ｓ５１３）、ＡＦ制御を完了する。

ＡＦ制御が完了すると、カメラ制御部２１２は、記録媒体制御部２０７に静止画撮影を指示する（Ｓ５１４）。

最後に、カメラ制御部２１２は、カメラ操作部２１３からの入力に応じて高速連写中のＡＦ動作を終了するかを判断し（Ｓ５１５）、ＡＦ動作を終了しないと判断すると、フローはＳ５０３へ帰還する。

このように、高速連写モードでは、必要に応じてＳ５１２でフォーカスレンズの駆動を行うものの、Ｓ５０９およびＳ５１０の測距信頼性および検出デフォーカス量に関わらずＳ５１３で静止画撮影を行うため、秒間撮影枚数の向上が期待できる。

続いて、Ｓ４０７またはＳ５０８においてＡＦ信号処理部２０４で実行される焦点検出処理の詳細について説明する。図６は同処理の流れを図示したフローチャートである。

初めに、ＡＦ信号処理部２０４は、撮像素子２０１における測距領域に含まれる複数の画素からＡＦ用信号としての一対の像信号を取得する（Ｓ６０１）。図７は、撮像素子２０１の画素アレイ７０１上での測距領域７０２の例を示している。測距領域７０２の両側のシフト領域７０３は、相関演算に必要な領域である。このため、測距領域７０２とシフト領域７０３とを合わせた領域７０４が相関演算に必要な画素領域である。図中のｐ、ｑ、ｓ、ｔはそれぞれ、水平方向（ｘ軸方向）での座標を表し、ｐとｑはそれぞれ画素領域７０４の始点と終点のｘ座標を、ｓとｔはそれぞれ測距領域７０２の始点と終点のｘ座標を示している。また、図８は、図７に示した測距領域７０２に含まれる複数の画素から取得したＡＦ用の一対の像信号の例を示している。実線８０１が一方の像信号Ａであり、破線８０２が他方の像信号Ｂである。図８（ａ）はシフト前の像信号Ａ、Ｂを示し、図８（ｂ）、（ｃ）はそれぞれ、像信号Ａ、Ｂを図８（ａ）の状態からプラス方向およびマイナス方向にシフトした状態を示している。

次に、ＡＦ信号処理部２０４は、取得した一対の像信号を１画素（１ビット）ずつ相対的にシフトさせながらこれら一対の像信号の相関量を算出する（Ｓ６０２）。測距領域内に設けた複数の画素ライン（以下、走査ラインという）のそれぞれにおいて、図８（ｂ）、（ｃ）のように像信号Ａ８０１、Ｂ８０２の両方を矢印の方向に１ビットずつシフトしていくことで一対の像信号Ａ８０１、Ｂ８０２の相関量を算出する。そして、それぞれの相関量を加算平均することで１つの相関量として算出する。ここでは、相関量算出にあたって一対の像信号を１画素ずつ相対的にシフトさせる構成としたが、たとえば２画素ずつ相対的にシフトさせる等、より多くの画素単位でシフトさせる構成でも構わない。また、各走査ラインの相関量を加算平均することで１つの相関量を算出したが、たとえば各走査ラインの一対の像信号に対して加算平均を行い、その後、加算平均した一対の像信号に対して相関量の算出を行う構成でも構わない。シフト量をｉとし、最小シフト量をｐ−ｓとし、最大シフト量をｑ−ｔとし、ｘを測距領域７０２の開始座標とし、ｙを測距領域７０２の終了座標とするとき、相関量ＣＯＲは以下の式（１）によって算出することができる。

図９（ａ）に、シフト量と相関量ＣＯＲとの関係の例を示す。横軸はシフト量、縦軸は相関量ＣＯＲである。シフト量とともに変化する相関量９０１における極値付近９０２、９０３のうち、より小さい相関量に対応するシフト量において一対の像信号Ａ、Ｂの一致度が最も高くなる。

続いて、ＡＦ信号処理部２０４は、Ｓ６０２で算出した相関量から相関変化量を算出する（Ｓ６０３）。図９（ａ）に示した相関量９０１の波形における１シフトおきの相関量の差を相関変化量として算出し、シフト量をｉ、最小シフト量をｐ−ｓ、最大シフト量をｑ−ｔとすると、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。

次に、ＡＦ信号処理部２０４は、Ｓ６０３で算出した相関変化量を用いて像ずれ量を算出する（Ｓ６０４）。図１０（ａ）は、シフト量と相関変化量ΔＣＯＲとの関係の例を示しており、横軸はシフト量、縦軸は相関変化量ΔＣＯＲを表している。シフト量とともに変化する相関変化量１００１は、１００２、１００３の部分でプラスからマイナスになる。相関変化量が０となる状態をゼロクロスと呼び、一対の像信号Ａ、Ｂの一致度が最も高くなる。したがって、ゼロクロスを与えるシフト量が像ずれ量となる。図１０（ｂ）に図１０（ａ）中の１００２で示した部分を拡大して示す。１００４は相関変化量１００１の一部分である。ゼロクロスを与えるシフト量（ｋ−１＋α）は、整数部分β（＝ｋ−１）と小数部分αとに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥとの相似の関係から、以下の式（３）によって算出することができる。

また整数部分βは、図１０（ｂ）から以下の式（４）によって算出することができる。

すなわち、αとβの和から像ずれ量ＰＲＤを算出することができる。図１０（ａ）に示したように相関変化量ΔＣＯＲのゼロクロスが複数存在する場合は、その付近での相関変化量ΔＣＯＲの変化の急峻性がより大きい方を第１のゼロクロスとする。この急峻性はＡＦの行い易さを示す指標であり、値が大きいほど精度良いＡＦを行い易い点であることを示す。急峻性ｍａｘｄｅｒは、以下の式（５）によって算出することができる。

本実施形態では、相関変化量のゼロクロスが複数存在する場合は、その急峻性によって第１のゼロクロスを決定し、この第１のゼロクロスを与えるシフト量を像ずれ量とする。

続いて、ＡＦ信号処理部２０４は、Ｓ６０４で算出された像ずれ量の信頼性の高さを表す信頼性を算出する（Ｓ６０５）。像ずれ量の信頼性は、一対の像信号Ａ、Ｂの一致度（以下、二像一致度という）ｆｎｃｌｖｌと上述した相関変化量の急峻性によって定義することができる。二像一致度は、像ずれ量の精度を表す指標であり、ここではその値が小さいほど精度が良いことを意味する。図９（ｂ）は、図９（ａ）中の９０２で示した部分を拡大したもので、９０４が相関量９０１の一部分である。二像一致度ｆｎｃｌｖｌは、以下の式（６）によって算出することができる。

最後に、ＡＦ信号処理部２０４は、Ｓ６０４で算出された測距領域の像ずれ量を用いて該測距領域のデフォーカス量を算出する（Ｓ６０６）。

図１１は、本実施形態における顔検出モード時の連続撮影シーケンスを図示したものであり、ａ）はピント精度優先の低速連写中の場合、ｂ）は秒間撮影枚数優先の高速連写中の場合を示している。このように、それぞれの目的に合わせて測距演算のタイミングを切り替えることで、最適な測距対象位置が設定可能となる。

図２は、従来の撮像面位相差ＡＦにおける顔検出モード時の連続撮影シーケンスを図示したものであり、ａ）はピント精度優先の低速連写中の場合、ｂ）は秒間撮影枚数優先の高速連写中の場合を示している。いずれの場合もライブビュー撮影の読出しが完了した時点で最新の被写体検出結果に基づいて測距領域を設定している。このように、従来では、連続的にライブビュー撮影が実行されるａ）に対して、離散的にライブビュー撮影が実行されるｂ）は、被写体検出結果が得られたフレームの読出し完了時刻からの遅延時間が結果的に大きくなってしまっていた。すなわち、被写体が移動している場合に適切に測距領域を設定できなくなるリスクが高くなっていた。

これに対し、本実施例では、図１１に示すように、ピント精度優先の低速連写中の場合、ライブビュー撮影の読出しが完了した時点で被写体検出処理と焦点検出処理（測距演算）を同じタイミングで開始する第１の制御を行う。この第１の制御における焦点検出処理は、現在取得された画像（第１の画像）よりも過去に取得された画像（第２の画像）に基づいて検出された被写体検出領域の焦点状態を検出する。一方、秒間撮影枚数優先の高速連写中の場合、ライブビュー撮影の読み出しが完了した時点で被写体検出処理を開始し、該被写体検出処理が完了した後のタイミングで測距演算を開始する第２の制御を行う。この第２の制御における焦点検出処理は、現在取得された画像（第１の画像）に基づいて検出された被写体検出領域の焦点状態を検出する。

このように、カメラ制御部２１２は、ライブビュー撮影の読み出しが完了してから、被写体検出処理と焦点検出処理を並行して行う第１の制御と、被写体検出処理の完了後に焦点検出処理を行う第２の制御と、を撮影モード（撮影条件）に応じて切り替える。ここで、本発明における撮影条件とは、撮影を行う際における撮像装置の条件（状態）や被写体の条件（状態）などさまざまな条件を指し、本実施例では撮像装置に設定される撮影モード（連写モード）である。本実施例では、カメラ制御部２１２は、撮像装置に設定される連写モードが低速連写モード（第１の連写モード）である場合と、高速連写モード（第１の連写モードよりも撮影間隔が短い第２の連写モード）である場合とで、第１の制御と第２の制御とを切り替える。より具体的に、複数のライブビュー撮影と、静止画撮影と、を交互に行う低速連写モードである場合に第１の制御を行い、一つのライブビュー撮影と、静止画撮影と、を交互に行う高速連写モードである場合に第２の制御を行う。このように、撮影モード（撮影条件）に応じて制御を切り替えることで、離散的にライブビュー撮影が実行される秒間撮影枚数優先の高速連写中の場合でも、被写体検出結果が得られたフレームの読出し完了時刻からの遅延時間を短縮することができる。すなわち、被写体が移動している場合に適切に測距領域を設定できなくなるリスクを低減することができる。

以上説明したように、本発明によれば、ピント精度優先の低速連写モードや秒間撮影枚数優先の高速連写モード等の目的に応じてＡＦ制御のシーケンスを変更する。そうすることにより、常に適切な測距領域を設定して、安定的に高速で高精度な焦点調節動作を提供することが可能となる。なお、ここでは本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

［第２の実施の形態］
以下、本発明の第２の実施の形態について説明する。第１の実施形態ではピント精度優先の低速連写モードと秒間撮影枚数優先の高速連写モードといった撮影モードに応じてＡＦ制御のシーケンスを変更した。これに対し、本実施形態ではコンティニュアスＡＦを例とし、フレームレート等の撮像周期に応じてＡＦ制御のシーケンスを変更することにある。以下、第１の実施形態との違いを中心に本実施形態の内容を詳細に説明する。

本実施形態のブロック図は第１の実施形態と同じく図１である。

以下、カメラ本体２０で行われる処理について説明する。カメラ制御部２１２は、コンピュータプログラムである撮像処理プログラムに従って以下の処理を行う。

図１２はカメラ本体２０の撮影処理の手順を示すフローチャートである。Ｓはステップを意味する。

初めに、カメラ制御部２１２は、カメラ設定やカメラ操作部２１３からの入力に応じてコンティニュアスＡＦ動作を実行するかを判断する（Ｓ１２０１）。

ＡＦ動作を実行すると判断すると、カメラ制御部２１２は、撮像面位相差ＡＦ用に用いるＡＦ用信号およびライブビュー表示用に用いる撮像信号を取得するため、撮像素子２０１への露光を行い、ライブビュー撮影を実行する（Ｓ１２０２）。

次に、カメラ制御部２１２は、現在のカメラ設定が被写体検出モードであるかを判断する（Ｓ１２０３）。ここでの被写体検出モードとは、たとえば顔検出のようにカメラが自動的に被写体の検出または追尾を行い、ＡＦ対象を決定するモードを意味する。

被写体検出モードであると判断すると、カメラ制御部２１２内のＡＦ制御部２１２２は、Ｓ１２０２で露光を行ったライブビュー撮影のフレームレートを取得し、所定周期未満であるかを判断する（Ｓ１２０４）。ここでの所定周期は、同カメラ制御部２１２内の被写体検出部２１２１で実行される後述の被写体検出処理に要する時間を基準に設定する。たとえば毎フレーム被写体検出処理が実行可能な場合、すなわち１フレームの時間が被写体検出処理時間より長い場合に所定周期以下と判断することが望ましい。

フレームレートが所定周期未満であると判断すると、ＡＦ制御部２１２２は、処理を実行しようとするＳ１２０２で撮影されたライブビュー画像に対して、被写体検出部２１２１の処理が完了しているかを判断する（Ｓ１２０５）。一般的に、被写体検出部２１２１による被写体検出処理にはある程度の時間を要する。そのため、ライブビュー画像に対してＡＦ制御部２１２２が処理を実行する際、被写体検出処理とＡＦ制御の同期性を優先すべきか、ＡＦ制御周期を優先すべきかによって、ここで同画像に対する被写体検出部２１２１の処理完了を待つか否かが変わってくる。

被写体検出部２１２１の処理が完了している、またはフレームレートが所定周期以上であると判断すると、ＡＦ制御部２１２２は、被写体検出部２１２１から最新の検出結果を取得し、現在被写体が検出されているかを判断する（Ｓ１２０６）。１フレームの時間が被写体検出処理よりも長い低速フレームレートの場合は、Ｓ１２０５で被写体検出処理の完了を待ったとしてもＡＦ制御周期への影響は少ないため、被写体検出処理とＡＦ制御の同期性を優先することができる。一方、１フレームの時間が被写体検出処理よりも短い高速フレームレートの場合は、被写体検出処理とは独立にＡＦ制御を実行することで、所定周期で安定的に動作するようＡＦ制御周期を優先することができる。

現在被写体が検出されていると判断すると、ＡＦ制御部２１２２は、同被写体に対応する位置に測距領域が設定されるようＡＦ信号処理部２０４に位置情報を通知する（Ｓ１２０７）。

一方、被写体検出モードでない、あるいは、現在被写体が検出されていないと判断すると、ＡＦ制御部２１２２は、あらかじめ決められた位置に測距領域が設定されるようＡＦ信号処理部２０４に位置情報を通知する（Ｓ１２０８）。なお、ここで設定する位置は、たとえば画面中央位置や、前回の測距位置等、任意の位置で構わない。

次に、カメラ制御部２１２は、ＡＦ信号処理部２０４に焦点検出処理を行わせる（Ｓ１２０９）。焦点検出処理は、撮像面位相差ＡＦを行うためのデフォーカス量と信頼性の情報を取得する処理であり、また、情報を取得する撮像画面内の領域についても、カメラ本体２０の状態に応じて設定する。ここでの詳細は第１の実施形態と同じであるため省略する。

続いて、ＡＦ制御部２１２２は、Ｓ１２０９の焦点検出処理で算出された測距信頼性が所定信頼性より高いかを判断する（Ｓ１２１０）。ここにいう信頼性は、前述した二像一致度や像ずれ量の急峻性により求められるものであり、算出されたデフォーカス量が信頼できない信頼性範囲の最高値を所定信頼性と設定するのが望ましい。なお、信頼性は、二像一致度と像ずれ量の急峻性の両方を用いて求めてもよいし、一方のみを用いて求めてもよい。また、二像の信号レベル等の他の指標を用いても構わない。

測距信頼性が所定信頼性より高いと判断すると、ＡＦ制御部２１２２は、Ｓ１２０９の焦点検出処理で算出された検出デフォーカス量が焦点深度以内であるかを判断する（Ｓ１２１１）。

検出デフォーカス量が焦点深度内であると判断すると、ＡＦ制御部２１２２は、被写体に合焦させることができたと判断してフォーカスレンズ１０３を停止する（Ｓ１２１２）。

一方、検出デフォーカス量が焦点深度内でないと判断すると、ＡＦ制御部２１２２は、同検出デフォーカス量に基づいてフォーカスレンズ１０３の駆動量を算出するとともに、フォーカス駆動部１０５を介してフォーカスレンズ１０３を駆動する（Ｓ１２１３）。

他方、測距信頼性が所定信頼性より低いと判断すると、ＡＦ制御部２１２２は、信頼性が高いデフォーカス量が得られるよう、フォーカスレンズ駆動量を算出するとともに、フォーカス駆動部１０５を介してフォーカスレンズ１０３を駆動する（Ｓ１２１４）。

最後に、カメラ制御部２１２は、カメラ操作部２１３からの入力に応じてコンティニュアスＡＦ動作を終了するかを判断し（Ｓ１２１５）、ＡＦ動作を終了しないと判断すると、フローはＳ１２０２へ帰還する。

その他の処理については第１の実施形態と同様であるため、説明は省略する。なお、本実施形態ではＡＦ制御の例としてコンティニュアスＡＦを説明したが、サーボＡＦなどにも適用可能である。

図１３は、本実施形態における顔検出モード時のコンティニュアスＡＦシーケンスを図示したものであり、ａ）は高速フレームレートの場合、ｂ）は低速フレームレートの場合を示している。このように、それぞれの目的に合わせて測距演算のタイミングを切り替えることで、最適な測距対象位置が設定可能となる。

本実施例では、高速フレームレートの場合、ライブビュー撮影の読出しが完了した時点で被写体検出処理と焦点検出処理（測距演算）を同じタイミングで開始する第１の制御を行う。この第１の制御における焦点検出処理は、現在取得された画像（第１の画像）よりも過去に取得された画像（第２の画像）に基づいて検出された被写体検出領域の焦点状態を検出する。一方、低速フレームレートの場合、ライブビュー撮影の読み出しが完了した時点で被写体検出処理を開始し、該被写体検出処理が完了した後のタイミングで測距演算を開始する第２の制御を行う。この第２の制御における焦点検出処理は、現在取得された画像（第１の画像）に基づいて検出された被写体検出領域の焦点状態を検出する。

このように、カメラ制御部２１２は、ライブビュー撮影の読み出しが完了してから、被写体検出処理と焦点検出処理を並行して行う第１の制御と、被写体検出処理の完了後に焦点検出処理を行う第２の制御と、を撮像周期（撮影条件）に応じて切り替える。ここで、本発明における撮影条件とは、撮影を行う際における撮像装置の条件（状態）や被写体の条件（状態）などさまざまな条件を指し、本実施例では撮像装置に設定された撮像素子のフレームレートである。本実施例では、カメラ制御部２１２は、フレームレートが高速フレームレート（第１のフレームレート）である場合と、低速フレームレート（第１のフレームレートよりも低い第２のフレームレート）である場合とで、第１の制御と第２の制御とを切り替える。より具体的に、１フレームの時間が被写体検出処理にかかる時間よりも短い高速フレームレートである場合に第１の制御を行い、１フレームの時間が前記被写体検出処理にかかる時間よりも長い低速フレームレートである場合に第２の制御を行う。このように、撮像周期（撮影条件）に応じて制御を切り替えることで、離散的にライブビュー撮影が実行される秒間撮影枚数優先の高速連写中の場合でも、被写体検出結果が得られたフレームの読出し完了時刻からの遅延時間を短縮することができる。すなわち、被写体が移動している場合に適切に測距領域を設定できなくなるリスクを低減することができる。

以上説明したように、本発明によれば、ライブビュー撮影時のフレームレート等の撮像周期に応じて被写体検出処理とＡＦ制御の同期性を優先すべきか、ＡＦ制御周期を優先すべきかを切り替え、ＡＦ制御のシーケンスを変更する。そうすることにより、常に適切な測距領域を設定して、安定的に高速で高精度な焦点調節動作を提供することが可能となる。なお、ここでは本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

［第３の実施の形態］
以下、本発明の第３の実施の形態について説明する。第１の実施形態ではピント精度優先の低速連写モードと秒間撮影枚数優先の高速連写モードといった撮影モード、第２の実施形態ではライブビュー撮影時のフレームレート等の撮像周期に応じてＡＦ制御のシーケンスを変更した。これに対し、本実施形態では被写体の動きに応じてＡＦ制御のシーケンスを変更することにある。以下、第１の実施形態との違いを中心に本実施形態の内容を詳細に説明する。

本実施形態のブロック図は第１の実施形態と同じく図１である。

以下、カメラ本体２０で行われる処理について説明する。カメラ制御部２１２は、コンピュータプログラムである撮像処理プログラムに従って以下の処理を行う。

図１４はカメラ本体２０の撮影処理の手順を示すフローチャートである。Ｓはステップを意味する。

初めに、カメラ制御部２１２は、カメラ設定やカメラ操作部２１３からの入力に応じてコンティニュアスＡＦ動作を実行するかを判断する（Ｓ１４０１）。

ＡＦ動作を実行すると判断すると、カメラ制御部２１２は、撮像面位相差ＡＦ用に用いるＡＦ用信号およびライブビュー表示用に用いる撮像信号を取得するため、撮像素子２０１への露光を行い、ライブビュー撮影を実行する（Ｓ１４０２）。

次に、カメラ制御部２１２は、現在のカメラ設定が被写体検出モードであるかを判断する（Ｓ１４０３）。ここでの被写体検出モードとは、たとえば顔検出のようにカメラが自動的に被写体の検出または追尾を行い、ＡＦ対象を決定するモードを意味する。

被写体検出モードであると判断すると、カメラ制御部２１２内のＡＦ制御部２１２２は、過去の被写体検出結果の履歴に応じて、被写体移動量が所定量より大きいかを判断する（Ｓ１４０４）。ここでの所定量は、測距領域の大きさを基準に設定し、たとえば前フレームの被写体検出位置が使用できない場合、すなわち１フレームあたりの被写体移動量が測距領域より大きい場合に所定量より大きいと判断することが望ましい。

被写体移動量が所定量より大きいと判断すると、ＡＦ制御部２１２２は、処理を実行しようとするＳ１４０２で撮影されたライブビュー画像に対して、被写体検出部２１２１の処理が完了しているかを判断する（Ｓ１４０５）。一般的に、被写体検出部２１２１による被写体検出処理にはある程度の時間を要する。そのため、ライブビュー画像に対してＡＦ制御部２１２２が処理を実行する際、被写体検出処理とＡＦ制御の同期性を優先すべきか、ＡＦ制御周期を優先すべきかによって、ここで同画像に対する被写体検出部２１２１の処理完了を待つか否かが変わってくる。

被写体検出部２１２１の処理が完了している、または被写体移動量が所定量より小さいと判断すると、ＡＦ制御部２１２２は、被写体検出部２１２１から最新の検出結果を取得し、現在被写体が検出されているかを判断する（Ｓ１４０６）。被写体移動量が測距領域より大きい場合は、仮にＡＦ制御周期が犠牲になったとしても、Ｓ１４０５で被写体検出処理の完了を待つことで、被写体検出処理とＡＦ制御の同期性を保証することができる。一方、被写体移動量が測距領域より小さい場合は、被写体検出処理とは独立にＡＦ制御を実行することで、所定周期で安定的に動作するようＡＦ制御周期を優先することができる。

現在被写体が検出されていると判断すると、ＡＦ制御部２１２２は、同被写体に対応する位置に測距領域が設定されるようＡＦ信号処理部２０４に位置情報を通知する（Ｓ１４０７）。

一方、被写体検出モードでない、あるいは、現在被写体が検出されていないと判断すると、ＡＦ制御部２１２２は、あらかじめ決められた位置に測距領域が設定されるようＡＦ信号処理部２０４に位置情報を通知する（Ｓ１４０８）。なお、ここで設定する位置は、たとえば画面中央位置や、前回の測距位置等、任意の位置で構わない。

次に、カメラ制御部２１２は、ＡＦ信号処理部２０４に焦点検出処理を行わせる（Ｓ１４０９）。焦点検出処理は、撮像面位相差ＡＦを行うためのデフォーカス量と信頼性の情報を取得する処理であり、また、情報を取得する撮像画面内の領域についても、カメラ本体２０の状態に応じて設定する。ここでの詳細は第１の実施形態と同じであるため省略する。

続いて、ＡＦ制御部２１２２は、Ｓ１４０９の焦点検出処理で算出された測距信頼性が所定信頼性より高いかを判断する（Ｓ１４１０）。ここにいう信頼性は、前述した二像一致度や像ずれ量の急峻性により求められるものであり、算出されたデフォーカス量が信頼できない信頼性範囲の最高値を所定信頼性と設定するのが望ましい。なお、信頼性は、二像一致度と像ずれ量の急峻性の両方を用いて求めてもよいし、一方のみを用いて求めてもよい。また、二像の信号レベル等の他の指標を用いても構わない。

測距信頼性が所定信頼性より高いと判断すると、ＡＦ制御部２１２２は、Ｓ１４０９の焦点検出処理で算出された検出デフォーカス量が焦点深度以内であるかを判断する（Ｓ１４１１）。

検出デフォーカス量が焦点深度内であると判断すると、ＡＦ制御部２１２２は、被写体に合焦させることができたと判断してフォーカスレンズ１０３を停止する（Ｓ１４１２）。

一方、検出デフォーカス量が焦点深度内でないと判断すると、ＡＦ制御部２１２２は、同検出デフォーカス量に基づいてフォーカスレンズ１０３の駆動量を算出するとともに、フォーカス駆動部１０５を介してフォーカスレンズ１０３を駆動する（Ｓ１４１３）。

他方、測距信頼性が所定信頼性より低いと判断すると、ＡＦ制御部２１２２は、信頼性が高いデフォーカス量が得られるよう、フォーカスレンズ駆動量を算出するとともに、フォーカス駆動部１０５を介してフォーカスレンズ１０３を駆動する（Ｓ１４１４）。

最後に、カメラ制御部２１２は、カメラ操作部２１３からの入力に応じてコンティニュアスＡＦ動作を終了するかを判断し（Ｓ１４１５）、ＡＦ動作を終了しないと判断すると、フローはＳ１４０２へ帰還する。

その他の処理については第１の実施形態および第２の実施形態と同様であるため、説明は省略する。なお、本実施形態ではＡＦ制御の例としてコンティニュアスＡＦを説明したが、サーボＡＦなどにも適用可能である。

図１５は、本実施形態における顔検出モード時のコンティニュアスＡＦシーケンスを図示したものであり、ａ）は被写体移動量が小さい場合、ｂ）は被写体移動量が大きい場合を示している。このように、それぞれの目的に合わせて測距演算のタイミングを切り替えることで、最適な測距対象位置が設定可能となる。

本実施例では、被写体移動量が所定量より小さい場合、ライブビュー撮影の読出しが完了した時点で被写体検出処理と焦点検出処理（測距演算）を同じタイミングで開始する第１の制御を行う。この第１の制御における焦点検出処理は、現在取得された画像（第１の画像）よりも過去に取得された画像（第２の画像）に基づいて検出された被写体検出領域の焦点状態を検出する。一方、被写体移動量が所定量より大きい場合、ライブビュー撮影の読み出しが完了した時点で被写体検出処理を開始し、該被写体検出処理が完了した後のタイミングで測距演算を開始する第２の制御を行う。この第２の制御における焦点検出処理は、現在取得された画像（第１の画像）に基づいて検出された被写体検出領域の焦点状態を検出する。

このように、カメラ制御部２１２は、ライブビュー撮影の読み出しが完了してから、被写体検出処理と焦点検出処理を並行して行う第１の制御と、被写体検出処理の完了後に焦点検出処理を行う第２の制御と、を被写体検出結果（撮影条件）に応じて切り替える。ここで、本発明における撮影条件とは、撮影を行う際における撮像装置の条件（状態）や被写体の条件（状態）などさまざまな条件を指し、本実施例では被写体検出手段が検出する被写体の移動量である。本実施例では、カメラ制御部２１２は、被写体移動量が所定量より小さい移動量（第１の移動量）である場合と、被写体移動量が所定量より大きい移動量（第１の移動量よりも大きい第２の移動量）である場合とで、第１の制御と第２の制御とを切り替える。具体的に、被写体移動量が被写体検出領域の大きさに対応する所定量よりも小さい第１の移動量である場合に第１の制御を行い、被写体移動量が被写体検出領域の大きさに対応する所定量よりも大きい第２の移動量である場合に第２の制御を行う。このように、被写体検出結果（撮影条件）に応じて制御を切り替えることで、離散的にライブビュー撮影が実行される秒間撮影枚数優先の高速連写中の場合でも、被写体検出結果が得られたフレームの読出し完了時刻からの遅延時間を短縮することができる。すなわち、被写体が移動している場合に適切に測距領域を設定できなくなるリスクを低減することができる。

以上説明したように、本発明によれば、ライブビュー撮影時の被写体移動量応じて被写体検出処理とＡＦ制御の同期性を優先すべきか、ＡＦ制御周期を優先すべきかを切り替え、ＡＦ制御のシーケンスを変更する。そうすることにより、常に適切な測距領域を設定して、安定的に高速で高精度な焦点調節動作を提供することが可能となる。なお、ここでは本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

以上、本発明によれば、特に撮像面位相差ＡＦが可能な撮像装置において、撮影条件に応じて適切な測距領域設定をすることで、安定的に高速で高精度な焦点調節動作を提供することが可能となる。

なお、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

２０４ ＡＦ信号処理部
２１２ カメラ制御部
２１２１ 被写体検出部
２１２３ 取得部

Claims (10)

1. 撮像素子から出力される画素信号を取得する取得手段と、
   前記画素信号に基づいて被写体を検出する被写体検出手段と、
   被写体検出領域の焦点状態を検出する焦点検出手段と、
   前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出手段による被写体検出処理と、前記現在取得された画素信号よりも過去に取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出手段による焦点検出処理とを並行して行う第１の制御と、前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出手段による被写体検出処理と、前記現在取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出手段による焦点検出処理を順番に行う第２の制御と、を撮影条件に応じて切り替える制御手段と、を有し、
   前記撮影条件は、連写モードであり、
   前記制御手段は、前記連写モードが第１の連写モードである場合に前記第１の制御を行い、前記第１の連写モードよりも撮影間隔が短い第２の連写モードである場合に前記第２の制御を行うことを特徴とする焦点検出装置。
2. 前記第１の連写モードは、複数のライブビュー撮影と、静止画撮影と、を交互に行うモードであり、
   前記第２の連写モードは、一つのライブビュー撮影と、静止画撮影と、を交互に行うモードであることを特徴とする請求項１に記載の焦点検出装置。
3. 撮像素子から出力される画素信号を取得する取得手段と、
   前記画素信号に基づいて被写体を検出する被写体検出手段と、
   被写体検出領域の焦点状態を検出する焦点検出手段と、
   前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出手段による被写体検出処理と、前記現在取得された画素信号よりも過去に取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出手段による焦点検出処理とを並行して行う第１の制御と、前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出手段による被写体検出処理と、前記現在取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出手段による焦点検出処理を順番に行う第２の制御と、を撮影条件に応じて切り替える制御手段と、を有し、
   前記撮影条件は、前記撮像素子のフレームレートであり、
   前記制御手段は、前記フレームレートが第１のフレームレートである場合に前記第１の制御を行い、前記第１のフレームレートよりも低い第２のフレームレートである場合に前記第２の制御を行うことを特徴とする焦点検出装置。
4. 前記第１のフレームレートは、１フレームの時間が前記被写体検出処理にかかる時間よりも短く、
   前記第２のフレームレートは、１フレームの時間が前記被写体検出処理にかかる時間よりも長いことを特徴とする請求項３に記載の焦点検出装置。
5. 撮像素子と、
   請求項１ないし４のいずれか１項に記載の焦点検出装置と、を備えた撮像装置。
6. 前記撮像素子は、１つのマイクロレンズに対して第１の光電変換部および第２の光電変換部を備えており、前記第１の光電変換部および前記第２の光電変換部から被写体の光学像を形成する撮像光学系の焦点状態に応じた一対の像信号を出力することを特徴とする請求項５に記載の撮像装置。
7. 撮像素子から出力される画素信号を取得する取得ステップと、
   前記画素信号に基づいて被写体を検出する被写体検出ステップと、
   被写体検出領域の焦点状態を検出する焦点検出ステップと、
   前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出ステップによる被写体検出処理と、前記現在取得された画素信号よりも過去に取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出ステップによる焦点検出処理とを並行して行う第１の制御と、前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出ステップによる被写体検出処理と、前記現在取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出ステップによる焦点検出処理を順番に行う第２の制御と、を撮影条件に応じて切り替える制御ステップと、を有し、
   前記撮影条件は、連写モードであり、
   前記制御ステップでは、前記連写モードが第１の連写モードである場合に前記第１の制御を行い、前記第１の連写モードよりも撮影間隔が短い第２の連写モードである場合に前記第２の制御を行うことを特徴とする焦点検出方法。
8. 撮像素子から出力される画素信号を取得する取得ステップと、
   前記画素信号に基づいて被写体を検出する被写体検出ステップと、
   被写体検出領域の焦点状態を検出する焦点検出ステップと、
   前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出ステップによる被写体検出処理と、前記現在取得された画素信号よりも過去に取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出ステップによる焦点検出処理とを並行して行う第１の制御と、前記画素信号を取得してから、現在取得された画像信号に基づく前記被写体検出ステップによる被写体検出処理と、前記現在取得された画像信号に基づいて検出された被写体検出領域に対する前記焦点検出ステップによる焦点検出処理を順番に行う第２の制御と、を撮影条件に応じて切り替える制御ステップと、を有し、
   前記撮影条件は、前記撮像素子のフレームレートであり、
   前記制御ステップでは、前記フレームレートが第１のフレームレートである場合に前記第１の制御を行い、前記第１のフレームレートよりも低い第２のフレームレートである場合に前記第２の制御を行うことを特徴とする焦点検出方法。
9. 請求項７または８に記載の焦点検出方法の各ステップが記述されたコンピュータで実行可能なプログラム。
10. コンピュータに、請求項７または８に記載の焦点検出方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。