JP2024033688A - 焦点調節装置、撮像装置、焦点調節方法、およびプログラム - Google Patents

Abstract

【課題】安定して被写体を追尾することが可能な焦点調節装置を提供する。
【解決手段】焦点調節嘘内（２００）は、撮像素子（２０１）から出力される画像データに基づいて、被写体の第１像面位置および検出信頼度を取得する被写体検出手段（２１１）と、焦点検出手段（２０４）により取得されるデフォーカス量の履歴に基づいて、被写体の第２像面位置を予測する予測手段（２１９）と、被写体に焦点を合わせるためのフォーカスレンズ（１０３）の駆動量を設定する制御手段（２０９）とを有し、制御手段は、第１像面位置と第２像面位置との差が第１閾値よりも大きいと判定した場合、第１像面位置に基づいてフォーカスレンズの駆動量を設定する。
【選択図】図１３

Description

本発明は、焦点調節装置、撮像装置、焦点調節方法、およびプログラムに関する。

従来、光学系の焦点位置を自動調節する焦点調節（ＡＦ）機能により、被写体を追尾することが可能な撮像装置が知られている。また従来、過去の被写体の移動履歴から将来の被写体の動きを予測することが可能な撮像装置が知られている。特許文献１には、被写体を追尾して得られた焦点検出結果の信頼度に基づいてフォーカスレンズの駆動目標を変更する方法が開示されている。

特開２０１８－４９１８号公報

特許文献１に開示された方法では、被写体の焦点検出結果と予測結果との差が閾値を超える場合、追尾結果（焦点検出結果）ではなく予測結果に基づいてフォーカスレンズを駆動させる。その結果、被写体に焦点を合わせ続けることができない場合があり、安定して被写体を追尾することが難しい。

そこで本発明は、安定して被写体を追尾することが可能な焦点調節装置を提供することを目的とする。

本発明の一側面としての焦点調節装置は、撮像素子から出力される画像データに基づいて、被写体の第１像面位置および検出信頼度を取得する被写体検出手段と、焦点検出手段により取得されるデフォーカス量の履歴に基づいて、前記被写体の第２像面位置を予測する予測手段と、前記被写体に焦点を合わせるためのフォーカスレンズの駆動量を設定する制御手段とを有し、前記制御手段は、前記第１像面位置と前記第２像面位置との差が第１閾値よりも大きいと判定した場合、前記第１像面位置に基づいてフォーカスレンズの駆動量を設定する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、安定して被写体を追尾することが可能な焦点調節装置を提供することができる。

本実施形態における撮像システムのブロック図である。 本実施形態における撮像システムの動作のフローチャートである。 本実施形態におけるＡＦ枠設定のフローチャートである。 本実施形態における単一の主要領域のみが検出されている状態の説明図である。 本実施形態における複数の主要領域が検出されている状態の説明図である。 本実施形態におけるＡＦ動作のフローチャートである。 本実施形態における焦点検出処理のフローチャートである。 本実施形態における主枠選択のフローチャートである。 本実施形態における主枠選択領域決定のフローチャートである。 本実施形態における検出被写体主枠のフローチャートである。 本実施形態における中央優先主枠選択のフローチャートである。 本実施形態における至近優先主枠選択のフローチャートである。 本実施形態におけるレンズ駆動量算出のフローチャートである。 本実施形態における予測処理の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（撮像システムの構成）
まず、図１を参照して、本実施形態における撮像システムの構成について説明する。図１は、撮像システム１０のブロック図である。撮像システム１０は、カメラ本体（撮像装置）２００と、カメラ本体２００に着脱可能なレンズ装置（交換レンズ）１００とを備えて構成されるレンズ交換式カメラシステムである。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズ装置とが一体的に構成された撮像装置にも適用可能である。

撮像システム１０は、焦点調節装置を備え、被写体像を撮像する撮像素子２０１からの出力信号を用いた撮像面位相差検出方式による焦点調節を行う。レンズ装置１００が電気接点ユニット１０６を有するマウント部を介してカメラ本体２００に装着されると、レンズコントローラ１０５とシステム制御部（制御手段）２０９とが相互に通信可能となる。

レンズ装置１００は、ズーム機構を含む撮影レンズ１０１、光量を制御する絞り及びシャッター１０２、撮像素子２０１上に焦点をあわせるためのフォーカスレンズ１０３、およびフォーカスレンズ１０３を駆動するモータ（駆動手段）１０４を有する。またレンズ装置１００は、レンズ装置１００の動作を統括制御するレンズコントローラ１０５を有する。

カメラ本体２００は、レンズ装置１００の光学系（撮像光学系）を通過した光束から撮像信号を取得できるように構成される。カメラ本体２００は、被写体からの反射光を電気信号に光電変換する撮像素子２０１、撮像素子２０１の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部２０２、画像処理部２０３、ＡＦ信号処理部２０４を備える。またカメラ本体２００は、フォーマット変換部２０５、高速な内蔵メモリ（例えばランダムアクセスメモリなど、以下ＤＲＡＭと記す）２０６、メモリーカードなどの記録媒体とそのインターフェースからなる画像記録部２０７を備える。またカメラ本体２００は、タイミングジェネレータ２０８、撮影シーケンスなどシステムを制御するシステム制御部２０９、カメラ本体２００とレンズ装置１００との通信を行うレンズ通信部２１０を備える。システム制御部２０９は、被写体領域の焦点情報（焦点検出情報）に基づいてフォーカス制御を行うとともに、撮像システム１０の全体の動作を統括制御する。

またカメラ本体２００は、被写体検出部（被写体検出手段）２１１、画像表示用メモリ（ＶＲＡＭ）２１２、被写体移動予測部（予測手段）２１９を備える。被写体検出部２１１は、撮像素子２０１から出力される画像データに基づいて、被写体領域を検出する。被写体移動予測部２１９は、撮像素子２０１から出力される画像データに基づく焦点検出結果（デフォーカス量）の履歴を用いて予測処理を行い、被写体の予測像面位置（第２像面位置）を予測（取得）する。

またカメラ本体２００は、画像表示の他、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面と、測距領域を表示する画像表示部２１３を備える。またカメラ本体２００は、カメラ本体２００を外部から操作するための操作部２１４、マクロモード、スポーツモードなどの撮影モードを選択するための撮影モードスイッチ２１５、システムに電源を投入するためのメインスイッチ２１６を備える。またカメラ本体２００は、オートフォーカス（ＡＦ）やオートエクスポージャー（ＡＥ）等の撮影スタンバイ動作を行うためのスイッチ（ＳＷ１）２１７、ＳＷ１の操作後、撮影を行う撮影スイッチ（ＳＷ２）２１８を備える。内蔵メモリ２０６のＤＲＡＭは、一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。操作部２１４は、例えば、カメラ本体２００の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影モードと再生モードの動作モード切換えスイッチなどを含む。

撮像素子２０１は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子である。本実施形態で用いられる撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ、Ｂとこれら一対のフォトダイオードＡ、Ｂに対して設けられた１つのマイクロレンズとより構成されている。各画素は、入射する光をマイクロレンズで分割して一対のフォトダイオードＡ、Ｂ上に一対の光学像を形成し、該一対のフォトダイオードＡ、Ｂから後述するＡＦ用信号に用いられる一対の画素信号（Ａ信号およびＢ信号）を出力する。また、一対のフォトダイオードＡ、Ｂの出力を加算することで、撮像用信号（Ａ＋Ｂ信号）を得ることができる。

複数の画素から出力された複数のＡ信号と複数のＢ信号をそれぞれ合成することで、撮像面位相差検出方式によるＡＦ（撮像面位相差ＡＦ）に用いられるＡＦ用信号（焦点検出用信号）としての一対の像信号が得られる。ＡＦ信号処理部２０４は、一対の像信号に対する相関演算を行って、これら一対の像信号のずれ量である位相差（像ずれ量）を算出し、さらに像ずれ量から撮像光学系のデフォーカス量（およびデフォーカス方向と信頼度）を算出する焦点検出手段である。またＡＦ信号処理部２０４は、デフォーカス量を指定可能な所定領域で複数演算する。

（撮像システムの動作）
次に、図２を参照して、本実施形態における撮像システム１０の動作について説明する。図２は、撮像システム１０の動作のフローチャートであり、ライブビュー画像を表示する状態から静止画撮像を行う場合の撮像制御処理の流れを示す。コンピュータとしてのシステム制御部２０９は、コンピュータプログラムとしての制御プログラムに従って本処理を実行する。

まず、ステップＳ２０１において、システム制御部２０９は、ＳＷ１（２１７）がＯＮであるか否かを判定する。ＳＷ１（２１７）がＯＦＦである場合、ステップＳ２０１の判定を繰り返す。一方、ＳＷ１（２１７）がＯＮである場合、ステップＳ２０２へ進む。ステップＳ２０２において、システム制御部２０９は、ＡＦ信号処理部２０４に対して、後述するＡＦ枠設定（焦点検出領域の設定）を行う。続いてステップＳ２０３において、システム制御部２０９は、後述するＡＦ動作を行う。続いてステップＳ２０４において、システム制御部２０９は、ＳＷ１（２１７）がＯＮであるか否かを判定する。ＳＷ１（２１７）がＯＮである場合、ステップＳ２０５へ進む。一方、ＳＷ１（２１７）がＯＦＦである場合、ステップＳ２０１へ戻る。ステップＳ２０５において、システム制御部２０９は、ＳＷ２（２１８）がＯＮであるか否かを判定する。ＳＷ２（２１８）がＯＮである場合、ステップＳ２０６へ進む。一方、ＳＷ２（２１８）がＯＦＦである場合、ステップＳ２０１へ戻る。ステップＳ２０６において、システム制御部２０９は、撮影動作を行い、ステップＳ２０１へ戻る。

（ＡＦ枠設定）
次に、図３を参照して、ＡＦ枠設定（図２のステップＳ２０２）について説明する。図３は、ＡＦ枠設定を示すフローチャートである。まず、ステップＳ３０１において、システム制御部２０９は、被写体検出部２１１から被写体検出情報を取得する。本実施形態の被写体は人物であり、さらにその被写体内における主要領域（被写体領域）を検出するものとする。ここで、主要領域とは人物や動物における瞳、顔、体である。これらは、公知の機械学習による学習手法や画像処理手段による認識処理などを用いて検出することができる。

例えば、機械学習の種類としては、以下がある。

（１）サポートベクターマシーン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）
（２）畳み込みニューラルネットワーク（Ｃｏｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
（３）再起型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
また、認識処理の例としては、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度合いで顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法なども周知である。さらに、本発明に適用可能な主要領域の検出手法については、これらの手法に限るものではなく、他の手法を用いてもよい。

続いてステップＳ３０２において、システム制御部２０９は、被写体検出部２１１の検出結果にて主要領域が複数検出されている否かを判定する。複数の主要領域が検出されている場合、ステップＳ３０３へ進む。一方、複数の主要領域が検出されていない場合（単一の主要領域のみが検出された場合）、ステップＳ３０４へ進む。

ここで、図４（ａ）、（ｂ）および図５（ａ）、（ｂ）を参照して、単一の主要領域と複数の主要領域が検出されている状態について説明する。図４（ａ）、（ｂ）は、単一の主要領域のみ検出されている状態の説明図である。図５（ａ）、（ｂ）は、複数の主要領域が検出されている状態の説明図である。

図４（ａ）は、顔ａのみ検出されている状態（単一の主要領域のみ検出されている状態）を示す。図５（ａ）は、瞳Ａ、顔Ｂ、体Ｃが検出されている状態（複数の主要領域が検出あれている状態）を示す。本実施形態において、被写体検出部２１１からは人物や動物などの被写体の種別と、それぞれ検出された主要領域における中心座標と水平サイズ、垂直サイズが取得できることとする。

ステップＳ３０３において、システム制御部２０９は、最小検出主要領域、つまり図５（ａ）における瞳Ａの水平サイズまたは垂直サイズの小さいほうの値をＭｉｎＡへ入力し、ＭｉｎＡを一つのＡＦ枠サイズとする。続いてステップＳ３０５において、システム制御部２０９は、それぞれの検出主要領域の水平座標と水平サイズから全主要領域を包含する図５（ｂ）における水平サイズＨを求める。そしてシステム制御部２０９は、水平サイズＨをＡＦ枠サイズＭｉｎＡで除算することにより、水平ＡＦ枠数（Ｈ／ＭｉｎＡ）を決定する。

続いてステップＳ３０７において、システム制御部２０９は、それぞれの検出主要領域の垂直座標と垂直サイズから全主要領域を包含する図５（ｂ）における垂直サイズＶを求める。そしてシステム制御部２０９は、垂直サイズＶをＡＦ枠サイズＭｉｎＡで除算することにより垂直ＡＦ枠数（Ｖ／ＭｉｎＡ）を決定し、ＡＦ枠設定を終了する。なお本実施形態では、最小サイズを使用した正方領域のＡＦ枠サイズとしているが、これに限定されるものではなく、水平垂直でＡＦ枠サイズを異ならせてもよいし、システム制御部２０９で演算可能なＡＦ枠数までを設定してもよい。

ステップＳ３０４において、システム制御部２０９は、図４（ｂ）に示されるように、検出された顔に対して所定サイズであるＡＦ枠サイズＸのＡＦ枠を設定する。ＡＦ枠サイズＸは、顔から推定される瞳サイズを設定してもよいし、低照度環境時を考慮してＳ／Ｎが確保でき十分合焦性能がでるような枠サイズを設定してもよい。本実施形態では、推定瞳サイズでＡＦ枠サイズＸを設定するものとする。続いてステップＳ３０６において、システム制御部２０９は、図４（ｂ）に示されるように、ＡＦ枠サイズＸで顔ａの領域を包含し、顔が動いた場合にも対応できるようなＡＦ枠数Ｙを設定する。

（ＡＦ動作）
次に、図６を参照して、図２のステップＳ２０３（ＡＦ動作）について説明する。図６は、ＡＦ動作のフローチャートである。

まずステップＳ４０１において、システム制御部２０９は、焦点検出処理を行い、デフォーカス量および信頼度を検出する。なお、焦点検出処理については後述する。続いてステップＳ４０２において、システム制御部２０９は、ステップＳ４０１にて得られた信頼度と、ステップＳ３０１にて得られた被写体検出情報とを用いて、後述する主枠選択を行う。続いてステップＳ４０３において、システム制御部２０９は、ステップＳ４０２にて得られた主枠選択結果を用いて、後述するフォーカスレンズ１０３の駆動量を算出する（レンズ駆動量算出）。続いてステップＳ４０４において、システム制御部２０９は、ステップＳ４０３にて得られたフォーカスレンズ１０３の駆動量をレンズ通信部２１０へ伝達し、フォーカスレンズ１０３を駆動させる。

（焦点検出処理）
次に、図７を参照して、図６のステップＳ４０１（焦点検出処理）について説明する。図７は、焦点検出処理のフローチャートである。

まずステップＳ５０１において、システム制御部２０９は、撮像素子２０１から出力された画像データ内の任意の範囲の焦点検出領域を設定する。続いてステップＳ５０２において、システム制御部２０９は、ステップＳ５０１にて設定した焦点検出領域に対応する撮像素子２０１からの焦点検出用の一対の像信号（Ａ像信号、Ｂ像信号）を取得する。続いてステップＳ５０３において、システム制御部２０９は、ステップＳ５０２にて取得した一対の像信号を垂直方向に行加算平均処理を行う。この処理により、像信号のノイズの影響を軽減することができる。続いてステップＳ５０４において、システム制御部２０９は、ステップＳ５０３にて垂直行加算平均した信号から所定の周波数帯域の信号成分を取り出すフィルタ処理を行う。

続いてステップＳ５０５において、システム制御部２０９は、ステップＳ５０４にてフィルタ処理した信号から相関量を算出する。続いてステップＳ５０６において、システム制御部２０９は、ステップＳ５０５にて算出した相関量から相関変化量を算出する。続いてステップＳ５０７において、システム制御部２０９は、ステップＳ５０６にて算出した相関変化量から像ずれ量を算出する。続いてステップＳ５０８において、システム制御部２０９は、ステップＳ５０７にて算出した像ずれ量がどれだけ信頼できるのかを表す信頼度を算出する。続いてステップＳ５０９において、システム制御部２０９は、像ずれ量をデフォーカス量に変換して焦点検出処理を終了する。

（主枠選択）
次に、図８を参照して、図６のステップＳ４０２（主枠選択）について説明する。図８は、主枠選択のフローチャートである。まずステップＳ６０１において、システム制御部２０９は、被写体検出部２１１にて被写体が検出されているか否かを判定する。被写体が検出されていると判定された場合、ステップＳ６０３へ進む。一方、被写体が検出されていないと判定された場合、ステップＳ６０２へ進む。

ステップＳ６０２において、システム制御部２０９は、被写体の検出情報を用いない多点主枠選択を行い、主枠選択処理を終了する。多点主枠選択の方法としては、例えば、画面（画像）内の所定領域で主枠選択する方法があるが、その詳細な説明は省略する。ステップＳ６０３において、システム制御部２０９は、焦点検出した複数のＡＦ枠の中から主枠選択の対象とする領域を決定する主枠選択領域決定を行う。なお、主枠選択領域決定の詳細については後述する。続いてステップＳ６０４において、システム制御部２０９は、ステップＳ６０３にて得られた主枠選択領域に対し、後述の検出被写体主枠選択を行い、主枠選択を終了する。

（主枠選択領域決定）
次に、図９を参照して、図８のステップＳ６０３（主枠選択領域決定）について説明する。図９は、主枠選択領域決定のフローチャートである。

まずステップＳ７０１において、システム制御部２０９は、被写体検出部２１１を用いて、被写体の瞳が検出されているか否かを判定する。瞳が検出されていると判定された場合、ステップＳ７０２へ進む。一方、瞳が検出されていないと判定された場合、ステップＳ７０４へ進む。ステップＳ７０２において、システム制御部２０９は、主枠選択領域として瞳検出枠を追加する。続いてステップＳ７０３において、システム制御部２０９は、主枠選択領域にＡＦ枠の数が所定の閾値以上含まれているか否かを判定する。ＡＦ枠の数が所定の閾値以上含まれていると判定された場合、ステップＳ７０９へ進む。ＡＦ枠の数が所定の閾値未満である場合、ステップＳ７０４へ進む。

ステップＳ７０４において、システム制御部２０９は、被写体検出部２１１を用いて、被写体の顔が検出されているか否かを判定する。顔が検出されていると判定された場合、ステップＳ７０５へ進む。一方、顔が検出されていないと判定された場合、ステップＳ７０７へ進む。ステップＳ７０５において、システム制御部２０９は、主枠選択領域として顔検出枠を追加する。続いてステップＳ７０６において、システム制御部２０９は、主枠選択領域にＡＦ枠の数が所定の閾値以上含まれているか否かを判定する。ＡＦ枠の数が所定の閾値以上含まれていると判定された場合、ステップＳ７０９へ進む。ＡＦ枠の数が所定の閾値未満である場合、ステップＳ７０７へ進む。

ステップＳ７０７において、システム制御部２０９は、被写体検出部２１１を用いて、被写体の胴体が検出されているか否かを判定する。胴体が検出されていると判定された場合、ステップＳ７０８へ進む。一方、胴体が検出されていないと判定された場合、ステップＳ７０９へ進む。ステップＳ７０８において、システム制御部２０９は、主枠選択領域として胴体検出枠を追加する。

続いてステップＳ７０９において、システム制御部２０９は、被写体検出部２１１により検出された被写体の信頼度（検出信頼度）が閾値以上か否かを判定する。被写体検出の信頼度が閾値以上であると判定された場合、主枠選択領域決定の処理を終了する。一方、信頼度が閾値未満であると判定された場合、ステップＳ７１０へ進む。ステップＳ７１０において、システム制御部２０９は、主枠選択領域を縦横２倍に広げ、主枠選択領域決定の処理を終了する。

（検出被写体主枠選択）
次に、図１０を参照して、図８のステップＳ６０４（検出被写体主枠選択）について説明する。図１０は、検出被写体主枠選択のフローチャートである。なお本実施形態では、ヒストグラムを用いた画像解析について説明するが、ヒストグラムを用いた画像解析は一般的な技術であるため、その詳細の説明は省略する。

まずステップＳ８０１において、システム制御部２０９は、ステップＳ６０３にて決定した主枠選択領域に含まれるＡＦ枠の数が所定の閾値以上であるか否かを判定する。ＡＦ枠の数が所定の閾値以上であると判定された場合、ステップＳ８０２へ進む。一方、ＡＦ枠の数が所定の閾値未満である場合、ステップＳ８０８へ進む。ステップＳ８０８において、システム制御部２０９は、中央優先主枠選択を行い、検出被写体主枠選択の処理を終了する。

ステップＳ８０２において、システム制御部２０９は、主枠選択領域内に設定されたＡＦ枠毎に算出されたデフォーカス量を所定深度毎にカウントして、ヒストグラムを作成する。そしてシステム制御部２０９は、ヒストグラムのピーク値（ヒストピーク）を算出する。続いてステップＳ８０３において、システム制御部２０９は、ステップＳ８０２にて作成したヒストグラムのピーク値（ヒストピーク）のＡＦ枠の数が所定以上であるか否かを判定する。本実施形態では、全ＡＦ枠数でヒストグラムのピーク値を正規化して割合へ変換して使用する。ヒストピークのＡＦ枠の数が所定数以上である場合、ステップＳ８０４へ進む。一方、ヒストピークのＡＦ枠の数が所定数未満である場合、ステップＳ８０８へ進む。ステップＳ８０８において、システム制御部２０９は、中央優先主枠選択を行い、検出被写体主枠選択の処理を終了する。

ステップＳ８０４において、システム制御部２０９は、主枠選択領域の中から主枠を選択するために全枠分のループ処理を行う。ステップＳ８０５において、システム制御部２０９は、主枠がヒストピークとしてカウントされているＡＦ枠（ヒストピークのＡＦ枠）か否かを判定する。主枠がヒストピークのＡＦ枠であると判定された場合、ステップＳ８０６へ進む。一方、主枠がヒストピークのＡＦ枠でないと判定された場合、ステップＳ８０４のループ処理を繰り返す。ステップＳ８０６において、システム制御部２０９は、座標が現在選択されている主枠よりも主枠選択領域の中心に近いと判定された場合、ステップＳ８０７に進む。一方、座標が現在選択されている主枠よりも主枠選択領域の中心から遠いと判定された場合、ステップＳ８０４のループ処理を繰り返す。ステップＳ８０７において、システム制御部２０９は、主枠を更新する。ステップＳ８０４のループが終了した場合、検出被写体主枠選択の処理を終了する。

なお本実施形態において、検出した被写体の種類に応じて、検出被写体主枠選択の処理を異ならせてもよい。例えば、被写体が人間の場合には、前述のような合焦する領域の数の情報に基づいて合焦すべき領域を決定し、被写体が動物の場合には、より至近に焦点検出された領域を優先して選択することができる。

（中央優先主枠選択）
次に、図１１を参照して、図１０のステップＳ８０８（中央優先主枠選択）について説明する。図１１は、中央優先主枠選択のフローチャートである。

まずステップＳ９０１において、システム制御部２０９は、主枠選択領域の中心（中心枠）が所定深度内か否かを判定する。中心枠が所定深度内であると判定された場合、ステップＳ９０３へ進む。一方、中心枠が所定深度内でないと判定された場合、ステップＳ９０２へ進む。ステップＳ９０２において、システム制御部２０９は、後述する至近優先主枠選択を行い、中央優先主枠選択の処理を終了する。ステップＳ９０３において、システム制御部２０９は、主枠選択領域の中心（中心枠）を主枠に設定し、中央優先主枠選択の処理を終了する。

（至近優先主枠選択）
次に、図１２を参照して、図１１のステップＳ９０２（至近優先主枠選択）について説明する。図１２は、至近優先主枠選択のフローチャートである。

まずステップＳ１００１において、システム制御部２０９は、設定した主枠選択領域の中から主枠を選択するために全枠分のループ処理を行う。主枠の初期値は、主枠が選択されていないことが判定できる情報（全枠数＋１など）を予め設定しておくものとし、図は省略する。続いてステップＳ１００２において、システム制御部２０９は、対象の主枠が選択している主枠（現在の主枠）よりも至近かつ所定深度内のデフォーカス量か否かを判定する。ステップＳ１００２の条件を満たすと判定された場合、ステップＳ１００３へ進み、システム制御部２０９は主枠を更新する。一方、ステップＳ１００２の条件を満たさないと判定された場合、システム制御部２０９は主枠を更新しない。

続いてステップＳ１００４において、システム制御部２０９は、ステップＳ１００１のループによって主枠が選択できたか否か（主枠が初期値か否か）を判定する。主枠が選択できたと判定された場合、システム制御部２０９は至近優先主枠選択の処理を終了する。一方、主枠が選択できない（主枠が初期値である）と判定された場合、ステップＳ１００５へ進む。ステップＳ１００５において、システム制御部２０９は、主枠選択領域の中心を主枠に設定し、至近優先主枠選択の処理を終了する。

（レンズ駆動量算出）
次に、図１３を参照して、図６のステップＳ４０３（レンズ駆動量算出）について説明する。図１３は、レンズ駆動量算出のフローチャートである。まずステップＳ１１０１において、システム制御部２０９は、ステップＳ４０２にて選択した主枠における焦点検出結果（デフォーカス量および被写体の第１像面位置）を記憶する。焦点検出結果は、例えばシステム制御部２０９の内部メモリ（記憶手段）に記憶されるが、システム制御部２０９の外部に設けられたメモリに記憶されてもよい。主枠の焦点検出結果は、焦点検出ごとに記憶されるため、過去の焦点検出結果の履歴を遡ることができる。

続いてステップＳ１１０２において、システム制御部２０９は、焦点検出結果（デフォーカス量）の履歴に基づいて、被写体移動予測部２１９を用いて予測処理を行う。すなわちシステム制御部２０９は、被写体移動予測部２１９を用いて、所定の時点での被写体の予測像面位置（第２像面位置）を予測する。

図１４は、予測処理の説明図である。図１４において、横軸は時間、縦軸は像面位置をそれぞれ示す。被写体移動予測部２１９は、過去の焦点検出結果の履歴に基づいて、図１４に示されるような予測曲線を引くことで、予測駆動量および焦点検出結果のばらつきを算出する予測処理を行う。図１４は、像面位置が大きいほど距離が遠いことを示している。また、図１４中の履歴は、撮影者（カメラ）に近付く被写体を追従している様子を示している。

前述した通り、図２のステップＳ２０３におけるＡＦ動作は、サーボ撮影モードでは周期的に実施されており、時間Ｔ１～Ｔ５は各々、ステップＳ２０３で行われるＡＦ動作の実施時刻を表している。予測像面位置は、例えば、過去の像面位置とそれぞれの焦点検出時刻とを用いた一括最小二乗法によって予測曲線を導出し、予測曲線に基づいて予測時刻（所定の時点）での像面位置（第２像面位置）を算出（予測）することで得られる。予測時刻は、ＳＷ２（２１８）がＯＮであれば撮影時の時刻を、ＳＷ２（２１８）がＯＦＦであれば今回の焦点検出時刻を示す。なお、予測手法は、一括最小二乗法に限定されるものではない。例えば、逐次最小二乗法を使用する場合には過去の焦点検出履歴を複数保存しておく必要はなく、前回のＡＦ動作時に算出したパラメータを記録しておくことにより過去の焦点検出履歴の代替とすることができる。予測処理が終了した後、図１３のステップＳ１１０３へ進む。

ステップＳ１１０３において、システム制御部２０９は、予測誤差閾値（第１閾値）を算出して設定する。予測誤差閾値は、焦点検出結果の像面位置とステップＳ１１０２にて算出した予測像面位置との乖離量として許容可能な範囲（予測像面位置を信用可能なデフォーカス量の範囲）を、被写体検出部２１１で検出された被写体の検出信頼度に基づいて算出される。ここで、検出信頼度は、第１時点と第２時点（第１時点の直前の時点）のそれぞれで被写体検出部２１１により検出された被写体のマッチング度合い、または、被写体検出部２１１により検出された被写体の特定被写体らしさの度合いを示す。被写体の検出信頼度をＲ、予測誤差閾値設定に関する定数Ｃとするとき、予測誤差閾値Ｄは、例えば以下の式（１）のように表現できる。

ここで、被写体の検出信頼度Ｒは、被写体の検出結果がより信頼できる場合には大きく、被写体がより信頼できない場合には小さくなる。また、被写体の検出信頼度Ｒの取りうる最低値は、０よりも大きい。

続いてステップＳ１１０４において、システム制御部２０９は、焦点検出結果の第１像面位置と、ステップＳ１１０２にて算出した予測像面位置（第２像面位置）との差の絶対値が、ステップＳ１１０３にて設定された予測誤差閾値以上であるか否かを判定する。焦点検出結果の像面位置と予測像面位置との差の絶対値が予測誤差閾値未満であると判定された場合、ステップＳ１１０８へ進む。一方、焦点検出結果の像面位置と予測像面位置との差が予測誤差閾値以上であると判定された場合、ステップＳ１１０５へ進む。

ステップＳ１１０８において、システム制御部２０９は、フォーカスレンズ１０３の駆動目標（レンズ駆動目標）を予測像面位置に設定し、レンズ駆動目標までの差分をレンズ駆動量としてレンズ駆動量算出の処理を終了する。ステップＳ１１０５において、システム制御部２０９は、被写体検出部２１１にて検出された被写体の検出信頼度が閾値（第２閾値）以上であるか否かを判定する。検出信頼度が閾値以上であると判定された場合、ステップＳ１１０６へ進む。一方、検出信頼度が閾値未満であると判定された場合、ステップＳ１１０７へ進む。

ステップＳ１１０６において、システム制御部２０９は、フォーカスレンズ１０３の駆動目標を焦点検出結果の像面位置に設定し、レンズ駆動目標までの差分をレンズ駆動量としてレンズ駆動量算出の処理を終了する。本実施形態では、焦点検出結果の像面位置と、予測結果の像面位置（予測像面位置）との間に乖離が生じた際、被写体検出結果の信頼度（検出信頼度）が十分に高い場合には、焦点検出結果に基づく駆動を行う。これにより、被写体の動きが大きく変化した場合、または過去の焦点検出結果に誤りが発生した場合でも、フォーカス駆動目標位置を大きく誤ることなく、被写体を追従し続けることが可能となる。ステップＳ１１０７において、システム制御部２０９は、焦点検出結果の像面位置を用いることなく、例えばフォーカスレンズ１０３の駆動量を０（ゼロ）に設定し、レンズ駆動量算出の処理を終了する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、安定して被写体を追尾することが可能な焦点調節装置、撮像装置、焦点調節方法、およびプログラムを提供することができる。

各実施形態の開示は、以下の構成および方法を含む。

（構成１）
撮像素子から出力される画像データに基づいて、被写体の第１像面位置および検出信頼度を取得する被写体検出手段と、
焦点検出手段により取得されるデフォーカス量の履歴に基づいて、前記被写体の第２像面位置を予測する予測手段と、
前記被写体に焦点を合わせるためのフォーカスレンズの駆動量を設定する制御手段と、を有し、
前記制御手段は、前記第１像面位置と前記第２像面位置との差が第１閾値よりも大きいと判定した場合、前記第１像面位置に基づいてフォーカスレンズの駆動量を設定することを特徴とする焦点調節装置。
（構成２）
前記制御手段は、前記差が前記第１閾値よりも小さいと判定した場合、前記第２像面位置に基づいて前記駆動量を設定することを特徴とする構成１に記載の焦点調節装置。
（構成３）
前記制御手段は、前記検出信頼度が第２閾値よりも大きいと判定した場合、前記第１像面位置に基づいて前記駆動量を設定することを特徴とする構成１または２に記載の焦点調節装置。
（構成４）
前記制御手段は、前記検出信頼度が前記第２閾値よりも小さいと判定した場合、前記第１像面位置を用いることなく前記駆動量を設定することを特徴とする構成３に記載の焦点調節装置。
（構成５）
前記第１閾値は、前記第２像面位置を信用可能な前記デフォーカス量の範囲を示すことを特徴とする構成１乃至４のいずれかに記載の焦点調節装置。
（構成６）
前記第１閾値は、前記検出信頼度に応じて変化することを特徴とする構成１乃至５のいずれかに記載の焦点調節装置。
（構成７）
前記第１閾値は、前記検出信頼度が高いほど低いことを特徴とする構成６に記載の焦点調節装置。
（構成８）
前記検出信頼度は、第１時点と第２時点のそれぞれで前記被写体検出手段により検出された前記被写体のマッチング度合いを示すことを特徴とする構成１乃至７のいずれかに記載の焦点調節装置。
（構成９）
前記検出信頼度は、前記被写体検出手段により検出された前記被写体の特定被写体らしさの度合いを示すことを特徴とする構成１乃至７のいずれかに記載の焦点調節装置。
（構成１０）
前記デフォーカス量の前記履歴を記憶する記憶手段を更に有することを特徴とする構成１乃至９のいずれかに記載の焦点調節装置。
（構成１１）
前記記憶手段は、前記制御手段が前記第１像面位置に基づいて前記駆動量を設定した場合でも、前記デフォーカス量を記憶し続けることを特徴とする構成１０に記載の焦点調節装置。
（構成１２）
撮像素子と、
構成１乃至１１のいずれか一項に記載の焦点調節装置と、を有することを特徴とする撮像装置。
（構成１３）
前記駆動量に基づいて前記フォーカスレンズを駆動する駆動手段を更に有することを特徴とする構成１２に記載の撮像装置。
（方法１）
撮像素子から出力される画像データに基づいて、被写体の第１像面位置および検出信頼度を取得する取得ステップと、
焦点検出手段により取得されるデフォーカス量の履歴に基づいて、所定の時点での前記被写体の第２像面位置を予測する予測ステップと、
前記被写体に焦点を合わせるためのフォーカスレンズの駆動量を設定する設定ステップと、を有し、
前記設定ステップにおいて、前記第１像面位置と前記第２像面位置との差が第１閾値よりも大きいと判定された場合、前記第１像面位置に基づいてフォーカスレンズの駆動量を設定することを特徴とする焦点調節方法。
（構成１４）
方法１に記載の焦点調節方法をコンピュータに実行させることを特徴とするプログラム。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ フォーカスレンズ
２００ カメラ本体（焦点調節装置）
２０１ 撮像素子
２０４ ＡＦ信号処理部（焦点検出手段）
２０９ システム制御部（制御手段）
２１１ 被写体検出部（被写体検出手段）
２１９ 被写体移動予測部（予測手段）

Claims (15)

1. 撮像素子から出力される画像データに基づいて、被写体の第１像面位置および検出信頼度を取得する被写体検出手段と、
   焦点検出手段により取得されるデフォーカス量の履歴に基づいて、前記被写体の第２像面位置を予測する予測手段と、
   前記被写体に焦点を合わせるためのフォーカスレンズの駆動量を設定する制御手段と、を有し、
   前記制御手段は、前記第１像面位置と前記第２像面位置との差が第１閾値よりも大きいと判定した場合、前記第１像面位置に基づいてフォーカスレンズの駆動量を設定することを特徴とする焦点調節装置。
2. 前記制御手段は、前記差が前記第１閾値よりも小さいと判定した場合、前記第２像面位置に基づいて前記駆動量を設定することを特徴とする請求項１に記載の焦点調節装置。
3. 前記制御手段は、前記検出信頼度が第２閾値よりも大きいと判定した場合、前記第１像面位置に基づいて前記駆動量を設定することを特徴とする請求項１に記載の焦点調節装置。
4. 前記制御手段は、前記検出信頼度が前記第２閾値よりも小さいと判定した場合、前記第１像面位置を用いることなく前記駆動量を設定することを特徴とする請求項３に記載の焦点調節装置。
5. 前記第１閾値は、前記第２像面位置を信用可能な前記デフォーカス量の範囲を示すことを特徴とする請求項１に記載の焦点調節装置。
6. 前記第１閾値は、前記検出信頼度に応じて変化することを特徴とする請求項１に記載の焦点調節装置。
7. 前記第１閾値は、前記検出信頼度が高いほど低いことを特徴とする請求項６に記載の焦点調節装置。
8. 前記検出信頼度は、第１時点と第２時点のそれぞれで前記被写体検出手段により検出された前記被写体のマッチング度合いを示すことを特徴とする請求項１に記載の焦点調節装置。
9. 前記検出信頼度は、前記被写体検出手段により検出された前記被写体の特定被写体らしさの度合いを示すことを特徴とする請求項１に記載の焦点調節装置。
10. 前記デフォーカス量の前記履歴を記憶する記憶手段を更に有することを特徴とする請求項１に記載の焦点調節装置。
11. 前記記憶手段は、前記制御手段が前記第１像面位置に基づいて前記駆動量を設定した場合でも、前記デフォーカス量を記憶し続けることを特徴とする請求項１０に記載の焦点調節装置。
12. 撮像素子と、
    請求項１乃至１１のいずれか一項に記載の焦点調節装置と、を有することを特徴とする撮像装置。
13. 前記駆動量に基づいて前記フォーカスレンズを駆動する駆動手段を更に有することを特徴とする請求項１２に記載の撮像装置。
14. 撮像素子から出力される画像データに基づいて、被写体の第１像面位置および検出信頼度を取得する取得ステップと、
    焦点検出手段により取得されるデフォーカス量の履歴に基づいて、所定の時点での前記被写体の第２像面位置を予測する予測ステップと、
    前記被写体に焦点を合わせるためのフォーカスレンズの駆動量を設定する設定ステップと、を有し、
    前記設定ステップにおいて、前記第１像面位置と前記第２像面位置との差が第１閾値よりも大きいと判定された場合、前記第１像面位置に基づいてフォーカスレンズの駆動量を設定することを特徴とする焦点調節方法。
15. 請求項１４に記載の焦点調節方法をコンピュータに実行させることを特徴とするプログラム。