JP5879736B2 - 画像追尾装置および撮像装置 - Google Patents

Description

本発明は、画像追尾装置および撮像装置に関する。

撮影した画像内において追尾対象の被写体部分が含まれる領域（追尾領域）を設定し、追尾領域内の画像をテンプレート画像として記憶するとともに、繰り返し撮影される画像の中からテンプレート画像と類似度の高い領域を検索し、その領域へ追尾領域を移動して被写体部分を追尾するようにした画像追尾装置が知られている（例えば特許文献１）。

特開２００８−１８７３３１号公報

特許文献１に記載の画像追尾装置には、追尾対象の被写体部分が低コントラストになると、焦点調節を正しく行うことができないという問題があった。

請求項１に係る発明は、撮像光学系を介して追尾対象の被写体を撮像した画像の一部分をテンプレート画像として記憶するテンプレート画像記憶部と、複数のフォーカスエリア毎の撮像光学系の焦点状態を検出する焦点検出部と、画像とテンプレート画像とを比較して、画像に暫定追尾領域と複数の追尾候補領域とを設定する追尾候補領域設定部と、焦点検出部で検出された暫定追尾領域内のフォーカスエリアの撮像光学系の焦点状態が撮像光学系の焦点調整に適している場合は、暫定追尾領域を追尾領域に設定し、焦点検出部で検出された暫定追尾領域内のフォーカスエリアの撮像光学系の焦点状態が撮像光学系の焦点調整に適していない場合は、焦点検出部により検出された複数の追尾候補領域のフォーカスエリアの撮像光学系の焦点状態から、撮像光学系の焦点調整に適しているフォーカスエリアを選択して、選択されたフォーカスエリアに基づき追尾領域を設定する追尾領域設定部と、を備える画像追尾装置である。
請求項３に係る発明は、請求項１または２に記載の画像追尾装置と、被写体を撮像する撮像部と、を備えることを特徴とする撮像装置である。

本発明によれば、焦点調節に適した被写体部分を追尾することができる。

本発明を適用したカメラの全体構成を示すブロック図である。 撮影光学系の撮影画面１７内に設定されたフォーカスエリアａを示す図である。 追尾領域の例を示す図である。 第１の実施の形態の自動焦点調節処理を示すフローチャートである。 図４のステップＳ３０２における追尾制御部３６の初回追尾制御を示すフローチャートである。 図４のステップＳ３０４の追尾演算処理を示すフローチャートである。 候補領域の一例を示す図である。 第２の実施の形態の自動焦点調節処理を示すフローチャートである。

（第１の実施の形態）
図１は、本発明を適用したカメラの全体構成を示すブロック図である。カメラ１は、カメラ本体１０と、カメラ本体１０に着脱可能な交換レンズ２０によって構成された、いわゆるデジタル一眼レフカメラである。交換レンズ２０は、鏡筒２１の内部に、結像光学系を構成する複数のレンズ群Ｌ１，Ｌ２，Ｌ３と、レンズ駆動用モータ２２とを備えている。レンズ群Ｌ２は、光軸ＯＡ方向に移動して結像位置を調節可能な焦点調節レンズであって、レンズ駆動用モータ２２により駆動される。レンズ駆動用モータ２２は、後述するカメラ本体１０が備える制御装置３０によって制御される。

カメラ本体１０は、撮像素子１１と、クイックリターンミラー１２Ａと、サブミラー１２Ｂと、ファインダー光学系１３と、測光部１４と、位相差ＡＦ検出部１５と、操作部材１６と、制御装置３０と、を備えている。

撮像素子１１は、被写体光を電気信号に変換するＣＣＤやＣＭＯＳ等の光電変換素子であって、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の各画素が所定の配列パターンで配列されている。撮像素子１１は、交換レンズ２０の結像光学系により結像面に結像される被写体像を撮像し、各画素に対応する色情報や輝度情報に応じた画像信号を制御装置３０に出力する。

クイックリターンミラー１２Ａは、交換レンズ２０の結像光学系から撮像素子１１に至る光路中に介在する作用位置と、光路中に介在しない退避位置との間を移動可能に設けられている。クイックリターンミラー１２Ａは、作用位置において、入射光束をファインダー光学系１３（ファインダースクリーン１３Ａ）へと反射する。また、クイックリターンミラー１２Ａの一部には、入射光束の一部を透過する半透過領域が形成されている。

サブミラー１２Ｂは、クイックリターンミラー１２Ａの背面側に設けられている。サブミラー１２Ｂは、クイックリターンミラー１２Ａの半透過領域を透過した入射光束を位相差ＡＦ検出部１５に向けて反射させる。

ファインダー光学系１３は、ファインダースクリーン１３Ａと、ペンタプリズム１３Ｂと、接眼レンズ１３Ｃとを有する。ファインダースクリーン１３Ａは、撮像素子１１と光学的に等価な位置に設けられており、クイックリターンミラー１２Ａによって導かれた入射光束が結像する。ペンタプリズム１３Ｂおよび接眼レンズ１３Ｃは、このファインダースクリーン１３Ａ上に結像した被写体像を、正立像として撮影者が視認し得るようになっている。

測光部１４は、測光用レンズ１４Ａと、測光センサ１４Ｂとを備える。測光用レンズ１４Ａは、ファインダースクリーン１３Ａに結像した被写体像を、ペンタプリズム１３Ｂを介して測光センサ１４Ｂに導く。測光センサ１４Ｂは、撮像素子１１と同様に、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の各画素が所定の配列パターンで配列されており、レンズ光学系により結像面に結像される被写体像を撮像し画像信号を出力する。制御装置３０は、測光センサ１４Ｂからの画像信号に基づいて結像面の明るさを検出し、露出を決定する。また、制御装置３０は、測光センサ１４Ｂから入力される画像信号に基づいて、後述の追尾制御部３６により追尾制御を行う。

操作部材１６は、カメラ１の操作を行うための図示しない各種スイッチ類によって構成される。たとえば、カメラ１の動作モードを選択するためのモード選択スイッチ、フォーカスエリアを選択するためのエリア選択スイッチ、自動焦点調節の開始および撮影を指示するためのレリーズボタンなどが含まれる。

図２は、撮影光学系の撮影画面１７内に設定されたフォーカスエリアａを示す図である。位相差ＡＦ検出部１５は、撮影画面１７の所定位置に複数のフォーカスエリアａを設けている。本実施形態では、図２に示すように、撮影画面全体に４９点のフォーカスエリア（焦点検出エリア、測距点、ＡＦエリアとも称する）が設けられている。

また、位相差ＡＦ検出部１５は、各フォーカスエリアに対応して配置されたラインセンサを有している。ラインセンサは、一対の電荷蓄積型光電変換素子アレイ（ＣＣＤラインセンサ等）である。交換レンズ２０の異なる領域を通過して２つに分けられた一対の光束が、集光レンズによって集光され、一対の被写体像がラインセンサに再結像される。そして、ラインセンサは、一対の被写体像に対して、設定された時間だけ電荷の蓄積を行い、一対の被写体像の輝度分布に対応したＡＦ用像検知信号を出力する。このラインセンサの電荷蓄積時間は、後述する制御装置３０におけるＡＦ−ＣＣＤ制御部３１によって制御される。

制御装置３０は、ＣＰＵやメモリ等によって構成されており、カメラ１の動作制御を行う。また、これらの処理や制御において必要な情報を一時的に記憶する。上述したように、制御装置３０は、測光センサ１４Ｂからの測光信号に基づいて結像面の明るさを検出し、露出を決定する。

さらに制御装置３０は、自動焦点調節に関連する機能部として、図１に示すように、ＡＦ−ＣＣＤ制御部３１と、デフォーカス演算部３２と、フォーカスエリア位置決定部３３と、レンズ駆動量演算部３４と、レンズ駆動制御部３５と、追尾制御部３６と、記憶部３７とを備えている。

ＡＦ−ＣＣＤ制御部３１は、位相差ＡＦ検出部１５に設けられたラインセンサからＡＦ用像検知信号を読み出し、デフォーカス演算部３２に出力する。デフォーカス演算部３２は、ＡＦ−ＣＣＤ制御部３１によって読み出されたラインセンサのＡＦ用像検知信号に基づいて、撮影画面内の被写体像について焦点検出を行い、交換レンズ２０の焦点調節状態（ピントのずれ量）を表すデフォーカス量をフォーカスエリアａ毎に算出する。

フォーカスエリア位置決定部３３は、デフォーカス演算部３２によって算出されたデフォーカス量や、後述する追尾制御の結果等に基づいて、交換レンズ２０を最終的に合焦させるフォーカスエリア（以後、目標フォーカスエリアと呼ぶ）を決定する。目標フォーカスエリアを決定したフォーカスエリア位置決定部３３は、その目標フォーカスエリアのデフォーカス量を記憶部３７に記憶する。

レンズ駆動量演算部３４は、目標フォーカスエリアの被写体部分にピントを合わせるための、焦点調節レンズ（レンズ群Ｌ２）の駆動量を演算する。本実施形態では、デフォーカス演算部３２によって算出された目標フォーカスエリアのデフォーカス量に基づいて、焦点調節レンズ（レンズ群Ｌ２）の駆動位置の目標となるレンズ目標位置を演算することにより、レンズ駆動量の演算を行う。なお、レンズ目標位置は、目標フォーカスエリアのデフォーカス量がほぼ０となる焦点調節レンズ（レンズ群Ｌ２）の位置に相当する。

レンズ駆動制御部３５は、レンズ駆動量演算部３４によって演算されたレンズ駆動量、すなわち焦点調節レンズ（レンズ群Ｌ２）に対するレンズ目標位置に基づいて、交換レンズ２０のレンズ駆動用モータ２２へ駆動制御信号を出力する。この駆動制御信号に応じて、レンズ駆動用モータ２２が焦点調節レンズ（レンズ群Ｌ２）を駆動して、レンズ目標位置へ移動させることにより、自動焦点調節を行う。

（追尾制御の説明）
追尾制御部３６が実行する追尾制御について説明する。追尾制御部３６は、周知のテンプレートマッチング等により特定の被写体部分を追尾する追尾制御を実行する。本実施形態では、追尾制御の実行に先立って、使用者が操作部材１６により追尾処理に用いるフォーカスエリアを入力する。追尾制御部３６は追尾制御の開始時、撮影画面におけるこのフォーカスエリアの位置を基準として、追尾対象の被写体部分が含まれる追尾領域を撮影画面内に設定する。この設定により、追尾領域の座標とテンプレート画像とが記憶部３７に記憶される。

図３は、追尾領域の例を示す図である。図３（ａ）に示すように、使用者が操作部材１６により撮影画面１７内のフォーカスエリアａ１を選択すると、追尾制御部３６はこのフォーカスエリアａ１を含みフォーカスエリアａ１より大きい所定サイズの追尾領域ｂ１を設定する。追尾領域ｂ１の設定は、フォーカスエリアａ１の周辺で、フォーカスエリアａ１内の被写体部分の色情報と同様の色情報を有する領域を検知することにより行われる。追尾制御部３６は、追尾領域ｂ１の座標と追尾領域ｂ１に対応する矩形の画像とを記憶部３７に記憶する。なお、追尾領域ｂ１の大きさは固定であってもよいし、可変であってもよい。追尾領域ｂ１の大きさを固定にする場合、記憶部３７には追尾領域ｂ１の位置を特定するための情報として、四隅のいずれかの点の座標を記憶すれば足りる。

追尾制御部３６はその後、所定周期（例えば１／６０秒）ごとに測光センサ１４Ｂから出力される画像信号に対して、記憶部３７に記憶されているテンプレート画像とのマッチングを行うことにより、記憶部３７に記憶されている追尾領域の座標とテンプレート画像とを繰り返し更新する。図３（ｂ）は更新後の追尾領域を示す図である。図３（ａ）において撮影画面１７の中央付近に位置していた追尾領域ｂ１が、図３（ｂ）では撮影画面１７の右上寄りの位置に移動している。

本実施形態の追尾制御部３６は、追尾領域を更新する際、測光センサ１４Ｂから入力される画像信号に基づいて、撮影画面内において移動した追尾対象の被写体部分の移動後の領域を候補領域として複数推定する。本実施形態ではこの推定は、画像信号の複数箇所においてテンプレート画像との比較を行い、それら複数箇所の各々についてテンプレート画像との類似度（テンプレート画像との一致の度合いを表す数値であり、本実施形態では大きいほどテンプレート画像とよく一致していることを表す）を算出することにより行われる。追尾制御部３６は、算出された類似度が所定のしきい値以上であるような全ての領域を候補領域とし、記憶部３７に記憶しておく。

追尾制御部３６はこれら複数の候補領域のうち、類似度が最も高い候補領域を暫定的に新たな追尾領域として記憶部３７に記憶する（記憶部３７に記憶されている追尾領域の座標およびテンプレート画像を更新する）。フォーカスエリア位置決定部３３は、この暫定的な追尾領域に対応するフォーカスエリアが焦点調節に適していれば、そのフォーカスエリアを目標フォーカスエリアに決定する。

他方、暫定的な追尾領域に対応するフォーカスエリアが焦点調節に適さない場合、フォーカスエリア位置決定部３３は、記憶部３７に記憶されている候補領域の各々に対応するフォーカスエリアから、焦点調節に適したフォーカスエリアを選択し、目標フォーカスエリアに決定する。この場合、追尾制御部３６は、目標フォーカスエリアに対応する候補領域を新たな追尾領域として選択する。

すなわち、もし暫定的な追尾領域に対応するフォーカスエリアが焦点調節に適さず、記憶部３７に記憶されている候補領域に焦点調節に適したフォーカスエリアに対応する候補領域があった場合、追尾制御部３６は、その候補領域を新たな追尾領域として選択する（記憶部３７に記憶する）。他方、暫定的な追尾領域に対応するフォーカスエリアが焦点調節に適していれば、この暫定的な追尾領域をそのまま新たな追尾領域とする。

なお、本実施形態において、「追尾領域（候補領域）に対応するフォーカスエリア」とは、フォーカスエリア全体の半分以上がその追尾領域（候補領域）に含まれるような全てのフォーカスエリアである。これを、例えばフォーカスエリア全体がその追尾領域に含まれるような全てのフォーカスエリアとしてもよいし、少なくとも一部がその追尾領域に含まれるような全てのフォーカスエリアとしてもよい。

また、本実施形態では、「焦点調節に適したフォーカスエリア」を、そのフォーカスエリアにおいて今回算出されたデフォーカス量と記憶部３７に記憶されているデフォーカス量（前回の目標フォーカスエリアのデフォーカス量）との差が所定のしきい値未満であるようなフォーカスエリア、としている。追尾対象の被写体部分とカメラ１との距離が短時間で急激に変化することは考えにくいため、焦点調節に適しているか否かを上記のように判定することで、被写体追尾中のピント位置の急激な変化を抑制することができる。なお、例えばデフォーカス量の絶対値やコントラストの強さなどによって、フォーカスエリアが焦点調節に適しているか否かを判定してもよい。

（自動焦点調節処理の説明）
図４は、本実施形態の自動焦点調節処理を示すフローチャートである。制御装置３０は、所定のＡＦ操作（例えば操作部材１６に含まれるレリーズボタンの半押し操作）が成されているとき、図４に示す自動焦点調節処理を繰り返し実行する。これにより、ＡＦ操作中、被写体の移動に応じてピント位置も変化するので、被写体に対してピントが合った状態を維持することができる。

以下、まず追尾領域に対応するフォーカスエリアが、焦点調節に適した状態であり続ける場合の処理について説明し、その後に、ある時点で追尾領域に対応するフォーカスエリアが焦点調節に適さなくなった場合の処理を説明する。

ステップＳ３０２において、制御装置３０は、本ＡＦ動作が初回ＡＦ動作であるかどうかを判定する。すなわち、ＡＦ操作が開始された直後でＡＦの演算結果が何も出力されていない段階は、初回ＡＦ動作と判定される。初回ＡＦ動作の場合はステップＳ３０３へ進む。ステップＳ３０３で制御装置３０は、追尾制御部３６により図５に示す初回追尾制御を行う。

図５は、図４のステップＳ３０２における追尾制御部３６の初回追尾制御を示すフローチャートである。ステップＳ１０１において追尾制御部３６は、測光センサ１４Ｂにより入力された画像信号中の、使用者により指定されたフォーカスエリア（図３に示すフォーカスエリアａ１）に対応する領域の画像の被写体の色情報を記憶する。ステップＳ１０２において追尾制御部３６は、画像信号中のフォーカスエリアａ１の周辺部で、フォーカスエリアａ１の色情報と同様な色情報を示す領域を検出する。

ステップＳ１０３において追尾制御部３６は、検出した領域を追尾領域ｂ１とし、その座標を記憶部３７に記憶する。ステップＳ１０４において追尾制御部３６は、その追尾領域ｂ１の色情報を以降の追尾処理に用いるテンプレート画像として記憶部３７に記憶する。ステップＳ１０５において追尾制御部３６は、追尾領域ｂ１を所定画素ずつ拡大した領域を探索範囲に設定する。

図４に戻り、引き続き自動焦点調節処理を説明する。図５で説明したステップＳ３０２の初回追尾制御が終了すると、ステップＳ３０６に進む。ステップＳ３０６において制御装置３０は、ステップＳ１０３で記憶された追尾領域ｂ１に対応するフォーカスエリアをＡＦ演算エリア（デフォーカス演算部３２によりデフォーカス量が演算されるフォーカスエリア）に設定する。初回ＡＦ動作時、「追尾領域ｂ１に対応するフォーカスエリア」とは、追尾領域ｂ１の中央に位置する１つのフォーカスエリアである。ステップＳ３０７において制御装置３０は、ＡＦ−ＣＣＤ制御部３１より指示し、位相差ＡＦ検出部１５（ラインセンサ）に蓄積制御を行わせる。

ステップＳ３０８において制御装置３０は、ＡＦ−ＣＣＤ制御部３１により位相差ＡＦ検出部１５（ラインセンサ）で蓄積した電荷のＡ／Ｄ変換を行い読み出した電荷信号から周知の相関演算により像ズレ量を求め、デフォーカス演算部３２によりデフォーカス量を算出する。続くステップＳ３０９において、制御装置３０は、所定エリア数のデフォーカス量の演算が終了したかどうかを判定する。ここでいう所定数は、追尾領域ｂ１に対応するするフォーカスエリアの数とする（初回ＡＦ動作時は１つ）。デフォーカス量の演算が終了するとステップＳ３１０に進む。

なお、位相差ＡＦ検出部１５が備え持つ全てのエリアが高速に演算可能であれば、ステップＳ３０６〜Ｓ３０９において、全てのフォーカスエリアのデフォーカス量を演算してもよい。

ステップＳ３１０において制御装置３０は、フォーカスエリア位置決定部３３により焦点調節対象のフォーカスエリアの選択判定を行う。この選択判定では、追尾領域ｂ１に対応するフォーカスエリアから、デフォーカス量が所定条件を満たすものが焦点調節対象のフォーカスエリア（目標フォーカスエリア）として選択される。初回ＡＦ動作時、この所定条件は例えば「デフォーカス量が所定のしきい値以下であること」のように定められる。追尾領域ｂ１に相当するフォーカスエリアがこの所定条件を満たさない場合には、ステップＳ３１０において目標フォーカスエリアは選択されない。

ステップＳ３１１において制御装置３０は、ステップＳ３１０において目標フォーカスエリアが選択されたか否かを判定する。目標フォーカスエリアが選択された場合にはステップＳ３１２に進む。ステップＳ３１２において制御装置３０は、目標フォーカスエリアのデフォーカス量に基づいて、レンズ駆動量演算部３４によりレンズ駆動量演算を行う。ステップＳ３１３において、制御装置３０はステップＳ３１２のレンズ駆動量演算の結果に従い、レンズ駆動制御部３５によりレンズ駆動用モータ２２を駆動し、焦点調節レンズ（レンズ群Ｌ２）をレンズ目標位置へ移動させることにより、焦点調節を行う。

次に図４に示す処理が実行されるとき、制御装置３０はステップＳ３０２において初回ＡＦ動作ではないと判定し、処理はステップＳ３０４に進む。ステップＳ３０４で制御装置３０は、追尾制御部３６により図６に示す追尾演算制御を行う。

図６は、図４のステップＳ３０４の追尾演算制御を示すフローチャートである。ステップＳ２０１において追尾制御部３６は、ステップＳ１０５（図５）で設定された探索範囲から、テンプレート画像と同じサイズ（追尾領域ｂ１と同じサイズ）の領域を順次切り出し、切り出した画像とテンプレート画像とを対比し、画素ごとに色情報の差分を演算する。この色情報の差分の大小を反転させた数値が、本実施形態における類似度である。ステップＳ２０２において追尾制御部３６は、類似度が所定のしきい値より大きい領域（すなわち色情報の差分が所定値以下の領域）を探索し、それらの領域を候補領域とする。

本実施形態では、追尾領域の周辺に予め複数の領域を定めておき、これらの各領域について色情報の差分をステップＳ２０１と同様に演算し、この差分が所定のしきい値以下の領域を候補領域として推定する。なお、探索範囲を１画素ずつずらしながら走査して候補領域を推定してもよい。

ステップＳ２０３において追尾制御部３６は、ステップＳ２０２において推定された複数の候補領域から、類似度が最も大きい（色情報の差分が最も小さい）候補領域を、暫定的に追尾領域として選択する。ここで、この暫定的な追尾領域の画像情報を用いて、記憶部３７に記憶されているテンプレート画像の画像情報を更新してもよい。

図７は、候補領域の一例を示す図である。図７（ａ）および（ｂ）では、９つの候補領域６０２ａ〜６０２ｉが推定され、そのうちの候補領域６０２ｉが暫定的な追尾領域に設定されている。なお、候補領域の推定方法は他にも考えられ、例えば追尾領域を周辺に所定量ずつ拡大した領域６０１内を、ステップＳ２０１と同様に追尾領域ｂ１と同じサイズの領域を順次切り出して色情報の差分を演算し、所定のしきい値以下の領域（類似度が所定のしきい値以上の領域）を候補領域としてもよい。また、追尾領域の周辺に予め複数の領域を定めておき、色情報の差分を演算せず、無条件でそれら複数の領域が候補領域として推定されるようにしてもよい。ステップＳ２０４において追尾制御部３６は、暫定的な追尾領域を周辺に所定画素ずつ拡大した領域を新しい探索範囲とする。

図４に戻り、引き続き自動焦点調節処理を説明する。図６で説明したステップＳ３０４の追尾演算制御が終了すると、ステップＳ３０６に進む。ステップＳ３０６では初回ＡＦ動作時と同様に、追尾領域ｂ１に対応するフォーカスエリアをＡＦ演算エリアに設定する。２回目以降、「追尾領域ｂ１に対応するフォーカスエリア」とは、追尾領域ｂ１に少なくとも一部が重なるフォーカスエリアのうち、追尾領域ｂ１に重なる面積が所定量以上のフォーカスエリアである。従って、「追尾領域ｂ１に対応するフォーカスエリア」は複数のフォーカスエリアとなり、ステップＳ３０６ではこれら複数のフォーカスエリアがＡＦ演算エリアに設定される。

ステップＳ３０７〜ステップＳ３０９において実行される処理は初回ＡＦ動作時と同様である。ステップＳ３１０において制御装置３０は、初回ＡＦ動作時と同様に、追尾領域ｂ１に相当するフォーカスエリアから、デフォーカス量が所定条件を満たすものを焦点調節対象のフォーカスエリア（目標フォーカスエリア）として選択する。今回、この所定条件は例えば「前回の目標フォーカスエリアのデフォーカス量との差が所定値未満であり、且つデフォーカス量の絶対値が最小であること」のように定められる。上記のような条件を設定することにより、前回の（直前の）ピント位置から光軸方向に大きく異なる位置にピントを合わせないようになる。追尾領域ｂ１に相当するフォーカスエリアに上記の所定条件を満たすものが存在しない場合、採用エリアが選択されない点は初回ＡＦ動作時と同様である。

ステップＳ３１１〜ステップＳ３１３において実行される処理は初回ＡＦ動作時と同様である。このように、ステップＳ３１０において目標フォーカスエリアが選択されている限り、制御装置３０は上述の処理を繰り返し実行し、追尾領域は追尾対象の被写体部分の動きに合わせて次々に更新されていく。また、焦点調節は更新された追尾領域に対して次々に実行されていくので、移動する被写体に対し常にピントが合った状態を維持することができる。

次に、ステップＳ３１０において目標フォーカスエリアが選択されなかった場合について説明する。この場合、処理はステップＳ３１４に進む。ステップＳ３１４において制御装置３０は、ステップＳ３０２と同様に、ＡＦ動作が初回ＡＦ動作であるかどうかを判定する。すなわち、ＡＦ操作が行われた直後でＡＦの演算結果が何も出力されていない段階では、初回ＡＦ動作となる。初回ＡＦ動作であった場合、処理はステップＳ３２１に進む。ステップＳ３２１において制御装置３０は、いわゆるローコンスキャン動作を行う。つまり、レンズ駆動制御部３５によりレンズ駆動用モータ２２を駆動し、焦点調節レンズ（レンズ群Ｌ２）を所定方向（例えば無限遠方向）に所定量だけ（あるいは所定位置へ）移動させる。このとき、次回のＡＦ動作は初回ＡＦ動作として扱われる。

他方、初回ＡＦ動作ではなかった場合、処理はステップＳ３１４からステップＳ３１５に進む。ステップＳ３１５において制御装置３０は、ステップＳ３０６と同様に、ＡＦ演算エリアを設定する。ただし、追尾領域ｂ１に対応するフォーカスエリアではなく、ステップＳ３０４において推定された各候補領域に対応するフォーカスエリアをＡＦ演算エリアに設定する。なお、ステップＳ３０６において既にＡＦ演算エリアに設定されたフォーカスエリアは、ステップＳ３１５においてＡＦ演算エリアに設定する必要はない。これは、当該フォーカスエリアのデフォーカス量が、ステップＳ３０８において既に演算されているためである。

ステップＳ３１６ではステップＳ３０８と同様に、ステップＳ３１５で設定されたＡＦ演算エリアのデフォーカス量が演算される。ステップＳ３１７において制御装置３０は、全てのＡＦ演算エリアについてデフォーカス量の演算が終了したか否かを判定する。デフォーカス量の演算が全て終了している場合にはステップＳ３１８に進む。ステップＳ３１８において制御装置３０は、ステップＳ３１０のように、ステップＳ３１５でＡＦ演算エリアに設定された全てのフォーカスエリアから、デフォーカス量が所定条件を満たすものを目標フォーカスエリアとして選択する。なお、ステップＳ３１８においてフォーカスエリア位置決定部３３は、暫定的な追尾領域に近接する候補領域のフォーカスエリアや、暫定的な追尾領域に対応するフォーカスエリアと重なっている候補領域のフォーカスエリアを、他のフォーカスエリアよりも優先的に選択する。

ステップＳ３１９において制御装置３０は、ステップＳ３１８においていずれかのフォーカスエリアが目標フォーカスエリアとして選択されたか否かを判定する。目標フォーカスエリアが選択されなかった場合はステップＳ３２１に進み、前述の通りスキャン動作を行う。他方、目標フォーカスエリアが選択されていた場合にはステップＳ３２０に進む。ステップＳ３２０において制御装置３０は、追尾制御部３６に対して目標フォーカスエリアの位置情報や目標フォーカスエリアに対応する候補領域の情報など、ステップＳ３１８において選択された目標フォーカスエリアを基準に次回の追尾制御が行われるようにするための情報を出力する。追尾制御部３６はここで出力された情報を受けて、記憶部３７に新たな追尾領域（目標フォーカスエリアに対応する候補領域）を記憶する。その後、処理はステップＳ３１２に進み、決定された目標フォーカスエリアのデフォーカス量に基づいて、レンズ駆動量演算部３４によりレンズ駆動量演算が行われる。そしてステップＳ３１３において、制御装置３０はステップＳ３１２のレンズ駆動量演算の結果に従い、レンズ駆動制御部３５によりレンズ駆動用モータ２２を駆動し、焦点調節レンズ（レンズ群Ｌ２）をレンズ目標位置へ移動させることにより、焦点調節を行う。

上述した第１の実施の形態によるカメラシステムによれば、次の作用効果が得られる。
（１）追尾制御部３６は、追尾対象の被写体部分が含まれる追尾領域を撮影画面内に設定し、測光センサ１４Ｂから入力された画像信号に基づいて、撮影画面内において移動した追尾対象の被写体部分の移動後の領域を候補領域として複数推定する。そして、推定された複数の候補領域の各々においてデフォーカス演算部３２により演算されたそれぞれのデフォーカス量と、記憶部３７に記憶されているデフォーカス量とを比較し、複数の候補領域から新たな追尾領域を選択する。このようにしたので、焦点調節に適した被写体部分を追尾することができる。例えば、追尾制御により低コントラストな被写体部分に追尾領域が設定されると、対応するフォーカスエリアでは適正なデフォーカス量を算出できないことがあるが、本実施形態のカメラ１は、このような場合に、より焦点調節に適した位置に追尾領域を自動的に再設定し、追尾制御を継続することができる。

（２）追尾制御部３６は、画像信号の複数箇所において、追尾領域におけるテンプレート画像との比較を行い、複数箇所の各々についてテンプレート画像との類似度を算出し、それら複数の類似度に基づいて複数の候補領域を推定する。そして、類似度が最も高い候補領域（暫定的な追尾領域）について、その候補領域内においてデフォーカス演算部３２により演算されたデフォーカス量と記憶部３７に記憶されているデフォーカス量とが所定以上近い場合には、その候補領域を新たな追尾領域として選択し、所定以上近くない場合には、その候補領域とは異なる候補領域を新たな追尾領域として選択する。このようにしたので、新たな追尾領域を決定するための演算量を低減することができる。つまり、暫定的な追尾領域に対応するフォーカスエリアが焦点調節に適していれば、他のフォーカスエリアについてデフォーカス量を演算する必要がない。

（第２の実施の形態）
第１の実施の形態では、まず複数の候補領域を推定しておき、その後に、デフォーカス量に基づいて追尾領域を微調整していた。第２の実施の形態に係るカメラ１では、まず１つだけ候補領域を決定した後に、その候補領域の周辺に位置するフォーカスエリアから焦点調節対象のフォーカスエリア（目標フォーカスエリア）を選択し、目標フォーカスエリアの位置に基づいて新たな追尾領域を設定する。なお、以下の説明において、第１の実施の形態と同様の箇所については説明を省略する。

図８は、第２の実施の形態の自動焦点調節処理を示すフローチャートである。なお、図４に示す第１の実施の形態の自動焦点調節処理と同一の箇所については説明を省略する。ステップＳ４０１において制御装置３０は、ステップＳ３０５で記憶された追尾領域ｂ１を含み撮影画面より小さい探索領域を設定する。そして、この探索領域に含まれる全てのフォーカスエリアをＡＦ演算エリアに設定する。

ステップＳ４０２において制御装置３０は、ステップＳ４０１でＡＦ演算エリアに設定された全てのフォーカスエリアについて、デフォーカス演算部３２にデフォーカス量を演算させる。ステップＳ４０３では制御装置３０が、目標フォーカスエリアの判定を行う。ここで制御装置３０は、ステップＳ４０２においてデフォーカス量の演算が行われた各フォーカスエリアについて、所定条件に基づいてフォーカスエリアを１つ選択する。所定条件には例えばコントラストが所定の水準より高いことや、記憶部３７に記憶されているデフォーカス量との差が所定のしきい値未満であること、追尾領域に近接していること、など種々の条件を設定することが可能である。また、所定条件はこれらの各条件を組み合わせたものであってもよい。

ステップＳ４０４において制御装置３０は、ステップＳ３０３またはステップＳ３０４において記憶部３７に記憶された新たな追尾領域を補正する必要があるか否かを判定する。具体的には、ステップＳ４０３で選択された焦点調節対象のフォーカスエリア（目標フォーカスエリア）が、記憶部３７に記憶された新たな追尾領域内のフォーカスエリアか否かを判定する。追尾領域外のフォーカスエリアが選択されていた場合には、記憶部３７に記憶されている追尾領域を、ステップＳ４０３で選択されたフォーカスエリアを含む位置に再設定する（補正する）。

上述した第２の実施の形態によるカメラシステムによれば、次の作用効果が得られる。
（１）追尾制御部３６は、測光センサ１４Ｂから出力される画像信号に基づいて、撮影画面内において移動した追尾対象の被写体部分の移動後の領域を候補領域として推定する。そして、候補領域を含み撮影画面より小さい探索領域を設定した後に、探索領域内の複数箇所の各々においてデフォーカス演算部３２により算出されたそれぞれのデフォーカス量と、記憶部３７に記憶されているデフォーカス量とを比較し、複数箇所のいずれかに新たな追尾領域を設定する。このようにしたので、デフォーカス量の演算量が増加する代わりに、デフォーカス量に応じた追尾領域の補正がより頻繁に行われ、被写体追尾の精度が向上する。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した第１の実施の形態では、複数の候補領域のうち最も類似度が高い候補領域を暫定的な追尾領域とし、まずこの領域についてデフォーカス量の演算等を行っていた。これを、全ての候補領域についてデフォーカス量の演算を行うようにしてもよい。この場合、各候補領域に対応するフォーカスエリアのうち、最も焦点調節に適したフォーカスエリアを目標フォーカスエリアに決定すると共に、その目標フォーカスエリアに対応する候補領域を追尾領域とすればよい。

（変形例２）
上述した各実施の形態における自動焦点調節制御および追尾制御は、短時間に連続して撮影を行う、いわゆる連写を行う場合にも適用可能である。

（変形例３）
上述した各実施の形態では、位相差検出方式の焦点検出装置を備えたレンズ交換式の一眼レフカメラに本発明を適用していたが、本発明はこのような実施形態に限定されない。例えば、いわゆる山登り法（コントラスト方式）の焦点検出を行う場合であっても本発明を適用することが可能である。また、レンズ一体型のカメラに本発明を適用することも可能である。

（変形例４）
被写体追尾を行うための撮像素子は、測光センサ１４Ｂではなく撮像素子１１であってもよい。この場合、被写体追尾中はクイックリターンミラー１２Ａを退避位置に移動させておく必要がある。

（変形例５）
本発明の画像追尾装置は、必ずしも上述した各実施形態のように被写体追尾を行うための撮像素子と一体である必要はない。例えば、被写体像を撮像し画像信号を出力する撮像装置が接続される独立した装置とすることも可能である。この場合、その撮像装置からの画像信号が入力される入力部を設け、その入力部に撮像装置を接続するような構成とすればよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…カメラ、１０…カメラ本体、２０…交換レンズ、１５…位相差ＡＦ検出部、３０…制御装置、３１…ＡＦ−ＣＣＤ制御部、３２…デフォーカス演算部、３３…フォーカスエリア位置決定部、３４…レンズ駆動量演算部、３５…レンズ駆動制御部、３６…追尾制御部、３７…記憶部

Claims (3)

1. 撮像光学系を介して追尾対象の被写体を撮像した画像の一部分をテンプレート画像として記憶するテンプレート画像記憶部と、
   複数のフォーカスエリア毎の前記撮像光学系の焦点状態を検出する焦点検出部と、
   前記画像と前記テンプレート画像とを比較して、前記画像に暫定追尾領域と複数の追尾候補領域とを設定する追尾候補領域設定部と、
   前記焦点検出部で検出された前記暫定追尾領域内のフォーカスエリアの撮像光学系の焦点状態が前記撮像光学系の焦点調整に適している場合は、前記暫定追尾領域を追尾領域に設定し、前記焦点検出部で検出された前記暫定追尾領域内のフォーカスエリアの撮像光学系の焦点状態が前記撮像光学系の焦点調整に適していない場合は、前記焦点検出部により検出された前記複数の追尾候補領域のフォーカスエリアの撮像光学系の焦点状態から、前記撮像光学系の焦点調整に適しているフォーカスエリアを選択して、前記選択されたフォーカスエリアに基づき追尾領域を設定する追尾領域設定部と、
   を備える画像追尾装置。
2. 請求項１に記載の画像追尾装置において、
   前記焦点検出部は、前記撮像光学系の焦点状態として前記撮像光学系のデフォーカス量を検出し、
   前記追尾領域設定部で設定された追尾領域のフォーカスエリアの撮像光学系のデフォーカス量を記憶する焦点状態記憶部を備え、
   前記追尾領域設定部は、前記焦点検出部で検出された、前記暫定追尾領域内のフォーカスエリアの撮像光学系のデフォーカス量と、前記焦点状態記憶部に記憶された撮像光学系のデフォーカス量との差が所定のしきい値未満である場合に前記暫定追尾領域内のフォーカスエリアを前記撮像光学系の焦点調整に適しているフォーカスエリアとする画像追尾装置。
3. 請求項１または２に記載の画像追尾装置と、
   被写体を撮像する撮像部と、
   を備えることを特徴とする撮像装置。
   

Images