JP5476947B2 - 追尾装置、焦点調節装置、および、撮像装置 - Google Patents

Description

本発明は、追尾装置、焦点調節装置、および、撮像装置に関する。

撮像対象を含む画像をテンプレート画像とし、このテンプレート画像に類似した画像の位置を撮像対象の位置として認識することにより、撮像対象を追尾する。そして、この追尾した位置に対する焦点検出結果に基づいて、撮影光学系の焦点調節を行う焦点調節装置が知られている（例えば、特許文献１参照）。

特開２００９−１１１７４２号公報

しかしながら、特許文献１に示す画像追尾装置にあっては、たとえば、追尾の対象となる被写体の像が小さい場合、追尾性能が悪くなるという問題がある。

本発明は、このような事情に鑑みてなされたもので、被写体の像が小さい場合であっても、当該特定の対象を適切に追尾することができる追尾装置、焦点調節装置、および、撮像装置を提供することにある。

この発明は、第１画像を出力した後に第２画像を出力する撮像素子と、前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である追尾領域を設定する設定部と、前記特定被写体が所定値よりも小さいか否かを判断する判断部と、前記判断部により前記特定被写体が前記所定値よりも小さいと判断されたとき前記第２画像の前記追尾領域に対応する画像を用いて前記基準画像を更新するように前記記憶部を制御し、前記判断部により前記特定被写体が前記所定値よりも小さいと判断されないとき前記記憶部に記憶された前記基準画像を更新しないように前記記憶部を制御する制御部とを含むことを特徴とする追尾装置である。
また、この発明は、第１画像を出力した後に第２画像を出力する撮像素子と、前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である追尾領域を設定する設定部と、被写体距離を取得する被写体距離取得部と、前記被写体距離取得部により取得された前記被写体距離を用いて、前記被写体距離が所定値よりも無限遠側であるか否かを判断する判断部と、前記判断部により前記被写体距離が前記所定値よりも無限遠側であると判断されたとき前記第２画像の前記追尾領域に対応する画像を用いて前記基準画像を更新するように前記記憶部を制御し、前記判断部により前記被写体距離が前記所定値よりも無限遠側であると判断されないとき前記記憶部に記憶された前記基準画像を更新しないように前記記憶部を制御する制御部とを含むことを特徴とする追尾装置である。
また、この発明は、第１画像を出力した後に第２画像を出力する撮像素子と、前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である追尾領域を設定する設定部と、像倍率を取得する像倍率取得部と、前記像倍率取得部により取得された前記像倍率を用いて、前記像倍率が所定値よりも小さいか否かを判断する判断部と、前記判断部により前記像倍率が前記所定値よりも小さいと判断されたとき前記第２画像の前記追尾領域に対応する画像を用いて前記基準画像を更新するように前記記憶部を制御し、前記判断部により前記像倍率が前記所定値よりも小さいと判断されないとき前記記憶部に記憶された前記基準画像を更新しないように前記記憶部を制御する制御部とを含むことを特徴とする追尾装置である。
また、この発明は、第１画像を出力した後に第２画像を出力する撮像素子と、前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である追尾領域を設定する設定部と、複数の焦点検出エリアの焦点調節状態を検出する焦点検出部と、前記焦点検出部により取得された前記焦点調節状態を用いて、前記特定被写体に対応する領域が所定値よりも小さいか否かを判断する判断部と、前記判断部により前記特定被写体に対応する領域が前記所定値よりも小さいと判断されたとき前記第２画像の前記追尾領域に対応する画像を用いて前記基準画像を更新するように前記記憶部を制御し、前記判断部により前記特定被写体に対応する領域が前記所定値よりも小さいと判断されないとき前記記憶部に記憶された前記基準画像を更新しないように前記記憶部を制御する制御部とを含むことを特徴とする追尾装置である。

また、この発明は、上記に記載の追尾装置と、前記第２画像の前記追尾領域の焦点検出エリアの焦点調節状態に基づいて焦点調節制御をする焦点調節制御部と、を含むことを特徴とする焦点調節装置である。

また、この発明は、上記に記載の焦点調節装置を含むことを特徴とする撮像装置である。

この発明によれば、被写体の像が小さい場合であっても、適切に追尾することができる。

この発明の一実施形態による焦点検出装置を備えたデジタル一眼レフカメラの構成を示すブロック図である。 焦点検出装置が備える複数の測距領域を示す説明図である。 本実施形態のカメラによる焦点調節の動作を示すフローチャートである。 図３のフローチャートにおけるステップＳ１０３の処理を示すフローチャートである。 図３のフローチャートにおけるステップＳ１０４の処理を示すフローチャートである。 図３のフローチャートにおけるステップＳ１１２の処理の第１例を示すフローチャートである。 図３のフローチャートにおけるステップＳ１１２の処理の第２例を示すフローチャートである。 図３のフローチャートにおけるステップＳ１１２の処理の第３例を示すフローチャートである。 被写体の色情報を抽出した一例を示す説明図である。 図９（ａ）の被写体追尾領域に対して、デフォーカス量を算出し、被写体の存在領域の特定をする手順を示す説明図である。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、一実施の形態による焦点調節装置を備えたデジタル一眼レフカメラ（以下、カメラという）の構成を示す図である。なお、本発明の焦点調節装置および撮像装置に関わる機器および装置以外のカメラの一般的な機器および装置については図示と説明を省略する。

一実施の形態のカメラはカメラボディ１００にレンズ鏡筒２００が装着され、レンズ鏡筒２００は各種の撮影レンズに交換可能である。なお、この一実施の形態ではレンズ交換式カメラを例に上げて説明するが、本発明はレンズ交換式カメラに限定されず、レンズ固定式カメラに対しても適用できる。

レンズ鏡筒２００は、ズーミングレンズおよびフォーカスレンズなどの複数のレンズから構成される撮影光学系（光学系）１と、レンズ駆動用モータ１４と、を備えている。撮影光学系１のうち、焦点を調整するフォーカスレンズは、レンズ駆動用モータ１４により光軸方向に駆動される。これにより、撮影光学系１の焦点が調節される。

カメラボディ１００は、メインミラー２、焦点板３、ペンタプリズム４、接眼レンズ５、撮像部６、サブミラー７、位相差検出方式の焦点検出装置８（以下、焦点検出装置８とする）、測光用レンズ１５、測光センサー１６、操作部材１８、焦点調節装置３００、制御部４００、および、記録部５００を備えている。

撮像部６はＣＣＤやＣＭＯＳなどから構成され、撮影光学系１により結像した特定の対象の像（被写体像）を電気信号に変換して出力する。この撮像部６から出力される電気信号を記録することにより、特定の対象の像が撮像される。以降の説明においては、特定の対象の像を、被写体像と称して説明する。

焦点検出装置８は、図２に示すように撮像画面上に対応付けて複数の焦点検出位置（複数の測距領域）を備えており、複数の焦点検出位置ごとに検出される焦点検出信号を焦点調節装置３００に出力する。

焦点調節装置３００は、焦点検出装置８から入力された焦点検出信号に基づいて、撮影光学系１の焦点調節状態を示すデフォーカス量を求め、求めたデフォーカス量に基づいて、レンズ駆動用モータ１４を介して撮影光学系１の焦点を調節する。

撮影時以外は、メインミラー２とサブミラー７が図１に示すように撮影光路中に置かれる。このとき、撮影光学系１を透過した被写体からの光の一部は、メインミラー２に反射されて焦点板３へ導かれ、焦点板３上に被写体像を結像する。

焦点板３上の被写体像は、ペンタプリズム４と接眼レンズ５を介して撮影者に観測可能となるとともに、その光束は、ペンタプリズム４と測光用レンズ１５を介して測光用センサー１６へ導かれる。

測光センサー１６は、被写体像に対応した撮影画面を複数の領域に分割して各領域ごとの輝度に応じた測光信号を、焦点調節装置３００に出力する。

撮影時は、メインミラー２とサブミラー７が撮影光路から退避（ミラーアップ）され、撮影光学系１を透過した被写体からの光束が撮像部６へ導かれ、撮像部６の撮像面に結像された被写体像が撮像される。

制御部４００は、カメラボディ１００が備えるメインミラー２、撮像部６、サブミラー７、焦点検出装置８、測光センサー１６、焦点調節装置３００、および、記録部５００を制御する。

記録部５００は、撮影光学系１を介して撮像部６により撮像された被写体像を記録する。たとえば、このカメラボディ１００にはカードメモリ等の取り外しが可能な記憶媒体が接続部を介して接続される。そして、この記録部５００は、撮像部６により撮像された被写体像をこの記憶媒体に記録する。

操作部１８は、ユーザにより操作されることにより、ユーザの操作に応じた信号を、制御部４００に出力する。この操作部１８は、たとえば、撮影光学系１の焦点調節を行う動作を起動するスイッチであるレリーズ半押しスイッチＳＷ１（以降、スイッチＳＷ１とする）を備えている。

＜焦点調節装置３００の構成＞
次に、焦点調節装置３００の構成について説明する。この焦点調節装置３００は、ＡＦ−ＣＣＤ制御部９、デフォーカス演算部（焦点検出部）１０、フォーカスエリア位置決定部１１、レンズ駆動量演算部１２、レンズ駆動制御部１３、および、追尾装置１７を備えている。

ＡＦ−ＣＣＤ制御部９は、上述した被写体からの光の他の一部に基づいて、焦点検出装置８が備える電荷蓄積型の光電変換素子からなるラインセンサに電荷を蓄積させる制御をするとともに、蓄積された電荷を焦点検出装置８から読み出して、デフォーカス演算部１０に出力する。

デフォーカス演算部１０は、ＡＦ−ＣＣＤ制御部９を介して焦点検出装置８から読み出された出力に基づいて、撮影光学系１による像面内に設定された複数の焦点検出位置に対して撮影光学系１の焦点状態を算出する。

追尾装置１７は、測光センサー１６から出力された測光信号、すなわち、撮影画面を複数の領域に分割して各領域ごとの輝度に応じた測光信号に基づいて、撮影光学系１による像のうち、基準画像に対応する被写体像の位置を対象位置として繰り返し認識し、当該特定の対象を追尾する。この基準画像とは、後述する基準画像記憶部２３に記憶されている画像、すなわち、テンプレート画像のことである。

フォーカスエリア位置決定部１１は、追尾装置１７により認識された対象位置に基づいて、デフォーカス演算部１０により算出された複数の焦点検出位置に対して撮影光学系１の焦点状態のうち、いずれかの焦点検出位置に対する撮影光学系１の焦点状態を選択する。

レンズ駆動量演算部１２は、フォーカスエリア位置決定部１１によって選択された対象位置に対応する焦点検出位置に対してデフォーカス演算部１０によって検出される焦点状態（デフォーカス量）に基づいてレンズ駆動量を算出し、当該算出したレンズ駆動量に基づいてレンズ駆動制御部１３を介してレンズ駆動用モータ１４を制御することにより、撮影光学系１の焦点調節を行う。

レンズ駆動制御部１３は、レンズ駆動量演算部１２から出力されるレンズ駆動量に基づいてレンズ駆動用モータ１４を制御し、撮影光学系１の焦点調節を行う。

＜追尾装置１７の構成＞
次に、追尾装置１７の構成について説明する。追尾装置１７は、設定部２０、変更部２１、追尾部２２、および、基準画像記憶部２３を備えている。

基準画像記憶部２３には、基準画像（テンプレート画像）が記憶される。

設定部２０は、撮像部６によって撮像された画像のうち被写体像に対応する画像を、基準画像として基準画像記憶部２３に記憶することにより、撮像部６によって撮像された画像のうち被写体像に対応する画像を、基準画像として設定する。

たとえば、設定部２０は、起動時やフォーカス処理が開始された場合に、すなわち、所定の初回追尾制御の場合に、撮影光学系１による像のうち、自動被写体認識技術により選択された被写体像、または、操作部１８の操作によりユーザに選択された被写体像を、基準画像記憶部２３に基準画像として記憶する。ここでいう自動被写体認識技術とは、たとえば、顔認識技術や移動体検出技術である。

変更部２１は、被写体像の大きさに基づいて、基準画像記憶部２３に記憶されている基準画像を変更する。

追尾部２２は、撮影光学系１による測光センサー１６を介した画像内の、基準画像記憶部２３に記憶されている基準画像に対応する像の位置を繰り返し認識し、特定の対象を追尾する。

＜本実施形態のカメラによる焦点調節の動作＞
次に、図３のフローチャートを用いて、本実施形態のカメラによる焦点調節の動作について説明する。以降においては、撮影光学系１の焦点調節を行う動作をＡＦ（オートフォーカス）動作と称して説明する。また、焦点調節をＡＦと称して説明する。また、焦点検出位置をＡＦエリアまたはエリアと称する。

まず、ステップＳ１０１において、制御部４００は、スイッチＳＷ１がＯＮされているか否かを判定する。ここで、スイッチＳＷ１の半押しは、ＡＦ動作の起動に対応するため、スイッチＳＷ１がＯＦＦからＯＮへ変化したことに応じて、制御部４００がＡＦ動作を開始することになる。

このステップＳ１０１で判定した結果が、スイッチＳＷ１がＯＮされていない場合には、制御部４００はステップＳ１０１からの処理を繰り返す。一方、このステップＳ１０１で判定した結果が、スイッチＳＷ１がＯＮされている場合には、制御部４００は次のステップＳ１０２に処理を進める。

次に、ステップＳ１０２において、制御部４００は、ＡＦ動作が初回ＡＦ動作であるか否かを判定する。ここで、初回ＡＦ動作とは、上述したステップＳ１０１でＯＦＦからＯＮに切り替わった直後であって、ＡＦの演算結果が何も出力されていない段階のことである。

このステップＳ１０２で判定した結果が初回ＡＦ動作である場合には、制御部４００は処理をステップＳ１０３に進める。一方、このステップＳ１０２で判定した結果が初回ＡＦ動作でない場合には、制御部４００は処理をステップＳ１０４に進める。

ステップＳ１０３において、ＡＦ動作が開始された直後であるため、制御部４００の制御に基づいて、追尾装置１７により所定の初回追尾制御を行う。この初回追尾制御については、後に図４を用いて詳細に説明する。

また、ステップＳ１０４において、ＡＦ動作が継続中であり、既に追尾制御が行われているため、制御部４００の制御に基づいて、追尾装置１７により追尾演算処理を行う。この追尾演算処理については、後に図５を用いて詳細に説明する。

上述のステップＳ１０３またはステップＳ１０４に続いて、次のステップＳ１０５において、制御部４００の制御に基づいて、ＡＦ−ＣＣＤ制御部９は、焦点検出装置８に対して蓄積制御を行わせる。なお、制御部４００は、ステップＳ１０１でスイッチＳＷ１がＯＮされていれば、ステップＳ１０２〜ステップＳ１０４の動作と並行して本処理を実行してもよい。

次に、ステップＳ１０６において、制御部４００の制御に基づいて、ＡＦ−ＣＣＤ制御部９は、ステップＳ１０５で蓄積した電荷を焦点検出装置８から読み出し、Ａ／Ｄ変換してデフォーカス演算部１０に出力する。

次に、ステップＳ１０７において、制御部４００の制御に基づいて、デフォーカス演算部１０は、焦点検出装置８から入力された電荷信号に基づいて相関演算により像ズレ量を求め、この求めた像ズレ量に基づいてデフォーカス量を算出する。

なお、上述したステップＳ１０５からステップＳ１０７の処理は、焦点検出装置８が備えるＡＦエリアのうち、追尾の領域に相当するＡＦエリア、または、焦点検出装置８が備え持つ全てのＡＦエリアについて実行されてもよい。

次に、ステップＳ１０８において、制御部４００は、所定エリア数のデフォーカス量の演算が終了したか否かを判定する。ここでいう所定数とは、たとえば、焦点検出装置８が備えるＡＦエリアのうち、追尾の領域に相当するＡＦエリア数や、焦点検出装置８が備える全てのＡＦエリア数である。

このステップＳ１０８の判定結果として所定エリア数のデフォーカス量の演算が終了していない場合には、制御部４００は、ステップＳ１０５からの処理を繰り返す。一方、ステップＳ１０８の判定結果として所定エリア数のデフォーカス量の演算が終了した場合には、制御部４００は、次のステップＳ１０９に処理を進める。

次に、ステップＳ１０９において、制御部４００の制御に基づいて、フォーカスエリア位置決定部１１はエリア決定処理を実行する。

次に、ステップＳ１１０において、制御部４００の制御に基づいて、レンズ駆動量演算部１２は、ステップＳ１０９のエリア決定処理により選択されたエリアに基づいてレンズ駆動量演算を実行する。

次に、ステップＳ１１１において、制御部４００の制御に基づいて、レンズ駆動制御部１３は、ステップＳ１１０のレンズ駆動量演算の結果に応じてレンズ駆動用モータ１４を介してフォーカスレンズの位置を変更することにより、撮影光学系１の焦点調節を行う。

次に、ステップＳ１１２において、制御部４００は、テンプレート画像の再取得の判定処理を実行する。

＜ステップＳ１０３：初回追尾制御＞
次に、図４のフローチャートを用いて、図３のステップＳ１０３における初回追尾制御について説明する。
まず、ステップＳ２０１において、追尾装置１７の設定部２０は、追尾初期画像中のＡＦエリアに対応する領域の画像の被写体の色情報を記憶部に記憶する。この記憶部とは、例えば、追尾装置１７の設定部２０が備える記憶部であってもよい。

次に、ステップＳ２０２において、追尾装置１７の設定部２０は、追尾初期画像中のＡＦエリアの周辺部で、被写体色情報と同様な色情報を示す同色情報を検出する。
次に、ステップＳ２０３において、追尾装置１７の設定部２０は、検出した同色情報を初期被写体領域とする。

次に、ステップＳ２０４において、追尾装置１７の設定部２０は、追尾初期画像中の被写体追尾領域を以降の追尾処理に用いるテンプレート画像として基準画像記憶部２３に記憶する。
次に、ステップＳ２０５において、追尾装置１７の設定部２０は、被写体追尾領域を所定画素ずつ拡大した領域を探索領域に設定する。

＜ステップＳ１０４：追尾演算処理＞
次に、図５のフローチャートを用いて、図３のステップＳ１０４における追尾演算処理について説明する。

まず、ステップＳ３０１において、追尾装置１７の追尾部２２は、追尾画像の探索領域から、基準画像記憶部２３から読み出したテンプレート画像と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像とを対比し、画素ごとに色情報の差分を演算する。

次に、ステップＳ３０２において、追尾装置１７の追尾部２２は、色情報の差が最も小さい領域を探索し、その領域を新しい追尾領域に決定する。ここで、追尾装置１７の変更部２１は、新しい追尾被写体領域の画像情報を用いて、基準画像記憶部２３に記憶されているテンプレート画像の画像情報を変更してもよい。

次に、ステップＳ３０３において、追尾装置１７の追尾部２２は、新しい追尾領域の周辺に所定画素ずつ拡大した領域を、新しい探索領域として設定する。

＜ステップＳ１０９：テンプレート画像再取得を行う処理＞
次に、図６のフローチャートを用いて、図３のステップＳ１１２におけるテンプレート画像再取得を行う処理について説明する。

まず、ステップＳ５０１において、制御部４００に、装着されているレンズの情報が入力される。このレンズの情報とは、たとえば、レンズの種類、焦点距離の他、現在のフォーカスレンズの位置などの情報を含んでいるものとする。

一例としては、制御部４００は、レンズ鏡筒２００が備えるレンズ情報記憶部から、レンズ鏡筒２００とカメラボディ１００との電気的な接続部を介して、このレンズの情報を読み出す。

次に、ステップＳ５０２において、制御部４００は、被写体距離が無限側であるか否かを判定する。無限側であるか否かの判定は、レンズの距離エンコーダーの指標がレンズの最も無限側に相当しているか否かより判定される。例えば、レンズの距離エンコーダーの指標をＤｅ［ｉ］として、Ｄｅ［ｉ］の範囲が（ｉ＝０〜３０）であるとする。そして、Ｄｅ［０］を至近端、Ｄｅ［３０］を無限端、とした場合、たとえば、ｉ≧２９ならば、上記判定を満たすとする。なお、本条件は各々のレンズによって変更させてもよい。

ステップＳ５０２において、被写体距離が無限側であると判定された場合には、次のステップＳ５０３において、制御部４００は、テンプレート画像の再取得要求を、追尾装置１７に対して出力する。このテンプレート画像の再取得要求が制御部４００から入力されたことに応じて、追尾装置１７の変更部２１は、基準画像記憶部２３に記憶されている基準画像を変更する。

ステップＳ５０３に続いて、または、ステップＳ５０２において被写体距離が無限側でないと判定された場合、制御部４００は、図６に示す処理をリターンし、処理を図３のステップＳ１１２に後続する処理に進める。

この図６のフローチャートを用いて説明においては、ステップＳ５０２およびステップＳ５０３の処理を制御部４００が実行するものとして説明したが、この処理は、追尾装置１７の変更部２１が実行してもよい。
すなわち、追尾装置１７の変更部２１が、特定の対象までの距離情報に基づいて、被写体像の大きさを求め、当該求めた被写体像の大きさが、基準画像の大きさに応じた所定値よりも小さい場合に、基準画像記憶部２３に記憶されている基準画像を変更してもよい。

このようにして、追尾装置１７の変更部２１が、被写体像の大きさに基づいて、基準画像記憶部２３に記憶されている基準画像を変更する。たとえば、追尾装置１７の変更部２１は、被写体像が小さい場合には、基準画像記憶部２３に記憶されている基準画像を変更する。

これにより、被写体像が小さい場合、基準画像が適切に変更される。そして、追尾装置１７の追尾部２２は、この変更された基準画像に対応する像の位置を繰り返し認識し、特定の対象を追尾する。
従って、追尾装置１７は、被写体像が小さい場合であっても、当該特定の対象を適切に追尾することができる。

＜ステップＳ１１２：テンプレート画像再取得を行う処理の変形例１＞
図７は、テンプレート画像再取得を行う処理を示すフローチャートであり、図６の変形例である。

まず、ステップＳ６０１において、制御部４００は、図６のステップＳ５０１と同様の処理を実行する。

次に、ステップＳ６０２において、制御部４００は、被写体の像倍率の算出を行う。

次に、ステップＳ６０３において、制御部４００は、ステップＳ６０２で算出した像倍率が小さいか否かを判定する。像倍率が小さいと判断されれば、制御部４００は、次のステップＳ６０４で、テンプレート画像再取得要求を追尾装置１７に対して出力する。このテンプレート画像の再取得要求が制御部４００から入力されたことに応じて、追尾装置１７の変更部２１は、基準画像記憶部２３に記憶されている基準画像を変更する。

なお、この像倍率の判定は、例えば、焦点距離ｆ、被写体距離Ｄとして、像倍率の閾値をＢｔｈｍａｘとして、Ｂｔｈｍａｘ≧ｆ／Ｄ×Ｋであれば、像倍率が小さいと判定する。このＫは、通常はＫ＝１とし、条件によっては１以外のものを適用する場合ものとする。なお、像倍率でなく、実際の被写体の大きさを条件としてもよい。

ここで、被写体の像倍率の一例について説明する。たとえば、被写体を人と仮定した場合、像倍率は何倍くらいかについて説明する。
一例として、人の顔の場合、人の顔の大きさは、約２３ｃｍ（直径）であるとする。ここで、たとえば、後述する図１０に示す被写体追尾領域を１辺５ｍｍとすると、５／２３０ ＝ １／４６倍であれば、追尾領域の全域に人の顔が入る。よって、これより像倍率が小さい場合には、被写体追尾領域全域に被写体が入らないのでテンプレート画像を再取得すればよい。

この図７のフローチャートを用いて説明においては、ステップＳ６０２、ステップＳ６０３、および、ステップＳ６０４の処理を制御部４００が実行するものとして説明したが、この処理は、追尾装置１７の変更部２１が実行してもよい。

すなわち、追尾装置１７の変更部２１が、距離情報と撮影光学系１の焦点距離とに応じた像倍率に基づいて、対象の像の大きさを求め、当該求めた被写体像の大きさが、基準画像の大きさに応じた所定値よりも小さい場合に、基準画像記憶部２３に記憶されている基準画像を変更してもよい。

この図７の場合も、図６の場合と同様に、追尾装置１７は、被写体像が小さい場合であっても、当該特定の対象を適切に追尾することができる。

＜ステップＳ１１２：テンプレート画像再取得を行う処理の変形例２＞
図８は、テンプレート画像再取得を行う処理を示すフローチャートであり、図６または図７の変形例である。

まず、ステップＳ７０１において、制御部４００は、図６のステップＳ５０１または図７のステップＳ６０１と同様の処理を実行する。

次に、ステップＳ７０２において、制御部４００は、被写体追尾情報を入力する（図１０（ａ）参照）。

次に、ステップＳ７０３において、制御部４００は、デフォーカス演算部１０から、追尾領域内のデフォーカス量の分布を入力する。（図１０（ｂ）参照）。

次に、ステップＳ７０４において、制御部４００は、被写体の大きさを算出する（被写体領域を特定する）。たとえば、図１０（ｃ）に示すように、制御部４００は、追尾領域に含まれるＡＦエリアのデフォーカス量によりグループ化し、図１０（ｄ）に示すように、実際に被写体が存在すると思われる領域を特定する。

次に、ステップＳ７０５において、制御部４００は、被写体領域が追尾領域未満であるか否かを判定する。この追尾領域は、テンプレート画像の大きさを示す。

このステップＳ７０５において追尾領域未満であると判定された場合には、次のステップＳ７０６において、制御部４００は、テンプレート画像の再取得要求を、追尾装置１７に対して出力する。このテンプレート画像の再取得要求が制御部４００から入力されたことに応じて、追尾装置１７の変更部２１は、基準画像記憶部２３に記憶されている基準画像を変更する。

ステップＳ７０６に続いて、または、ステップＳ７０５において追尾領域未満でないと判定された場合、制御部４００は、図８に示す処理をリターンし、処理を図３のステップＳ１１２に後続する処理に進める。

このステップＳ７０５とステップＳ７０６との処理により、例えば、制御部４００は、図９（ａ）の場合は大きさを加味したテンプレート画像再取得を行うが、図９（ｂ）の場合は大きさを加味したテンプレート画像再取得は行わない。なお、この図９は被写体の色情報を抽出した際の一例である。図９（ａ）は被写体が遠い、または、被写体が小さい場合の図であり、図９（ｂ）は図９（ａ）に比べて、被写体が近い、または、被写体が大きい場合の図である。

また、図１０は、図９（ａ）の被写体追尾領域に対して、デフォーカス量を算出し、上述したように、被写体の存在領域の特定をする手順の一例である。

図８のフローチャートを用いて上記の説明においては、ステップＳ７０３、ステップＳ７０４、ステップＳ７０５、および、ステップＳ７０６の処理を制御部４００が実行するものとして説明したが、この処理は、追尾装置１７の変更部２１が実行してもよい。

すなわち、変更部２１は、焦点状態に基づいて複数の焦点検出位置をグルーピングし、当該グルーピングした焦点検出位置が存在する範囲に基づいて被写体像の大きさを推定する。そして、変更部２１は、当該推定した被写体像の大きさが、基準画像の大きさに応じた所定値よりも小さい場合に、基準画像を変更するようにしてもよい。

この図８の場合も、図６または図７の場合と同様に、追尾装置１７は、被写体像が小さい場合であっても、当該特定の対象を適切に追尾することができる。

上記に説明した本実施形態による追尾装置１７によれば、追尾装置１７の変更部２１が、被写体像の大きさに基づいて、基準画像記憶部２３に記憶されている基準画像を変更する。これにより、たとえば、被写体像が小さい場合、基準画像が適切に変更される。そして、追尾装置１７の追尾部２２は、この変更された基準画像に対応する像の位置を繰り返し認識し、特定の対象を追尾する。
従って、追尾装置１７は、被写体像が小さい場合であっても、当該特定の対象を適切に追尾することができる。

なお、上述した追尾装置１７、追尾装置１７が備える各構成、焦点調節装置３００、または、制御部４００は専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、この追尾装置１７、追尾装置１７が備える各構成、焦点調節装置３００、または、制御部４００は専用のハードウェアにより実現されるものであってもよく、また、この追尾装置１７、追尾装置１７が備える各構成、焦点調節装置３００、または、制御部４００はメモリおよびＣＰＵ（中央演算装置）により構成され、追尾装置１７、追尾装置１７が備える各構成、焦点調節装置３００、または、制御部４００の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…撮影光学系、６…撮像部、１０…デフォーカス演算部、１１…フォーカスエリア位置決定部、１２…レンズ駆動量演算部、１７…追尾装置、２０…設定部、２１…変更部、２２…追尾部、２３…基準画像記憶部、３００…焦点調節装置、５００…記録部

Claims (8)

1. 第１画像を出力した後に第２画像を出力する撮像素子と、
   前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、
   前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、
   前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である追尾領域を設定する設定部と、
   前記特定被写体が所定値よりも小さいか否かを判断する判断部と、
   前記判断部により前記特定被写体が前記所定値よりも小さいと判断されたとき前記第２画像の前記追尾領域に対応する画像を用いて前記基準画像を更新するように前記記憶部を制御し、
   前記判断部により前記特定被写体が前記所定値よりも小さいと判断されないとき前記記憶部に記憶された前記基準画像を更新しないように前記記憶部を制御する制御部とを含むことを特徴とする追尾装置。
2. 第１画像を出力した後に第２画像を出力する撮像素子と、
   前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、
   前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、
   前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である追尾領域を設定する設定部と、
   被写体距離を取得する被写体距離取得部と、
   前記被写体距離取得部により取得された前記被写体距離を用いて、前記被写体距離が所定値よりも無限遠側であるか否かを判断する判断部と、
   前記判断部により前記被写体距離が前記所定値よりも無限遠側であると判断されたとき前記第２画像の前記追尾領域に対応する画像を用いて前記基準画像を更新するように前記記憶部を制御し、
   前記判断部により前記被写体距離が前記所定値よりも無限遠側であると判断されないとき前記記憶部に記憶された前記基準画像を更新しないように前記記憶部を制御する制御部とを含むことを特徴とする追尾装置。
3. 第１画像を出力した後に第２画像を出力する撮像素子と、
   前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、
   前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、
   前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である追尾領域を設定する設定部と、
   像倍率を取得する像倍率取得部と、
   前記像倍率取得部により取得された前記像倍率を用いて、前記像倍率が所定値よりも小さいか否かを判断する判断部と、
   前記判断部により前記像倍率が前記所定値よりも小さいと判断されたとき前記第２画像の前記追尾領域に対応する画像を用いて前記基準画像を更新するように前記記憶部を制御し、
   前記判断部により前記像倍率が前記所定値よりも小さいと判断されないとき前記記憶部に記憶された前記基準画像を更新しないように前記記憶部を制御する制御部とを含むことを特徴とする追尾装置。
4. 第１画像を出力した後に第２画像を出力する撮像素子と、
   前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、
   前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、
   前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である追尾領域を設定する設定部と、
   複数の焦点検出エリアの焦点調節状態を検出する焦点検出部と、
   前記焦点検出部により取得された前記焦点調節状態を用いて、前記特定被写体に対応する領域が所定値よりも小さいか否かを判断する判断部と、
   前記判断部により前記特定被写体に対応する領域が前記所定値よりも小さいと判断されたとき前記第２画像の前記追尾領域に対応する画像を用いて前記基準画像を更新するように前記記憶部を制御し、
   前記判断部により前記特定被写体に対応する領域が前記所定値よりも小さいと判断されないとき前記記憶部に記憶された前記基準画像を更新しないように前記記憶部を制御する制御部とを含むことを特徴とする追尾装置。
5. 請求項３に記載の追尾装置であって、
   前記像倍率取得部は、レンズ鏡筒から取得した情報を用いて前記像倍率を算出することを特徴とする追尾装置。
6. 請求項１から請求項５のいずれか１項に記載の追尾装置と、
   前記撮像素子とは異なる記録用の被写体像を撮像する記録用撮像部を有することを特徴とする追尾装置。
7. 請求項１から請求項６のいずれか１項に記載の追尾装置と、
   前記第２画像の前記追尾領域の焦点検出エリアの焦点調節状態に基づいて焦点調節制御をする焦点調節制御部と、
   を含むことを特徴とする焦点調節装置。
8. 請求項７に記載の焦点調節装置を含むことを特徴とする撮像装置。

Images