JPWO2008026434A1 - 画像追尾装置、画像追尾方法、およびカメラ - Google Patents

Abstract

画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、第１基準画像情報と第２基準画像情報とに基づいて対象を認識する認識部とを備える。

Description

本発明は、画面内を移動する被写体を自動的に追尾する画像追尾装置、画像追尾方法、およびカメラに関する。

移動被写体を撮影する際に自動的に被写体を追尾して、焦点検出や露出演算を行うカメラが知られている。従来のカメラでは、被写体を追尾するための基準となる画像を記憶し、パターンマッチングにより相関の高い対象を追尾している（たとえば、特許文献１）。
特開２００６−５８４３１号公報

しかしながら、基準となる画像に類似した画像が背景に依存する場合や追尾対象の前を横切る場合には、追尾対象を誤検出しやすいという問題がある。

本発明の第１の態様によると、画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、第１基準画像情報と第２基準画像情報とに基づいて対象を認識する認識部とを備える。
本発明の第２の態様によると、第１の態様の画像追尾装置において、設定部は、第２基準画像情報に対応する画像の大きさが、第１基準画像情報に対応する画像の大きさよりも小さくなるように、第２基準画像情報を設定するのが好ましい。
本発明の第３の態様によると、第１または２の態様の画像追尾装置において、対象に対する結像光学系の焦点調節状態を検出する焦点検出装置をさらに備え、設定部は、焦点調節状態に基づいて第２基準画像情報を決定するのが好ましい。
本発明の第４の態様によると、第１または２の態様の画像追尾装置において、設定部は、第１基準画像情報に対応する画像の近傍に位置する画像の情報を 繰り返し検出し、最も変化の少ない画像情報を第２基準画像情報とするのが好ましい。
本発明の第５の態様によると、第１〜４のいずれかの態様の画像追尾装置において、認識部は、第１基準画像情報と所定値以上の相関を示す複数の画像情報を対象と認識する候補として検出した場合は、第２基準画像情報に基づいて複数の候補のいずれかを選択するのが好ましい。
本発明の第６の態様によると、第１〜５のいずれかの態様の画像追尾装置において、設定部は、第１基準画像情報に対応する画像の大きさに基づいて、第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定するのが好ましい。
本発明の第７の態様によると、第１〜６のいずれかの態様の画像追尾装置において、設定部は、結像光学系の光学特性に基づいて第２基準画像に対応する画像の大きさを決定するのが好ましい。
本発明の第８の態様によると、第５〜７のいずれかの態様の画像追尾装置において、認識部は、画像情報において第１基準画像情報に対応する画像の下側について設定された第２基準画像情報に対する重み付けを他の第２基準画像情報よりも大きくして候補のいずれかを選択するのが好ましい。
本発明の第９の態様によると、第１〜８のいずれかの態様の画像追尾装置において、画像情報は、色情報または輝度であるのが好ましい。
本発明の第１０の態様によると、カメラは、第１〜９のいずれかの態様の画像追尾装置を備える。
本発明の第１１の態様によると、第１０の態様のカメラにおいて、カメラの姿勢を検出する姿勢検出装置をさらに有し、認識部は、姿勢検出装置からの出力に応じて第２基準画像情報を決定する決定部とを備えるのが好ましい。
本発明の第１２の態様によると、第１０または１１の態様のカメラにおいて、画像情報は画像処理を施した画像情報であるのが好ましい。
本発明の第１３の態様によると、画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、第１基準画像情報と第２基準画像情報とに基づいて対象を認識する。
本発明の第１４の態様によると、第１３の態様の画像追尾方法において、対象に対する結像光学系の焦点調節状態に基づいて、第２基準画像情報を決定するのが好ましい。
本発明の第１５の態様によると、第１４の態様の画像追尾方法において、第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を第２基準画像情報とするのが好ましい。
本発明の第１６の態様によると、第１３〜１５のいずれかの態様の画像追尾方法において、第１基準画像情報と所定値以上の相関を示す複数の画像情報を対象と認識する候補として検出した場合は、第２基準画像情報に基づいて複数の候補のいずれかを選択するのが好ましい。
本発明の第１７の態様によると、第１３〜１６のいずれかの態様の画像追尾方法において、第１基準画像情報に対応する画像の大きさに基づいて、第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定するのが好ましい。
本発明の第１８の態様によると、第１３〜１７のいずれかの態様の画像追尾方法において、結像光学系の光学特性に基づいて第２基準画像に対応する画像の大きさを決定するのが好ましい。
本発明の第１９の態様によると、第１６〜１８のいずれかの態様の画像追尾方法において、画像情報において第１基準画像情報に対応する画像の下側について設定された第２基準画像情報に対する重み付けを他の第２基準画像情報よりも大きくして候補のいずれかを選択するのが好ましい。

本発明によれば、対象となる像の一部に対応する画像情報を含む第１基準画像情報と、第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて設定された第２基準画像情報とに基づいて対象を認識するので、認識精度を向上することができる。

本発明の実施の形態におけるデジタルカメラの要部構成を説明する図である。 撮像素子の画素構成を説明する図である。 実施の形態における追尾方法を説明する図である。 実施の形態における追尾方法を説明する図である。 実施の形態における追尾方法を説明する図である。 実施の形態における被写体追尾処理を説明するフローチャートである。 変形例を整理した機能ブロック図。

以下、図面を参照しながら、被写体追尾装置を備える一眼レフデジタルカメラの一実施の形態を説明する。図１に、本発明のデジタルカメラの要部構成を示す。カメラ本体１０には、撮影レンズ２１を備えるレンズ鏡筒２０が交換可能に装着されている。

カメラ本体１０の内部には、被写体を撮像するための第一の撮像素子１２が設けられている。第一の撮像素子１２としてＣＣＤやＣＭＯＳ等が使用される。撮影レンズ２１と第一の撮像素子１２との間には、撮影レンズ２１を通過した被写体光をファインダ光学系へと反射するクイックリターンミラー１１が配設されている。被写体光の一部はクイックリターンミラー１１の半透過領域を透過し、サブミラー１１１にて下方に反射され、位相差式ＡＦセンサモジュール１１２へ入射される。姿勢センサ１１３は、カメラの姿勢を検出する。

位相差式ＡＦセンサモジュール１１２は、たとえば、焦点検出光束を一対の焦点検出用光像に分割して結像する焦点検出光学系と、分割された一対の光像が入射し、それに応じた焦点検出信号を出力する一対のＣＣＤラインセンサとを備える。ＣＣＤラインセンサから出力される焦点検出信号は制御部３０に入力され、後述するように、制御部３０は、焦点調節レンズを合焦位置まで駆動させるレンズ駆動信号を出力する。

クイックリターンミラー１１で反射された被写体光は、第一の撮像素子１２と光学的に等価な位置に設けられた焦点板１３上に結像する。焦点板１３上に結像された被写体像は、ペンタプリズム１４と接眼レンズ１５を介して撮影者により観察されるとともに、ペンタプリズム１４からプリズム１７と結像レンズ１８とを通過し、第二の撮像素子１９の受光面上に結像する。なお、不図示のレリーズボタン全押しによって撮影動作が実行される場合は、クイックリターンミラー１１が図の破線で示す位置に回動して、被写体光は第一の撮像素子１２上に結像する。

第二の撮像素子１９は、図２（ａ）に示すように、マトリックス状に配列された複数（図示例では２０×１４）の画素１９１を備えている。各画素１９１は、図２（ｂ）に示すように、さらに３つの細画素１９１ａ〜１９１ｃに分割されている。これら細画素１９１ａ〜１９１ｃのそれぞれに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色フィルターが設けられることにより、被写体像のＲＧＢ出力が得られる。

第二の撮像素子１９は、ＣＣＤ制御部３１により、撮像面に結像された被写体像に対応する信号電荷の蓄積および蓄積電荷の掃き出しを行う。Ａ／Ｄ変換回路３２は、第二の撮像素子１９から出力されたアナログ撮像信号をデジタル画像信号に変換して、制御部３０へ出力する。制御部３０はＣＰＵ、ＲＯＭ、ＲＡＭおよび各種周辺回路から構成されている。機能的には、第二の撮像素子１９から入力した画像処理の施されていない画像データ（ＲＡＷデータ）に基づいて追尾対象の追尾を行う追尾制御部３３と、焦点検出演算を行う焦点検出演算部３５と、撮影レンズ２１の駆動量を演算するレンズ駆動量演算部３６と、後述の焦点検出領域４０を表すＡＦエリアマークの点灯／消灯（点消灯）を行う表示部３７１の点消灯制御部３７とを有する。表示部３７１は、焦点板１３近傍に配置された液晶表示板２２によってＡＦエリアマークを表示可能となっている。

焦点検出演算部３５は、撮影者によるエリア選択操作部３５１の操作で選択された焦点検出領域４０に対応する一対のＣＣＤラインセンサから出力される焦点検出信号に基づいて、デフォーカス量などの焦点調節状態の演算を行う。

図３（ａ）に示すようにこの実施の形態のカメラでは、ファインダで観察される画面４２内に、たとえば１１箇所の焦点検出領域４０ａ〜４０ｋが設けられている。この１１箇所の焦点検出領域４０ａ〜４０ｋの中から１つがエリア選択操作部３５１によって選択されると、焦点検出演算部３５は選択された焦点検出領域に対する焦点調節状態（以下、便宜上、デフォーカス量と呼ぶ）の演算を行う。さらに、エリア選択操作部３５１は、１１箇所の焦点検出領域４０ａ〜４０ｋの中のどの焦点検出領域が選択されたかを示す選択領域信号を追尾制御部３３へ出力する。焦点検出演算部３５で算出されたデフォーカス量はレンズ駆動量演算部３６に出力される。レンズ駆動量演算部３６では、入力したデフォーカス量に基づきレンズ駆動量を演算して、レンズ駆動モータ３６１に対してレンズ駆動信号を送出する。レンズ駆動モータ３６１は、レンズ駆動信号に応じて撮影レンズ２１を光軸方向へ移動させ、これにより、焦点調節状態が調節される。なお、焦点検出領域の選択は、エリア選択操作部３５１によるもののほか、検出した焦点調節状態に基づいてカメラが自動的に選択するようにしてもよい。いずれの場合も、選択された領域を示す選択領域信号を追尾制御部３３へ出力するのは同じである。

追尾制御部３３では、入力された選択領域信号に基づいて、第二の撮像素子１９から入力した画像データの中から追尾領域に相当する画像データを抽出し、この追尾領域の画像データに基づいて被写体追尾演算を行う。この実施の形態では、追尾演算に際して、図３（ｂ）、（ｃ）に示すように、第二の撮像素子１９より取得した初期画像４３ａ上において、追尾被写体領域４５と、周辺情報領域４１ａ〜４１ｄ（総称して符号４１を用いることもある）と、追尾被写体領域４５よりも範囲の広い被写体探索領域４７とを設定し、追尾被写体領域４５内の画像をテンプレート画像４８とする。

追尾被写体領域４５は、選択領域信号により認識した焦点検出領域（図３の例では４０ａ）に対応する画素情報（被写体の色情報）に類似した色情報を有する同色情報領域４９を囲む矩形の領域として設定される。周辺情報領域４１は、たとえば、図３（ｃ）に示すように、追尾被写体領域４５を基準として上下左右にそれぞれ１画素離れた位置にて、たとえば追尾被写体領域４５より小さい２画素の大きさの領域として設定され、対応する画素で得られる画像データからのＲ、Ｇ、Ｂの各色の色情報を被写体周辺情報４６（４６ａ〜４６ｄ）として記憶する。被写体探索領域４７は、追尾被写体領域４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で設定される。そして、第二の撮像素子１９にて時系列的に繰り返し取得した画像において、被写体探索領域４７の領域内でテンプレート画像４８と同じ大きさの比較対象領域を作成し、比較対象領域の画像情報と、テンプレート画像４８の画像情報との差分を計算した後、差分が所定値以下の比較対象領域、すなわち新たな追尾被写体領域の候補において上記と同様に設定される周辺情報領域で得られる情報と被写体周辺情報４６とを比較することにより被写体追尾を行う。

図３、４を用いて、被写体追尾方法について詳細に説明する。ここで、撮影者がエリア選択操作部３５１を操作して、図３（ａ）に示すように、焦点検出領域４０ａを選択したものとする。追尾制御部３３は、エリア選択操作部３５１からの選択領域信号に基づいて、焦点検出領域４０ａの位置に対応する所定範囲内の画素からのＲ、Ｇ、Ｂの各色の色情報を被写体色情報として記憶部３８に記憶する。図３（ｂ）に示す初期画像４３ａ上において、追尾制御部３３は、被写体色情報におけるＲ、Ｇ、Ｂの各色との差分が所定値以下である画素のまとまりを、被写体色情報に類似した色情報（相関の高い色情報）を有する同色情報領域４９として検出し、この領域４９を囲む矩形領域を追尾被写体領域４５として設定する。この追尾被写体領域４５はテンプレート画像４８として記憶部３８に記憶される。さらに、追尾被写体領域４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で被写体探索領域４７を新たに設定する。追尾被写体領域４５が設定されると、追尾制御部３３は、図３（ｃ）に示すように、追尾被写体領域４５に対して上下左右に１画素離れた位置における２画素の周辺情報領域４１ａ〜４１ｄにおけるＲ、Ｇ、Ｂの各色の色情報を取得して、被写体周辺情報４６ａ〜４６ｄとして記憶部３８に記憶する。

図４は、画像４３ａに続いて第二の撮像素子１９から時系列的に取得された次画像４３ｂを示す。追尾制御部３３は、次画像４３ｂの被写体探索領域４７内で、テンプレート画像４８と同じ大きさの領域を比較対象領域として抽出する。被写体探索領域４７内で順次その抽出位置を移動させ、各比較対象領域におけるＲ／ＧおよびＲ／Ｂで表される色比率と、テンプレート画像４８のＲ／Ｇ、Ｒ／Ｂとの差分を対応する画素ごとに計算する。そして、差分の合計が所定値以下となる比較対象領域を追尾被写体候補領域５０とする。図４（ａ）においては、次画像４３ｂの比較対象領域のうち２つの領域５０ａおよび５０ｂが追尾被写体候補領域であることを示す。なお、追尾被写体候補領域を代表符号５０とする。

追尾被写体候補領域５０が決定すると、これに対応する周辺情報領域４１ａａ、４１ｂａ、４１ｃａ、４１ｄａ、４１ａｂ、４１ｂｂ、４１ｃｂ、４１ｄｂからの画像情報を取得して、これらの情報と被写体周辺情報４６との比較を行なう。比較の結果、被写体周辺情報４６と一致する情報をより多く有する周辺情報領域４１に対応する追尾被写体候補領域５０を、新たな追尾被写体領域４５ａとして設定する。図４（ｂ）には、追尾被写体候補領域５０ａに対応する周辺情報領域４１ａａ〜４１ｄａから画像情報を取得した状態を示す。被写体周辺情報４６ａ〜４６ｄと周辺情報領域４１ａａ〜４１ｄａのそれぞれの画像情報を比較すると、図４（ｃ）に示すように、被写体周辺情報４６ａ、４６ｃ、４６ｄと周辺情報領域４１ａａ、４１ｃａ、４１ｄａの情報とが、それぞれ、計３つ一致している。また、図４（ｄ）には、追尾被写体候補領域５０ｂに対応する周辺情報領域４１ａｂ〜４１ｄｂから画像情報を取得した状態を示す。被写体周辺情報４６ａ〜４６ｄと周辺情報領域４１ａｂ〜４１ｄｂのそれぞれの画像情報を比較すると、図４（ｅ）に示すように、被写体周辺情報４６ａ、４６ｂと周辺情報領域４１ａｂ、４１ｂｂの情報とが、それぞれ、計２つ一致している。

したがって、より多くの類似した周辺情報が得られる追尾被写体候補領域５０ａが新たな追尾被写体領域４５ａとして設定される。なお、被写体周辺情報４６の情報と、各被写体候補領域５０に対する周辺情報領域４１の情報との一致数が等しい場合や、いずれも一致しない場合は、前述したテンプレート画像４８との比較により差分の合計が最小となる比較対象領域が新たな追尾被写体領域４５ａとして設定される。

追尾被写体領域４５ａが設定されると、追尾制御部３３は、初期設定画面で設定したテンプレート画像４８におけるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の色情報と、追尾被写体領域４５ａにおけるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の色情報とを合成して、新たなテンプレート画像４８を作成する。ただし、この場合は、初期設定画面で設定したテンプレート画像４８の色情報の割合を多く配分する。たとえば、初期設定画面で設定したテンプレート画像４８の色情報を８０パーセントとし、新たに設定した追尾被写体領域４５ａの色情報を２０パーセントとした割合で合成する。テンプレート画像４８を更新した後に、前述と同様にして、図５（ａ）に示すように、被写体探索領域４７が設定される。

追尾制御部３３は、追尾被写体領域４５ａの中央位置の座標を焦点検出演算部３５へ出力する。焦点検出演算部３５は、入力した追尾被写体領域４５ａの座標に基づき、図５（ｂ）に示すように、追尾被写体領域４５ａの中心に最も近い焦点検出領域４０ａに追尾対象が存在するものとみなし、焦点検出領域４０ｅに対応する一対のＡＦセンサモジュール１１２のＣＣＤラインセンサから出力される焦点検出信号を用いて焦点調節状態を演算する。焦点検出演算部３５は、焦点検出領域４０ａを示す選択領域信号を追尾制御部３３を介して点消灯制御部３７へ出力する。これにより、表示部３７１は、焦点検出領域４０ａのＡＦエリアマークを点灯する。

なお、複数の焦点検出領域４０が追尾被写体領域４５ａの中心から等距離に位置している場合には、それ以前に取得した時系列的な画像における被写体の移動方向、すなわち、移動履歴に基づいて、被写体の移動が予測される方向に位置する焦点検出領域４０を選択する。

以下で、図６に示すフローチャートを用いて、被写体追尾制御動作の各処理について説明する。なお、このフローチャートに示す各処理は、制御部３０によりプログラムを実行して行われる。また、このフローチャートは不図示のレリーズスイッチの半押し操作により開始される。
ステップＳ１では、撮影者により設定された焦点検出領域４０に対して焦点検出演算部３５で演算された焦点検出演算結果に基づいて、撮影レンズ２１を駆動して焦点調節を行い、ステップＳ２へ進む。ステップＳ２では、第二の撮像素子１９からの画像を取得してステップＳ３へ進む。

ステップＳ３においては、選択された焦点検出領域に対応する画素からの出力に基づいて被写体色情報を取得し、記憶部３８に記憶してステップＳ４へ進む。ステップＳ４においては、ステップＳ３にて取得した被写体色情報に類似した色情報を有する同色情報領域４９を検出してステップＳ５へ進む。ステップＳ５においては、ステップＳ４にて検出した同色情報領域４９を囲む矩形領域を追尾被写体領域４５として設定してステップＳ６へ進む。

ステップＳ６においては、ステップＳ５で設定した追尾被写体領域４５をテンプレート画像４８として記憶部３８に記憶してステップＳ７へ進む。ステップＳ７においては、追尾被写体領域４５に基づいて、前述したように被写体探索領域４７を設定してステップＳ８へ進む。ステップＳ８において、追尾被写体領域４５の周辺情報領域４１からのＲ、Ｇ、Ｂの各色の色情報を取得し、被写体周辺情報４６として記憶部３８に記憶してステップＳ９へ進む。

ステップＳ９においては、撮影者により不図示のレリーズスイッチが全押しされたか否かを判定する。ステップＳ９が肯定された場合、すなわち、ステップＳ９において、レリーズスイッチが全押しされたと判定された場合は、ステップＳ１７へ進む。ステップＳ９が否定された場合、すなわち、ステップＳ９において、レリーズスイッチが全押しされていないと判定された場合は、ステップＳ１０へ進む。

ステップＳ１０では、第二の撮像素子１９から次画像（新たな画像）を取得し、ステップＳ１１へ進む。ステップＳ１１においては、被写体探索領域４７内で、前述したように、テンプレート画像４８と同じ大きさの領域を抽出し、各領域の差分を対応する画素ごとに演算してステップＳ１２へ進む。ステップＳ１２では、ステップＳ１１における演算結果に基づいて、テンプレート画像４８との差分の合計が所定値以下となる比較対象領域を追尾被写体候補領域５０として設定してステップＳ１３へ進む。

ステップＳ１３においては、ステップＳ１２にて設定した追尾被写体候補領域５０に対応する周辺情報領域４１からの画像情報を取得して被写体周辺情報４６との比較を行ない、ステップＳ１４へ進む。ステップＳ１４では、ステップＳ１３における比較結果に基づいて、前述したように、被写体周辺情報４６と類似した画像情報をより多く有する追尾被写体候補領域５０を新たな追尾被写体領域４５として設定し、ステップＳ１５へ進む。

ステップＳ１５においては、前述した方法を用いてテンプレート画像４８を更新し、記憶部３８に記憶する。ステップＳ１６では、ステップＳ１４で設定した新たな追尾被写体領域４５に基づいて、新たに被写体探索領域４７を設定して、ステップＳ９へ戻る。ステップＳ９においてレリーズスイッチが全押しされたと判定すると、ステップＳ１７へ進んで、前述したように撮影動作を行い、一連の処理を終了する。

なお、追尾被写体領域４５を設定するステップＳ５やステップＳ１４、被写体周辺情報４６を記憶部３８に記憶するステップＳ８は、追尾対象となる画像の画像情報を設定し、追尾対象となる画像の近傍に位置する画像の情報を追尾対象の画像の画像情報を補助する補助画像情報として設定する設定部として機能する。ステップＳ１１〜Ｓ１４の処理は、これら追尾対象の画像の画像情報と上記補助画像情報とを使用して、追尾対象を認識する認識部として機能する。

以上で説明した実施の形態によるデジタルカメラによれば、以下の作用効果が得られる。
（１）第二の撮像素子１９により取得された色情報（画像情報）に基づいて、追尾対象を含む画像範囲から得られる基準画像情報、すなわちテンプレート画像４８と、テンプレート画像４８の近傍に位置する画像の情報に基づいて近傍画像情報、すなわち被写体周辺情報４６とを設定して追尾対象を追尾するようにした。したがって、人物を撮影するような場合、追尾対象の顔を含む範囲をテンプレート画像４８と設定すると、追尾対象の衣服など追尾対象と関連のある情報を被写体周辺情報４６から取得することができるので、追尾対象を横切った異なる被写体を追尾対象として検出するというような誤検出が無くなり、追尾精度が向上する。

（２）テンプレート画像４８と被写体探索領域４７内の比較対象領域との画像情報の差分演算により、複数の追尾被写体候補領域５０が検出された場合、すなわち追尾対象と所定値以上の相関を示す追尾候補が複数存在する場合は、近傍画像情報である被写体周辺情報４６と類似した画像情報を有する周辺情報領域４１をより多く有する追尾被写体候補領域５０を、新たな追尾被写体領域４５として設定して、追尾対象を追尾するようにした。したがって、類似の画像情報を有する被写体が複数存在する場合でも、周辺情報を用いて追尾対象を特定することができるので誤検出を防ぐことができる。

（３）第二の撮像素子１９から出力された画像処理の施されていない画像データ（ＲＡＷデータ）の色情報を用いて、テンプレート画像４８と切出し領域との差分演算を行なうようにしたので、追尾処理を高速に行なうことができる。

以上で説明した実施の形態を以下のように変形することができる。
（１）第二の撮像素子１９により取得された追尾対象の色情報に基づいて、テンプレート画像４８を設定する際の基準となる追尾被写体領域４５を決定したが、色情報に代えて輝度を用いてもよい。

（２）４箇所の周辺情報領域４１内のすべての画像を用いて画像情報の比較を行なったが、すべてを用いることなく、たとえば有彩色の画像情報を有するものや特徴的な画像情報を有する周辺情報領域４１を用いてもよい。特に、追尾対象が人物の場合、追尾被写体候補領域５０の下に位置する周辺情報領域４１を用いると、追尾対象の衣類などに基づく画像情報を取得しやすいので効果的である。また、追尾被写体候補領域５０の下に位置する周辺情報領域４１の重み付けを大きくするようにしてもよい。以上のような場合、カメラ本体１０に設けた姿勢センサ１１３の出力に応じてカメラの姿勢を検出し、検出したカメラの姿勢を考慮して被写界内において追尾被写体候補領域５０の下に位置する周辺情報領域４１を選択するようにしてもよい。

（３）追尾開始から撮影終了まで被写体周辺情報４６を同数保持して周辺情報領域４１との比較を行なうものとして説明したが、複数回の追尾制御を行なう際に繰り返し検出された周辺情報領域４１のうち、最も変化の少ない画像情報を有する周辺情報領域４１を被写体周辺情報４６として設定してもよい。

（４）テンプレート画像４８に基づいて、追尾被写体候補領域５０を選択した後に周辺情報領域４１の情報と被写体周辺情報４６との比較を行なうものに代えて、テンプレート画像４８と被写体周辺情報４６とをまとめて一つのテンプレートとして設定してもよい。

（５）第二の撮像素子１９から出力された画像処理の施されていない画像データ（ＲＡＷデータ）の色情報を用いて追尾対象を追尾するものとしたが、画像の周辺光量落ち補正やホワイトバランスなどの画像処理の施された色情報を用いて追尾対象を追尾してもよい。

（６）４箇所の周辺情報領域４１の中から、追尾被写体領域４５のデフォーカス量との差が所定値以下となるデフォーカス量を有する周辺情報領域４１を選択し、選択された周辺情報領域４１の情報を被写体周辺情報４６として用いてもよい。さらに、テンプレート画像４８と被写体周辺情報４６との位置関係については、デフォーカス量に基づいて決定してもよい。この場合、追尾対象までの距離が近いときはテンプレート画像４８と被写体周辺情報４６との間隔を離し、追尾対象までの距離が遠いときはテンプレート画像４８と被写体周辺情報４６との間隔を近づけるようにするとよい。

（７）撮影者の操作により追尾対象となる被写体を指定するものに代えて、被写体を認識する機能を備えるカメラであれば、被写体の認識結果に基づいて追尾対象となる被写体を設定して上述の追尾処理を開始するようにしてもよい。

（８）テンプレート画像４８のＲ、Ｇ、Ｂの各色の色情報と追尾被写体領域４５ａのＲ、Ｇ、Ｂの各色の色情報とを合成して新たなテンプレート画像４８として更新するものとして説明したが、追尾被写体領域４５ａとの合成を行なわず、テンプレート画像４８をそのまま継続して用いてもよい。

（９）追尾被写体領域４５の大きさに基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。例えば、被写体として人物の顔を追尾する場合に、追尾被写体領域が６×６画素程度の大きさだとすると、周辺の被写体情報として１、２画素程度の小さな領域の情報では、服の色のほんの一部（柄など）しか取れない可能性がある。そのため、この場合、概ね寸法比で１／３程度の２×２画素を周辺の被写体情報として用いる。また、追尾被写体領域が大きいほど、被写体周辺情報の領域を拡大するようにする。

（１０）焦点距離などのレンズ情報や像倍率（焦点距離と撮影距離とから求める）に基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。例えば、焦点距離が近い場合、あるいは像倍率が大きいほど、被写体周辺情報の大きさを大きくする。このときの追尾被写体領域４５と被写体周辺情報４６との寸法比はほぼ一定となるようにする。すなわち、結像光学系の光学特性に基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。

（１１）追尾被写体領域４５の大きさに基づいて、被写体周辺情報４６の位置を変えるようにしてもよい。例えば、追尾被写体領域が大きいほど、追尾被写体領域のすぐ真下でなく、少し離して位置させる。図３（ｃ）で説明すると、追尾被写体領域４５と被写体周辺情報４６の間の画素が１画素分離れているのを、２画素や３画素などにする。これは、追尾被写体領域４５が顔だとした場合、すぐ下の首の色ではなく、もう少し下の服の色を被写体周辺情報４６とするのが好ましいためである。

（１２）上記（９）（１０）とも関係するが、被写体が接近してくる（像倍率が上がる）につれて追尾被写体領域４５を大きくし、それに伴って被写体周辺情報４６の大きさを大きくするとともに追尾被写体領域４５との間隔も広げるようにしてもよい。

（１３）上記実施の形態のステップＳ１４において、被写体周辺情報４６と類似した画像情報を有する領域を選択する際、複数の被写体周辺情報４６のうち、追尾被写体領域４５の下に位置する被写体周辺情報４６に対する重み付けを大きくするようにしてもよい。これは、周辺を見て決める際、被写体の下に位置する領域の情報が被写体の補助情報として適切である可能性が高いためである。例えば、上記説明したように、追尾対象が人物で、追尾被写体領域４５が顔となるような場合である。これにより、下側の周辺情報との一致度が高いものを新たな被写体領域として決定する。

（１４）撮影レンズが交換可能な一眼レフデジタルカメラとして説明したが、本発明はこれに限定されるものではなく、レンズ一体型カメラやビデオカメラに適用してもよい。

図７は、上記説明した変形例を整理した機能ブロック図であり、追尾制御部３３が各ブロックの処理を行う。追尾制御部３３が処理する機能は、上述した設定部２０１と認識部２０２とに分かれる。各ブロック内の番号は、上記説明した変形例の番号に対応する。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第２３３８２３号（２００６年８月３０日出願）

Claims (19)

1. 結像光学系による像を撮像して画像情報を生成する撮像装置と、
   前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
   前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備える画像追尾装置。
2. 請求項１による画像追尾装置において、
   前記設定部は、前記第２基準画像情報に対応する画像の大きさが、前記第１基準画像情報に対応する画像の大きさよりも小さくなるように、前記第２基準画像情報を設定する画像追尾装置。
3. 請求項１または２による画像追尾装置において、
   前記対象に対する前記結像光学系の焦点調節状態を検出する焦点検出装置をさらに備え、
   前記設定部は、前記焦点調節状態に基づいて前記第２基準画像情報を決定する画像追尾装置。
4. 請求項１または２による画像追尾装置において、
   前記設定部は、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を 繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする画像追尾装置。
5. 請求項１〜４のいずれかによる画像追尾装置において、
   前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾装置。
6. 請求項１〜５のいずれかによる画像追尾装置において、
   前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾装置。
7. 請求項１〜６のいずれかによる画像追尾装置において、
   前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾装置。
8. 請求項５〜７のいずれかによる画像追尾装置において、
   前記認識部は、前記画像情報において前記第１基準画像情報に対応する画像の下側について設定された前記第２基準画像情報に対する重み付けを他の前記第２基準画像情報よりも大きくして前記候補のいずれかを選択する画像追尾装置。
9. 請求項１〜８のいずれかによる画像追尾装置において、
   前記画像情報は、色情報または輝度である画像追尾装置。
10. 請求項１〜９のいずれかによる画像追尾装置を備えるカメラ。
11. 請求項１０によるカメラにおいて、
    前記カメラの姿勢を検出する姿勢検出装置をさらに有し、
    前記認識部は、前記姿勢検出装置からの出力に応じて前記第２基準画像情報を決定する決定部とを備えるカメラ。
12. 請求項１０または１１に記載のカメラにおいて、
    前記画像情報は画像処理を施した画像情報であるカメラ。
13. 結像光学系による像を撮像して画像情報を生成し、
    前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
    前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法。
14. 請求項１３による画像追尾方法において、
    前記対象に対する前記結像光学系の焦点調節状態に基づいて、前記第２基準画像情報を決定する画像追尾方法。
15. 請求項１４による画像追尾方法において、
    前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする画像追尾方法。
16. 請求項１３〜１５のいずれかによる画像追尾方法において、
    前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾方法。
17. 請求項１３〜１６のいずれかによる画像追尾方法において、
    前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾方法。
18. 請求項１３〜１７のいずれかによる画像追尾方法において、
    前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾方法。
19. 請求項１６〜１８のいずれかによる画像追尾方法において、
    前記画像情報において前記第１基準画像情報に対応する画像の下側について設定された前記第２基準画像情報に対する重み付けを他の前記第２基準画像情報よりも大きくして前記候補のいずれかを選択する画像追尾方法。

Images