WO2008026434A1 - Appareil et procédé d'alignement d'image, ainsi que caméra - Google Patents

Description

明 細 書

画像追尾装置、画像追尾方法、およびカメラ

技術分野

[0001] 本発明は、画面内を移動する被写体を自動的に追尾する画像追尾装置、画像追 尾方法、およびカメラに関する。

背景技術

[0002] 移動被写体を撮影する際に自動的に被写体を追尾して、焦点検出や露出演算を 行うカメラが知られている。従来のカメラでは、被写体を追尾するための基準となる画 像を記憶し、パターンマッチングにより相関の高い対象を追尾している（たとえば、特 許文献 1)。

特許文献 1 :特開 2006— 58431号公報

発明の開示

発明が解決しょうとする課題

[0003] しかしながら、基準となる画像に類似した画像が背景に依存する場合や追尾対象 の前を横切る場合には、追尾対象を誤検出しやすいという問題がある。

課題を解決するための手段

[0004] 本発明の第 1の態様によると、画像追尾装置は、結像光学系による像を撮像して画 像情報を生成する撮像装置と、画像情報に基づいて、該画像情報のうち対象となる 像の一部に対応する画像情報を含む第 1基準画像情報を設定するとともに、第 1基 準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第 2基準画像 情報を設定する設定部と、第 1基準画像情報と第 2基準画像情報とに基づいて対象 を認識する認識部とを備える。

本発明の第 2の態様によると、第 1の態様の画像追尾装置において、設定部は、第 2基準画像情報に対応する画像の大きさが、第 1基準画像情報に対応する画像の大 きさよりも小さくなるように、第 2基準画像情報を設定するのが好ましい。

本発明の第 3の態様によると、第 1または 2の態様の画像追尾装置において、対象 に対する結像光学系の焦点調節状態を検出する焦点検出装置をさらに備え、設定 部は、焦点調節状態に基づいて第 2基準画像情報を決定するのが好ましい。

本発明の第 4の態様によると、第 1または 2の態様の画像追尾装置において、設定 部は、第 1基準画像情報に対応する画像の近傍に位置する画像の情報を 繰り返し 検出し、最も変化の少ない画像情報を第 2基準画像情報とするのが好ましい。

本発明の第 5の態様によると、第 1〜4のいずれかの態様の画像追尾装置において 、認識部は、第 1基準画像情報と所定値以上の相関を示す複数の画像情報を対象と 認識する候補として検出した場合は、第 2基準画像情報に基づいて複数の候補のい ずれかを選択するのが好まし!/、。

本発明の第 6の態様によると、第 1〜5のいずれかの態様の画像追尾装置において 、設定部は、第 1基準画像情報に対応する画像の大きさに基づいて、第 2基準画像 情報に対応する画像の大きさと位置の少なくとも一方を決定するのが好ましい。 本発明の第 7の態様によると、第 1〜6のいずれかの態様の画像追尾装置において 、設定部は、結像光学系の光学特性に基づいて第 2基準画像に対応する画像の大 きさを決定するのが好ましい。

本発明の第 8の態様によると、第 5〜7のいずれかの態様の画像追尾装置において 、認識部は、画像情報において第 1基準画像情報に対応する画像の下側について 設定された第 2基準画像情報に対する重み付けを他の第 2基準画像情報よりも大き くして候補の!/、ずれかを選択するのが好まし!/、。

本発明の第 9の態様によると、第 1〜8のいずれかの態様の画像追尾装置において 、画像情報は、色情報または輝度であるのが好ましい。

本発明の第 10の態様によると、カメラは、第;!〜 9のいずれかの態様の画像追尾装 置を備える。

本発明の第 11の態様によると、第 10の態様のカメラにおいて、カメラの姿勢を検出 する姿勢検出装置をさらに有し、認識部は、姿勢検出装置からの出力に応じて第 2 基準画像情報を決定する決定部とを備えるのが好ましい。

本発明の第 12の態様によると、第 10または 11の態様のカメラにおいて、画像情報 は画像処理を施した画像情報であるのが好ましい。

本発明の第 13の態様によると、画像追尾方法は、結像光学系による像を撮像して 画像情報を生成し、画像情報に基づいて、該画像情報のうち対象となる像の一部に 対応する画像情報を含む第 1基準画像情報を設定するとともに、第 1基準画像情報 に対応する画像の近傍に位置する画像の位置に基づいて第 2基準画像情報を設定 し、第 1基準画像情報と第 2基準画像情報とに基づいて対象を認識する。

本発明の第 14の態様によると、第 13の態様の画像追尾方法において、対象に対 する結像光学系の焦点調節状態に基づいて、第 2基準画像情報を決定するのが好 ましい。

本発明の第 15の態様によると、第 14の態様の画像追尾方法において、第 1基準画 像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の 少ない画像情報を第 2基準画像情報とするのが好ましい。

本発明の第 16の態様によると、第 13〜； 15のいずれかの態様の画像追尾方法にお いて、第 1基準画像情報と所定値以上の相関を示す複数の画像情報を対象と認識 する候補として検出した場合は、第 2基準画像情報に基づ!/、て複数の候補の!/、ずれ 力、を選択するのが好ましい。

本発明の第 17の態様によると、第 13〜； 16のいずれかの態様の画像追尾方法にお いて、第 1基準画像情報に対応する画像の大きさに基づいて、第 2基準画像情報に 対応する画像の大きさと位置の少なくとも一方を決定するのが好ましい。

本発明の第 18の態様によると、第 13〜； 17のいずれかの態様の画像追尾方法にお いて、結像光学系の光学特性に基づいて第 2基準画像に対応する画像の大きさを 決定するのが好ましい。

本発明の第 19の態様によると、第 16〜； 18のいずれかの態様の画像追尾方法にお いて、画像情報において第 1基準画像情報に対応する画像の下側について設定さ れた第 2基準画像情報に対する重み付けを他の第 2基準画像情報よりも大きくして候 補の！/、ずれかを選択するのが好ましレ、。

発明の効果

本発明によれば、対象となる像の一部に対応する画像情報を含む第 1基準画像情 報と、第 1基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて 設定された第 2基準画像情報とに基づ!/、て対象を認識するので、認識精度を向上す ること力 Sでさる。

図面の簡単な説明

[0006] [図 1]本発明の実施の形態におけるデジタルカメラの要部構成を説明する図である。

[図 2]撮像素子の画素構成を説明する図である。

[図 3]実施の形態における追尾方法を説明する図である。

[図 4]実施の形態における追尾方法を説明する図である。

[図 5]実施の形態における追尾方法を説明する図である。

[図 6]実施の形態における被写体追尾処理を説明するフローチャートである。

[図 7]変形例を整理した機能ブロック図。

発明を実施するための最良の形態

[0007] 以下、図面を参照しながら、被写体追尾装置を備える一眼レフデジタルカメラの一 実施の形態を説明する。図 1に、本発明のデジタルカメラの要部構成を示す。カメラ 本体 10には、撮影レンズ 21を備えるレンズ鏡筒 20が交換可能に装着されている。

[0008] カメラ本体 10の内部には、被写体を撮像するための第一の撮像素子 12が設けら れている。第一の撮像素子 12として CCDや CMOS等が使用される。撮影レンズ 21 と第一の撮像素子 12との間には、撮影レンズ 21を通過した被写体光をファインダ光 学系へと反射するクイックリターンミラー 11が配設されている。被写体光の一部はクイ ックリターンミラー 11の半透過領域を透過し、サブミラー 111にて下方に反射され、位 相差式 AFセンサモジュール 112へ入射される。姿勢センサ 113は、カメラの姿勢を 検出する。

[0009] 位相差式 AFセンサモジュール 112は、たとえば、焦点検出光束を一対の焦点検 出用光像に分割して結像する焦点検出光学系と、分割された一対の光像が入射し、 それに応じた焦点検出信号を出力する一対の CCDラインセンサとを備える。 CCDラ インセンサから出力される焦点検出信号は制御部 30に入力され、後述するように、 制御部 30は、焦点調節レンズを合焦位置まで駆動させるレンズ駆動信号を出力する

[0010] クイックリターンミラー 11で反射された被写体光は、第一の撮像素子 12と光学的に 等価な位置に設けられた焦点板 13上に結像する。焦点板 13上に結像された被写体 像は、ペンタブリズム 14と接眼レンズ 15を介して撮影者により観察されるとともに、ぺ ンタプリズム 14からプリズム 17と結像レンズ 18とを通過し、第二の撮像素子 19の受 光面上に結像する。なお、不図示のレリーズボタン全押しによって撮影動作が実行さ れる場合は、クイックリターンミラー 11が図の破線で示す位置に回動して、被写体光 は第一の撮像素子 12上に結像する。

[0011] 第二の撮像素子 19は、図 2 (a)に示すように、マトリックス状に配列された複数（図 示例では 20 X 14)の画素 191を備えている。各画素 191は、図 2 (b)に示すように、 さらに 3つの細画素 191a〜191cに分割されている。これら細画素 191a〜191cの それぞれに、 R (赤）、 G (緑）、 B (青）の 3原色フィルターが設けられることにより、被写 体像の RGB出力が得られる。

[0012] 第二の撮像素子 19は、 CCD制御部 31により、撮像面に結像された被写体像に対 応する信号電荷の蓄積および蓄積電荷の掃き出しを行う。 A/D変換回路 32は、第 二の撮像素子 19から出力されたアナログ撮像信号をデジタル画像信号に変換して、 制御部 30へ出力する。制御部 30は CPU、 ROM、 RAMおよび各種周辺回路から 構成されている。機能的には、第二の撮像素子 19から入力した画像処理の施されて V、な!/、画像データ（RAWデータ）に基づ!/、て追尾対象の追尾を行う追尾制御部 33 と、焦点検出演算を行う焦点検出演算部 35と、撮影レンズ 21の駆動量を演算するレ ンズ駆動量演算部 36と、後述の焦点検出領域 40を表す AFエリアマークの点灯/ 消灯（点消灯）を行う表示部 371の点消灯制御部 37とを有する。表示部 371は、焦 点板 13近傍に配置された液晶表示板 22によって AFエリアマークを表示可能となつ ている。

[0013] 焦点検出演算部 35は、撮影者によるエリア選択操作部 351の操作で選択された焦 点検出領域 40に対応する一対の CCDラインセンサから出力される焦点検出信号に 基づいて、デフォーカス量などの焦点調節状態の演算を行う。

[0014] 図 3 (a)に示すようにこの実施の形態のカメラでは、ファインダで観察される画面 42 内に、たとえば 11箇所の焦点検出領域 40a〜40kが設けられている。この 11箇所の 焦点検出領域 40a〜40kの中から 1つがエリア選択操作部 351によって選択されると 、焦点検出演算部 35は選択された焦点検出領域に対する焦点調節状態（以下、便 宜上、デフォーカス量と呼ぶ）の演算を行う。さらに、エリア選択操作部 351は、 11箇 所の焦点検出領域 40a〜40kの中のどの焦点検出領域が選択されたかを示す選択 領域信号を追尾制御部 33へ出力する。焦点検出演算部 35で算出されたデフォー力 ス量はレンズ駆動量演算部 36に出力される。レンズ駆動量演算部 36では、入力した デフォーカス量に基づきレンズ駆動量を演算して、レンズ駆動モータ 361に対してレ ンズ駆動信号を送出する。レンズ駆動モータ 361は、レンズ駆動信号に応じて撮影レ ンズ 21を光軸方向へ移動させ、これにより、焦点調節状態が調節される。なお、焦点 検出領域の選択は、エリア選択操作部 351によるもののほか、検出した焦点調節状 態に基づいてカメラが自動的に選択するようにしてもよい。いずれの場合も、選択さ れた領域を示す選択領域信号を追尾制御部 33へ出力するのは同じである。

[0015] 追尾制御部 33では、入力された選択領域信号に基づいて、第二の撮像素子 19か ら入力した画像データの中から追尾領域に相当する画像データを抽出し、この追尾 領域の画像データに基づいて被写体追尾演算を行う。この実施の形態では、追尾演 算に際して、図 3 (b)、（c)に示すように、第二の撮像素子 19より取得した初期画像 4 3a上において、追尾被写体領域 45と、周辺情報領域 41a〜41d (総称して符号 41 を用いることもある）と、追尾被写体領域 45よりも範囲の広い被写体探索領域 47とを 設定し、追尾被写体領域 45内の画像をテンプレート画像 48とする。

[0016] 追尾被写体領域 45は、選択領域信号により認識した焦点検出領域（図 3の例では 40a)に対応する画素情報 (被写体の色情報）に類似した色情報を有する同色情報 領域 49を囲む矩形の領域として設定される。周辺情報領域 41は、たとえば、図 3 (c) に示すように、追尾被写体領域 45を基準として上下左右にそれぞれ 1画素離れた位 置にて、たとえば追尾被写体領域 45より小さい 2画素の大きさの領域として設定され 、対応する画素で得られる画像データからの R、 G、 Bの各色の色情報を被写体周辺 情報 46 (46a〜46d)として記憶する。被写体探索領域 47は、追尾被写体領域 45を 中心として上下左右に、たとえば 3画素ずつ拡大した範囲で設定される。そして、第 二の撮像素子 19にて時系列的に繰り返し取得した画像において、被写体探索領域 47の領域内でテンプレート画像 48と同じ大きさの比較対象領域を作成し、比較対象 領域の画像情報と、テンプレート画像 48の画像情報との差分を計算した後、差分が 所定値以下の比較対象領域、すなわち新たな追尾被写体領域の候補にお!、て上記 と同様に設定される周辺情報領域で得られる情報と被写体周辺情報 46とを比較する ことにより被写体追尾を行う。

[0017] 図 3、 4を用いて、被写体追尾方法について詳細に説明する。ここで、撮影者がエリ ァ選択操作部 351を操作して、図 3 (a)に示すように、焦点検出領域 40aを選択した ものとする。追尾制御部 33は、エリア選択操作部 351からの選択領域信号に基づい て、焦点検出領域 40aの位置に対応する所定範囲内の画素からの R、 G、 Bの各色 の色情報を被写体色情報として記憶部 38に記憶する。図 3 (b)に示す初期画像 43a 上において、追尾制御部 33は、被写体色情報における R、 G、 Bの各色との差分が 所定値以下である画素のまとまりを、被写体色情報に類似した色情報 (相関の高い 色情報）を有する同色情報領域 49として検出し、この領域 49を囲む矩形領域を追尾 被写体領域 45として設定する。この追尾被写体領域 45はテンプレート画像 48として 記憶部 38に記憶される。さらに、追尾被写体領域 45を中心として上下左右に、たと えば 3画素ずつ拡大した範囲で被写体探索領域 47を新たに設定する。追尾被写体 領域 45が設定されると、追尾制御部 33は、図 3 (c)に示すように、追尾被写体領域 4 5に対して上下左右に 1画素離れた位置における 2画素の周辺情報領域 41a〜41d における G、 Bの各色の色情報を取得して、被写体周辺情報 46a〜46dとして記 憶部 38に記憶する。

[0018] 図 4は、画像 43aに続いて第二の撮像素子 19から時系列的に取得された次画像 4 3bを示す。追尾制御部 33は、次画像 43bの被写体探索領域 47内で、テンプレート 画像 48と同じ大きさの領域を比較対象領域として抽出する。被写体探索領域 47内 で順次その抽出位置を移動させ、各比較対象領域における R/Gおよび R/Bで表 される色比率と、テンプレート画像 48の R/G、 R/Bとの差分を対応する画素ごとに 計算する。そして、差分の合計が所定値以下となる比較対象領域を追尾被写体候補 領域 50とする。図 4 (a)においては、次画像 43bの比較対象領域のうち 2つの領域 5 Oaおよび 50bが追尾被写体候補領域であることを示す。なお、追尾被写体候補領域 を代表符号 50とする。

[0019] 追尾被写体候補領域 50が決定すると、これに対応する周辺情報領域 41aa、 41ba 、 41ca、 41da、 41ab、 41bb、 41cb、 41db力、らの画像十青幸を取得して、これらの十青 報と被写体周辺情報 46との比較を行なう。比較の結果、被写体周辺情報 46と一致 する情報をより多く有する周辺情報領域 41に対応する追尾被写体候補領域 50を、 新たな追尾被写体領域 45aとして設定する。図 4 (b)には、追尾被写体候補領域 50 aに対応する周辺情報領域 41aa〜41daから画像情報を取得した状態を示す。被写 体周辺情報 46a〜46dと周辺情報領域 41aa〜41daのそれぞれの画像情報を比較 すると、図 4 (c)に示すように、被写体周辺情報 46a、 46c、 46dと周辺情報領域 41a a、 41ca、 41daの情報と力 それぞれ、計 3つ一致している。また、図 4 (d)には、追 尾被写体候補領域 50bに対応する周辺情報領域 41ab〜41dbから画像情報を取得 した状態を示す。被写体周辺情報 46a〜46dと周辺情報領域 41ab〜41dbのそれ ぞれの画像情報を比較すると、図 4 (e)に示すように、被写体周辺情報 46a、 46bと 周辺情報領域 41 ab、 41bbの情報と力 S、それぞれ、計 2つ一致している。

[0020] したがって、より多くの類似した周辺情報が得られる追尾被写体候補領域 50aが新 たな追尾被写体領域 45aとして設定される。なお、被写体周辺情報 46の情報と、各 被写体候補領域 50に対する周辺情報領域 41の情報との一致数が等しい場合や、 V、ずれも一致しなレ、場合は、前述したテンプレート画像 48との比較により差分の合 計が最小となる比較対象領域が新たな追尾被写体領域 45aとして設定される。

[0021] 追尾被写体領域 45aが設定されると、追尾制御部 33は、初期設定画面で設定した テンプレート画像 48における R (赤）、 G (緑）、 B (青）各色の色情報と、追尾被写体領 域 45aにおける R (赤）、 G (緑）、 B (青）各色の色情報とを合成して、新たなテンプレ ート画像 48を作成する。ただし、この場合は、初期設定画面で設定したテンプレート 画像 48の色情報の割合を多く配分する。たとえば、初期設定画面で設定したテンプ レート画像 48の色情報を 80パーセントとし、新たに設定した追尾被写体領域 45aの 色情報を 20パーセントとした割合で合成する。テンプレート画像 48を更新した後に、 前述と同様にして、図 5 (a)に示すように、被写体探索領域 47が設定される。

[0022] 追尾制御部 33は、追尾被写体領域 45aの中央位置の座標を焦点検出演算部 35 へ出力する。焦点検出演算部 35は、入力した追尾被写体領域 45aの座標に基づき 、図 5 (b)に示すように、追尾被写体領域 45aの中心に最も近い焦点検出領域 40aに 追尾対象が存在するものとみなし、焦点検出領域 40eに対応する一対の AFセンサ モジュール 112の CCDラインセンサから出力される焦点検出信号を用いて焦点調節 状態を演算する。焦点検出演算部 35は、焦点検出領域 40aを示す選択領域信号を 追尾制御部 33を介して点消灯制御部 37へ出力する。これにより、表示部 371は、焦 点検出領域 40aの AFエリアマークを点灯する。

[0023] なお、複数の焦点検出領域 40が追尾被写体領域 45aの中心から等距離に位置し ている場合には、それ以前に取得した時系列的な画像における被写体の移動方向、 すなわち、移動履歴に基づいて、被写体の移動が予測される方向に位置する焦点 検出領域 40を選択する。

[0024] 以下で、図 6に示すフローチャートを用いて、被写体追尾制御動作の各処理につ いて説明する。なお、このフローチャートに示す各処理は、制御部 30によりプロダラ ムを実行して行われる。また、このフローチャートは不図示のレリーズスィッチの半押 し操作により開始される。

ステップ S1では、撮影者により設定された焦点検出領域 40に対して焦点検出演算 部 35で演算された焦点検出演算結果に基づいて、撮影レンズ 21を駆動して焦点調 節を行い、ステップ S2へ進む。ステップ S2では、第二の撮像素子 19からの画像を取 得してステップ S3へ進む。

[0025] ステップ S3においては、選択された焦点検出領域に対応する画素からの出力に基 づいて被写体色情報を取得し、記憶部 38に記憶してステップ S4へ進む。ステップ S 4においては、ステップ S3にて取得した被写体色情報に類似した色情報を有する同 色情報領域 49を検出してステップ S5へ進む。ステップ S5においては、ステップ S4に て検出した同色情報領域 49を囲む矩形領域を追尾被写体領域 45として設定してス テツプ S 6へ進む。

[0026] ステップ S6においては、ステップ S5で設定した追尾被写体領域 45をテンプレート 画像 48として記憶部 38に記憶してステップ S7へ進む。ステップ S7においては、追 尾被写体領域 45に基づいて、前述したように被写体探索領域 47を設定してステップ S8へ進む。ステップ S8において、追尾被写体領域 45の周辺情報領域 41からの R、 G、 Bの各色の色情報を取得し、被写体周辺情報 46として記憶部 38に記憶してステ ップ S 9へ進む。

[0027] ステップ S9においては、撮影者により不図示のレリーズスィッチが全押しされたか 否かを判定する。ステップ S9が肯定された場合、すなわち、ステップ S9において、レ リーズスィッチが全押しされたと判定された場合は、ステップ S 17へ進む。ステップ S9 が否定された場合、すなわち、ステップ S 9において、レリーズスィッチが全押しされて V、な!/、と判定された場合は、ステップ S 10へ進む。

[0028] ステップ S10では、第二の撮像素子 19から次画像 (新たな画像）を取得し、ステツ プ S11へ進む。ステップ S 11においては、被写体探索領域 47内で、前述したように、 テンプレート画像 48と同じ大きさの領域を抽出し、各領域の差分を対応する画素ごと に演算してステップ S 12へ進む。ステップ S 12では、ステップ S 11における演算結果 に基づ!/、て、テンプレート画像 48との差分の合計が所定値以下となる比較対象領域 を追尾被写体候補領域 50として設定してステップ S 13へ進む。

[0029] ステップ S13においては、ステップ S12にて設定した追尾被写体候補領域 50に対 応する周辺情報領域 41からの画像情報を取得して被写体周辺情報 46との比較を 行ない、ステップ S 14へ進む。ステップ S14では、ステップ S 13における比較結果に 基づいて、前述したように、被写体周辺情報 46と類似した画像情報をより多く有する 追尾被写体候補領域 50を新たな追尾被写体領域 45として設定し、ステップ S 15へ 進む。

[0030] ステップ S15においては、前述した方法を用いてテンプレート画像 48を更新し、記 憶部 38に記憶する。ステップ S 16では、ステップ S 14で設定した新たな追尾被写体 領域 45に基づいて、新たに被写体探索領域 47を設定して、ステップ S9へ戻る。ステ ップ S9においてレリーズスィッチが全押しされたと判定すると、ステップ S 17へ進んで 、前述したように撮影動作を行い、一連の処理を終了する。

[0031] なお、追尾被写体領域 45を設定するステップ S5やステップ S14、被写体周辺情報 46を記憶部 38に記憶するステップ S8は、追尾対象となる画像の画像情報を設定し 、追尾対象となる画像の近傍に位置する画像の情報を追尾対象の画像の画像情報 を補助する補助画像情報として設定する設定部として機能する。ステップ S 11〜S14 の処理は、これら追尾対象の画像の画像情報と上記補助画像情報とを使用して、追 尾対象を認識する認識部として機能する。

[0032] 以上で説明した実施の形態によるデジタルカメラによれば、以下の作用効果が得ら れる。

(1)第二の撮像素子 19により取得された色情報 (画像情報）に基づいて、追尾対象 を含む画像範囲から得られる基準画像情報、すなわちテンプレート画像 48と、テン プレート画像 48の近傍に位置する画像の情報に基づ!/、て近傍画像情報、すなわち 被写体周辺情報 46とを設定して追尾対象を追尾するようにした。したがって、人物を 撮影するような場合、追尾対象の顔を含む範囲をテンプレート画像 48と設定すると、 追尾対象の衣服など追尾対象と関連のある情報を被写体周辺情報 46から取得する ことができるので、追尾対象を横切った異なる被写体を追尾対象として検出すると!/ヽ うような誤検出が無くなり、追尾精度が向上する。

[0033] (2)テンプレート画像 48と被写体探索領域 47内の比較対象領域との画像情報の差 分演算により、複数の追尾被写体候補領域 50が検出された場合、すなわち追尾対 象と所定値以上の相関を示す追尾候補が複数存在する場合は、近傍画像情報であ る被写体周辺情報 46と類似した画像情報を有する周辺情報領域 41をより多く有す る追尾被写体候補領域 50を、新たな追尾被写体領域 45として設定して、追尾対象 を追尾するようにした。したがって、類似の画像情報を有する被写体が複数存在する 場合でも、周辺情報を用いて追尾対象を特定することができるので誤検出を防ぐこと ができる。

[0034] (3)第二の撮像素子 19から出力された画像処理の施されていない画像データ（RA Wデータ）の色情報を用いて、テンプレート画像 48と切出し領域との差分演算を行な うようにしたので、追尾処理を高速に行なうことができる。

[0035] 以上で説明した実施の形態を以下のように変形することができる。

(1)第二の撮像素子 19により取得された追尾対象の色情報に基づいて、テンプレー ト画像 48を設定する際の基準となる追尾被写体領域 45を決定したが、色情報に代 えて輝度を用いてもよい。

[0036] (2) 4箇所の周辺情報領域 41内のすべての画像を用いて画像情報の比較を行なつ た力 すべてを用いることなぐたとえば有彩色の画像情報を有するものや特徴的な 画像情報を有する周辺情報領域 41を用いてもよい。特に、追尾対象が人物の場合、 追尾被写体候補領域 50の下に位置する周辺情報領域 41を用いると、追尾対象の 衣類などに基づく画像情報を取得しやすいので効果的である。また、追尾被写体候 補領域 50の下に位置する周辺情報領域 41の重み付けを大きくするようにしてもよい 。以上のような場合、カメラ本体 10に設けた姿勢センサ 113の出力に応じてカメラの 姿勢を検出し、検出したカメラの姿勢を考慮して被写界内において追尾被写体候補 領域 50の下に位置する周辺情報領域 41を選択するようにしてもよい。

[0037] (3)追尾開始から撮影終了まで被写体周辺情報 46を同数保持して周辺情報領域 4 1との比較を行なうものとして説明した力 S、複数回の追尾制御を行なう際に繰り返し検 出された周辺情報領域 41のうち、最も変化の少な!/ヽ画像情報を有する周辺情報領 域 41を被写体周辺情報 46として設定してもよい。

[0038] (4)テンプレート画像 48に基づいて、追尾被写体候補領域 50を選択した後に周辺 情報領域 41の情報と被写体周辺情報 46との比較を行なうものに代えて、テンプレー ト画像 48と被写体周辺情報 46とをまとめて一つのテンプレートとして設定してもよい

[0039] (5)第二の撮像素子 19から出力された画像処理の施されていない画像データ（RA Wデータ）の色情報を用いて追尾対象を追尾するものとしたが、画像の周辺光量落 ち補正やホワイトバランスなどの画像処理の施された色情報を用いて追尾対象を追 尾してもよい。

[0040] (6) 4箇所の周辺情報領域 41の中から、追尾被写体領域 45のデフォーカス量との差 が所定値以下となるデフォーカス量を有する周辺情報領域 41を選択し、選択された 周辺情報領域 41の情報を被写体周辺情報 46として用いてもよい。さらに、テンプレ ート画像 48と被写体周辺情報 46との位置関係については、デフォーカス量に基づ いて決定してもよい。この場合、追尾対象までの距離が近いときはテンプレート画像 4 8と被写体周辺情報 46との間隔を離し、追尾対象までの距離が遠いときはテンプレ ート画像 48と被写体周辺情報 46との間隔を近づけるようにするとよい。

[0041] (7)撮影者の操作により追尾対象となる被写体を指定するものに代えて、被写体を 認識する機能を備えるカメラであれば、被写体の認識結果に基づレ、て追尾対象とな る被写体を設定して上述の追尾処理を開始するようにしてもょレ、。

[0042] (8)テンプレート画像 48の R、 G、 Bの各色の色情報と追尾被写体領域 45aの R、 G、 Bの各色の色情報とを合成して新たなテンプレート画像 48として更新するものとして 説明したが、追尾被写体領域 45aとの合成を行なわず、テンプレート画像 48をその まま継続して用いてもよい。

[0043] (9)追尾被写体領域 45の大きさに基づいて、被写体周辺情報 46の大きさを決定す るようにしてもよい。例えば、被写体として人物の顔を追尾する場合に、追尾被写体 領域が 6 X 6画素程度の大きさだとすると、周辺の被写体情報として 1、 2画素程度の 小さな領域の情報では、服の色のほんの一部（柄など）しか取れな!/、可能性がある。 そのため、この場合、概ね寸法比で 1/3程度の 2 X 2画素を周辺の被写体情報とし て用いる。また、追尾被写体領域が大きいほど、被写体周辺情報の領域を拡大する ようにする。

[0044] (10)焦点距離などのレンズ情報や像倍率 (焦点距離と撮影距離とから求める）に基 づいて、被写体周辺情報 46の大きさを決定するようにしてもよい。例えば、焦点距離 が近い場合、あるいは像倍率が大きいほど、被写体周辺情報の大きさを大きくする。 このときの追尾被写体領域 45と被写体周辺情報 46との寸法比はほぼ一定となるよう にする。すなわち、結像光学系の光学特性に基づいて、被写体周辺情報 46の大き さを決定するようにしてもょレ、。

[0045] (11 )追尾被写体領域 45の大きさに基づいて、被写体周辺情報 46の位置を変える ようにしてもよい。例えば、追尾被写体領域が大きいほど、追尾被写体領域のすぐ真 下でなぐ少し離して位置させる。図 3 (c)で説明すると、追尾被写体領域 45と被写 体周辺情報 46の間の画素が 1画素分離れているのを、 2画素や 3画素などにする。こ れは、追尾被写体領域 45が顔だとした場合、すぐ下の首の色ではなぐもう少し下の 服の色を被写体周辺情報 46とするのが好ましいためである。

[0046] (12)上記（9) (10)とも関係するが、被写体が接近してくる（像倍率が上がる）につれ て追尾被写体領域 45を大きくし、それに伴って被写体周辺情報 46の大きさを大きく するとともに追尾被写体領域 45との間隔も広げるようにしてもよい。

[0047] (13)上記実施の形態のステップ S 14において、被写体周辺情報 46と類似した画像 情報を有する領域を選択する際、複数の被写体周辺情報 46のうち、追尾被写体領 域 45の下に位置する被写体周辺情報 46に対する重み付けを大きくするようにしても よい。これは、周辺を見て決める際、被写体の下に位置する領域の情報が被写体の 補助情報として適切である可能性が高いためである。例えば、上記説明したように、 追尾対象が人物で、追尾被写体領域 45が顔となるような場合である。これにより、下 側の周辺情報との一致度が高いものを新たな被写体領域として決定する。

[0048] (14)撮影レンズが交換可能な一眼レフデジタルカメラとして説明したが、本発明はこ れに限定されるものではなぐレンズ一体型カメラやビデオカメラに適用してもよい。

[0049] 図 7は、上記説明した変形例を整理した機能ブロック図であり、追尾制御部 33が各 ブロックの処理を行う。追尾制御部 33が処理する機能は、上述した設定部 201と認 識部 202とに分かれる。各ブロック内の番号は、上記説明した変形例の番号に対応 する。

[0050] また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるも のではなぐ本発明の技術的思想の範囲内で考えられるその他の形態についても、 本発明の範囲内に含まれる。

[0051] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。

日本国特許出願 2006年第 233823号（2006年 8月 30日出願）

Claims

請求の範囲

[1] 結像光学系による像を撮像して画像情報を生成する撮像装置と、

前記画像情報に基づレ、て、該画像情報のうち対象となる像の一部に対応する画像 情報を含む第 1基準画像情報を設定するとともに、前記第 1基準画像情報に対応す る画像の近傍に位置する画像の情報に基づいて第 2基準画像情報を設定する設定 部と、

前記第 1基準画像情報と前記第 2基準画像情報とに基づいて前記対象を認識する 認識部とを備える画像追尾装置。

[2] 請求項 1による画像追尾装置において、

前記設定部は、前記第 2基準画像情報に対応する画像の大きさが、前記第 1基準 画像情報に対応する画像の大きさよりも小さくなるように、前記第 2基準画像情報を 設定する画像追尾装置。

[3] 請求項 1または 2による画像追尾装置において、

前記対象に対する前記結像光学系の焦点調節状態を検出する焦点検出装置をさ らに備え、

前記設定部は、前記焦点調節状態に基づいて前記第 2基準画像情報を決定する 画像追尾装置。

[4] 請求項 1または 2による画像追尾装置において、

前記設定部は、前記第 1基準画像情報に対応する画像の近傍に位置する画像の 情報を 繰り返し検出し、最も変化の少ない画像情報を前記第 2基準画像情報とする 画像追尾装置。

[5] 請求項;!〜 4の!/、ずれかによる画像追尾装置にお!/ヽて、

前記認識部は、前記第 1基準画像情報と所定値以上の相関を示す複数の画像情 報を前記対象と認識する候補として検出した場合は、前記第 2基準画像情報に基づ V、て複数の前記候補の!/、ずれかを選択する画像追尾装置。

[6] 請求項;!〜 5の!/、ずれかによる画像追尾装置にお!/ヽて、

前記設定部は、前記第 1基準画像情報に対応する画像の大きさに基づいて、前記 第 2基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像 追尾装置。

[7] 請求項;!〜 6の!/、ずれかによる画像追尾装置にお!/ヽて、

前記設定部は、前記結像光学系の光学特性に基づ!/、て前記第 2基準画像に対応 する画像の大きさを決定する画像追尾装置。

[8] 請求項 5〜7の!/、ずれかによる画像追尾装置にお!/ヽて、

前記認識部は、前記画像情報にお!/、て前記第 1基準画像情報に対応する画像の 下側について設定された前記第 2基準画像情報に対する重み付けを他の前記第 2 基準画像情報よりも大きくして前記候補のいずれ力、を選択する画像追尾装置。

[9] 請求項;!〜 8の!/、ずれかによる画像追尾装置にお!/ヽて、

前記画像情報は、色情報または輝度である画像追尾装置。

[10] 請求項;!〜 9のいずれかによる画像追尾装置を備えるカメラ。

[11] 請求項 10によるカメラにおいて、

前記カメラの姿勢を検出する姿勢検出装置をさらに有し、

前記認識部は、前記姿勢検出装置からの出力に応じて前記第 2基準画像情報を 決定する決定部とを備えるカメラ。

[12] 請求項 10または 11に記載のカメラにおいて、

前記画像情報は画像処理を施した画像情報であるカメラ。

[13] 結像光学系による像を撮像して画像情報を生成し、

前記画像情報に基づレ、て、該画像情報のうち対象となる像の一部に対応する画像 情報を含む第 1基準画像情報を設定するとともに、前記第 1基準画像情報に対応す る画像の近傍に位置する画像の位置に基づいて第 2基準画像情報を設定し、 前記第 1基準画像情報と前記第 2基準画像情報とに基づいて前記対象を認識する 画像追尾方法。

[14] 請求項 13による画像追尾方法において、

前記対象に対する前記結像光学系の焦点調節状態に基づいて、前記第 2基準画 像情報を決定する画像追尾方法。

[15] 請求項 14による画像追尾方法において、

前記第 1基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検 出し、最も変化の少ない画像情報を前記第 2基準画像情報とする画像追尾方法。

[16] 請求項 13〜； 15のいずれかによる画像追尾方法において、

前記第 1基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と 認識する候補として検出した場合は、前記第 2基準画像情報に基づいて複数の前記 候補のレ、ずれかを選択する画像追尾方法。

[17] 請求項 13〜； 16のいずれかによる画像追尾方法において、

前記第 1基準画像情報に対応する画像の大きさに基づいて、前記第 2基準画像情 報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾方法。

[18] 請求項 13〜； 17のいずれかによる画像追尾方法において、

前記結像光学系の光学特性に基づいて前記第 2基準画像に対応する画像の大き さを決定する画像追尾方法。

[19] 請求項 16〜； 18のいずれかによる画像追尾方法において、

前記画像情報にぉレ、て前記第 1基準画像情報に対応する画像の下側につ!、て設 定された前記第 2基準画像情報に対する重み付けを他の前記第 2基準画像情報より も大きくして前記候補のいずれかを選択する画像追尾方法。