JP5347834B2

JP5347834B2 - 画像追尾装置

Info

Publication number: JP5347834B2
Application number: JP2009194288A
Authority: JP
Inventors: 慶子村松
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-08-25
Filing date: 2009-08-25
Publication date: 2013-11-20
Anticipated expiration: 2029-08-25
Also published as: JP2011049652A; US20110090355A1; US8514294B2

Description

本発明は、画像追尾装置に関する。

従来から、移動被写体を撮影する際に、画面内の指示部分の被写体像をテンプレート画像として取得し、繰り返し撮影する画像の中でテンプレート画像と類似した被写体像の位置を検索（テンプレートマッチング）し、画面内を移動する被写体を追尾する画像追尾装置が知られている（たとえば特許文献１）。

特開２００１−２４３４７８号公報

しかしながら、相関演算結果や移動被写体の動きベクトルに応じて精度よく探索範囲の大きさや位置を設定するのが難しく、画像内の移動被写体とは異なる被写体を所望の移動被写体として誤検出するという問題がある。

請求項１に記載の画像追尾装置は、結像光学系により結像される被写界の被写界像を繰り返し撮像して、被写界画像を生成する撮像手段と、前記被写界画像における第１探索領域内の画像情報と対象となる画像に基づく基準情報との間の相関を示す第１演算結果を演算するとともに、前記被写界画像における前記第１探索領域とは異なる第２探索領域内の画像情報と前記基準情報との間の相関を示す第２演算結果を演算する演算手段と、前記第１演算結果と前記第２演算結果との一方に基づいて、前記被写界画像における前記対象となる画像の位置を検出する検出手段と、前記第１演算結果と前記第２演算結果との差分が第１閾値を超えるか否かを判定する第１判定手段とを備え、前記第１探索領域は前記第２探索領域よりも大きい領域により構成され、前記検出手段は、前記差分が前記第１閾値を超える場合は前記第１演算結果に基づいて、前記差分が前記第１閾値未満の場合は前記第２演算結果に基づいて、前記対象となる画像の位置を検出することを特徴とする。

本発明によれば、第１探索領域における基準情報との相関を演算した第１演算結果と、第１探索領域とは異なる第２探索領域における基準情報との相関を演算した第２演算結果との一方に基づいて、被写界画像における対象となる画像の位置を検出するので、移動被写体とは異なる被写体の誤検出を防ぐことができる。

一実施の形態の画像追尾装置を備えた撮像装置の構成を示す横断面図一実施の形態の画像追尾装置を備えた撮像装置の構成を示すブロック図第２撮像素子の正面図第２撮像素子の画素のフィルターを示す図一実施の形態の画像追尾方法を説明するための図一実施の形態の画像追尾方法を説明するための図一実施の形態の画像追尾方法を説明するための図一実施の形態の画像追尾処理を示すフローチャート追尾制御初期処理を示すフローチャート新追尾被写体位置決定処理を示すフローチャート変形例における固定領域を説明するための図変形例における第１探索領域と第２探索領域とを説明するための図

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら追尾対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。

図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１では、撮影レンズ８、絞り２１等を有する交換レンズ３がカメラ本体２に着脱可能に装着される。カメラ本体２には被写界像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。

カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。

カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光の一部はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写界像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写界像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写界像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写界像を視認することができる。

また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写界像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写界像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。図３は第２撮像素子１６の詳細な構成を示す正面図である。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）４０（この一実施の形態では、横１６個×縦１２個の画素）を備えている。さらに、各画素４０は図４に示すように３個の部分４０ａ、４０ｂ、４０ｃに分割され、これらの部分にはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素４０ごとに被写界画像のＲＧＢ信号を出力することができる。詳細を後述するが、この第２撮像素子１６により撮像された被写界画像信号に基づいて追尾制御と露出演算が行われる。なお、追尾制御と露出演算は第１撮像素子４により撮像された被写界画像信号に基づいて行うこととしてもよい。

カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。

交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で代表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などのレンズ情報が記憶されている。

ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行い、ボディ駆動制御装置１９からレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２からボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。

図２はボディ駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。撮影者により操作部材２０のシャッターボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５により反射され、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれる。シャッターボタンが半押しされている間、第２撮像素子１６により繰り返し周期的に被写界像を撮像することができる。

マイクロコンピューター１９ｃは、ソフトウエア形態により追尾制御部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報などを記憶する。

追尾制御部１９ｅは、第２撮像素子１６により撮像した被写界像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させ、その後に繰り返し撮影される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。

焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材２０のシャッターボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５のハーフミラー部を通ってサブミラー６および焦点検出光学系９を介して測距素子１０へ導かれ、焦点検出演算部１９ｇにより焦点検出演算が行われる。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、シャッターボタンが半押しされている間、繰り返し周期的に行われる。

次に、一実施の形態の画像追尾動作を説明する。図５〜図７は一実施の形態の画像追尾動作を説明するための図、図８〜図１０は一実施の形態の画像追尾処理を示すフローチャートである。マイクロコンピューター１９ｃは、第２撮像素子１６により撮像した被写体像のうち、ユーザが手動で追尾対象被写体を指定するか、あるいはカメラが自動で追尾対象被写体を設定した後、操作部材２０のシャッターボタンを半押しすると、被写体追尾処理を開始する。なお、以降の説明では、図６および図７において水平方向をｘ軸、垂直方向をｙ軸とする座標系を用いる。

シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光の一部は焦点板１１上に結像される。そして、焦点板１１上の被写界像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写界画像信号が繰り返し出力される。

撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２により焦点板１１上の被写界像にエリアマークを重畳し、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇ（図中にはａ〜ｇと表記）が設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。

図５に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｃが選択され、この状態で操作部材２０のシャッターボタンが半押しされると、焦点検出エリア４５ｃが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対象として初回ＡＦエリア内の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象の被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。

図８のステップＳ１において、第２撮像素子１６により追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得する。第２撮像素子１６により撮像された画像情報は、画素ごとにＲＧＢ値で表される。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]，
ｘ＝１〜１６、ｙ＝１〜１２・・・（１）

さらに、上記の画素ごとのＲＧＢ値に基づいて、各画素の色情報と輝度情報とを算出する。ここで、色情報は、以下の（２）式に示すように、色の偏り具合を示す値であるＲＧ、ＢＧにより表される。また、輝度情報として画像を取得したときの露光時間Ｔ、ゲインＧ、色合成係数Ｋｒ、Ｋｇ、Ｋｂに基づいて、以下の（２）式より算出されたＬによって表される。
ＲＧ[ｘ,ｙ]＝Log_２（Ｒ[ｘ,ｙ]）−Log_２（Ｇ[ｘ,ｙ]）
ＢＧ[ｘ,ｙ]＝Log_２（Ｂ[ｘ,ｙ]）−Log_２（Ｇ[ｘ,ｙ]）
Ｌ[ｘ,ｙ]＝Log_２（Kr×Ｒ[ｘ,ｙ]＋Kg×Ｇ[ｘ,ｙ]＋Kb×Ｂ[ｘ,ｙ]）−Log_２（Ｔ）−Log_２（Ｇ）
・・・（２）

次に、ステップＳ２で図９に示す追尾制御初期処理を実行する。図９のステップＳ１０１において、追尾初期画像の中の撮影者が指定した位置（ここでは初回ＡＦエリアである焦点検出エリア４５ｃ）の画像情報（(２)式参照）を被写体色情報として記憶する。ステップＳ１０２では、図６(ａ)に示すように、追尾初期画像の中の焦点検出エリア４５ｃ（図５参照）の位置周辺部において上記被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップＳ１０３で上記同色情報領域を含む四角形の領域を初期の追尾被写体領域４７とする。なお、ここでは被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、処理の簡素化を図るために一律に４×４画素のように追尾被写体領域のサイズを統一したり、あるいは撮影レンズ８の距離情報や被写体の像倍率に応じて追尾被写体領域のサイズを決定してもよい。

ステップＳ１０４では、ステップＳ１０３で決定した、追尾初期画像の追尾被写体領域４７をテンプレート画像４８としてメモリ１９ｄに記憶する。図６（ａ）に示すように、追尾被写体領域４７のサイズが４×４画素、始点位置（四角形の左上端部に対応する画素位置）が（ｘ,ｙ）＝（７,５）の場合は、図６（ｂ）に示すテンプレート画像４８の色情報および輝度情報は以下の式（３）ように表される。
ＲＧref[ｒｘ,ｒｙ]＝ＲＧ[ｘ,ｙ]，
ＢＧref[ｒｘ,ｒｙ]＝ＢＧ[ｘ,ｙ]），
Ｌref[ｒｘ,ｒｙ]＝L[ｘ,ｙ]，
ｒｘ＝１〜４、ｒｙ＝１〜４、ｘ＝７〜１０、ｙ＝５〜８・・・（３）

ステップＳ１０５で、撮像される追尾次画像においてテンプレート画像４８と一致または類似する画像を探索する領域を決定する。ここでは、図６(ａ)に示すように、追尾被写体領域４７の上下左右方向にそれぞれ４画素分拡大した画素範囲（１２×１２画素）に含まれる領域を第１探索領域４９に設定する。さらに、追尾被写体領域４７の上下左右方向にそれぞれ２画素分拡大した画素範囲（８×８画素）に含まれる領域を第２探索領域５０に設定する。図６（ａ）においては、第１探索領域４９は、ｘ＝３〜１４、ｙ＝１〜１２の範囲に含まれる領域となる。また、第２探索領域５０は、ｘ＝５〜１２、ｙ＝３〜１０の範囲に含まれる領域となる。

好ましくは追尾被写体領域４７を中心にして第１探索領域４９および第２探索領域５０を設定する。追尾対象の被写体は今回検出された位置すなわち追尾被写体領域４７を基点にして移動するから、追尾被写体領域４７を中心にして第１探索領域４９および第２探索領域５０を設定することによって、追尾対象の被写体を早く検出することができ、画像追尾の応答性を向上させることができる。なお、この第１探索領域４９および第２探索領域５０は縦横それぞれに所定画素ずつ拡大した所定の大きさの領域としてもよいし、追尾結果や追尾被写体の大きさに応じて変えるようにしてもよい。

以上で追尾制御初期処理を終了し、図８のステップＳ３へリターンする。リターン後の図８のステップＳ３において、操作部材２０のシャッターボタンが全押しされたか否かを判別し、全押しされるまでの間、ステップＳ４以降の処理を繰り返す。ステップＳ４において、第２撮像素子１６から追尾次画像を取得し、ステップＳ１の処理と同様に追尾次画像について画像情報Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]（ｘ＝１〜１６、ｙ＝１〜１２）を取得し、色情報ＲＧ[ｘ,ｙ]，ＢＧ[ｘ,ｙ]および輝度情報Ｌ[ｘ,ｙ]を算出する。

続くステップＳ５では追尾演算処理を行う。追尾次画像の中の第１探索領域４９から図６(ａ)に示す追尾被写体領域４７と同じサイズの領域を順次切り出す。そして、切り出した画像と、図６(ｂ)に示すテンプレート画像４８の対応する画素ごとに、相関を演算、すなわち画像情報の差分Ｄiffを算出する。

差分Ｄiffは次式により算出する。なお、図７（ａ）に示すように、第１探索領域４９の始点位置を（ｓｃｘ,ｓｃｙ）＝（３,１）とする。
Ｄiff[ｄｘ,ｄｙ]＝
{ABS（ＲＧ[ｓｃｘ＋ｄｘ−１＋ｒｘ,ｓｃｙ＋ｄｙ−１＋ｒｙ]−ＲＧref[ｒｘ,ｒｙ]）＋ABS（ＢＧ[ｓｃｘ＋ｄｘ−１＋ｒｘ,ｓｃｙ＋ｄｙ−１＋ｒｙ]−ＢＧref[ｒｘ,ｒｙ]）＋ABS（Ｌ[ｓｃｘ＋ｄｘ−１＋ｒｘ,ｓｃｙ＋ｄｙ−１＋ｒｙ]−Ｌref[ｒｘ,ｒｙ]）}
ｄｘ＝１〜９,ｄｙ＝１〜９,ｒｘ＝１〜４,ｒｙ＝１〜４,ｓｃｘ＝３,ｓｃｙ＝１
・・・（４）

なお、（４）式におけるｄｘ、ｄｙは、それぞれ切り出し画像の始点位置をずらす範囲（量）を示している。すなわち、図７（ａ）においては、ｄｘ=１はｘ=３に対応し、ｄｙ＝１はｙ＝１に対応する。（４）式は、第１探索領域４９の中で追尾被写体領域４７と同じサイズの領域を１画素ずつずらしながら切り出し画像を取得し、切り出した画像とテンプレート画像４８との間で画素ごとの画像情報の差分Ｄiffを求めていくことを表している。例えば、図７(ａ)に示すように第１探索領域４９から順次切り出した画像（図７（ａ）においては、４９ａ、４９ｂ、４９ｃ）と、テンプレート画像４８とを順次比較して、それぞれの切り出し画像について差分Ｄiffを算出する。これらの差分Ｄiffの内の最小の値を示す切り出し画像がテンプレート画像４８（図６(ｂ)参照）に最も類似していることになる。

ステップ６においては、図１０に示す、新しい追尾被写体位置を決定するための新追尾被写体位置決定処理を行う。ステップＳ２０１では、上記（４）式を用いて算出されたテンプレート画像４８と切り出し画像との画像情報の差分Ｄiffのうち、最も小さい値（第１最小差分値MinDiff）を検出する。そして、第１最小差分値MinDiffとなるときの差分Diffの座標値（Mindx、Mindy）を検出する。

ステップＳ２０２では、テンプレート画像４８と上述した第２探索領域５０（図７（ａ）においては、ｘ＝５〜１２、ｙ＝３〜１０）に含まれる画像情報との相関を示す差分Diffのうち、最も小さい値（第２最小差分値MinDiff_S）を検出する。そして、第２最小差分値MinDiff_Sとなるときの差分Diffの座標値（Mindx_S、Mindy_S）を検出する。なお、図７（ａ）において、第２探索領域５０に対応する切り出し画像の始点位置をずらす範囲はｄｘ＝３〜７、ｄｙ＝３〜７となる。

ステップＳ２０３では、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとが異なる値であるか否かを判定する。第１最小差分値MinDiffと第２最小差分値MinDiff_Sとが同一の値の場合は、ステップＳ２０３が否定判定されて、後述するステップＳ２０７へ進む。第１最小差分値MinDiffと第２最小差分値MinDiff_Sとが異なる値の場合は、ステップＳ２０３が肯定判定されてステップＳ２０４へ進む。ここで、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとが異なる値となる場合として、次のような場合が考えられる。
（Ａ１）追尾対象の被写体の画面内での移動速度が速いため、広い領域の第１探索領域４９にて追尾対象の被写体が検出された場合。
（Ａ２）追尾対象の被写体の画面内での移動速度が遅い、または静止しているため追尾対象の被写体は狭い領域である第２探索領域５０内に存在しているが、背景に存在する類似した色情報を有する、追尾対象の被写体とは異なる被写体を検出した場合（擬似マッチング）。

ステップＳ２０４では、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとを比較、すなわち差分を演算する。そして、演算された差分が所定の閾値Ｗｔｈ１未満か否かを判定する。この差分が閾値Ｗｔｈ１より大きい場合はステップＳ２０４が否定判定されて後述するステップＳ２０７へ進む。この場合、上記（Ａ１）の可能性が高いものと見なす。なお、閾値Ｗｔｈ１は、たとえば事前のシミュレーション等により決定された固定値であり、図示しないメモリ等に記録されているものとする。この場合、閾値Ｗｔｈ１は、追尾対象となる被写体が撮影画面内を大きく移動した場合であっても追従するとともに、背景にテンプレート画像４８との類似度が高い被写体が存在した場合であっても類似度が高い被写体に対して擬似マッチングを起こしにくい値となるように設定される。すなわち、最小差分値MinDiffの平均値が６．０〜７．０の場合、閾値Ｗｔｈ１は１．０付近に設定される。

差分の値が閾値Ｗｔｈ１未満の場合はステップＳ２０４が肯定判定されてステップＳ２０５へ進む。ここで、差分の値が閾値Ｗｔｈ１未満となる場合として、次のような場合が考えられる。
（Ｂ１）追尾対象の被写体の位置は第１最小差分値MinDiffの位置にあるが、第２探索小域内にて擬似マッチングをしている場合。
（Ｂ２）追尾対象の被写体の移動速度は第２探索領域内に存在するが、背景（第１検索領域４９）に存在する類似した色情報を有する、追尾対象の被写体とは異なる被写体を検出した場合（擬似マッチング）。

ステップＳ２０５では、追尾対象の被写体の移動距離に関連した値が所定の閾値Ｗｔｈ２以下か否かを判定する。本実施の形態においては、たとえば過去５回分（５サイクル）の画像追尾動作（図８のステップＳ４〜ステップＳ９）における新追尾被写体位置検出処理の結果に基づいて、撮影画面内における過去の追尾対象の被写体の１サイクル当りの移動距離が、閾値Ｗｔｈ２（たとえば２画素）以下であるか否かを判定する。追尾対象の１サイクルにおける撮影画面内の移動距離が２画素以下の場合は、ステップＳ２０５が肯定判定されてステップＳ２０６へ進む。このとき、過去の追尾対象の被写体位置の履歴に基づいて、撮影画面内で移動距離が比較的小さい追尾対象の被写体が突然大きく移動する可能性は低いので、上記（Ｂ２）の可能性が高い、すなわち撮影画面内において追尾対象の被写体は第２探索領域５０に存在するものと見なす。なお、撮影画面内における過去の追尾対象の被写体の１サイクル当りの移動距離を閾値Ｗｔｈ２と比較するものに代えて、追尾被写体の移動速度を閾値Ｗｔｈ２と比較するものでもよい。そして、ステップＳ２０６では第２探索領域５０にて検出された第２最小差分値MinDiff_Sとなる差分Diffの位置を新しい追尾被写体領域４７に決定する。すなわち、座標値（Mindx_S、Mindy_S）を始点位置とする４×４画素の領域を新しい追尾被写体領域４７として設定する。

追尾対象の１サイクルにおける撮影画面内の移動距離が２画素を超える場合は、ステップＳ２０５が否定判定されてステップＳ２０７へ進む。この場合、追尾対象の被写体の撮影画面内における移動距離が大きいので、上記（Ｂ１）の可能性が高いものと見なす。ステップＳ２０７では、第１検索領域４９にて検出された第１最小差分値MinDiffとなる差分Diffの位置を新しい追尾被写体領域４７に決定する。すなわち、座標値（Mindx、Mindy）を始点位置とする４×４画素の領域を新しい追尾被写体領域４７として設定する。なお、ステップＳ２０３において否定判定された場合、すなわち第１最小差分値MinDiffと第２最小差分値MinDiff_Sの値とが等しい場合についても、第１検索領域４９にて検出された第１最小差分値MinDiffに対応する位置に基づいて、新しい追尾被写体領域４７に決定する。図７（ｂ）は、上記の新追尾被写体位置決定処理により決定された新しい追尾被写体領域４７の位置を例示する図である。図７（ｂ）に示す例では、始点位置が（ｘ,ｙ）＝（８,５）となる４×４画素の領域を新しい追尾被写体領域４７として決定する。すなわち、図7（ｂ）は、追尾対象の被写体が第２探索領域５０内で検出された場合を示している。以上で新追尾被写体位置決定処理を終了し、図８のステップＳ７へリターンする。

図８のステップＳ７では、第１最小差分値MinDiffまたは第２最小差分値MinDiff_Sと、予め設定された類似閾値Ｄｔｈとを比較することにより新追尾被写体位置決定処理により決定された新しい追尾被写体領域４７がテンプレート画像４８と類似しているか否かの判定を行う。なお、類似閾値Ｄｔｈは、通常の撮影シーンにおいて適切に類似判定が可能な値として設定されている。

ステップＳ８では、ステップＳ７において、新しい追尾被写体領域４７とテンプレート画像４８とが類似していると判定された場合に、テンプレート画像４８の更新処理を行う。本実施の形態では、元のテンプレート画像４８の色情報や輝度情報などの画像情報の、たとえば８０％に、新しい追尾被写体領域４７の画像情報の２０％を加えて、新しいテンプレート画像４８を生成する。更新処理の演算は、以下の（５）式のように表すことができる。
ＲＧref[ｒｘ,ｒｙ]＝０．８×ＲＧref[ｒｘ,ｒｙ]＋０．２×ＲＧ[ｘ,ｙ]，
ＢＧref[ｒｘ,ｒｙ]＝０．８×ＲＧref[ｒｘ,ｒｙ]＋０．２×ＢＧ[ｘ,ｙ]），
Ｌref[ｒｘ,ｒｙ]＝０．８×Ｌref[ｒｘ,ｒｙ]＋０．２×L[ｘ,ｙ]，
ｒｘ＝１〜４、ｒｙ＝１〜４、ｘ＝８〜１１、ｙ＝５〜８・・・（５）

テンプレート画像４８の更新処理の結果、元のテンプレート画像４８の画像情報に対して、最新の画像情報が少しずつ追加されることにより更新されるので、何らかの原因による追尾被写体の急激な変化（たとえば被写体の顔の向きの変化など）の影響を抑制して被写体追尾の信頼性を向上させることができる。なお、元のテンプレート画像４８の画像情報の割合と新しい追尾被写体領域４７の画像情報の割合とは最小差分値MinDiffの値に応じて可変にしてもよい。

ステップＳ９において、新しい追尾被写体領域４７に対して新しい第１探索領域４９および新しい第２探索領域５０を決定する。ここでは、図７(ｂ)に示すように、追尾被写体領域４７（ｘ＝８〜１１、ｙ＝５〜８）を囲むｘ＝４〜１５、ｙ＝１〜１２の領域を第１探索領域４９に設定し、ｘ＝６〜１３、ｙ＝３〜１０の領域を第２探索領域５０に設定する。さらに、新しい追尾被写体領域４７が決定された後は、新しい追尾被写体領域４７内に含まれる追尾対象に対して合焦制御を行う。合焦制御は、新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇの少なくとも一つが含まれる場合には、新しい追尾被写体領域４７内に含まれる焦点検出エリア４５ａ〜４５ｇで検出されたデフォーカス量のうち最も小さいものを採用し、そのデフォーカス量に基づいて撮影レンズ８の焦点調節を行う。合焦制御は、新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇが含まれない場合には、新しい追尾被写体領域４７との距離、または前回の追尾結果で採用された焦点検出エリア４５ａ〜４５ｇとの距離の少なくとも一方に基づいて採用する焦点検出エリア４５ａ〜４５ｇを決定してもよい。上記処理が終了するとステップＳ３へ戻る。

ステップＳ３で操作部材２０のシャッターボタンの全押し操作が検出されるとステップＳ１０へ進み、撮影制御を実行する。なお、撮像制御に際しては、ステップＳ９で決定した新しい追尾被写体領域４７の輝度情報に基づいて露出演算を行い、絞り値とシャッター速度を算出する。これらの露出値にしたがってシャッター７および絞り２１を駆動制御し、第１撮像素子４により撮像を行う。

以上で説明した実施の形態によれば、以下の作用効果が得られる。
（１）第２撮像素子は、撮影レンズ８により結像される被写界の被写界像を繰り返し撮像して、被写界画像を生成するようにした。追尾制御部１９ｅは、被写界画像における第１探索領域４９の画像情報と対象となる画像に基づくテンプレート画像４８との間の相関を示す第１最小差分値MinDiffを算出するとともに、被写界画像における第１探索領域４９とは異なる第２探索領域５０内の画像情報とテンプレート画像４８との間の相関を示す第２最小差分値MinDiff_Sを算出するようにした。そして、追尾制御部１９ｅは、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとの一方に基づいて、被写界画像における対象となる画像の位置を検出するようにした。したがって、撮影画面内の追尾対象の被写体とは異なる被写体を誤検出することを防ぎ追尾精度を維持できる。

（２）第１探索領域４９は第２探索領域５０よりも大きい領域により構成されるようにし、追尾制御部１９ｅは、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとの差分が閾値Ｗｔｈ１を超えるか否かを判定する。そして、追尾制御部１９ｅは、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとの差分が閾値Ｗｔｈ１を超える場合は第１最小差分値MinDiffに基づいて、被写界画像における対象となる画像の位置を検出するようにした。また、追尾制御部１９ｅは、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとの差分が閾値Ｗｔｈ１未満の場合は第２最小差分値MinDiff_Sに基づいて、対象となる画像の位置を検出するようにした。したがって、撮影画面内の追尾対象の被写体の動きが急激に変化した場合であっても、被写体の動きに追従できるので追尾精度を維持できる。

（３）追尾制御部１９ｅは、複数回（たとえば5サイクル）における対象の画像の位置に基づいて、被写界画像における対象の画像の移動距離が閾値Ｗｔｈ２未満か否かを判定するようにした。そして、追尾制御部１９ｅは、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとの差分が閾値Ｗｔｈ１未満と判定され、かつ、移動距離が閾値Ｗｔｈ２未満と判定された場合は、第２最小差分値MinDiff_Sに基づいて、対象となる画像の位置を検出するようにした。また、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとの差分が閾値Ｗｔｈ１未満と判定され、かつ、移動距離が閾値Ｗｔｈ２以上と判定された場合は、第１最小差分値MinDiffに基づいて、対象となる画像の位置を検出するようにした。したがって、被写界画像内の背景等に対して擬似マッチングの発生を防ぎ、追尾対象となる被写体の動きに追従できる。

以上で説明した実施の形態の撮像装置１を以下のように変形できる。
（１）第１探索領域４９の位置および第２探索領域５０の位置は、１サイクル前の新追尾被写体位置決定処理において決定した追尾被写体領域４７の位置を中心として設定するものに限定されない。たとえば、１サイクル前の新追尾被写体位置決定処理において決定した追尾被写体領域４７の位置を中心とした所定領域（前回領域）と、被写界画像において固定された所定領域（固定領域）とを第１探索領域４９および第２探索領域５０として設定する。なお、上記の固定領域は、たとえば図１１において太線で囲んだ領域Ｒに示すように設定できる。図１１（ａ）は領域Ｒが撮影画面全体の場合を示し、図１１（ｂ）は領域Ｒが撮影画面の中央近傍（始点位置（ｘ,ｙ）＝（６,４）、６×６画素）の場合を示し、図１１（ｃ）は領域Ｒが焦点検出エリア４５を包含する領域（始点位置を（ｘ,ｙ）＝（４,４）、１０×６画素）の場合を示す。以下、図１１、図１２を参照しながら、第１探索領域４９および第２探索領域５０を設定する位置に関する例を説明する。なお、図１１、図１２においても、図６および図７の場合と同様に座標系を設定して説明する。

（１−１）図１２（ａ）は、第１探索領域４９が固定領域として図１１（ａ）に示す撮影画面全体に設定され、第２探索領域５０が前回領域に設定された場合を示す。なお、図１２（ａ）においては、固定領域として図１１（ｂ）に示す撮影画面の中央近傍、または図１１（ｃ）に示す焦点検出エリアを包含する所定領域であってもよい。図１２（ａ）は、始点位置を（ｘ,ｙ）＝（４,４）とする６×６画素の領域を第２探索領域５０とするように設定された例を示している。

（１−２）図１２（ｂ）では、第１探索領域４９が前回領域に設定される。さらに、第２探索領域５０が固定領域に設定される。図１２（ｂ）においては、固定領域として図１１（ｃ）に示す、焦点検出エリアを包含する所定領域が設定された場合を示すが、図１１（ａ）に示す撮影画面全体、または図１１（ｂ）に示す撮影画面の中央近傍であってもよい。図１２（ｂ）では、始点位置を（ｘ,ｙ）＝（２,２）とする１０×１０画素の領域を第１探索領域４９とした場合を示す。なお、第２探索領域５０は、上述したように、始点位置を（ｘ,ｙ）＝（４,４）とする１０×６画素の固定領域に設定されている。また、第１探索領域４９と第２探索領域５０と重畳する領域、すなわち図１２（ｂ）において始点位置を（ｘ,ｙ）＝（４,４）とする６×８画素の領域が第２探索領域として設定されるようにしてもよい。

（１−３）さらに加えて、過去複数回に取得された被写界画像における追尾対象の被写体の位置に基づいて、次回に取得される被写界画像における追尾対象の被写体の位置を予測する場合は、予測した位置を中心とした所定領域（予測領域）を第１探索領域４９もしくは第２探索領域５０として設定できる。この場合、予測領域は、たとえば公知の技術を用いて動きベクトル等を演算し、その演算結果に基づいて予測される。予測領域を設定できる場合は、第１探索領域４９および第２探索領域５０は、固定領域と前回領域と予測領域とのいずれか２つの領域により設定される。固定領域と前回領域を用いる場合については上記（１−１）および（１−２）と同様なので、前回領域と予測領域とを用いる場合および固定領域と予測領域とを用いる場合について説明する。

図１２（ｃ）では、第１探索領域４９が前回領域に設定され、第２探索領域５０が予測領域に設定される。図１２（ｃ）は、始点位置を（ｘ,ｙ）＝（２,２）とする１０×１０画素の領域を第１探索領域４９とし、始点位置を（ｘ,ｙ）＝（２,３）とする６×６画素の領域を第２探索領域５０として設定された例を示している。なお、図１２（ｃ）において、第１探索領域４９が予測領域に設定され、第２探索領域５０が前回領域に設定されるものであってもよい。

（１−４）図１２（ｄ）では、第１探索領域４９が固定領域として図１１（ａ）に示す撮影画面全体に設定され、第２探索領域５０が予測領域に設定された場合を示す。撮影画面全体、すなわち被写界像の全領域が固定された所定領域として設定されるものであってもよい。なお、固定領域として図１１（ｂ）に示す撮影画面の中央近傍、または図１１（ｃ）に示す焦点検出エリアを包含する所定領域であってもよい。図１２（ｄ）は、始点位置を（ｘ,ｙ）＝（２,３）とする６×６画素の領域を第２探索領域５０として設定された例を示している。なお、図１２（ｄ）において、第１探索領域４９が予測領域に設定され、第２探索領域５０が固定領域に設定されるものであってもよい。

（２）上述した焦点検出エリアを包含する領域を第２探索領域５０として設定した場合には、図１０のステップＳ２０５における処理、すなわち過去１サイクルの追尾対象の被写体の移動距離が閾値Ｗｔｈ２以下か否かを判定する処理を実行しなくてもよい。たとえば、図１１（ｃ）の領域Ｒを第２探索領域５０として設定した場合、ユーザは焦点検出エリア４５を用いて追尾対象となる被写体を捉えようとする。そのため、焦点検出エリア４５が含まれていない第１探索領域４９に基づく演算結果は擬似マッチングの可能性が高くなる。したがって、ステップＳ２０５における処理を行うことなくステップＳ２０６へ進み、第２探索領域に基づく演算結果を選択することができるので、処理負荷を低減できる。

（３）閾値Ｗｔｈ１が固定値であるものに代えて、第１最小差分値MinDiff、第２最小差分値MinDiff_Sに基づいた可変値としてもよい。この場合、たとえば複数回の処理の結果得られた最小差分値の履歴等に基づいて、自動的に閾値Ｗｔｈ１が算出される。すなわち、過去５サイクルの処理において、ステップＳ７の類似判定処理により類似していると判定されたときの第１最小差分値MinDiff、または第２最小差分値MinDiff_Sのうち、最大値と最小値との差分を閾値Ｗｔｈ１として設定すればよい。

（４）追尾制御部１９ｅは、第１最小差分値MinDiffおよび第２最小差分値MinDiff_Sに優先順位を設定し、第１最小差分値MinDiffと第２最小差分値MinDiff_Sとの差分が閾値Ｗｔｈ１未満の場合に、高い優先順位を設定した最小差分値に基づいて、追尾対象となる画像の位置を検出してもよい。この場合、追尾制御部１９ｅは、第１探索領域４９および第２探索領域５０のうち、たとえば撮影画面の中央近傍に設けられた焦点検出エリア４５ｃを含む探索領域に対応する最小差分値に高い優先順位を設定すればよい。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

１撮像装置、１６第２撮像素子、
１９ボディ駆動制御装置、１９ｅ追尾制御部

Claims

結像光学系により結像される被写界の被写界像を繰り返し撮像して、被写界画像を生成する撮像手段と、
前記被写界画像における第１探索領域内の画像情報と対象となる画像に基づく基準情報との間の相関を示す第１演算結果を演算するとともに、前記被写界画像における前記第１探索領域とは異なる第２探索領域内の画像情報と前記基準情報との間の相関を示す第２演算結果を演算する演算手段と、
前記第１演算結果と前記第２演算結果との一方に基づいて、前記被写界画像における前記対象となる画像の位置を検出する検出手段と、
前記第１演算結果と前記第２演算結果との差分が第１閾値を超えるか否かを判定する第１判定手段とを備え、
前記第１探索領域は前記第２探索領域よりも大きい領域により構成され、
前記検出手段は、前記差分が前記第１閾値を超える場合は前記第１演算結果に基づいて、前記差分が前記第１閾値未満の場合は前記第２演算結果に基づいて、前記対象となる画像の位置を検出することを特徴とする画像追尾装置。
請求項１に記載の画像追尾装置において、
前記検出手段により検出された複数回における前記対象の画像の位置に基づいて、前記被写界画像における前記対象の画像の移動距離に関連した値が第２閾値未満か否かを判定する第２判定手段をさらに備え、
前記検出手段は、前記第１判定手段により前記差分が前記第１閾値未満と判定され、かつ、前記第２判定手段により前記移動距離に関連する値が前記第２閾値未満と判定された場合は、前記第２演算結果に基づいて、前記第１判定手段により前記差分が前記第１閾値未満と判定され、かつ、前記第２判定手段により前記移動距離に関連する値が前記第２閾値以上と判定された場合は、前記第１演算結果に基づいて、前記対象となる画像の位置を検出することを特徴とする画像追尾装置。
結像光学系により結像される被写界の被写界像を繰り返し撮像して、被写界画像を生成する撮像手段と、
前記被写界画像における第１探索領域内の画像情報と対象となる画像に基づく基準情報との間の相関を示す第１演算結果を演算するとともに、前記被写界画像における前記第１探索領域とは異なる第２探索領域内の画像情報と前記基準情報との間の相関を示す第２演算結果を演算する演算手段と、
前記第１演算結果と前記第２演算結果との一方に基づいて、前記被写界画像における前記対象となる画像の位置を検出する検出手段と、
前記第１演算結果と前記第２演算結果とに優先順位を設定する優先順位設定手段とを備え、
前記第１演算結果と前記第２演算結果との差分が第１閾値未満の場合に、前記検出手段は前記優先順位の高い演算結果に基づいて、前記対象となる画像の位置を検出することを特徴とする画像追尾装置。
請求項１乃至３のいずれか一項に記載の画像追尾装置において、
前記第１閾値を所定の固定値に設定する閾値設定手段をさらに備えることを特徴とする画像追尾装置。
請求項１乃至３のいずれか一項に記載の画像追尾装置において、
前記第１演算結果と前記第２演算結果に基づいて、前記第１閾値を設定する閾値設定手段をさらに備えることを特徴とする画像追尾装置。
被写界像を繰り返し撮像して被写界画像を生成する撮像部と、
追尾対象に対応する基準情報と、前記被写界画像における第１探索領域内の画像情報との間の相関に対応する第１情報、及び、前記基準情報と、前記第１探索領域よりも小さい前記被写界画像における第２探索領域内の画像情報との間の相関に対応する第２情報を演算する演算部と、
前記第１情報と前記第２情報との差が所定値以上であるとき、前記第１情報を用いて前記追尾対象の位置を検出し、前記第１情報と前記第２情報との差が所定値以上でないとき、前記第２情報を用いて前記追尾対象の位置を検出する検出部とを含むことを特徴とする画像追尾装置。
被写界像を繰り返し撮像して被写界画像を生成する撮像部と、
追尾対象に対応する基準情報と、前記被写界画像における第１探索領域内の画像情報との間の相関に対応する第１情報、及び、前記基準情報と、前記第１探索領域よりも小さい前記被写界画像における第２探索領域内の画像情報との間の相関に対応する第２情報を演算する演算部と、
前記第１情報と前記第２情報とに優先順位を設定する優先順位設定部とを備え、
前記第１情報と前記第２情報との差が所定値以上でないとき、前記第１情報及び前記第２情報のうち前記優先順位の高い相関値を用いて、前記追尾対象の位置を検出する検出部とを含むことを特徴とする画像追尾装置。