JP5024116B2 - 被写体追跡プログラム、および被写体追跡装置 - Google Patents

Description

本発明は、フレーム間で被写体を追跡するための被写体追跡プログラム、および被写体追跡装置に関する。

次のようなパターン・マッチング方法が知られている。このパターン・マッチング方法は、画像を複数の領域に分割し、各領域ごとにテンプレートマッチング処理を行って、最も類似度が高い領域をマッチング領域として抽出する（例えば、特許文献１）。

特開平５−８１４３３号公報

しかしながら、従来の方法を用いてテンプレートマッチングにより画像内における被写体位置を特定し、被写体位置をフレーム間で追跡しようとした場合、背景にテンプレートと似た画像があるときには、擬似マッチングが生じて正確に被写体を追跡できない可能性がある。

請求項１の発明の被写体追跡プログラムは、コンピュータに、時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像とテンプレート画像との類似度を算出する類似度算出手順と、前記類似度算出手順で算出した類似度が最も高い前記探索枠の前記入力画像内における位置を被写体が存在する被写体位置として特定する被写体位置特定手順と、前記被写体位置特定手順で特定した前記被写体位置を、前記複数の入力画像間で追跡する被写体追跡手順と、前記各探索枠位置における前記探索枠内の画像と前記テンプレート画像との類似度の平均値と、前記最も高い類似度との差分の絶対値が、所定の閾値より大きい場合には、前記被写体位置における前記類似度の信頼性は高いと判定し、所定の閾値以下である場合には、前記被写体位置における前記類似度の信頼性は低いと判定する信頼性判定手順と、前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合には、前記類似度算出手順に対して、次の入力画像のテンプレートマッチング時に前記探索枠を移動させる前記探索対象領域の大きさを、前記被写体位置における前記類似度に応じて変更する処理制御手順とを実行させる。
請求項４の発明の被写体追跡プログラムは、コンピュータに、時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像とテンプレート画像との類似度を算出する類似度算出手順と、前記類似度算出手順で算出した類似度が最も高い前記探索枠の前記入力画像内における位置を被写体が存在する被写体位置として特定する被写体位置特定手順と、前記被写体位置特定手順で特定した前記被写体位置を、前記複数の入力画像間で追跡する被写体追跡手順と、過去の入力画像における探索対象領域内の類似度の最大値の平均値と、現入力画像における探索対象領域内の類似度の最大値との差分の絶対値が、所定の閾値より大きい場合には、前記被写体位置における前記類似度の信頼性は高いと判定し、所定の閾値以下である場合には、前記被写体位置における前記類似度の信頼性は低いと判定する信頼性判定手順と、前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合には、前記類似度算出手順に対して、次の入力画像のテンプレートマッチング時に前記探索枠を移動させる前記探索対象領域の大きさを拡大する処理制御手順とをさせる。
請求項５の発明の被写体追跡プログラムは、コンピュータに、時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像とテンプレート画像との類似度を算出する類似度算出手順と、前記類似度算出手順で算出した類似度が最も高い前記探索枠の前記入力画像内における位置を被写体が存在する被写体位置として特定する被写体位置特定手順と、前記被写体位置特定手順で特定した前記被写体位置を、前記複数の入力画像間で追跡する被写体追跡手順と、過去の入力画像における探索対象領域内の類似度の最大値の平均値と、現入力画像における探索対象領域内の類似度の最大値との差分の絶対値が、所定の閾値より大きい場合には、前記被写体位置における前記類似度の信頼性は高いと判定し、所定の閾値以下である場合には、前記被写体位置における前記類似度の信頼性は低いと判定する信頼性判定手順と、前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合には、前記類似度算出手順に対して、前記探索枠を移動させる前記探索対象領域の大きさを拡大させ、前記類似度算出手順に対して、現入力画像内に設定した拡大後の前記探索対象領域内で、前記探索枠を移動させながら前記探索枠内の画像とテンプレート画像とのテンプレートマッチングを行って、各探索枠位置における前記探索枠内の画像と前記テンプレート画像との類似度を再算出させ、前記被写体位置特定手順に対して、前記類似度算出手順で再算出した類似度が最も高い前記探索枠の前記入力画像内における位置を前記被写体位置として再特定する処理制御手順とを実行させる。
請求項６の発明の被写体追跡プログラムは、コンピュータに、時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像とテンプレート画像との類似度を算出する類似度算出手順と、前記類似度算出手順で算出した類似度が最も高い前記探索枠の前記入力画像内における位置を被写体が存在する被写体位置として特定する被写体位置特定手順と、前記被写体位置特定手順で特定した前記被写体位置を、前記複数の入力画像間で追跡する被写体追跡手順と、前記各探索枠位置における画像と前記テンプレート画像との類似度と、前記特定された前記被写体位置における画像と前記テンプレート画像との類似度とに基づいて、前記特定された前記被写体位置における前記類似度の信頼性を判定する信頼性判定手順と、前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合に、前記類似度算出手順に対して、次の入力画像のテンプレートマッチング時に前記探索枠を移動させる前記探索対象領域の大きさを拡大する処理制御手順とを実行させる。

本発明によれば、正確に被写体を追跡することができる。

―第１の実施の形態―
図１は、第１の実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズスイッチ、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳであり、レンズ１０２により結像した被写体像を撮像して画像を取得する。そして、取得した画像のデータ（画像データ）を制御装置１０４へ出力する。制御装置１０４は、撮像素子１０３で取得された画像データを所定の画像形式、例えばＪｐｅｇ形式に圧縮し、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ ｆｏｒ Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）等の所定の形式の画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、撮像素子１０３から時系列で画像を取得してモニタ１０６に出力する。これによって、モニタ１０６には、各フレームの画像が所定時間間隔で順番に表示される。すなわちモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、テンプレートマッチング部１０４ａと、被写体追跡部１０４ｂとを機能的に備えている。なお、制御装置１０４を構成するメモリには、バッファメモリとして使用されるＲＯＭ、例えばフラッシュメモリや、ＲＡＭ、例えばＳＤＲＡＭを含む。本実施の形態では、テンプレートマッチング部１０４ａは、撮像素子１０３から入力されるスルー画の各フレームに対してテンプレートマッチング処理を行って、フレーム内で被写体が写っている領域を特定する。そして、被写体追跡部１０４ｂは、特定した領域をフレーム間で追跡する。具体的には、次のように処理する。

テンプレートマッチング部１０４ａは、テンプレートマッチング処理の基準となるテンプレート画像と、撮像素子１０３から時系列で入力される各フレームの画像データ（ターゲット画像）とのマッチング演算を行う。具体的には、図２に示すように、テンプレート画像Ａを用いてターゲット画像Ｉ内における被写体位置を特定する。テンプレート画像Ａは、使用者からの指示に基づいて取得する。例えば、使用者は、スルー画の最初のフレームがモニタ１０６に表示されたときに、操作部材１０１を操作して、最初のフレーム内で、フレーム間で追跡したい被写体を含む範囲を指定する。テンプレートマッチング部１０４ａは、使用者によって指定された範囲内の画像をテンプレート画像Ａとして抽出して、ＲＯＭに記憶する。

テンプレートマッチング部１０４ａは、撮像素子１０３からのスルー画の入力が開始されると、各フレーム（コマ）の画像をターゲット画像Ｉとし、当該ターゲット画像Ｉ上の所定の位置にテンプレート画像と同じ大きさの探索枠Ｂを設定する。テンプレートマッチング部１０４ａは、設定した探索枠Ｂをターゲット画像Ｉ内で移動させながら、各位置における探索枠Ｂ内の画像（探索部分画像）と、テンプレート画像Ａとのマッチング演算を行なう。マッチング演算の結果、テンプレート画像Ａと探索枠Ｂ内の画像の類似度が最も高い合致領域のターゲット画像Ｉ内における座標値を被写体位置として特定する。

なお、テンプレートマッチング部１０４ａは、ターゲット画像Ｉの全体ではなく、画像内からテンプレート画像Ａを抽出した位置を含む所定範囲内（探索対象領域内）を対象としてテンプレートマッチングを行うようにする。これによって、テンプレートマッチングを行う範囲を、ターゲット画像Ｉ内の被写体が存在している可能性が高い範囲に限定することができ、処理を高速化することができる。また、テンプレートマッチングの手法は公知であるため詳細な説明は省略するが、例えば次式（１）に示す残差和や次式（２）に示す正規化相関により類似度を算出すればよい。

次式（１）に示す残差和により類似度を算出した場合は、算出されるｒが小さいほどテンプレート画像Ａと探索部分画像との類似度が高いことを示している。一方、次式（２）に示す正規化相関により類似度を算出した場合は、算出されるｒが大きいほどテンプレート画像Ａと探索部分画像との類似度が高いことを示している。

図３は、ターゲット画像Ｉの所定範囲内で、探索枠Ｂを移動させながらテンプレートマッチングを行った場合に算出される類似度の変化を示す図である。この図３においては、縦軸は類似度、横軸は演算回数を表している。すなわち、探索枠Ｂを移動させながら複数回テンプレートマッチングを行った場合に、各回ごとに類似度をプロットした結果を示している。なお、縦軸は、類似度を０から１の数値に正規化して表しており、本実施の形態では、この０から１で表される類似度を示す値を類似度値と呼ぶ。この類似度値は、０に近いほど類似度が低く、１に近いほど類似度が高いことを示している。

例えば、テンプレートマッチングの結果、類似度が図３（ａ）に示すように変化した場合には、類似度値が最も高くなる点３ａが算出されたときのターゲット画像Ｉ上の探索枠Ｂの位置が被写体位置として特定される。一方、類似度が図３（ｂ）に示すように変化した場合には、類似度値が最も高くなる点３ｃが算出されたときのターゲット画像Ｉ上の探索枠Ｂの位置が被写体位置として特定される。

この図３（ａ）に示す結果と図３（ｂ）に示す結果を比較すると、図３（ａ）では、点３ａにおける類似度値（最高類似度値）が飛び抜けて大きく、類似度値の平均値（類似度候補平均）３ｂとの差も０．９４と大きいのに対して、図３（ｂ）では、点３ｃにおける最高類似度値は飛び抜けて大きい訳ではなく、類似度候補平均３ｄとの差は０．１２と小さい。このように、図３（ａ）に示すような結果が得られた場合には、被写体位置の特定結果は信頼性が高いと推測できるが、図３（ｂ）に示すような結果が得られた場合には、被写体位置の特定結果は信頼性が低いと推測される。

本実施の形態では、テンプレートマッチング部１０４ａは、次式（３）を満たす場合には、被写体位置の特定結果は信頼性が高いと判定し、満たさない場合には低いと判定する。
｜最高類似度値−類似度候補平均｜＞閾値 ・・・（３）

テンプレートマッチング部１０４ａは、被写体位置の特定結果の信頼性が高いと判定した場合には、その被写体位置に対応する探索枠Ｂに相当する範囲をターゲット画像Ｉ内における被写体が存在する範囲として特定する。そして、被写体追跡部１０４ｂは、その被写体が存在する範囲を明示するためのターゲット枠をフレーム上に表示することで、使用者に対して、フレーム内の被写体が存在する位置を示す。

これに対して、被写体位置の特定結果の信頼性が低いと判定した場合には、被写体追跡部１０４ｂは、その被写体位置に対応するターゲット枠を表示せず、テンプレートマッチング部１０４ａは、次のフレームのテンプレートマッチングに移行する。すなわち、被写体追跡部１０４ｂは、被写体位置の特定結果の信頼性が低いと判定した場合には、その被写体位置は被写体追跡の対象から除外する。

上述した処理を入力されるスルー画の各フレームに対して実行することにより、テンプレートマッチング部１０４ａによるテンプレートマッチングによって特定された被写体位置のうち、マッチング時の類似度が高い被写体位置のみを追跡対象としてターゲット枠を表示し、各フレーム間で被写体追跡を行うことができる。

図４は、第１の実施の形態におけるカメラ１００の処理を示すフローチャートである。図４に示す処理は、撮像素子１０３からスルー画の入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１において、テンプレートマッチング部１０４ａは、スルー画の最初のフレームを読み込んで、ステップＳ２へ進む。ステップＳ２では、テンプレートマッチング部１０４ａは、上述したように、使用者からの指示に基づいて、読み込んだ最初のフレーム内からテンプレート画像Ａを抽出する。その後、ステップＳ３へ進む。

ステップＳ３では、テンプレートマッチング部１０４ａは、スルー画の次のフレームを読み込んで、ステップＳ４へ進む。ステップＳ４では、テンプレートマッチング部１０４ａは、上述したように、ターゲット画像Ｉ内の所定範囲内で探索枠Ｂを移動させながら、各位置における探索枠Ｂ内の画像とテンプレート画像Ａとのマッチングを行って、類似度演算を行い、被写体位置を算出する。その後、ステップＳ５へ進む。

ステップＳ５では、テンプレートマッチング部１０４ａは、式（３）を用いて被写体位置の特定結果の信頼性が高いか否かを判断する。信頼性が低いと判断した場合には、ステップＳ３へ戻って、次のフレームを読み込む。これに対して、信頼性が高いと判断した場合には、ステップＳ６へ進み、被写体追跡部１０４ｂは、被写体が存在する範囲を明示するためのターゲット枠をフレーム上に表示する。その後、ステップＳ７へ進む。

ステップＳ７では、テンプレートマッチング部１０４ａは、次のフレームのテンプレートマッチングを行うために必要な、各種パラメータの設定を行う。例えば、特定した被写体位置において算出された類似度値に応じて、次のフレームで探索枠Ｂを移動させる範囲（探索範囲）の位置や大きさを指定するための探索エリアパラメータの設定を行う。

具体的には、特定した被写体位置において算出された類似度値が高い場合には、確実に被写体を捉えている可能性が高いため、次のフレームにおいては、特定した被写体位置を中心に狭い範囲を探索するように探索エリアパラメータの設定を行う。これに対して、特定した被写体位置において算出された類似度の信頼性が低い場合には、被写体を外している可能性もあるため、次のフレームにおいては、特定した被写体位置を中心に広い範囲を探索するように探索エリアパラメータの設定を行う。その後、ステップＳ８へ進む。

ステップＳ８では、テンプレートマッチング部１０４ａは、スルー画の入力が終了したか否かを判断する。否定判断した場合には、ステップＳ３へ戻って、テンプレートマッチング部１０４ａは、次のフレームを読み込む。一方、肯定判断した場合には、処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）時系列で入力される入力画像の各フレーム内に設定した探索対象領域内で探索枠を移動させながら、探索枠内の画像とテンプレート画像とのテンプレートマッチングを行って、各探索枠位置における探索枠内の画像とテンプレート画像との類似度を算出した。そして、算出した類似度が最も高い探索枠の入力画像内における位置を被写体位置として特定し、被写体位置における前記類似度の信頼性を判定し、被写体位置における類似度の信頼性が低いと判定した場合には、そのフレームで特定した被写体位置を被写体追跡の対象から除外するようにした。これによって、類似度の信頼性が高い被写体位置にのみターゲット枠を表示することができ、精度の高い被写体追跡が可能となる。

（２）類似度の信頼性は式（３）によって判定するようにした。すなわち、各探索枠位置における探索枠内の画像とテンプレート画像との類似度値の平均値と、最も高い類似度値との差分の絶対値が、所定の閾値より大きい場合には、被写体位置における類似度の信頼性は高いと判定し、所定の閾値以下である場合には、被写体位置における類似度の信頼性は低いと判定するようにした。これによって、類似度の信頼性を画一的に判定することができ、処理を簡略化することができる。

―第２の実施の形態―
上述した第１の実施の形態では、テンプレートマッチング部１０４ａは、式（３）を用いた判定により、被写体位置の特定結果の信頼性が低いと判定した場合には、その被写体位置にはターゲット枠を表示せずに次のフレームの処理へ移るようにした。すなわち、被写体位置の特定結果の信頼性が低いと判定した場合には、その被写体位置は被写体追跡の対象から除外するようにした。

これに対して、第２の実施の形態では、テンプレートマッチング部１０４ａは、式（３）を用いた判定により、被写体位置の特定結果の信頼性が低いと判定した場合でも、そのフレームで特定した被写体位置にはターゲット枠を表示して被写体追跡の対象とするようにする。そして、テンプレートマッチング部１０４ａは、次のフレームでの被写体位置の特定結果の信頼性を上げるために、さらに広い範囲を探索の対象とするように、上述した探索エリアパラメータを再設定する。なお、第２の実施の形態では、図１〜図３については、第１の実施の形態と同様のため説明を省略する。

具体的には、テンプレートマッチング部１０４ａは、被写体位置の特定結果の信頼性が低いと判定した場合には、ターゲット画像Ｉ内で探索枠Ｂを移動させる探索対象領域を拡大する。例えば、図５に示すように、ターゲット画像Ｉ内に探索対象領域Ｃを設定する。このときテンプレートマッチング部１０４ａは、あらかじめ設定された所定の割合で探索対象領域を拡大してもよく、あるいは被写体位置における類似度値に応じて、探索対象領域の拡大率を変化させるようにしてもよい。

図６は、第２の実施の形態におけるカメラ１００の処理を示すフローチャートである。図６に示す処理は、撮像素子１０３からスルー画の入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。なお、図６においては、第１の実施の形態で上述した図４と同一の処理には同じステップ番号を付与し、相違点を中心に説明する。

ステップＳ４では、上述したように、テンプレートマッチング部１０４ａは、類似度演算を行って被写体位置を特定する。そして、本実施の形態では、テンプレートマッチング部１０４ａは、その特定結果の信頼性の高低に関わらず、その被写体位置に設定した探索枠Ｂに対応する範囲をターゲット画像Ｉ内における被写体が存在する範囲として特定する。その後、ステップＳ６へ進み、被写体追跡部１０４ｂは、その被写体が存在する範囲を明示するためのターゲット枠をフレーム上に表示して、ステップＳ７へ進む。

ステップＳ７では、テンプレートマッチング部１０４ａは、次のフレームのテンプレートマッチングを行うために必要な各種パラメータ、例えば上述した探索エリアパラメータの設定を行う。その後、ステップＳ５へ進み、テンプレートマッチング部１０４ａは、式（３）を用いて被写体位置の特定結果の信頼性が高いか否かを判断する。信頼性が高いと判断した場合には、ステップＳ８へ進む。

一方、信頼性が低いと判断した場合には、ステップＳ１１へ進み、ステップＳ７で設定した探索エリアパラメータを、被写体位置における類似度値に基づいて再設定する。例えば、上述したように、特定した被写体位置の類似度の信頼性が低い場合には、被写体を外している可能性もあるため、次のフレームにおいては、特定した被写体位置を中心に広い範囲を探索する必要がある。このため、ここでは、ステップＳ７で設定した範囲よりもさらに広い範囲を探索するように探索エリアパラメータの設定を行う。その後、ステップＳ８へ進む。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、次のような効果を得ることができる。
（１）特定した被写体位置の類似度の信頼性が低い場合でも特定した被写体位置にターゲット枠を表示するようにした。これによって、その信頼性の高低に関わらず、スルー画の各フレーム上にターゲット枠を表示することができ、使用者が被写体位置の変化を把握することができる。

（２）特定した被写体位置の類似度の信頼性が低い場合には、探索エリアパラメータを再設定するようにした。これによって、特定した被写体位置の類似度の信頼性が低い場合には、被写体を外している可能性もあるため、次のフレームにおいては、特定した被写体位置を中心に広い範囲を探索する必要があることを加味して、次フレームで探索する探索対象領域を最適な大きさに設定することができる。

―第３の実施の形態―
上述した第１および第２の実施の形態では、テンプレートマッチング部１０４ａは、式（３）を用いた判定結果に基づいて、現フレームでの被写体位置の特定結果の信頼性が低いと判定するようにした。これに対して、第３の実施の形態では、過去のフレームにおける探索対象領域内の類似度値の最大値の平均値と、現フレームにおける探索対象領域内の類似度値の最大値との差分の絶対値を算出し、その算出結果が所定の閾値より大きい場合には、現フレームにおける被写体位置の特定結果の信頼性は高いと判定し、算出結果が所定の閾値以下の場合には、現フレームにおける被写体位置の特定結果の信頼性は低いと判定する例について説明する。そして、テンプレートマッチング部１０４ａは、現フレームにおける被写体位置の特定結果の信頼性が低いと判定した場合には、現フレームにおける探索対象領域を拡大する。

具体的には、テンプレートマッチング部１０４ａは、第１および第２の実施の形態と同様に、ターゲット画像Ｉ上の所定の位置にテンプレート画像と同じ大きさの探索枠Ｂを設定する。そして、テンプレートマッチング部１０４ａは、設定した探索枠Ｂをターゲット画像Ｉ内で移動させながら、各位置における探索枠Ｂ内の画像（探索部分画像）と、テンプレート画像Ａとのマッチング演算を行なう。マッチング演算の結果、テンプレート画像Ａと探索枠Ｂ内の画像の類似度が最も高い合致領域のターゲット画像Ｉ内における座標値を被写体位置として特定するとともに、そのときの類似度値を算出する。そして、特定した被写体位置を中心とした探索枠Ｂが新たに設定され、新たに設定された探索枠Ｂを用いて次フレームでのマッチング演算を行う。

例えば図７に示すように、４フレーム目の画像に対して類似度値の最大値を算出した場合について説明する。この場合には、テンプレートマッチング部１０４ａは、過去の３フレームで算出された類似度値の最大値の平均値７ａを算出し、この平均値７ａと現フレーム（４フレーム目）の画像の類似度の最大値７ｂの差分の絶対値７ｃを算出する。その結果、算出した差分の絶対値７ｃがあらかじめ設定されている閾値よりも大きい場合には、現フレームにおける被写体位置の特定結果の信頼性は高いと判定する。これに対して、差分の絶対値７ｃがあらかじめ設定されている閾値以下である場合には、現フレームにおける被写体位置の特定結果の信頼性は低いと判定する。

すなわち、第３の実施の形態では、テンプレートマッチング部１０４ａは、次式（４）を満たす場合に、被写体位置の特定結果は信頼性が高いと判定し、満たさない場合には低いと判定する。
｜過去フレームで算出された類似度値の最大値の平均値−現フレームの類似度値の最大値｜＞閾値 ・・・（４）

そして、テンプレートマッチング部１０４ａは、式（４）を満たさないことにより、現フレームにおける被写体位置の特定結果の信頼性は低いと判定した場合には、図８に示すように、次フレーム（図８のフレーム５）においては、探索対象領域を拡大した領域内でテンプレートマッチング処理を実行するようにする。この際、次フレームにおける被写体位置（探索対象領域の中心）は、前フレーム（図８のフレーム３）と同じ位置としてもよい。

例えば、図８（ａ）から（ｄ）に示すように、１フレーム目から４フレーム目（現フレーム）まで、ターゲット画像Ｉ内に探索対象領域Ｃを設定してテンプレートマッチングを行った結果、現フレームで被写体位置の特定結果の信頼性は低いと判定した場合について説明する。この場合には、テンプレートマッチング部１０４ａは、現フレームに対して、探索対象領域Ｃを拡大して新たに探索対象領域Ｄを設定し、この探索対象領域Ｄを対象として、次のフレーム（フレーム５）においてテンプレートマッチング処理を実行するようにする。

図９は、第３の実施の形態におけるカメラ１００の処理を示すフローチャートである。図９に示す処理は、撮像素子１０３からスルー画の入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。なお、図９においては、第１の実施の形態で上述した図４、および第２の実施の形態で上述した図６と同一の処理には同じステップ番号を付与し、相違点を中心に説明する。

ステップＳ５１において、テンプレートマッチング部１０４ａは、式（４）を用いて被写体位置の特定結果の信頼性が高いか否かを判断する。信頼性が高いと判断した場合には、ステップＳ６へ進み、被写体追跡部１０４ｂは、特定した被写体位置に応じた範囲にターゲット枠を表示する。

これに対して、ステップＳ５１で信頼性が低いと判断した場合には、ステップＳ１１へ進み、テンプレートマッチング部１０４ａは、探索対象領域を広げるように探索パラメータを再設定した後、ステップＳ８へ進む。

以上説明した第３の実施の形態によれば、第１および第２の実施の形態における作用効果に加えて、以下の効果を得ることができる。すなわち、過去のフレームで算出された類似度値の最大値の平均値と現フレームの類似度値の最大値との差分の絶対値を算出し、この算出結果を閾値と比較することによって、現フレームにおける被写体位置の特定結果の信頼性が高いか低いかを判定するようにした。これによって、現フレームにおける被写体位置の特定結果の信頼性が高いか低いかを、過去フレームの類似度値の算出結果を用いて精度高く判定することができる。

―変形例―
なお、上述した実施の形態の被写体追跡装置は、以下のように変形することもできる。
（１）上述した第２の実施の形態では、特定した被写体位置の類似度の信頼性が低い場合でも、その特定した被写体位置にターゲット枠を表示するようにし、次フレームのテンプレートマッチング時に使用する探索パラメータを再設定する例について説明した。しかしながら、テンプレートマッチング部１０４ａは、特定した被写体位置の類似度の信頼性が低い場合には、探索パラメータを再設定するとともに、再設定した後の探索パラメータを使用して、現フレームについて類似度演算を再度行って被写体位置を算出しなおすようにしてもよい。そして、被写体追跡部１０４ｂは、その結果特定した被写体位置にターゲット枠を表示するようにしてもよい。

具体的には、制御装置１０４は、図１０に示す処理を実行すればよい。なお、図１０においては、第１の実施の形態で上述した図４、第２の実施の形態で上述した図６、および第３の実施の形態で上述した図９と同一の処理には同じステップ番号を付与してある。この図１０に示すように、テンプレートマッチング部１０４ａは、ステップＳ５において、式（３）を用いて被写体位置の特定結果の信頼性が高いか否かを判断する。そして、信頼性が高いと判断した場合には、ステップＳ６へ進み、被写体追跡部１０４ｂは、特定した被写体位置に応じた範囲にターゲット枠を表示する。

これに対して、ステップＳ５で信頼性が低いと判断した場合には、ステップＳ１１へ進み、テンプレートマッチング部１０４ａは、探索対象領域を広げるように探索パラメータを再設定した後、ステップＳ１２へ進む。ステップＳ１２では、テンプレートマッチング部１０４ａは、再設定した後の探索パラメータを使用して、現フレームについて類似度演算を再度行って被写体位置を算出しなおす。その後、ステップＳ６へ進み、被写体追跡部１０４ｂは、新たに特定された被写体位置に応じた範囲にターゲット枠を表示する。

これによって、現フレームについてテンプレートマッチングを行った結果、被写体位置の特定結果の信頼性が低い場合には、探索エリアパラメータを再設定した後に、再度、テンプレートマッチングを行うようにしたため、被写体追跡の精度を向上することができる。

また、上述した第３の実施の形態においても、現フレーム（図８のフレーム４）について探索対象領域を広げた後、再度のテンプレートマッチングを行ってもよい。例えば、図１１に示すように、テンプレートマッチング部１０４ａは、現フレーム（フレーム４）に対して、探索対象領域Ｃを拡大して新たに探索対象領域Ｄを設定する。すなわちフレーム４´に示すように探索対象領域Ｄを設定する。そして、この探索対象領域Ｄを対象として、再度、現フレーム（フレーム４´）でテンプレートマッチング処理を実行するようにする。

（２）上述した変形例（１）のように、現フレームについて探索対象領域を広げて再度のテンプレートマッチングを行う場合には、１回目のテンプレートマッチング、すなわちステップＳ４における処理で探索した範囲については、再度処理を行う必要がない。このため、ここでは、１回目のテンプレートマッチングでは処理を行っていない範囲、すなわち拡大された範囲のみを対象に探索を行えばよい。

例えば、１回目のテンプレートマッチング時の探索対象領域が、図１２（ａ）に示す範囲８ａであったときに、再探索を行う範囲が範囲８ａに範囲８ｂを追加した範囲に拡大された場合には、範囲８ｂのみを再探索するようにする。具体的には、テンプレートマッチング部１０４ａは、図１２（ｂ）に示すように、再探索を行う範囲（８ａ＋８ｂ）の外側から渦巻状に探索枠Ｂを移動させてテンプレートマッチングを行い、範囲８ａに入る直前で処理を停止すればよい。

（３）上述した第３の実施の形態では、テンプレートマッチング部１０４ａは、式（４）によって、過去のフレームにおける探索対象領域内の類似度値の最大値の平均値と現フレームにおける探索対象領域内の類似度値の最大値との差分の絶対値と、閾値とを比較することによって、現フレームにおける被写体位置の特定結果の信頼性を判定する例について説明した。しかしながら、過去のフレームにおける探索対象領域内の類似度値の最大値の平均値を算出するに当たって、過去フレームの類似度値の最大値の中に信頼性が低いもの、すなわち類似度値が所定値未満のものが含まれる場合には、その類似度値を除いて平均値を算出するようにしてもよい。これによって、現フレームにおける被写体位置の特定結果の信頼性の判定結果の精度を向上することができる。

（４）上述した第１から第３の実施の形態では、被写体追跡装置としてカメラを使用し、スルー画上で被写体を追跡する例について説明した。しかしながら、カメラ１００が動画撮影機能を備えている場合には、撮影済みの動画の各フレームを対象としてテンプレートマッチングを行って、動画を構成する各フレーム間で被写体追跡を行うようにしてもよい。また、動画を再生可能な他の機器、例えばパーソナルコンピュータ（パソコン）に、図４、６、または７に示す処理を実行するためのプログラムを記録しておき、当該プログラムを実行することで、パソコン上で被写体追跡を行うようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

カメラの一実施の形態の構成を示すブロック図である。 ターゲット画像Ｉ、テンプレート画像Ａ、および探索枠Ｂの具体例を示す図である。 ターゲット画像Ｉの所定範囲内で、探索枠Ｂを移動させながらテンプレートマッチングを行った場合に算出される類似度の変化を示す図である。 第１の実施の形態におけるカメラ１００の処理を示すフローチャート図である。 第２の実施の形態における探索対象領域の設定例を示す図である。 第２の実施の形態におけるカメラ１００の処理を示すフローチャート図である。 第３の実施の形態における各フレームごとの類似度の変化を示す図である。 第３の実施の形態における探索対象領域の設定例を示す図である。 第３の実施の形態におけるカメラ１００の処理を示すフローチャート図である。 変形例におけるカメラ１００の処理を示すフローチャート図である。 変形例における探索対象領域の設定例を示す図である。 変形例における探索対象領域内での探索枠の移動例を示す図である。

符号の説明

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０４ａ テンプレートマッチング部、１０４ｂ 被写体追跡部、１０５ メモリカードスロット、１０６ モニタ

Claims (7)

1. コンピュータに、
   時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像とテンプレート画像との類似度を算出する類似度算出手順と、
   前記類似度算出手順で算出した類似度が最も高い前記探索枠の前記入力画像内における位置を被写体が存在する被写体位置として特定する被写体位置特定手順と、
   前記被写体位置特定手順で特定した前記被写体位置を、前記複数の入力画像間で追跡する被写体追跡手順と、
   前記各探索枠位置における前記探索枠内の画像と前記テンプレート画像との類似度の平均値と、前記最も高い類似度との差分の絶対値が、所定の閾値より大きい場合には、前記被写体位置における前記類似度の信頼性は高いと判定し、所定の閾値以下である場合には、前記被写体位置における前記類似度の信頼性は低いと判定する信頼性判定手順と、
   前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合には、前記類似度算出手順に対して、次の入力画像のテンプレートマッチング時に前記探索枠を移動させる前記探索対象領域の大きさを、前記被写体位置における前記類似度に応じて変更する処理制御手順とを実行させるための被写体追跡プログラム。
2. 請求項１に記載の被写体追跡プログラムにおいて、
   前記処理制御手順は、前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合には、前記被写体追跡手順に対して、その入力画像で特定した前記被写体位置を被写体追跡の対象から除外させることを特徴とする被写体追跡プログラム。
3. 請求項１に記載の被写体追跡プログラムにおいて、
   前記処理制御手順は、前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合には、
   前記類似度算出手順に対して、前記探索枠を移動させる前記探索対象領域の大きさを、前記被写体位置における前記類似度に応じて変更させ、
   前記類似度算出手順に対して、現入力画像内に設定した、大きさを変更した後の前記探索対象領域内で、前記探索枠を移動させながら前記探索枠内の画像とテンプレート画像とのテンプレートマッチングを行って、各探索枠位置における前記探索枠内の画像と前記テンプレート画像との類似度を再算出させ、
   前記被写体位置特定手順に対して、前記類似度算出手順で再算出した類似度が最も高い前記探索枠の前記入力画像内における位置を前記被写体位置として再特定させることを特徴とする被写体追跡プログラム。
4. コンピュータに、
   時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像とテンプレート画像との類似度を算出する類似度算出手順と、
   前記類似度算出手順で算出した類似度が最も高い前記探索枠の前記入力画像内における位置を被写体が存在する被写体位置として特定する被写体位置特定手順と、
   前記被写体位置特定手順で特定した前記被写体位置を、前記複数の入力画像間で追跡する被写体追跡手順と、
   過去の入力画像における探索対象領域内の類似度の最大値の平均値と、現入力画像における探索対象領域内の類似度の最大値との差分の絶対値が、所定の閾値より大きい場合には、前記被写体位置における前記類似度の信頼性は高いと判定し、所定の閾値以下である場合には、前記被写体位置における前記類似度の信頼性は低いと判定する信頼性判定手順と、
   前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合には、前記類似度算出手順に対して、次の入力画像のテンプレートマッチング時に前記探索枠を移動させる前記探索対象領域の大きさを拡大する処理制御手順とをさせるための被写体追跡プログラム。
5. コンピュータに、
   時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像とテンプレート画像との類似度を算出する類似度算出手順と、
   前記類似度算出手順で算出した類似度が最も高い前記探索枠の前記入力画像内における位置を被写体が存在する被写体位置として特定する被写体位置特定手順と、
   前記被写体位置特定手順で特定した前記被写体位置を、前記複数の入力画像間で追跡する被写体追跡手順と、
   過去の入力画像における探索対象領域内の類似度の最大値の平均値と、現入力画像における探索対象領域内の類似度の最大値との差分の絶対値が、所定の閾値より大きい場合には、前記被写体位置における前記類似度の信頼性は高いと判定し、所定の閾値以下である場合には、前記被写体位置における前記類似度の信頼性は低いと判定する信頼性判定手順と、
   前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合には、前記類似度算出手順に対して、前記探索枠を移動させる前記探索対象領域の大きさを拡大させ、前記類似度算出手順に対して、現入力画像内に設定した拡大後の前記探索対象領域内で、前記探索枠を移動させながら前記探索枠内の画像とテンプレート画像とのテンプレートマッチングを行って、各探索枠位置における前記探索枠内の画像と前記テンプレート画像との類似度を再算出させ、前記被写体位置特定手順に対して、前記類似度算出手順で再算出した類似度が最も高い前記探索枠の前記入力画像内における位置を前記被写体位置として再特定する処理制御手順とを実行させるための被写体追跡プログラム。
6. コンピュータに、
   時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像とテンプレート画像との類似度を算出する類似度算出手順と、
   前記類似度算出手順で算出した類似度が最も高い前記探索枠の前記入力画像内における位置を被写体が存在する被写体位置として特定する被写体位置特定手順と、
   前記被写体位置特定手順で特定した前記被写体位置を、前記複数の入力画像間で追跡する被写体追跡手順と、
   前記各探索枠位置における画像と前記テンプレート画像との類似度と、前記特定された前記被写体位置における画像と前記テンプレート画像との類似度とに基づいて、前記特定された前記被写体位置における前記類似度の信頼性を判定する信頼性判定手順と、
   前記信頼性判定手順で前記被写体位置における前記類似度の信頼性が低いと判定された場合に、前記類似度算出手順に対して、次の入力画像のテンプレートマッチング時に前記探索枠を移動させる前記探索対象領域の大きさを拡大する処理制御手順とを実行させるための被写体追跡プログラム。
7. 請求項１〜６のいずれか一項に記載の被写体追跡プログラムを実行する実行手段を備えることを特徴とする被写体追跡装置。
   

Images