JP6432163B2 - 追尾装置、カメラ、追尾方法および追尾プログラム - Google Patents

Description

本発明は、追尾装置、カメラ、追尾方法および追尾プログラムに関する。

時系列に入力されるフレーム画像内で被写体を追尾する追尾装置において、正規化相関という演算手法を用いてテンプレート画像とターゲット画像間の類似度を算出して被写体を追尾する技術が知られている（特許文献１参照）。

日本国特許第３７６８０７３号公報

しかしながら、従来の追尾装置では、例えば追尾対象が遮蔽物で遮蔽されるような信頼性低下を検出することができず、追尾が困難になるという問題がある。

本発明による追尾装置は、画像を繰り返し取得する第１取得部と、画像に含まれる追尾対象の周囲に関する周囲基準情報を取得する第２取得部と、第１取得部によって時系列に取得される画像と、追尾対象に関する対象基準情報と、に基づいて追尾対象候補画像を検出する検出部と、検出部が検出した追尾対象候補画像と、追尾対象候補画像を検出した画像よりも前の画像から取得された周囲基準情報と、の比較を行う比較部と、比較部の比較結果に基づき、追尾対象候補画像に関する評価を行う評価部と、を備える。
本発明によるカメラは、上記追尾装置を搭載する。
本発明による追尾方法は、画像を繰り返し取得し、画像に含まれる追尾対象の周囲に関する周囲基準情報を取得し、時系列に取得される画像と、追尾対象に関する対象基準情報と、に基づいて追尾対象候補画像を検出し、検出した追尾対象候補画像と、追尾対象候補画像を検出した画像よりも前の画像から取得された周囲基準情報と、を比較し、比較結果に基づき、検出した前記追尾対象候補画像に関する評価を行う。
本発明による追尾プログラムは、画像を繰り返し取得する処理と、画像に含まれる追尾対象の周囲に関する周囲基準情報を取得する処理と、時系列に取得される画像と、追尾対象に関する対象基準情報と、に基づいて追尾対象候補画像を検出する処理と、検出した追尾対象候補画像と、追尾対象候補画像を検出した画像よりも前の画像から取得された周囲基準情報と、を比較する処理と、比較結果に基づき、検出した追尾対象候補画像に関する評価を行う処理と、をコンピュータに実行させる。

本発明によれば、追尾の信頼性に応じて適切に対処し得る。

本発明の一実施の形態による追尾装置を搭載するカメラの構成を例示するブロック図である。 演算部によって実行される被写体追尾処理の流れを説明するフローチャートである。 被写体ロスト時の追尾処理の流れを説明するフローチャートである。 初期フレーム処理の詳細を説明するフローチャートである。 時系列のフレーム画像を例示する図である。 時系列のフレーム画像を例示する図である。 時系列のフレーム画像を例示する図である。 更新処理の詳細を説明するフローチャートである。 カメラに対する追尾プログラムの供給を説明する図である。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による追尾装置を搭載するカメラの構成を例示するブロック図である。図１において、カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６と、を備える。

操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源スイッチ、レリーズボタン、ズームボタン、十字キー、などを含む。レンズ１０２は、複数の光学レンズ群から構成され、撮像素子１０３の撮像面に被写体像を結像させる。図１では、光学レンズ群を代表する１枚のレンズを図示している。

撮像素子１０３は、例えばＣＭＯＳイメージセンサによって構成され、レンズ１０２により結像された被写体像を撮像する。撮像された画像のデータは、制御装置１０４へ出力される。制御装置１０４は、画像データに所定の画像処理を施す。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットである。制御装置１０４から出力された画像データは、メモリカードスロット１０５に挿入されているメモリカードに記録される。

モニタ１０６は、例えばカメラ１００の背面に搭載されたタッチ操作液晶パネルによって構成される。モニタ１０６には、撮像素子１０３によって所定の間隔で時系列に取得されたモニタ用画像（ライブビュー画像）や、メモリカードに記憶されている画像データに基づく再生画像や、カメラ１００を設定するための設定メニュー画面などが表示可能に構成される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周囲回路により構成され、後述する演算部１０４ａを機能的に備える。なお、制御装置１０４を構成するメモリには、プログラムを格納するメモリ、ワークメモリ、バッファメモリとして使用されるメモリが含まれる。

＜フローチャートの説明＞
図２および図３は、制御装置１０４内の演算部１０４ａによって実行される被写体追尾処理の流れを説明するフローチャートである。制御装置１０４は、図２、図３の処理を行う追尾プログラムを、例えば、撮像素子１０３によって時系列に取得された画像データが撮像素子１０３から逐次出力される場合に起動させる。演算部１０４ａは、撮像素子１０３から所定のフレームレートで読み出された時系列のフレーム画像について、各フレーム画像における追尾対象の位置を特定する。

図２のステップＳ１０において、演算部１０４ａは、初期設定を行うための初期フレーム処理を行う。図４は、初期フレーム処理の詳細を説明するフローチャートである。演算部１０４ａは、ステップＳ１０−１において第１フレーム目のフレーム画像情報を入力する。演算部１０４ａは、例えばフレーム画像がＲＧＢ表色系で表されている場合に、次式（１）〜（３）を用いて、色相(Hue)、彩度(Saturation)、明度(Value)の３成分から成る画像に変換する。

ここで、ＲＧＢ成分の３つの値のうち、最大のものをMAX、最小のものをMINとする。

ただし、Ｈ＜０の時、Ｈ＝Ｈ＋３６０である。

なお、次式（４）〜（６）または次式（７）〜（９）を用いて、輝度成分（Ｙ成分）からなる輝度画像と、色差成分（Ｃｂ成分、Ｃｒ成分）からなる色差画像とに変換してもよい。

Ｙ= 0.2990R ＋0.5870G ＋ 0.1140B ・・・・・・・・・・（４）
Ｃｂ = −0.1687R −0.3313G ＋ 0.5000B ＋ 128 ・・・・・・・（５）
Ｃｒ = 0.5000R − 0.4187G − 0.0813B ＋128 ・・・・・・・（６）

Ｙ= 0.25R ＋0.50G ＋ 0.25B ・・・・・・・・・・・・・（７）
Ｃｂ = −0.25R − 0.50G ＋ 0.75B ＋ 128 ・・・・・・・・・・（８）
Ｃｒ = 0.75R − 0.50G − 0.25Ｂ ＋ 128 ・・・・・・・・・・（９）

ステップＳ１０−２において、演算部１０４ａは、ユーザーによって追尾対象として指定された矩形領域を被写体領域とする。具体的には、ユーザーがモニタ１０６の画面上で追尾対象とする所望の被写体位置をタッチ操作すると、演算部１０４ａがタッチ位置を含む所定の矩形範囲を被写体領域とする。演算部１０４ａは、例えば追尾演算に用いる座標系において、被写体領域の左上の座標を被写体位置座標とする。

ステップＳ１０−３において、演算部１０４ａは、ステップＳ１０−１において入力したフレーム画像情報のうち、ステップＳ１０−２において決定した被写体領域の画像を初期テンプレート画像として取得する。ステップＳ１０−４において、演算部１０４ａは、ステップＳ１０−１において入力したフレーム画像情報のうち、ステップＳ１０−２において決定した被写体領域の画像を合成テンプレート画像として取得する。

ステップＳ１０−５において、演算部１０４ａは、ステップＳ１０−１において入力したフレーム画像情報のうち、ステップＳ１０−２において決定した被写体領域の画像を非更新型対象テンプレート画像として取得する。ステップＳ１０−６において、演算部１０４ａは、ステップＳ１０−１において入力したフレーム画像情報のうち、ステップＳ１０−２において決定した被写体領域の画像を更新型対象テンプレート画像として取得する。

以上説明したように初期フレーム処理においては、初期テンプレート画像、合成テンプレート画像、非更新型対象テンプレート画像、および更新型対象テンプレート画像が共通となる。本実施形態では、初期テンプレート画像および合成テンプレート画像を追尾演算において用いるとともに、非更新型対象テンプレート画像および更新型対象テンプレート画像を上記追尾演算結果に対する信頼性判定処理に用いる。非更新型対象テンプレート画像と更新型対象テンプレート画像とが対象テンプレート画像群を構成する。

ステップＳ１０−７において、演算部１０４ａは、ステップＳ１０−１において入力したフレーム画像情報のうち、ステップＳ１０−２において決定した被写体領域に隣接する複数の領域を、周囲テンプレート画像群として取得する。図５〜図７は、時系列のフレーム画像を例示する図であり、サーキットを駆けるオートバイ（追尾対象）を流し撮りしたものである。図５に示すように、フレーム画像において被写体領域４０の上に隣接する領域５１、被写体領域４０の下に隣接する領域５２、被写体領域４０の左に隣接する領域５３、被写体領域４０の右に隣接する領域５４が、周囲テンプレート画像群を構成する。

図４のステップＳ１０−８において、演算部１０４ａは、ロストフラグをOFFに設定し、図２のステップＳ２０へ進む。ロストフラグは、追尾対象を見失った場合（フレーム画像において追尾対象を検出できなかった場合）にON とし、追尾対象を見失っていない場合（フレーム画像において追尾対象を検出できた場合）にOFF とするフラグである。

図２のステップＳ２０において、演算部１０４ａは、第２フレーム目以降のフレーム画像情報を入力してステップＳ３０へ進む。処理内容は、第１フレーム目（ステップＳ１０−１）の場合と同様である。

ステップＳ３０において、演算部１０４ａは、ロストフラグがOFF か否かを判定する。演算部１０４ａは、ロストフラグがOFFに設定されている場合にステップＳ３０を肯定判定してステップＳ４０へ進み、ロストフラグがONに設定されている場合にステップＳ３０を否定判定してステップＳ３５の被写体ロスト時の追尾処理へ進む。被写体ロスト時の追尾処理については後述する。

＜追尾対象を見失っていない場合の追尾演算＞
ステップＳ４０において、演算部１０４ａは、初期テンプレート画像と合成テンプレート画像とを用いて、検索エリアの類似度マップを上記色相Ｈ、彩度Ｓ、明度Ｖの各プレーンで作成する。検索エリアは、入力したフレーム画像情報のうち追尾対象を検索する範囲をいう。類似度マップ作成には、例えば、次式（１０）〜（１２）に示すように、ターゲット画像とテンプレート画像の絶対差分和ＳＡＤ（Sum of Absolute Difference)を使用する。ターゲット画像は、テンプレート画像のサイズと同サイズの検索エリア内の画像である。

ＳＡＤ_Ｈ = Σ|Ｈ_{ターゲット画像}−Ｈ_{テンプレート画像}| ・・・・・・・・（１０）
ＳＡＤ_Ｓ = Σ|Ｓ_{ターゲット画像}−Ｓ_{テンプレート画像}| ・・・・・・・・（１１）
ＳＡＤ_Ｖ = Σ|Ｖ_{ターゲット画像}−Ｖ_{テンプレート画像}| ・・・・・・・・（１２）

ステップＳ５０において、演算部１０４ａは、ステップＳ４０において作成したＨ、Ｓ、Ｖ各プレーンの類似度マップに、被写体位置からの距離に応じて係数を乗算する。係数は、次式（１３）より算出する。
Kyori(x, y) = Kyori_０ + Ｋ(|x−M_ｘ | + |y−M_ｙ|) ・・・・・（１３）
なお、式（１３）において、(x,y) は類似度マップの二次元座標値、M_ｘは前フレームにおける被写体位置のx座標、M_ｙは前フレームにおける被写体位置のy座標である。また、本例ではKyori_０ = １．０、Ｋ = ０．０５としている。このように距離に応じた重み付けを行うのは、前フレームにおける被写体位置に近い位置を優遇するためである。

ステップＳ６０において、演算部１０４ａは、Ｈ、Ｓ、Ｖ各プレーンの類似度マップを次式（１４）により統合する。
Ｎ= TempHeight×TempWidth×２５５
MapHSV = １/Ｎ(GainＨ×DistMapＨ + GainＳ×DistMapＳ + GainＶ×DistMapＶ)
・・・・・（１４）

なお、式（１４）において、TempHeightはテンプレート画像の縦幅、TempWidthはテンプレート画像の横幅、DistMapＨは距離重み係数を乗算したＨプレーンの類似度マップ、DistMapＳは距離重み係数を乗算したＳプレーンの類似度マップ、DistMapＶは距離重み係数を乗算したＶプレーンの類似度マップである。また、本例ではGainＨ = １．５、GainＳ = １．５、GainＶ = ０．１としている。

演算部１０４ａはさらに、統合した２つの類似度マップ（初期テンプレート画像に関する類似度マップ、合成テンプレート画像に関する類似度マップ）の中から類似度が最大(本実施形態においては絶対差分和ＳＡＤが最小)となるxy座標をマッチング位置として選出し、このマッチング位置を左上座標としたテンプレート画像のサイズと同じ矩形領域を被写体候補領域として取得する。

＜被写体候補領域に対する信頼性判定＞
ステップＳ７０において、演算部１０４ａは、次式（１５）、（１６）により、ステップＳ６０において取得した被写体候補領域の、対象テンプレート画像群と周囲テンプレート画像群とに対する類似度を算出する。

Ｓ= ０．５×(ＮＣＣ ＋ １) ・・・・・・・・・・・・・・・（１６）
Object(i,j)は、被写体候補領域に対応し、Template(i,j)は、対象テンプレート画像群と周囲テンプレート画像群とに対応する。式（１５）は正規化相互相関（ＮＣＣ）の算出式であり、類似度が高いほど１に近づき、類似度が低いほど−１に近づく。式（１６）は、類似度が高いほど１に近づき、類似度が低いほど０に近づくように式（１５）の結果を変形したものである。

演算部１０４ａはさらに、対象テンプレート画像群の中で類似度が最大になった値をＳ_ｍａｘＰ、周囲テンプレート画像群の中で類似度が最大になった値をＳ_ｍａｘＮとし、次式（１７）より相対類似度Ｓ^ｒを算出する。

図６において、画面内に遮蔽物６０となり得るポールが存在する。サーキットを駆けるオートバイ（追尾対象）は遮蔽物６０に接近し、次フレームである図７において、オートバイ（追尾対象）が遮蔽物６０に隠れてしまう。図６のフレーム画像において、被写体領域４０の上に隣接する領域５１、被写体領域４０の下に隣接する領域５２、被写体領域４０の左に隣接する領域５３、被写体領域４０の右に隣接する領域５４が、周囲テンプレート画像群を構成する。

オートバイ（追尾対象）が遮蔽物６０に隠れた遮蔽状態になると、オートバイと遮蔽物６０の色が似ている場合、図７のように被写体候補領域４１が遮蔽物６０の上に設定されてしまう事がある。このような場合、被写体候補領域４１の、対象テンプレート画像群に対する類似度は比較的高い値となってしまう。しかしながら、本実施形態では１フレーム前の図６において遮蔽物６０を含む領域５４が、周囲テンプレート画像として取得されている。このため、被写体候補領域４１の、周囲テンプレート画像群（本例では領域５４）に対する類似度は、対象テンプレート画像群に対する類似度よりも高くなる。したがって、相対類似度Ｓ^ｒの値が小さくなり、遮蔽状態を正しく判定できる。式（１７）によれば、遮蔽状態でない場合に相対類似度Ｓ^ｒの値が１に近づき、遮蔽状態の場合に相対類似度Ｓ^ｒの値が小さくなる。

ステップＳ８０において、演算部１０４ａは、ステップＳ７０において算出した相対類似度Ｓ^ｒが、所定の「判定閾値１」以上か否かを判定する。演算部１０４ａは、相対類似度Ｓ^ｒが「判定閾値１」以上の場合にステップＳ８０を肯定判定してステップＳ９０へ進み、「判定閾値１」未満の場合にステップＳ８０を否定判定してステップＳ１４０へ進む。なお、本実施形態では、「判定閾値１」＝０．４９６０としている。ステップＳ８０を肯定判定する場合は、Ｓ６０において選出した被写体候補領域の信頼性が高い。ステップＳ８０を否定判定する場合は、Ｓ６０において選出した被写体候補領域の信頼性が低い。

ステップＳ９０において、演算部１０４ａは、ステップＳ６０において選出したマッチング位置を新たな被写体位置として採用し、被写体候補領域を新たな被写体領域として採用する。

ステップＳ１００において、演算部１０４ａは合成テンプレート画像の更新処理を行う。図８は、更新処理の詳細を説明するフローチャートである。図８のステップＳ１００−１において、演算部１０４ａは、ステップＳ６０においてマッチング位置を選出した類似度マップが、初期テンプレート画像による類似度マップであるか、合成テンプレート画像による類似度マップであるかを判定する。演算部１０４ａは、合成テンプレート画像による類似度マップであると判断した場合はステップＳ１００−２へ進み、初期テンプレート画像による類似度マップである場合にはステップＳ１００−３へ進む。

ステップＳ１００−２において、演算部１０４ａは、ステップＳ９０において採用した新たな被写体領域の画素値に重み係数Ａを乗じた画像と、初期テンプレート画像の画素値に重み係数Ｂ（ただしＡ≧Ｂ、かつＡ＋Ｂ＝１）を乗じた画像とを加算し、加算後の画像を合成テンプレート画像として更新して図２のステップＳ１１０へ進む。

ステップＳ１００−３において、演算部１０４ａは、ステップＳ９０において採用した新たな被写体領域の画素値に上記重み係数Ｂを乗じた画像と、初期テンプレート画像の画素値に上記重み係数Ａを乗じた画像とを加算し、加算後の画像を合成テンプレート画像として更新して図２のステップＳ１１０へ進む。

図２のステップＳ１１０において、演算部１０４ａは、更新型対象テンプレート画像の更新処理を行う。新たな更新型対象テンプレート画像は、非更新型対象テンプレート画像の画素値に重み係数Ｃを乗じた画像と、ステップＳ９０において採用した新たな被写体領域の画素値に重み係数Ｄを乗じた画像とを加算して作成する。これにより、現在の被写体の形状を反映し、かつ、初期状態から大きく離れ過ぎない、更新型対象テンプレート画像を取得することができる。なお、Ｃ≧Ｄ、かつＣ＋Ｄ＝１である。

ステップＳ１２０において、演算部１０４ａは、ステップＳ９０において採用した新たな被写体領域に隣接する複数の領域を新たな周囲テンプレート画像群として更新する。ステップＳ１３０において、演算部１０４ａは、全てのフレーム画像に対する処理が完了したか否かを判定する。演算部１０４ａは、全フレーム画像に対して処理を行った場合にステップＳ１３０を肯定判定して図２による処理を終了する。演算部１０４ａは、全フレーム画像に対して処理を行っていない場合にはステップＳ１３０を否定判定し、ステップＳ２０へ戻る。ステップＳ２０へ戻る場合は、新たなフレーム画像情報を入力し、上述した処理を繰り返す。

ステップＳ８０を否定判定して進むステップＳ１４０において、演算部１０４ａは、フレーム画像内に追尾対象はいないと判定し、ロストフラグをONに設定してステップＳ１３０へ進む。

＜追尾対象を見失った場合の追尾演算＞
図３は、被写体ロスト時の追尾処理を説明するフローチャートである。図３のステップＳ１５０において、演算部１０４ａは、ステップＳ４０の場合と同様に、初期テンプレート画像と合成テンプレート画像を用いて、検索エリアの類似度マップを上記色相Ｈ、彩度Ｓ、明度Ｖの各プレーンで作成する。ただし、検索エリアを、ロストフラグがOFFの時（追尾対象を見失っていない場合）よりも広く設定する。これにより、追尾対象がロスト（遮蔽状態）した座標から離れた位置に出現する場合も、検索エリア内に追尾対象を捉えることができる。

ステップＳ１６０において、演算部１０４ａは、ステップＳ５０の場合と同様に、ステップＳ１５０において作成したＨ、Ｓ、Ｖ各プレーンの類似度マップに、被写体位置からの距離に応じて係数を乗算する。ただし、上式（１３）のＫの値は、ロストフラグがOFFの時よりも小さい値に設定する。これにより、被写体がロストした座標から離れた位置に出現する場合の絶対差分和ＳＡＤが小さくなり、被写体候補領域として選出することができる。なお、本実施形態では、Ｋ = ０．０２としている。

ステップＳ１７０において、演算部１０４ａは、ステップＳ６０の場合と同様に、Ｈ、Ｓ、Ｖ各プレーンの類似度マップを上式（１４）により統合し、統合した２つの類似度マップの中から類似度が最大(本実施形態においては絶対差分和ＳＡＤが最小)となるxy座標をマッチング位置として選出する。そして、選出したマッチング位置を左上座標としたテンプレート画像のサイズと同じ矩形領域を被写体候補領域として取得する。

ステップＳ１８０において、演算部１０４ａは、ステップＳ７０の場合と同様に、式（１５）〜（１７）によって相対類似度Ｓ^ｒを算出する。

ステップＳ１９０において、演算部１０４ａは、ステップＳ１８０において算出した相対類似度Ｓ^ｒが、所定の「判定閾値２」以上か否かを判定する。演算部１０４ａは、相対類似度Ｓ^ｒが「判定閾値２」以上の場合にステップＳ１９０を肯定判定してステップＳ２００へ進み、「判定閾値２」未満の場合にステップＳ１９０を否定判定してステップＳ１３０へ進む。なお、本実施形態では、「判定閾値２」に、「判定閾値１」よりも大きい値(＝０．４９９０)を使用する。ステップＳ１９０を肯定判定する場合は、Ｓ１７０において選出した被写体候補領域の信頼性が高い。ステップＳ１９０を否定判定する場合は、Ｓ１７０において選出した被写体候補領域の信頼性が低い。

ステップＳ２００において、演算部１０４ａは、ステップＳ１７０において選出したマッチング位置を新たな被写体位置として採用し、被写体候補領域を新たな被写体領域として採用する。

ステップＳ２１０において、演算部１０４ａは、ステップＳ１００の場合と同様に、合成テンプレート画像の更新処理を行う。ステップＳ２２０において、演算部１０４ａは、ステップＳ１１０の場合と同様に、更新型対象テンプレート画像の更新処理を行う。ステップＳ２３０において、演算部１０４ａは、ステップＳ１２０の場合と同様に、周囲テンプレート画像群の更新処理を行う。

ステップＳ２４０において、演算部１０４ａは、フレーム内に追尾対象が戻ってきた（遮蔽状態を脱した）と判断し、ロストフラグをOFFに設定して図２のステップＳ１３０へ進む。

上述した実施形態によれば、次の作用効果が得られる。
（１）カメラ１００は、フレーム画像を繰り返し取得する撮像素子１０３と、上記フレーム画像に含まれる追尾対象に関するテンプレート画像（初期テンプレート画像、合成テンプレート画像、対象テンプレート画像群）を取得する演算部１０４ａと、追尾対象の周囲に関する周囲テンプレート画像群を取得する演算部１０４ａと、演算部１０４ａによって時系列に取得されるフレーム画像に対して、フレーム画像内に設定したターゲット画像とテンプレート画像との第１の類似度（ＳＡＤ）を算出し、第１の類似度に基づき被写体候補領域４１を検出する第１の類似度算出部（演算部１０４ａ）と、第１の類似度算出部（演算部１０４ａ）によって検出された被写体候補領域４１と周囲テンプレート画像群より第２の類似度（ＮＣＣ）を算出する第２の類似度算出部（演算部１０４ａ）と、第２の類似度算出部（演算部１０４ａ）によって算出された第２の類似度（ＮＣＣ）に基づき、第１の類似度算出部（演算部１０４ａ）により検出した被写体候補領域４１の信頼性を判定する演算部１０４ａと、を備える。これにより、判定した信頼性に応じて適切な対処が可能になる。

（２）被写体候補領域４１の信頼性が所定値より高い場合にフレーム画像における被写体候補領域４１の位置を追尾対象の位置とし、信頼性が所定値より低い場合に被写体が画像中にいないと判定することにより、追尾対象を適切に追尾することができる。

（３）被写体候補領域４１の信頼性が所定値より高い場合、追尾対象の位置を特定して次のフレーム画像に対する処理へ進み、信頼性が所定値より低い場合、被写体がいないと判定したまま次のフレーム画像に対する処理へ進むので、追尾処理を適切に行うことができる。

（４）第２の類似度算出部（演算部１０４ａ）は、第１の類似度算出部（演算部１０４ａ）によって検出された被写体候補領域４１とテンプレート画像（対象テンプレート画像群）との第３の類似度（ＮＣＣ）を算出し、演算部１０４ａは、第３の類似度（ＮＣＣ）と第２の類似度（ＮＣＣ）とに基づき、第１の類似度算出部（演算部１０４ａ）により検出した被写体候補領域４１の信頼性を判定するので、第１の類似度算出部（演算部１０４ａ）が算出した類似度（ＳＡＤ）と同種の類似度のみで信頼性判定する場合に比べて、多面的に信頼性を判定できる。

（５）第１の類似度算出部（演算部１０４ａ）が第１の類似度（ＳＡＤ）を算出するための類似度演算と、第２の類似度算出部（演算部１０４ａ）が第２の類似度（ＮＣＣ）および第３の類似度（ＮＣＣ）を算出するための類似度演算とを互いに異ならせたので、同種の類似度演算のみで信頼性判定する場合に比べて、多面的に信頼性を判定できる。また、演算部１０４ａは、第３の類似度（ＮＣＣ）を、第３の類似度（ＮＣＣ）と第２の類似度（ＮＣＣ）との加算値で除算した値に基づき、第１の類似度算出部（演算部１０４ａ）により検出した被写体候補領域４１の信頼性を判定する。これにより、追尾対象が遮蔽物６０に隠れる遮蔽状態か否かの判別が容易になる。

（６）演算部１０４ａは、第３の類似度（ＮＣＣ）を、第３の類似度（ＮＣＣ）と第２の類似度（ＮＣＣ）との加算値で除算した値が、閾値よりも大きい場合に信頼性が高いと判定し、閾値よりも小さい場合に信頼性が低いと判定する。具体的には、遮蔽状態でない場合に信頼性が高く、遮蔽状態の場合に信頼性が低いと判定し得るので、信頼性判定を適切に行える。

（７）第１の類似度算出部（演算部１０４ａ）は、フレーム画像内において第１の類似度（ＳＡＤ）に基づき被写体候補領域４１を検出する検索エリアを、演算部１０４ａにより信頼性が高いと判定した場合よりも信頼性が低いと判定した場合に広くする。これにより、例えば、追尾対象が遮蔽状態になった座標位置から離れた座標位置に出現する場合に、追尾対象を検索エリア内に捉える可能性を高めることができる。

（８）演算部１０４ａは、追尾対象の左右および上下それぞれの位置に関して複数の周囲テンプレート画像群を取得し、第２の類似度算出部（演算部１０４ａ）は、被写体候補領域４１と複数の周囲テンプレート画像群５１−５４の各々との間で第２の類似度（ＮＣＣ）を複数通り算出し、演算部１０４ａは、複数通りの第２の類似度（ＮＣＣ）のうち最も類似性が高い第２の類似度に基づき、第１の類似度算出部（演算部１０４ａ）により検出した被写体候補領域４１の信頼性を判定する。一般に、追尾対象が遮蔽物６０に隠れる遮蔽状態になる前のフレーム画像においては、追尾対象の左右上下のいずれかに遮蔽物６０が含まれる。このため、左右上下方向に対する複数通りの第２の類似度（ＮＣＣ）のうち最も類似性が高い第２の類似度を用いることで、信頼性が低下する遮蔽状態を適切に判定できる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
上述した実施形態では、カメラ１００を例に追尾装置を説明したが、カメラ１００に対して追尾プログラムを後から供給してもよい。カメラ１００への追尾プログラムの供給は、例えば図９に例示するように、プログラムを格納したパーソナルコンピュータ２０５から赤外線通信や近距離無線通信によってカメラ１００へ送信することができる。

パーソナルコンピュータ２０５に対するプログラムの供給は、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体２０４をパーソナルコンピュータ２０５にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２０５へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などにプログラムを格納しておく。

また、プログラムを格納したメモリカードなどの記憶媒体２０４Ｂをカメラ１００にセットしてもよい。このように、追尾プログラムは、記憶媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。

（変形例２）
上述した説明では、被写体候補領域の検出のための追尾演算において、ターゲット画像とテンプレート画像（初期テンプレート画像、合成テンプレート画像）との間の類似度判定に絶対差分和（ＳＡＤ）を用いるとともに、検出した被写体候補領域４１の信頼性判定を行う演算において、被写体候補領域４１とテンプレート画像（対象テンプレート画像群、周囲テンプレート画像群）との間の類似度判定に正規化相互相関（ＮＣＣ）を用いた。追尾演算と信頼性判定の演算とで異なる類似度判定を行う代わりに、追尾演算と信頼性判定の演算とで同じ類似度判定（絶対差分和（ＳＡＤ）または正規化相互相関（ＮＣＣ）に揃える）を行うように構成してもよい。

（変形例３）
ターゲット画像とテンプレート画像との間の類似度判定に用いる初期テンプレート画像および合成テンプレート画像のサイズと、被写体候補領域４１とテンプレート画像との間の類似度判定に用いる対象テンプレート画像群および周囲テンプレート画像群のサイズとを同じにする例を説明したが、これらのテンプレート画像のサイズは必ずしも同じにしなくてもよい。例えば、対象テンプレート画像群および周囲テンプレート画像群のサイズを、初期テンプレート画像および合成テンプレート画像のサイズより小さくしてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

４０…被写体領域
４１…被写体候補領域
５１〜５４…周囲テンプレート画像群
６０…遮蔽物
１００…カメラ
１０３…撮像素子
１０４…制御装置
１０４ａ…演算部
２０１…通信回線
２０２…サーバー
２０４、２０４Ｂ…記憶媒体
２０５…パーソナルコンピュータ

Claims (11)

1. 画像を繰り返し取得する第１取得部と、
   前記画像に含まれる追尾対象の周囲に関する周囲基準情報を取得する第２取得部と、
   前記第１取得部によって時系列に取得される前記画像と、前記追尾対象に関する対象基準情報と、に基づいて追尾対象候補画像を検出する検出部と、
   前記検出部が検出した追尾対象候補画像と、前記追尾対象候補画像を検出した画像よりも前の画像から取得された前記周囲基準情報と、の比較を行う比較部と、
   前記比較部の比較結果に基づき、前記追尾対象候補画像に関する評価を行う評価部と、
   を備える追尾装置。
2. 請求項１に記載の追尾装置において、
   前記評価部は、前記評価に関する値が所定値より高い場合に前記画像における前記追尾対象候補画像の位置を前記追尾対象の位置とし、前記評価に関する値が前記所定値より低い場合、被写体が画像中にいないと判定する、
   追尾装置。
3. 請求項２に記載の追尾装置において、
   前記評価に関する値が所定値より高い場合、前記追尾対象の位置を特定して次の画像に対する処理へ進み、前記評価に関する値が前記所定値より低い場合、前記被写体がいないと判定したまま次の画像に対する処理へ進む、
   追尾装置。
4. 請求項２または３に記載の追尾装置において、
   前記比較部は、前記追尾対象候補画像と前記周囲基準情報との第１類似度と、前記追尾対象候補画像と前記対象基準情報との第２類似度と、を算出し、
   前記評価部は、前記第１類似度と前記第２類似度とに基づき、前記追尾対象候補画像の信頼性を判定する追尾装置。
5. 請求項４に記載の追尾装置において、
   前記検出部が前記追尾対象候補画像を検出する際に算出する、前記画像と前記対象基準情報との第３類似度を算出するための類似度演算と、前記比較部が前記第１類似度および前記第２類似度を算出するための類似度演算とは互いに異なり、
   前記評価部は、前記第２類似度を、前記第２類似度と前記第１類似度との加算値で除算した値に基づき、前記追尾対象候補画像の信頼性を判定する追尾装置。
6. 請求項５に記載の追尾装置において、
   前記評価部は、前記除算した値が閾値より大きい場合に信頼性が高いと判定し、前記除算した値が前記閾値より小さい場合に信頼性が低いと判定する追尾装置。
7. 請求項６に記載の追尾装置において、
   前記検出部は、前記画像内において前記第３類似度に基づき前記追尾対象候補画像を検出する範囲を、前記評価部により前記信頼性が高いと判定された場合よりも前記信頼性が低いと判定された場合に広くする追尾装置。
8. 請求項４〜７のいずれか一項に記載の追尾装置において、
   前記第２取得部は、前記追尾対象の左右および上下それぞれの位置に関して複数の周囲基準情報を取得し、
   前記比較部は、前記追尾対象候補画像と前記複数の周囲基準情報の各々との間で前記第１類似度を複数通り算出し、
   前記評価部は、前記複数通りの第１類似度のうち最も類似性が高い第１類似度に基づき、前記追尾対象候補画像の信頼性を判定する追尾装置。
9. 請求項１〜８のいずれか一項に記載の追尾装置を搭載するカメラ。
10. 画像を繰り返し取得し、
    前記画像に含まれる追尾対象の周囲に関する周囲基準情報を取得し、
    時系列に取得される前記画像と、前記追尾対象に関する対象基準情報と、に基づいて追尾対象候補画像を検出し、
    前記検出した前記追尾対象候補画像と、前記追尾対象候補画像を検出した画像よりも前の画像から取得された前記周囲基準情報と、を比較し、
    比較結果に基づき、前記検出した前記追尾対象候補画像に関する評価を行う、
    追尾方法。
11. 画像を繰り返し取得する処理と、
    前記画像に含まれる追尾対象の周囲に関する周囲基準情報を取得する処理と、
    時系列に取得される前記画像と、前記追尾対象に関する対象基準情報と、に基づいて追尾対象候補画像を検出する処理と、
    前記検出した前記追尾対象候補画像と、前記追尾対象候補画像を検出した画像よりも前の画像から取得された前記周囲基準情報と、を比較する処理と、
    比較結果に基づき、前記検出した前記追尾対象候補画像に関する評価を行う処理と、
    をコンピュータに実行させる追尾プログラム。

Images