JP6757701B2 - 任意の追跡器を割り当てたパーティクルを用いる物体追跡プログラム、装置及び方法 - Google Patents

Description

本発明は、追跡対象の物体が映る時系列の画像群を解析して、当該物体を追跡する物体追跡技術に関する。

物体追跡は、監視カメラ、ヒューマンコンピュータインタラクションや、ロボティクス等における基礎技術である。時系列の画像群が入力されると、初期フレーム（画像）について追跡対象の物体が映る画像領域が決定され、それ以降のフレームではその画像領域が順次求められる。
物体追跡技術は、コンピュータビジョン分野の中でも最も実施困難な問題の１つである。物体の遮蔽・回転・変形や、画像のブレ・輝度変化が生じた場合でも、正確に物体を追跡できるべく、高いロバスト性が要求される。

近年、パーティクルフィルタを用いた物体追跡技術が広く利用されてきている。
「パーティクルフィルタ」とは、時間変化する観測対象の状態を推定する時系列フィルタの一種である。これは、複数のパーティクルを用いたモンテカルロ法によって、事前分布と事後分布とを近似することによって、「状態」を推定する。即ち、状態を、「物体の位置」と定義し、時間毎にその状態（位置）を推定することによって、物体を追跡する。

従来、パーティクルフィルタを用いた物体追跡技術として、単一ではなく複数の追跡器を用いて、追跡対象の見えや動きの変化に対するロバスト性を高めた技術がある（例えば非特許文献１参照）。この技術によれば、具体的には、事後分布を、追跡器の項と、状態の項とに分解する。最初に、最適な追跡器をモンテカルロ法によって推定し、次に、推定された追跡器を用いて状態を推定する。

J. Kwon, and K. M. Lee, "Tracking by Sampling Trackers," In Proc ICCV, pp.1195-1202, 2011. N. Dalal, and B. Triggs. "Histograms of Oriented Gradients for Human Detection," In Proc CVPR, pp.886-893, 2005. I. T. Jolliffe, "Principal Component Analysis," 2nd edition, Springer, 2002. J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "High-speed tracking with kernelized correlation filters," IEEE Transactions on PAMI, vol.37, no.3, pp.583-596, 2015. Q. Tian, and M. N. Huhns, "Algorithms for subpixel registration," Computer Vision, Graphics, and Image Processing, vol.35, no.2, pp.220-233, 1986. S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein, "Distributed optimization and statistical learning via the alternating direction method of multipliers," Foundations and Trends in Machine Learning, vol.3, no.1, pp.1-122, 2010. J. H. Holland, "Adaptation in natural and artificial systems: an introductory analysis with applications to biology, control, and artificial intelligence," U Michigan Press, 1975.

前述した非特許文献１に記載の技術によれば、物体が映る画像領域に係る追跡器は、評価用の指標に基づいて推定されるものであり、その指標は、予めオペレータによって設定されたものである。即ち、追跡器の推定精度は、その設定に大きく依存する。その設定によっては、状態（物体位置）のパーティクルの数を増加させたとしても、結果的に、追跡器の推定精度を高めることはできない。

そこで、本発明は、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる物体追跡プログラム、装置及び方法を提供することを目的とする。

本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置に搭載されたコンピュータを機能させる物体追跡プログラムにおいて、
時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
重みが最大となるパーティクルｓ^_tを決定する位置決定手段と
してコンピュータを機能させることを特徴とする。

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、応答マップＹの中で、最大の極大値から降順にM個の極大値ｐ₁〜ｐ_Mに対して、混合正規分布によって矩形領域ｂ_t ¹〜ｂ_t ^Nをサンプリングする
ようにコンピュータを機能させることも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段における所定の追跡器の候補は、
現在時刻に任意に割り当てられたM個の現在追跡器tkr_t ¹〜tkr_t ^M、又は、
過去時刻に決定されたパーティクルｓ^₁〜ｓ^_t-1に基づく過去追跡器tkr^₁〜tkr^_t-1
であるようにコンピュータを機能させることも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定し、平均μとなるようにベルヌーイ分布によって出力される２値ｕ∈{0,1}に基づいて、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てるかを決定する
ようにコンピュータを機能させることも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、
過去追跡器を使用する場合、複数の過去追跡器の中から一様分布又は最適化分布でいずれか1個の追跡器を選択し、
現在追跡器を使用する場合、M個の現在追跡器の中から一様分布でいずれか1個の追跡器を選択する
ようにコンピュータを機能させることも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段について、重みは、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値である
ようにコンピュータを機能させることも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、モードを、パーティクルフィルタモードへ移行させると共に、パーティクルフィルタモードである場合には機能しないものであり、
応答マップ生成手段の次段で機能する追跡モード判定手段としてコンピュータを更に機能させ、
追跡モード判定手段は、パーティクルフィルタモードである場合、応答マップにおける加重分散varが第１の所定閾値以下であれば、パーティクルフィルタモードを解除する
ようにコンピュータを機能させることも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
時刻tの応答マップＹについて追跡信頼度が所定条件に基づいて低いか否かを判定する追跡信頼度判定手段としてコンピュータを更に機能させ、
パーティクル生成手段は、追跡信頼度判定手段によって真と判定された際に機能させる
ことも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
追跡信頼度判定手段は、時刻tの応答マップＹの最大値を追跡信頼度とし、所定条件として最大値が所定閾値未満である場合に、追跡信頼度が低いと判定する
ようにコンピュータを機能させることも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段に続いて、又は、パーティクルフィルタモードが維持された追跡モード判定手段に続いて機能する状態予測手段を更に有し、
状態予測手段は、時刻t-1の矩形領域ｂ_t-1 ¹〜ｂ_t-1 ^Nから、各パーティクルｓ_t ¹〜ｓ_t ^Nの矩形領域ｂ_t ¹〜ｂ_t ^Nへの遷移が、正規分布に基づくと仮定して、矩形領域ｂ_t ¹〜ｂ_t ^Nの位置を予測して遷移させる
ようにコンピュータを機能させることも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
状態予測手段と位置決定手段との間で機能する重み更新手段として更に機能させ、
重み更新手段は、各パーティクルｓ_t ¹〜ｓ_t ^Nの重みを、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値であるとして更新する
ようにコンピュータを機能させることも好ましい。

本発明の物体追跡プログラムにおける他の実施形態によれば、
位置決定手段に続いて機能するリサンプリング手段として更に機能させ、
リサンプリング手段は、各パーティクルｓ_t ¹〜ｓ_t ^Nに割り当てられた重みを用いて、より大きい重みのパーティクルｓ_tほど、その周囲により多くのパーティクルが配置するようにパーティクルｓ_t ¹〜ｓ_t ^Nをリサンプリングする
ようにコンピュータを機能させることも好ましい。

本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す物体追跡装置において、
時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
重みが最大となるパーティクルｓ^_tを決定する位置決定手段と
を有することを特徴とする。

本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置の物体追跡方法において、
装置は、
時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する第１のステップと、
時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中からの任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てる第２のステップと、
重みが最大となるパーティクルｓ^_tを決定する第３のステップと
を実行することを特徴とする。

本発明の物体追跡プログラム、装置及び方法によれば、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる。
即ち、複数の追跡器の中で、最適な追跡器を明示的に設定することなく、状態（物体位置）のパーティクル数を増やすことによって、追跡精度を向上させることができる。即ち、追跡器は、状態推定結果に従って間接的に推定される。

物体追跡システムの構成図である。 本発明における物体追跡装置の機能構成図である。 本発明の物体追跡処理を表す基本的フローチャートである。 特徴量抽出部の処理を表す説明図である。 応答マップ生成部の処理を表す説明図である。 本発明におけるパーティクル生成部の処理を表す第１の説明図である。 本発明におけるパーティクル生成部の処理を表す第２の説明図である。 本発明における追跡器の選択処理を表す説明図である。 本発明における位置決定部の処理を表す説明図である。 相関フィルタ学習部の処理を表す説明図である。 本発明の物体追跡処理を表す具体的フローチャートである。 本発明における追跡信頼度判定部の処理を表す説明図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

図１は、物体追跡システムの構成図である。

図１によれば、物体追跡システムは、物体追跡装置１と１台以上のカメラ２とが、ネットワークを介して接続されている。
各カメラ２は、追跡対象の物体を撮影可能であり、撮影した映像（時系列の画像群）を、物体追跡装置１へ送信する。カメラ２は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。勿論、カメラ２は、各画素のデプス値を出力するデプスカメラであってもよい。

カメラ２は、物体追跡装置１との間で、例えば無線ＬＡＮや有線ＬＡＮのように直接的に接続されるものであってもよいし、例えばアクセスネットワーク及びインターネットを介して接続されるものであってもよい。アクセスネットワークとしては、無線系のＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）であってもよいし、有線系の光ファイバ網やＡＤＳＬ（Asymmetric Digital Subscriber Line）であってもよい。
尚、別途備えられたカメラ制御装置（図示なし）が、複数のカメラ２から出力された映像を収集し、その映像を物体追跡装置１へリアルタイムに又はバッチ的に送信するものであってもよい。

ここで、追跡対象となる物体は、例えば人物、動物、乗り物のような移動可能な物理対象である。撮影場所も、特に限定されることなく、屋外でも屋内でもよい。また、追跡対象となり得る物体は、複数であってもよく、同行したり互いにすれ違ったり、撮影範囲の内外に移動するものであってもよい。

＜物体追跡装置１＞
物体追跡装置１は、カメラ２から映像（時系列の画像群）を受信する。そして、物体追跡装置１は、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体が映る画像領域の決定を繰り返す。そして、決定された画像領域から、追跡対象を分析する。
このとき、追跡に失敗する可能性の高まる状況、例えば、追跡対象の物体の遮蔽・回転・変形や、画像のブレ・輝度変化が生じた場合でも、当該物体の位置を予測しながら、複数候補の画像領域（複数の仮説、パーティクル）を決定する。それら画像領域から、当該物体を検出し、その移動を追跡する。

物体追跡装置１は、カメラ２から受信した画像内に張られた画像座標系x-yでの位置座標(x, y)を、実空間に張られた世界座標系Gx-Gy-Gzでの位置座標(gx, gy, gz)へ変換する（座標変換操作）。そして、追跡対象の物体が映る画像から、実空間での位置やその変移分等の位置を算出する。例えば、前時刻t−1における追跡対象の物体の画像内の位置(x, y)が、現在時刻tにおける位置(x', y')へ変化した場合、この物体は、実空間（観測対象空間）について、前時刻t−1での位置(gx, gy, gz)から、現在時刻tでの位置(gx', gy', gz')へ移動したことが推定される。

尚、カメラ２が、設置位置や、撮影向き、高さを変更可能なものである場合、画像座標系から世界座標系への座標変換は、予めキャリブレーションによって、カメラ２についての設置位置及び撮影向きに係る外部パラメータを設定しておく。

図２は、本発明における物体追跡装置の機能構成図である。

図２によれば、物体追跡装置１は、大きく以下の機能を有する。
カメラ２と通信可能な通信インタフェース１Ａ
カメラ２から受信した時系列の画像群を記憶する画像蓄積部１Ｂ
物体追跡用の情報を記憶した記憶部１Ｃ
物体追跡処理を実行する制御部１Ｄ
物体追跡結果を利用するアプリケーション１Ｅ

記憶部１Ｃは、物体領域蓄積部と、追跡モード蓄積部と、回帰パラメータ列蓄積部と、テンプレート列蓄積部と、信頼度列蓄積部と、信頼度比列蓄積部とを有する。
物体領域蓄積部は、重みが最大のパーティクルの位置及び矩形を記憶する。
追跡モード蓄積部は、各時刻における追跡モードを記憶する。
回帰パラメータ列蓄積部は、各時刻における相関フィルタのパラメータαを記憶する。
テンプレート列蓄積部には、時刻毎に、追跡対象の物体が映る画像を記憶する。
信頼度列蓄積部及び信頼度比列蓄積部は、後述する過去の追跡器の信頼度列及び信頼度比列を記憶する。
制御部１Ｄは、カメラ２から受信した映像（画像群）について、時系列に、画像毎に物体追跡処理を繰り返す。
アプリケーション１Ｅは、画像と、矩形領域とを用いて処理する。

図３は、本発明の物体追跡処理を表す基本的フローチャートである。

図３によれば、制御部１Ｄは、特徴量抽出部１０と、応答マップ生成部１１１と、パーティクル生成部１２１と、位置決定部１３１と、追跡器記憶部１４と、相関フィルタ学習部１５とを有する。
これら機能構成部は、物体追跡装置１に搭載されたコンピュータによって機能されるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、物体追跡方法としても理解できる。

［特徴量抽出部１０］
特徴量抽出部１０は、画像毎に、学習した物体識別器によって、追跡対象の物体に対応する特徴量Zを出力する。例えば人物を追跡対象とする場合、物体識別器は、人物検出用に学習したものである。

物体検出のためには、例えばＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることも好ましい（例えば非特許文献２参照）。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。

図４は、特徴量抽出部の処理を表す説明図である。

図４によれば、時刻tの画像o_tについて、時刻t−1で推定された矩形領域ｂ^_t-1の中心を固定したまま、当該画像領域を定数倍（例えば２倍）に拡大したものを、「ｂ^_tの中心探索領域」に設定している。
そして、特徴量抽出部１０は、この「探索領域」内の画像についての特徴量Zを抽出する。この特徴量Zは、例えばＨＯＧ特徴量に対して公知の主成分分析（ＰＣＡ）（例えば非特許文献３参照）によって次元削減処理を施したものであってもよい。

追跡対象となる物体が検出された画像領域は、矩形に設定される。勿論、矩形以外の形状であってもよい。時刻tに、物体が映る画像の矩形領域を、ｂ_t(bounding box)と定義する。
ｂ_t＝(x, y, w, h)∈Ｒ⁴
x：画像座標系x-yにおける画像領域矩形の左上の頂点のx座標
y：画像座標系x-yにおける画像領域矩形の左上の頂点のy座標
（尚、x軸正方向が右向き、y軸正方向が下向きであるとする）
w：当該矩形の横幅
h：当該矩形の縦幅（高さ）
また、観測結果を画像と定義して、時刻tまでの観測を、以下のように画像ｏの群であるとする。
ｏ_t＝(o₁, o₂, ・・・, o_t-1, o_t)
更に、時刻tで推定された矩形領域ｂ^_tを、以下のように表す。
ｂ^_t＝(x^_t, y^_t, w^_t, h^_t)
尚、追跡対象物体が映る画像の矩形領域ｂ^_tは、逐次、物体領域蓄積部に記憶される。

［応答マップ生成部１１１］
応答マップ生成部１１１は、時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する。

図５は、応答マップ生成部の処理を表す説明図である。

図５によれば、応答マップＹは、特徴量抽出部１０によって抽出された特徴量Zに対し、ベースサンプルXを用いたカーネル化処理と、学習済みのパラメータαの積算処理とを実行することによって、応答マップＹを算出する。応答マップＹは、以下のように表される。
Ｙ＝Ｆ^-1（ｋ^^XZ○α^）
Ｆ^-1：逆フーリエ変換の関数
ｋ：ガウシアンカーネル
^：ベクトルのフーリエ変換
○：ベクトルの要素毎の積
X：ベースサンプル
Z：ＨＯＧ特徴量
α：学習済みのパラメータ

パラメータαは、後述する相関フィルタ学習部１５によって算出されたものであり、ＫＣＦ(Kernelized Correlation Filter)に基づくものである（例えば非特許文献４参照）。これは、例えば行列の巡回性、フーリエ変換及びカーネルトリックを用いたものである。
ベースサンプルXは、例えば時刻t−1で決定された矩形領域ｂ^_t-1の画像とすることができる。

フーリエ変換前のX,Z間のカーネルｋ^XZは、以下のようにガウシアンカーネルとして算出される。
ｋ^XZ＝exp（−1/σ²（||X||²＋||Z||²−２Ｆ^-1(Σ_cX^^* _c○Z^_c)））
下付きc：ＨＯＧ特徴量におけるチャネル成分
X_c：ＨＯＧ特徴量ベクトルＸのcチャネル成分
上付き*：複素共役
Σ_c：c（チャネル）についての総和（summation）

このように算出された応答マップＹは、図４の中心探索領域上の各位置における応答値となる。

尚、実装上、応答マップＹの生成の際に実行されるフーリエ変換及び逆フーリエ変換は、ＦＦＴ（Fast Fourier Transform）及びＩＦＦＴ（Inverse FFT）アルゴリズムを用いて高速に処理される。

［パーティクル生成部１２１］
＜１．パーティクルの定義＞
本発明によれば、時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けた、パーティクルｓ_t＝(ｂ_t,tkr_t)と定義する。
ｓ_t＝(ｂ_t,tkr_t)：パーティクル（状態）
ｂ_t＝(x_t, y_t, w_t, h_t)∈Ｒ⁴：矩形領域
tkr_t∈Ｎ
Ｎ：追跡器の数
これによって、各パーティクルで別々の追跡器を用いて追跡することができる。ｂ_t及びtrk_tはそれぞれ、別の方法でサンプリングした後、連結させて、１つのパーティクルｓ_tを生成する。

＜２．矩形領域ｂ_tのサンプリング＞
パーティクル生成部１２１は、応答マップＹ(x,y)の中から、M個の極大値ｐ₁〜ｐ_Mの集合を、大きいものから順（降順）に導出する。
ｐ＝(x,y)：応答マップＹの中の座標
これらM個の極大値の座標点の近辺の矩形領域には、追跡対象の物体が映っている可能性が高いと仮定する。

パーティクル生成部１２１は、これらの座標点の近辺にパーティクルが多く存在するようにサンプリングする。そのために、パーティクル生成部１２１は、応答マップＹの中で、最大の極大値から降順にM個の極大値ｐ₁〜ｐ_Mに対して、時刻tのN個の矩形領域ｂ_t ¹〜ｂ_t ^Nをサンプリングする。具体的には、以下のように、混合正規分布に従ってパーティクルをサンプリングする。
P(ｂ_t│ｐ₁,ｐ₂,・・・,ｐ_M)＝Σ_mπ_m Ｎ(ｂ_t;(ｐ_m,ｗ^_t-1,ｈ^_t-1),σ)
Ｎ：正規分布
Σ：分散共分散行列
σ：対角行列
これによって、以下のように表す。
diag(σ)=(w₁/r,h₁/r,0,0)
r：実数（r>0）
∀m,π_m＝1/Mとするのが、最も単純な方法であるが、各極大値の値に比例させてπ_mを変化させて設定してもよい。

パーティクル数Nのうち、j番目（j＝1〜N）のパーティクルs_t ^jについて、各パーティクルの重みを、1/Nに設定する。

図６は、本発明におけるパーティクル生成部の処理を表す第１の説明図である。

図６によれば、N個のパーティクルの矩形領域ｂ_t ¹〜ｂ_t ^Nが、M個の極大値ｐ₁〜ｐ_Mの周囲近辺にサンプリングされている。このように複数のパーティクルをサンプリングすることによって、ランダムな位置にサンプリングするよりも、追跡対象の物体に映る最適な位置に矩形領域ｂ_t ¹〜ｂ_t ^Nをサンプリングすることができる。

＜３．追跡器tkr _tの割り当て＞
パーティクル生成部１２１は、次に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成する。

図７は、本発明におけるパーティクル生成部の処理を表す第２の説明図である。

パーティクル生成部１２１における「所定の追跡器の候補」は、以下のものである。
現在時刻に任意に割り当てられたM個の現在追跡器tkr_t ¹〜tkr_t ^M、又は、
過去時刻に決定されたパーティクルｓ^₁〜ｓ^_t-1に基づく過去追跡器tkr^₁〜tkr^_t-1

過去追跡器も選択候補とした理由は、現在追跡器の追跡精度が低下した場合であっても、過去に選択された過去追跡器を用いることによって、追跡の精度の向上を期待したものである。

現在時刻tにおけるN個のパーティクルそれぞれに、現在追跡器又は過去追跡器の中から選択した１個の追跡器を割り当てる。ここで、追跡器は、任意の確率分布を用いて、２段階で選択される。
（Ａ）現在追跡器群又は過去追跡器群の選択
（Ｂ）追跡器の選択

（Ａ）現在追跡器群又は過去追跡器群の選択
最初に、確率分布として、例えばベルヌーイ分布を用いて、現在追跡器群又は過去追跡器群のいずれかから追跡器を選択するか、を決定する。
パーティクル生成部１２１は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定する。
μ：ハイパーパラメータ
ベルヌーイ分布によって出力される２値ｕ∈{0,1}が、平均μとなるように、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てられる。
Ｐ(u;μ)＝μ^u(１−μ)^1-u

μの設定は、例えば現在の追跡器のみを用いる場合、μ＝0に設定すればよい。
一方で、過去の追跡器のみを用いる場合、μ＝1に設定すればよい。
過去追跡器と現在追跡器との両方を混ぜて用いる場合、0＜μ＜1に設定すればよい。

（Ｂ）追跡器の選択
次に、パーティクル生成部１２１は、例えば一様分布や最適化分布を用いて、現在追跡器群又は過去追跡器群のそれぞれの中から、１個の追跡器を選択する。以下では、それぞれの場合に分けて説明する。
（Ｂ１）過去追跡器（u＝1）の場合
（Ｂ２）現在追跡器（u＝0）の場合

図８は、本発明における追跡器の選択処理を表す説明図である。

（Ｂ１）過去追跡器（u＝1）の場合
複数の過去追跡器tkr^₁〜tkr^_t-1の中から、確率分布Ｄsnapに従って選択される。
Ｄsnap＝Ｐ(tkr_t｜u＝１)
ここで、パーティクル生成部１２１は、複数の過去追跡器tkr^₁〜tkr^_t-1の中から一様分布又は最適化分布でいずれか1個の追跡器を選択する。
（Ｂ１ａ）一様分布
過去追跡器全てを、等確率Ｄsnap＝1/(t-1)で選択する（図８ａ参照）。
（Ｂ１ｂ）最適化分布
任意の指標を用いて過去追跡器に序列を付けて、Ｄsnapを算出する（図８ｂ参照）。
ｑ：求める確率分布
Ｃ＝(ｃ₁,ｃ₂,・・・)^Ｔ：ｑに対応する追跡器の信頼度列
Ｒ＝(ｒ₁,ｒ₂,・・・)^Ｔ：信頼度比列
目的関数は、L1正則化項を加えて、最適解として以下のように表す（例えば非特許文献６参照）。
max_qｑ^ＴＣ＋αｑ^ＴＲ＋β||ｑ||
＝max_qｑ^Ｔ(Ｃ＋αＲ）＋β||ｑ||
s.t. Σ_nｑ_n＝１
α：信頼度比の重要性を制御するパラメータ
β：スパース性を制御するパラメータ
L1正則化項によって、求めた分布が「疎」になるため、使用する追跡器の数を減少させることができる。これによって、少ない追跡器で、効率良く、追跡することができる。尚、信頼度比は、後述する追跡器記憶部１４によって記憶される。そして、信頼度比が高い追跡器は、その後、選択される確率が高くなるようにＤsnapが設定される。

（Ｂ２）現在追跡器（u＝0）の場合
M個の現在追跡器tkr_t ¹〜tkr_t ^Mの中から、一様分布を用いて1個の追跡器を選択する。その確率分布Ｄbranchは、例えば以下のように表される。
Ｄbranch＝Ｐ(tkr_t｜u＝0)＝1/M
現在追跡器全てを、等確率Ｄbranch＝1/Mで選択する（図８ｃ参照）。

尚、パーティクル生成部１２１における追跡器のパラメータ自体は、全て同じ（時刻tにおける1つの追跡器を複製したもの）である。その後、後述する相関フィルタ学習部１５によって、追跡器毎にパラメータが学習される。そして、追跡器の各パーティクルへの割り当ては、前述した追跡器tkr_tの割り当てに基づく。

＜４．パーティクルｓtに対する重みの割り当て＞
パーティクル生成部１２１は、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てる。
「重み」は、具体的には、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値である。

［位置決定部１３１］
位置決定部１３１は、パーティクル生成部１２１によって算出された「重み」が、最大となるパーティクルｓ^_tを決定する。そのパーティクルｓ^_tの矩形領域は、ｂ^_tと表す。
具体的には、重みが最大値となる位置は、パラボラフィッティングに基づくサブピクセル推定によって決定される（例えば非特許文献５参照）。これにより、ピクセル単位と比較して、細かな（正確な）位置座標値を決定することができる。

図９は、本発明における位置決定部の処理を表す説明図である。

時刻tにおける応答マップＹ_tの中で、重みが最大値となる（図９の●、正解位置を中心とする）パーティクルｓ^_tの矩形領域ｂ^_tを決定する。
ｗ^＝ｗ₁、 ｈ^＝ｈ₁
ｘ^＝ｉ^−ｗ^/2、 ｙ^＝ｊ^−ｈ^/2
（ｘ^，ｙ^）：時刻tに決定されたパーティクルｓ_tにおける矩形領域の左上頂点
ｗ^：時刻tに決定されたパーティクルｓ_tの矩形領域の横幅
ｈ^：時刻tに決定されたパーティクルｓ_tの矩形領域の縦幅（高さ）
（ｉ^，ｊ^）：時刻tに決定されたパーティクルｓ_tの矩形領域の中心
ｗ₁：初期フレームで決定されたパーティクルｓ_tの矩形領域の横幅
ｈ₁：初期フレームで決定されたパーティクルｓ_tの矩形領域の縦幅（高さ）
尚、ｗ₁及びｈ₁について、他の値として、例えば、時刻t−1で決定されたパーティクルの矩形領域の横幅及び縦幅を用いてもよい。

［追跡器記憶部１４］
追跡器記憶部１４は、時刻tにおけるパーティクルｓ^_t毎に、相関フィルタのパラメータα_tと、ベースサンプルｘ_tと、重みｃ_tと、信頼度比ｒ_tとをそれぞれ記憶する。
Ａ＝(α₁,α₂,・・・)^Ｔ
Ｘ＝(ｘ₁,ｘ₂,・・・)^Ｔ
Ｃ＝(ｃ₁,ｃ₂,・・・)^Ｔ
Ｒ＝(ｒ₁,ｒ₂,・・・)^Ｔ

［相関フィルタ学習部１５］
相関フィルタ学習部１５は、時刻tで決定されたパーティクルｓ^_tの矩形領域について、ＫＦＣのパラメータαを更新する（例えば非特許文献３参照）。その後、繰り返される応答マップ生成部１１１は、時刻t+1で、更新されたパラメータαによって応答マップＹを生成する。

図１０は、相関フィルタ学習部の処理を表す説明図である。

相関フィルタ学習部１５は、最初に、決定されたパーティクルｓ^_tの矩形領域ｂ^_tについて、ＨＯＧ特徴量Xを算出する。前述した応答マップ生成部１１と同様に算出したカーネルｋ^XZを用いて、以下のようにパラメータαを更新する。
α^＝ｙ^／(ｋ^^XZ＋λ)
ｙ：リッジ(Ridge)回帰の教師データ
λ：正則化項の係数
^：フーリエ変換

現在時刻tにおける追跡器tkr_t ¹, tkr_t ²,・・・, tkr_t ^M毎に、ＫＦＣのパラメータαを学習する。具体的には、全パーティクルの中をtkr_tの値ごとに分割し、各分割の中で最も重みが高いパーティクルｓ^_tの矩形領域ｂ^_tに基づいてパラメータαを更新する。

尚、追跡の信頼度が低下している場合、相関フィルタの学習によって追跡位置のずれが増大する可能性もある。これに対して、相関フィルタの学習を実行する頻度を、例えば数フレームに１回といった頻度にまで低下させることもできる。これにより、追跡位置のずれの増大を抑制することができる。

図１１は、本発明の物体追跡処理を表す具体的フローチャートである。

図１１によれば、図３の基本フローチャートに、具体的な構成要素が追加されたものである。以下では、図３と異なる、以下の構成要素のみを説明する。
（特徴量抽出部１０）：図３と同様
（応答マップ生成部１１１）：図３と同様
［追跡モード判定部１１２］
［追跡信頼度判定部１１３］
（パーティクル生成部１２１）：図３と同様
［状態予測部１２２］
［重み更新部１２３］
（位置決定部１３１）：図３と同様
［リサンプリング部１３２］
（追跡器記憶部１４）：図３と同様
（相関フィルタ学習部１５）：図３と同様

［追跡モード判定部１１２］
前提として、パーティクルフィルタモード又は通常モードを表す「追跡モード」を定義する。パーティクル生成部１２１は、パーティクルを生成した後、追跡モードを、パーティクルフィルタモードへ移行させる。また、パーティクル生成部１２１は、追跡モードがパーティクルフィルタモードである場合、実行されない。

追跡モード判定部１１２は、応答マップ生成部１１１の次段として機能する。
追跡モード判定部１１２は、追跡モードがパーティクルモードでなければ、追跡信頼度判定部１１３へ処理を移行する。
また、追跡モード判定部１１２は、追跡モードがパーティクルフィルタモードであっても、応答マップにおける加重分散varが所定閾値ε以下であれば、パーティクルフィルタモードを解除する。即ち、通常モードへ移行する。そして、追跡信頼度判定部１１３へ処理を移行する。
一方で、追跡モード判定部１１２は、追跡モードがパーティクルモードであって、且つ、応答マップにおける加重分散varが所定閾値εよりも大きい場合、後述する状態予測部１２２へ処理を移行する。
尚、追跡モード判定部１１２は、パーティクルフィルタモードへ移行してから一定時間経過後に、パーティクルフィルタモードを解除し、通常モードへ移行するものであってもよい。

＜追跡モードの判定＞
追跡モード判定部１１２は、パーティクルの収束度によって、追跡モードを判定する。具体的には、パーティクルの加重分散を用いる。n番目のパーティクルの状態をｓⁿとすると、加重平均は以下ように表される。
mean＝Σ_nｗⁿｓⁿ
矩形領域ｂと追跡器tkrとは、異なるものであるために、加重分散は、以下のように算出する。
var＝Σ_nｗⁿｄ(ｓⁿ,mean)^２
＝Σ_nｗⁿ(ｓⁿ−mean)^ＴＳ⁻¹(ｓⁿ−mean)
Ｓ：分散共分散行列
加重分散を用いることによって、各次元のスケールが正規化され、適切に収束度を測ることができる。尚、追跡モード判定部１１２について、加重分散を例として説明したが、それに代えて、若しくは合せて、マハラノビス距離、ユークリッド距離やコサイン距離等の指標を使用してもよい。

var≦εであれば、パーティクルが十分に収束したとし、パーティクルフィルタモードを解除する。追跡モードを通常モードへ移行する場合、以後、全パーティクルの中で最も重みが大きいパーティクルｓ^_tに対応する追跡器tkr^_tを用いて追跡する。

［追跡信頼度判定部１１３］
追跡信頼度判定部１１３は、時刻tの応答マップＹについて追跡信頼度が所定条件に基づいて低いか否かを判定する。
具体的には、時刻tの応答マップＹの最大値を追跡信頼度とし、所定条件として最大値が所定閾値未満である場合に、追跡信頼度が低いと判定する。

図１２は、本発明における追跡信頼度判定部の処理を表す説明図である。

前述したパーティクル生成部１２１は、追跡信頼度判定部１１３によって真と判定された場合にのみ機能する。即ち、パーティクル生成部１２１は追跡の信頼度が低下し、追跡に失敗する可能性が高まった時、実行される。例えば、追跡対象物体の遮蔽、回転や、変形、画像のブレや輝度変化等が生じた場合、次段で、パーティクルを生成し直すことができる。一方で、パーティクルが十分に収束していない場合には、現状の複数のパーティクルを用いて、追跡結果を安定的に出力することができる。

［状態予測部１２２］
状態予測部１２２は、パーティクル生成部１２１に続いて、又は、パーティクルフィルタモードが維持された追跡モード判定部１１２に続いて機能する。
状態予測部１２２は、時刻t-1の矩形領域ｂ_t-1 ¹〜ｂ_t-1 ^Nから、各パーティクルｓ_t ¹〜ｓ_t ^Nの矩形領域ｂ_t ¹〜ｂ_t ^Nへの遷移が、正規分布に基づくと仮定して、矩形領域ｂ_t ¹〜ｂ_t ^Nの位置を予測して遷移させる。

状態予測部１２２は、パーティクル生成部１２１と同様に、矩形領域ｂ_tと追跡器tkr_tとをそれぞれ、別々の方法でサンプリングする。

＜ｂ_tのサンプリング＞
ｂ^_t-1を平均ベクトルとした正規分布に従ってパーティクルを生成する。時刻t-1におけるパーティクルの矩形領域ｂ^_t-1から、時刻tにおけるパーティクルの矩形領域ｂ_tへの遷移は、正規分布に基づくランダムウォークを仮定し、次式のように予測される。
Ｐ(ｂ_t|ｂ^_t-1)＝Ｎ(ｂ_t;ｂ^_t-1，σ)
Ｐ：条件付き確率
Ｎ：正規分布
σ：対角行列
また、パーティクルの矩形領域の大きさを変化させない場合には、以下のように表される。
diag(Σ)＝［ｗ₁/r, ｈ₁/r, 0, 0］
ｗ₁：初期フレームにおける矩形領域の横幅
ｈ₁：初期フレームにおける矩形領域の縦幅（高さ）
r： 1≦r≦min(Lw, Lh)を満たす実数

＜追跡器tkr_tのサンプリング＞
追跡器tkr_tは、ベルヌーイ分布によって出力される２値ｕ∈{0,1}に基づいてサンプリングされる。
ｕ＝1の場合、一様分布又は最適化分布に従って、追跡器tkr_tをサンプリングする。
ｕ＝0の場合、試行回数tkr^_t-1に応じて成功確率1の二項分布に従って、追跡器tkr_tをサンプリングする（図８（ｄ）参照)。
Ｄbranch＝Ｂ(tkr^_t-1，1)

［重み更新部１２３］
重み更新部１２３は、状態予測部１２２の次段で機能する。
重み更新部１２３は、各パーティクルｓ_t ¹〜ｓ_t ^Nの重みを、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値であるとして更新する（図７下段参照）。

応答マップＹは、特徴量抽出の際のパラメータcellSizeに依存して大きさが変化する。cellSizeは、特徴量Zを抽出した際のパラメータの１つであり、設定されたcellのサイズとなる（例えば３ピクセル（画素））。
res(ｏ_t,ｂ_t)＝Ｙ（(ｘ_t-ｘ^_t-1)/cellsize＋ｗＹ，(ｙ_t-ｙ^_t-1)/cellsize＋ｈＹ）
ｗＹ：横の長さ
ｈＹ：縦の長さ
重みresは、全パーティクルの和が1になるように正規化し、応答マップ値となる。

以上のように得られた「重みres」は、矩形領域ｂ_tのみを用いて算出され、追跡器tkr_tを用いていない。このように、直接的に追跡器を評価しないことにより、最適な追跡器の指標をオペレータで設計する必要がなくなる。但し、結果として、間接的に追跡器を評価していることに相当する。

［リサンプリング部１３２］
リサンプリング部１３２は、位置決定部１３１に続いて機能する。
リサンプリング部１３２は、各パーティクルｓ_t ¹〜ｓ_t ^Nに割り当てられた重みを用いて、より大きい重みのパーティクルｓ_tほど、その周囲により多くのパーティクルが配置するように各矩形領域ｂ_t ¹〜ｂ_t ^Nをリサンプリングする。

これによって、重みが低くなるような矩形領域や追跡器は淘汰されていく。
具体的に、リサンプリング部１３２は、累積重み曲線を用いて乱数に基づいて、パーティクルの再配置・再構成を行うルーレット選択を用いることができる（例えば非特許文献７参照）。

以上、詳細に説明したように、本発明の物体追跡プログラム、装置及び方法によれば、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる。
即ち、複数の追跡器の中で、最適な追跡器を明示的に設定することなく、状態（物体位置）のパーティクル数を増やすことによって、追跡精度を向上させることができる。即ち、追跡器は、状態推定結果に従って間接的に推定される。

尚、本発明によれば、例えば、多数の人物が移動・滞留したり出入りしたりする場を監視する監視システムや、商店街や商業・サービス施設内における人物の入店、休憩、観戦・イベント参加や移動の状況を調査するためのマーケティング調査システム等、様々なアプリケーションに適用可能である。また、本発明は、ヒューマンコンピュータインタラクションや、ロボティクス等の技術分野についても、例えば、ロボット側の物体認識能力を大きく向上させることができる。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 物体追跡装置
１Ａ 通信インタフェース
１Ｂ 画像蓄積部
１Ｃ 記憶部
１Ｄ 制御部
１Ｅ アプリケーション
１０ 特徴量抽出部
１１１ 応答マップ生成部
１１２ 追跡モード判定部
１１３ 追跡信頼度判定部
１２１ パーティクル生成部
１２２ 状態予測部
１２３ 重み更新部
１３１ 位置決定部
１３２ リサンプリング部
１４ 追跡器記憶部
１５ 相関フィルタ学習部
２ カメラ

Claims (14)

1. 追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置に搭載されたコンピュータを機能させる物体追跡プログラムにおいて、
   時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
   時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
   時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
   前記重みが最大となるパーティクルｓ^_tを決定する位置決定手段と
   してコンピュータを機能させることを特徴とする物体追跡プログラム。
2. 前記パーティクル生成手段は、応答マップＹの中で、最大の極大値から降順にM個の極大値ｐ₁〜ｐ_Mに対して、混合正規分布によって矩形領域ｂ_t ¹〜ｂ_t ^Nをサンプリングする
   ようにコンピュータを機能させることを特徴とする請求項１に記載の物体追跡プログラム。
3. 前記パーティクル生成手段における前記所定の追跡器の候補は、
   現在時刻に任意に割り当てられたM個の現在追跡器tkr_t ¹〜tkr_t ^M、又は、
   過去時刻に決定されたパーティクルｓ^₁〜ｓ^_t-1に基づく過去追跡器tkr^₁〜tkr^_t-1
   であるようにコンピュータを機能させることを特徴とする請求項１又は２に記載の物体追跡プログラム。
4. 前記パーティクル生成手段は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定し、平均μとなるようにベルヌーイ分布によって出力される２値ｕ∈{0,1}に基づいて、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てるかを決定する
   ようにコンピュータを機能させることを特徴とする請求項３に記載の物体追跡プログラム。
5. 前記パーティクル生成手段は、
   前記過去追跡器を使用する場合、複数の過去追跡器の中から一様分布又は最適化分布でいずれか1個の追跡器を選択し、
   前記現在追跡器を使用する場合、M個の現在追跡器の中から一様分布でいずれか1個の追跡器を選択する
   ようにコンピュータを機能させることを特徴とする請求項３又は４に記載の物体追跡プログラム。
6. 前記パーティクル生成手段について、前記重みは、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値である
   ようにコンピュータを機能させることを特徴とする請求項１から５のいずれか１項に記載の物体追跡プログラム。
7. 前記パーティクル生成手段は、モードを、パーティクルフィルタモードへ移行させると共に、パーティクルフィルタモードである場合には機能しないものであり、
   前記応答マップ生成手段の次段で機能する追跡モード判定手段としてコンピュータを更に機能させ、
   前記追跡モード判定手段は、前記パーティクルフィルタモードである場合、前記応答マップにおける加重分散varが第１の所定閾値以下であれば、前記パーティクルフィルタモードを解除する
   ようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載の物体追跡プログラム。
8. 時刻tの応答マップＹについて追跡信頼度が所定条件に基づいて低いか否かを判定する追跡信頼度判定手段としてコンピュータを更に機能させ、
   前記パーティクル生成手段は、前記追跡信頼度判定手段によって真と判定された際に機能させる
   ことを特徴とする請求項７に記載の物体追跡プログラム。
9. 前記追跡信頼度判定手段は、時刻tの応答マップＹの最大値を追跡信頼度とし、前記所定条件として前記最大値が所定閾値未満である場合に、前記追跡信頼度が低いと判定する
   ようにコンピュータを機能させることを特徴とする請求項８に記載の物体追跡プログラム。
10. 前記パーティクル生成手段に続いて、又は、パーティクルフィルタモードが維持された前記追跡モード判定手段に続いて機能する状態予測手段を更に有し、
    前記状態予測手段は、時刻t-1の矩形領域ｂ_t-1 ¹〜ｂ_t-1 ^Nから、各パーティクルｓ_t ¹〜ｓ_t ^Nの矩形領域ｂ_t ¹〜ｂ_t ^Nへの遷移が、正規分布に基づくと仮定して、矩形領域ｂ_t ¹〜ｂ_t ^Nの位置を予測して遷移させる
    ようにコンピュータを機能させることを特徴とする請求項９に記載の物体追跡プログラム。
11. 前記状態予測手段と前記位置決定手段との間で機能する重み更新手段として更に機能させ、
    前記重み更新手段は、各パーティクルｓ_t ¹〜ｓ_t ^Nの重みを、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値であるとして更新する
    ようにコンピュータを機能させることを特徴とする請求項１０に記載の物体追跡プログラム。
12. 前記位置決定手段に続いて機能するリサンプリング手段として更に機能させ、
    前記リサンプリング手段は、各パーティクルｓ_t ¹〜ｓ_t ^Nに割り当てられた重みを用いて、より大きい重みのパーティクルｓ_tほど、その周囲により多くのパーティクルが配置するように各矩形領域ｂ_t ¹〜ｂ_t ^Nをリサンプリングする
    ようにコンピュータを機能させることを特徴とする請求項１から１１のいずれか１項に記載の物体追跡プログラム。
13. 追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す物体追跡装置において、
    時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
    時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
    時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
    前記重みが最大となるパーティクルｓ^_tを決定する位置決定手段と
    を有することを特徴とする物体追跡装置。
14. 追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置の物体追跡方法において、
    前記装置は、
    時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
    時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する第１のステップと、
    時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中からの任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てる第２のステップと、
    前記重みが最大となるパーティクルｓ^_tを決定する第３のステップと
    を実行することを特徴とする物体追跡方法。
    
    

Images