JP5746078B2 - 時間的再現確率推定装置、状態追跡装置、方法、及びプログラム - Google Patents

Description

本発明は、時間的再現確率推定装置、状態追跡装置、方法、及びプログラムに係り、特に、パーティクルフィルタの事前分布作成にメモリベース予測を組み込んだメモリベースパーティクルフィルタにより対象の追跡を高精度化するのに好適な時間的再現確率を推定する時間的再現確率推定装置、状態追跡装置、方法、及びプログラムに関するものである。

パーティクルフィルタの事前分布作成にメモリベース予測を組み込んだメモリベースパーティクルフィルタによる対象の追跡を行う技術が、例えば、非特許文献１、及び特許文献１等に記載されている。

パーティクルフィルタとは、時間と共に変化する追跡対象（以下、オブジェクトともいう）の状態を、時々刻々と推定するための手法である。パーティクルフィルタでは、追跡対象の状態の確率分布をパーティクルの分布で表現し、（１）現時刻における状態の事後確率分布を用いて次時刻における状態の事前確率分布を推定し、（２）推定された事前確率分布と、次時刻における実際の観測とを比較することで、事後確率分布を求める。次時刻以降、（１）及び（２）の処理を繰り返すことで、動的に変化する追跡対象の状態を逐次的に推定する。

このように、パーティクルフィルタとは、追跡対象の状態を表すパラメータの事前確率分布の予測と、事後確率分布の推定とを繰り返し行うことで、時々刻々変化するパラメータを推定するものである。このようなパーティクルフィルタは、しばしばオブジェクトの位置及び姿勢の追跡に利用される（例えば、上述の特許文献１、非特許文献１参照）。オブジェクトの位置及び姿勢追跡の場合、追跡対象の状態を表すパラメータは、位置及び姿勢を表すパラメータであり、事後確率分布は、位置及び姿勢のパラメータから推定される観測（例えば、画像）と、実際の観測（カメラ等により取得される画像）とを比較することによって得ることができる。

特許文献１においては、過去の時刻における観測対象の位置と姿勢を示す状態情報と、当該時刻において前記観測対象が前記状態情報の示す状態となる確率を示す時間的再現確率を対応付けるテーブルを記憶する履歴蓄積装置と、過去の前記状態情報および前記時間的再現確率に基づき、未来の前記観測対象の位置と姿勢を示す状態を複数のパーティクルにより表わす事前確率分布を作成する事前確率分布予測部と、外部の観測装置が測定する前記観測対象に関する観測情報を入力し、前記観測対象の基準設定値を前記事前確率分布が示す前記観測対象の状態に変更して、当該変更した基準設定値と前記観測情報とを照合してこの照合誤差に基づいて観測尤度を算出し、当該観測尤度に応じた重み付けを前記状態事前確率分布に行い事後確率分布を作成する事後確率分布推定部と、前記事後確率分布によって表わされる複数のパーティクルの重みを閾値処理することにより補間部分が検出された場合、過去の前記状態情報と前記事後確率分布に基づき、前記保管部分の前記状態情報を算出する欠損軌跡推定部と、前記事後確率分布が示す前記状態情報あるいは前記欠損軌跡推定部が算出する前記状態情報を前記履歴蓄積装置に更新して蓄積する履歴蓄積部と、を備えることを特徴とする状態推定装置により、速い動きで移動する追跡対象であっても、その激しい動きに対応した高精度な事前確率分布の作成を行うことを可能とする技術が記載されている。

また、非特許文献１においては、複雑なダイナミクスを持つ対象の追跡を可能にすることを目的として、パーティクルフィルタの事前分布作成にメモリベース予測を組み込んだメモリベースパーティクルフィルタと呼ばれる技術が記載されている。

このメモリベースパーティクルフィルタにおいてメモリベース予測を用いて事前分布を作成するメモリベース事前確率分布予測は、過去の時刻ｔにおける状態が将来の時刻Ｔ＋Δｔに再び現れる確率を時間軸上の分布として表した時間的再現確率によって、将来の状態を予測するものであり、追跡対象の過去の状態系列を状態履歴として蓄積し、過去の状態が再度出現する確率をモデル化し、これを用いて、過去の状態系列からのランダムサンプリングによって事前分布を生成する。

このメモリベース事前確率分布予測は、（１）過去の状態が予測対象の時刻に再び現れる確率を時間軸上の確率分布（時間的再現確率）としてモデル化、（２）この時間的再現確率に従った過去の時刻のサンプリング、（３）サンプリングされた時刻における状態推定値を用いた事前分布生成、の三つの段階から構成される。

メモリベースパーティクルフィルタにおいては、メモリベース事前確率分布予測により求めた時間的再現確率に従って、過去の時刻をサンプリングし、サンプリングされた時刻における状態推定値を参照し、参照された過去の状態推定値に不確定性を考慮した分布を重畳し、これらを混合することで事前分布（メモリベース事前分布）を取得し、取得したメモリベース事前分布から空間的なサンプリングをすることにより事前分布を表すパーティクルの集合を取得する。

このように、メモリベースパーティクルフィルタにおいては、従来のパーティクルフィルタが直前の状態近傍からの空間的なサンプリングにより行う事前分布予測を、時間的再現確率に従った過去からの時間なサンプリングを用いて実現している。

三上弾、大塚和弘、大和淳司、「メモリベースパーティクルフィルタ：状態履歴に基づく事前分布予測を用いた頑健な対象追跡」、電子情報通信学会論文誌Ｄ Ｖｏｌ.Ｊ９３−Ｄ Ｎｏ.８ ｐｐ.１３１３−１３２８

非特許文献１に記載のメモリベース事前確率分布予測は、激しい状態変化にも精度良く状態予測が可能な手法であるが、非特許文献１においては、メモリベース事前確率分布予測のキーポイントである時間的再現確率モデル化パラメータを、追跡対象である顔の位置と姿勢（状態）の変化のデータに基づいて、実験的に求めていた。

時間的再現確率は追跡対象に依存するため、非特許文献１で利用された時間的再現確率モデル化パラメータは、当該時間的再現確率のために利用した特定の追跡対象以外の対象に対しては、最適な時間的再現確率とはなっていない。

本発明は上記問題点に鑑みてなされたものであり、追跡対象（オブジェクト）のダイナミクスを反映した時間的再現確率モデル化パラメータを推定することを目的とする。

上記目的を達成するために本発明の時間的再現確率推定装置は、オブジェクトの状態を表わす状態情報が各時刻について蓄積された状態履歴情報に基づいて、各時刻ｉの状態について、前記時刻ｉより前の時刻ｊより後であって、前記時刻ｉのτ時刻後の状態と最も類似する状態となる時刻の前記時刻ｊからの経過時刻ｋを求め、前記時刻ｉの状態と前記時刻ｊの状態との類似度を用いて、前記τ時刻後と前記経過時刻ｋの各組み合わせにおいて状態が再現される度合いを表わす時間的再現確率テーブルを推定する時間的再現確率モデル化パラメータ推定手段と、前記時間的再現確率モデル化パラメータ推定手段によって推定された前記時間的再現確率テーブルを記憶する時間的再現確率モデル化パラメータ記憶手段と、前記状態履歴情報に前記状態情報が蓄積された各時刻ｔについて、現時刻Ｔのオブジェクトの状態と前記状態履歴情報に蓄積された前記時刻ｔの状態との類似度と、前記時間的再現確率テーブルにおける各経過時刻ｋの前記度合いとから求められる値を、時刻ｔ＋ｋの再現度合いに各々加算することにより、現時刻Ｔより前の各時刻の状態が、現時刻Ｔのτ時刻後のオブジェクトの状態として再現される確率を表わす時間的再現確率を推定する時間的再現確率推定手段と、を含む。

本発明の時間的再現確率推定装置によれば、時間的再現確率モデル化パラメータ推定手段が、オブジェクトの状態を表わす状態情報が各時刻について蓄積された状態履歴情報に基づいて、各時刻ｉの状態について、前記時刻ｉより前の時刻ｊより後であって、前記時刻ｉのτ時刻後の状態と最も類似する状態となる時刻の前記時刻ｊからの経過時刻ｋを求め、前記時刻ｉの状態と前記時刻ｊの状態との類似度を用いて、前記τ時刻後と前記経過時刻ｋの各組み合わせにおいて状態が再現される度合いを表わす時間的再現確率テーブルを推定し、時間的再現確率モデル化パラメータ記憶手段が、前記時間的再現確率モデル化パラメータ推定手段によって推定された前記時間的再現確率テーブルを記憶し、時間的再現確率推定手段が、前記状態履歴情報に前記状態情報が蓄積された各時刻ｔについて、現時刻Ｔのオブジェクトの状態と前記状態履歴情報に蓄積された前記時刻ｔの状態との類似度と、前記時間的再現確率テーブルにおける各経過時刻ｋの前記度合いとから求められる値を、時刻ｔ＋ｋの再現度合いに各々加算することにより、現時刻Ｔより前の各時刻の状態が、現時刻Ｔのτ時刻後のオブジェクトの状態として再現される確率を表わす時間的再現確率を推定する。

このようにして、本発明の時間的再現確率推定装置では、追跡対象の追跡中にオンラインで取得して蓄積した状態履歴に基づいて時々刻々と更新しており、追跡対象のダイナミクスを精度良く反映したダイナミクスモデルを得ることができる。

また、上記目的を達成するために発明の状態追跡装置は、前記時間的再現確率推定装置と、前記オブジェクトの状態を表わす前記状態情報を各時刻について蓄積した前記状態履歴情報を記憶した状態履歴蓄積手段と、現時刻よりτ時刻後の前記オブジェクトの状態の事前確率分布を予測する事前確率分布予測手段と、前記オブジェクトの観測を取得する取得手段と、前記事前確率分布予測手段によって予測された前記オブジェクトの状態の事前確率分布を表す複数のパーティクル各々が示す状態から推定される観測の、前記取得手段により取得された観測に対する尤もらしさを示す尤度各々と、前記事前確率分布とに基づいて、前記オブジェクトの状態の事後確率分布を推定する事後確率分布推定手段と、前記事後確率分布推定手段によって推定された前記オブジェクトの状態の事後確率分布に基づいて、前記オブジェクトの状態を推定して、前記推定した前記オブジェクトの状態を表わす前記状態情報を前記状態履歴蓄積手段に格納する状態推定手段と、を含み、前記事前確率分布予測手段は、前記時間的再現確率推定手段によって推定された前記時間的再現確率に従って得られる、現時刻のτ時刻後に再現される状態の確率分布に基づいて、現時刻よりτ時刻後の前記オブジェクトの状態の事前確率分布を予測する。

本発明の状態追跡装置によれば、状態履歴蓄積手段が、前記オブジェクトの状態を表わす前記状態情報を各時刻について蓄積した前記状態履歴情報を記憶し、事前確率分布予測手段が、現時刻よりτ時刻後の前記オブジェクトの状態の事前確率分布を予測し、取得手段が、前記オブジェクトの観測を取得し、事後確率分布推定手段が、前記事前確率分布予測手段によって予測された前記オブジェクトの状態の事前確率分布を表す複数のパーティクル各々が示す状態から推定される観測の、前記取得手段により取得された観測に対する尤もらしさを示す尤度各々と、前記事前確率分布とに基づいて、前記オブジェクトの状態の事後確率分布を推定し、状態推定手段が、前記事後確率分布推定手段によって推定された前記オブジェクトの状態の事後確率分布に基づいて、前記オブジェクトの状態を推定して、前記推定した前記オブジェクトの状態を表わす前記状態情報を前記状態履歴蓄積手段に格納し、前記事前確率分布予測手段は、前記時間的再現確率推定装置における前記時間的再現確率推定手段によって推定された前記時間的再現確率に従って得られる、現時刻のτ時刻後に再現される状態の確率分布に基づいて、現時刻よりτ時刻後の前記オブジェクトの状態の事前確率分布を予測する。

このように、追跡対象のダイナミクスを精度良く反映したダイナミクスモデルに基づき得られた時間的再現確率を用いて事前確率分布予測を行うことができるので、メモリベースパーティクルフィルタによる対象の追跡を高精度化することができる。

また、上記目的を達成するために発明の時間的再現確率推定方法は、オブジェクトの状態を表わす状態情報が各時刻について蓄積された状態履歴情報に基づいて、各時刻ｉの状態について、前記時刻ｉより前の時刻ｊより後であって、前記時刻ｉのτ時刻後の状態と最も類似する状態となる時刻の前記時刻ｊからの経過時刻ｋを求め、前記時刻ｉの状態と前記時刻ｊの状態との類似度を用いて、前記τ時刻後と前記経過時刻ｋの各組み合わせにおいて状態が再現される度合いを表わす時間的再現確率テーブルを推定する時間的再現確率モデル化パラメータ推定ステップと、前記時間的再現確率モデル化パラメータ推定ステップで推定された前記時間的再現確率テーブルを記憶する時間的再現確率モデル化パラメータ記憶ステップと、前記状態履歴情報に前記状態情報が蓄積された各時刻ｔについて、現時刻Ｔのオブジェクトの状態と前記状態履歴情報に蓄積された前記時刻ｔの状態との類似度と、前記時間的再現確率テーブルにおける各経過時刻ｋの前記度合いとから求められる値を、時刻ｔ＋ｋの再現度合いに各々加算することにより、現時刻Ｔより前の各時刻の状態が、現時刻Ｔのτ時刻後のオブジェクトの状態として再現される確率を表わす時間的再現確率を推定する時間的再現確率推定ステップと、を含む。

この時間的再現確率推定方法においても、前述の時間的再現確率推定装置と同様に作用して、時間的再現確率を生成して出力する際に、追跡対象の追跡中にオンラインで取得して蓄積した状態履歴に基づいて時々刻々と更新しており、追跡対象のダイナミクスを精度良く反映したダイナミクスモデルを得ることができる。

また、発明のプログラムは、コンピュータを、前記時間的再現確率推定装置における各手段、もしくは、前記状態追跡装置における各手段として機能させるためのプログラムである。

以上説明したように、本発明によれば、追跡対象のダイナミクスを精度良く反映したダイナミクスモデルを得ることができる、という効果が得られる。

本発明の実施の形態の状態追跡装置の機能的構成を示すブロック図である。 図１の状態追跡装置における追跡処理内容を示すフローチャートである。 図１の状態追跡装置における事後確認分布推定部の処理内容を示すフローチャートである。 図１の状態追跡装置における事前確認分布予測部の処理内容を示すフローチャートである。 図１の状態追跡装置におけるダイナミクスモデル化部で生成される時間的再現確率情報のテーブル構成を示す説明図である。 図１の状態追跡装置におけるダイナミクスモデル化部の処理内容を示すフローチャートである。 図１の状態追跡装置におけるダイナミクスモデル化部の他の処理内容を示すフローチャートである。 図１の状態追跡装置におけるダイナミクスモデル化部を構成する時間的再現率推定部の処理内容を示すフローチャートである。 図８の時間的再現率推定部の処理内容を補足する第１の説明図である。 図８の時間的再現率推定部の処理内容を補足する第２の説明図である。 図８の時間的再現率推定部の処理内容を補足する第３の説明図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１の実施の形態に係る状態追跡装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＣＰＵによる状態追跡処理を実行するためのプログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示す各処理部を含んだ構成で表すことができる。

状態追跡装置１０は、ダイナミクスモデル化部１、事前確率分布予測部２、事後確率分布推定部３、状態推定部４、状態履歴蓄積部５（図中「状態履歴５」とも記載する）、及び観測取得部６を含んで構成されている。

また、ダイナミクスモデル化部１は、時間的再現確率モデル化パラメータ推定部１ａ、時間的再現確率モデル化パラメータ記憶部１ｂ、及び時間的再現確率推定部１ｃを含んで構成されている。なお、ダイナミクスモデル化部１は本発明にかかる時間的再現確率推定装置に相当する。

このような構成からなる状態追跡装置１０は、前記非特許文献１に記載のメモリベースパーティクルフィルタにより、時間と共に変化する対象の状態を、時々刻々と推定して追跡する。

特に、状態追跡装置１０は、時間的再現確率モデル化パラメータ推定部１ａ、時間的再現確率モデル化パラメータ記憶部１ｂ、及び時間的再現確率推定部１ｃを含むダイナミクスモデル化部１により、メモリベースパーティクルフィルタにおける事前確率分布予測部２での事前確率分布予測に用いる時間的再現確率を、状態の追跡中にオンラインで逐次に状態履歴蓄積部５に蓄積された状態履歴に基づいて時間的再現確率を更新して、出力する。

すなわち、ダイナミクスモデル化部１は、時間的再現確率モデル化パラメータ推定部１ａにより、状態履歴蓄積部５に蓄積された状態履歴情報に基づいて、後述する時間的再現確率テーブルを更新し、時間的再現確率モデル化パラメータ記憶部１ｂにおいて、時間的再現確率モデル化パラメータ推定部１ａにより更新される時間的再現確率テーブル情報を記憶し、時間的再現確率推定部１ｃにより、時間的再現確率モデル化パラメータ記憶部１ｂにおいて記憶された時間的再現確率テーブルと状態履歴蓄積部５に蓄積された状態履歴情報に基づいて、事前確率分布予測部２での現在の事前確率分布予測に用いる時間的再現確率を推定して出力する。

状態追跡装置１０は、ダイナミクスモデル化部１から出力された時間的再現確率と状態履歴蓄積部５に時刻ｉ毎に蓄積された追跡対象の状態を表す状態履歴情報とに基づいて、事前確率分布予測部２において、追跡対象のτ時刻後の状態の事前確率分布を予測する。

観測取得部６は、追跡対象の状態を推定するための実際の観測を取得する。例えば、画像上の顔を追跡対象とする場合には、カメラで撮影された画像の各画素値を観測として取得する。

そして、事後確率分布予測部３において、事前確率分布予測部２により予測された事前確率分布と、この事前確率分布を表すパーティクルにより定まる状態の、観測取得部６から入力された現在の追跡対象の観測結果に対する尤度とに基づいて、追跡対象の状態の事後確率分布を推定する。

さらに、状態推定部４において、事後確率分布予測部３により推定された事後確率分布に基づいて状態推定値を推定し、状態履歴蓄積部５において、状態推定部４により推定された状態推定値を蓄積する。

以下、このような構成からなる状態追跡装置１０による処理を、図を用いて説明する。

まず、図２を用いて、状態追跡装置１０の追跡処理に係る全体処理の説明を行う。

ステップ２０２では、追跡対象の状態を示すパーティクルの事前確率分布を設定する。なお、本実施例では、追跡対象の状態を、追跡対象の動きに関する二次元画像内の並進、スケール、ｘｙｚの３軸周りの回転と、照明変動の係数との７次元で構成されるベクトルとして説明する。ただし、追跡対象の状態はこれに限るものではない。７次元のうちの１以上の状態をベクトルの要素としてもよいし、その他追跡対象の状態を表す特徴量をベクトルの要素として用いてもよい。

次のステップ２０４で、実際にカメラ等で撮影された画像（観測）を、観測取得部６を介して取得する。

次のステップ２０６では、テンプレート画像に、事前確率分布を表すパーティクルの状態に従った変形（平行移動及び回転）を加えて、テンプレートの観測（画像）を推定する。

そして、推定された観測と上記ステップ２０４で取得された実際の観測とを比較して尤度を求め、求めた尤度とパーティクルの（初期）状態が示す事前確率分布に基づいて、事後確率分布を推定する。

なお、このステップ２０６での処理は、事後確率分布推定部３の処理であり、以下、図３を用いて説明する。

事後確率分布推定部３は、事前確率分布予測部２により予測された事前確率分布と、観測尤度とに基づいて事後確率分布を推定する。ここで、観測尤度とは、事前確率分布を表すパーティクルにより定まる状態が、観測（現在のカメラ画像など）に対してどの程度尤もらしいかを表すものである。

図３に示すように、事後確率分布推定部３では、各パーティクルｉの状態ｘ（ｉ）（ｉ＝１〜Ｎ）について以下の処理を繰り返す。ただし、Ｎは予め定められたパーティクルの数である。

ステップ３０２では、パーティクルｉの状態ｘ（ｉ）により指定される、並進・回転のパラメータに基づいて、テンプレート画像を、並進・回転させた画像を生成する。すなわち、状態ｘ（ｉ）の要素となっている並進・回転のパラメータと同じように、テンプレート画像を並進・回転させる。

ステップ３０４では、ステップ３０２で生成された画像と、現在の入力画像とを比較し、尤度を求める。比較方法は特に指定しないが、ユークリッド距離の逆数などが利用可能である。

全てのｉについて処理が終わっていれば終了。そうでなければ、ｉを１インクリメントし、次のパーティクルｉの状態についての処理を繰り返す。

そして、ステップ３０６では、ステップ３０４で求めた全てのパーティクルの状態に対する尤度に基づいて、事後確率分布を推定する。

このようにして、事後確率分布推定部３による事後確率分布の推定が終了すると、図２におけるステップ２０８での状態推定値を求める処理を実行する。なお、本発明では、事後確率分布推定方法は特に問わない。

このステップ２０８での処理は状態推定部４の処理であり、この状態推定部４は、事後確率分布に基づいて状態推定値を求める。例えば、事後確率分布を表す各パーティクルの状態に対して、上記で各々求めた尤度による重みづけ平均を行って、状態推定値を求める。

次のステップ２１０では、ステップ２０８での状態推定部４の処理により求められた状態推定値を、状態履歴蓄積部５において蓄積する。

次のステップ２１２では、ダイナミクスモデル化部１の時間的再現確率モデル化パラメータ推定部１ａにより、状態履歴蓄積部５において蓄積された状態推定値に基づいて、時間的再現確率テーブルの推定及び更新が行われる。なお、このダイナミクスモデル化部１による処理の詳細は、図５〜図７を用いて後述する。

次のステップ２１４では、時間的再現確率推定部１ｃ及び事前確率分布予測部２の処理であり、時間的再現確率テーブル及び状態履歴蓄積部５において蓄積された状態推定値に基づいて時間的再現確率を推定すると共に、状態履歴蓄積部５において蓄積された状態推定値に基づいて、追跡対象のτ時刻後の状態の事前確率分布を予測する。なお、このステップ２１４での時間的再現確率推定部１ｃ及び事前確率分布予測部２の処理は、後述の図４を用いて説明する。

次のステップ２１６においては、追跡処理を終了するか否かを判定する。このステップ２１６での判定は、実際の観測として次フレームの画像が取得されているか否か、または、処理終了を指示する信号が入力されているか否か等により判定することができる。

ステップ２１６で肯定判定された場合には、処理を終了するが、追跡処理を終了しない場合には、ステップ２０４へ戻って、ステップ２０４〜２１４の処理を繰り返す。

なお、ステップ２１６で否定判定された後に、ステップ２０４へ移行した場合には、ステップ２０６の事後確率分布の推定に用いられる事前確率分布は、上記ステップ２０２の初期設定された事前確率分布ではなく、ステップ２１４で前時刻に予測された事前確率分布を用いる。

次に、図４を参照して、ステップ２１４での事前確率分布予測部２の処理について説明する。

事前確率分布予測部２は、状態履歴蓄積部５に蓄積された状態履歴情報と、ダイナミクスモデル化部１により推定された時間的再現確率に基づいて、事前確率分布を表わすパーティクルの集合を取得することにより、事前確率分布を予測する。

パーティクルを識別する変数ｉ＝１〜Ｎについて以下の処理を繰り返す。なお、Ｎは、予め定められたパーティクルの数である。

ステップ４０２では、対象となる１つのパーティクルｉに関して、ダイナミクスモデル化部１の時間的再現確率推定部１ｃによって、τ時刻後の状態についての各時刻の時間的再現確率を推定する。

なお、この時間的再現確率は、１次元の時間軸上に定義される関数である。時間的再現確率は、現在の状態と過去の各時刻の状態との類似度と、何時刻将来の状態を予測しているかと、時間的再現確率モデル化パラメータに基づいて推定される。

このステップ４０２での時間的再現確率推定部１ｃの処理は、後述の図８を用いて説明する。

次のステップ４０４では、時間的再現確率に従ったランダムサンプリングによって、現在よりτ時刻後に再現される状態を持つ過去の時刻の何れかを決定する。以降の説明の都合上、ここで決定された時刻をｊとする。

次のステップ４０６では、時刻ｊでの状態履歴蓄積部５に蓄積された状態履歴情報における状態ｘ（ｊ）を参照し、不確定性を考慮したノイズ成分を付加する。

なお、このノイズ成分は一般に、分散σ、平均０の正規分布に基づく乱数などが用いられる。分散σは予め定めておくか、あるいは、状態履歴として蓄積された過去の状態に基づいて定めることもできる。対象の移動速度によって過去の類似の状態を参照して決定することや、過去の状態をいくつかの期間にわけた中から１期間を選んで求めること等も考えられる。

以上の処理が、全てのｉ（パーティクル）について終わっていれば終了し、そうでなければ、ｉを１インクリメントし、次のパーティクルｉに対するステップ４０２からの処理を繰り返す。これにより、追跡対象のτ時刻後の状態の事前確率分布を表す複数のパーティクルが得られる。

次に、図５〜図８を用いて、図１における時間的再現確率モデル化パラメータ推定部１ａ、時間的再現確率モデル化パラメータ記憶部１ｂ、及び時間的再現確率推定部１ｃを含むダイナミクスモデル化部１の処理内容について説明する。

時間的再現確率モデル化パラメータ推定部１ａでは、状態履歴蓄積部５から状態履歴情報を読み込み、状態履歴情報に基づいて、時間的再現確率をモデル化するためのパラメータとして、時間的再現確率テーブルの各要素を推定する。そして、推定結果を、時間的再現確率モデル化パラメータ記憶部１ｂに記録する。

図５に示すように、時間的再現確率モデル化パラメータ記憶部１ｂでは、時間的再現確率テーブル１ｄが記憶され、予測時間幅がτの場合に、ある時刻ｉと類似した過去の状態の、ｋ時刻先の状態が、時刻ｉのτ時刻先の状態と最も類似する度合いが記録されている。

上記図５の例では、１時刻先（τ＝１）を予測する場合、１時刻先（ｋ＝１）が最も類似する度合いが「１０」、２時刻先（ｋ＝２）が最も類似する度合いが「５」、そして、Ｎ時刻先（ｋ＝Ｎ）が最も類似する度合いが「２」であったことを示している。

同様に、τ＝２の場合には、ｋ＝５が「５」、ｋ＝２が「７」、ｋ＝Ｎが「３」で、また、τ＝３の場合には、ｋ＝１が「３」、ｋ＝２が「６」、ｋ＝Ｎが「３」となっている。以降、c（τ,ｋ）は、τ時刻先を予測した場合に、過去の類似した状態のｋ時刻後が最も類似する回数を表すものとする。

なお、「ｃ’（τ，ｋ）＝ｃ（τ，ｋ）／Σ_ｋ｛ｃ（τ，ｋ）｝」により、確率として表現しても構わないが、以降の説明では、時間的再現確率テーブル１ｄに、ｃ（τ，ｋ）が記憶されているものとして説明を行う。

時間的再現確率モデル化パラメータ推定部１ａによる時間的再現確率テーブルを推定する処理としては、本例では第１，第２の２つの手法を用いる。

第１の手法では、時間的再現確率モデル化パラメータ推定部１ａにおいて、まず、第１の時刻ｉにおける追跡対象の状態を示す状態情報と最も類似する状態情報が現れる、第１の時刻ｉより過去の第２の時刻ｊを求めると共に、第１の時刻ｉのτ時刻だけ将来における状態情報と最も類似する状態情報が現れるのが第２の時刻ｊから何時刻後であるかを求め、第２の時刻ｊからの経過時刻をｋとし、ｃ（τ，ｋ）に１を加算する。ｋは、第１の時刻ｉのτ時刻だけ将来における状態情報と、時刻ｊからｊ＋Ｍまでの中で最も類似する状態が表れる時刻とする。Ｍは予め定めた値とする。

次に、この処理を、状態履歴蓄積部５に蓄積された追跡対象の状態履歴情報の全ての時刻ｉに対して繰り返して、τ時刻に対して経過時刻ｋが求められた回数を計数する。

さらに、経過時刻ｋの回数の計数に至るまでの処理を、τ時刻を変化させて繰り返して、各経過時刻ｋの回数を、τ時刻毎に取得する。

そして、時間的再現確率モデル化パラメータ記憶部１ｂにおいて、時間的再現確率モデル化パラメータ推定部１ａにより取得された各経過時刻ｋの回数を、τ時刻毎に対応付けた上記図５に例示する構成の時間的再現確率テーブル１ｄを生成して記憶する。

次に、この第１の手法の説明に関して、図６を用いて、時間的再現確率モデル化パラメータ推定部１ａの処理を説明する。

時間的再現確率モデル化パラメータ推定部１ａは、状態履歴蓄積部５に蓄積された状態履歴情報に基づいて、時間的再現確率モデル化パラメータを推定し、時間的再現確率モデル化パラメータ記憶部１ｂを介して記録する。

図６の説明では、以下の変数を説明に用いる。

τ：何時刻先の状態を予測するかを表すパラメータ

ｉ，ｊ：時刻を表すためのインデックス
ｘ（ｉ）：時刻ｉにおける状態

τ＝１（すなわち、１時刻だけ将来）の予測から、τ＝２，・・・，Ｎについて、以下の処理を行う。ここで、Ｎは、何時刻先の状態まで予測するかの最大値であり、予め定めておく。ただし、長期先の予測は一般的に極めて困難であり、Ｎ＝１０程度で打ち切り、Ｎ＞１０については、全て同じ時間的再現確率モデル化パラメータを利用することも可能である。

履歴中の時刻ｉ＝０，・・・，Iについて、以下のステップ６０２，６０４，６０６の処理を行う。ただし、「I」は状態履歴蓄積部５に蓄積されている状態履歴情報の最大時刻である。

ステップ６０２では、時刻ｉの状態と最も類似する状態履歴を、過去の履歴ｊ＝０，・・・，ｉ−Ｋから検索する。ただし、Ｋは直近のデータを検索対象から除外するためのパラメータであり、予め定めておく。

なお、検索する対象として、当該時刻の状態のみで比較しても構わないし、過去のｎ時刻分の状態情報の時系列を用いた検索をしても構わない。すなわち、時刻ｉの状態と、時刻ｊの状態との類似度Ｓｉｍ（ｉ，ｊ）は、以下の（１）式などにより表されるものとする。

以降の説明の都合上、ステップ６０２で検索された最も類似した時刻を「Ｊ」とする。

ステップ６０４では、時刻ｉのτ時刻将来の状態（ｘ（ｉ＋τ））と最も類似する状態が現れるのが、Ｊの何時刻後であるか調べる。ただし、調べる対象はＪの０時刻後からＭ時刻後までの範囲とする。Ｍは２Ｎ程度が良いと考えられる。ただし必ずしも「２Ｎ」である必要はなく、あまり大きくならなければ良い。以降の説明の都合上、ステップ６０４の処理結果を、「Ｊ’」とする。

ステップ６０６では、時間的再現確率テーブル１ｄのｃ（τ，Ｊ’）をカウントアップして１つ大きくし、時間的再現確率テーブル１ｄを更新する。

最終時刻（ｉ＝I）まで終了しているか判定を行い、終了していなければ、ｉを１インクリメントして、次時刻ｉに対してステップ６０２，６０４，６０６の処理を繰り返す。

最終時刻（ｉ＝I）まで終了していれば、予め定められた全てのτについて処理が行われているか判定を行い、終了していなければ、τを１インクリメントして、次のτについて、履歴中の時刻ｉ＝０，・・・，Iについてのステップ６０２，６０４，６０６の処理を繰り返す。

第２の手法では、時間的再現確率モデル化パラメータ推定部１ａにおいて、まず、第１の時刻ｉにおける追跡対象の状態を示す状態情報と、第１の時刻ｉより過去である第２の時刻ｊにおける追跡対象の状態を示す状態情報との類似度を求めると共に、第１の時刻ｉのτ時刻後における状態情報と最も類似する状態情報が第２の時刻ｊから何時刻後に現れるかを求め、第２の時刻ｊからの経過時刻をｋとし、ｃ（τ，ｋ）に１を加算する。ｋは、第１の時刻ｉのτ時刻だけ将来における状態情報と、時刻ｊからｊ＋Ｍまでの中で最も類似する状態が表れる時刻とする。Ｍは予め定めた値とする。

次に、この処理を、状態履歴蓄積部５に蓄積された追跡対象の状態履歴情報の全ての時刻ｉ，ｊの全ての組み合わせに対して繰り返して、τ時刻に対する各経過時刻ｋのｃ（τ，ｋ）を求める。

さらに、経過時刻ｋのｃ（τ，ｋ）を求める各処理を、τ時刻を変化させて繰り返して、各経過時刻ｋのカウントを、τ時刻毎に取得する。

そして、時間的再現確率モデル化パラメータ記憶部１ｂにおいて、時間的再現確率モデル化パラメータ推定部１ａにより取得された各経過時刻ｋのカウントを、τ時刻毎に対応付けた上記図５に例示する構成の時間的再現確率テーブル１ｄを生成して記憶する。

次に、この第２の手法の説明に関して、図７を用いて、時間的再現確率推定部１ａの処理を説明する。

図７の説明においても、図６と同様に、以下の変数を説明に用いる。

τ：何時刻先の状態を予測するかを表すパラメータ
ｉ，ｊ：時刻を表すためのインデックス
ｘ（ｉ）：時刻ｉにおける状態

そして、図６と同様に、τ＝１（すなわち、１時刻だけ将来）の予測から、τ＝２，・・・，Ｎについて、以下の処理を行う。ここで、Ｎは、何時刻先の状態まで予測するかの最大値であり、予め定めておく。ただし、長期先の予測は一般的に極めて困難であり、Ｎ＝１０程度で打ち切り、Ｎ＞１０については、全て同じ時間的再現確率モデル化パラメータを利用することも可能である。

履歴中の時刻ｉ＝０，・・・，Iについて、以下の処理を繰り返し行う。ただし、「I」は状態履歴蓄積部５に蓄積されている状態履歴情報の最大時刻である。

履歴中の時刻ｊ＝０，・・・，ｉ−Ｋについて、以下のステップ７０２，７０４，７０６の処理を行う。ただし、「Ｋ」は直近のデータを検索対象から除外するためのパラメータであり、予め定めておく。

ステップ７０２では、時刻ｉの状態と、時刻ｊの状態との類似度を求める。ここで、２つの時刻における状態は、当該時刻の状態のみで比較しても構わないし、過去のｎ時刻分の情報を用いた検索をしても構わない。

すなわち、時刻ｉの状態と、時刻ｊの状態との類似度は、上記（１）式に従って計算される。

ステップ７０４では、時刻ｉのτ時刻後の状態（ｘ（ｉ＋τ））と最も類似する状態が、時刻ｊの何時刻後に現れるか調べ、その時刻を「Ｊ」とする。

ステップ７０６では、時間的再現確率テーブル１ｄを、「ｃ（τ，Ｊ）←ｃ（τ，Ｊ）＋Ｓｉｍ（ｉ，ｊ）」により更新する。

設定された全てのｊについて行ったか否かを判定し、行われていなければ、ｊを１インクリメントして、次時刻ｊについてステップ７０２，７０４，７０６の処理を繰り返す。

全てのｊについて行っていれば、設定された全てのｉについて行ったか否かを判定し、行われていなければ、ｉを１インクリメントして、次時刻ｉと各時刻ｊの組み合わせについてステップ７０２，７０４，７０６の処理を繰り返す。

設定された全てのｉについて行っていれば、設定された全てのτについて行ったか否かを判定し、行われていなければ、τを１インクリメントして、次のτと各時刻ｉと各時刻ｊとの組み合わせについてステップ７０２，７０４，７０６の処理を繰り返す。

次に、図８〜図１１を用いて、時間的再現確率推定部１ｃの処理について説明する。

時間的再現確率推定部１ｃでは、時間的再現確率モデル化パラメータ記憶部１ｂで記憶された、時間的再現確率テーブル１ｄと、状態履歴蓄積部５に蓄積された過去の状態履歴情報に基づいて、τ時刻後の事前確率分布予測に適した時間的再現確率の推定を行う。なお、τの値は、例えば、追跡処理のモードに応じて定められる。

図９に示すように、時間的再現確率推定部１ｃにおける時間的再現確率の推定の基本的な考え方は、現時刻Ｔの状態から時刻Ｔ＋τの状態の事前分布を予測する際に、「過去の状態が再び現れる確率」に基づいた予測を行うものである。

図８の処理では、過去の時刻が再現する確率を求めている。すなわち、図１０の下側に示すように、過去の時間軸上に、定義される確率分布を求めることとなる。

ここでは、図５の時間的再現確率記録テーブル１ｄにより定まる、「類似していた場合に、その後のどの時刻が類似するかの度合い」を用いる。例えば、図５の時間的再現確率記録テーブル１ｄでは、Ｎ時刻先までの情報が生成されており、図１１の下側において矢印部分で示すように、ｔからｔ＋Ｎまで、類似度によって当該度合いを重み付けしながら、各時刻ｔの時間的再現確率に足し合わせていく。

図８に示すように、対象のパーティクルについて、現在時刻をＴとして、時刻「ｔ＝１」から「ｔ＝Ｔ−１」全てについて以下のステップ８０２，８０４の処理を繰り返す。

ステップ８０２では、対象のパーティクルの現在の状態ｘ（Ｔ）と、状態推定値の履歴ｘ（ｔ）との類似度を調べる。ただし、複数時刻分の状態の時系列を考慮した類似度を求めても良い。

ステップ８０４では、時刻ｔからｔ＋Ｎについて、各時刻ｔの時間的再現確率を、ｃ（τ，ｎ）×類似度だけ大きくする。ただし時間的再現確率は初期状態で全て０となっているものとする。また、ｎは、ｔからの時間幅を表すものとする。

ステップ８０６では、各時刻の時間的再現確率の総和が１となるように正規化を行う。これによって、上記ステップ４０２で、対象のパーティクルのτ時刻後の状態についての時間的再現確率が得られる。

以上、各図を用いて説明したように、本例の状態追跡装置１０は、本発明に係る時間的再現確率推定装置としてのダイナミクスモデル化部１を備えており、ダイナミクスモデル化部１において、時間と共に変化する追跡対象の状態を推定するためのパーティクルフィルタの事前確率分布予測にメモリベース予測を用いたメモリベースパーティクルフィルタにおける事前確率分布予測に用いる時間的再現確率を生成して出力する。

その際、ダイナミクスモデル化部１は、時間的再現確率モデル化パラメータ推定部１ａ、時間的再現確率モデル化パラメータ記憶部１ｂ、及び時間的再現確率推定部１ｃを備えており、上記のようにして、時間的再現確率を生成して出力する。

これにより、時間と共に変化する追跡対象の状態を推定するためのパーティクルフィルタの事前確率分布予測にメモリベース予測を用いたメモリベースパーティクルフィルタにおける事前確率分布予測に用いる時間的再現確率を生成して出力する際に、追跡対象の追跡中にオンラインで取得して蓄積した状態履歴に基づいて時間的再現確率モデル化パラメータを時々刻々と更新することができ、追跡対象のダイナミクスを精度良く反映したダイナミクスモデルを得ることができる。

そして、このようなダイナミクスモデル化部１を備えた本例の対象追跡装置１０では、追跡対象のダイナミクスを精度良く反映したダイナミクスモデルに基づき得られた時間的再現確率を用いて事前確率分布予測を行うことができるので、メモリベースパーティクルフィルタによる対象の追跡を高精度化することでできる。

なお、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、本実施の形態では、対象追跡装置１０にダイナミクスモデル化部１を設けて、対象追跡装置１０とダイナミクスモデル化部１の各々を同一のコンピュータで実現する場合について説明したが、個々のコンピュータで構成するようにしてもよい。

また、上述の状態追跡装置１０は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本例においては、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

なお、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

このように、本発明を実施する形態例を、図面を参照して詳述してきたが、具体的な構成はこの実施の形態例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ ダイナミクスモデル化部
１ａ 時間的再現確率モデル化パラメータ推定部
１ｂ 時間的再現確率モデル化パラメータ記憶部
１ｃ 時間的再現確率推定部
１ｄ 時間的再現確率テーブル
２ 事前確率分布予測部
３ 事後確率分布推定部
４ 状態推定部
５ 状態履歴蓄積部
６ 観測取得部
１０ 状態追跡装置

Claims (4)

1. オブジェクトの状態を表わす状態情報が各時刻について蓄積された状態履歴情報に基づいて、各時刻ｉの状態について、前記時刻ｉより前の時刻ｊより後であって、前記時刻ｉのτ時刻後の状態と最も類似する状態となる時刻の前記時刻ｊからの経過時刻ｋを求め、前記時刻ｉの状態と前記時刻ｊの状態との類似度を用いて、前記τ時刻後と前記経過時刻ｋの各組み合わせにおいて状態が再現される度合いを表わす時間的再現確率テーブルを推定する時間的再現確率モデル化パラメータ推定手段と、
   前記時間的再現確率モデル化パラメータ推定手段によって推定された前記時間的再現確率テーブルを記憶する時間的再現確率モデル化パラメータ記憶手段と、
   前記状態履歴情報に前記状態情報が蓄積された各時刻ｔについて、現時刻Ｔのオブジェクトの状態と前記状態履歴情報に蓄積された前記時刻ｔの状態との類似度と、前記時間的再現確率テーブルにおける各経過時刻ｋの前記度合いとから求められる値を、時刻ｔ＋ｋの再現度合いに各々加算することにより、現時刻Ｔより前の各時刻の状態が、現時刻Ｔのτ時刻後のオブジェクトの状態として再現される確率を表わす時間的再現確率を推定する時間的再現確率推定手段と、
   を含む時間的再現確率推定装置。
2. 請求項１記載の時間的再現確率推定装置と、
   前記オブジェクトの状態を表わす前記状態情報を各時刻について蓄積した前記状態履歴情報を記憶した状態履歴蓄積手段と、
   現時刻よりτ時刻後の前記オブジェクトの状態の事前確率分布を予測する事前確率分布予測手段と、
   前記オブジェクトの観測を取得する取得手段と、
   前記事前確率分布予測手段によって予測された前記オブジェクトの状態の事前確率分布を表す複数のパーティクル各々が示す状態から推定される観測の、前記取得手段により取得された観測に対する尤もらしさを示す尤度各々と、前記事前確率分布とに基づいて、前記オブジェクトの状態の事後確率分布を推定する事後確率分布推定手段と、
   前記事後確率分布推定手段によって推定された前記オブジェクトの状態の事後確率分布に基づいて、前記オブジェクトの状態を推定して、前記推定した前記オブジェクトの状態を表わす前記状態情報を前記状態履歴蓄積手段に格納する状態推定手段と、
   を含み、
   前記事前確率分布予測手段は、
   前記時間的再現確率推定手段によって推定された前記時間的再現確率に従って得られる、現時刻のτ時刻後に再現される状態の確率分布に基づいて、現時刻よりτ時刻後の前記オブジェクトの状態の事前確率分布を予測する状態追跡装置。
3. オブジェクトの状態を表わす状態情報が各時刻について蓄積された状態履歴情報に基づいて、各時刻ｉの状態について、前記時刻ｉより前の時刻ｊより後であって、前記時刻ｉのτ時刻後の状態と最も類似する状態となる時刻の前記時刻ｊからの経過時刻ｋを求め、前記時刻ｉの状態と前記時刻ｊの状態との類似度を用いて、前記τ時刻後と前記経過時刻ｋの各組み合わせにおいて状態が再現される度合いを表わす時間的再現確率テーブルを推定する時間的再現確率モデル化パラメータ推定ステップと、
   前記時間的再現確率モデル化パラメータ推定ステップで推定された前記時間的再現確率テーブルを記憶する時間的再現確率モデル化パラメータ記憶ステップと、
   前記状態履歴情報に前記状態情報が蓄積された各時刻ｔについて、現時刻Ｔのオブジェクトの状態と前記状態履歴情報に蓄積された前記時刻ｔの状態との類似度と、前記時間的再現確率テーブルにおける各経過時刻ｋの前記度合いとから求められる値を、時刻ｔ＋ｋの再現度合いに各々加算することにより、現時刻Ｔより前の各時刻の状態が、現時刻Ｔのτ時刻後のオブジェクトの状態として再現される確率を表わす時間的再現確率を推定する時間的再現確率推定ステップと、
   を含む時間的再現確率推定方法。
4. コンピュータを、請求項１に記載の時間的再現確率推定装置における各手段、もしくは、請求項２に記載の状態追跡装置における各手段として機能させるためのプログラム。