JP4582174B2 - 追跡処理装置、追跡処理方法、プログラム - Google Patents

Description

本発明は、特定の物体を対象として追跡を行う追跡処理装置と、その方法に関する。また、このような追跡処理装置が実行するプログラムに関する。

特定の物体の動きを追跡するための追跡処理の各種の手法、アルゴリズムが知られている。例えば非特許文献１には、ICondensationといわれる追跡処理の手法が記載されている。

M. Isard and A. Blake. "ICondensation: Unifying low-level and high-level tracking in a stochastic framework". In Proc. of 5th European Conf. Computer Vision (ECCV), vol.1, pp.893-908, 1998 特開２００７−３３３６９０号公報

本願発明としては、追跡処理に関して、これまでに提案されている手法よりも精度、ロバスト性などが向上されるようにして、よりも高性能なものを得ることをその課題とする。

そこで本発明は上記した課題を考慮して、追跡処理装置として次のように構成する。
つまり、前時刻の主状態変数確率分布情報に基づいて第１の現時刻の状態変数サンプル候補を生成する第１の状態変数サンプル候補生成手段と、それぞれが追跡対象に関連した所定の検出対象についての検出を行う、複数の検出手段と、上記複数の検出手段により得られる検出情報に基づいて、現時刻の副状態変数確率分布情報を生成する副情報生成手段と、上記現時刻の副状態変数確率分布情報に基づいて第２の現時刻の状態変数サンプル候補を生成する第２の状態変数サンプル候補生成手段と、上記第１の現時刻の状態変数サンプル候補と、上記第２の現時刻の状態変数サンプル候補とについて、予め設定された所定の選択比率に応じてランダムに選択して状態変数サンプルとする、状態変数サンプル取得手段と、上記状態変数サンプルと現時刻の観測値とに基づいて求めた尤度に基づき、推定結果として、現時刻の主状態変数確率分布情報を生成する、推定結果生成手段と、を備え、上記副情報生成手段は、上記複数の検出手段により得られる複数の検出情報に基づいた混合分布から成る現時刻の副状態変数確率分布情報を得、上記検出手段の検出情報についての信頼度に基づいて、上記混合分布における複数の検出情報に対応する分布の混合比を変更するとともに、上記複数の検出手段により得られる複数の検出情報ごとに確率分布化することにより、複数の検出情報ごとに応じた複数の現時刻の副状態変数確率分布情報を得、上記状態変数サンプル取得手段は、上記第１の現時刻の状態変数サンプル候補と、上記複数の現時刻の副状態変数確率分布情報に応じた複数の第２の現時刻の状態変数サンプル候補とについて、予め設定された所定の選択比率に応じてランダムに選択して状態変数サンプルとするとともに、上記検出手段の検出情報についての信頼度に基づいて、上記複数の第２の現時刻の状態変数サンプル候補の間での上記選択比率を変更する、こととした。

上記構成では、追跡処理として、前時刻の主状態変数確率分布情報と現時刻の副状態変数確率分布情報とを統合して、追跡対象についての推定結果（現時刻の主状態変数確率分布情報）を得るものとされたうえで、現時刻の副状態変数確率分布情報の生成にあたっては、複数の検出情報を導入するものとしている。これにより、単一の検出情報のみにより現時刻の副状態変数確率分布情報を生成する場合と比較すれば、現時刻の副状態変数確率分布情報が有する精度は高められる。

これにより本発明は、追跡処理の推定結果について、より高い精度、ロバスト性が与えられるものであり、結果、より優れた性能の追跡処理を行えることになる。

図１のブロック図は、本願発明を実施するための最良の形態（以下、実施形態という）の前提となる追跡処理のシステム(追跡システム)の構成例を示している。この追跡処理システムは、非特許文献１に記載される、ICondensation(アイコンデンセーション法)といわれる追跡アルゴリズムに基づいている。

図１の追跡システムは、統合追跡処理部１と副状態変数分布出力部２を有する。
統合追跡処理部１は、基本的な動作として、時刻t（現時刻）における観測値(t)と、時刻ｔ-1(前時刻)における状態変数分布（t-1）（前時刻の主状態変数確率分布情報）とに基づいて、Condensation(コンデンセーション法)の追跡アルゴリズムに従った追跡処理により、推定結果として時刻ｔにおける状態変数分布（t） （現時刻の主状態変数確率分布情報）を得ることができる。ここで、状態変数分布とは、状態変数についての確率分布をいう。

また、副状態変数分布出力部２は、上記統合追跡処理部１側の推定結果である状態変数分布（t）と関連する所定の対象について推定した、時刻ｔにおける状態変数分布である、副状態変数分布(t)(現時刻の副状態変数確率分布情報)を生成して出力する。

一般に、Condensationに基づく追跡処理が可能な統合追跡処理部１から成るシステムと、副状態変数分布出力部２として実際に適用されるシステムとは、それぞれ独立して、同じ対象についての状態変数分布(t)を得ることができる。しかし、ICondensationでは、Condensationに基づく追跡処理を主体として、Condensationに基づいて得られる時刻tの状態変数分布と、他のシステムにより得られる時刻tの状態変数分布とを統合することにより、最終的な処理結果である状態変数分布(t)を求める。つまり、図１との対応では、統合追跡処理部１が、Condensationに基づく追跡処理により内部にて求めたとする状態変数分布(t)と、副状態変数分布出力部２にて得られる副状態変数分布(t)とを統合することによって、最終的な状態変数分布(t)を求めて出力するものである。

ここで、図１の統合追跡処理部１が扱う状態変数分布(t-1)、状態変数分布(t)は、例えばCondensation、ICondensationに従って、Monte-Carlo（モンテカルロ）法に基づいてサンプル群(サンプルセット)に重み付けして表現される確率分布となる。この概念を、図２に示す。なお、この図では、一次元の場合を示しているが、多次元に拡張することも可能である。
この図２において示される斑点の中心のそれぞれがサンプル点となる。これらのサンプルの集合(サンプルセット)は、事前分布(prior density)からランダムに発生されたサンプルとして得られる。各サンプルには、観測値に応じた重み付けが行われており、重み付けの値は、図における斑点のサイズにより表現されている。そして、このようにして重み付けされたサンプル群に基づいて、事後分布 (posterior density)を求める。

図３は、統合追跡処理部１としての処理の流れを示している。なお、上記しているように、統合追跡処理部１としての処理はICondensationに基づいて構築される。また、ここでの観測値は、説明の都合上、画像に基づくものとしたうえで、時刻（ｔ、t-1）についてはフレーム（ｔ，t-1）に置き換えて説明するものとする。即ち、ここでは、画像のフレームも、時刻としての概念に含まれるものとしている。

先ず、統合追跡処理部１は、ステップＳ１０１として、直前のフレームt-1において、統合追跡処理部１により推定結果として得た状態変数分布(t-1)のサンプルセット（フレームt-1におけるサンプルセット）を形成する個々のサンプルを再サンプリングする（リサンプリング）。

ここで、
上記の状態変数分布(t-1)は、

のようにして表される。

また、フレームｔにおいて得られるサンプルを

により表すものとした場合、
状態変数分布(t-1)としてのサンプルセットを形成する、N個の重み付けされたサンプルの個々は、下記のようにして表される。

上記数２、数３において、πは重み付け係数を表し、変数ｎは、サンプルセットを形成するN個のサンプルのうちのn番目であることを表す。

次のステップＳ１０２においては、追跡対象物に対応して求めた運動の予測モデル(運動モデル)により、上記ステップＳ１０１によりリサンプリングした個々のサンプルを新規な位置に移動させることで、フレームｔのサンプルセット（第１の現時刻の状態変数サンプル候補）を生成する。

また、その一方で、統合追跡処理部１は、ステップＳ１０３により、フレームｔにおいて副状態変数分布出力部２から副状態変数分布(t)を得ることができるのであれば、この副状態変数分布(t)をサンプリングして、そのサンプルセットを生成する。

ステップＳ１０３にて生成した副状態変数分布(t)のサンプルセットは、以降の説明から理解されるように、状態変数サンプル(t)のサンプルセットとなり得る（第２の現時刻の状態変数サンプル候補）。しかし、ステップＳ１０３にて生成したサンプルセットは、バイアスを有するので、そのまま統合に利用することは好ましくない。そこで、このバイアスをオフセットするための調整のために、ステップＳ１０４により、調整係数λを算出して求める。

この調整係数λは、後述の説明から理解されるように、重み付け係数πに対して与えるべきものとされ、例えば下記のようにして求める。

このようにして、状態変数分布（t-1）に基づいてステップＳ１０１、Ｓ１０２により得たサンプルセットに対する調整係数（数４に示す）は１で固定でありバイアスオフセット調整は行わない。これに対して、副状態変数分布(t)（存在分布gｔ(X)）に基づいてステップＳ１０３により得たサンプルセットのサンプルに対して、ステップＳ１０４により求めた有意の調整係数λを割り当てるようにされている。

ステップＳ１０５においては、状態変数分布（t-1）に基づいてステップＳ１０１、Ｓ１０２により得たサンプルセットと、副状態変数分布(t)に基づいてステップＳ１０３により得たサンプルセットとを選択対象として、予め定めた比率（選択比率）に従ってランダムに、いずれか一方のサンプルを選択し、ステップＳ１０６によりこれらの選択したサンプルセットを、状態変数サンプル(t)として取り込む。状態変数サンプル(t)としてのサンプルセットを形成する個々のサンプルは、

のようにして表される。

ステップＳ１０７においては、調整係数が与えられたサンプルセット（数５）を成す個々のサンプルが有する状態変数の値を利用して、例えば人物姿勢などの追跡対象についてのレンダリングの処理を実行する。そして、このレンダリングにより得られる画像と、実際の観測値(t)（画像）とのマッチングを行い、このマッチングの結果に従って尤度を求める。
この尤度は、下記のようにして表される。

また、ステップＳ１０７においては、算出した尤度（数６）に対して、先のステップＳ１０４により求めた調整係数(数４)を乗算する。この算出結果が、フレームｔにおける状態変数サンプル(t)を形成する個々のサンプルについての重みを表すものとなり、状態変数分布（t）を予測したものとなる。状態変数分布（t）は（数７）のように表される。また、フレームｔにおいて予測された分布は、（数８）のようにして表せる。

図４は、上記図３に示した処理の流れを、主にサンプルの状態遷移により模式化して示したものである。
図４（ａ）には、状態変数分布(t)を形成する、重み付けされたサンプルから成るサンプルセットが示される。このサンプルセットは、図３のステップＳ１０１によりリサンプリングされる対象となる。図４（ａ）の斑点と図４（ｂ）のサンプルとの間での矢印で示される対応からも分かるように、ステップＳ１０１によっては、図４（ａ）に示されるサンプルセットのうちから、例えば重み付けの程度に応じて選択された位置のサンプルをリサンプリングするようにされる。
図４（ｂ）は、リサンプリングにより得られたサンプルセットを示す。また、このリサンプリングの処理は、driftともいわれる。

また、これと併行して、図４（ｂ）における紙面の右側に示されるようにして、図３のステップＳ１０３により副状態変数分布(t)をサンプリングすることにより生成されるサンプルセットを得るようにもされる。なお、ここでは図示していないが、この副状態変数分布(t)のサンプリングに伴って、ステップＳ１０４による調整係数λの算出も行う。

図４（ｂ）から図４（ｃ）へのサンプルの遷移は、図３のステップＳ１０２としての運動モデルによるサンプル位置の移動（diffuse）を示している。従って、図４（ｃ）に示されるサンプルセットは、図６のステップＳ１０６により取り込まれるべき状態変数サンプル(t)の候補となる。
なお、このサンプル位置の移動は、状態変数分布(t-1)を基として、ステップＳ１０１、Ｓ１０２の手順を経ることで得られたサンプルセットのみを対象として行われる。ステップＳ１０３により副状態変数分布(t)からサンプリングして得られたサンプルセットについては、上記サンプル位置の移動は行わず、そのまま、図４（ｃ）に対応する状態変数サンプル(t)の候補として扱う。ステップＳ１０５では、図４（ｃ）に示される状態変数分布(t-1)を基とするサンプルセットと、副状態変数分布(t)を基とするサンプルセットとのいずれかを、実際の尤度算出に利用するべきサンプルセットとして選択して正規の状態変数サンプル(t)とすることになる。

図４（ｄ）は、図３のステップＳ１０７における尤度算出により求められた尤度を模式化して示している。このようにして算出される尤度に対応して、図４（ｅ）に示す状態変数分布(t)の予測が行われる。

ところで、実際においては、追跡結果若しくは姿勢推定結果に誤りが生じて、状態変数分布(t-1)に対応するサンプルセットと、副状態変数分布(t)（存在分布gｔ(X)）との間で大きな違いが生じる可能性がある。このとき、調整係数λは非常に小さくなり、存在分布gｔ(X)に基づいたサンプルは有効ではなくなってくる。
これを避けるために、図３におけるステップＳ１０３、Ｓ１０４の手順の流れにおける実際としては、存在分布gｔ(X)を基とするサンプルセットを形成するサンプルのうちから、予め設定した所定の比率により、ランダムにいくつかのサンプルを選択したうえで、さらに、これらの選択したサンプルについての調整係数λについては、予め設定した所定の割合、比率に従って、１を設定する。
上記の処理により得られる状態変数分布(t)は、下記のようにして表すことができる。

上記(数９)によれば、状態変数分布(t)と存在分布gｔ(X)とは線形組み合わせである、ということがいえる。

このようにして構成する、ICondensationに基づく統合追跡は、他の情報（副状態変数分布(t)）を確率的に導入(統合)することになるので自由度が高い。また、導入する比率の設定によって、必要とする導入量の調整も容易である。また、尤度が計算されるので，予測結果としての情報が正しければ強調され，誤りであれば抑制される。これにより、高い精度、ロバスト性が得られる。

例えば非特許文献１に記載されるICondensationの手法では、副状態変数分布(t)として統合のために導入する情報としては、例えば肌色検出などの単一の検出対象に限定されている。
しかし、導入可能な情報としては、肌色検出以外にも多様に考えることができる。例えば、何らかの方式による追跡アルゴリズムにより得られる情報を導入することも考えられるのであるが、追跡アルゴリズムそれぞれの方式で異なる特徴、利点を有しており、導入すべきものを１つに絞り込むときの判断は難しい。
このようなことからすると、例えばICondensationに基づく統合追跡にあたって、導入する情報を複数化すれば、予測精度、また、ロバスト性などをはじめとして性能の向上が図られることが期待できる。

そこで、本実施形態としては、例えばICondensationを基としたうえで、導入する情報を複数化して統合追跡が行えるようにする構成を提案する。以下、この点について説明していく。

図５（ａ）は、複数の情報を導入する本実施形態としての統合追跡システムの構成例として、副状態変数分布出力部２の構成を抜き出して示している。なお、この図との対応において、統合追跡システム全体の構成としては、図１と同様とされてよい。つまり、図２は、本実施形態に対応する構成として、図１における副状態変数分布出力部２の内部構成を示したものとしてみることができる。

図５（ａ）において示される副状態変数分布出力部２は、Ｋ個の第１検出部２２−１〜２２−Ｋと、確率分布化部２１とを備えて成る。
第１検出部２２−１〜２２−Ｋは、それぞれ、所定の検出方式、アルゴリズムによる構成でもって、追跡対象に関連した所定の検出対象についての検出を行う部位とされる。これら第１検出部２２−１〜２２−Ｋにより得られる検出結果の情報は、確率分布化部２１により取り込む。

図５（ｂ）は、検出部２２（第１〜第Ｋ検出部２２−１〜２２−Ｋ）としての一般化した構成例を示している。
検出部２２は、検出器２２ａと検出信号処理部２２ｂを有して成る。
検出器２２ａは、検出対象に応じてそれを検出するための所定の構成を有する。例えば、肌色検出などであれば、この検出器２２ａは、撮像を行って、検出信号としての画像信号を得る撮像装置などとなる。
検出信号処理部２２ｂは、検出器２２ａから出力される検出信号について必要な処理を行って最終的に検出情報を生成して出力するようにして構成される部位となる。例えば上記肌色検出であれば、撮像装置としての検出器２２ａにて得られる画像信号を取り込み、この画像信号としての画像上において肌色であるとして認識される画像領域部分を検出し、これを検出情報として出力する。

また、図５（ａ）における確率分布化部２１は、第１検出部２２−１〜２２−Ｋのそれぞれから取り込んだ検出情報を、統合追跡システム１が導入するべき、１つの副状態変数分布(t)（存在分布gｔ(X)）とするための処理を行う。
このための手法としては、いくつか考えられるが、ここでは、第１検出部２２−１〜２２−Ｋのそれぞれから取り込んだ検出情報を統合して確率分布化することで、存在分布gｔ(X)が生成されるように構成することとした。そのうえで、存在分布gｔ(X)を得るための確率分布化の手法としては、GMM(Gaussian Mixture Model：ガウス混合分布)に拡張する手法を採用することとした。つまり、例えば第１検出部２２−１〜２２−Ｋのそれぞれから取り込んだ検出情報ごとにガウシアン分布(正規分布)を求め、これを混合、組み合わせるものである。

また、本実施形態の確率分布化部２１としては、次に説明するようにして、第１検出部２２−１〜２２−Ｋから取り込んだ検出情報について、適宜、必要なだけの重み付けを与えるようにしたうえで、存在分布gｔ(X)を得るようにされる。

図６に示すようにして、先ず、第１〜第Ｋ検出部２２−１〜２２−Ｋのそれぞれは、自身が対応する検出対象についての検出結果についての信頼度を求めることができるようにされており、これを例えば信頼度値として出力することができるようになっている。

そのうえで、本実施形態の確率分布化部２１においては、同じ図６に示すようにして、重み付け設定部２１ａとしての実行部位を備えることとしている。重み付け設定部２１ａは、第１〜第Ｋ検出部２２−１〜２２−Ｋから出力される信頼度値を取り込む。そして、取り込んだ信頼度値に基づいて、第１〜第Ｋ検出部２２−１、２２−２・・・２２−Ｋのそれぞれから出力される検出情報ごとに対応する重み付け係数，w１,w２〜wＫを生成する。この重み付け係数wを設定するためのアルゴリズムの実際としては多様に考えられるので、ここでの具体例についての説明は省略するが、信頼度値が高くなるのに応じて重み付け係数も高い値が求められることになる。

そして、確率分布化部２１は、上記のようにして得られる重み付け係数W１,W２〜WＫを利用して、下記のようにして、GMMとしての存在分布gｔ(X)を求めることができる。なお、下記（数１０）において、μｉは、検出器２２−ｉ（１≦i≦K）の検出情報である。

なお、上記（数１０）におけるΣｉについては、下記のような対角行列を用いることが一般的である。

上記のようにして、第１〜第Ｋ検出部２２−１、２２−２・・・２２−Ｋのそれぞれから出力される検出情報ごとに重み付けが与えられたうえで、存在分布gｔ(X)（副状態変数分布(t)）が生成されるようになっていることで、そのときに高い信頼性が得られている検出情報の導入率を高くしたうえでの状態変数分布(t)の予測が行われることになる。これによっても、本実施形態では、追跡処理についての性能の向上を図るようにされている。

ここで、本願発明の構成要件と、本実施形態との対応例を示しておく。
第１の状態変数サンプル候補生成手段は、図３のステップＳ１０１、Ｓ１０２を実行する統合追跡処理部１が対応する。
複数の検出手段は、図５における第１検出部２２−１〜第Ｋ検出部２２−Ｋが対応する。
副情報生成手段は、図５における確率分布化部２１が対応する。
第２の状態変数サンプル候補生成手段は、図３のステップＳ１０３、Ｓ１０４を実行する統合追跡処理部１が対応する。
状態変数サンプル取得手段は、図３のステップＳ１０５、Ｓ１０６を実行する統合追跡処理部１が対応する。
推定結果生成手段は、図３のステップＳ１０７として説明した処理を実行する統合追跡処理部１が対応する。

また、本実施形態として、複数の情報を導入して統合追跡を行うための統合追跡システムについての他の構成例を、図７及び図８により説明する。
この場合の統合追跡システムとしては、図７に示すようにして、副状態変数分布出力部２において、第１〜第Ｋ検出部２２−１〜２２−Ｋのそれぞれに対応させて、Ｋ個の確率分布化部２１−１〜２１−Ｋが備えられる。

第１検出部２２−１に対応する確率分布化部２１−１は、第１検出部２２−１から出力される検出情報を取り込んで確率分布に変換する処理を行う。この確率分布化の処理についても、そのアルゴリズムや方式については多様に考えられるが、例えば図５の確率分布化部２１の構成に準じれば、単一ガウシアン分布(正規分布)として得るようにすることが考えられる。
同様にして、残る確率分布化部２１−２〜２２−Ｋも、それぞれ、第２検出部２２−２〜第Ｋ検出部２２−Ｋにて得られる検出情報から確率分布を得る処理を行う。
そして、この場合には、上記のようにして確率分布化部２１−１〜２１−Ｋから出力される確率分布の各々を、第１副状態変数分布(t)〜第Ｋ副状態変数分布(t)として、統合追跡処理部１に対して並列的に入力させる。

上記図７に示される統合追跡処理部１としての内部の処理を、図８に示す。なお、この図において図３と同一の処理、手順となる部位については、同一のステップ番号を付している。
この図に示される統合追跡処理部１の処理として、先ず、状態変数分布(t-1)を基に実行するステップＳ１０１、Ｓ１０２は、図３と同様となる。
そのうえで、この場合の統合追跡処理部１は、図におけるステップＳ１０３−１・・・Ｓ１０３−Ｋ、ステップＳ１０４−１・・・Ｓ１０４−Ｋとして示すように、第１副状態変数分布(t)〜第Ｋ副状態変数分布(t)ごとに、サンプリングを行って状態変数サンプル(t)となり得るサンプルセットを生成するとともに、調整係数λを算出しておくようにされる。
そして、この場合のステップＳ１０５、Ｓ１０６としては、状態変数分布(t-1)を基とするサンプルセットと、第１〜第Ｋ副状態変数分布(t)のそれぞれを基とするサンプルセットとの、１＋Ｋ組のサンプルセットを選択対象として、例えば予め定められた比率に従っていずれか１組をランダムに選択して状態変数サンプル(t)を取り込むようにされる。後は，図３の場合と同様にして、ステップＳ１０７により尤度を求めて、予測結果としての状態変数分布(t)を得る。

また、この他の構成例においては、第１検出部２２−１〜第Ｋ検出部２２−Ｋのそれぞれにて得られた信頼度値については、例えば統合追跡処理部１に渡すようにすることが考えられる。
統合追跡処理部１では、図８のステップＳ１０５において選択するときの選択比率として、第１副状態変数分布(t)〜第Ｋ副状態変数分布(t)の間での選択比率について、受け取った信頼度値に基づいて変更設定する。
あるいは、統合追跡処理部１では、図８のステップＳ１０７において、調整係数λとともに、信頼度値に応じて設定した重み付け係数(w)を乗算させるという処理とすることも考えられる。
これらの構成により、先の図５に示した構成例の場合と同様にして、検出部２２−１〜２２−Ｋの検出情報のうちで、信頼度の高いものに重みが与えられるようにして、統合追跡処理が行われることになる。
あるいは、第１検出部２２−１〜第Ｋ検出部２２−Ｋは、それぞれの信頼度値を、自身に対応する確率分布化部２１−１〜２１−Ｋに対して渡すようにする。そして、確率分布化部２１−１〜２１−Ｋでは、受け取った信頼度値に応じて、生成する分布の密度、強度などを変更するというものも考えることができる。

なお、この他の構成例においては、複数の第１検出部２２−１〜第Ｋ検出部２２−Ｋのそれぞれにより得られる複数の検出情報ごとに確率分布化することにより、検出情報ごとに応じた複数の副状態変数分布(t)を生成し、これらを統合追跡処理部１に渡している。これに対して、図５に示した先の構成例においては、第１検出部２２−１〜第Ｋ検出部２２−Ｋにより得られる検出情報を混合分布化することにより１つに統合することで、１つの副状態変数分布(t)を生成して統合追跡処理部１に渡している。
このようにして、副状態変数分布(t)が１つであるにせよ複数であるにせよ、先の構成例と他の構成例では、副状態変数分布(t) （現時刻の副状態変数確率分布情報）について、複数の検出部によって得られる複数の検出情報に基づいて生成しているという点では共通しているといえる。
そして、他の構成例としては、上記してきた処理を実行することにより、単位時間においては、状態変数分布(t-1)に対して、複数の第１〜第K副状態変数(t)を導入する結果を生じるものであり、例えば先に図５、図６により説明した構成と同等の信頼性の向上が図られるものである。

続いては、これまでに説明してきた本実施形態の統合追跡システムについての具体的な適用例を挙げていく。
図９は、本実施形態の統合追跡システムを、人物の姿勢の追跡に適用した例である。これに応じて、統合追跡処理部１については、統合姿勢追跡処理部１Ａとして示している。また、副状態変数分布出力部２としては、副姿勢状態変数分布出力部２Ａとして示している。
また、この図においては、副姿勢状態変数分布出力部２Ａの内部構成は、先に図５、図６により示したものに準じている。もちろん、図７、図８に準じて構成することも可能である。この点については、以降説明する他の適用例についても同様である。
この場合には、追跡対象として人物の姿勢が設定される。これに応じて、統合姿勢追跡処理部１Ａは、例えば関節位置などを状態変数として設定し、運動モデルとしても人物の姿勢に応じて設定される。

そのうえで、統合姿勢追跡処理部１Ａは、観測値(t)としてフレームｔにおけるフレーム画像を取り込むようにされる。この観測値(t)としてのフレーム画像は、例えば撮像装置により撮像して得ることができる。そして、このフレーム画像としての観測値（ｔ）とともに、姿勢状態変数分布(t-1)と、副姿勢状態変数分布(t)を取り込んで、先に図５、図６述べた実施形態の構成により、姿勢状態変数分布（ｔ）を生成して出力する。つまり、人物姿勢についての推定結果を得る。

次に、この場合の副姿勢状態変数分布出力部２Ａは、検出部２２として、ｍ個の第１姿勢検出部２２Ａ−１〜第ｍ姿勢検出部２２Ａ−ｍと、顔検出部２２Ｂ、人検出部２２Ｃを備える。

第１姿勢検出部２２Ａ−１〜第ｍ姿勢検出部２２Ａ−ｍは、それぞれ、人物姿勢推定のための所定の方式、アルゴリズムに対応する検出器２２ａ、及び検出信号処理部２２ｂを有して人物姿勢を推定し、その推定結果を検出情報として出力する。
このようにして、複数の姿勢検出部を備えることにより、人物姿勢の推定にあたり、方式、アルゴリズムの異なる複数の推定結果を導入することが可能になる。これにより、例えば、単一の姿勢推定結果のみを導入するような場合と比較して、より高い信頼性を得ることが期待できる。

また、顔検出部２２Ｂは、フレーム画像から、顔として認識される画像領域部分を検出し、これを検出情報とする。この場合の顔検出部２２Ｂは、図５（ｂ）との対応では、撮像装置としての検出器２２ａにより撮像してフレーム画像を得て、検出信号処理部２２ｂによりフレーム画像から顔検出としての画像信号処理を実行するように構成すればよい。
顔検出の結果を用いることによっては、姿勢推定の対象としている人物についての頭部の中心が高い精度で推定できる。頭部の中心を推定した情報を利用すれば、例えば運動モデルとして、頭部を始点にして階層的に関節の位置を推定していくことができる。

また、人検出部２２Ｃは、フレーム画像から、人として認識される画像領域部分を検出し、これを検出情報とする。この場合の人検出部２２Ｃも、図５（ｂ）との対応では、撮像装置である検出器２２ａにより撮像してフレーム画像を得て、検出信号処理部２２ｂによりフレーム画像から人検出の画像信号処理を実行するように構成すればよい。
人検出の結果を用いることで、姿勢推定の対象としている人物のボディについての中心（重心）が高い精度で推定でき、この情報を利用すれば、推定対象の人物の位置をより高い精度で推定できる。
このようにして、顔検出及び人検出は、人物の姿勢そのものを検出するものではないが、上記したことから理解されるように、その検出情報は、姿勢検出部２２Ａの検出情報と同様、人物の姿勢推定に大きく関連するものとして扱える。

ここで、上記第１姿勢検出部２２Ａ−１〜第ｍ姿勢検出部２２Ａ−ｍに適用できる姿勢検出の手法としては限定されるべきではないが、本実施形態では、本願発明者の試験などの結果から、特に有効なものであるとされたものとして、２つを挙げることができる。
１つは、先に本出願人により出願した３次元ボディトラッキング手法である（特願2007-200477）。また、もう１つは、「岡田 隆三，シュテンガ ビヨン．“シルエットを用いたTree-Based Filteringによる人体の姿勢推定”． In Proc. of 画像の認識・理解シンポジウム，2006．」に記載される姿勢推定の手法である。

本願発明者は、図９に基づいた統合姿勢追跡システムとして、副姿勢状態変数分布出力部２Ａを構成する検出部２２について、いくつかの手法を適用して試験を行った。その結果として、例えば単一の情報を導入して統合姿勢追跡を行う場合よりも、高い信頼性の得られることが確認されたのであるが、特に、姿勢検出部２２Ａに対応する姿勢推定処理については、上記の２つの手法が有効であることを確認したものである。特に、前者の３次元ボディトラッキングの手法を導（姿勢検出部２２Ａ−１，２２Ａ−２となる）と、また、顔検出部２２Ｂに対応する顔検出処理と、人検出部２２Ｃに対応する人検出処理も有効であり、これらのうちでは特に人検出が有効であることが確認されている。実際において、前者の３次元ボディトラッキングと人検出処理とを少なくとも採用して構成した統合処理システムは、特に高い信頼性の得得られることが確認された。

図１０は、本実施形態の統合追跡システムを、人物の移動の追跡に適用した例である。これに応じて、統合追跡処理部１については、統合人物移動追跡処理部１Ｂとして示している。また、副状態変数分布出力部２としては、追跡対象の人物の位置に対応した状態変数分布を出力することにちなみ、副位置状態変数分布出力部２Ｂとしている。
この場合の統合人物移動追跡処理部１Ｂは、追跡対象が人物の移動軌跡となるように、しかるべき状態変数や運動モデルなどのパラメータを設定することになる。

統合人物移動追跡処理部１Ｂは、観測値(t)として、フレームｔにおけるフレーム画像を取り込む。この観測値(t)としてのフレーム画像も、例えば撮像装置により撮像して得ることができる。このフレーム画像としての観測値（ｔ）とともに、追跡対象となる人物の位置に対応した位置状態変数分布(t-1)と、副位置状態変数分布(t)を取り込んで、先に図５、図６により述べた実施形態の構成により、位置状態変数分布（ｔ）を生成して出力する。つまり、移動に応じて追跡対象の人物が在るとされる位置についての推定結果を得る。

この場合の副位置状態変数分布出力部２Ｂとしては、検出部２２として、画像利用人検出部２２Ｄ、赤外光画像利用検出部２２Ｅ、センサ２２Ｆ、ＧＰＳ装置２２Ｇを備えるものとしており、これらの検出部の検出情報を確率分布化部２１により取り込むようにして構成している。

画像利用人検出部２２Ｄは、フレーム画像から、人として認識される画像領域部分を検出し、これを検出情報とする。この場合の画像利用人検出部２２Ｄについての図５（ｂ）との対応も、先の人検出部２２Ｃと同様に、撮像装置である検出器２２ａにより撮像してフレーム画像を得て、検出信号処理部２２ｂによりフレーム画像から人検出の画像信号処理を実行する構成とすればよい。
人検出の結果を用いることで、追跡対象とされて画像内で移動する人物のボディについての中心（重心）を追跡していくことができる。

赤外光画像利用検出部２２Ｅは、例えば赤外光を撮像して得られる赤外光画像から、人としての画像領域部分を検出し、これを検出情報とする。このための図５（ｂ）に対応する構成としては、例えば赤外光（あるいは近赤外光）を撮像して赤外光画像を得る撮像装置を検出器２２ａとし、赤外光画像に対する画像信号処理により人検出を実行する検出信号処理部２２ｂとを有するものとして考えればよい。
この赤外光画像利用検出部２２Ｅによる人検出の結果によっても、追跡対象とされて画像内で移動する人物のボディについての中心（重心）を追跡していくことができるが、特に、赤外光画像を利用していることで、光量の少ない環境で撮影が行われているような場合に、この検出情報の信頼性は高くなる。

ここでのセンサ２２Ｆは、例えば追跡対象である人物に対して取り付けられるもので、例えばジャイロセンサ、角速度センサなどから成り、その検出信号は、例えば無線により、副位置状態変数分布出力部２Ｂ内の確率分布化部２１に対して入力するように構成する。
このセンサ２２Ｆとしての検出部２２ａは、上記のジャイロセンサや角速度センサなどの検出素子とされ、検出信号処理部２２ｂでは、これらの検出素子からの検出信号から、移動速度、移動方向などを演算して求めるようにされる。このようして求めた移動速度や移動方向の情報を、検出情報として確率分布化部２１に出力する。

ＧＰＳ(Global Positioning System)装置２２Ｇも、例えば追跡対象である人物に対して取り付けられ、ＧＰＳにより取得される位置情報を、実際には無線により送信するようにして構成される。送信された位置情報が検出情報として確率分布化部２１に対して入力される。この場合の検出器２２ａは、例えばＧＰＳアンテナなどとされ、検出信号処理部２２ｂは、ＧＰＳアンテナにより受信された信号から位置情報を求める処理を実行するようにされた部位となる。

図１１は、本実施形態の統合追跡システムを、車両の移動の追跡に適用した例である。これに応じて、統合追跡処理部１については、統合車両追跡処理部１Ｃとして示している。また、副状態変数分布出力部２としては、追跡対象の車両の位置に対応した状態変数分布を出力することに因み、副位置状態変数分布出力部２Ｃとしている。
この場合の統合車両追跡処理部１Ｃは、車両を追跡対象とするように、しかるべき状態変数や運動モデルなどのパラメータを設定することになる。

統合車両追跡処理部１Ｃは、観測値(t)としてフレームｔにおけるフレーム画像を取り込むとともに、追跡対象となる車両の位置に対応した位置状態変数分布(t-1)と、副位置状態変数分布(t)を取り込んで、位置状態変数分布（ｔ）を生成して出力する。つまり、移動に応じて追跡対象の車両が在るとされる位置についての推定結果を得る。

この場合の副位置状態変数分布出力部２Ｃとしては、検出部２２として、画像利用車両検出部２２Ｈ、車両速度検出部２２Ｉ、センサ２２Ｆ、ＧＰＳ装置２２Ｇを備えるものとしており、これらの検出部の検出情報を確率分布化部２１により取り込むようにして構成している。

画像利用車両検出部２２Ｈは、フレーム画像から、車両として認識される画像領域部分を検出し、これを検出情報とするように構成される。この場合の画像利用車両検出部２２Ｈについての図５（ｂ）との対応も、撮像装置である検出器２２ａにより撮像してフレーム画像を得て、検出信号処理部２２ｂによりフレーム画像から車両検出のための画像信号処理を実行する構成となる。
この車両検出の結果を用いることで、追跡対象とされて画像内で移動する車両の位置を認識できる。

車両速度検出部２２Ｉは、例えばレーダーなどにより追跡対象の車両についての速度検出を行い、その検出情報を出力する。図５（ｂ）との対応としては、検出器２２ａがレーダーアンテナで、検出信号処理部２２ｂがレーダーアンテナにより受信した電波などから速度を求めるための部位となる。

センサ２２Ｆは、例えば図１０と同様のものとされ、追跡対象の車両に取り付けられることで、その車両の移動速度、移動方向を検出情報として得ることができる。
ＧＰＳ２２Ｇも同様に、追跡対象の車両に取り付けられることで、その位置情報を検出情報として得ることができる。

図１２は、本実施形態の統合追跡システムを、飛行機などの飛行体の移動の追跡に適用した例である。これに応じて、統合追跡処理部１については、統合飛行体追跡処理部１Ｄとして示している。また、副状態変数分布出力部２としては、追跡対象の飛行体の位置に対応した状態変数分布を出力することに因み、副位置状態変数分布出力部２Ｄとしている。
この場合の統合飛行体追跡処理部１Ｄは、車両を追跡対象とするように、しかるべき状態変数や運動モデルなどのパラメータを設定することになる。

統合飛行体追跡処理部１Ｄは、観測値(t)としてフレームｔにおけるフレーム画像を取り込むとともに、追跡対象となる飛行体の位置に対応した位置状態変数分布(t-1)と、副位置状態変数分布(t)を取り込んで、位置状態変数分布（ｔ）を生成して出力する。つまり、移動に応じて追跡対象の飛行体が在るとされる位置についての推定結果を得る。

この場合の副位置状態変数分布出力部２Ｃとしては、検出部２２として、画像利用飛行体検出部２２Ｊ、音検出部２２Ｋ、センサ２２Ｆ、ＧＰＳ装置２２Ｇを備えるものとしており、これらの検出部の検出情報を確率分布化部２１により取り込むようにして構成している。

画像利用飛行体検出部２２Ｊは、フレーム画像から、車両として認識される画像領域部分を検出し、これを検出情報とするように構成される。この場合の画像利用飛行体検出部２２Ｊについての図５（ｂ）との対応は、撮像装置である検出器２２ａにより撮像してフレーム画像を得て、検出信号処理部２２ｂによりフレーム画像から飛行体検出のための画像信号処理を実行するものとなる。
この飛行体検出の結果を用いることで、追跡対象とされて画像内で移動する飛行体の位置を認識できる。

音検出部２２Ｋは、例えば検出器２２ａとして、例えば複数本のマイクロフォンを備え、これらのマイクロフォンにより飛行体の音を収音し、収音音声を検出信号として出力する。検出信号処理部２２ｂは、これらの収音音声から飛行体の音の定位を求め、その音の定位を示す情報を検出情報として出力する。

センサ２２Ｆは、例えば図１０と同様のものとされ、追跡対象の車両に取り付けられることで、その車両の移動速度、移動方向を検出情報として得ることができる。
ＧＰＳ２２Ｇも同様に、追跡対象の車両に取り付けられることで、その位置情報を検出情報として得ることができる。

次に、先に図９により示した人物姿勢統合追跡の構成において、姿勢検出部２２Ａの１つとして採用することのできる、３次元ボディトラッキングの手法について説明しておく。この三次元ボディトラッキングの手法は、特願2007-200477として先に本出願人により出願されたものである。

３次元ボディトラッキングにおいては、例えば図１３に示すように、時間的に連続して撮影されたフレーム画像Ｆ０，Ｆ１のうち、基準とするフレーム画像Ｆ０内の被写体を、例えば頭部、胴体部、腕の肩から肘までの部分、腕の肘から指先までの部分、足の腰から膝までの部分、膝から足先までの部分などに分割し、それぞれを３次元のパートとする３次元ボディ画像Ｂ０を生成する。そして、３次元ボディ画像Ｂ０の各パートの動きを、フレーム画像Ｆ１に基づいて追跡（トラッキング）することにより、フレーム画像Ｆ１に対応する３次元ボディ画像Ｂ１を生成するようにされている。

各パートの動きをトラッキングする際、各パートの動きを独立的に追跡すると、本来、関節によって接続されていなければならないパート同士が離れてしまうことが発生し得る（図１３（ｄ）の３次元ボディ画像Ｂ'１）。このような不具合の発生を防ぐため、「各パートは所定の関節点において他のパートと連続している」という条件（以下、関節拘束と称する）に従ってトラッキングする必要がある。

このような関節拘束のあるトラッキング方法については、数多く提案されており、例えば、下記の文献(以降は「参考文献」ということにする)
「D. Demirdjian, T. Ko and T. Darrell. “Constraining Human Body Tracking”. Proceedings of ICCV, vol.2, pp.1071, 2003.」
には、ICP(Iterative Closest Point)レジスタ手法によって独立的に求めた各パートの動きを、線形運動空間において関節拘束を満たす運動に射影する手法が提案されている。
当該射影の方向はICPの相関行列Σ−１によって決定される。

ICPの相関行列Σ−１を使って射影方向を決定することの利点は、射影した運動で３次元ボディの各パートを動かした姿勢が、被写体の実際の姿勢に最も近くなることである。

反対に、ICPの相関行列Σ−１を使って射影方向を決定することの欠点としては、ICPレジスタ手法では２台のカメラによって同時に撮影された２枚の画像の視差に基づいて３次元復元を行っているので、１台のカメラによって撮影された画像を用いる手法に適用できない点が挙げられる。また、３次元復元の精度とエラーが射影方向の決定精度に大きく依存しているので、射影方向の決定が不安定であるという問題がある。さらに、ICPレジスタ手法は、演算量が多く処理に時間がかかるという問題もある。
先に本出願人が出願した発明（特願2007-200477）は、上記ような状況に鑑みてなされたものであり、ICPレジスタ手法に比較して、より少ない演算量、より高い精度で安定的に３次元ボディトラッキングを行おうとするものである。なお、以降において、この先に本出願人が出願した発明（特願2007-200477）による３次元ボディトラッキングについては、図９において実施形態として示した統合姿勢追跡システムにおける姿勢検出部２２Ａとして採用されることにちなみ、実施形態対応の３次元ボディトラッキングということにする。

この実施形態対応の３次元ボディトラッキングとしては、各パートを独立的にトラッキングして求めた関節拘束のない運動ベクトルΔに基づき、各パートの動きが統合された関節拘束のある運動ベクトルΔ＊を算出する方法を提案するとともに、１フレーム前の３次元ボディ画像Ｂ０に運動ベクトルΔ＊を適用して、現フレームの３次元ボディ画像Ｂ１を生成できるようにする。これにより図１３に示される３次元ボディトラッキングを実現する。

また、実施形態対応の３次元ボディトラッキングでは、３次元ボディの各パートの動き（位置と姿勢の変化）を２種類の表記方法によって表現し、それぞれの表記方法を用いて最適な目標関数を導出する。

まず、第１の表記方法について説明する。３次元空間における剛体（各パートに相当）の運動を表す場合、従来から４×４の変換行列による線形変換が用いられる。第１の表記方法では、全ての剛体運動を、所定の軸に対する回転運動と、当該軸に平行に移動する並進運動との組み合わせによって表記する。この回転運動と並進運動の組み合わせは螺旋運動と称される。

例えば図１４に示すように、剛体が点p(0)から螺旋運動の回転角θによって点p(θ)に移動した場合、この運動は次式（１）に示すように指数を用いて表記される。

・・・（１）

式（１）のｅξθ（ξの上の＾は表記の都合により明細書においては省略する。以降においても同様とする）は、剛体の運動（変換）Ｇを示しており、テイラー展開によって次式（２）に示すとおりとなる。

・・・（２）

なお、Ｉは単位行列を示している。また、指数部分におけるξは、螺旋運動を示してお
り、次式（３）に示される４×４の行列、または６次元のベクトルで表記される。

・・・（３）

ただし、

・・・（４）

である。

したがって、ξθは次式（５）に示されるとおりとなる。

・・・（５）

なお、ξθの６個の独立変数ξ１θ，ξ２θ，ξ３θ，ξ４θ，ξ５θ，ξ６θのうち、前のξ１θ乃至ξ３θは螺旋運動の回転運動に関わり、後半のξ４θ乃至ξ６θは螺旋運動の並進運動に関わる。

ここで、「連続するフレーム画像Ｆ０,Ｆ１間における剛体の移動量が小さい」ということを仮定すれば、式（２）の第３項以降は省略でき、剛体の運動（変換）Ｇは次式（６）に示すように線形化することができる。

・・・（６）

なお、連続するフレーム画像Ｆ０,Ｆ１間における剛体の移動量が大きい場合には、撮影時のフレームレートを上げることによって、フレーム間の移動量を小さくすることができる。したがって、「連続するフレーム画像Ｆ０,Ｆ１間における剛体の移動量が小さい」との仮定を常に成立させることができるので、以降においては、剛体の運動（変換）Ｇとして式（６）を採用する。

次に、Ｎ個のパート（剛体）からなる３次元ボディの運動について考察する。上述したように、各パートの運動は、ξθのベクトルによって表記されるので、関節拘束のない３次元ボディの運動ベクトルΔは、次式（７）に示されるように、Ｎ個のξθのベクトルによって表示される。

・・・（７）

なお、Ｎ個の各ξθのベクトルは、それぞれ６個の独立変数ξ１θ乃至ξ６θを有しているので、３次元ボディの運動ベクトルΔは、６Ｎ次元となる。

ここで、式（７）を簡略化するため、次式（８）のように、６個の独立変数ξ１θ乃至ξ６θのうち、螺旋運動の回転運動に関わる前半のξ１θ乃至ξ３θを３次元ベクトルｒｉで表記し、螺旋運動の並進運動に関わる後半のξ４θ乃至ξ６θを３次元ベクトルｔｉで表記する。

・・・（８）

この結果、式（７）は次式（９）に示すとおり簡略化できる。

・・・（９）

ところで、３次元ボディを構成するＮ個のパートには、実際には関節拘束を適用する必要がある。そこで次に、関節拘束のない３次元ボディの動きベクトルΔから、関節拘束のある３次元ボディの動きベクトルΔ＊を求める方法について説明する。

なお、以下の説明は、動きベクトルΔによる変換後の３次元ボディの姿勢と、動きベクトルΔ＊による変換後の３次元ボディの姿勢の差は最小となるとの考えに基づくものである。

具体的には、３次元ボディを構成する各パートの任意の３点（ただし、３点は同一直線上に存在しない）を決定し、動きベクトルΔによる変換後の３次元ボディの姿勢の当該３点と、動きベクトルΔ＊による変換後の３次元ボディの姿勢の当該３点との距離を最小化する動きベクトルΔ＊を求めている。

関節拘束のある３次元ボディの動きベクトルΔ＊は、３次元ボディが有する関節の数をＭ個とした場合、上述した参考文献にも記載されているように、関節座標で構築した3M×6Nの関節拘束行列Φの零空間null space｛Φ｝に属するものとする。

ここで、関節拘束行列Φについて説明する。Ｍ個の各関節をＪｉ（ｉ＝１，２，…，Ｍ）、関節Ｊｉが連結するパートの索引をｍｉ，ｎｉで示し、各関節Ｊｉに対して次式（１０）に示される3×6Nの部分行列を生成する。

・・・（１０）

なお、式（１０）において、０３は３×３の零行列であり、Ｉ３は３×３の単位行列である。

このようにして得られたＭ個の3×6Nの部分行列を列に沿って並べることにより、次式（１１）に示す3M×6Nの行列を生成する。この行列を関節拘束行列Φとする。

・・・（１１）

３次元ボディを構成するＮ個のパートのうちのパートｉ（ｉ＝１，２，・・・，Ｎ）における同一直線上に存在しない任意の３点を｛ｐｉ１，ｐｉ２，ｐｉ３｝と表記すれば、目標関数は次式（１２）に示すとおりとなる。

・・・（１２）

式（１２）の目標関数を展開すると、次式（１３）となる。

・・・（１３）

なお、式（１３）において演算子（・）×は、３次元座標ｐを

とした場合、

となる３×３の行列の生成を意味する。

ここで、６×６の行列Ｃｉｊを次式（１４）に示すように定義する。

・・・（１４）

式（１４）の定義により、目標関数は次式（１５）に示すとおりに整理される。

・・・（１５）

ただし、式（１５）におけるＣは次式（１６）に示される6N×6Nの行列である。

・・・（１６）

式（１５）に示された目標関数は、参考文献に開示されている方法と同様に解くことができる。すなわち、SVDアルゴリズムにより、関節拘束行列Φの零空間の（6N-3M）個の６Ｎ次元の基底ベクトル｛ｖ１，ｖ２，・・・，ｖＫ｝（Ｋ＝１，・・・，6N-3M）を抽出する。運動ベクトルΔ＊は、関節拘束行列Φの零空間に属するので、次式（１７）に示すとおり表記される。
Δ＊＝λ１ｖ１＋λ２ｖ２＋…＋λＫｖＫ
・・・（１７）

さらに、ベクトルδ＝（λ１，λ２，…，λＫ）ｔと、抽出された６Ｎ次元分の関節拘束行列Φの零空間の基底ベクトルを行に沿って並べることにより生成した6N×(6N−3M)の行列Ｖ＝［ｖ１ ｖ２ … ｖＫ］を定義すれば、式（１７）は、次式（１８）に示すとおりとなる。
Δ＊＝Ｖδ
・・・（１８）

式（１５）に示された目標関数のうちの（Δ＊−Δ）ｔＣ（Δ＊−Δ）に、式（１８）に示されたΔ＊＝Ｖδを代入すれば、次式（１９）に示すとおりとなる。
（Ｖδ−Δ）ｔＣ（Ｖδ−Δ）
・・・（１９）

式（１９）の差分を０とする場合、ベクトルδは次式（２０）に示すとおりとなる。
δ＝（ＶｔＣＶ）−１ＶｔＣΔ
・・・（２０）

したがって、式（１８）に基づき、目標関数を最小化する最適な運動ベクトルΔ＊は、次式（２１）に示すとおりであり、この式（２１）を用いることにより、関節拘束のない運動ベクトルΔから、最適な関節拘束のある運動ベクトルΔ＊を演算することが可能となる。
Δ＊＝Ｖ（ＶｔＣＶ）−１ＶｔＣΔ
・・・（２１）

ところで、上述した参考文献によれば、関節拘束のない運動ベクトルΔから、関節拘束のある最適な運動ベクトルΔ＊を演算する式として次式（２２）が開示されている。
Δ＊＝Ｖ（ＶｔΣ−１Ｖ）−１ＶｔΣ−１Δ
・・・（２２）
ただし、Σ−１はICPの相関行列である。

本発明に対応する式（２１）と参考文献に記載の式（２２）を比較した場合、その差異は見かけ上、Σ−１がＣに置換されている点のみである。しかしながら、本発明に対応する式（２１）と、参考文献に記載の式（２２）とは、それぞれを導き出す過程における考えが全く異なるものである。

参考文献の場合、関節拘束行列Φの零空間に属する運動ベクトルΔ＊と、運動ベクトルΔのMahalanobis距離を最小化する目標関数を導出しており、運動ベクトルΔの各分量の相関関係に基づき、ICPの相関行列Σ−１を計算している。

これに対して、本願発明の場合、動きベクトルΔによる変換後の３次元ボディの姿勢と、動きベクトルΔ＊による変換後の３次元ボディの姿勢の差を最小化する目標関数を導出している。したがって、本発明に対応する式（２１）では、ICPレジスタ手法を用いていないので、３次元復元精度に依存することなく、安定的に射影方向を決定することができる。また、フレーム画像の撮影方法を限定することがない。また、ICPレジスタ手法を用いる参考文献の場合に比較して、演算量を削減することができる。

次に、３次元ボディの各パートの動きを表記する第２の表記方法について説明する。

第２の表記方法では、３次元ボディの各パートの姿勢を、世界座標系における始点（相対座標系における原点）と、世界座標系のx,y,z軸をそれぞれ中心とする回転角度で表す。一般に、世界座標系におけるｘ軸を中心とする回転はRollと称され、ｙ軸を中心とする回転はPitchと称され、ｚ軸を中心とする回転はYawと称される。

以下、３次元ボディのパートｉの世界座標系における始点を（ｘｉ，ｙｉ，ｚｉ）、Roll、Pitch，Yawの回転角度を、それぞれαｉ，βｉ，γｉとする。この場合、パートｉの姿勢は、以下に示す１つの６次元ベクトルによって表現される。
［αｉ，βｉ，γｉ，ｘｉ，ｙｉ，ｚｉ］ｔ

一般に、剛体の姿勢は、４×４の行列であるHomogeneous transformation matrix（以下、H-行列または変換行列と称する）によって表される。パートｉに対応するH-行列は、世界座標系における始点（ｘｉ，ｙｉ，ｚｉ）、Roll、Pitch，Yawの回転角度αｉ，βｉ，γｉ（rad）を次式（２３）に適用することによって演算することができる。

・・・（２３）

そして、剛体運動の場合、フレーム画像Ｆｎにおけるパートｉに属する任意の点Ｘの３次元位置は、H-行列を用いた次式（２４）によって計算することができる。
Ｘｎ＝Ｐｉ＋Ｇ（ｄαｉ，ｄβｉ，ｄγｉ，ｄｘｉ，ｄｙｉ，ｄｚｉ）・（Ｘｎ−１−Ｐｉ）
・・・（２４）

ここで、Ｇ（ｄαｉ，ｄβｉ，ｄγｉ，ｄｘｉ，ｄｙｉ，ｄｚｉ）は、連続するフレーム画像Ｆｎ−１, Ｆｎ間のパートｉの運動変化量ｄαｉ，ｄβｉ，ｄγｉ，ｄｘｉ，ｄｙｉ，ｄｚｉをパーティクルフィルタなどを用いたトラッキング手法によって演算し、この演算結果を式（２３）に代入して演算した４×４の行列である。Ｐi＝（ｘｉ，ｙｉ，ｚｉ）ｔは、パートｉのフレーム画像Ｆｎ−１における始点である。

式（２４）に対し、「連続するフレーム画像Ｆｎ−１,Ｆｎ間における剛体の移動量が小さい」ということを仮定すれば、各回転角度の変化量は微小となるので、sin ｘ≒ｘ，cos ｘ≒１の近似が成立する。また、多項式の２次項以降も０となり省略できる。よって、式（２４）における変換行列Ｇ（ｄαｉ，ｄβｉ，ｄγｉ，ｄｘｉ，ｄｙｉ，ｄｚｉ）は、次式（２５）に示すとおりに近似される。

・・・（２５）

式（２５）から明らかなように、変換行列Ｇの回転部分（左上３×３）は、単位行列＋外積行列の形となっていることに着目し、この形を利用して式（２４）を次式（２６）に変形する。

・・・（２６）

さらに、式（２６）における

をｒｉに置換し、

をｔｉに置換すれば、式（２６）は次式（２７）に示すように整理される。
Ｘｎ＝Ｘｎ−１＋ｒｉ×（Ｘｎ−１−Ｐｉ）＋ｔｉ
・・・（２７）

ところで、３次元ボディを構成する各パートは他のパートと関節によって連結されている。例えば、パートｉとパートｊが関節Ｊｉｊで連結されているとすれば、フレーム画像Ｆｎにおいてパートｉとパートｊが連結される条件（関節拘束条件）は、次式（２８）のとおりである。
ｒｉ×（Ｊｉｊ−Ｐｉ）＋ｔｉ＝ｔｊ
−（Ｊｉｊ−Ｐｉ）×ｒｉ＋ｔｉ−ｔｊ＝０
［Ｊｉｊ−Ｐｉ］×・ｒｉ−ｔｉ＋ｔｊ＝０
・・・（２８）
なお、式（２８）における演算子［・］×は、式（１３）の場合と同様である。

さらに、Ｎ個のパートとＭ個の関節からなる３次元ボディの全体の関節拘束条件は以下の通りとなる。すなわち、Ｍ個の各関節をＪＫ（ｋ＝１，２，…，Ｍ）、関節ＪＫが連結する２つのパートの索引をｉＫ，ｊＫで示し、各関節ＪＫに対して次式（２９）に示される3×6Nの部分行列を生成する。

・・・（２９）

なお、式（２９）において、０３は３×３の零行列であり、Ｉ３は３×３の単位行列である。

このようにして得られたＭ個の3×6Nの部分行列を列に沿って並べることにより、次式（３０）に示す3M×6Nの行列を生成する。この行列を関節拘束行列Φとする。

・・・（３０）

そして、上述した式（９）と同様、３次元ボディのフレーム画像Ｆｎ−１,Ｆｎ間の変化量を示すｒｉとｔｉを順番に並べて６Ｎ次元の運動ベクトルΔを生成すれば、次式（３１）に示すとおりとなる。

・・・（３１）

したがって、３次元ボディの関節拘束条件式は、次式（３２）となる。
ΦΔ＝０
・・・（３２）

なお、式（３２）は数学的に、運動ベクトルΔが関節拘束行列Φの零空間null space｛Φ｝に含まれることを意味する。すなわち、次式（３３）のとおりに記述される。
Δ ∈ null space｛Φ｝
・・・（３３）

以上のようにして求めた運動ベクトルΔと関節拘束条件式（３２）に基づき、３次元ボディを構成するＮ個のパートのうちのパートｉ（ｉ＝１，２，・・・，Ｎ）における同一直線上に存在しない任意の３点を｛ｐｉ１，ｐｉ２，ｐｉ３｝と表記すれば、目標関数は式（１２）と同様の式がえられる。

ただし、第１の表記方法では、３次元ボディの動きが螺旋運動で表記され、パートｉにおける同一直線上に存在しない任意の３点の座標を絶対座標系で表していたことに対し、第２の表記方法では、３次元ボディの動きが絶対座標の原点とx,y,z軸に対する回転運動で表記され、パートｉにおける同一直線上に存在しない任意の３点の座標を、パートｉの始点Ｐｉを原点とする相対座標系で表している点が異なるので、第２の表記方法の対応する目標関数は次式（３４）に示すとおりとなる。

・・・（３４）

式（３４）に示された目標関数を展開、整理し、最適な運動ベクトルΔ＊を求める過程は、上述した第１の表記方法に対応する目標関数を展開、整理し、最適な運動ベクトルΔ＊を求める過程（すなわち、式（１２）から式（２１）を導出した過程）と同様である。
ただし、第２の表記方法に対応する過程においては、第１の表記方法に対応する過程で定義された６×６の行列Ｃｉｊ（式（１４））の代わりに、次式（３５）に示す６×６の行列Ｃｉｊを定義して用いる。

・・・（３５）

そして最終的に求められる第２の表記方法に対応する最適な運動ベクトルΔ＊は、
Δ＊＝［ｄα０＊，ｄβ０＊，ｄγ０＊，ｄｘ０＊，ｄｙ０＊，ｄｚ０＊，・・・］ｔ
となり運動パラメータそのものであるので、次のフレーム画像における３次元ボディの生成にそのまま直接用いることができる。

次に、本発明に対応する式（２１）を３次元ボディトラッキングに用い、図１３に示されたように、時間的に連続して撮影されたフレーム画像Ｆ０，Ｆ１から３次元ボディ画像Ｂ１を生成する画像処理装置について説明する。

図１５は、上記の実施形態対応の３次元ボディトラッキングに対応する検出部２２Ａ（検出信号処理部２２ｂ）の構成例を示している。
この検出部２２Ａは、カメラ（撮像装置：検出器２２ａ）などによって撮影されたフレーム画像を取得するフレーム画像取得部１１１、前フレーム画像に対応する３次元ボディ画像と現フレーム画像とに基づいて３次元ボディを構成する各パートの動き（関節拘束のない運動ベクトルΔに相当）を予測する予測部１１２、予測結果を式（２１）に適用して関節拘束のある運動ベクトルΔ＊を決定する運動ベクトル決定部１１３、および、前フレーム画像に対応する生成済みの３次元ボディ画像を、決定された関節拘束のある運動ベクトルΔ＊を用いて変換することにより現フレームに対応する３次元ボディ画像を生成する３次元ボディ画像生成部１１４から構成される。

次に、上記図１５に示す検出部２２Ａによる３次元ボディ画像生成処理について、現フレーム画像Ｆ１に対応する３次元ボディ画像Ｂ１を生成する場合を例に、図１６のフローチャートを参照して説明する。なお、前フレーム画像Ｆ０に対応する３次元ボディ画像Ｂ０は既に生成されているものとする。

ステップＳ１において、フレーム画像取得部１１１は、撮影された現フレーム画像Ｆ１を
取得して予測部１２に供給する。予測部１２は、３次元ボディ画像生成部１４からフィードバックされた、前フレーム画像Ｆ０に対応する３次元ボディ画像Ｂ０を取得する。

ステップＳ２において、予測部１１２は、フィードバックされた３次元ボディ画像Ｂ０におけるボディ姿勢に基づき、関節座標を要素とする3M×6Nの関節拘束行列Φを構築し、さらに関節拘束行列Φの零空間の基底ベクトルを要素とする6N×(6N−3M)の行列Ｖを構築する。

ステップＳ３において、予測部１１２は、フィードバックされた３次元ボディ画像Ｂ０の各パートについて、同一直線上に存在しない任意の３点を選択し、6N×6Nの行列Ｃを演算する。

ステップＳ４において、予測部１１２は、３次元ボディ画像Ｂ０と現フレーム画像Ｆ１に基づき、３次元ボディの関節拘束のない運動ベクトルΔを演算する。すなわち、３次元ボディを構成する各パートの動きを予測する。この予測には、従来存在するKalmanフィルタ、Particleフィルタ、またはInteractive Closest Point法などの代表的な手法を用いることができる。

そして、ステップＳ２乃至Ｓ４の処理で得られた行列Ｖ、行列Ｃ、および運動ベクトルΔは、予測部１１２から運動ベクトル決定部１１３に供給される。

ステップＳ５において、運動ベクトル決定部１１３は、予測部１１２から供給された行列Ｖ、行列Ｃ、および運動ベクトルΔを式（２１）に代入することにより、最適な関節拘束のある運動ベクトルΔ＊を演算して３次元ボディ画像生成部１１４に出力する。

ステップＳ６において、３次元ボディ画像生成部１１４は、前フレーム画像Ｆ０に対応する生成済みの３次元ボディ画像Ｂ０を、運動ベクトル決定部１１３から入力された最適な関節拘束のある運動ベクトルΔ＊を用いて変換することにより、現フレーム画像Ｆ１に対応する３次元ボディ画像Ｂ１を生成する。なお、生成された３次元ボディ画像Ｂ１は、後段に出力されるとともに予測部１２にフィードバックされる。

ところで、これまでに説明してきた本実施形態としての統合追跡のための処理は、図１、図５〜図１２、及び図１５などに示した構成に基づくハードウェアにより実現できる。また、ソフトウェアにより実現することもできる。また、この場合において、ハードウェアとソフトウェアを併用することもできる。
統合追跡における必要な処理をソフトウェアにより実現するのにあたっては、そのソフトウェアを構成するプログラムを、統合追跡システムとしてのハードウェア資源であるコンピュータ装置（ＣＰＵ）に実行させることになる。あるいは、汎用のパーソナルコンピュータなどのコンピュータ装置にプログラムを実行させることで、コンピュータ装置に対して、統合追跡における必要な処理を実行する機能を与えるようにされる。
このようなプログラムは、例えばＲＯＭなどに対してなどに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてマイクロプロセッサ１７内の不揮発性の記憶領域に記憶させることが考えられる。また、所定方式のデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、統合追跡システムとしての装置にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
また、コンピュータ装置が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

ここで、図１７により、本実施形態の統合追跡システムに対応するプログラムを実行可能な装置として、コンピュータ装置についての構成例を示しておく。

このコンピュータ装置２００において、ＣＰＵ（Central Processing Unit）２０１，ＲＯＭ(Read Only Memory)２０２，ＲＡＭ(Random Access Memory)２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。
入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、ドライブ２１０が接続されている。
入力部２０６は、キーボード、マウスなどの操作入力デバイスなどよりなる。
また、この場合の入力部２０は、本実施形態の統合追跡システムとの対応で、例えば、複数の検出部２２ごとに備えられるとされる、検出器２２ａ−１、２２ａ−２・・・２２ａ−Ｋから出力される検出信号を入力することができるようになっている。
出力部２０７は、ディスプレイ、スピーカなどよりなる。
記憶部２０８は、ハードディスクや不揮発性メモリなどよりなる。
通信部２０９は、ネットワークインタフェースなどよりなる。
ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどとしての記録媒体２１１を駆動する。

以上のように構成されるコンピュータ２００では、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。

ＣＰＵ２０１が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアである記録媒体２１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、図５、図７に示した確率分布化部２１は、ガウシアン分布に基づく確率分布を得るものとしたが、これ以外の手法による分布を得るようにされてもよい。
また、実施形態の統合追跡システムが適用できる範囲は、これまでに説明した人物姿勢、人物移動、車両移動、飛行体移動などに限定されるものではなく、他の物体、事象、現象を追跡対象とすることができる。一例として、或る環境における色の変化なども追跡できる。

本発明の実施形態の基となる統合追跡システムの構成例を示す図である。 モンテカルロ法に基づいてサンプルセットに重み付けして表現される確率分布について説明するための概念図である。 統合追跡処理部として行う処理の流れを示す図である。 図３に示した処理の流れを、主にサンプルの状態遷移により模式化して示す図である。 実施形態に対応する追跡統合システムにおける副状態変数分布出力部の構成例を示す図である。 実施形態の副状態変数分布出力部における検出部における検出情報の信頼度から重み付け係数を求めるための構成を模式的に示す図である。 実施形態の統合追跡システムの他の構成例を示す図である。 図７に示す統合追跡処理部として行う処理の流れを示す図である。 実施形態の統合追跡システムを人物姿勢追跡に適用した場合の構成例を示す図である。 実施形態の統合追跡システムを人物移動追跡に適用した場合の構成例を示す図である。 実施形態の統合追跡システムを車両追跡に適用した場合の構成例を示す図である。 実施形態の統合追跡システムを飛行体追跡に適用した場合の構成例を示す図である。 ３次元ボディトラッキングの概要を説明するための図である。 剛体の螺旋運動を説明するための図である。 実施形態対応の３次元ボディトラッキングに対応する検出部の構成例を示す図である。 ３次元ボディ画像生成処理を示すフローチャートである。 コンピュータ装置の構成例を示すブロック図である。

符号の説明

１ 統合追跡処理部、１Ａ 統合姿勢追跡処理部、１Ｂ 統合人物移動追跡処理部、１Ｃ 統合車両追跡処理部、１Ｄ 統合飛行体追跡処理部、
２ 副状態変数分布出力部、２Ａ 副姿勢状態変数分布出力部、２Ｂ・２Ｃ・２Ｄ 副位置状態変数分布出力部、２１（２１−１〜２１−Ｋ） 確率分布化部、２１ａ 重み付け設定部、２２−１〜２２−Ｋ 第１〜第Ｋ検出部、２２Ａ−１〜２２Ａ−ｍ 第１〜第ｍ姿勢検出部、２２Ｂ 顔検出部、２２Ｃ 人検出部、２２Ｄ 画像利用人検出部、２２Ｅ 赤外光画像利用検出部、２２Ｆ センサ、２２Ｇ ＧＰＳ装置、２２Ｈ 画像利用車両検出部、２２Ｉ 車両速度検出部、２２Ｊ 画像利用飛行体検出部、２２Ｋ 音検出部、１１１ フレーム画像取得部、１１２ 予測部、１１３ 運動ベクトル、１１４ ３次元ボディ画像生成部、２００ コンピュータ装置、２０１ ＣＰＵ、２０２ ＲＯＭ、２０３ ＲＡＭ、２０４ バス、２０５ 入出力インターフェース、２０６ 入力部、２０７ 出力部、２０８ 記憶部、２０９ 通信部、２１０ ドライブ、２１１ 記録媒体

Claims (4)

1. 前時刻の主状態変数確率分布情報に基づいて第１の現時刻の状態変数サンプル候補を生成する第１の状態変数サンプル候補生成手段と、
   それぞれが追跡対象に関連した所定の検出対象についての検出を行う、複数の検出手段と、
   上記複数の検出手段により得られる検出情報に基づいて、現時刻の副状態変数確率分布情報を生成する副情報生成手段と、
   上記現時刻の副状態変数確率分布情報に基づいて第２の現時刻の状態変数サンプル候補を生成する第２の状態変数サンプル候補生成手段と、
   上記第１の現時刻の状態変数サンプル候補と、上記第２の現時刻の状態変数サンプル候補とについて、予め設定された所定の選択比率に応じてランダムに選択して状態変数サンプルとする、状態変数サンプル取得手段と、
   上記状態変数サンプルと現時刻の観測値とに基づいて求めた尤度に基づき、推定結果として、現時刻の主状態変数確率分布情報を生成する、推定結果生成手段と、
   を備え、
   上記副情報生成手段は、上記複数の検出手段により得られる複数の検出情報に基づいた混合分布から成る現時刻の副状態変数確率分布情報を得、上記検出手段の検出情報についての信頼度に基づいて、上記混合分布における複数の検出情報に対応する分布の混合比を変更するとともに、上記複数の検出手段により得られる複数の検出情報ごとに確率分布化することにより、複数の検出情報ごとに応じた複数の現時刻の副状態変数確率分布情報を得、
   上記状態変数サンプル取得手段は、上記第１の現時刻の状態変数サンプル候補と、上記複数の現時刻の副状態変数確率分布情報に応じた複数の第２の現時刻の状態変数サンプル候補とについて、予め設定された所定の選択比率に応じてランダムに選択して状態変数サンプルとするとともに、上記検出手段の検出情報についての信頼度に基づいて、上記複数の第２の現時刻の状態変数サンプル候補の間での上記選択比率を変更する、
   追跡処理装置。
2. 上記複数の検出手段は、３次元ボディトラッキング手法に基づく複数の姿勢検出手段、顔検出手段、人検出手段から構成されている請求項１に記載の追跡処理装置。
3. 前時刻の主状態変数確率分布情報に基づいて第１の現時刻の状態変数サンプル候補を生成する第１の状態変数サンプル候補生成手順と、
   それぞれが追跡対象に関連した所定の検出対象についての検出を行う検出部により得られる検出情報に基づいて、現時刻の副状態変数確率分布情報を生成する副情報生成手順と、
   上記現時刻の副状態変数確率分布情報に基づいて第２の現時刻の状態変数サンプル候補を生成する第２の状態変数サンプル候補生成手順と、
   上記第１の現時刻の状態変数サンプル候補と、上記第２の現時刻の状態変数サンプル候補とについて、予め設定された所定の選択比率に応じてランダムに選択して状態変数サンプルとする、状態変数サンプル取得手順と、
   上記状態変数サンプルと現時刻の観測値とに基づいて求めた尤度に基づき、推定結果として、現時刻の主状態変数確率分布情報を生成する、推定結果生成手順と、
   を実行し、
   上記副情報生成手順において、上記複数の検出部により得られる複数の検出情報に基づいた混合分布から成る現時刻の副状態変数確率分布情報を得、上記検出部の検出情報についての信頼度に基づいて、上記混合分布における複数の検出情報に対応する分布の混合比を変更するとともに、上記複数の検出部により得られる複数の検出情報ごとに確率分布化することにより、複数の検出情報ごとに応じた複数の現時刻の副状態変数確率分布情報を得、
   上記状態変数サンプル取得手順において、上記第１の現時刻の状態変数サンプル候補と、上記複数の現時刻の副状態変数確率分布情報に応じた複数の第２の現時刻の状態変数サンプル候補とについて、予め設定された所定の選択比率に応じてランダムに選択して状態変数サンプルとするとともに、上記検出部の検出情報についての信頼度に基づいて、上記複数の第２の現時刻の状態変数サンプル候補の間での上記選択比率を変更する、
   追跡処理方法。
4. 追跡処理装置に、
   前時刻の主状態変数確率分布情報に基づいて第１の現時刻の状態変数サンプル候補を生成する第１の状態変数サンプル候補生成手順と、
   それぞれが追跡対象に関連した所定の検出対象についての検出を行う検出部により得られる検出情報に基づいて、現時刻の副状態変数確率分布情報を生成する副情報生成手順と、
   上記現時刻の副状態変数確率分布情報に基づいて第２の現時刻の状態変数サンプル候補を生成する第２の状態変数サンプル候補生成手順と、
   上記第１の現時刻の状態変数サンプル候補と、上記第２の現時刻の状態変数サンプル候補とについて、予め設定された所定の選択比率に応じてランダムに選択して状態変数サンプルとする、状態変数サンプル取得手順と、
   上記状態変数サンプルと現時刻の観測値とに基づいて求めた尤度に基づき、推定結果として、現時刻の主状態変数確率分布情報を生成する、推定結果生成手順と、
   を実行させ、
   上記副情報生成手順において、上記複数の検出部により得られる複数の検出情報に基づいた混合分布から成る現時刻の副状態変数確率分布情報を得、上記検出部の検出情報についての信頼度に基づいて、上記混合分布における複数の検出情報に対応する分布の混合比を変更するとともに、上記複数の検出部により得られる複数の検出情報ごとに確率分布化することにより、複数の検出情報ごとに応じた複数の現時刻の副状態変数確率分布情報を得、
   上記状態変数サンプル取得手順において、上記第１の現時刻の状態変数サンプル候補と、上記複数の現時刻の副状態変数確率分布情報に応じた複数の第２の現時刻の状態変数サンプル候補とについて、予め設定された所定の選択比率に応じてランダムに選択して状態変数サンプルとするとともに、上記検出部の検出情報についての信頼度に基づいて、上記複数の第２の現時刻の状態変数サンプル候補の間での上記選択比率を変更する手順を
   実行させるためのプログラム。

Images