JP6185879B2

JP6185879B2 - 多関節物体追跡装置、多関節物体追跡方法、及びプログラム

Info

Publication number: JP6185879B2
Application number: JP2014094700A
Authority: JP
Inventors: 鮎美松本; 弾三上; 春美川村; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-05-01
Filing date: 2014-05-01
Publication date: 2017-08-23
Anticipated expiration: 2034-05-01
Also published as: JP2015212861A

Description

本発明は、多関節物体追跡装置、多関節物体追跡方法、及びプログラムに関する。

人体のような多関節物体を、画像情報を利用して追跡しようとするには、大きく２つの人体モデルが用いられる。人体を円筒等の単純な剛体の連結として近似する手法（例えば、非特許文献１参照）とＣＧ（コンピュータグラフィック）などで用いられるメッシュ構造を利用した詳細な形状モデルを利用する手法（例えば、非特許文献２参照）である。

島田伸敬、有田大作、玉木徹，「関節物体のモデルフィッティング」，社団法人情報処理学会研究報告，社団法人情報処理学会，２００６年，2006-CVIM-154(40)，ｐ．３７５−３９２小川原光一、李暁路、池内克史，「関節構造を持つ柔軟変形モデルを用いた人体運動の推定」，２００６年，画像の認識・理解シンポジウム(MIRUI)

上述した従来技術の２つの手法のうち前者の手法のモデルは、簡易モデルであるため計算コストが少ないことが利点となるが、実際の人体形状との差異が大きいため追跡精度が落ちるという欠点がある。一方、後者の手法のモデルは、人体形状の精密な表現が可能であるが、計算コストが大きいことが問題となる。

上記事情に鑑み、本発明は、計算コストを抑えながら安定して多関節物体の追跡を行う多関節物体追跡装置、多関節物体追跡方法、及びプログラムを提供することを目的としている。

本発明の一態様は、多関節物体の初期姿勢、及び動作種類の指定を受け、前記初期姿勢に対する複数の仮説姿勢を生成する初期設定部と、多関節物体を撮影した映像データを構成する時刻順の映像フレーム毎に、前記映像フレームから画像特徴量を取得する画像特徴量取得処理と、人体形状モデルを前記仮説姿勢に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する仮説特徴量算出処理と、前記仮説特徴量算出処理により算出された前記仮説姿勢の特徴量と前記画像特徴量取得処理により算出された前記画像特徴量とを比較して前記仮説姿勢それぞれの重みを算出する重み算出処理と、前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢から姿勢を推定する状態推定処理と、前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢のうち前記状態推定処理により推定された前記姿勢付近の複数の仮説姿勢を選択するリサンプリング処理と、前記リサンプリング処理により選択された複数の前記仮説姿勢から、前記動作種類に対応したダイナミクスを用いて次の時刻の仮説姿勢を生成するサンプリング処理とを繰り返す追跡処理部と、を備えることを特徴とする多関節物体追跡装置である。

また、本発明の一態様は、上述した多関節物体追跡装置であって、前記初期設定部は、衣類種類の指定をさらに受け、仮説特徴量算出処理は、人体形状モデルを前記仮説姿勢及び前記衣類種類に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する、ことを特徴とする。

また、本発明の一態様は、上述した多関節物体追跡装置であって、前記衣類種類は、衣類メッシュ構造、変形情報、テクスチャ、及び反射情報により示される、ことを特徴とする。

また、本発明の一態様は、多関節物体追跡装置が実行する多関節物体追跡方法であって、初期設定部が、多関節物体の初期姿勢、及び動作種類の指定を受け、前記初期姿勢に対する複数の仮説姿勢を生成する初期設定過程と、追跡処理部が、多関節物体を撮影した映像データを構成する時刻順の映像フレーム毎に、前記映像フレームから画像特徴量を取得する画像特徴量取得処理と、人体形状モデルを前記仮説姿勢に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する仮説特徴量算出処理と、前記仮説特徴量算出処理により算出された前記仮説姿勢の特徴量と前記画像特徴量取得処理により算出された前記画像特徴量とを比較して前記仮説姿勢それぞれの重みを算出する重み算出処理と、前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢から姿勢を推定する状態推定処理と、前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢のうち前記状態推定処理により推定された前記姿勢付近の複数の仮説姿勢を選択するリサンプリング処理と、前記リサンプリング処理により選択された複数の前記仮説姿勢から、前記動作種類に対応したダイナミクスを用いて次の時刻の仮説姿勢を生成するサンプリング処理とを繰り返す追跡処理過程と、を有することを特徴とする多関節物体追跡方法である。

また、本発明の一態様は、コンピュータを、上述した多関節物体追跡装置の各部として機能させるためのプログラムである。

本発明により、計算コストを抑えながら安定した多関節物体の追跡を実現することが可能となる。

本発明の一実施形態による多関節物体追跡装置の構成を示す概略ブロック図である。図１に示す対象追跡部の対象追跡処理の一例を示すフローチャートである。利用するダイナミクスによる必要仮説数の違いを説明するための図である。パーティクルフィルタによる物体追跡の概念図である。一般的な対象追跡処理の一例を示すフローチャートである。

以下、図面を参照して本発明の一実施の形態を説明する。
図１は、本発明の一実施形態による多関節物体追跡装置１００の構成を示す概略ブロック図である。多関節物体追跡装置１００は、例えば、コンピュータ装置により実現される。同図に示すように、多関節物体追跡装置１００は、映像取得部１０１、画像入力部１０２、人体形状記憶部１０３、衣類情報記憶部１０４、動作情報記憶部１０５、対象追跡部１０６、推定情報記憶部１０７、及び追跡結果出力部１０８を備えて構成される。

映像取得部１０１は、追跡対象となる多関節物体を撮影した映像データを取得する。映像取得部１０１は、一例として、１台または数台のカメラや、映像データベースから構成される。映像データは複数の映像フレーム（以下、「フレーム」とも記載する。）からなる。

画像入力部１０２は、映像取得部１０１により撮影あるいは蓄積された映像データを、推定処理を行う形式の映像データへ変換する。この変換は例えば、色相変換やフレーム補間等である。

人体形状記憶部１０３は、事前に作成された人体形状のデータからなる人体形状データベースを保持する。人体形状データベースは主に、人体メッシュ構造、変形情報、テクスチャ、反射撤のデータから成る。ここでいう変形情報とは、人物の動きに対する人体形状の変形のモデルである。この変形情報は、例えば非特許文献２のようなメッシュ構造形状モデルを利用した追跡手法に用いられるものと同様である。

衣類情報記憶部１０４は、事前に作成された衣類のデータからなる衣類データベースを保持する。この衣類データベースは主に、衣類メッシュ構造、変形情報、テクスチャ、反射情報のデータから成る。ここでいう変形情報とは、着用対象の人物の動きに対する変形のモデルである。この情報を用いることで、対象のテクスチャ情報の計算ができるため、照明等の変動にロバストな追跡が可能となる。

動作情報記憶部１０５は、事前に作成された動作のデータからなる動作データベースを保持する。この動作データベースは主に、動作の種類と、ダイナミクス情報とを対応付けた情報から成る。この情報を用いることで、対象の特性に合致したダイナミクス情報を利用できるため、少ない計算コストで安定した追跡が可能となる。

対象追跡部１０６は、画像入力部１０２により形式変換された映像データに関して人体の関節位置の情報を、画像特徴量などを用いて解析対象の全フレームに対して追跡する。一般的には、各フレームの画像情報と人体メッシュ情報を比較することで追跡を行う。本実施形態では、これらに加えて、動作情報記憶部１０５の動作情報と衣類情報記憶部１０４の衣類情報を利用する。

推定情報記憶部１０７は、対象追跡部１０６において推定された多関節物体の位置の情報を保持する。
追跡結果出力部１０８は、対象追跡部１０６において推定された追跡結果を表示する。例えば、追跡結果出力部１０８は、映像データに基づく映像に追跡位置を重畳して表示する。

ここでまず、従来技術のパーティクルフィルタを用いて対象位置を追跡する場合の処理の流れを説明する。
図４は、パーティクルフィルタによる物体追跡の概念図である。一般に、パーティクルフィルタを用いる場合、追跡対象の位置候補を仮説として多数（Ｎ個）生成する。
まず、時刻ｔにおけるＳＴＥＰ０として、仮説の位置を初期化する。各時刻において、ＳＴＥＰ１として、各仮説の位置の特徴量を追跡対象のテンプレート特徴量と比較し、その比較により得られた類似度を重みとして算出する。ＳＴＥＰ２として、Ｎ個の仮説の中から最も重みの大きいものをもっともらしい仮説として選択し、その時刻の推定位置（状態）とする。あるいは、仮説の重みつき平均値をその時刻の推定位置（状態）としてもよい。ＳＴＥＰ３において、次の時刻の準備として、推定値に近い仮説が多く残るように重みの大きい仮説を複製し、小さい仮説を消滅させるリサンプリングを行う。次の時刻（時刻ｔ＋１）において、ＳＴＥＰ４では、追跡対象の状態遷移モデルに従って仮説を移動させるサンプリングを行う。状態遷移モデルは、対象物の運動モデルに基づいて定義することが望ましいが、運動モデルの定式化が難しい場合は、等速直線運動やランダムウォークを想定する。そして、ＳＴＥＰ１に戻る。

図５は、一般的手法を用いた場合の対象追跡部１０６による対象追跡処理の流れを示すフロー図である。図５に示す対象追跡処理の前に、画像入力部１０２は、推定処理を行う形式へ変換した映像データを対象追跡部１０６に出力している。映像データを構成するフレーム数をＴとする。

ステップＳ９０１において、対象追跡部１０６は、時刻ｔ＝０とする。
ステップＳ９０２において、対象追跡部１０６は、追跡対象とする物体の初期姿勢Ｙ（０）を指定する。初期姿勢Ｙ（０）は例えば、関節の３次元位置や３次元回転角からなる行列として表現可能である。追跡対象の位置を状態Φ（ｔ）＝Ｙ（ｔ）とすると、対象追跡部１０６は、Ｎ個の仮説姿勢Φ^ｉ（ｔ）＝Ｙ^ｉ（ｔ）（ｉ＝１，２，…，Ｎ）を生成し、指定した初期姿勢Ｙ（０）を中心としてこれら仮説姿勢Φ^ｉ（ｔ）が分布するように初期化する。このとき、分布には例えば平均Ｙ（０）の正規分布等を用いることが可能である。

ステップＳ９０３において、対象追跡部１０６は、時刻ｔが解析フレーム数Ｔ以下であると判断した場合、下記のステップＳ９０４〜ステップＳ９１０の処理を繰り返す。

ステップＳ９０４において、対象追跡部１０６は、時刻ｔのフレームの映像データについて、追跡対象の画像特徴量であるテンプレート画像特徴量Ｉ_{ｉｍａｇｅ}（ｔ）を取得する。このテンプレート画像特徴量Ｉ_{ｉｍａｇｅ}（ｔ）は、例えば、エッジ等で人体領域を切り出し、その上で色ヒストグラムやＨＯＧ（Histograms of Oriented Gradients）特徴量等、任意のものを用いて取得することが可能である。

ステップＳ９０５において、対象追跡部は、時刻ｔのフレーム映像に対する仮説姿勢Φ^ｉ（ｔ）（ｉ＝１，２，…，Ｎ）の特徴量Ｉ^ｉ（ｔ）を算出する。仮説姿勢の特徴量Ｉ^ｉ（ｔ）を算出するには、人体形状記憶部１０３に記憶されている人体形状モデルＭｄを仮説姿勢Φ^ｉ（ｔ）＝Ｙ^ｉ（ｔ）（ｉ＝１，２，…，Ｎ）に基づき変形して仮説形状Ｍｄ＊Ｙ^ｉ（ｔ）を計算することで取得可能である。人体形状モデルＭｄは、人体形状記憶部１０３に記憶されている人体メッシュ構造、変形情報、テクスチャ、反射撤のデータであり、例えば、人体メッシュの頂点座標とそれぞれの変形重みを加味した行列で表現される。

ステップＳ９０６において、対象追跡部１０６は、特徴量Ｉ^ｉ（ｔ）とテンプレート画像特徴量Ｉ_{ｉｍａｇｅ}（ｔ）を比較して仮説姿勢Φ^ｉ（ｔ）の重みｗ^ｉ（ｔ）を算出する。重みには例えば、特徴量Ｉ^ｉ（ｔ）とテンプレート画像特徴量Ｉ_{ｉｍａｇｅ}（ｔ）の距離を用いることが可能である。

ステップＳ９０７において、対象追跡部１０６は、ステップＳ９０６において算出した重みｗ^ｉ（ｔ）により、時刻ｔにおける状態Φ（ｔ）を推定する。この推定は、仮説姿勢Φ^１（ｔ）〜Φ^Ｎ（ｔ）のうち最も大きな重みをもつ仮説姿勢を選んだり、仮説姿勢の重みつき平均をとる等の方法により行うことが可能である。対象追跡部１０６は、推定した状態Φ（ｔ）を推定情報記憶部１０７に保存する。

ステップＳ９０８において、対象追跡部１０６は、重みｗ^ｉ（ｔ）の大きさに応じて重みの大きい仮説姿勢を複製し、重みの小さい仮説姿勢は削除することで、推定した状態付近に仮説姿勢が集まるようにリサンプリングを行う。リサンプリングは、重みと面積を比例させたルーレット方式や重みの上位１０％程度を用いた複製等、様々な方式が可能である。

ステップＳ９０９において、対象追跡部１０６は、次の時刻の準備として、追跡対象の状態遷移モデルに基づいて、仮説姿勢のサンプリングを行う。仮説姿勢のサンプリングによって次の時刻のＮ個の仮説姿勢Φ^ｉ（ｔ＋１）＝Ｙ^ｉ（ｔ＋１）（ｉ＝１，２，…，Ｎ）を生成する。このサンプリングは一般に、等速直線やランダムウォークのモデルによって行う。

ステップＳ９０９において、対象追跡部１０６は、時刻ｔ＝ｔ＋１として、ステップＳ９０５からの処理を同様に繰り返す。そして、ステップＳ９０３において、対象追跡部１０６は、時刻ｔが解析フレーム数Ｔより大きいと判断した場合、処理を終了する。
追跡結果出力部１０８は、対象追跡部１０６において推定された追跡結果を表示する。

図２は、本実施形態の手法を用いた場合の対象追跡部１０６による対象追跡処理の流れを示すフロー図である。同図において、図５のフロー図と同様の処理については、詳細な説明を割愛する。この対象追跡処理の前に、画像入力部１０２は、推定処理を行う形式へ変換した映像データを対象追跡部１０６に出力している。映像データを構成するフレーム数をＴとする。

ステップＳ３０１において、対象追跡部１０６は、ステップＳ９０１と同様に、時刻ｔ＝０とする。
ステップＳ３０２において、対象追跡部１０６は、追跡対象とする物体の初期姿勢Ｙ（０）、動作種類Ｍ、衣類種類Ｃを指定する。初期姿勢Ｙ（０）は例えば、関節の３次元位置や３次元回転角からなる行列として表現可能である。対象追跡部１０６は、追跡対象の位置を状態Φ（ｔ）＝Ｙ（ｔ）とすると、Ｎ個の仮説姿勢Φ^ｉ（ｔ）＝Ｙ^ｉ（ｔ）（ｉ＝１，２，…，Ｎ）を生成し、指定した初期姿勢Ｙ（０）を中心としてこれら仮説姿勢が分布するように初期化する。このとき、分布には例えば平均Ｙ（０）の正規分布等を用いることが可能である。

ステップＳ３０３において、対象追跡部１０６は、時刻ｔが解析フレーム数Ｔ以下であると判断した場合、下記のステップＳ３０４〜ステップＳ３１０の処理を繰り返す。
ステップＳ３０４の処理は、図２のステップＳ９０４の処理と同様であり、対象追跡部１０６は、時刻ｔのフレームの映像データについて、追跡対象のテンプレート画像特徴量Ｉ_{ｉｍａｇｅ}（ｔ）を取得する。

ステップＳ３０５において、対象追跡部１０６は、時刻ｔのフレーム映像に対する仮説姿勢Φ^ｉ（ｔ）（ｉ＝１，２，…，Ｎ）の特徴量Ｉ^ｉ（ｔ）を算出する。仮説姿勢の特徴量を算出するには、人体形状記憶部１０３に記憶されている人体形状モデルＭｄを、仮説姿勢Φ^ｉ（ｔ）＝Ｙ^ｉ（ｔ）（ｉ＝１，２，…，Ｎ）と、ステップＳ３０２において指定された衣類種類Ｃとに基づき変形し、衣類を考慮した仮説形状Ｃ＊Ｍｄ＊Ｙ^ｉ（ｔ）を計算することで取得可能である。衣類種類Ｃは、衣類情報記憶部１０４に記憶されている衣類メッシュ構造、変形情報、テクスチャ、反射情報で示される衣類のデータであり、例えば、衣類メッシュの頂点座標とそれぞれの変形重みを加味した行列で表現される。

ステップＳ３０６〜ステップＳ３０８の処理は、図２のステップＳ９０７〜ステップＳ９０８の処理と同様である。すなわち、ステップＳ３０６において、対象追跡部１０６は、各仮説姿勢の特徴量Ｉ^ｉ（ｔ）とテンプレート画像特徴量Ｉ_{ｉｍａｇｅ}（ｔ）を比較して仮説姿勢Φ^ｉ（ｔ）の重みｗ^ｉ（ｔ）を算出する。ステップＳ３０７において、対象追跡部１０６は、重みｗ^ｉ（ｔ）により、時刻ｔにおける状態Φ（ｔ）を推定し、推定情報記憶部１０７に保存する。ステップＳ３０８において、対象追跡部１０６は、推定した状態付近に仮説姿勢が集まるようにリサンプリングを行う。

ステップＳ３０９において、対象追跡部１０６は、次の時刻の準備として、動作情報記憶部１０５に記憶している追跡対象のダイナミクスに基づいて、仮説姿勢のサンプリングを行う。このダイナミクスは、動作情報記憶部１０５に記憶されている動作種類の中からステップＳ３０２で指定された動作種類Ｍにより選択される。ここで、サンプリングは例えば、Φ^ｉ（ｔ＋１）＝ｆ（Φ^ｉ（ｔ））として次の時刻のＮ個の仮説姿勢Φ^ｉ（ｔ＋１）（ｉ＝１，２，…，Ｎ）を生成する。ここでｆは、動作種類Ｍによって決定される関数であり、任意のものを利用可能である。一般に、パーティクルフィルタを利用した物体追跡の計算コストは仮説数Ｎに比例する。対象の特性に合致したダイナミクス情報を利用することで、一般的なランダムウォークを利用する場合と比較して、少ない仮説数で安定した追跡が可能となる。

図３は、利用するダイナミクスによる必要仮説数の違いを説明するための図である。図５（ａ）のように対象のダイナミクスが既知である場合、仮説が対象の動きにマッチしているため、少ない仮説数で対象を追跡することができる。一方、図５（ｂ）のように対象のダイナミクスが未知の場合、仮説が対象の動きを捉える確率が少なくなるため、対象を追跡するためには多くの仮説が必要である。このように、本実施形態では仮説数を少なくすることができるため、計算コストを抑えることができる。

ステップＳ３０９において、対象追跡部１０６は、時刻ｔ＝ｔ＋１として、ステップＳ３０５からの処理を同様に繰り返す。そして、ステップＳ３０３において、対象追跡部１０６は、時刻ｔが解析フレーム数Ｔより大きいと判断した場合、処理を終了する。
追跡結果出力部１０８は、対象追跡部１０６において推定された追跡結果を表示する。

なお、対象追跡部１０６は、ステップＳ３０５の処理に代えて、ステップＳ９０５の処理を行ってもよい。動作種類Ｍを用いることにより対象の動きにマッチした仮説が得られるため、追跡対象の服装がモデルと同じ場合や、モデルと服装が異なっており、テクスチャ以外の情報（エッジやシルエットなど）を用いる場合には、衣類種類を用いずとも、従来手法と比較してコストを抑えつつ、追跡の精度を保つことが可能となる。
また、動作種類Ｍを用いず、衣類種類Ｃのみを用いる場合でも、推定対象の服装の自由度が増すという効果がある。

以上説明したように、本実施形態の多関節物体追跡装置１００は、動き情報の利用により、モデルの計算コストを低下させて安定した追跡を実現する。また、本実施形態の多関節物体追跡装置１００は、衣類情報の利用により、従来技術では考慮していなかった、追跡対象の服装を考慮した追跡を実現する。これにより、メッシュ構造形状モデルに対象の動き情報と衣類変形情報を付加した人体モデルを利用して多関節物体の追跡を行う。

上述した実施形態における多関節物体追跡装置１００の機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

映像データから、映像に映っている多関節物体を追跡する技術に適用できる。

１００…多関節物体追跡装置，１０１…映像取得部，１０２…画像入力部，１０３…人体形状記憶部，１０４…衣類情報記憶部，１０５…動作情報記憶部，１０６…対象追跡部（初期設定部、追跡処理部），１０７…推定情報記憶部，１０８…追跡結果出力部

Claims

多関節物体の初期姿勢、及び動作種類の指定を受け、前記初期姿勢に対する複数の仮説姿勢を生成する初期設定部と、
多関節物体を撮影した映像データを構成する時刻順の映像フレーム毎に、
前記映像フレームから画像特徴量を取得する画像特徴量取得処理と、
人体形状モデルを前記仮説姿勢に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する仮説特徴量算出処理と、
前記仮説特徴量算出処理により算出された前記仮説姿勢の特徴量と前記画像特徴量取得処理により算出された前記画像特徴量とを比較して前記仮説姿勢それぞれの重みを算出する重み算出処理と、
前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢から姿勢を推定する状態推定処理と、
前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢のうち前記状態推定処理により推定された前記姿勢付近の複数の仮説姿勢を選択するリサンプリング処理と、
前記リサンプリング処理により選択された複数の前記仮説姿勢から、前記動作種類に対応したダイナミクスを用いて次の時刻の仮説姿勢を生成するサンプリング処理とを繰り返す追跡処理部と、
を備えることを特徴とする多関節物体追跡装置。
前記初期設定部は、衣類種類の指定をさらに受け、
前記追跡処理部は、前記仮説特徴量算出処理において、人体形状モデルを前記仮説姿勢及び前記衣類種類に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する、
ことを特徴とする請求項１に記載の多関節物体追跡装置。
前記衣類種類は、衣類メッシュ構造、変形情報、テクスチャ、及び反射情報により示される、
ことを特徴とする請求項２に記載の多関節物体追跡装置。
多関節物体追跡装置が実行する多関節物体追跡方法であって、
初期設定部が、多関節物体の初期姿勢、及び動作種類の指定を受け、前記初期姿勢に対する複数の仮説姿勢を生成する初期設定過程と、
追跡処理部が、多関節物体を撮影した映像データを構成する時刻順の映像フレーム毎に、
前記映像フレームから画像特徴量を取得する画像特徴量取得処理と、
人体形状モデルを前記仮説姿勢に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する仮説特徴量算出処理と、
前記仮説特徴量算出処理により算出された前記仮説姿勢の特徴量と前記画像特徴量取得処理により算出された前記画像特徴量とを比較して前記仮説姿勢それぞれの重みを算出する重み算出処理と、
前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢から姿勢を推定する状態推定処理と、
前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢のうち前記状態推定処理により推定された前記姿勢付近の複数の仮説姿勢を選択するリサンプリング処理と、
前記リサンプリング処理により選択された複数の前記仮説姿勢から、前記動作種類に対応したダイナミクスを用いて次の時刻の仮説姿勢を生成するサンプリング処理とを繰り返す追跡処理過程と、
を有することを特徴とする多関節物体追跡方法。
コンピュータを、
請求項１から請求項３のいずれか１項に記載の多関節物体追跡装置の各部として機能させるプログラム。