JP4625129B2 - 座標化された混合因子分析法を用いた３次元ヒューマンモーションの単眼追跡 - Google Patents

座標化された混合因子分析法を用いた３次元ヒューマンモーションの単眼追跡 Download PDF

Info

Publication number
JP4625129B2
JP4625129B2 JP2008538039A JP2008538039A JP4625129B2 JP 4625129 B2 JP4625129 B2 JP 4625129B2 JP 2008538039 A JP2008538039 A JP 2008538039A JP 2008538039 A JP2008538039 A JP 2008538039A JP 4625129 B2 JP4625129 B2 JP 4625129B2
Authority
JP
Japan
Prior art keywords
pose
dimensional
space
tracking
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008538039A
Other languages
English (en)
Other versions
JP2009514111A5 (ja
JP2009514111A (ja
Inventor
ヤン、ミン‐シュエン
リー、リュイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2009514111A publication Critical patent/JP2009514111A/ja
Publication of JP2009514111A5 publication Critical patent/JP2009514111A5/ja
Application granted granted Critical
Publication of JP4625129B2 publication Critical patent/JP4625129B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G06F18/21375—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Description

本出願は、“Monocular Tracking of 3D Human Motion with a Coordinated Mixture of Factor Analyzers”と題する米国特許仮出願第６０／７３１，３９９号、及び “Monocular Tracking of 3D Human Motion With a Coordinated Mixture of Factor Analyzer”と題する米国特許出願第１１／５５３，３８２号を基礎とする優先権を主張し、これらの出願はその全体がここに引用される。
本発明は、３次元ヒューマンモーションの追跡に関する。特に、本発明は単眼ビデオシーケンスの次元削減された空間中で、３次元人間関節動作を追跡するシステム及び方法に関する。
人間関節動作の追跡は、ビデオ監視、ジェスチュア分析、ヒューマンコンピュータインタフェース、そしてコンピュータアニメーションを含む多くの適用において興味を持たれている。例えば、スポーツビデオゲームを創作する際、ゲームのキャラクターをリアルに動作させるためにアスリートの３次元動作を追跡することが望まれる。
生物医学の分野では、人間の関節の動作に関する問題を分析し解決する際に、３次元動作追跡は重要である。伝統的な３次元動作追跡においては、動作主体は特別なマーカーの付いたスーツを着て、複雑な３次元キャプチャシステムに録画される動作を実演する。
しかし、特別な設備や十分なスタジオ撮影時間を要することから、このような３次元モーションキャプチャシステムは高くつく。さらに、従来の３次元モーションキャプチャシステムは、相当な後処理作業を必要とし、この作業が、伝統的な３次元追跡方法をより高価で時間のかかるものにしている。
特別な衣服もマーカーも必要としない様々な追跡アルゴリズムが提案されてきている。多くのアルゴリズムが、２次元画像平面における身体動作を追跡する。それにより、複雑な３次元モデル又はカメラキャリブレーション情報に対するニーズは抑えられている。
しかし、多くの従来方法が可能なのは、２次元関節位置及び角度を推論することのみである。結果的に、多くの伝統的２次元方法は、物が物陰に隠れること（occlusion）を処理することが困難であり、精密な３次元情報が要求される場合には役に立たない。
２次元画像シーケンスに基づく３次元追跡アルゴリズムが提案されてきているものの、これは、相当な自由度を要求する詳細３次元関節モデルに頼っている。特に、粒子フィルタ法が追跡アプリケーションでは広く使われてきた。
しかし、ポーズ状態空間が高次元であるために、これらのアルゴリズムは従来より効率が悪かった。状態事後分布に十分近似するために必要となる粒子の数は、相当なメモリと処理能力が実装上要求されることを意味している。
メモリや処理能力の負担を軽減するために、削減された状態空間において粒子フィルタリング技術を開発するいくつかの試みが今までになされてきた。これらの努力は、おおまかにいって失敗に終わっており精密な追跡方法には至っていない。特に、提案されるアルゴリズムは、時間の経過とともに末端の肢の動きが発生する場合に失敗に帰する。
単眼ビデオシーケンスが所与である場合に、３次元関節ヒューマンモーションを追跡する効果的で精密なアルゴリズムが求められている。
本発明は、自己オクルージョン（self-occlusion）、不明瞭動作及び大きな末節動作が生じているときであっても、２次元ビデオシーケンスから３次元ヒューマンモーションを効率的かつ精密に追跡する方法を提供する。
オフライン学習段階においては、従来技術を用いる３次元モーションキャプチャデータが習得される。このとき、学習動作に基づいた予測モデルが生成される。オンライン段階においては、衣服やマーカーのような特別な器材なしで３次元追跡が実行される。代わりに、オフライン段階で生成された予測モデルに基づく単眼ビデオシーケンスから、３次元動作が追跡され得る。
従来の粒子フィルタリングに関連する高次元性の問題を克服するために、次元削減された状態において、動作が追跡される。関節の角度や位置が限定されていることに起因する多くの物理的制約によりヒューマンモーションは限定されている。これらの物理的制約を利用することによって、低次元潜在モデルが、高次元モーションキャプチャデータから引き出され得る。
確率的アルゴリズムが、オリジナルポーズの状態空間のサイズを縮小するための非線形次元削減を実行する。オフライン学習の間、複数の因子分析法の混合が学習される。各因子分析法が、ポーズ状態を局所的に近似する局所次元削減法として想定され得る。複数の局所因子分析法間の一致を実現する一式の線形混合関数を学習することによって複数の局所因子分析法間の全体的整合が完成される。
この公式化によって、オリジナルの身体ポーズ空間と低次元空間との間の容易な双方向写像が可能になる。
投影されたデータが、全体的に整合された低次元空間内のクラスタを形成する。このことにより、分布モデルに基づく多重仮説追跡アルゴリズムを引き出すことが可能になる。低次元空間において追跡することによって、粒子フィルタリングの速度は大きくなる。なぜならば、状態空間事後分布を適切に近似するために要する粒子数が有意に小さいからである。潜在空間内に形成された複数のクラスタを前提として、各クラスタ内で一時的な平滑さが実現される。
このように、本システムは、各クラスタの情報を時間の経過とともに増殖することにより、隣接時間ステップにおける人間の末節の大きな動きを正確に追跡することができる。
本明細書に記載される特徴や効果は限定されたものではなく、特に、図面、明細書及び特許請求の範囲を見た当業者には多くの追加的特徴や効果が明らかになるであろう。さらに、本明細書で使用される用語は、主として読みやすさや教育目的から選択されており、本発明の主旨を限定するために選択されているのではない。
以降、本発明の好適な実施形態を、図面を参照しつつ説明する。同様の参照番号は同一の又は機能的に同様の要素を示している。また、各参照番号の最も左の数字は、その番号が最初に用いられた図の番号に対応している。
本明細書において、“ある実施形態”又は“１つの実施形態”と言う場合は、本発明の少なくとも１つの実施形態に、その実施形態に関連して記述される１つの特徴又は構造が含まれていることを意味する。本明細書のあちこちに“ある実施形態では”という語が出現しても、必ずしも同一の実施形態を指しているわけではない。
後記する詳細説明のいくつかの部分は、アルゴリズム用語や、コンピュータメモリ内のデータビット操作を示す象徴的な表現による。これらのアルゴリズム的な説明や表現は、情報処理分野の当業者が、自らの業績の要旨を、同分野の他の当業者に最も効率的に伝えるために用いる手段である。
アルゴリズムとは、ここでは、そして一般的にも、ある所望の結果に至る複数のステップ（命令）の首尾一貫したシーケンスのことを言う。
ステップとは、物理量に対する物理的操作を要求するステップのことである。通常それらの数値は、記憶され、転送され、合成され、比較されかつ操作され得る、電子的、磁気的又は光学的信号の形を取る。これらの信号のことを、ビット、値、要素、シンボル、文字、語又は番号等と呼ぶことが主として用語の共通化の理由から便宜である。
さらに、物理量に対する物理的操作を要求するステップの配列のうちいくつかのものは、一般性を失うことなく、モジュール又はコードデバイスと呼ぶことが便宜である。
しかし、このような用語の全ては適当な物理量と関連付けられており、これらの物理量に付された単なる便宜的なラベルに過ぎない。後記において特段の説明がない限り、明細書本文全体を通じて、“処理”、“コンピューティング”、“計算”、“決定”又は“表示”等の用語を用いた説明は、（電子的な）物理量としてのデータを、コンピュータシステムのメモリ、レジスタ又は他の情報ストレージのなかで操作しかつ変形するコンピュータシステムや同様の電子的コンピューティングデバイスの動作や処理のことを言う。
本発明のいくつかの側面は、アルゴリズムの形になったプロセスステップや命令を含む。本発明のプロセスステップや命令は、ソフトウエア、ファームウエア又はハードウエアによって実施され、ソフトウエアで実施される場合は、ダウンロードされることが可能であり、多様なオペレーティングシステムが用いる別のプラットフォームから操作されることも可能である。
本発明は、操作を実行する装置にも関する。この装置は、所与の目的を達成する専用装置であってもよいし、コンピュータに記憶されたコンピュータプログラムによって動作する汎用コンピュータであってもよい。
このようなコンピュータプログラムは、コンピュータが読取り可能な媒体に記憶され得る。その媒体とは、コンピュータシステムバスに接続可能な、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、電磁光学的ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、電磁的又は光学的カード、ＡＳＩＣ又は電子的命令を記憶し得るあらゆる媒体を含むが、これらに限定されない。
さらに、本明細書で言うコンピュータは、単体のプロセッサを含んでもよいし、コンピュータ能力を増加させるために複数のプロセッサを用いた装置であってもよい。
ここでいうアルゴリズムやディスプレイは、もともと特定のコンピュータや他の装置に関係している訳ではない。ここで教示される内容に従って、プログラムとともに多様な一般目的システムが使用され得る。又は、必要とされる方法ステップを実行するためにさらに特化した装置を作成することも便宜である。これらのシステムのそれぞれについてどのような構成が必要となるかは、後記する明細書本文から明らかになる。
さらには、本発明は特定のプログラム言語を参照して記載されるものではない。本発明の教示を実装するために、多様なプログラム言語が使用され得る。後記において特定の言語に言及した場合、それは本発明の実施可能性及びベストモードを開示するためである。
さらに、本明細書で使用される言語は、主として読み易さ及び教育目的から選択されているのであって、本発明の主旨を限定するために選択されているのではない。従って、本発明の開示は、特許請求の範囲にて記述されている本発明の範囲を例示するものであるが限定するものではない。
図１は、本発明の一実施形態に係るコンピュータシステムである。コンピュータシステム１００は、入力装置１０２、主記憶装置１０４、中央制御装置１０６、出力装置１０８、及び画像処理装置１１０を有する。入力装置１０２は、ネットワーク１２０、データベース１３０及びビデオキャプチャユニット１４０と接続されている。出力装置１０８は、データベース１５０、ネットワーク１６０及びディスプレイ１７０と接続されている。
他の実施形態においては、入力装置は、ネットワーク１２０、データベース１３０及びビデオキャプチャユニット１４０のうちの１つ又は２つのみと接続されている。さらに他の実施形態においては、入力装置は、データをコンピュータシステムに入力する任意の装置と接続され得る。同様に、他の実施形態においては、出力装置は、データベース１５０、ネットワーク１６０、ディスプレイ１７０又は出力データを受け付け可能な他の装置のうちの１つ又は複数と接続されてもよい。他の実施形態においては、コンピュータシステムは、中央制御装置１０６、画像処理装置１１０又は他の専用処理装置のうちの１つ又は複数を有する。
図２は、本発明のある実施形態に係るブロック図である。本実施形態は、オフライン学習アルゴリズム２１０及びオフライン追跡アルゴリズム２２０を含んでいる。オフライン学習アルゴリズム２１０は、オンライン追跡アルゴリズム２２０によって使用される予測モデルを作成するために、３次元モーションキャプチャデータ２１２を用いる。オンライン追跡アルゴリズム２２０は、３次元追跡データ２２４を生成するために、２次元画像シーケンス２２２及び予測モデル２１５を用いる。
３次元モーションキャプチャデータ２１２は、オフライン段階の間、多様な従来技術により取得され得る。ある実施形態においては、動作主体が追跡可能なマーカーが付されたスーツを着て、ビデオカメラによって撮影される動作をする。
動作主体は、撮影され処理される一連の複数動作をしてもよい。さらに、３次元モーションキャプチャデータは、同様の動作をする複数の動作主体からも取得され得る。このことが、予測モデル２１５が引き出される元となる統計データを提供する。
図３（ａ）は、オフライン学習アルゴリズム２１０の一実施形態を要約した図である。
コンピュータシステム１００は、３次元モーションキャプチャデータ２１２を受け付ける（Ｓ３０２）。
ポーズ状態が、３次元モーションキャプチャデータから抽出される（Ｓ３０４）。このフィルタリングされていないポーズ状態は、高次元状態空間にあるので、メモリ容量を節約し処理効率を向上するために状態空間の次元を削減することが望ましい。
このポーズ状態の次元を高次元空間から低次元空間へ削減する次元削減モデルが学習される（Ｓ３０６）。選択的に、動的モデルが学習される（Ｓ３０８）。この動的モデルが学習されれば、予測モデル２１５をより効果的な追跡として最適化できる。
次元削減モデルに基づいて、及びある実施形態においては学習された動的モデルに基づいて仮説を生成する（Ｓ３１０）ことによって予測モデル２１５が形成される。
モーションキャプチャデータ２１２は、コンピュータシステム１００の入力装置１０２に対しインタフェースにより連結されているビデオキャプチャユニット１４０から受け付けられ得る。
他の実施形態においては、３次元モーションキャプチャデータは、データベース１３０から又はネットワーク１２０を通じて入力装置１０２によって受け付けられ得る。ポーズ状態を抽出する（Ｓ３０４）ために、３次元モーションキャプチャデータ２１２はコンピュータシステム１００によって処理されている。このポーズ状態は、動作中の動作主体の位置を完全に特定するデータを含む。本発明の好適なある実施形態では、抽出されたポーズ状態は関節角度のベクトルを含む。しかし、ポーズ状態は、そのポーズを完全に記述する任意のデータを含んでもよい。このデータは、関節、末節又は他の身体部分又は興味のある点の角度、位置、速度又は加速度を含み得る。
任意の数の従来技術が、未加工のモーションキャプチャデータ２１２からポーズ状態を抽出する（Ｓ３０４）ために使用されてもよい。
３次元モーションキャプチャデータ２１２は、例えば標準的なコンピュータプロセッサ１０６又は特殊な画像処理装置１１０によって処理される。さらに、ポーズ状態は、主記憶装置１０４によって記憶され又は出力装置１０８によって出力される。出力装置１０８は、ストレージとしての外部データベース１５０にインタフェースにより連結されており、又はネットワーク１６０又はディスプレイ１７０に対してデータを送信する。
次元削減モデルは抽出されたポーズ状態に基づいて学習される（Ｓ３０６）。次元削減モデルは、高次元モーションキャプチャデータから低次元潜在モデルを生成するために、ヒューマンモーションの物理的制約を利用する。
主成分分析（ＰＣＡ）及び以下を含む多くの次元削減アルゴリズムが知られており、局所的線形埋め込み（ＬＬＥ）は、“Roweis, et al.,Nonlinear Dimensionality Reduction by Locally Linear Embedding, Science 290,2000,2323-2326”に記載されている。
Isomapは、“Tenenbaum, et al.,A Global Geometric Framework for Nonlinear Dimensionality Reduction, Science 290,2000,2319-2323”に記載されている。
Laplacian Eigenmapsは、“Belkin, et al.,Laplacian Eigenmaps and Spectral Techniques for Embedding and Clustering, Advances in Natural Information Processing Systems(NIPS),2001,585-591”に記載されている。これらの文献はここにその全体が引用される。
これらの従来技術は、３次元ヒューマンモーションを固有の非線形動作として処理することはできるが、典型的には逆写像不能である。ある実施形態においては、回帰方法（例えばRadial Basis Function）が低次元空間から高次元空間への逆写像を学習するために用いられる。
ある好適な実施形態においては、逆写像可能な次元削減モデルが使用される。オリジナルのヒューマンポーズ空間に粒子を戻す逆写像は、オンライン追跡の間に回帰方法を用いずに画像測定を行う場合には、粒子の重み付けを再度行うことが可能になる。反転写像を提供する次元削減技術の例としては以下がある。
Chartingは、“Brand,Charting a Manifold,NIPS,2001,961-968”に記載されている。
局所的線形座標化(ＬＬＣ)は、“Teh,et al.,Automatic Alignment of Local Representation,NIPS,2002,841-848”に記載されている。
ガウスプロセス潜在変数モデル（ＧＰＬＶＭ）は、“Lawrence,Gaussian Process Models for Visualization of High Dimensional Data,NIPS,2003”に記載されている。これらの文献はここにその全体が引用される。
ある実施形態においては、次元削減モデルはＬＬＣアルゴリズムに基づいている。この実施形態では、グローバル座標系の中で非線形次元削減とクラスタリングを並行して実行するために確率アルゴリズムが用いられる。投影されたデータは、グローバル座標化された低次元空間内でクラスタを形成する。局所的次元削減として行動するそれぞれの因子分析法とともに、因子分析法の混合が学習される。代替的な実施形態においては、ＧＰＬＶＭアルゴリズム又は他の次元削減アルゴリズムが使用される。
因子分析法の混合（ＭＦＡ）において、ローカル座標系をグローバル座標化するモデルが当業者に知られている。例えば“Roweis,et al.Global Coordination of Local Linear Models,NIPS,2001,889-896”があり、ここにその全体が引用される。それぞれの因子分析法（ＦＡ）は、局所的次元削減手段と見なすことができる。
高次元データyとそのグローバル座標gの両方が、潜在変数であるsとzsの同じセットから生成される。ここで、各離散隠れ変数sとは、s番目のＦＡのことを言い、各連続隠れ変数zsとは、s番目のＦＡにおける低次元のローカル座標を示す。
Figure 0004625129
Figure 0004625129
ここで、TLsとTGsは、変換行列である。μsとκsは、座標系間での均一な平行移動項である。
Figure 0004625129
Figure 0004625129
zsが消去されると、この式は次の式（３）となる
Figure 0004625129
データ点ynに条件付けられたグローバル座標gの推測値は次の式（４）及び式（５）のように書き直される。
Figure 0004625129
式１が所与である場合、p(g|s, zs)とp(zs|s, yn)はガウス分布であり、p(g|yn,s)もガウス分布となる。p(s|yn) ∝ p(yn|s)p(s)が計算され重みとみなされるので、p(g|yn)は本質的にガウス分布の混合である。
ある実施形態においては、ローカルモデルの混合上の２段階学習アルゴリズムのレバレッジ効果は、前記したＴｅｈらが記述したように、点を大きなグループにして取り込んでいく。グローバル座標化においては、このアルゴリズムは、個別のデータ点というよりむしろグループとともに働く。２段階次元削減モデルが図４に図示されている。もとの空間の１つのデータ点であるyn４０２は、因子分析法Sによって特徴付けられる。最初に、y４０２と (s, zs)４０６の間のＭＦＡが、“Ghahramani,et al.,The EM Algorithm for Mixtures of Factor Analyzers,Technical Report CRG-TR-96-1,University of Tronto,1996”に記載された方法を用いて学習される。この文献はここにその全体が引用される。学習されたＭＦＡモデルが所与である場合、znsの組４０６は、データ点yn毎の、s番目のＦＡにおける予測ローカル座標である。rnsの組４０４は、尤度p(yn| s)を意味する。rn４０４のセットが、各局所的次元削減手段の責任範囲を与える一方、zn４０６は、局所的次元削減手段として機能する。重みが付けられた組み合わせun４０８は、rnとznから次式のように形成される。
Figure 0004625129
 このとき、式（１）及び式（２）から、gn４１２すなわちyn４０２の予測グローバル座標が次の式（６）のように定義される。
Figure 0004625129
列パラメータL４１０は、重みを付された組み合わせun４０８から、式（６）によってグローバル座標化された潜在空間におけるグローバル座標gn４１２への写像がなされる。G = [g1, g2, . . . , gN]Tは、すべてのデータセット（座標化されたデータ点に対応するGの列）のグローバル座標とし、またU = [u1, u2, . . . , uN]Tとする。こうすることによって、G= ULと単純に記すことができる。Lを決定するために、gnを左右するトポロジー制約を組み込むコスト関数が最小化されなければならない。ある実施形態においては、前記の通りRoweisが“Nonlinear Dimensionality Reduction by Locally Linear Embedding”に記載しているように、そのコスト関数は、ＬＬＥに基づく。
図５は、列パラメータL及びグローバル座標Gを計算する次元削減モデルを学習する（Ｓ３０６）ための方法の１つの実施形態を示す。局所的線形構築加重が、まず計算される（Ｓ５０２）。次に、因子分析法の混合が局所的次元削減手段として学習される（Ｓ５０４）。局所的線形構築加重は、加重組み合わせ行列を形成する（Ｓ５０６）ために結合される。加重組み合わせ行列をグローバル座標系に写像するために、最適列パラメータが決定される（Ｓ５０８）。グローバル座標は、加重組み合わせ行列と列パラメータから決定される（Ｓ５１０）。
前記したように式（７）を用いて局所的線形再構築加重が計算される（Ｓ５０２）。
Figure 0004625129
Figure 0004625129
ここで、学習データ点のセットは、Y = [y1, y2, . . . , yN]Tである。ここでYの各列は学習データ点に対応している。重みwnmは、ユニークであり、制約付最小２乗法によって求められ得る。これらの重みは、ynとその近隣データとの間の局所的線形関係を示している。
前記のように、行列Uは因子分析法の混合によって形成される（Ｓ５０６）。そして行列A及びBが、後記する式（８）〜（１０）から計算される。
この計算のために、次式（８）のコスト関数が定義される。
Figure 0004625129
ここで、A = U(I-WT )(I-W)UTである。Gが、平行移動、回転及び拡大縮小に対して不変であることを保証するために、次式（９）及び（１０）の制約条件が定義される。
Figure 0004625129
Figure 0004625129
コスト関数式（８）及び制約式（１０）の両方は、二次方程式であり、最適列パラメータLは、一般化された固有値問題を解くことによって決定される（Ｓ４０８）。d << Dを、そこからyが生成される基礎となる多様体の次元数とする。ある実施形態では、Dは典型的には５０前後であり得、dは典型的には３前後の値を有し得る。しかし、これらの値は、興味ある特異性問題に依存して変化し得る。Av = λBvから解かれるベクトルのうち、小さいほうから数えて２番目から(d+1)番目のベクトルが、Lの列を形成する。グローバル座標がG = ULから決定される（Ｓ５１０）。
前記した２段階の学習プロセスを通じて、図６に示されるように、グローバル座標化された潜在空間内にクラスタが入手される。各クラスタは、固有の平均ベクトル及び共分散行列を有する、潜在空間内のガウス分散としてモデル化される。各楕円体６０２は、潜在空間６００内のクラスタを示しており、クラスタの平均は質量中心６０４であり、共分散は楕円体６０２の軸である。このクラスタベースの表示法は、多重仮説追跡の直線的なアルゴリズムに行き着く。
図３を参照すると、これから追跡されるべき特定のモーションのために一つの動的モデルが選択的に学習される（Ｓ３０８）。この動的モデルは、個々の粒子が時間を通じてどのように移動するかを予測する。ある実施形態において、ある別の動的モデルが動作毎に学習され得る。動的モデルを学習する（Ｓ３０８）ことは、予測モデルを最適化し、興味ある特定のモーションについてのより精密な追跡及びより削減された計算を考慮に入れる。
しかし、連続的な追跡が、動的モデルを学習することなく可能でもある。従って、いくつかの実施形態では、このステップは省略される。ある実施形態では、学習された動的モデルに代わって、ランダム歩行モデルが使用される。このモデルは、より汎用的であり、任意のモーションを追跡するのに適用され得る。
修正された多重仮説追跡アルゴリズムを使用することによって、オンライン追跡アルゴリズム２２０は、３次元のポーズ状態を追跡する。このような技術の例は、“Isard,et al.,CONDENSATION:Conditional Density Propagation for Visual Tracking,International Journal of Computer Vision(IJCV),29,1998,5-28”、“Cham,et al.,A Multiple Hypothesis Approach to Figure Tracking,Proc.IEEE Conf.on Computer Vision and Pattern Recognition(CVPR),1999,239-245”、“Toyama, et al.,Probabilistic Tarcking in a Metric Space,Proc.IEEE International Conf.on Computer Vision(ICCV),2001,5057”、“Sidenbladh,et al.,Stochastic Tracking of 3D Human Figures Using 2D Image Motion Proc.European Conf. on Computer Vision(ECCV),2000,702-718”、“Siedenbladh,et al.,Learning Image Statistics for Bayesian Tracking,Proc.ICCV,2001,709-716”、“Elgammal,et al.,Inferring 3D Body Pose From Silhouettes Using Activity Manifold Learning,CVPR,2004,681-688”、“Grochow,et al.,Style-based Inverse Kinematics,ACM Computer Graphics(SIGGRAPH),2004,522-531”、“Safonova,et al.,Synthesized Physically Realistic Human Motion in Low Dimensional Behavior Specific Spaces, SIGGRAPH,2004,514-521”、“Sminchisescu,et al.,Generative Modeling for Continuous Non-linearly Embedded Visual Inference,Porc.IEEE International Conf. on Machine Learning,2004,140-147”、“Tian,et al.,Tracking Human Body Pose on a Learned Smooth Space,Technical Report 2005-029,Boston University,2005”及び“Urtasun,et al.,Priors for People Tracking from Small Training Sets,Proc.IEEE International Conf.on Computer Vision,2005,403-410”に記載されており、これらの文献はここにその全体が引用される。
この多重仮説追跡の最頻値は、組み込まれた空間において、時間の経過とともに増加する。３次元人間関節追跡への適用において、各時点の追跡状態ベクトルは、Xt = (Pt, gt)で表される。Ptは、骨盤（３次元ヒューマンモデルの運動学連鎖の起点である）の３次元位置であり、gtは潜在空間におけるその位置である。
一旦追跡状態が初期化されると、フィルタリングベースの追跡アルゴリズムは、その追跡状態を上回る時間展開確立分布を維持する。Ztを過去の画像観測集合(すなわち Zt = {z1, z2, . . . , zt})とする。Xtが与えられたとき、ztはZt-1から独立であると仮定すると、次式（１１）の標準方程式が適用になる。
Figure 0004625129
学習されたＬＬＣモデルとともに多重仮説追跡法（ＭＨＴ）は、３次元モーション追跡法を提供する。ＬＬＣが潜在空間においてグローバル座標での１ステップとしてクラスタ
を提供するように、ＭＨＴ（p(g|zs, s)はガウス分布に従う）の初期モードとしてクラスタの中心を使用することは当然である。
各クラスタで、潜在空間内の点がオリジナル空間内の他の各ポーズに相似のポーズを表す場合は、１つの単純な動的モデルがフィルタリングアルゴリズムの予測ステップで適用され得る。ある実施形態では、その方式は、潜在空間の１つの単純な定速度予測法を通過する。他の実施形態では、この動的モデルは使用されない。
図３（ｂ）は、オンライン追跡方法２２０の実施形態を要約している。次のタイムフレームにおけるポーズ状態が、予測モデル２１５に基づいて予測される（Ｓ３２２）。ある実施形態においては、この予測は、予測モデルに基づいて、最もありそうなポーズ状態の複数候補を生成する。予測されたタイムフレームに対応する２次元画像がビデオシーケンスから受け付けられる（Ｓ３２４）。
予測ポーズ状態が、２次元画像情報に基づいて更新される（Ｓ３２６）。ある実施形態においては、この更新は、ポーズ状態の複数の予測候補から、この２次元画像内のデータに最もマッチするポーズ状態を選択することを含む。タイムフレームが進み（Ｓ３２８）、２次元ビデオのフレーム毎にこの処理が繰り返される。
図７は、オンライン追跡段階２２０で実行される計算処理を要約している。事前確率密度関数が計算される（Ｓ７０２）。この関数は、予測モデル２１５及びすべての過去の画像観測に基づく。ある実施形態では、次のタイムフレームにおけるポーズ状態を予測する（Ｓ３２２）ために、事前確率密度関数の最頻値が、１つの単純な定速度予測法を通過する。式（１１）では、事前確率密度関数は、p(Xt | Zt-1)によって表される。
尤度関数が、２次元画像シーケンスからの２次元画像を（Ｓ３２４）で受け付けることに基づいて計算される（Ｓ７０４）。現在の予測及び入力ビデオフレーム毎に尤度を計算するために、現在のビデオフレームのシルエットが背景を削減することにより抽出される。予測モデルがこのとき画像上に投影され、投影されたモデルと画像シルエットとの間マッチングコスト面は、負の対数尤度に比例しているものとみなされる。ある実施形態では、投影されたモデルは、“Sigal,et al.,Tracking Loose-limbed People.,CVPR,2004,
421-428”に記載されているように一群の円筒形からなる。標本のマッチングコストを計算し、各尤度モードに関連付けられた局所的統計を計測することによって、予測されたポーズ状態が更新される（Ｓ３２６）。式（１１）では、尤度関数は、p(zt | Xt)によって表される。
式（１１）を通じて事後確率密度関数が計算される（Ｓ７０６）。ここで、事後確率密度関数は、p(Xt | Zt)によって表される。タイムフレームが進み（Ｓ７０８）、ビデオのタイムフレーム毎にこの計算が繰り返される。
ここで提案されるＭＨＴアルゴリズムは、従来技術とは、多くの点で異なる。例えば、本発明は、原則に基づいて候補を生成するために潜在空間を使用する。この点が、最頻値が経験的に選択され、分布は区分的ガウス分布であるとみなす従来技術とは対照をなす。提案されたアルゴリズムで、オフライン学習アルゴリズム（ＬＬＣ）がクラスタ（各クラスタは、潜在空間内のガウス分布によって描写される）を形成している間に、潜在空間から生成される標本が区分的ガウス分布から引き出される。潜在空間内でクラスタの統計値が所与の場合、時間の経過とともに増加する最頻値の選択は、直線的になる。
本発明の特定の実施形態や適用がここでは例示されているが、本発明は、ここで開示された詳細構成に限定されることはなく、特許請求の範囲に規定された本発明の主旨を逸脱することなく本発明の方法及び装置の配置、操作及び詳細に修正や変更を加えることが可能である。
本発明の方法を実行するためのコンピュータシステムの一例である。 本発明のある実施形態を示すブロック図である。 （ａ）は、３次元モーション追跡で使用される予測モデルを生成するためのオフライン学習アルゴリズムである。（ｂ）は、単眼ビデオシーケンス及びオフライン学習段階で生成された予測モデルが所与である場合に、３次元ヒューマンモーションを追跡するためのオンライン追跡アルゴリズムである。 本発明のある実施形態による次元削減アルゴリズムである。 次元削減モデルの学習プロセスを示すブロック図である。 次元削減アルゴリズムの結果として、低次元空間におけるクラスタスクリングを示した図である。 本発明のある実施形態によるオンライン追跡の間に実行される処理を示すフロー図である。

Claims (27)

  1. 被写体の３次元モーションを追跡するコンピュータを用いた追跡方法であって、
    前記コンピュータは、
    ２次元画像シーケンスを受け付け、
    オフライン学習プロセスにおいて学習され、各ポーズを点として表す低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する次元削減モデルに基づき生成した予測モデルを受け付け、
    前記予測モデルに基づいて、前記低次元ポーズ空間と同じ次元を有する、前記被写体の将来のタイムフレームにおける予測ポーズ状態を生成し、
    少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成するステップを含み、
    前記オフライン学習プロセスは、
    ３次元モーションデータを取得し、
    前記３次元モーションデータを処理して訓練ポーズ情報を抽出し、
    前記訓練ポーズ情報を前記高次元ポーズ空間から前記低次元ポーズ空間へ双方向的に写像する、前記抽出された訓練ポーズ情報に基づき、前記次元削減モデルを学習し、
    少なくとも前記次元削減モデルに基づき、前記予測モデルを生成するステップを含むこと、
    を特徴とする追跡方法。
  2. 前記次元削減モデルを学習することには、
    前記低次元ポーズ空間においてクラスタを形成し、
    前記クラスタを前記低次元ポーズ空間においてガウス分布としてモデル化すること
    を含む請求項１に記載の追跡方法。
  3. 前記次元削減モデルを学習することは、
    前記高次元ポーズ空間を用いることによって表された第１のポーズ状態表示を局所的に近似する局所的非線形再構築加重を計算し、
    前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元ポーズ空間を用いることによって表された第２のポーズ状態表示を形成するために因子分析法の混合を学習し、
    前記局所的に座標化された低次元ポーズ空間とグローバルに座標化された低次元ポーズ空間の間を写像する列パラメータの１セットを決定し、
    前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元ポーズ空間を用いることによって表された第３のポーズ状態表示を決定するステップを含む
    請求項１に記載の追跡方法。
  4. 前記次元削減モデルを学習することは、
    ガウスプロセス潜在変数モデル（ＧＰＬＶＭ）アルゴリズムを適用することを含む
    請求項１に記載の追跡方法。
  5. 前記次元削減モデルを学習することは、
    局所的線形座標化（ＬＬＣ）アルゴリズムを適用することを含む
    請求項１に記載の追跡方法。
  6. 前記予測モデルは、追跡対象である少なくとも１つのモーションのための学習された動的モデルにさらに基づく
    請求項１に記載の追跡方法。
  7. 前記訓練ポーズ情報は、関節角度ベクトルを含む
    請求項１に記載の追跡方法。
  8. 被写体の３次元モーションを追跡する追跡システムであって、
    前記追跡システムは、
    ２次元画像シーケンスを受け付ける画像受付手段と、
    オフライン学習プロセスにおいて学習され、各ポーズを点として表す低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する次元削減モデルに基づき生成した予測モデルを受け付けるモデル受付手段と、
    前記予測モデルに基づいて、前記低次元ポーズ空間と同じ次元を有する、前記被写体の将来のタイムフレームにおける予測ポーズ状態を生成するポーズ予測手段と、
    少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成する追跡手段と、を含み、
    前記オフライン学習手段は、
    ３次元モーションデータを取得する３次元取得手段と、
    前記３次元モーションデータを処理して訓練ポーズ情報を抽出する処理手段と、
    前記訓練ポーズ情報を前記高次元ポーズ空間から前記低次元ポーズ空間へ双方向的に写像する、前記抽出された訓練ポーズ情報に基づき、前記次元削減モデルを学習するモデル学習手段と、
    少なくとも前記次元削減モデルに基づき、前記予測モデルを生成する予測モデル生成手段と、を含むこと、
    を特徴とする追跡システム。
  9. 前記次元削減モデルを学習するモデル学習手段は、
    前記低次元ポーズ空間においてクラスタを形成し、
    前記クラスタを前記低次元ポーズ空間においてガウス分布としてモデル化するクラスタスクリング手段を含む請求項８に記載の追跡システム。
  10. 前記モデルを学習手段は、
    前記高次元ポーズ空間を用いることによって表された第１のポーズ状態表示を局所的に近似する局所的非線形再構築加重を計算する局所的近似手段と、
    前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元ポーズ空間を用いることによって表された第２のポーズ状態表示を形成するために因子分析法の混合を学習する局所的次元削減手段と、
    前記局所的に座標化された低次元ポーズ空間とグローバルに座標化された低次元ポーズ空間の間を写像する列パラメータの１セットを決定する列パラメータ決定手段と、
    前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元ポーズ空間を用いることによって表された第３のポーズ状態表示を決定するグローバル座標化手段と、
    を含む請求項８に記載の追跡システム。
  11. 前記次元削減モデルを学習するモデル学習手段は、
    ガウスプロセス潜在変数モデル（ＧＰＬＶＭ）アルゴリズムを適用するガウスプロセス潜在変数モデル手段を含む請求項８に記載の追跡システム。
  12. 前記次元削減モデルを学習するモデル学習手段は、
    局所的線形座標化（ＬＬＣ）アルゴリズムを適用する局所的線形座標化手段を含む請求項８に記載の追跡システム。
  13. 前記予測モデルは、追跡対象である少なくとも１つのモーションのための学習された動的モデルにさらに基づく請求項８に記載の追跡システム。
  14. 前記訓練ポーズ情報は、関節角度ベクトルを含む
    請求項８に記載の追跡システム。
  15. 被写体の３次元モーションを追跡するためのコンピュータが実行可能なプログラムであって、
    前記プログラムは、コンピュータに対し、
    ２次元画像シーケンスを受け付け、
    オフライン学習プロセスにおいて学習され、各ポーズを点として表す低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する次元削減モデルに基づき生成した予測モデルを受け付け、
    前記予測モデルに基づいて、前記低次元ポーズ空間と同じ次元を有する、前記被写体の将来のタイムフレームにおける予測ポーズ状態を生成し、
    少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成するステップを実行させ、
    前記オフライン学習プロセスは、
    ３次元モーションデータを取得し、
    前記３次元モーションデータを処理して訓練ポーズ情報を抽出し、
    前記訓練ポーズ情報を前記高次元ポーズ空間から前記低次元ポーズ空間へ双方向的に写像する、前記抽出された訓練ポーズ情報に基づき、前記次元削減モデルを学習し、
    少なくとも前記次元削減モデルに基づき、前記予測モデルを生成するステップを含むこと、
    を特徴とするプログラム。
  16. 被写体の３次元モーションを追跡するコンピュータを用いた追跡方法であって、
    前記コンピュータは、
    ２次元画像シーケンスを受け付け、
    オフライン学習プロセスにおいて学習され、各ポーズを点として表す低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する次元削減モデルに基づき生成した予測モデルを受け付け、
    前記予測モデルに基づいて、前記低次元ポーズ空間と同じ次元を有する、前記被写体の将来のタイムフレームにおける予測ポーズ状態を生成し、
    少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成するステップを含み、
    前記３次元追跡データを生成することは、
    前記予測モデル及び前記画像シーケンスにおける少なくとも１つの先行２次元画像に基づき事前確率密度関数を生成し、
    前記予測ポーズ状態と現在の２次元画像との間をマッチングコストに基づき尤度関数を生成し、
    前記事前確率密度関数及び前記尤度関数に基づき事後確率密度関数を生成することを含むこと、
    を特徴とする追跡方法。
  17. 前記３次元追跡データを生成することは、
    前記２次元画像シーケンスから１つの現在の２次元画像を受け付け、
    少なくとも部分的に、前記現在の２次元画像に基づき前記予測ポーズ状態を更新することを含む
    請求項１６に記載の追跡方法。
  18. 前記予測ポーズ状態を更新することは、
    前記現在の２次元画像に最も合致する１つの最適ポーズ状態を選択することを含む
    請求項１７に記載の追跡方法。
  19. 被写体の３次元モーションを追跡するためのコンピュータが実行可能なプログラムであって、
    前記プログラムは、コンピュータに対し、
    ２次元画像シーケンスを受け付け、
    オフライン学習プロセスにおいて学習され、各ポーズを点として表す低次元ポーズ空間と前記低次元ポーズ空間よりも高い次元を有する高次元ポーズ空間との間における前記被写体のポーズ情報の写像を特定する次元削減モデルに基づき生成した予測モデルを受け付け、
    前記予測モデルに基づいて、前記低次元ポーズ空間と同じ次元を有する、前記被写体の将来のタイムフレームにおける予測ポーズ状態を生成し、
    少なくとも部分的に、前記予測ポーズ状態及び前記２次元画像シーケンスに基づき、前記高次元ポーズ空間において前記モーションを追跡する３次元追跡データを生成するステップを実行させ、
    前記３次元追跡データを生成するステップは、
    前記予測モデル及び前記画像シーケンスにおける少なくとも１つの先行２次元画像に基づき事前確率密度関数を生成し、
    前記予測ポーズ状態と現在の２次元画像との間をマッチングコストに基づき尤度関数を生成し、
    前記事前確率密度関数及び前記尤度関数に基づき事後確率密度関数を生成することを含むこと
    を特徴とするプログラム。
  20. 前記３次元追跡データを生成するステップは、
    前記２次元画像シーケンスから１つの現在の２次元画像を受け付け、
    少なくとも部分的に、前記現在の２次元画像に基づき前記予測ポーズ状態を更新することを含む
    請求項１９に記載のプログラム。
  21. 前記予測ポーズ状態を更新するステップは、
    前記現在の２次元画像に最も合致する１つの最適ポーズ状態を選択することを含む
    請求項２０に記載のプログラム。
  22. ３次元ヒューマンモーション追跡のための将来のタイムフレームにおける被写体のポーズを予測するための予測モデルを学習するコンピュータを用いた学習方法であって、
    前記コンピュータは、
    ３次元モーションデータを取得し、
    前記３次元モーションデータを処理してポーズ情報を抽出し、
    前記ポーズ情報を高次元ポーズ空間から各ポーズを点として表す低次元ポーズ空間へ双方向的に写像する、前記抽出されたポーズ情報に基づき、次元削減モデルを学習し、
    少なくとも前記次元削減モデルに基づき、前記予測モデルを生成するステップを含む
    ことを特徴とする学習方法。
  23. 前記次元削減モデルを学習することには、
    前記低次元ポーズ空間においてクラスタを形成し、
    前記クラスタを前記低次元ポーズ空間においてガウス分布としてモデル化すること
    を含む
    請求項２２に記載の学習方法。
  24. 前記次元削減モデルを学習することは、
    局所的非線形再構築加重を計算して、前記高次元ポーズ空間を用いることによって表された第１のポーズ状態表示を局所的に近似し、
    因子分析法の混合を訓練して、前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元ポーズ空間を用いることによって表された第２のポーズ状態表示を形成し、
    前記局所的に座標化された低次元ポーズ空間とグローバルに座標化された低次元ポーズ空間の間を写像する列パラメータの１セットを決定し、
    前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元ポーズ空間を用いることによって表された第３のポーズ状態表示を決定することを含む
    請求項２２に記載の学習方法。
  25. ３次元ヒューマンモーションの追跡のための将来のタイムフレームにおける被写体のポーズを予測するための予測モデルを学習する、コンピュータが実行可能なプログラムであって、
    前記プログラムは、コンピュータに対し、
    ３次元モーションデータを取得し、
    前記３次元モーションデータを処理して訓練ポーズ情報を抽出し、
    前記訓練ポーズ情報を高次元ポーズ空間から各ポーズを点として表す低次元ポーズ空間へ双方向的に写像する、前記抽出された訓練ポーズ情報に基づき、次元削減モデルを学習し、
    少なくとも前記次元削減モデルに基づき、前記予測モデルを生成するステップを実行させること、
    を特徴とするプログラム。
  26. 前記次元削減モデルを学習することには、
    前記低次元ポーズ空間においてクラスタを形成し、
    前記クラスタを前記低次元ポーズ空間においてガウス分布としてモデル化すること
    を含む請求項２５に記載のプログラム。
  27. 前記次元削減モデルを学習することには、
    局所的非線形再構築加重を計算して、前記高次元空間を用いることによって表された第１のポーズ状態表示を局所的に近似し、
    因子分析法の混合を訓練して、前記第１のポーズ状態表示の次元を局所的に削減して、局所的に座標化された低次元ポーズ空間を用いることによって表された第２のポーズ状態表示を形成し、
    前記局所的に座標化された低次元ポーズ空間とグローバルに座標化された低次元ポーズ空間の間を写像する列パラメータの１セットを決定し、
    前記第２のポーズ状態表示と前記列パラメータに基づいてグローバルに座標化された低次元ポーズ空間を用いることによって表された第３のポーズ状態表示を決定するステップを含む
    請求項２５に記載のプログラム。
JP2008538039A 2005-10-28 2006-10-27 座標化された混合因子分析法を用いた３次元ヒューマンモーションの単眼追跡 Active JP4625129B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US73139905P 2005-10-28 2005-10-28
US11/553,382 US7450736B2 (en) 2005-10-28 2006-10-26 Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
PCT/US2006/042135 WO2007053484A2 (en) 2005-10-28 2006-10-27 Monocular tracking of 3d human motion with a coordinated mixture of factor analyzers

Publications (3)

Publication Number Publication Date
JP2009514111A JP2009514111A (ja) 2009-04-02
JP2009514111A5 JP2009514111A5 (ja) 2009-09-03
JP4625129B2 true JP4625129B2 (ja) 2011-02-02

Family

ID=38007031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008538039A Active JP4625129B2 (ja) 2005-10-28 2006-10-27 座標化された混合因子分析法を用いた３次元ヒューマンモーションの単眼追跡

Country Status (3)

Country Link
US (1) US7450736B2 (ja)
JP (1) JP4625129B2 (ja)
WO (1) WO2007053484A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514109A (ja) * 2005-10-28 2009-04-02 本田技研工業株式会社 人体モーションの追跡に関する判別モーションモデリング

Families Citing this family (292)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
WO2007044044A2 (en) * 2004-12-21 2007-04-19 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
JP4930854B2 (ja) * 2005-07-19 2012-05-16 日本電気株式会社 関節物体位置姿勢推定装置及びその方法ならびにプログラム
JP4686663B2 (ja) * 2006-07-10 2011-05-25 国立大学法人京都大学 歩行者トラッキング方法及び歩行者トラッキング装置
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
US8180714B2 (en) * 2007-05-29 2012-05-15 The Board Of Trustees Of The Leland Stanford Junior University Automatic generation of human models for motion capture, biomechanics and animation
JP2009015671A (ja) * 2007-07-06 2009-01-22 Sony Corp 情報処理装置および方法、並びにプログラム
JP5018321B2 (ja) * 2007-08-06 2012-09-05 国立大学法人 千葉大学 自動追尾装置
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US8064697B2 (en) * 2007-10-12 2011-11-22 Microsoft Corporation Laplacian principal components analysis (LPCA)
US8466913B2 (en) * 2007-11-16 2013-06-18 Sportvision, Inc. User interface for accessing virtual viewpoint animations
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US8154633B2 (en) * 2007-11-16 2012-04-10 Sportvision, Inc. Line removal and object detection in an image
US9041722B2 (en) * 2007-11-16 2015-05-26 Sportvision, Inc. Updating background texture for virtual viewpoint animations
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US7925081B2 (en) * 2007-12-12 2011-04-12 Fuji Xerox Co., Ltd. Systems and methods for human body pose estimation
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
US8704832B2 (en) * 2008-09-20 2014-04-22 Mixamo, Inc. Interactive design, synthesis and delivery of 3D character motion data through the web
US8749556B2 (en) 2008-10-14 2014-06-10 Mixamo, Inc. Data compression for real-time streaming of deformable 3D models for 3D animation
US8659596B2 (en) * 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
US8982122B2 (en) 2008-11-24 2015-03-17 Mixamo, Inc. Real time concurrent design of shape, texture, and motion for 3D character animation
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8487938B2 (en) 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US20100199231A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8448094B2 (en) 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US20100259547A1 (en) 2009-02-12 2010-10-14 Mixamo, Inc. Web platform for interactive design, synthesis and delivery of 3d character motion data
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US8660303B2 (en) 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
WO2010129721A2 (en) * 2009-05-05 2010-11-11 Mixamo, Inc. Distributed markerless motion capture
JP5238602B2 (ja) * 2009-05-14 2013-07-17 Ｋｄｄｉ株式会社 映像コンテンツ生成装置及びコンピュータプログラム
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US9134848B2 (en) * 2009-06-03 2015-09-15 Stmicroelectronics Asia Pacific Pte Ltd Touch tracking on a touch sensitive interface
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8854376B1 (en) * 2009-07-30 2014-10-07 Lucasfilm Entertainment Company Ltd. Generating animation from actor performance
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8330134B2 (en) 2009-09-14 2012-12-11 Microsoft Corporation Optical fault monitoring
US8508919B2 (en) 2009-09-14 2013-08-13 Microsoft Corporation Separation of electrical and optical components
US8760571B2 (en) 2009-09-21 2014-06-24 Microsoft Corporation Alignment of lens and image sensor
US8428340B2 (en) 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8976986B2 (en) 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US8452087B2 (en) 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
US8723118B2 (en) 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8988432B2 (en) 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US9019201B2 (en) 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8933884B2 (en) 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8891067B2 (en) 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8687044B2 (en) 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8717469B2 (en) 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8499257B2 (en) 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8928579B2 (en) 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
WO2011106239A1 (en) * 2010-02-25 2011-09-01 Honda Motor Co., Ltd. Constrained resolved acceleration control
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8655069B2 (en) 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US8422769B2 (en) 2010-03-05 2013-04-16 Microsoft Corporation Image segmentation using reduced foreground training data
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US8514269B2 (en) 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US8523667B2 (en) 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8605763B2 (en) 2010-03-31 2013-12-10 Microsoft Corporation Temperature measurement and control for laser and light-emitting diodes
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8928672B2 (en) 2010-04-28 2015-01-06 Mixamo, Inc. Real-time automatic concatenation of 3D animation sequences
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8498481B2 (en) 2010-05-07 2013-07-30 Microsoft Corporation Image segmentation using star-convexity constraints
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US9008355B2 (en) 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8330822B2 (en) 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US8797328B2 (en) 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
JP5604225B2 (ja) * 2010-08-25 2014-10-08 Ｋｄｄｉ株式会社 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
JP5604249B2 (ja) * 2010-09-29 2014-10-08 Ｋｄｄｉ株式会社 人体姿勢推定装置、人体姿勢推定方法、およびコンピュータプログラム
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
KR101639195B1 (ko) * 2010-10-22 2016-07-13 삼성전자주식회사 동작 합성을 위한 데이터 처리 장치 및 방법
US8592739B2 (en) 2010-11-02 2013-11-26 Microsoft Corporation Detection of configuration changes of an optical element in an illumination system
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US10234545B2 (en) 2010-12-01 2019-03-19 Microsoft Technology Licensing, Llc Light source module
TWI427558B (zh) * 2010-12-06 2014-02-21 Ind Tech Res Inst 遮蔽骨架之位置估算系統、遮蔽骨架之位置估算方法及遮蔽骨架之重建方法
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
US8618405B2 (en) 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8920241B2 (en) 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
US8884968B2 (en) 2010-12-15 2014-11-11 Microsoft Corporation Modeling an object from image data
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8724887B2 (en) 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8497838B2 (en) 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US9551914B2 (en) 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9067136B2 (en) 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US8503494B2 (en) 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8888331B2 (en) 2011-05-09 2014-11-18 Microsoft Corporation Low inductance light source module
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US9594430B2 (en) 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US8526734B2 (en) 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US8597142B2 (en) 2011-06-06 2013-12-03 Microsoft Corporation Dynamic camera based practice mode
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US10049482B2 (en) 2011-07-22 2018-08-14 Adobe Systems Incorporated Systems and methods for animation recommendations
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US10748325B2 (en) 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US8666119B1 (en) * 2011-11-29 2014-03-04 Lucasfilm Entertainment Company Ltd. Geometry tracking
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8879831B2 (en) 2011-12-15 2014-11-04 Microsoft Corporation Using high-level attributes to guide image processing
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CN102663779A (zh) * 2012-05-03 2012-09-12 西安电子科技大学 基于随机高斯隐变量的人体运动跟踪方法
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
KR101911133B1 (ko) 2012-06-21 2018-10-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 깊이 카메라를 이용한 아바타 구성
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
JP5991052B2 (ja) * 2012-07-09 2016-09-14 富士通株式会社 更新装置、更新方法、および更新プログラム
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
TWI466062B (zh) 2012-10-04 2014-12-21 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
US8882310B2 (en) 2012-12-10 2014-11-11 Microsoft Corporation Laser die light source module with low inductance
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
JP6051991B2 (ja) 2013-03-21 2016-12-27 富士通株式会社 信号処理装置、信号処理方法、及び信号処理プログラム
US9953213B2 (en) 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US9508385B2 (en) 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
CN103750927B (zh) * 2014-01-07 2016-01-20 杭州电子科技大学 下肢假肢膝关节自适应迭代学习控制方法
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
US9361694B2 (en) * 2014-07-02 2016-06-07 Ittiam Systems (P) Ltd. System and method for determining rotation invariant feature descriptors for points of interest in digital images
CN104463118A (zh) * 2014-12-04 2015-03-25 龙岩学院 一种基于Kinect的多视角步态识别方法
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
US10412280B2 (en) 2016-02-10 2019-09-10 Microsoft Technology Licensing, Llc Camera with light valve over sensor array
US10257932B2 (en) 2016-02-16 2019-04-09 Microsoft Technology Licensing, Llc. Laser diode chip on printed circuit board
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
CN105975923B (zh) * 2016-05-03 2020-02-21 湖南拓视觉信息技术有限公司 用于跟踪人体对象的方法和系统
EP3475920A4 (en) 2016-06-23 2020-01-15 Loomai, Inc. SYSTEMS AND METHODS FOR GENERATING HUMAN HEAD COMPUTER-BASED ANIMATION MODELS FROM CAPTURED DATA IMAGES
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10372228B2 (en) 2016-07-20 2019-08-06 Usens, Inc. Method and system for 3D hand skeleton tracking
JP6923789B2 (ja) 2017-07-05 2021-08-25 富士通株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び情報処理システム
US10198845B1 (en) 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
JP7294402B2 (ja) * 2019-03-04 2023-06-20 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
US11222428B2 (en) 2019-04-08 2022-01-11 Sony Group Corporation Determining golf swing characteristics
US11551393B2 (en) 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
CN111538776B (zh) * 2020-03-19 2021-10-01 浙江中海达空间信息技术有限公司 多层认知约束的高维地理空间数据聚焦可视化方法
KR102254290B1 (ko) 2020-11-18 2021-05-21 한국과학기술원 모션 처리 방법 및 장치
US11763527B2 (en) 2020-12-31 2023-09-19 Oberon Technologies, Inc. Systems and methods for providing virtual reality environment-based training and certification

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115052A (en) * 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6240198B1 (en) 1998-04-13 2001-05-29 Compaq Computer Corporation Method for figure tracking using 2-D registration
US6256418B1 (en) 1998-04-13 2001-07-03 Compaq Computer Corporation Method and system for compressing a sequence of images including a moving figure
US6269172B1 (en) 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6591146B1 (en) * 1999-09-16 2003-07-08 Hewlett-Packard Development Company L.C. Method for learning switching linear dynamic system models from data
US7035431B2 (en) * 2002-02-22 2006-04-25 Microsoft Corporation System and method for probabilistic exemplar-based pattern tracking
JP2003344012A (ja) * 2002-05-29 2003-12-03 Sony Corp 位置認識装置および位置認識方法
ATE528724T1 (de) * 2002-08-30 2011-10-15 Mvtec Software Gmbh Auf hierarchischen gliedern basierte erkennung von gegenständen
US7257237B1 (en) * 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
JP4348202B2 (ja) * 2004-01-21 2009-10-21 日本放送協会 顔画像認識装置及び顔画像認識プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514109A (ja) * 2005-10-28 2009-04-02 本田技研工業株式会社 人体モーションの追跡に関する判別モーションモデリング

Also Published As

Publication number Publication date
WO2007053484A2 (en) 2007-05-10
US20070104351A1 (en) 2007-05-10
JP2009514111A (ja) 2009-04-02
US7450736B2 (en) 2008-11-11
WO2007053484A3 (en) 2007-12-21

Similar Documents

Publication Publication Date Title
JP4625129B2 (ja) 座標化された混合因子分析法を用いた３次元ヒューマンモーションの単眼追跡
Oprea et al. A review on deep learning techniques for video prediction
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
Gall et al. Optimization and filtering for human motion capture: A multi-layer framework
Taylor et al. The vitruvian manifold: Inferring dense correspondences for one-shot human pose estimation
Dornaika et al. On appearance based face and facial action tracking
JP7178396B2 (ja) 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法およびコンピュータシステム
Li et al. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
Karunratanakul et al. A skeleton-driven neural occupancy representation for articulated hands
EP2710557B1 (en) Fast articulated motion tracking
Petit et al. Tracking elastic deformable objects with an RGB-D sensor for a pizza chef robot
CN113168710A (zh) 三维对象重建
Hou et al. Real-time body tracking using a gaussian process latent variable model
Wu et al. Handmap: Robust hand pose estimation via intermediate dense guidance map supervision
JP2008544404A (ja) 薄板スプライン変換を用いて非剛体運動をモデル化するための直接的方法
US20110208685A1 (en) Motion Capture Using Intelligent Part Identification
US9111172B2 (en) Information processing device, information processing method, and program
Xia et al. Human motion recovery jointly utilizing statistical and kinematic information
Aristidou Hand tracking with physiological constraints
Krzeszowski et al. Articulated body motion tracking by combined particle swarm optimization and particle filtering
Ho et al. A multi-view vision-based hand motion capturing system
CN112419419A (zh) 用于人体姿势和形状估计的系统和方法
JP4692969B2 (ja) 特徴点探索装置、画像解析装置、および最近傍特徴点検出方法
Ge et al. An improved U-net architecture for image dehazing
CN115965765A (zh) 一种基于神经变形的可变形场景中人体运动捕捉方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090714

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090714

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101104

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4625129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250