JP6668239B2 - 数を減らした装着センサセットを用いたモーショントラッキング - Google Patents

Description

本開示は、概してモーション解析の分野に関し、特に、数を減らした装着センサセットを用いた、連結されたセグメントを有する対象物の動作のモデリング及びトラッキングに関する。

研究環境及び商用環境の両環境において用いられる物体または解剖学的身体のモーショントラッキングについては、現在、様々な解決策が存在する。数ある中で、従来のモーショントラッキングスキームでは、光学式モーショントラッキング、慣性式モーショントラッキング、装着マーカー及びセンサのトラッキング、及びコンピュータビジョン技術が採用されている。

光学式モーショントラッキングでは、一般的に、外部カメラと一組の着用式反射マーカーとを用いて正確なモーショントラッキングが行われる。センチメートル以下の精度レベルでのモーションキャプチャが可能であるため、光学式モーショントラッキングは、現在、エンターテイメントや映画の登場人物のアニメーション、生体医学的応用等を含む様々な応用に用いられている。しかしながら、光学式モーショントラッキングにも、いくつかの欠点がある。例えば、光学モーショントラッキングの実装には、通常、高額のシステム費用や、数十個の装着マーカーを身に着ける不快感、モーションキャプチャ容量の制限、オクルージョンや照明条件に対する感受性、時間のかかる後処理が伴う。

慣性式モーショントラッキングでは、一組の慣性センサを対象体のセグメントのほとんどに固設し、各セグメントの方向を、取り付けた慣性センサにより生体力学モデルと関連づけて測定して対象体の姿勢を予測する。米国特許第８，１６５，８４４号明細書に開示されているような慣性式モーショントラッキング技術を採用したＸｓｅｎｓＭＶＮシステムといった市販の製品では、対象体に取り付けられるおよそ１７個のセンサを用いる。このような手法により、従来の光学式モーショントラッキングに関連する制限のいくつかが解消される。例えば、実質的に自己充足的装着の解決策であるため、この手法により、より大きな動作自由度とより大きなキャプチャ容量が得られる。また、この手法では、光学式システムと非常に近い精度レベルが得られる。

しかしながら、この解決策は依然として比較的多数の着用式センサを必要とし、これはシステム費用の増加を伴うだけでなく、特にゲームや日常生活動作のモニタリングといった非特殊型の応用や非専用の使用シナリオにおいて、望ましくない障害を引き起こしうる。

上述した制限を緩和しようと、近年の開発の中には、限られた数のセンサまたは光学マーカーを用いて正確なモーショントラッキングを実現しようとしてきたものもある。このような解決策は、通常、全身姿勢を推定するために機械学習手法やデータ駆動型手法を用いる。しかしながら、使用される入力測定値の次元が低いために、また別の欠点がある。一手法では、比較的少ない（約６〜９個）光学マーカー及び同期された２つのカメラが用いられる。この手法は、確かにシステムの複雑さ及び費用の減少をもたらすが、依然として費用のかかる外部インフラを必要としており、さらには、キャプチャ容量、使用自由度、オクルージョン及び照明条件に対する基本的な制限を示す。

別の手法では、比較的少ない慣性センサを市販の外部音響位置決めシステムと組み合わせる。着用式センサの数が減り、性能は従来の全身モーションキャプチャシステムと近いが、外部フレームに対するセンサ位置を評価するための外部インフラが必要であるために、その領域や使用中の一般化が大きく制限される。さらに別の手法では、手首と足首に配置される約４つの加速度センサを用いて対象体のモーショントラッキングを行う。これらのセンサは、低センサコスト及び低電力消費要件であるため、ブレスレット、アンクレット、ストラップ等に比較的容易に組み込むことが可能であり、最小の障害で便利に身に着けることが可能である。しかしながら、得られる性能については、実際の（高忠実度の）モーショントラッキングにおいて求められるものとは程遠い。

一般的なコンピュータビジョン技術では、１つの外部デプスカメラだけを用いてそのユーザのモーションキャプチャを行う。この手法は、トラッキング対象がセンサやマーカーを身に着ける必要がないという利点がある一方、依然として、精度や、オクルージョン及び照明条件に対する感受性、キャプチャ容量の点では明らかな制限がある。さらに、トラッキング対象は、デプスカメラとその関連システムの場所に拘束される比較的小さい空間領域に閉じ込められる。このような制限はゲームへの応用のような特有の応用に関してはささいなことかもしれないが、全体の動作自由度に対してはかなりの制約があり、これは、他の種類の応用での使用やより一般的な環境では望ましくないと思われる。

本開示は、上述した問題の１つ以上に対処するシステム及び方法に関する。しかしながら、いずれかの特定の問題の解決策は、明記されている場合を除き、本開示の範囲または添付の特許請求の範囲を制限するものではないことが理解されるだろう。加えて、この背景技術の欄に問題点または解決策が含まれることは、特に明記されている場合を除き、当該問題点または解決策が既知の先行技術を表すことを示すものではない。

本開示の一態様に従い、複数の連結されたセグメントを有する移動体のモーショントラッキングシステムが提供される。このシステムは、少なくとも、限られた数の検知ユニットと、トラッキングモジュールと、データベースモジュールを備える。検知ユニットは、上記セグメントの１つ以上に結合され、当該セグメントの１つ以上の特徴に対応するセンサ信号を生成するように構成されている。トラッキングモジュールは、検知ユニットと通信しており、センサ信号をもとにセグメントの３次元方向及び３次元位置を決定するように構成されている。データベースモジュールは、トラッキングモジュールと通信しており、移動体の姿勢をセグメントの３次元方向及び３次元位置と関連付けるように構成されている。

本開示の別の態様に従い、複数の連結されたセグメントを有する移動体のモーショントラッキング方法が提供される。この方法では、上記セグメントの１つ以上に結合された限られた数の検知ユニットを用いて、該検知ユニットから１つ以上のセンサ信号を受信する。この方法では、センサ信号をもとにトラッキングモジュールにおいてセグメントの３次元方向の推定及び３次元位置の予測を行う。また、この方法では、セグメントの３次元方向及び３次元位置をデータベースモジュールに送信する。この方法では、さらに、移動体の姿勢をセグメントの３次元方向及び３次元位置と関連付ける。

本開示のさらに別の態様に従い、複数の連結されたセグメントを有する移動体のモーションキャプチャ方法が提供される。この方法では、上記セグメントの１つ以上に結合された限られた数の検知ユニットを用いて、該検知ユニットから１つ以上のセンサ信号を受信する。この方法では、センサ信号をもとにトラッキングモジュールにおいてセグメントの３次元方向の推定及び３次元位置の予測を行う。また、この方法では、センサ信号をもとにトラッキングモジュールにおいてセグメントの３次元位置を補正する。この方法では、さらに、セグメントの３次元方向及び３次元位置をデータベースモジュールに送信し、移動体の姿勢をセグメントの３次元方向及び３次元位置と関連付ける。

開示されるシステム及び原理の他の特徴及び利点は、以下の詳細な開示を含まれる図面と併せて読むことにより明らかになるだろう。

限られた数のセンサを用いてトラッキングされる移動体のモデル表現を示した概略図である。 開示される原理に従って構成されたモーショントラッキングシステムの一例を示した概略図である。 開示される原理に従って構成されたモーショントラッキングシステムの他の例を示した概略図である。 開示される原理に従って構成されたモーショントラッキングシステムを動作させるためのアルゴリズムまたは方法の一例を示した線図である。 様々な活動及び様々なセンサの組み合わせについて、提案される解決策により得られるＲＭＳ全身セグメント位置誤差を、従来の１７個のセンサによるモーションキャプチャシステムと比較して示した棒グラフである。 ３つの異なる動作に関して、ビデオ録画の場合のスナップショット例と、これに対応する、１７個のセンサによる全身モーションキャプチャ及び提案される数を減らしたセンサセットを用いたモーション再現を示す。

以下、本開示の好ましい実施形態について、添付の図面を参照しながら説明する。以下の説明では、不必要な詳細で本開示がわかりにくくなることを避けるために、公知の機能または構成についての詳細な説明は行わない。対象であるシステムの様々な構成要素及び機能について詳細な考察をする前に、当該システムの概要を説明する。

図１を参照すると、検知ユニット１００を有する本開示の実施形態の実装の一例が、例えば関節１０６により連結された複数の可動セグメント１０４を有する解剖学的身体１０２のような移動体と関連して提示されている。具体的には、限られた数の検知ユニット１００、例えば、わずか約４つの装着式または着用式の検知ユニット１００を用いて、トラッキング対象１０２のセグメント１０４の１つ以上に結合することができる。図１に示した特定の実施形態では、例えば、２つの検知ユニット１００を対象体１０２の手首１０６−１に近接して取り付け、さらに２つの検知ユニット１００を足首１０６−２に近接して取り付けることができる。異なる実施形態では、例えば、第５の検知ユニット１００を対象体１０２の中心に取り付けることもできる。尚、より少ないまたは追加の検知ユニット１００を、添付の特許請求の範囲から逸脱することなく、身体１０２または他の被トラッキング物に同様のまたは代替の配置で採用することができることが理解されるだろう。

一実施形態では、検知ユニット１００は、３Ｄ加速度計、３Ｄジャイロスコープ、３Ｄ磁力計等のいずれか１つ以上を備えることができる。別の実施形態では、検知ユニット１００は、代替的にまたは付加的に、圧力センサと、測距ユニット、または検知ユニット１００間の相対距離を評価するための手段を備えることができる。さらなる変形形態では、適切な検知ユニット及び／または測距ユニットの他の組み合わせを用いることができる。ここで開示される実施形態は例示のみを目的とすること、所望の応用に応じて、代替となる、異なる検知手段及び／または測距手段の組み合わせ、配置または部分要素を用いることができることが理解されるだろう。磁気的に妨害される環境を伴う応用の場合、例えば、ジャイロスコープ及び加速度計のセンサ指示値のみを用いることができる。別の変形形態では、３Ｄ加速度計、３Ｄジャイロスコープ及び３Ｄ磁力計を、例えば、圧力センサのみと統合することができる。

検知ユニット間の相対距離は種々のテクノロジーや技術により得られる。双方向測距おオペレーションモードで超広帯域（ＵＷＢ）無線を使用する場合、例えば、関連する無線トランシーバにより一対の所与の検知ユニット１００間の相対距離の測定手段を直接的に得ることが可能である。加えて、音響信号を使用する場合、例えば、専用の無線テクノロジー、例えば米国特許出願公開第２０１１／０１０９４３８号明細書に開示される無線通信プロトコルを用いて、検知ユニット１００を（およそマイクロ秒範囲の分解能で）同期させることが可能である。このような方法では、オーディオトランスミッタとオーディオレシーバとの間の単一の伝送の飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ；ＴＯＦ）を、このようなノードは共通の基準クロックを共有しているので、これに空気中の音速を直接乗算することにより、即座に対応する距離に変換することが可能である。

さらに、音響信号を用いる場合、音の伝播速度が比較的低いため、通常、１秒あたりの距離伝送の大幅な増加が許容されておらず、よって、共通の基準クロックに従って同期されるノード間の測距が容易である。特に、２つのノード間の一対の伝送により距離推定値が１つだけ得られる双方向測距オペレーションとは異なり、トランスミッタノードと複数のレシーバノードとの間の距離推定値を得るために必要なのは単一のブロードキャストまたは伝送のみである。対照的に、例えば、ＵＷＢトランシーバを使用して無線信号を用いる場合、関連パケット持続時間は１７０マイクロ秒程度と低くてもよく、よって、すべての所与の着用式検知ユニット１００間で高速の測距更新を潜在的に許容している。図１には、トラッキングモジュール１０７についても、ユーザが身に着けているスマートフォン装置上で実装される具体例で示している。異なる実施形態では、トラキングモジュールは、代替的に、ユーザの身体上またはそのすぐ近くに配置されるタブレット、パーソナルコンピュータ、またはコンソールゲーム機上に実装することができる。トラッキングモジュールの実装及び機能の例は以下に明らかにする。

次に図２を見ると、複数の連結されたセグメント１０４を有する図１の解剖学的身体１０２のような移動体のモーショントラッキングを行うシステム２００の実施形態の一例が概略的に開示されている。このモーショントラッキングシステム２００は、通常、一組の検知ユニット２０２と、トラッキングモジュール２０４と、データベースモジュール２０６を備えることができる。図示のように、このシステム２００は、それぞれ対応するセグメント１０４及び／または、例えば図１の対象体１０２の手首１０６−１や足首１０６−２のような関節１０６に取り付けることができる限られた数の検知ユニット２０２を用いることができる。さらに、検知ユニット２０２は、対応するセグメント１０４及び／または関節１０６の所望のパラメータを測定するための３Ｄ加速度計、３Ｄジャイロスコープ、３Ｄ磁力計及びその他の検知手段の適切な組み合わせを備えることができる。検知ユニット２０２の代替的な組み合わせ及び配置は当業者には明らかであろう。

図２の検知ユニット２０２は、対応するセグメント１０４の姿勢、方向、動作、位置、速度、加速度、角速度、近接及び／または他の関連パラメータを表示するセンサ信号を生成するように構成することができる。図示のように、センサ信号は、さらに、有線手段及び／または無線手段を介してトラッキングモジュール２０４に送信することができる。受信したセンサ信号をもとに、トラッキングモジュール２０４は、通常、被トラッキングセグメント１０４の方向を決定するとともに被トラッキングセグメント１０４の新たな位置またはその位置における対応する変化を算出することができる。トラッキングモジュール２０４は、付加的に、セグメント１０４の方向や予測位置といった被トラッキングパラメータまたは特徴をデータベースモジュール２０６に送信することができる。これに応答して、データベースモジュール２０６は、被トラッキング物１０２の全体姿勢をトラッキングモジュール２０４から与えられた特徴と関連付けて、当該イテレーションで得られた物体１０２の姿勢に関わる情報を出力することができる。データベースモジュール２０６は、さらに、姿勢情報をフィードバックとしてトラッキングモジュール２０４に返送することができ、トラッキングモジュール２０４は、その後のイテレーションを補正するための基準または手段としてこれを利用することができる。

さらに、図２のデータベースモジュール２０６は、モーショントラッキングシステム２００内の独立した構成要素として図示されているが、このような分離は便宜的に示しただけであること、実際の実装は様々でありうることが理解されるであろう。例えば、一実施形態では、データベースモジュール２０６は、集中的に（例えば、ユーザが所持しているスマートフォン内またはトラッキングモジュール２０４が使用する検知ユニット２０２の１つの内部に設けられて）または分散的に（例えば、検知ユニット２０２のそれぞれまたはこのいくつかの内部に配置されて）着用配置内に組み込むことができる。別の実施形態では、データベースモジュール２０６は、物理的に離れた場所ではあるが、着用配置の比較的ごく近くに、例えば、コンピュータ、タブレット、コンソールゲームハードウェアなどの中に存在することができる。さらに別の実施形態では、データベースモジュール２０６は、着用配置から遠く離れて、例えば、権限を有する多数のユーザまたはグループが動的アクセスを有することができる集中グローバルデータベースの形態で置くことができる。このような配置の１つでは、トラッキングモジュール２０４は、例えばＷｉＦｉやＬＴＥ、または他の適切な通信プロトコルを介して、モーションキャプチャセッションの間グローバルデータベースと通信することができる。このような配置の別の１つでは、グローバルデータベースの関連部分をモーショントラッキングセッションの開始時にダウンロードし、これを用いて、セッションの間トラッキングモジュール２０４がアクセス可能なローカルデータベースを生成することができる。このローカルデータベースは、例えば、ユーザ固有パラメータ（例えば、身体寸法、トレーニングレベル等）に従って、及び／またはトラッキングする特定の行為または動作（例えば、歩行、ランニング、運動、ゲーム等）に従って生成することができる。特定の行為または動作に関わる情報は、ユーザにより直接入力されても、関連分類アルゴリズムにより与えられてもよい。一実施形態では、データベースは専用のオフライントレーニンフェーズで生成される。異なる実施形態では、データベースは、例えば既知の教師なし学習アルゴリズムを用いて、動作に関する特定のユーザ特性に従って動的に拡張することが可能である。

図２の特定の例では、トラッキングモジュール１０２は、検知ユニット２０２により与えられるセンサ信号に対してセンサ・フュージョン技術を適用して、例えば所与の地理的位置にもとづく重力及び磁北により定義されるローカル基準フレームと関連して表される、ｋ番目のサンプルタイムにおけるｎ番目の検知ユニット２０２（ｎは１〜Ｎ、Ｎは使用中の検知ユニット２０２の総数）の方向

を得ることができる。各検知ユニット２０２の先の位置

に対する新たな位置

は、例えば以下の（１）をもとに、自由加速度の二重積分により算出することもできる。

太字の記号はベクトルを示し、

は更新間隔であり、

は速度であり、

はｎ番目の検知ユニット２０２の自由加速度である。さらに、速度

は、以下をもとに算出することができる。

また、

は以下により定義することができる。

＊は四元数の乗算演算を示し、

はセンサの加速度指示値であり、

は重力ベクトルである。各検知ユニット２０２の方向、加速度及び位置は、助走中または専用のキャリブレーションフェーズにおいて推定することが可能な回転・並進ベクトルを用いて、それぞれのセグメント１０４の方向、加速度及び位置と相互に関係づけることが可能である。加えて、便宜上、このような数量はすべて、以下により具体的に説明するように、関連身体セグメント１０４に共通の基準フレームに対して表すことができる。

引き続き図２のモーショントラッキングシステム２００の一例を参照すると、トラッキングモジュール２０４により決定される検知ユニット２０２の方向

や位置

といったパラメータまたは特徴は、データベースモジュール２０６に送信することができ、データベースモジュール２０６がこれを用いて対応する身体または物体１０２の姿勢を推定することができる。特に、データベースモジュール２０６は、１つ以上の所定情報の入力を含むまたはこれに対するアクセスを有することができ、トラッキングモジュール２０４により与えられる個別にトラッキングされたセグメント１０４のパラメータまたは特徴をこれらの入力と比較することができる。例えば、上記入力は、例えば各身体セグメント１０４の予め定義された方向という形をとった一組または複数組の可能姿勢や、縮尺情報、及び／またはその他の被トラッキング体１０２及び／またはそのセグメント１０４に関連する情報を含むことができる。さらに、データベースモジュール２０６は、予め定義された姿勢の内、所与のイテレーションについてトラッキングモジュール２０４により与えられたパラメータまたは特徴に最も近似したものを１つ選択することにより、姿勢を推定することができる。

データベースモジュール２０６は、様々な基準のいずれか１つ以上をもとに最も近似した姿勢を選択することができる。一実装において、例えば、データベースモジュール２０６は、（トラッキングモジュール２０４により特徴づけられた）被トラッキングセグメント１０４の特徴と、（予め定義された姿勢において特徴づけられた）対応するセグメント１０４の特徴との間で測定された重み付き距離の点で最も不一致度が小さい姿勢を選択することができる。このような重み付き距離は、例えば、特徴空間におけるユークリッド距離を用いて測定することができる。別の実装では、データベースモジュール２０６は、一組の近似姿勢、または対応する被トラッキングセグメント１０４との重み付き距離の不一致度が極小であるセグメント１０４を有する姿勢から導出した平均姿勢にもとづく姿勢を選択することができる。さらに別の実装では、先の姿勢選択を用いて、被トラッキング体１０２またはそのセグメント１０４の具体的な動作を予測または推測することができる。このような例の１つでは、データベースモジュール２０６は、イテレーション間の動作または移行がよりスムーズな出力を行うために、先に選択した姿勢に最も近似する一組の予め定義された姿勢を優先するように構成することができる。別の関連する例では、マルコフモデルを用いて、時間に対する一定の姿勢間遷移確率を関連付けることができる。例えば、関連状態遷移マトリクスは、姿勢データベースの生成に使用したものと同じトレーニングフェーズにおいて、恐らくは既知の次元削減技術と併せて得ることができる。さらに別の関連する例では、先に推定または選択した一組の姿勢から動的モデルを生成して、これを用いて新たな姿勢を予測することができる。代替の変形形態では、モーショントラッキングシステム２００またはデータベースモジュール２０６は、関連技術において一般に用いられる他の適切な機械学習技術に従って構成することができる。

再び図２のトラッキングモジュール２０４を参照すると、トラッキングモジュール２０４が自由加速度またはその二重積分をもとに位置を算出するための上記（１）の関係は、比較的短い時間フレームに適用される時はほぼ正確な結果を得られるが、より長いタイムスパンではドリフトする傾向もある。例えば比較的小さく安価なＭＥＭＳセンサからなる３Ｄ加速度計及び３Ｄジャイロスコープを用いる場合、約１秒以下の時間フレーム内では、通常、誤差は無視できる程度である。しかしながら、このような時間フレームを超えると、集合的な位置ドリフトによりかなりの誤差が生じる。この問題に対処すべく、例えば、図２に図示するようにデータベースモジュール２０６の出力をトラッキングモジュール２０４にフィードバックすることができる。特に、所与のトラッキングセッションが一組の連結されたセグメント１０４内に限定され、その位置推定値は、該連結されたセグメント１０４のモデルにより効果的に制約される。これは、潜在的に即座の正確な結果を可能にするだけでなく、長期にわたる基本的にドリフトフリーな一致を可能とする。例えば、被トラッキング体１０２の手首１０６−１に配置された検知ユニット２０２は２メートル程度以下だけ離すことができる。例えば、基準セグメント１０４に対する検知ユニット２０２の位置は、推定された全身姿勢から抽出してトラッキングモジュール２０４に送信することができる。具体的な姿勢推定値の精度は時折（数センチメートルの範囲で）変動しうるが、それでも、フィードバック情報により、上記（１）の関係で特徴づけられる位置に対する自由加速度の積分の長期の安定化が可能となる。例えば、データベース駆動型の位置測定は以下によりモデル化することが可能である。

は、データベースモジュール２０６から与えられる全身姿勢から算出される（例えば、真の位置状態にノイズを加えたものにより得られる）ｎ番目の検知ユニット２０２の位置である。所与の応用シナリオ及びフレームワークに応じて、

は、無相関のガウスノイズとみなすか、または標準のカルマンフィルタリング以外のセンサ・フュージョン法と共に用いることが好ましいより複雑な分散のサンプルとみなすことができる。

結果として得られる、データベースモジュール２０６により推定された姿勢の精度は、限られた数の検知ユニット２０２のみを用いて高忠実度のトラッキングを提供するのに十分であろう。例えば、データベースモジュール２０６は、４つまたは５つの検知ユニット２０２を用いて、グランドトゥルースに対して、方向については数度のみ、位置については数センチのみの誤差の全身モーショントラッキングを行うことができる。これは、方向及び位置の両方のセンサ信号を、データベースモジュール２０６に入力するパラメータまたは特徴として用いているためである。方向関連パラメータまたは特徴のみにもとづくと、例えば、様々な動作を網羅するのに十分な性能が得られる。しかしながら、よりルーチン的な動作または移動では、再現される動作においてあいまいさが生じる。

以上、基本セグメント１０４に対する身体姿勢の推定について説明したが、外部の基準フレームに対する被トラッキング物１０２の絶対姿勢のトラッキングが所望される他の応用もある。これは、例えば、利用可能な加速度センサ信号を、重力要素を差し引いた後にローカルフレームにおいて積分することで達成される。積分に起因するドリフトは、ある程度は、身体セグメント１０４の１つ以上とその所定の周囲環境との間の接触をもとに制御することができる。例えば、周囲環境との接触が検出されたとき、ゼロ重力または位置更新を適用してドリフトを制限することができる。

限られた数の検知ユニット２０２しか有していないので、検知ユニット２０２が取り付けられていないセグメント１０４の動態を直接測定することは不可能であろう。例えば、検知ユニット２０２が被トラッキング体１０２の手首１０６−１及び足首１０６−２のみに設けられているときには、該被トラッキング体１０２の足セグメント１０４と所定の周囲環境との接触を断定的に検出することは難しいであろう。このような欠点を緩和するために、データベースのトレーニングまたは学習フェーズと同じように、接触点情報をアーキテクチャフレームワークに組み込み、データベースモジュール２０６が被トラキング体１０２とその周囲環境との間の起こりうる接触点についての関連する記述を含むようにすることができる。具体的な接触点パラメータまたは特徴は、トラッキングモジュール２０４により算出することができ、同様にデータベースモジュール２０６がこれを用いて接触発生の推定値を出すことができる。このようなパラメータまたは特徴は、検知ユニット２０２の加速度、速度または位置のいずれか１つ以上に関わる情報、セグメント１０４の方向、加速度、速度または位置のいずれか１つ以上に関わる情報、または全体的な身体姿勢に関する統計に関わる情報（例えば、質量中心、圧力中心等）を含むことができる。

次に図３を参照すると、複数の連結されたセグメント１０４を有する図１の解剖学的身体１０２のような移動体のモーショントラッキングを行うシステム３００の実施形態の別の例が概略的に提示されている。先の実施形態のように、このモーショントラッキングシステム３００は、通常、被トラッキングセグメント１０４の様々な測定値に対応する１つ以上のセンサ信号をトラッキングモジュール３０４に送信する限られた数の検知ユニット３０２を備えることができる。トラッキングモジュール３０４は、被トラッキングセグメント１０４のある特定のパラメータまたは特徴を算出または推定し、さらに処理するためにデータベースモジュール３０６に送信することができる。次に、データベースモジュール３０６は、当該イテレーションついて決定された移動体１０２の姿勢に関する情報を出力することができ、さらに、その後のイテレーションで用いるために、測定値更新をフィートバックとしてトラッキングモジュール３０４に与えることができる。

図２の実施形態と同様に、図３のシステム３００の検知ユニット３０２は、被トラッキング体１０２の対応するセグメント１０４及び／または関節１０６の所望のパラメータまたは特徴を測定するための、３Ｄ加速度計、３Ｄジャイロスコープ、３Ｄ磁力計の適切な組み合わせを備えることができる。精度、安定性及び全体的なトラッキング性能の向上のために、検知ユニット３０２は、さらに、圧力センサまたは圧力検知手段と、検知ユニット３０２間の相対距離の直接的なまたは派生的な測定手段を提供することが可能な測距ユニットまたは測距手段が組み込むことができる。より詳細には、圧力センサは、例えば以下の圧力と高さとの関係を用いて、対応する検知ユニット３０２の高さを測定するための手段を提供することが可能である。

ｂは圧力センサの指示値であり、ｈは対応する高さ推定値であり、ｂ_０は基準圧力値であり、ｃ_１及びｃ_２は定数である。高さ推定値ｈは、大気条件の変動や、ノイズ及びその他のバイアスに影響されやすいだろうが、実際には、適切な予備キャリブレーションを実施すれば、検知ユニット３０２と基準値との間の相対高さの測定に信頼して使用することが可能である。例えば、ある検知ユニット３０２の高さは、同じ着用配置の他の検知ユニット３０２に対して、またはその着用配置のすぐ近くにある外部基準に対して推定することができる。さらに、選択されるモードまたは基準により、必要な算出または測定の数を決めることができる。加えて、典型的な圧力センサの分解能は、比較的大きく、例えばデシメートル範囲以上であり、よって、潜在的に外れ値に影響されやすいことがある。したがって、高さ推定値は、ベータベースモジュール３０６に送信する直接的な特徴として用いるよりも、上記（１）の関係における積分ドリフトを制限できるように測定値更新として用いる方がよい。例えば、ｎ番目の検知ユニット３０２の高さ測定値

は、以下によりモデル化することが可能である。

即ち、上記高さ測定値は、真の高さ状態にノイズを加えたものによりもたらされる。一実施形態では、検知ユニット３０２間の相対距離は、例えば、ＵＷＢ無線または音響信号を用いて得られる。用いられる具体的な技術や他の実装詳細によって、更新レートはおおむねＨｚ範囲や数百Ｈｚ範囲内とすることができ、典型的な分解能はセンチメートル範囲やデシメートル範囲内とすることができる。一実装では、一般ノードｍ，ｎ間の一組の相対距離ｒ^ｍ，ｎを用いて検知ユニット３０２の相対位置を推定することができる比較的疎結合であるフレームワークまたはアプローチが存在することができる。検知ユニット３０２の相対位置は、例えば、標準的な方法（例えば、ガウス・ニュートンソルバー）を適用することができる以下の非線形最少二乗式をもとに決定することができる。

推定されたセンサノード位置は、その後、特徴として直接的に、または関係（１）をもとに算出された検知ユニット３０２の位置を補正する手段として間接的に用いることができる。

しかしながら、上記疎結合アプローチは追加の考慮を必要とすることがある。例えば、ノードの実際の位置はまず並進と回転を解かなくては知ることができず、その位置を適切に推定するためには、距離推定値を備えた比較的多数の検知ユニット３０２が必要である。具体的には、解くべき未知数の数は、（３つの非同一線上のノードを選択することにより、Ｎ＊３個の未知の位置座標一式から原点及びｘ−ｙ軸を定義する６つの未知数を除いて）（Ｎ−２）＊３とすることができる。この特定の未知数の数により、ノード位置を推定するにはだいたい５つまたはそれ以上の検知ユニット３０２を必要とすることがある。加えて、オクルージョンが頻繁に起こりうる着用式センサ配置を伴う応用においては、外れ値や信号妨害を適切に補償するために、実質的にはより多くの検知ユニット３０２を必要とすることがある。したがって、このような考慮事項に対処するために、上述した疎結合アプローチを密結合アプローチと置き換えることができる。より具体的には、各相対距離を入手可能な場合は、これを、例えば以下をもとに、図３のトラッキングモジュール３０２において測定値更新として直接的に用いることができる。

これは、例えば以下のヤコビアン式を用いて、さらに線形化することが可能である。

このような方法では、上記（１）の関係と同じように、１つの即時距離更新であっても、有益に用いて、例えば少なくとも部分的に加速度の積分を安定化させ、位置の推定を助けることが可能である。

高さ及び距離の更新は、通常は有益であるが、ある一定の使用事例では全体的なトラッキング応用の安定性を妨げることがあることが容易に理解されるであろう。例えば、ある１つの検知ユニット３０２が、その他の検知ユニット３０２との関連で長時間にわたって妨害される状況（実際には対象体１０２による長時間のオクルージョンによりルーチン的に起こる）において、関連フレークワークの水平面内の各セグメント１０４の位置が観測不可能となり、望ましくないトラッキング結果となりうる。ＭＥＭＳタイプの慣性センサを用いた応用では、このようなオクルージョンは、潜在的にかなりの誤差を引き起こし、わずか１秒のトラッキング時間で結果を容認できないものにしうる。したがって、データベースモジュール３０２により推定された姿勢から得られる位置

を、位置状態をさらに安定化させることができるように、トラッキングモジュール３０４にフィードバックすることができる。

このような実施形態の１つでは、被トラッキングセグメント１０４の特徴と対応するデータベースセグメント１０４の特徴との間で測定された距離に、固定名称に従って重み付けをする。例えば、各特徴クラス（例えば、方向や位置）に対して、全体の重みのうち予め定めた比率をヒューリスティックに結びつけることができ、さらに、これを同じクラス内の全特徴間で等しく分割することができる。

別の関連実施形態では、被トラッキングセグメント１０４の特徴と対応するデータベースセグメント１０４の特徴との間で測定された距離の重みは、動的に調整されてトラッキングモジュール３０４からデータベースモジュール３０６に送信される。可能な実装の１つでは、方向及び位置の推定値の不確かさは、例えば適用されるセンサ・フュージョン技術により決まるが、これを用いて特徴間で測定された距離の各重みを制御することができる。したがって、例えば、特定のノードに対する距離更新が長時間利用できない場合、このノードの位置推定値の不確かさが大きくなり、データベースモジュール３０６は対応する位置特徴に結びつける重み値を小さくして、これが全体的な姿勢検知プロセス与える影響を減少させる。さらに別の可能な実装では、位置測定値の更新により得られる残差値を用いて重み付けシステムを調整することができる。例えば、データベース駆動型の位置更新を行って比較的大きい位置ベース残差が生じた場合、これは、トラッキングモジュール３０４とデータベースモジュール３０６との間で位置推定値が一致していないことを示していることになるだろう。これに応じて、データベースモジュール３０６は、対応する位置特徴に割り当てる重みを下げて、これにより生じる悪影響を減少させる。また、例えばジャイロスコープセンサが飽和した場合、しばらくの間方向の精度が悪化することがある。対応する方向特徴の重みを下げることにより、より好ましい結果が得られ、全体的な性能を向上させることができる。

図５は、本例では５つの検知ユニットを用いて、開示したシステム及び技術で達成可能なＲＭＳ全身セグメント位置誤差の例を、それぞれ異なる動作ついて、また、それぞれ異なる検知モダリティの組み合わせについて示している。これらの誤差は、従来の１７個のセンサを用いた全身モーションキャプチャにより得られる結果と対比して評価されている。この解決策は、再現されるセグメント位置においておよそ数センチメートルのみの誤差で正確なモーション再現結果を得ることができることがわかる。さらなる例として、図６は、３つの異なる動作について、現場をビデオ録画した場合のスナップショット例と、１７個のセンサによる全身モーションキャプチャと、提案した、センサ数を減らしたモーション再現を示している。この場合も、高レベルのモーション再現忠実度が達成されたことが明らかである。

上記各モーショントラッキングシステム２００，３００とそのトラッキングモジュール２０４，２０６及びデータベースモジュール２０６，３０６、並びにこれらの変形例は、センサ信号を処理して、上述の機能、または例えば図４のアルゴリズムまたは方法４００により概説するような機能を行うように適応させたまたはプログラムされたコントローラ、マイクロコントローラ、プロセッサ、マイクロプロセッサ等を有する、検知ユニット１００，２０２，３０２内に配設される慣性デジタル信号処理（ＤＳＰ）電気回路構成の組み合わせ、あるいは１つ以上のコンピューティングデバイスを用いて実装することができる。

図４におおまかに概説された方法４００の各イテレーションにおいて、トラッキングモジュール２０４，３０４は、まず、ステップ４００−１において、関連の検知ユニット１００，２０２，３０２からのセンサ信号の１つ以上を受信するように構成することができる。トラッキングモジュール２０４，３０４は、このセンサ信号をもとに、ステップ４００−２において被トラッキングセグメント１０４の対応する３次元方向を推定し、さらに、ステップ４００−３において被トラッキングセグメント１０４の対応する３次元位置を決定するように構成することができる。付加的なまたは任意のステップ４００−４ａにおいて、トラッキングモジュール２０４，３０４は、センサ信号をもとに、被トラッキングセグメント１０４の算出された３次元位置に対して必要な補正を加えるように構成することができる。ステップ４００−４ｂにおいて、トラッキングモジュール２０４，３０４は、データベースモジュールからの補正を加える。さらに、トラッキングモジュール２０４，３０４は、さらなる処理のために、ステップ４００−５において、評価済みの特徴、例えば被トラッキングセグメント１０４の３次元方向や３次元位置などをデータベースモジュール２０６，３０６に送信するように構成することができる。

データベースモジュール２０６，３０６は、トラッキングモジュール２０４，３０４により送信された特徴を受信すると、ステップ４００−６において対象体１０２の全身姿勢を被トラッキングセグメント１０４の３次元方向及び３次元位置と関連付けるように構成することができる。より詳細には、物体１０２の姿勢を、トラッキングモジュール２０４，３０４により与えられるセグメント特徴をもとに推定して、例えば、上記実施形態と併せて考察したように、被トラッキング物１０２の予め定義された予測姿勢のデータベースから選択することができる。所与のイテレーションについての被トラッキング物１０２の推定姿勢に関する対応情報は、その後、データベースモジュール２０６，３０６により出力し、モーショントラッキングシステム２００，３００と通信することができる１つ以上の補助装置に供給することができる。ステップ４００−７において、データベースモジュール２０６，３０６は、さらに、被トラッキング物１０２の推定姿勢を、例えばフィードバックとして使用するためにまたはその後のイテレーションでの測定値の更新のために、トラッキングモジュール２０４，３０４の入力に返送するように構成することができる。例えば、推定姿勢は、ステップ４００−４ｂに返送することができる。

本開示により、複数の連結された可動セグメントを有する移動体のモーショントラッキングシステム及び方法が提供されることが理解されるであろう。いくつかの実施形態のみを挙げたが、当業者にとっては、上記記述から代替形態及び変形形態が明らかであろう。これらの及びその他の代替形態は、同等物であり、且つ本開示及び添付の請求項の趣旨及び範囲に含まれると考えられるものである。

Claims (31)

1. 複数の連結されたセグメントを有する移動体のモーショントラッキングシステムであって、
   前記セグメントの一部に結合され、当該セグメントの１つ以上の特徴に対応するセンサ信号を生成するように構成された検知ユニットと、
   前記検知ユニットと通信しており、前記センサ信号をもとに少なくとも前記セグメントの３次元方向及び３次元位置を決定するように構成されたトラッキングモジュールと、
   前記トラッキングモジュールと通信しており、前記移動体の姿勢を前記セグメントの前記３次元方向及び前記３次元位置と関連付けるように構成されたデータベースモジュールを備えたシステム。
2. 前記データベースモジュールは、前記セグメントの前記３次元方向及び前記３次元位置と関連付けられた前記移動体の前記姿勢を前記トラッキングモジュールに送信するように構成された請求項１記載のシステム。
3. 前記検知ユニットは、３Ｄ加速度計、３Ｄジャイロスコープ及び３Ｄ磁力計の１つ以上を含む請求項１記載のシステム。
4. 前記検知ユニットは、さらに圧力センサ及び測距ユニットを備え、前記トラッキングモジュールは、一対または複数対の前記検知ユニット間の相対距離を決定するように構成された請求項１記載のシステム。
5. 前記トラッキングモジュールは、ユーザ身体上に、またはユーザ身体に極めて近接して設けられるスマートフォン、タブレット、パーソナルコンピュータまたはコンソールゲーム機のいずれかにおいて実装される請求項１記載のシステム。
6. 前記検知ユニットは１つ以上の３Ｄ加速度計を含み、前記トラッキングモジュールは、前記３Ｄ加速度計からのセンサ信号から重力要素を減じたものを二重積分することにより前記３次元位置を予測するように構成された請求項１記載のシステム。
7. 前記トラッキングモジュールは、前記３次元方向及び前記３次元位置の１つ以上を、同じくデータベースモジュールに送信される重みと関連付けるように構成された請求項１記載のシステム。
8. 前記トラッキングモジュールは、各セグメントの前記３次元方向、前記３次元位置及び３次元加速度を、基準セグメントの３次元方向、３次元位置及び３次元加速度に対して決定するように構成された請求項１記載のシステム。
9. 前記トラッキングモジュールは、前記セグメントの付加的な特徴を算出し、前記移動体と所定の周囲環境との間の接触を検出できるように前記付加的な特徴を前記データベースモジュールに送信するように構成され、前記付加的な特徴は、前記検知ユニットと関連する前記セグメントの１つ以上についての速度、加速度及び位置の１つ以上を含み、前記データベースモジュールは、前記移動体と前記所定の周囲環境との間の検出された接触をもとに前記移動体の速度測定値及び位置測定値の１つ以上を更新するように構成された請求項１記載のシステム。
10. 複数の連結されたセグメントを有する移動体のモーショントラッキングを、前記セグメントの１つ以上に結合された検知ユニットを用いて行う方法であって、
    前記検知ユニットから１つ以上のセンサ信号を受信すること、
    前記センサ信号をもとにトラッキングモジュールにおいて前記セグメントの３次元方向を推定すること、
    前記センサ信号をもとに前記トラッキングモジュールにおいて前記セグメントの３次元位置を予測すること、
    前記セグメントの前記推定された３次元方向及び前記セグメントの前記予測された３次元位置をデータベースモジュールに送信すること、
    前記データベースモジュールにおいて、前記セグメントを含む前記移動体の姿勢を、前記トラッキングモジュールから送信された前記セグメントの前記３次元方向及び前記３次元位置と関連付けること、
    前記移動体の前記関連付けられた姿勢を前記データベースモジュールから前記トラッキングモジュールに送信し、前記トラッキングモジュールにおいてこの姿勢をもとに前記セグメントの前記予測された３次元位置を補正することを含む方法。
11. 前記セグメントの前記３次元位置は、先に予測された３次元位置を用いて予測される請求項１０記載の方法。
12. 前記移動体は、関節により拘束された一組の連結セグメントとしてモデル化される解剖学的身体である請求項１０記載の方法。
13. 前記検知ユニットは、少なくとも、３Ｄジャイロスコープ、３Ｄ加速度計及び３Ｄ磁界センサの１つ以上を含む請求項１０記載の方法。
14. 前記セグメントの前記３次元方向は、前記検知ユニットにより生成される前記センサ信号に適用されるセンサ・フュージョン手段により算出される請求項１０記載の方法。
15. 前記検知ユニットは１つ以上の３Ｄ加速度計を含み、前記検知ユニットの前記３次元位置は、前記３Ｄ加速度計により生成されるセンサ信号から重力要素を減じたものを二重積分することにより予測される請求項１０記載の方法。
16. 前記３次元方向及び前記３次元位置の１つ以上が重みと関連付けられ、当該重みは前記データベースモジュールに送信される請求項１０記載の方法。
17. 前記移動体の前記姿勢は、前記セグメントの前記３次元位置に関して前記データベースモジュールから前記トラッキングモジュールに送信される請求項１０記載の方法。
18. 各セグメントの前記３次元方向、前記３次元位置及び３次元加速度は、基準セグメントの３次元方向、３次元位置及び３次元加速度に対して決定される請求項１０記載の方法。
19. 前記トラッキングモジュールにおいて前記セグメントの付加的な特徴を算出すること、
    前記付加的な特徴は、前記検知ユニットと関連する前記セグメントの１つ以上についての速度、加速度及び位置の１つ以上を含み、前記移動体と所定の周囲環境との間の接触を検出できるように前記付加的な特徴を前記データベースモジュールに送信すること、
    前記移動体と前記所定の周囲環境との間の検出された接触をもとに前記移動体の速度測定値及び位置測定値の１つ以上を更新することをさらに含む請求項１０記載の方法。
20. 複数の連結されたセグメントを有する移動体のモーションキャプチャを、前記セグメントの１つ以上に結合された検知ユニットを用いて行う方法であって、
    前記検知ユニットから１つ以上のセンサ信号を受信すること、
    前記センサ信号をもとにトラッキングモジュールにおいて前記セグメントの３次元方向を推定すること、
    前記センサ信号をもとに、前記トラッキングモジュールにおいて前記セグメントの３次元位置を先に予測された３次元位置を用いて予測すること、
    前記セグメントの前記推定された３次元方向及び前記セグメントの前記予測された３次元位置をデータベースモジュールに送信すること、
    前記データベースモジュールにおいて、前記セグメントを含む前記移動体の姿勢を、前記トラッキングモジュールから送信された前記セグメントの前記３次元方向及び前記３次元位置と関連付けること、
    前記移動体の前記関連付けられた姿勢を前記データベースモジュールから前記トラッキングモジュールに送信し、前記トラッキングモジュールにおいてこの姿勢をもとに前記セグメントの前記予測された３次元位置を補正することを含む方法。
21. 前記移動体は、関節により拘束される一組の連結セグメントとしてモデル化される解剖学的身体である請求項２０記載の方法。
22. 前記検知ユニットは、少なくとも、３Ｄジャイロスコープ、３Ｄ加速度計、３Ｄ磁界センサ、圧力センサ及び、一対または複数対の検知ユニット間の相対距離を少なくとも間接的に測定可能な測距手段の１つ以上を含む請求項２０記載の方法。
23. 前記検知ユニット間の相対距離は、超広帯域（ＵＷＢ）無線信号及び音響信号の一方を用いた手段により得られる請求項２０記載の方法。
24. 前記検知ユニットの少なくとも１つは、無線通信プロトコルを用いて同期された音響センサを含む請求項２０記載の方法。
25. 前記セグメントの前記３次元方向は、前記検知ユニットにより生成される前記センサ信号に適用されるセンサ・フュージョン手段により算出される請求項２０記載の方法。
26. 前記検知ユニットは１つ以上の３Ｄ加速度計を含み、前記検知ユニットの前記３次元位置は、前記３Ｄ加速度計により生成されるセンサ信号から重力要素を減じたものを二重積分することにより予測される請求項２０記載の方法。
27. 前記検知ユニットの前記３次元位置は、前記検知ユニットにより生成される前記センサ信号に適用されるセンサ・フュージョン手段により補正される請求項２０記載の方法。
28. 前記３次元方向及び前記３次元位置の１つ以上が重みと関連付けられ、当該重みは前記データベースモジュールに送信される請求項２０記載の方法。
29. 前記移動体の前記姿勢は、前記セグメントの前記３次元位置に関して前記データベースモジュールから前記トラッキングモジュールに送信される請求項２０記載の方法。
30. 各セグメントの前記３次元方向、前記３次元位置及び３次元加速度は、基準セグメントの３次元方向、３次元位置及び３次元加速度に対して決定される請求項２０記載の方法。
31. 前記トラッキングモジュールにおいて前記セグメントの付加的な特徴を算出すること、
    前記付加的な特徴は、前記検知ユニットと関連する前記セグメントの１つ以上についての速度、加速度及び位置の１つ以上を含み、前記移動体と所定の周囲環境との間の接触を検出できるように前記付加的な特徴を前記データベースモジュールに送信すること、
    前記移動体と前記所定の周囲環境との間の検出された接触をもとに前記移動体の速度測定値及び位置測定値の１つ以上を更新することをさらに含む請求項２０記載の方法。
    

Images