JP5388473B2 - 較正ユニットを使った動作追跡のためのシステムと方法 - Google Patents

Description

本発明は、三次元空間内の物体の運動を追跡するための動作追跡システムであって、前記物体は、個々の寸法と相互比率を有し、関節によって順次相互接続されている複数の物体部分で構成されている、動作追跡システムにおいて、
少なくとも物体部分の方位に関係するデータを測定するための方位測定ユニットであって、少なくとも方位パラメーターを有する各物体部分と位置的及び方位的関係に配置されている、方位測定ユニットと、
方位測定ユニットからデータを受け取るためのプロセッサであって、受け取ったデータを使って、物体部分の方位及び／又は位置の情報を導き出すためのモジュールを備えている、プロセッサと、を備えているシステムに関する。

本発明は、更に、個々の寸法と相互比率を有し、関節によって三次元空間内で相互接続されている物体部分で構成されている物体の運動を追跡するための方法に関する。

多くの異なる研究分野において、人間の身体の運動と姿勢を捕捉するのに、動作分析システムが使用されている。映画及びコンピューターゲームでリアルなアニメーションを作成するために、演技者の運動が捕捉され、キャラクターにマップされる。スポーツでは、動作分析技法は、運動(performance)を分析して改良するのに用いられる。医療とリハビリテーションの分野では、人間の動作の記録は、例えば、歩行パターンを評価するのに用いられる。

三次元（３Ｄ）のモーションキャプチャは、一般的に、磁気又はカメラベースのシステムを使って行われる。カメラベースのシステムでは、身体に取り付けられている反射又は発光マーカーが多数のカメラによって観察され、それにより、各カメラの２次元画像の三角測量を使って３次元位置を再構築することができる。磁気追跡器では、磁界センサーが、被験者近くに配置されているソースが放出する磁界を測定し、その磁界から、ソースに対する磁界センサーの位置と方位を計算することができる。外部放出源又はカメラを設定しなければならないことが、被験者を捕捉できる作業領域を限定し、多くの適用に妨げとなっている。

外部放出源又はカメラを使用する必要無しに三次元の人間の身体の運動と姿勢を捕捉するのに、小型の方位測定ユニット（ＯＭＵ）を、幾つかの身体セグメントに配置することができる。これらのＯＭＵは、地球固定基準システムに対する自体の動作を測定するように配置するか、相対方位を測定するように配置することができる。

方位測定ユニット（ＯＭＵ）、特に、慣性センサー、磁気コイル、ゴニオメーター、機械方位感知装置などは、被験者、即ち演技者又は患者の運動を記録するのに用いることができる。被験者は、関節体として記述される。セグメントの方位、並びに関節間の相対距離を知ることによって、完全な身体姿勢が導き出される。重要な要件は、身体セグメントに対するＯＭＵの姿勢方位、並びに関節間の相対距離を知らなければならないことである。

既知の方位測定システムでは、関節によって順次相互接続されている身体部分が用いられる。動作追跡ができるように、前記連続体（Sequence）を構成している身体部分のそれぞれの相対的な寸法を知る必要がある。寸法の値は、各関節間の距離に用いられる。更に、少なくとも身体部分に対するＯＭＵの方位を知らなければならない。

動作追跡を可能にするため、既知の動作追跡システムは、ＯＭＵの身体部分に対する方位と、少なくとも関節間の相対距離を求める較正の段階によらなければならない。既知の動作追跡システムの或る実施形態では、その様な較正段階は、人が、標準的な事前に分かっている姿勢、例えばＴ姿勢で立っているときに、身体部分の寸法を測定し、ＯＭＵからデータを集めることによって行われる。その様なシステムでは、較正に必要なデータ、特に身体部分に対するＯＭＵの方位を得るために、様々な技法が存在する：
ａ）ＯＭＵを既知の姿勢で対象の身体部分に慎重に固定すること。例えば、この姿勢を決めるには、骨の目印に触接する必要がある。
ｂ）運動を測定する被験者に、既知の姿勢、例えば、腕を下げた直立の、又はいわゆるＴ姿勢で立つように求めること。
ｃ）被験者に、或る軸に対応するよう想定されている或る運動を行うように求めること。例えば、腕の軸は、回内又は回外運動によって決められる。身体部分に対するＯＭＵの方位を見つけ出すには、測定された方位、又は角速度の様な他の量が用いられる。その様な技法については、例えば、Luinge他、J.Biomech.2007、40(1)、第78-85頁、電子出版、２００６年２月７日に記載されている。

その様なシステムでは、較正に必要なデータ、特に身体部分の関節間の相対距離を得るために、様々な技法が存在する。

関節間の距離は、身体の寸法を得るための回帰方程式を使って得られる。１つ又は数個の身体寸法は、例えば、測定テープを使って、又はカメラシステムから導き出される位置測定を使って測定される。測定された寸法は、関節位置を推定するため既知の標準テーブルへの入力として用いることができる。

身体部分に対するＯＭＵの方位、並びに関節間の相対距離を得るには、既知のシステムと方法は、触接におけるエラー又は静止姿勢を習得及び維持するときのエラーによって相当な精度不良が起こるので、不都合である。更に、既知の方法は、数個の測定が行われるだけで、関節位置が直接測定されず、平均的な人間の寸法に基づく回帰方程式を使って導き出さなければならないので、被験者の特殊性を欠いている。

慣性測定ユニット（ＩＭＵ）は、角速度を測定するジャイロスコープと、重力を含む加速度を測定する加速度計と、随意的に地磁界を測定する磁力計と、を備えている。これらの信号を使い、重力及び地磁界に対する方位と、ＩＭＵハウジングの加速度を得ることができる。ＩＭＵを使用する動作追跡のための方法及び装置の或る実施形態については、米国特許第６８２００２５号により知られている。

ＩＭＵをＯＭＵとして使用する場合に較正に必要なデータを得るための既知の方法は、追加要件として、被験者が、重力並びに局所磁界に対して既知の姿勢で立たなければならないので、特に不都合である。局所磁界に対して立つという状態は、被験者に余分な負担を課すことになる。

米国特許第６８２００２５号 Luinge他、J.Biomech.2007、40(1)、第78-85頁、電子出版、２００６年２月７日

本発明の目的は、少なくとも身体部分上のＯＭＵの方位と、関節によって相互接続された連続体を構成している身体部分同士の間の相対比率と、に関するデータを提供する較正段階が高精度で行われる、動作追跡のためのシステムと方法を提供することである。

このために、本発明によるシステムでは、プロセッサは、物体部分の少なくとも相互比率と、少なくとも方位測定ユニットの方位パラメーターと、を求めるための較正値を、受け取ったデータと、所定の制約と、少なくとも２つの点の間の距離に関する知識及び／又は関節で接続されている少なくとも２つの物体部分の加速度に関する知識を含む追加入力データと、に基づいて計算するようにされている較正ユニットを備えている。

所定の制約は、物体部分の順次相互接続に関する幾何学形状的な及び／又は機械的な制約を含むことが望ましい。本発明の技術的手段は、方位測定ユニットからの測定値を或る知識と組み合わせることによって、較正手順が単純に保たれ、しかも較正値を高精度で求めることができ、動作追跡の精度が上がるという洞察に基づいている。入力データがＯＭＵの方位と前記知識を含む場合は、較正は、身体部分に対するＯＭＵの方位に関するデータ、並びに、身体部分の相互比率に関するデータを求め又は補正することになる。本発明による動作追跡システムは、較正段階を可能にするのに、別の人の支援を必要としないことも、更なる利点である。

方位測定ユニットは、ジャイロスコープと加速度計を有する慣性センサーを備えることができることに注目されたい。その様な慣性センサーは、同じハウジング内に磁力計が配置されている場合もある。その様な慣性センサーを使えば、身体部分の方位と加速度の両方に関する測定データを求めることができる。更に、本発明によれば、較正ユニットにより実行される以下の２つの異なる較正方法が考えられることに注目されたい。

方法Ｉ：身体部分に対するＯＭＵの方位を求め、物体部分同士の相対比率を求める。この方法を実行するには、ＯＭＵ自体に関する方位データを求めることができるように、ＯＭＵを配置する必要がある。

方法II：ＯＭＵの位置と方位を求め、物体部分同士の間の相対比率を求める。この方法を実行するには、ＯＭＵ自体に関する方位と加速度のデータを求めることができるように、ＯＭＵを配置する必要がある。

更に、本文脈で用いられている所定の制約という用語は、以下の知識及び／又はその様な知識について適切に記述している数学式に関係することに注目頂きたい。即ち、
−身体部分は、関節によって相互接続されて運動連鎖を形成し、従って、各関節は、各解剖学上の関節の領域と実質的に一致するという事実。これによって、運動学的制約は、関節によって接続されて、運動連鎖を構成している身体部分の、許容可能な運動に関する知識に基づいて形成される。運動学的制約は、関節制約とも呼ばれるが、これについては、図３を参照して更に論じる。
−最後の段落でも述べられている既知の肩の運動の共同作用又は神経学的共同作用の様な、或る動作パターンにおける冗長度に関する機械的境界条件。
−ユニット構造に関する幾何学形状的な及び機械的な制約。ユニット構造は、関節によって相互接続されている２つの身体部分として定義されている。これについては、図３を参照して更に述べる。
−較正に用いられるモデルの人の人体測定パラメーターであって、モデルの人の少なくとも１つの身体部分の少なくとも１つの寸法の測定値、モデルの人を構成している異なる身体部分の間の比率に関するスケーリングデータ、母集団固有のパラメーターに関するアプリオリな知識、及びセンサーの身体上の位置に関するアプリオリな知識の内の何れかに関係するパラメータ。

方法Iで用いるのに好適な追加の入力データ：
距離に関する知識。例えば、モデルの人の各身体部分を測定するのではなく、２点間の距離を同じか又はゼロに維持し、測定データを、特定の基本の運動又は姿勢の間に収集すると考えても十分である。これについては、図４を参照して詳しく述べる。加えて又は代わりに、特定の方向の寸法が分かっていると考えても十分である。この所定の制約の実施形態は、モデルの人が平面上に立っているときの状況に関連しているので、身体の左側と右側の間の垂直方向の差はゼロであることが分かっている。

方法IIで用いるのに好適な追加の入力データ：
関節によって接続されている２つの異なる物体部分で測定される加速度。本発明による動作追跡システムの別の実施形態によれば、各身体部分の２点に対するＯＭＵの加速度に関する測定データは、ＯＭＵの２つのパラメーター、特に関節に対するＯＭＵの方位と位置を求めるために、適切に選択された所定の制約、特に関節の制約、又は２点の間の距離に関する知識と共に用いられる。更に、身体部分の個別の絶対寸法が求められる。

ＯＭＵから要求される測定データは、記録から得ることができ、その際：
方法Ｉ 身体部分上に決められている１つの点Ａは、身体部分上に決められている点Ｂに対して、既知又は一定の距離に保たれることが知られている。これは、人に指示して、身体の一部を、他の部分と接触させ続けることによって行われる。この方法は、関節間の相対距離、並びに身体部分に対するＯＭＵの方位を見つけ出す。この技法については、図４と図５を参照して詳しく述べる。

方法II ＯＭＵは、更に加速度を測定するよう装備されている。被験者は、身体部分が加速度を受ける任意の運動を行う。この技法については、図６を参照して述べる。

先に論じた第１の実施形態では、鎖の２つの関節の間の相対寸法とベクトルの方向は、ＯＭＵに対して求められ、先に論じた第２の実施形態では、関節に対するＯＭＵの位置が求められる。

本発明による動作追跡システムの他の実施形態では、所定の制約は、統計学的に表される。特に、全ての値には、信頼区間が付与される。例えば、関節は、或る緩みを有しており、それを、統計学的には、相応しい値の不確定性と記述される。

測定データが、更に、方位測定ユニットの位置及び／又は方位に関係する場合、較正ユニットは、更に好都合に方位測定ユニットのパラメーターを統計学的に表すようにされる。

不確定度を上記制約及び／又は測定データに導入すると好都合であることが分かっている。特に、これは、スケーリング、更には人体測定パラメーターに当てはまる。所定の制約が統計学的に表される場合は、較正ユニットは、統計学的な意味で、較正値に最良の解を見出せるようにすることができることに注目されたい。この場合は、好適な計算ルーチングであれば結果に早く収束するので、これが好都合である。次に、較正値の最良の推定の他に、各パラメーター毎に、最終的な較正値と結び付いた統計学的エラーを得ることができる。これは、較正手順の幾つかの部分が正確でない理由がある場合に、これらの不正確さを考慮することができ、好都合である。例えば、地磁気の乱れが大きい環境では、磁力計の信頼性を自動的に下げることができる。追跡されている人は、特にリハビリ患者であれば、或る運動をするのが難しいと感じるかもしれないので、測定の信頼性が下がる場合も、同様である。較正ユニットは、更に、計算された統計学的エラーに関して個々のパラメーターに重み付け係数が割り当てられるように配置されるのが望ましい。予測される精度又は整合性が、ユーザーにフィードバックされるのが望ましい。

本発明による動作追跡システムの別の実施形態は、更に、パラメーターの計算に用いられるデータに小さな重み付け係数を提供する方位測定ユニットからの測定データを廃棄するように、プロセッサを制御するようにされている制御ユニットを備えている。

この特定の実施形態は、身体部分の個々のパラメーターとＯＭＵのパラメーターの計算に使用する較正値を得る際に、信頼性の低い読み取りを提供するＯＭＵからのデータをアルゴリズムから削除することができるので、好都合である。較正ユニットは、物体部分の個々のパラメーター及び／又は方位測定ユニットのパラメーターを求めるために、物体の事前に定義されたモデルを使用するようにされているのが望ましい。運動学的モデルの適切な例については、図３を参照して述べる。身体部分の個々のパラメーターがアプリオリに相関付けられることも可能である。更に、或る事前に定義されたモデルでは、方位測定ユニットの推定を使用するために、各身体部分の異なる測定値の間の相関を統計学的な表現で記述するスケーリング式を導入することも可能である。

本発明によるシステムにおいて、物体部分の個々の寸法及び／又は相互比率は、アプリオリに相関付けられていることが望ましい。

本発明による動作追跡システムの別の実施形態では、較正ユニットは、更に、較正値の最初の推定を使用するようにされている。この方法では、較正値は、最初の推定に基づいて調整される。従って、システムは、繰り返し動作する。

較正値は、関節で定義可能な座標系で求められることができることが望ましい。図３を参照されたい。これは、骨の目印と機能上の関節位置の関係が簡単ではなく、個人的な構造上の大きなばらつきの影響を受けるので、骨の目印を触接するだけの触診を使用するのとは対照的である。十分な数の測定値があれば、身体寸法とセグメントに対するセンサーの位置及び方位が得られるだけでなく、捕捉される運動自体を精緻化させることができる。本発明による動作追跡システムでは、方位測定装置は、慣性感知ユニットを備えていることが望ましい。

本発明による方法は、
少なくとも物体部分の方位に関係するデータを方位測定ユニットで測定する段階であって、方位測定ユニットは、少なくとも方位パラメーターを有する各物体部分との位置的及び方位的関係で配置される、方位に関係するデータを測定する段階と、
方位測定ユニットからのデータを受け取る段階と、
受け取ったデータを使って、物体部分の方位及び／又は位置の情報を導き出す段階と、
少なくとも物体部分の相互比率と、少なくとも方位測定ユニットの方位パラメーターを、受け取ったデータと、所定の制約と、少なくとも２点間の距離に関する知識及び／又は関節で接続されている少なくとも２つの物体部分の加速度に関する知識を含む追加の入力データと、に基づいて求めるための較正値を計算する段階と、を含んでいる。

本発明の方法について、図２を参照して更に説明する。本発明による方法に対応する手順は、非常に柔軟性がある。手順の或る部分を実行し難い場合は、精度の点で僅かに妥協すれば、それらを省くことができる。更に、運動の或る態様で、把握の運動を記録することの様な、或る態様だけに関心が寄せられている場合は、較正手順を限定して、それらの運動に合わせて最適化することができる。本発明による方法の更に好都合な実施形態については、請求項１６−２８に記載されている。上に述べたシステムと方法は、人間又は動物の動作追跡を行うのに適している。更に、本発明によるシステムと方法は、狭い空間に限定されずに適用できることに注目されたい。本発明によるシステムと方法を使って運動を捕捉できる動物には、ウマ、トリ、ゾウ、又は犬があるが、これらに限定されるわけではない。

本方法は、標準的な寸法関係を含む回帰方程式を使用するのとは異なり、非常に被験者に特有の方法である。しかしながら、必要であれば、回帰方程式を手順の中に継ぎ目無く組み込むこともできる。これは、較正手順を加速させるのに好都合である。

本方法は、統計学的に最良の推定を見つけ出すので、異なる測定値を継ぎ目無く組み合わせることができる。最良の推定だけでなく、推定されるパラメーター毎に、統計学的エラー限界を得ることもできる。更に、手順の或る部分が正確さで劣る理由があれば、これらの不正確さを考慮に入れることができる。例えば、地磁界の乱れが大きい環境の場合は、磁力計に関わる信頼性が自動的に低くなる。患者が或る運動を行うのが難しいために測定があまり信頼できない場合も、同じことが当てはまる。手順は、柔軟性があるので、上記の様な様々な技法と組み合わせることもできる。

本発明は、更に、医療用リハビリテーションシステムに関する。このシステムは、生体力学、リハビリテーション、又は人間工学の分野の研究、診断、又は治療を行うのに用いられ、患者の動作の記録と、望ましくは、動作パターンにおける可能性のある進展への支援ができるようになる。

本発明は、更に、上に述べた動作追跡システムを備えたアニメーションシステムに関する。このシステムは、例えば、映画及びコンピューターゲームでアニメーションを駆動するのに用いることのできる運動を記録するのに用いられる。

本発明は、更に、上に述べた、コンピューターゲーム又はコンピューターシミュレーションを制御するのに用いられるシステムに関する。この様に、人のリアルタイムの運動が、ゲームを制御するための運動追跡に用いられ、或いは、例えば、ゲーム内のキャラクターにゲームをしている人の運動を供給することにより、ゲームに組み込まれる。当業者には理解頂けるように、本発明の技術的手段を逸脱すること無く、明記されている動作追跡システムの適用に様々な修正を施すことができる。

本発明の以上及びその他の態様について、図面を参照して更に詳しく論じる。

図１は、本発明によるモーションキャプチャシステムの或る実施形態を概略的に示している。システム１０は、多数の方位測定ユニットＳ１、…、Ｓｎ、特に、３次元ジャイロスコープ２、３次元加速度計４、３次元磁気センサー６の様な好適なセンサーを備えている慣性及び磁気センサーモジュールを、備えている。特に、磁力計と組み合わせることのできる線形加速度計を方位測定装置に使用することができる。方位測定ユニットは、追跡される各身体セグメントに配置されていることが望ましい。センサーは、全センサーに電源を提供し、データサンプリングを同期化し、望ましくは、全センサーのデータ及び処理されたデータを外部コンピューター７又は任意の好適な記録装置へ無線送信することができるようにされているバスシステム３に接続されている。バスシステム３には、センサーモジュールが接続される１つ又は複数のストリングが入っている。各センサーは、センサーサンプリングモジュール８と、デジタル信号プロセッサ９を備えているのが望ましい。ストリングとセンサーは、人Ｐの肌にぴったりと但し快適に合っているのが望ましい着用可能な、特にスーツに埋め込まれているのが望ましい。スーツは、センサーを身体に最適に機械的に取り付けて、ケーブルが在れば、それを隠すように設計されているのが望ましい。本発明によるシステム１０の或る実施形態では、センサーのデータは、無線でプロセッサ５に送られる。無線通信プロトコルは、ブルートゥース、ＷｉＦｉ、ＵＷＢ等とすることができる。本発明によるシステムの代替実施形態では、各方位測定ユニットＳ１、…Ｓｎは、測定データを直接プロセッサ５に無線送信するようにすることができる。各センサーモジュールは、バッテリー１４と無線通信モジュール１２で大きくされることができる。これによって、スーツ内のケーブルの使用が不要になる。プロセッサ５は、センサーモジュール間の同期化に対応できるように配置されるのが望ましい。或いは、センサーは、相互に同期化できるように配置される。全センサーのデータは、好適なそれ自体既知のセンサー融合方式を使って、プロセッサ５で処理される。本発明によるプロセッサ５は、物体部分の個々のパラメーター及び／又は方位測定ユニットのパラメーターを、受け取ったデータ及び所定の制約に基づいて、関節によって定義可能な座標系に対して求めるようにされている較正ユニット７を備えている。好適な関節の制約及び外部接触の制約は、受け取った処理前のデータに適用されるのが望ましい。

図２は、請求項１７に記載された様な、本発明による方法の或る実施形態を概略的に示している。本発明による方法の或る実施形態では、２つの点Ａ、Ｂの間の距離に関する知識が利用される。方法を実行するには、２つの点、例えば手と手の間の距離が、運動中に一定に保たれることが十分条件であることに注目して頂きたい。この点で、人は、手を一定の距離に離したままで一連の運動を行うことが求められる。この距離が変わらないようにするため、人は、両手を動かしている間、棒の様な好適な物体を保持することが求められる。代替実施形態では、人は、実質的に平らな面の上に立っているときに運動を行っていることができる。この場合、身体の左部分と身体の右部分の間の高さの差がゼロであることが知られている。本発明の方法によれば、人２０は、多数の身体部分２１…２７でモデル化されている。各身体部分は、個々の寸法、特に、その関節間の（相対）長さ、及び身体部分に関するＯＭＵの３次元方位で特徴付けられる。順次相互接続されている関節の間の鎖は、或る点Ａで始まり、或る点Ｂで終わるよう特定されている。点ＡとＢの間の距離は、既知であるか、又は一定である。鎖の中各身体部分には、センサーＳ１、…Ｓｎが設けられているのが望ましい。ＯＭＵのＳ１、…Ｓｎからの測定データと距離Ｄ１に関する所与の知識が提供されれば、
ａ）関節間の（相対）距離、
ｂ）鎖の中の第１関節と最終関節の間、及び点ＡとＢの間それぞれの（相対）距離、
ｃ）関節の間又は点の間の線に対するＯＭＵの方位
について求め又は精緻化することができる。
更に、この較正方法は、身体部分のＯＭＵの位置とは独立であることに注目されたい。

図３は、２つの関節によって相互接続されている３つの身体部分の或る実施形態を細部に亘り概略的に示している。図３は、関節Ｊ１、Ｊ２によって順次相互接続されている身体部分Ｐ１、Ｐ２、Ｐ３の運動連鎖を示している。身体部分Ｐ１とＰ２には、それぞれの座標系３０２、３０４を有する各ＯＭＵ３０１、３０３が設けられている。ＯＭＵは、各身体部分の上に配置され、個々の位置と方位のパラメーターが割り当てられている。ＯＭＵ３０１、３０３は、方位を測定するようにされている。更に、或る距離Ｄは、例えば、図２に関して述べた様に、既知であるか、又は一定であることが分かっている。以下の通り、導き出される。

身体部分ｉに定義されるベクトル^Sｒ_iは、例えば、地球固定座標系Ｇで、中でも身体部分（ｑ_i）に対するＯＭＵの方位を使って、
^Gｒ_i＝^Gｒ_i（^Sｒ_i，ｑ_i）
と表される。

以下の式は、関節の制約を使えば、何れの座標系でも有効である。
（ｒ_A−ｒ_B）・ｎ−Ｄ＝０

大きなドットは、内積を表し、ｎは、アプリオリ推定ユニットベクトルであり、２つの点の間の方向を示す。距離がゼロである特殊な場合、式は、
ｒ_A−ｒ_B＝０
と書くことができる。

量^Sｒ_A、 ^Sｒ_B、ｑ_A、ｑ_Bは、制約を満たすように、統計的に最もあり得る様式に精緻化される。
（^Gｒ_A（^Sｒ_A，ｑ_A）―^Gｒ_A（^Sｒ_B，ｑ_B））・ｎ−Ｄ＝０

この制約を使ってパラメーターを精緻化する方法は、次の通りである。推定されるパラメーター（^Sｒ_A，ｑ_A，^Sｒ_B，ｑ_B）、並びに追加の可能性のある推定されるパラメーターは、アプリオリに相関付けられる。全パラメーターが列アレイｘの中に含まれている場合は、一次相関は、Ｑ_x＝Ｅ（ｘ・ｘ^T）と書くことができ、ここに、上付き文字Ｔは転置を表し、ドットはベクトル／行列乗算を表す。上記制約は、ｙ＝Ｃ・ｘ＋ｖ_tと線形化することができ、ここに、ｙは列ベクトル、Ｃはマトリックス、ｖは、測定精度不良を相関マトリックスＲによって規定している未知のノイズである。改良された推定は、周知のカルマン更新：
ｘ⁺＝ｘ＋Ｑ_x・Ｃ^T（Ｃ・Ｑ_x・Ｃ^T＋Ｒ）^-1（ｙ−Ｃ・ｘ）
である。

更に、改良された推定の共分散の式は、導き出すこともできるし、カルマンフィルタリング又は統計学上の推定に関するほとんどのテキストで紹介されている。

全てのベクトルを、必ずしも地球固定座標系の様な任意の特定の座標系で表す必要はないが、同じ座標系で比較しなければならないことに注目されたい。更に、複数のセグメントの鎖、並びにベクトル^Gｒを求める際の複数のエラーの原因を使って、前述の事項が一般化できることに注目されたい。一般化の原理自体は、当業者には既知であり、詳細には説明しない。距離がゼロの場合は、距離が３つの方向でゼロなので、３つの制約が作られることにも注目されたい。この具体的な実施形態では、関節の制約と、各身体部分Ｐ１、Ｐ２内の２つの点の間の距離Ｄに関する所定の制約が使用される。

ＯＭＵが、加速度並びに方位を測定するように構成されている場合、例えば、ＯＭＵがＩＭＵである場合は、加速度が運動連鎖の少なくとも２つの点で測定されれば、関節に対するＯＭＵの位置と方位を推定することができる。

セグメントＰ２上のＯＭＵを使って方位と加速度Ａ２が測定されれば、地球固定基準フレーム内の関節の加速度を推定することができる。この加速度は、中でもＯＭＵの、関節ベクトルｒ_Aに対する関数である。
ａ_jointA＝ａ_jointA（ｒ_A）

同じ関節の加速度が他のセグメントＰ１上の加速度Ａ１を使って測定された場合は、以下の制約が生まれる：
ａ_jointA（ｒ_A）−ａ_jointB（ｒ_B）＝０

ｒ_Aとｒ_Bのアプリオリな統計学的特性並びに制約の不確定性を前提とすれば、ベクトルｒ_Aとｒ_Bは、上記の同じ式に従って精緻化することができる。カルマンフィルターの様な統計学的に最も有望な推定器の構築を学んだ者は、この様な統計学的に最良の推定を行うことができる。ここで、ベクトルａ_jointAとａ_jointBは、同じ座標系で表さねばならないことに注意されたい。更に、この方法を複数のセグメントの鎖に拡張し、更に複雑な関節とＯＭＵの運動のモデルへ一般化できることにも注目されたい。

図４は、測定データを得るための手順の或る実施形態を概略的に示している。事前に定義された運動の順序３０は、関節間の相対距離、並びに方位測定ユニットのセグメントに対する方位を求めるのに用いることができる。例えば、姿勢３１で、人が手でループを作る場合、対応しているセンサーベースのループは、アイテム３１ａによって与えられる。なお、異なるループに関する測定データが記録されるとき、物体部分をスケーリングし位置決めするための式が一般化され、それによって、物体部分の相対スケーリングが改良される。物体部分の寸法に関する式を作り、それらをスケーリング式と結合させることによって、較正データが得られる。較正データは、三次元空間内の物体の運動の追跡を改良するために用いられる。

図５は、本発明による方法の或る実施形態を概略的に示している。本発明の機械的測定によれば、所定の制約、特に関節制約がステップ４２で提供され、物体部分の個々のパラメーターを記述するパラメーターを備えたモデルが選択される方法４０が提供される。更に、１つ又は複数のＯＭＵからの方位が、ステップ４２で入力として提供される。

ステップ４４で、２つの点ＡとＢの間で考えられる距離のアプリオリ推定が、未知／不確定な身体比率、ＯＭＵ対セグメントの方位、及び４２で用いられる可能性のある他のモデル化パラメーターの関数として書かれる。これは、図３を参照して述べた様に、運動連鎖を特定し、ステップ４２によるモデルの関係式を使用することによって実現される。更に、様々なモデルパラメーターの間の相関も計算される。

ステップ４６では、ステップ４４からの出力データと、２つの点ＡとＢの間の既知又は一定の距離に関する情報を含む追加の入力データ４５を使って、更新が行われる。物体に関する既知又は一定の距離は、上述の手順に従って得られる。物体部分の（相対的な）寸法と、関節に対するＯＭＵの方位の様なモデルパラメーターは、望ましくは統計学的に、追加の入力データと合致するように求められ、又は更新される。

較正を行う１つの可能な手順は、以下の通りである。先ず、ステップ４２は、好適な所定の制約と方位データである。これらは、回帰方程式、スケーリングモデル、又は前の較正運動を含んでいる。

次に、ステップ４４で、推定されるパラメーターのアプリオリ推定とその共分散が作られる。これらのパラメーターは、少なくとも物体部分の（相対的な）寸法と、関節に対する１つ又は複数のＯＭＵの方位である。線形の場合、パラメーターがアレイｘに含まれているときは、これらのパラメーターの相関は、Ｑ_x＝Ｅ（ｘ・ｘ^T）と表される。運動連鎖を特定することによって、アプリオリ距離

は、所定の制約と、ＯＭＵによって測定された方位の下で計算される。

ステップ４６で、アプリオリに推定される距離又は距離の変化が、ステップ４５からの追加入力データと比較される。パラメーターｘ間のこの比較及び相関（共分散）を使って、パラメーターの改良された推定が計算される。モデルパラメーターは、モデル推定が測定又はユーザーへの指示によって知られる実際の距離に一致するように調整される。それ自体は補完的な既知のカルマンルーチンを使用してもよい。測定の不確定性と、パラメーターＱ_xの間の相関が考慮される。

ステップ４８では、見積もられ又は改良されたパラメーター、特に、相対的な身体部分と、関節に対するＯＭＵの方位が、記憶される。

較正には、身体内の多くの異なる距離が用いられる。この較正を行うのに提案されている３つの異なる方法は：
Ａ．ユーザーに、身体の１つの点を他の点と接触させるか、一定の距離に保持するよう求めることであり、例えば図４を参照されたい。
Ｂ．被験者は運動を行い、その際、例えば、両手で棒を保持し、両手を移動させることによって、或る距離を一定に保つよう求められる。代わりに、人が、水平な面上に、好ましくは図２に概略的に示している様に、下肢を幾つかの異なる姿勢にして立ってもよい。この場合、平坦な面であれば、垂直方向の距離は分かっている。人は、測定中に、鎖が壊れない限り、動くことが許される。これは、パラメーターを更に精緻化できるように多数の異なる関係を迅速に得るのに好都合である。

全ての関係は統計学的表現で表されるのが望ましいという事実から、様々なセンサー構成要素の信頼性を設定しなければならない。これは、（地）磁界が乱される環境で較正を行えるという利点を有している。この場合、磁力計の信頼性は、対応する低い値に設定しなければならない。

較正パラメーターの改良された推定以外に、同じ方法を用いてセグメントの運動(kinematics)を直接使用中に改良することができる。

人が、セグメントを接触させたままで複数の姿勢を取っていれば、較正の結果は、大きく改善する。更に、身体上の複数の点を接触させることも、較正を大きく改善する。これは、特別な追加の設備又は人無しに使用することができる迅速で正確な較正方法を作り出す。

既知の距離又は一定の距離ではなく、加速度に関するアプリオリな仮定を使用してもよい。記録される人が前方に加速すると分かっている場合は、ＯＭＵの互いに対する偏揺れを、磁力計を用いずに求めることができる。

較正パラメーターは、元になっているモデルを介して全体的に結び付けられ、従って、相関付けられている。異なるパラメーター間の相関は分かっているので、直接測定されないパラメーターも調節することができる。例えば、腕の長さを測定すれば、脚の長さは腕の長さとどの様に相関しているか統計学的に分かっているので、脚の長さを調節することができる。

図６は、本発明による方法の別の実施形態を概略的に示している。本方法は、或る距離が、既知又は一定であると分かっている状況に限られるものではないが、方位に加えて、加速度を少なくとも２つの身体部分上の或る点で測定しなければならない。これにより、手順は、使用中の較正に適用できるようになる。被験者は、記録したいと望む運動の様な任意の運動を行うことによって較正を実行する。システムは、関節に対するＯＭＵの方位、並びに、ＯＭＵに対する関節の位置を使用中に較正する。

使用中の較正に用いなければならない方法は、ステップ５５で、既知の固定距離又は一定の距離に関する情報ではなく、ＯＭＵを使って測定される加速度が、使用される点で、図４を参照して説明した較正とは異なる。加速度は、ＯＭＵの加速度計から得られる。これらの加速度測定は容易に利用可能であり、別に較正を行う必要が無く、磁力計も必要ない、という利点がある。従って、本発明による方法の実施形態では、ステップ５２で、所定の制約、特に関節の制約と、方位測定ユニット、即ちＯＭＵからの測定データが得られる。

ステップ５４で、所定の制約は、推定されるパラメーター、特に関節に対するＯＭＵの位置及び方位の関数として、各身体部分上の２つの点のアプリオリに見積もられた加速度を公式化するのに用いられる。

パラメーターの間の好適な相関が得られるのが望ましい。ステップ５６では、好適なパラメーターの更新が、ステップ５５で提供される加速度データに基づいて行われる。最後に、改良されたパラメーターが、ステップ５８で提供され、記憶される。

本発明による方法の本実施形態の動作について、関節によって接続されている２つの物体部分（セグメント）を参照して説明する。２つのセグメントは、或る平均的な回転中心で特徴付けられた関節によって接続されていると仮定されている。方位測定ユニット、特にＯＭＵの関節に対する位置は、図３の２つのＯＭＵ３０２と３０４に対するベクトルｒ_Aとｒ_Bそれぞれによって与えられる。ＯＭＵ３０２と３０４の運動は関係している。この関係は、距離ｒ_Aとｒ_B、測定されるＯＭＵの運動、及びＯＭＵの方位の関数である。十分な数の記録された運動があれば、これらの量（ｒ_Aとｒ_B）は、推定することができる。これは、関節に対するＯＭＵの位置に関する情報だけでなく、関節に対するＯＭＵの方位に関する情報も生み出す。

ここに述べている方法は、被験者を特殊化された較正の運動を行うことから解放するので、強力な方法である。運動が正しく行われると想定する必要が無いので、エラーが発生し難い。精度が計算され、ユーザーにフィードバックされるのが望ましい。

本方法は、２つの隣接するセグメントで実行する必要は無く、接続されている複数のセグメントに一般化することができる。更に、複数の上記順序を組み合わせることによって、更に改良された較正が得られることに注目されたい。較正は、繰り返し処理で実行されるのが望ましい。地磁界の局所的な乱れの故に、方位は、全ての方向で正確なわけではない。この特殊な不確定性を考慮することができる。加速度又は角速度を直接比較するのではなく、数学的に積分された加速度（速度）又は位置の様な、導き出された量を用いてもよい。

人間の動作システムをより詳しく特定するために考慮することのできる他の人体測定的又は生体力学的関係は、背骨及び肩のリズムに関するアプリオリな知識、例えば反射ループにより課される適切な神経の制約、或る姿勢を取っているときにユーザーが作り出すことができる限定された力から生れる好適な力の制約、である。

以上、特定の実施形態について説明してきたが、本発明は、説明した以外の方法でも実施できるものと理解されたい。上記説明は、例示的なものであって、限定を課すことを意図するものではない。従って、当業者には明白なように、特許請求の範囲から逸脱すること無く、上に記載したように本発明に修正を施すことができる。

本発明によるモーションキャプチャシステムの或る実施形態を概略的に示している。 本発明による方法の或る実施形態を概略的に示している。 ２つの関節によって相互接続されている３つの身体部分の或る実施形態を細部に亘り概略的に示している。 測定データを得るための手順の或る実施形態を概略的に示している。 本発明による方法の或る実施形態を概略的に示している。 本発明による方法の別の実施形態を概略的に示している。

Claims (29)

1. 三次元空間内の物体（Ｐ）の運動を追跡するための動作追跡システム（１０）であって、前記物体は、関節（２１ＡＢ）によって順次相互接続されている物体部分（２１、２２、２３、２４、２５、２６）で構成されており、前記物体部分は個々の寸法を有し、前記個々の寸法間には相互比率が定められる、動作追跡システムにおいて、
   少なくとも前記物体部分（２１、…２６）の方位に関係するデータを測定するための方位測定ユニット（Ｓ１、Ｓ３…ＳＮ）であって、各物体部分と位置的及び方位的関係に配置されており、少なくとも方位を有している、方位測定ユニットと、
   前記方位測定ユニットからデータを受け取るためのプロセッサ（３、５）であって、前記受け取ったデータを使って、前記物体部分の方位及び／又は位置情報を導き出すためのモジュールを備えている、プロセッサと、を備えており、
   前記プロセッサは、受け取ったデータと、所定の制約（４２、５２）と、少なくとも２つの点の間の距離に関する知識及び／又は関節で接続されている少なくとも２つの物体部分の加速度に関する知識を含む追加入力データ（４５、５５）と、に基づいて、少なくとも前記相互比率と、少なくとも前記方位測定ユニット（４８、５６、５８）の方位と、を求めるための較正値を計算するようにされている較正ユニット（７）を備えていることを特徴とする動作追跡システム。
2. 前記所定の制約は、前記物体部分（２１、２２、２３、２４、２５、２６）の順次相互接続に関する幾何学形状的及び／又は機械的制約を含む、請求項１に記載の動作追跡システム（１０）。
3. 前記所定の制約（４２、５２）は、統計学的に表される、上記請求項１又は２に記載のシステム。
4. 前記測定データは、更に、前記方位測定ユニットの位置及び／又は方位に関係しており、前記較正ユニットは、更に、前記方位測定ユニットの前記方位を統計学的に表すようにされている、上記請求項１乃至３の何れか１項に記載のシステム。
5. 前記較正ユニットは、更に、求めるように考えられている個々のパラメーターに割り当てることのできる統計学的エラーを計算するようにされている、上記請求項３又は４の何れか１項に記載のシステム。
6. 前記較正ユニットは、更に、個々の寸法及び／又は相互比率に、前記計算された統計学的エラーに関して重み付け係数を割り当てるようにされている、上記請求項５に記載のシステム。
7. パラメーターの計算に用いられるデータに小さな重み付け係数を提供する方位測定ユニットからの測定データを廃棄するように、前記プロセッサを制御するようにされている制御ユニットを更に備えている、請求項６に記載のシステム。
8. 前記較正ユニットは、前記物体部分の寸法及び／又は相互比率、及び／又は前記方位測定ユニットの方位を求めるために、事前に定義された物体のモデルを使用するようにされている、上記請求項１乃至７の何れか１項に記載のシステム。
9. 前記較正ユニットは、更に、前記方位測定ユニットのパラメーターの推定を使用するようにされている、請求項８に記載のシステム。
10. 前記物体部分の前記個々の寸法及び／又は相互比率は、アプリオリに相関付けられている、請求項８又は９の何れかに記載のシステム。
11. 前記方位測定装置は、慣性感知ユニットを備えている、上記請求項１乃至１０の何れか１項に記載のシステム。
12. 前記方位測定ユニットには、更に、位置が割り当てられ、前記測定データは、少なくとも１つの関節によって接続されている各身体部分の定義可能な少なくとも２つの点に対して測定される加速度データを含み、前記較正ユニット（７）は、更に、受け取ったデータと、所定の制約と、追加入力データ（４５、５５）と、に基づいて、前記物体部分の個々の寸法と、前記方位測定ユニット（４８、５６、５８）の位置と、を求めるための較正値を計算するようにされている、請求項１１に記載のシステム。
13. 前記較正ユニットは、繰り返し動作するようにされている、上記請求項１乃至１２の何れか１項に記載のシステム。
14. 関節によって順次相互接続されている物体部分で構成されている物体の３次元空間における運動を追跡するための方法であって、前記物体部分は個々の寸法を有し、前記個々の寸法間には相互比率が定められる、前記方法において、
    少なくとも前記物体部分の方位に関係するデータを、少なくとも方位を有する各物体部分と位置的及び方位的関係に配置されている方位測定ユニットで測定する段階と、
    前記方位測定ユニットからデータを受け取る段階と、
    前記受け取ったデータを使って、前記物体部分の方位及び／又は位置情報を導き出す段階と、
    受け取ったデータと、所定の制約と、少なくとも２つの点の間の距離に関する知識及び／又は関節によって接続されている少なくとも２つの物体部分の加速度に関する知識を含む追加入力データと、に基づいて、少なくとも前記相互比率と、少なくとも前記方位測定ユニット（４８、５６、５８）の方位と、を求めるための較正値を計算する段階と、から成る方法。
15. 前記所定の制約に関し、前記物体部分の前記順次相互接続に関係する幾何学形状的及び／又は機械的制約に関する知識が選択される、請求項１４に記載の方法。
16. 前記所定の制約は、統計学的に表される、上記請求項１４又は１５に記載の方法。
17. 前記測定データは、更に、前記方位測定ユニットの前記位置及び／又は方位に関係しており、前記方位測定ユニットの前記方位は、統計学的に表される、請求項１４に記載の方法。
18. 個々の寸法及び／又は相互比率に割り当てることのできる統計学的エラーが、計算される、請求項１６又は１７に記載の方法。
19. 前記個々の寸法及び／又は相互比率の重み付け係数は、前記計算された統計学的エラーに関して割り当てられる、請求項１８に記載の方法。
20. 小さな重み付け係数を有するパラメーターの計算に供される測定データは廃棄される、請求項１９に記載の方法。
21. 前記物体の事前に定義されたモデルは、前記物体部分の個々の寸法及び／又は相互比率、及び／又は前記方位測定ユニットの方位を求めるのに用いられる、上記請求項１４乃至２０の何れか１項に記載の方法。
22. 前記方位測定ユニットの方位の推定が用いられる、請求項２１に記載の方法。
23. 前記物体部分の前記個々のパラメーターは、アプリオリに相関付けられている、請求項２１又は２２に記載の方法。
24. 前記測定データは、望ましくは慣性測定ユニットを備えた方位測定装置を使って得られる、上記請求項１４乃至２３の何れか１項に記載の方法。
25. 前記方位測定ユニットには、更に、位置が割り当てられ、前記測定データは、少なくとも１つの関節によって接続されている各身体部分上に定義されている少なくとも２つの点に対して測定される加速度データを含み、前記較正ユニットは、受け取ったデータと所定の制約とに基づいて、前記物体部分の個々の寸法と、前記方位測定ユニット（４８、５６、５８）の位置を求めるための較正値を計算する、請求項２４に記載の方法。
26. 前記方法の各段階は、繰り返し実行される、上記請求項１４乃至２５の何れか１項に記載の方法。
27. 上記請求項１乃至１３の何れか１項に記載の動作追跡システムを備えている医療用リハビリテーションシステム。
28. 上記請求項１乃至１３の何れか１項に記載の動作追跡システムを備えているアニメーションシステム。
29. コンピュータ及び上記請求項１乃至１３の何れか１項に記載の動作追跡システムを備えているゲームシステム。

Images