JP5016687B2 - 人体における筋力と関節モーメントとをリアルタイムでインタラクティブに視覚化する方法 - Google Patents

Description

本発明は、一般的に言えば、モーション・キャプチャー（動き捕獲）技術と３Ｄ（３次元）計算筋骨格モデルとを組み合わせて、筋力と関節トルクとを表示するリアルタイムの表示環境を作成するシステムに関する。さらに詳しく言えば、本発明のさまざまな実施形態は、動いている人体における物理的筋力と関節トルクとをリアルタイムに視覚化するものである。

人体が生み出す筋力をリアルタイムで３Ｄ視覚表示可能なシステムや方法は現在のところ知られていない。多くのリハビリ病院や医学研究施設では、運動障害の原因別分類に基づき、専用の治療プログラムを用いている。しかし、人体内で作用する力をリアルタイムで表示する方法はなく、それに必要なパラメータを導く計算には何時間も、場合によっては、何日もかかるのが普通である。また、その計算結果は、数値あるいはグラフで表示されるものであり、直観的にわかりやすいものではなかった。

モーション・キャプチャー（動き捕獲）という用語は、長年にわたり、さまざまな分野で適用されてきた種々の技術の総称である。モーション・キャプチャーは、性能本位で、３次元（３Ｄ）アニメーションを作成し、自然なシミュレーションを行うことを目的とする。娯楽産業においては、オペレーターは、モーション・キャプチャー技術を利用することによって、（コンピュータで作った）ＣＧキャラクターを用いることができる。また、モーション・キャプチャー技術を利用して、あらゆる種類の人の動きを用いた複雑な動きを作り出し、無生物であるオブジェクトにもリアルな動きをさせることができる。モーション・キャプチャーシステムが、リアルタイムのデータフィードバック機能を持つ場合には、オペレーターは、所定の動きが満足できるものであるか否かを瞬時に判定することができる。モーション・キャプチャー技術は、全身の動きに適用できるばかりでなく、手のアニメーションや顔のアニメーションおよびリアルタイムの口パクにも利用できる。また、モーション・キャプチャー技術は、医学分野、シミュレーション、工学や人間工学の分野、長編映画、広告、テレビ、３Ｄコンピュータゲームの分野でも利用できる。

運動学は、すべての関節の角度が既知である場合に、結合構造の端部の空間における位置を算出する処理である。逆運動学は、これとは逆方向の処理を行う。すなわち、構造の端点が既知である場合に、端点に到達するために必要とされる関節の角度を算出する。このような処理が、ロボット工学や３Ｄコンピュータアニメーション、その他の工学分野で利用されている。

動力学は、所定の結合構造に作用する内力と外力が既知である場合に、結合構造の空間における加速度を算出する処理である。逆動力学は、これとは逆方向の処理を行う。すなわち、構造の加速度と力の測定値が既知である場合に、その加速度を生み出すために必要な内力を算出する。その結果は、通常、関節トルクと関節力として与えられる。

上述したような処理をすべてリアルタイムで行う単一の計算パイプラインを作成する技術が必要とされている。特に、今までにない、筋力をリアルタイムで表示する機能が求められている。

本発明の一実施形態は、３Ｄ人体筋肉モデルの色空間アニメーションを用いて、人体における筋力と関節トルクをリアルタイムに表示する方法を提供する。専用アルゴリズムのパイプライン処理により、モーション・キャプチャー（動き捕獲）システムから取得されるデータストリームを解析する。専用アルゴリズムのパイプラインは、関節の方向と、加速度および速度と、順動力学および逆動力学を導き出し、筋力と関節トルクとをリアルタイムで測定する。得られた筋力と関節トルクのデータをリアルタイムで３Ｄ人体筋肉モデルに伝送して、ユーザーが力とトルクの発生時にリアルタイムで観察できるようにする。

本発明の別の実施形態は、ユーザーあるいはオペレーターによるランタイム相互作用を提供する。

本発明の他の実施形態は、モーション・キャプチャー（動き捕獲）技術とシミュレーション技術と専用のリアルタイム・データ処理アルゴリズムとの組み合わせを提供する。この実施形態では、ハードウェア要素並びにソフトウェア要素をオーサリング・制御ソフトウェアと組み合わせて用いることにより、人体が生み出す力とトルクのリアルタイムでの視覚化をカスタマイズする。

本発明のさらに別の実施形態は、さまざまな産業分野で利用可能な新しい測定および視覚化ツールを与えるものである。本発明の技術により、所定の状況範囲で人の機能的な能力を測定・記録・評価するために、人体内における筋力の移動を観察することが可能になる。

本発明のさらに他の実施形態は、さまざまな産業分野で利用可能な新しい測定および視覚化ツールを提供する。本発明の技術により、所定の状況範囲で人の機能的な能力を測定・記録・評価するために、人体内における筋力と関節力の移動を観察することが可能になる。他の用途として、整形外科分野および人間工学分野における研究と設計への応用が挙げられる。

本発明の別の実施形態は処理方法であり、モーション・キャプチャー（動き捕獲）システムから取得したリアルタイムの３Ｄマーカー・データストリームを、リアルタイム処理アルゴリズム群に組み込む。これらのアルゴリズムは、関節に取り付けた３Ｄマーカーに基づいて、回転中心、位置、並びに、方向を求める。この処理方法に従って、加速度と速度とを導き、さらに、導かれたこれらのデータを筋力値に変換する。変換された筋力値を、筋肉と関節トルクの３Ｄ色空間における視覚化に用いるデータストリームとして、３Ｄ人体筋肉モデルに伝送する。

本明細書で説明する特徴や利点は、何らこれらに限定される包括的なものではなく、当業者には自明のことであるが、図面、明細書、並びに特許請求の範囲内で、他に多くの特徴や利点が存在し得る。さらに、本明細書で用いた言葉や用語は、主に読みやすさや説明の目的に応じて選択されたものであり、何ら、本発明の要旨の範囲を限定するものではない。

これに限定されるものではないが、本発明の一実施例に従って構成された、（図示しない）ユーザー上に配置されたモーション・キャプチャー（動き捕獲）用ポイントを示すコンピュータ生成画像。 本発明の一実施例に従って構成された、運動学的骨格を示すＣＧ（コンピュータで作った）画像。 本発明の一実施例に従って構成された、解剖学的に正確な骨格を示すＣＧ画像。 本発明の一実施例に従って構成された、解剖学的に正確な３次元筋肉層を示すＣＧ画像。 本発明の一実施例に従って構成された、解剖学的に正確な３次元骨格上に搭載された解剖学的に正確な３次元筋肉層を示すＣＧ画像。 本発明の一実施例に従って構成された、パイプライン層の接続を示すＣＧ画像。 本発明の一実施例に従って構成された、仮想歩行（Ｖ−Ｇａｉｔ）を示すＣＧ画像。 本発明の一実施例に従って構成された、モーション・キャプチャーシステムを示すブロック図。 本発明の一実施例に従って構成された、モーション・キャプチャー方法を示すフローチャート。

筋力そのものは、その性質上、通常は目に見えるものではなく、人が自分の周囲に筋力を加えた結果が見えるに過ぎない。本発明の一実施形態は、人の筋骨格系における力の移動が明らかになるように、人体における筋力シミュレーションをリアルタイムで観察可能にするものである。このような視覚化は、具体的には、関節の位置と方向とを含むＩＫ（逆運動学）骨格層に対する高速で正確なリアルタイムのモーション・キャプチャーデータ処理と、加速度と速度とを導き出す処理と、リアルタイムで逆動力学を導き出す処理と、関節トルクから筋力を導き出す処理と、さらに、結果として得られたデータストリームを正確な３Ｄ（３次元）人体筋肉モデルにおける色変化と形状変化とに変換する３Ｄ視覚化処理とにより達成される。

出願人は、あらゆる目的で、米国特許第６，７７４，８８５号を本明細書に参照することにより組み込む。

本発明の一実施形態は、３Ｄ人体筋肉モデルの色空間アニメーションを用いて、人体における筋力と関節トルクをリアルタイムに表示する方法である。専用アルゴリズムのパイプライン処理により、モーション・キャプチャー（動き捕獲）システムから取得されるデータストリームを解析する。専用アルゴリズムのパイプラインは、関節の方向と、加速度および速度と、順動力学および逆動力学を導き出し、筋力と関節トルクとをリアルタイムで測定する。得られた筋力と関節トルクのデータをリアルタイムで３Ｄ人体筋肉モデルに伝送して、ユーザーが力とトルクの発生時にリアルタイムで観察できるようにする。

本発明の別の実施形態は、ユーザーあるいはオペレーターによるランタイム相互作用を可能にするものである。本発明のこの実施形態は、モーション・キャプチャー技術とシミュレーション技術と専用のリアルタイム・データ処理アルゴリズムとを組み合わせることにより実現される。この実施形態では、ハードウェア要素並びにソフトウェア要素をオーサリング・制御ソフトウェアと組み合わせて用いることにより、人体が生み出す力とトルクとをリアルタイムで視覚化する。

本発明の一実施形態は、さまざまな産業分野で利用可能な新しい測定および視覚化ツールを提供する。本発明の技術により、所定の状況範囲で人の機能的な能力を測定・記録・評価するために、人体内における筋力の移動を観察することが可能になる。本発明の少なくとも一つの実施形態は医学的用途を企図したものであるが、本発明の実施形態は、人間工学やスポーツを含む他の市場分野にも適用可能である。

本発明のさまざまな実施形態は、スポーツ産業やフィットネス産業など数多くの分野で有用なツールを提供する。このシステムにより、任意の運動時にリアルタイムで筋力を視覚化することができる。図３に示すこのようなシステムを用いて、所定の力とトルクとをリアルタイムでリアルに視覚化することにより、筋力を増強したり、最大限に活用したり、改善したりできる。このシステムにより、ユーザー３０は、人体内のさまざまな筋肉への力の移動を観察して、所望の効果を得ることが可能になる。モーション・キャプチャーシステム３２は、ユーザーの動きを瞬時に記録して、即時に筋力を視覚化した画像３４を提供する。

本発明の一実施形態は、筋力とトルクのリアルタイムでの観察を可能にすることにより、医療分野で活用可能である。これにより、多くの患者のクオリティ・オブ・ライフ（ＱＯＬ：生活の質）を支援・改善することができ、身体を自由に動かせない患者に、身体の動きや筋肉の挙動を知覚させることが可能になる。このシステムは、外傷性の脳損傷や脳障害並びに脊椎損傷の患者に有用である。身体動作を認識することにより、身体が所定の動きを記憶しているという概念が裏付けられ、シナプス経路が再生される場合もありえる。所望の筋力を視覚化することにより、その筋肉を動かすように身体を再訓練することができる。整形外科や人工装具の分野では、どこの筋力を失っているとか、損傷した機能を補償するためにどこに余分な力を出しすぎているとか、現在の状況を患者が理解するための役に立つ。整形外科患者、人工装具患者、肢切断患者に対して、筋肉の損傷状態を視覚化して、その追跡を可能にする一方で、動きの訓練や改善に役立つ。

本発明のさらに他の実施形態は、筋力と結果として生じる関節力とを組み合わせて、関節内部で働く力を算出し、視覚化する。これは、人間工学やスポーツの分野で、筋肉の使い過ぎによる損傷を防ぎ、治療するための訓練用ツールとして有用である。

本発明の一実施形態において、図２に示すデータ解析パイプラインの最初の工程では、モーション・キャプチャーシステムからデータストリームを取得し、人体各部に関して関節の角度を算出し、算出された各関節を球形状で図示する。人体各部の加速度と速度とを導き出す前に、逆運動学を利用して、モーション・キャプチャーデータから関節の方向を計算する。パイプラインの次の工程では、関節角度の計算結果を取得し、（人体各部を表す）各関節の加速度値と速度値とを導き出す。導き出された加速度値と速度値とを基礎値として用いて、逆動力学に基づく計算を行う。計算結果として得られた筋力と関節トルクとを、３Ｄ筋肉モデル上で色情報として表示・出力する。

本発明を医学分野に適用した実施例を説明する。リアルタイムで動作するシステムの一実施例として、「仮想歩行実験（Ｖｉｒｔｕａｌ Ｇａｉｔ Ｌａｂ）」と呼ばれる開発計画がある。この計画は、種々の再現可能な条件下で、人体の筋力と関節トルクのリアルタイムでの観察・評価を可能にする仮想現実システムの開発に関するものである。

このような実施形態の利点の一つとして、さまざまな医療分野における診断・治療行為を向上させることができる。制御されたリアルタイムの環境下で、筋力と関節トルクのパターンを観察・解析する機会を初めて医療専門家チームに提供することにより、診断・治療行為の向上につながる。

このシステムは、床反力の測定機能を有する機器を搭載したトレッドミルと、力を表示するための大型スクリーンあるいは投影システムと、リアルタイムのモーション・キャプチャー（動き捕獲）システムと、モーション・キャプチャーデータを筋力および関節トルクの表示に変換する専用の計算パイプラインと、を備える。

インタラクティブな（対話型）仮想リアルタイム筋肉モデルの開発に本発明を適用することも可能である。このインタラクティブな仮想リアルタイム筋肉モデルは、患者に対しては、あらゆる動きを調べる無限に近い探索手段としての役割を果たすと同時に、医療専門家に対しては、人体内において複雑に絡み合う力をモニターする正確な測定ツールとしての役割を果たす。

特に、平衡を保つという複雑な動作に対して、筋活動パターンに基づき、被験者が倒れるか否かを予測できる。このようなシミュレーションは、所定の平衡を保つ動作における正常な応答パターンと病的な応答パターンを理解する目的で行われる。

このような実施形態は、患者と医者の双方に試験および学習の機会を与えるのみでなく、運動制御に関する貴重な研究を可能にするものである。また、リアルタイムで筋力を視覚化する新しい形態の実験への道を開くものである。

たとえば、パーキンソン病の患者に見られるような筋肉（筋力）の振戦は、多くの臨床医や人の動きを研究する科学者たちから、不可解な謎であると考えられている。このような患者たちにおいては、何らかの視覚的刺激が（歩行時に用いられるような）ほぼ正常に見える筋力パターンの誘因となる一方で、視覚的刺激がない場合には、筋力パターンは始まりさえしない。健康な被験者の場合には、広範囲に及ぶ運動パターンの学習データへの多チャンネル感覚入力により、歩行している間の筋力移動を継続的に制御することができる。リアルタイムでの筋力パターン出現の観察が可能になれば、病気の基礎的な理解が進み、治療法を見つける助けになる。このような実施形態により、人の動きに関係するナチュラル・プロセスの複雑さを垣間見ることができる。

部分麻痺や手足の不全麻痺等の末梢障害の患者にも本発明を適用できる。このような患者においては、感覚入力の部分的な欠如や筋肉協調の異常により、歩行と平衡保持が難しくなる。通常、患者は、歩行と平衡保持を可能にするような補償行動をとり、この結果、人体の健常部位における運動パターンが正常パターンから逸脱する。リアルタイムでの筋力と関節トルクとの視覚化を利用することにより、補償行動に起因する異常と原発性疾患に起因する異常とを区別することができる。

本発明の一実施形態を適用した別の例は、正しい持ち上げ動作を学ぶことにより、腰痛を予防・治療するものである。椎間板上で働く力をリアルタイムで計算・視覚化することにより、自分の動きに不安感を持つ患者に即時にデータをフィードバックすることが可能になる。

多くの実施形態において、筋力を視覚化することが可能であるが、所定の訓練適用例では、計算パイプラインにより得られた筋力値に基づく音声信号を与えるようにしてもよい。他の訓練適用例では、仮想オブジェクトの位置を変化させたり、あるいは、被験者が立っている運動プラットフォームの位置を変化させたりする仮想環境の入力として、筋力値を用いるようにしてもよい。

リアルタイムでの筋力表示を実現する計算パイプラインは、融通が利き、システム・ランタイム中のいつでも、順動力学シミュレーションを実行することができる。動きを出力する一方で、１シーケンスの間、逆動力学シミュレーションに対する一連の動きの入力を停止し、関節の動きの計算値を入力として用いる。従って、順動力学シミュレーションでは、被験者の関節付近に発生する力のモーメントから動きと反力とを算出する。このような順動力学に基づくシミュレーション結果を、仮想環境の一部として視覚化することができ、仮想状況におかれた患者に起こり得る事態を予測することができる。

順動力学の計算及び逆動力学の計算には、通常、多くの方程式が用いられる。これらの方程式は、方程式作成のために採用された方法に応じて、それぞれニュートン‐オイラー（Ｎｅｗｔｏｎ−Ｅｕｌｅｒ）方程式、ラグランジュ（Ｌａｇｒａｎｇｅ）方程式、ケイン（Ｋａｎｅ）方程式等と称される。これらの方程式は、運動方程式と呼ばれ、人体に加えられる一般化された力と一般化された動きとの関係を示す。ここでいう「一般化」とは、外界における３次元座標よりもむしろ、人体の動きの可能性（自由度）に応じて策定される。すなわち、一般化された力の大部分が、実際に、力のモーメント（トルク）であることを意味する。床との接触等、一種の周辺環境との相互作用を説明する方程式を加えるようにしてもよい。順動力学シミュレーションの際に同時に方程式を解くようにしてもよいし、逆動力学シミュレーションの際に代数的に方程式を解くようにしてもよいし、あるいは、順動力学と逆動力学の混合シミュレーションを実行するように方程式を整理しなおして、解くようにしてもよい。本発明の一実施形態において、このような計算は、すべてリアルタイムで実行される。

動力学シミュレーションから、質量中心の位置を算出し、仮想環境に必要な場合には、足の位置と共に、算出した質量中心の位置に基づいて、プラットフォームを駆動する。人体モデルは、被験者の力の関節モーメントを生成する。順動力学シミュレーションを開始し、運動パターンにおける弱い部分の位置を特定する。

リアルタイム計算パイプラインは、主に、モーション・キャプチャー（動き捕獲）センサーからの入力データを処理し、集められたデータを上述の人体モデル上にマッピングして、状況に応じて、さまざまな入力データおよび／あるいは算出データを処理する。リアルタイム計算パイプラインは、さらに、図３に示すように、筋力や関節トルクのリアルタイムでの３Ｄグラフィック表示２８を行い、トレッドミル３８や表示システム３４等の出力装置を駆動する。

オペレーター用のユーザーインターフェースは、専用のソフトウェアプログラムを介して、図１Ｄに示すリアルタイム３Ｄ筋肉モデル２６との通信手段として実現される。処理の一例として、実行するべき動きの種類を決めた後で、被験者の正面のスクリーンにリアルタイム３Ｄ筋肉モデルを投影する。ユーザーが立つプラットフォームあるいはトレッドミルは、システムの一部として、すなわち、被験者の動きに対する反作用として、制御される。図１Ａおよび図２に示すように、モーション・キャプチャー（動き捕獲）マーカー２０が、ユーザーに取り付けられ、その位置が記録される。モーション・キャプチャー・マーカーのデータは、アルゴリズムに入力され、人体モデルの自由度に換算される。人体モデルに質量セグメント２２と被験者の慣性力とを加えて、図１Ｅに示すような３Ｄ筋肉モデルのリアルタイムでの色空間アニメーションとして表示する。

骨格の動き特性および質量特性から、質量中心の位置を算出する。算出した質量中心の位置と足の位置とに基づいて、周囲の状況に応じて必要な動きをするように、トレッドミルあるいはプラットフォームを駆動する。人体モデル２６上に、必要に応じて、被験者の力の関節モーメントを生成する。被験者が利用可能なように、この情報を投影画像に加えることもできる。順動力学シミュレーションも同様に行い、運動パターンにおいて弱い部分の位置を特定することもできる。

図１Ａないし図１Ｅは、本発明の一実施例に従うリアルタイム計算パイプラインの概要を示す。図１Ａに示すように、ユーザー人体において処理上重要なさまざまな位置に、数多くのモーション・キャプチャー（動き捕獲）センサーあるいはマーカー２０を取り付ける。センサーから送られるデータを、モーション・キャプチャーシステム３２が受信する。好適な実施例において、モーション・キャプチャーデータセットは、ユーザー全身のＸ軸、Ｙ軸、Ｚ軸の位置を含み、１００ＦＰＳ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ：１秒あたりのフレーム数）を超える速度でコンピュータ３６に伝送される。コンピュータ３６は、オペレータ用のユーザーインターフェース３４とインタラクティブに（対話形式で）処理を進め、計算パイプラインの最初の工程を実行する。すなわち、計算パイプラインは、リアルタイムで位置データを図１Ｂに示すような逆運動学骨格２２に変換する。このデータを逆運動学骨格２２に適用することにより、ほぼリアルタイムで解剖学的に正確な３Ｄ骨格２４が駆動される（図１Ｃ参照）。次に、図１Ｄに示す解剖学的に正確な３Ｄ筋肉層２６を人体骨格２４に加える。その後、図１Ｅに示すような３Ｄ筋肉モデルに、リアルタイムの計算パイプラインから得られた筋力と関節トルクを、各筋肉のリアルタイム色空間アニメーション２８として加える。

図２に示すように、人体にマーカー２０を装着して、初期位置すなわち平衡位置をとるようにテンプレート２２を処理する。マーカー２０を用いて、動きを記録する。この場合、ほぼ瞬時にマーカー２０の動きを捕獲して、テンプレート２２を完成させる。テンプレート２２は、テンプレート照合アルゴリズムを用いて、欠損したあるいは不良のマーカーデータを補完する。テンプレート照合アルゴリズムの処理結果を、逆運動学計算骨格２４に伝送する。ここで、マーカーの位置データをリアルタイムでプロットして、計算骨格２４における関節の方向を求める。このように、制約ベースの処理を行うことによって、幾何学的な（解剖学的に正確な）骨格を駆動することができる。この骨格が、筋力視覚化層の基礎となる。

図３に示す本発明の一実施例において、機器を搭載したトレッドミル３８上に立つ患者３０は、自分自身のインタラクティブな（対話型）リアルタイム３Ｄ筋肉モデル３４を見て、筋力を働かせる際に活動する筋肉を特定することができる。このようなインタラクティブな（対話型）筋力モデル３４は、患者の身体３０上に取り付けたモーション・キャプチャー（動き捕獲）光学センサー３２と機器を搭載したトレッドミル３８内に配置されたセンサーとから得られたデータに基づいて、上述した方法に従って、プロセッサ３６により算出される。たとえば、機器を搭載したトレッドミル３８内に重量センサーを配置する。加速度計、速度計、回転・位置センサー等の他のセンサーをさらに用いるようにしてもよい。

図４は、本発明の一実施形態において可能なハードウェアとソフトウェアとの相互接続を示すブロック図である。ハードウェア・プラットフォームは、高性能マルチコア多重プロセッサ型ワークステーションに基づくものである。

本発明の一実施例において、多重ＣＰＵハードウェア・プラットフォーム３６は、コンピュータの処理手段、記憶手段、インターフェース手段として用いられる。専用ホストに対するイーサネット（Ｅｔｈｅｒｎｅｔ：登録商標）接続、直列接続、ＳＣＳＩ接続等の標準的な高速接続を利用して、さまざまな周辺機器および通信が実現される。たとえば、周辺機器と連動する別のパソコン（ＰＣ）や組込オンボード・コンピュータを専用ホストとして用いることができる。本実施例のモーション・キャプチャー（動き捕獲）光学システムは、六台のカメラを備え、光学式モーション・キャプチャーシステムのデータ取得部を用いて、カメラからの入力を所望のデータセットに変換する。

本発明の一実施例のデータセットは、人３０からリアルタイムに取得されるセンサー２０の３Ｄ（３次元）位置情報であり、ＣＰＵ３６との間でデータを高速に交換可能な専用ホストが利用しやすいものである。このようなデータは、専用のファイルフォーマットで配信されるものでもよい。これに限定されるものではないが、光学式モーション・キャプチャーシステムは、たとえば、さまざまなセットアップ用に容易に構成可能なリアルタイムの受動マーカーシステム３２であってもよい。このシステムは、１００Ｈｚを超える速度で最大３００個の光学マーカーの３Ｄ座標データを変換し、表示することができる。ＣＰＵに接続されて、データおよび制御情報を伝送する専用ホストに、機器を搭載したトレッドミル３８を相互接続する。本発明の一実施例のトレッドミル３８は、トレッドミルベルトの下に設置した力センサーを用いて、リアルタイムで床反力を測定する機能を有する。モーション・キャプチャーシステム３２とトレッドミル３８との間にフィードバック・ループが確立されるように、計算パイプラインにトレッドミル３８の速度を相互接続する。その結果、歩行／走行速度が変化しても、人体をトレッドミルの中心位置に保持し続けることができる。プラズマスクリーンやビデオ・プロジェクタ／スクリーン等の投影装置３４を用いて、リアルタイムの３Ｄ筋肉モデルをユーザーに表示する。

図５は、本発明の一実施形態に従い構成されたシステムの処理を示すフローチャートである。モーション・キャプチャーシステム１から入力されたマーカーの３Ｄ（３次元）座標を、運動学的ソルバ６に入力する。運動学的ソルバ６は、さらに、骨格定義とマーカーセットのテンプレート３のリソース・ファイルを用いて、リアルタイムで現在の骨格姿勢を出力する。リアルタイムの低域フィルタリング処理および微分処理により、骨格姿勢の変化を処理して、運動方程式７の入力として利用できる速度および加速度に変換する。運動学的ソルバ６の出力を用いて、それぞれの筋肉に対する筋肉経路５を生成し、視覚化処理９の際に用いられる概略骨格を出力する。力センサー群２から取得される床反力並びにその他の外力も、運動方程式７の入力として用いられる。さらに、それぞれの体重特性４を含むリソース・ファイルも、運動方程式７の入力として用いられる。運動方程式７の出力は、関節モーメントとして、最適化処理８に入力される。また、各筋肉経路５から取得される筋長とモーメントアームも、最適化処理８に入力される。最適化処理８から出力された筋力を用いて、リアルタイムの筋力視覚化処理９を実現する。

本発明の一実施形態において、レーベンバーグ‐マルカート非線形最小二乗法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ ａｌｇｏｒｉｔｈｍ）を用いて、大域的最適化問題を解決することにより、（一般化された座標群で規定される）骨格姿勢をリアルタイムに算出する。解析的ヤコビ行列（Ｊａｃｏｂｉａｎ ｍａｔｒｉｘ）を用いることにより、高速計算が可能になる。

本発明の一実施形態において、順運動学方程式用のＣコードを生成するソフトウェアを用いて、運動方程式を作成する。次に、作成された方程式に従って、骨格の一般化座標から、人体上に取り付けられたマーカーの座標を求める。記号的微分を行うことにより、ヤコビ行列を形成する順動力学方程式の導関数が得られる。最後に、得られた方程式を、ランタイムで計算を実行する計算パイプラインに組み込まれるコンピュータ・コードに変換する。

本発明の一実施形態において、静的最適化問題の解として、筋力が算出される。静的最適化問題では、一般的に、すべての筋力が負ではなく、かつ、それぞれのモーメントアームで乗算された筋力が逆動力学方程式の解である関節トルクに一致することを条件として、正規化筋力のＮ乗の和を最小化する。正規化筋力は、筋肉が有する力の最大能力に対する筋力として定義される。モーメントアームは、筋力ベクトルから所定関節の瞬間回転中心までの距離であり、関節の一般化座標に対する筋長の微分係数として数学的に算出される。従来の最適化法はリアルタイムで用いるためには時間がかかりすぎる。筋力の概算に通常用いられるＮ＝２の場合、二次計画問題のニューラルネットワーク・アルゴリズムを用いることにより、リアルタイムに解が得られる。

モーション・キャプチャー（動き捕獲）という用語は、長年にわたり、さまざまな分野で適用されてきた、人体すなわちオブジェクトの動きを捕獲するための種々の技術の総称である。モーション・キャプチャーは、性能本位で、３次元（３Ｄ）アニメーションを作成し、自然なシミュレーションを行うことを目的とする。娯楽産業においては、オペレーターは、モーション・キャプチャー技術を利用することによって、（コンピュータで作った）ＣＧキャラクターを用いることができる。また、モーション・キャプチャー技術を利用して、あらゆる種類の人の動きを用いた複雑で自然な動きを作り出し、無生物であるオブジェクトにもリアルな動きをさせることができる。モーション・キャプチャーシステムが、リアルタイムのデータフィードバック機能を持つ場合には、オペレーターは、所定の動きが満足できるものであるか否かを瞬時に判定することができる。モーション・キャプチャー技術は、全身の動きに適用できるばかりでなく、手のアニメーションや顔のアニメーションおよびリアルタイムの口パクにも利用できる。また、モーション・キャプチャー技術は、医学分野、シミュレーション、工学や人間工学の分野、長編映画、広告、テレビ、３Ｄコンピュータゲームの分野でも利用できる。本発明では、モーション・キャプチャー技術を用いて、各マーカーの３Ｄ（３次元）ＸＹＺ座標の位置を出力することができる。

自動車、ロボット工学、他のさまざまな工学分野を含む多くの産業で、力センサーが用いられている。力センサーは、通常、センサーにかかる鉛直力成分や水平力成分およびせん断力成分を含む合力を測定する。本発明において、力センサーを用いて、人がその上で立っている、歩いている、あるいは、走っているトレッドミルからの床反力を測定する。たとえば、本発明の一実施例のトレッドミルは、トレッドミルベルトの下に設置した力センサーを用いて、リアルタイムで床反力を測定する機能を有する。モーション・キャプチャーシステムとトレッドミルとの間にフィードバック・ループが確立されるように、計算パイプラインにトレッドミルの速度を相互接続する。その結果、歩行／走行速度が変化しても、人体をトレッドミルの中心位置に保持し続けることができる。

骨格定義とマーカーセットのテンプレート３は、本発明の計算パイプラインでリソース・ファイルとして用いられる。人の体格や体重はさまざまであり、それぞれの人に最も適合する骨格テンプレートを骨格テンプレート群の中から選択する。マーカーテンプレートを用いて、人体上に取り付けられた４つのマーカーの位置を特定する。通常、このようなマーカーは、人体の各関節に設置される。

体重特性４は、それぞれの人の身体各部の重量を示す。人の体重はさまざまであり、これが、所定の動きをするために働く筋力にも影響を与える。このような体重特性を、リアルタイムにおける正確な力を算出するためのリソースとして用いる。

筋肉経路５を用いて、ユーザー間の体格の相違を補償する。被験者間で筋肉の長さや幅が異なり、これが、力の計算にも影響を与える。長い筋肉と短い筋肉では同じ動きをするために働く力が異なる。また、靭帯の配置も人によって異なる。本発明の一実施例において、筋肉経路を利用して、筋力と関節トルクとを算出する。

運動学的ソルバ６は、逆運動学を用いて、関節の方向を算出する。運動学は、すべての関節の角度が既知である場合に、結合構造の端部の空間における位置を算出する処理である。逆運動学は、これとは逆方向の処理を行う。すなわち、構造の端点が既知である場合に、端点に到達するために必要とされる関節の角度は何度であるか？このような処理が、ロボット工学や３Ｄコンピュータアニメーション、その他の工学分野で利用されている。本発明の一実施例において、この処理は、データ解析パイプラインにおける単一の工程であり、モーション・キャプチャー（動き捕獲）システムからデータストリームを取得し、人体各部における関節の角度を算出する。また、本発明の一実施例において、逆運動学を用いることにより、モーション・キャプチャーデータから関節の方向を算出し、ＸＹＺ方向の位置の値を、度数単位あるいはラジアン単位の関節の回転角度に変換する。

運動と力の計算に用いられる方程式は、物理科学の分野で当業者に周知のものを用いてもよいし、あるいは、物理の分野で周知の方程式から簡単に導き出すようにしてもよい。運動方程式７は、数学的方程式群からなり、入力された運動学データストリームをマーカーテンプレート及び骨格テンプレートと組み合わせて、組み合わせたデータを順動力学データおよび逆動力学データに変換する。このような数学的方程式としては、ラグランジュ（Ｌａｇｒａｎｇｅ）方程式、ケーシー（Ｃａｓｅｙ）方程式、あるいは、オイラー‐ニュートン（Ｅｕｌｅｒ−Ｎｅｗｔｏｎ）方程式が挙げられる。本発明の一実施例において、運動方程式７は、人体に加えられる一般化された力と一般化された動きとの関係を示す。ここでいう「一般化」とは、外界における３次元座標よりもむしろ、人体の動きの可能性（自由度）に応じて策定される。すなわち、一般化された力の大部分が、実際に、力のモーメント（トルク）であることを意味する。床との接触等、一種の周辺環境との相互作用を説明する方程式７を加えるようにしてもよい。順動力学シミュレーションの際に同時に方程式７を解くようにしてもよいし、逆動力学シミュレーションの際に代数的に方程式７を解くようにしてもよいし、あるいは、順動力学と逆動力学の混合シミュレーションを実行するように方程式７を整理しなおして、解くようにしてもよい。本発明の一実施例において、このような計算は、すべてリアルタイムで実行される。一実施例において、リアルタイムでの最小サンプリング速度が、テレビ・放送業界の当業者に周知の標準値である３０Ｈｚを超えるように、効率的アルゴリズムを用いて、実効遅れを除去する。当業者には容易に理解されるであろうが、所定の適用分野でも、同様に、このような高速化が容認される、あるいは、望ましい。

最適化処理８は、それぞれの筋肉経路から入力される筋長とモーメントアームとに基づいて、筋力と関節トルクとを出力する。データの最適化処理８では、データの正規化ルーチンおよび複数のリアルタイム・ソフトウェア・フィルターを用いる。

リアルタイムの筋力視覚化処理９は、筋力と関節トルクの入力に基づき、スクリーン上に３Ｄ人体モデルとして表示された各筋肉のカラーアニメーションを作成する。色の明度および色相は、筋力の振幅やゲイン並びに筋活動パターンに相関する。ユーザーおよびオペレーターは、いつでも、人体で活動している筋力のリアルタイム・アニメーションを見ることができる。

本発明は、他の市場分野でも適用可能である。スポーツおよびフィットネス分野は、このような市場分野の一つである。本発明の一実施例は、フィットネス産業を含む数多くの分野で有用なツールを提供する。このシステムは、リアルタイムで任意の運動に関係する筋力を視覚化することができる。このシステムを用いて、所定の力およびトルクをリアルに視覚化することにより、筋力を増強・向上することができる。本発明のシステムにより、ユーザーは、身体内のさまざまな筋肉に対する力の移動を観察し、所望の効果を得ることができる。モーション・キャプチャーシステムは、ユーザーの動きを瞬時に記録し、即時に筋力を視覚化することができる。

本発明の一実施例は、筋力とトルクのリアルタイムでの観察を可能にすることにより、医療分野に多大な影響を与える。これにより、多くの患者のクオリティ・オブ・ライフ（ＱＯＬ：生活の質）を支援・改善することができ、身体を自由に動かせない患者に、身体の動きや筋肉の挙動を知覚させることが可能になる。このシステムは、外傷性の脳損傷や脳障害並びに脊椎損傷の患者に有用である。身体動作を認識することにより、身体が所定の動きを記憶しているという概念が裏付けられ、シナプス経路が再生される場合もありえる。所望の筋力を視覚化することにより、その筋肉を動かすように身体を再訓練することができる。整形外科や人工装具の分野では、どこの筋力を失っているとか、損傷した機能を補償するためにどこに余分な力を出しすぎているとか、現在の状況を患者が理解するための役に立つ。整形外科患者、人工装具患者、肢切断患者に対して、筋肉の損傷状態を視覚化して、その追跡を可能にする一方で、動きの訓練や改善に役立つ。本発明を医学分野に適用した実施例を説明する。リアルタイムで動作するシステムの一実施例として、「仮想歩行実験（Ｖｉｒｔｕａｌ Ｇａｉｔ Ｌａｂ）」と呼ばれる開発計画がある。この計画は、種々の再現可能な条件下で、人体の筋力と関節トルクとのリアルタイムでの観察・評価を可能にする仮想現実システムの開発に関するものである。この計画の主目的の一つは、さまざまな医療分野における診断・治療行為を向上させることである。制御されたリアルタイムの環境下で、筋力と関節トルクのパターンを観察・解析する機会を初めて医療専門家チームに提供することにより、診断・治療行為の向上につながる。

図３に示す実施例では、このシステムは、床反力の測定機能を有する機器を搭載したトレッドミル３８と、力を表示するための大型スクリーンあるいは投影システム３４と、リアルタイムのモーション・キャプチャー（動き捕獲）システム３２と、モーション・キャプチャーデータを筋力および関節トルクの表示に変換する専用の計算パイプライン３６と、を備える。

インタラクティブな（対話型）仮想リアルタイム筋肉モデルの開発に本発明を適用することも可能である。このインタラクティブな仮想リアルタイム筋肉モデルは、患者に対しては、あらゆる動きを調べる無限に近い探索手段としての役割を果たすと同時に、医療専門家に対しては、人体内において複雑に絡み合う力をモニターする正確な測定ツールとしての役割を果たす。特に、平衡を保つという複雑な動作に対して、筋活動パターンに基づき、被験者が倒れるか否かを予測できる。このようなシミュレーションは、所定の平衡を保つ動作における正常な応答パターンと病的な応答パターンを理解する目的で行われる。このような実施形態は、患者と医者の双方に試験および学習の機会を与えるのみでなく、運動制御に関する貴重な研究を可能にするものである。また、リアルタイムで筋力を視覚化する新しい形態の実験への道を開くものである。たとえば、パーキンソン病の患者に見られるような筋肉の振戦は、多くの臨床医や人の動きを研究する科学者たちから、不可解な謎であると考えられている。このような患者たちにおいては、何らかの視覚的刺激が（歩行時に用いられるような）ほぼ正常に見える筋力パターンの誘因となる一方で、視覚的刺激がない場合には、筋力パターンは始まりさえしない。健康な被験者の場合には、広範囲に及ぶ運動パターンの学習データへの多チャンネル感覚入力により、歩行している間の筋力移動を継続的に制御することができる。リアルタイムでの筋力パターン出現の観察が可能になれば、病気の基礎的な理解が進み、治療法を見つける助けになる。このような実施形態により、人の動きに関係するナチュラル・プロセスの複雑さを垣間見ることができる。部分麻痺や手足の不全麻痺等の末梢障害の患者にも本発明を適用できる。このような患者においては、感覚入力の部分的な欠如や筋肉協調の異常により、歩行と平衡保持が難しくなる。通常、患者は、歩行と平衡保持を可能にするような補償行動をとり、この結果、人体の健常部位における運動パターンが正常パターンから逸脱する。リアルタイムでの筋力と関節トルクとの視覚化を利用することにより、補償行動に起因する異常と原発性疾患に起因する異常とを区別することができる。

本発明は、まったく新しい方法で筋力の観察と評価をするという新しい原理をリアルタイムの視覚化に与えるものである。この原理により、人が現在使っている筋肉やその程度を即時に特定することが可能な視覚化機構が構築される。

本発明の一実施形態に従う筋力処理システムは、処理手段と、処理手段に連結されるモーション・キャプチャーシステムとを備える。複数の運動センサーからモーション・キャプチャーデータを取得し、リアルタイムで処理する。処理手段には、計算パイプラインが接続され、得られたデータをリアルタイムで処理し、リアルタイムで筋力と関節トルクとを示す３Ｄ筋肉モデルにおける色空間の変化として、リアルタイムで視覚化する。さらに、ランタイム制御入力と筋肉モデルを連動させる手段を備える。本発明の別の実施形態は、床反力の測定機能を有する機器を搭載したトレッドミルである。床反力の測定値を計算パイプラインで積分して、筋力と関節トルクとをリアルタイムで表示する。さらに別の実施形態は、逆運動学骨格層と、３Ｄ形状の解剖学的に正確な骨格層と、解剖学的に正確な筋肉モデル層と、を備えるインタラクティブな（対話型）３Ｄ筋肉モデルである。また別の実施形態は、モーション・キャプチャー（動き捕獲）データを記録する記憶手段と、リアルタイム処理パイプラインの各層を用いてデータをリアルタイムで処理する手段と、を備えるリアルタイム計算パイプラインである。さらに別の実施形態は、人体内における筋力と関節トルクをリアルタイムで視覚化したものをすべてリアルタイムで記録・評価・補正するための方法並びにシステムである。

上述の本発明の実施例の説明は、本発明を例示して、説明する目的でなされたものであり、なんら包括的なものではなく、開示された形態に厳密に本発明を限定するものではない。本発明の要旨の範囲内で、さまざまな変形や変更が可能である。本発明の要旨は、上述の詳細な説明に限定されるものではなく、以下に示す特許請求の範囲に従って規定するべきものである。例えば、本発明は、身体構造上の力を画像表示し、出力するシステムを提供する。本発明のシステムは、モーション・キャプチャーシステムと、前記モーション・キャプチャーシステムからデータを受信するコンピュータと、前記コンピュータ上に搭載される計算パイプラインと、を備え、前記計算パイプラインは、関節トルクと、筋力と、関節力とをリアルタイムで計算し、前記計算した力やトルクを視覚的に表示するように構成される。本発明のシステムはさらに、ランタイム制御部、表示装置、記憶装置、機器を搭載したトレッドミル、床反力センサーを個別または任意の組合せにて備えても良い。さらに、前記モーション・キャプチャーシステムは、光センサー、磁気センサー、慣性センサー、映像ベースのセンサーからなるセンサー群から選択されるセンサーを備えても良い。本発明のシステムにおいて、前記筋力と前記関節トルクとが人体画像上に表示されても良い。本発明はまた、身体構造上の力を画像表示する方法を提供する。本発明の方法は、ユーザーの身体に少なくとも一つのモーション・キャプチャー・マーカーを取り付け、前記少なくとも一つのマーカーからリアルタイムの位置データを集めて記録し、前記少なくとも一つのマーカーから得られた複数の位置データから回転データを導き出し、前記導き出された回転データからリアルタイムで加速度と速度とを算出し、前記算出された加速度と速度とを用いて、順動力学データと逆動力学データとを算出し、前記算出された順動力学データと逆動力学データとに基づいて、リアルタイムで筋力と関節トルクとを計算し、前記計算された筋力と関節トルクとを表示すること、を備える。本発明の方法において、前記計算された筋力と関節トルクとは３次元筋肉モデル上に表示されても良い。本発明の方法はさらに、ユーザーの体型を近似する身体テンプレートを選択する工程を備えても良く、前記計算された筋力と関節トルクとをカラーアニメーションで表示することを備えても良い。本発明の方法において、ヤコビ行列を用いて、前記加速度と速度の算出工程を容易にしても良く、前記筋力と関節トルクの計算工程はさらに、再帰型ニューラル・ネットワークを用いても良い。本発明はさらに、筋骨格障害の診断と治療を行うシステムを提供する。本発明のシステムは、運動プラットフォームと、前記プラットフォーム内に設置されるセンサーと、患者の動きを捕獲するモーション・キャプチャーセンサーと、関節トルクと筋力と関節力の位置及び強度を人体アニメーションモデル上でリアルタイムに表示する視覚表示部と、を備える。本発明のシステムにおいて、前記視覚表示部は、患肢の動きが改善されるように患者を訓練するために患者に提供されても良く、前記視覚表示部は、診断に必要な力とトルクのデータを臨床医に提供するように構成されても良い。本発明のシステムはさらに、臨床医の研究用に、前記視覚表示部による表示を再生可能な記録機能を備えても良く、前記視覚表示部用のデータベースを備えても良く、比較器を備え、これにより、前記データベースに、複数のユーザーから得られた視覚表示を格納しても良い。

Claims (10)

1. 身体構造上の力を視覚表示し、出力するシステムを用いて、動いている身体の個々の筋力および関節モーメントをリアルタイムに算出・測定・記録・観察するための方法であって、
   前記システムは、
   リアルタイムの位置データを収集し、記録するためのモーション・キャプチャシステムと、
   前記モーション・キャプチャシステムからデータを受信し、受信したデータから回転データを導き出すコンピュータと、
   生体力学的身体骨格定義並びにマーカセットのテンプレートを備える第１のルックアップテーブルと、体重特性を備える第２のルックアップテーブルと、筋肉経路を備える第３のルックアップテーブルと、
   前記コンピュータに搭載されている計算パイプライン、およびカラーアニメーションを表示するためのコンピュータディスプレイ装置とを備え、
   前記方法は、
   動いている前記身体を前記モーション・キャプチャシステムの範囲内に置き、
   動いている前記身体の選択されたマーカポイントの３次元座標をリアルタイムで収集し、記録し、
   ３次元座標と、生体力学的身体骨格定義並びにマーカーセットのテンプレートを備える前記第１のルックアップテーブルとに基づいて、動いている身体の骨格姿勢をリアルタイムで計算し、
   前記動いている身体の骨格姿勢と、前記骨格姿勢の一次導関数速度と、前記骨格姿勢の二次導関数加速度と、動いている前記身体に影響を与える外力を表す力ベクトルと、前記第２のルックアップテーブルからの体重特性と、を用いて、前記身体の関節モーメントをリアルタイムで計算し、
   前記計算された骨格姿勢と前記第３のルックアップテーブルとに基づいて、筋長と筋肉モーメントアームとをリアルタイムで計算し、
   二次計画法および前記二次計画法用の神経ネットワーク最適化アルゴリズムを用いて、前記計算された関節モーメントと、前記計算された筋長および筋肉モーメントアームとに基づいて、筋力をリアルタイムで計算し、
   前記身体が動いている間に、前記計算された筋力から筋肉モデルのカラーアニメーションをリアルタイムで作成し、表示し、これにより、動いている前記身体の筋力の相対量が前記カラーアニメーションの各筋肉を相対的に色分けすることにより表されること、
   を備える方法。
2. 請求項１記載の方法において、前記筋肉モデルのカラーアニメーションはさらに、３Ｄベクトルアニメーションの尺度及び色で関節トルクを表現する、方法。
3. 請求項１記載の方法はさらに、
   少なくとも一つのモーション・キャプチャー・マーカーを、３次元座標により規定される前記身体上に設置し、
   前記少なくとも一つのマーカーからリアルタイムの位置データを集めて記録し、
   前記少なくとも一つのマーカーから得られた複数の位置データから回転データを導き出し、
   前記骨格姿勢の速度と、前記骨格姿勢の加速度と、身体に影響を与える外力を表す前記力ベクトルと、をリアルタイムで算出することを備える、方法。
4. 請求項１記載の方法において、前記身体は人体である、方法。
5. 請求項１記載の方法において、前記モーション・キャプチャーシステムは、前記リアルタイムの位置データを検出するセンサーを備え、前記センサーは、光センサー、磁気センサー、慣性センサー、映像ベースのセンサーからなるセンサー群から選択される、方法。
6. 請求項１記載の方法において、身体構造上の力を視覚表示し、出力する前記システムは、前記動いている身体を支持する機器を搭載したプラットフォームを備える、方法。
7. 請求項２記載の方法において、前記筋力と前記関節トルクとを人体表現物上に表示する、方法。
8. 請求項４記載の方法はさらに、人体の体型を近似する生体力学的身体骨格定義とマーカーセットのテンプレートとを選択することを備える、方法。
9. 請求項１記載の方法において、前記計算パイプラインは、ヤコビ行列を用いて、前記リアルタイムでの計算を容易にする、方法。
10. 請求項１記載の方法において、前記計算パイプラインは、再帰型ニューラル・ネットワークを用いて、前記リアルタイムでの計算を容易にする、方法。