JP4351808B2 - 人間の機能的行動をダイナミックに登録・評価・修正するためのシステム - Google Patents

Description

【０００１】
【関連した用途についての相互参照】
本出願はベネルクス特許出願第1010150号（出願日１９９８年９月２２日)、欧州特許出願第98204334.1号（出願日１９９８年１２月２１日）、米国仮特許出願第60/116,506号（出願日１９９９年１月２０日）からの優先権を主張するもので、あらゆる目的のためにこれらの出願明細書を参考資料として本願に添付した。
【０００２】
【発明の背景】
【発明の技術分野】
本発明は、最も一般的には、モーションキャプチャ、モーションプラットホーム、シミュレーションテクノロジを組み合わせて完全に反応性のある仮想環境および物理環境を創り出すシステムに関連するものである。より特定すれば、本発明により、ユーザーの環境を制御するためのリアルタイムフィードバックのある模擬環境が創り出される。さらに特定すれば、本発明はオペレータおよびユーザーのランタイム制御にリアルタイムフィードバックループを組み込むもので、これにより光学センサーおよび磁気センサーあるいはそのいずれかからのデータや、モーションプラットホームからのデータが処理され、ダイナミックなシステムに取り込まれる新しいデータセットが生成される。
【０００３】
【発明の背景】
人間の動作機能および運動技能についての様々な研究が、動作技能を改善し、運動技能学習の効率を向上させるための方法やシステムに貢献してきた。動作技能の学習曲線が向上すれば大きな利益が期待できる数多くの用途があり、特にリハビリテーションを目的としたものがある。
【０００４】
人間が動作技能を学習する方法は、誕生時から始まる連続的なバイオフィードバックによる複雑なプロセスである。乳児はその体格や強さに適した物理的な限界や境界を学習し、手を使う作業に必要な制御を開拓する。絶え間のない試行錯誤プロセスにより、乳児は、体格や強さの発達だけでなく、精神面での能力やバイオフィードバック制御の発育に伴い技能セットを次々に学習する。動作技能は認識パターンとして植え付けられ、希望の動作が必要となったときに再現される。歩行という単純な行為でも、実際にはバイオフィードバックメカニズムと組み合わされた一連の複雑な動作である。
【０００５】
乳児の学習の速さは、新しい技能セットを適応させたり事故や医学的な事情により失われた技能セットを再学習する成人に比較すると極度に速い。たとえば、事故に遭って義足を装着することになった人は、歩行に関連のある運動技能を再学習する必要がある。バランス、調整、フィードバック制御ループは、補綴に適応するために変化するが、これは本人が歩行能力を再獲得するための長くて根気のいる学習プロセスのみによるものである。また、足取りは、一見して自然であったり不自然であったりする。
【０００６】
新しく登場したテクノロジを利用してモーションキャプチャを含めたリハビリテーションプロセスを支援する様々な試みがなされた。「モーションキャプチャ」は、各種技法に関する用語であるが、このテクノロジは各種用途に何年も前からある。モーションキャプチャの目的は、性能を重視した方法で、三次元 （３Ｄ）アニメーションおよび自然なシミュレーションを作成することである。
【０００７】
娯楽産業では、モーションキャプチャによって、オペレータはコンピュータにより生成されたキャラクタを使用できるようになる。そのキャラクタは実行不可能なシーンあるいは危険なシーンで使用される。モーションキャプチャは広範囲におよぶ人間の動きを使用した複雑で自然な動作を創り出すために使用されるほか、動かないオブジェクトを現実的に動かすことができる。
【０００８】
一部のモーションキャプチャシステムでは、製作物のリアルタイム フィードバックが提供されるので、オペレータはその動作が十分であるかを即座に判断できる。モーションキャプチャは、体全体の動作だけでなく、手の動き、顔の動き、リアルタイムでの唇の同調などに適用することができる。モーションキャプチャは、医療、シミュレーション、エンジニアリング、エルゴノミクス (人間工学) などの用途のほか、映画、広告、テレビ、３Ｄ、コンピュータゲームなどでも使用される。
【０００９】
また、モーションプラットホームも、多様な用途に使用されてきた。モーションプラットホームとは、コントローラに応じてプラットホームを操作するサーボ機構、ジャイロスコープ、およびアクチュエータ、あるいはそのいずれかによって制御される表面領域のことである。商用および軍用のどちらでも、モーションプラットホームの用途の大半は、シミュレーションに使用されるものである。娯楽産業では、モーションプラットホームをライドのシミュレーションに採り入れているが、ここでプラットホームはライド乗車客が列車に乗るなどの体験ができるように操作される。その他の商用の用途には、パイロットを訓練し試験するフライト シミュレーションなどがあり、機器や担当員にかかる費用が削減されリスクも低減される。コンピュータにより生成された一連のシーンは、体感を向上させるために、プラットホームと共に使用されてきた。
【００１０】
仮想環境（ＶＥ）テクノロジにより、第一に患者が学習タスクに専念することができるようになった。手術シミュレータが早期に開発されたことで、訓練の目的でのＶＥテクノロジに高い潜在性があることが示されてきた。理論的に言えば、ＶＥを使用すれば、運動応答を記録し、それを使用して同一環境との相互作用やその操作ができ、運動タスクの実行に関連のある変数の決定アプローチとしての理想的なツールとなる。ＶＥを使用して感覚や運動応答性の検査、分析、再検査、訓練を同時進行的に行うこともできる。
【００１１】
臨床リハビリテーションの分野では、ＶＥコンピュータテクノロジには数多くの潜在性があるとともに、いくらかの限界もある。現時点では、知覚または運動の再訓練プログラムに導入した仮想現実システムの利点に関する論文等の文書化されたものはほとんどない。ただし、適切なコンピュータ テクニックを用いて、リハビリテーション プログラムにおいて患者の進展状況に応じた治療の様相を正確に計測することが提案される。予期されないような変化のある目標や外部からの力を生成する機能は、運動性リハビリテーションの分野では有用であり、ここで仮想現実テクニックによって既存の診断ループへの補足的な支援が提供されるが、これには療法や回復のあらゆる段階でのモニタリングや調節が必要となる。
【００１２】
リハビリテーション プロセスの主要なゴールの一つに、身体障害者の日常的な活動を量的および質的に改善して、他に依存しない生活を可能にするというゴールがある。適切な訓練プログラムを完成するには、動作パターンの分析が必要である。最も優れた訓練はいわゆる機能的訓練であることが実証されている。つまり、機能を改善するためには、特にその機能を身体障害者が毎日の生活の中で使用する方法を用いて訓練する必要がある。直立や歩行などの基本的な能力は、分析するのに十分に複雑といえる動作であるが、着替え、料理、家事などの通常の日常生活活動（ＡＤＬ）は、さらに複雑なものであるが、これらもリハビリテーションプログラムのゴールである。
【００１３】
これまで、分析と訓練のフィードバックは、ＥＭＧ（筋電図）フィードバックや基本平衡反応などの活動の要素にのみ可能であった。普通、これらのフィードバック センターは、身体障害者を取り巻いている通常の環境とは似つかない人工的な環境である研究室内にある。現時点では、より正確で現実的な訓練システムを提供する目的で、身体障害者の実際の環境をシミュレートするのに適切といえる人工的な環境は存在しない。
【００１４】
上記の問題に取り組むための様々な試みがなされてきた。従来の技術システムは、適応性や動作の制御を訓練するもので、ユーザーは記録された動作を見てそれを真似ることで運動技能を獲得したり改善したりすることができる。一般にモーションキャプチャは、ビデオカメラで記録され、ビデオテープに保存され、その一方、その他のシステムによりビデオ画像や動作シーケンスがデジタル化される。ユーザーは自分の動作と記録された動作とを比較し、記録された動作を自分のものにしようとする。これら従来の技術の用途では、ユーザーは記録されたあるいは参照用のデータ セットを模倣しようとするのである。また、従来のシステムは、望ましい動作シーケンスをユーザーに実際に行わせるものではない。
【００１５】
米国特許4,337,049では、一つのシステムが開示されているが、そこにおいて、カメラからの動作データが参照用のデータ セットと比較される。ユーザーが視覚的な基準を模倣しようとするとき、誤り補正公式が使用され、しきい値レベルを越えたらユーザーに信号が送られる。
【００１６】
米国特許5,822,813('813)に記載されている申請書では、動作補正された装置が船舶用の寝具一式に組み込まれている。この'813の発明では、感知手段が使用されており、ある瞬間での基準面に対するデッキの位置が検出される。制御システムによって一連のサーボのコマンドが出され、船舶の縦揺れや横揺れにもかかわらず寝台プラットホームの安定が保たれる。
【００１７】
米国特許5,768,122の発明には、オブジェクト指向型の方法により制御されるモーションプラットホームが説明されている。このシステムでは、高レベルの動作がより単純なタスクに分析され、編集や変換の手段が組み込まれプラットホームにコマンドが送られる。
【００１８】
米国特許5,846,086には、一つの運動技能システムが説明されており、そこにおいて、訓練内容 (つまりモデル動作) を記録したものが仮想環境で再生される。学び手の動作がモデルの動作と比較され、学び手は基準の動作を模倣しようとする。リアルタイムでの視覚によるフィードバックによりユーザーの動作と基準の動作が表示され、動作の違いがどこにあるかが表示される。
【００１９】
従来の技術によるシミュレーションテクノロジでは、シミュレートされた所定の状況に対する人の応答時間が計測される。シミュレーションにおける人の空間的な挙動に関するデータは全くない。
【００２０】
さらに、シミュレーションの繰り返し可能性を確保できる方法がなかったため、医療分野での療法の基準は全くなかった。
【００２１】
システムは非常に高価であるため、モーションキャプチャスタジオは本分野への参入に対する大きな障壁になっている。またそれに伴い、スタジオは非常に高い料金を請求する。
【００２２】
ランタイム制御機能がないために、記録の製作には長い時間がかかる。従来の技術によるシミュレーション方法では、希望の体験が得られるようにアーチストが演出する必要がある。次にエンジニアがプログラミングにより、通常はアセンブリ言語によりこの体験を実現し、アーチストの希望する体験に従って演じさせる。たとえば、時間ｘ秒で６インチ上昇し、時間ｘ＋５秒では１０インチ上昇するようにライドをプログラムするという具合である。エンジニアとアーチストは、このような繰り返しを何回か通過することになり、希望の体験が記録されるまでには数ヶ月がかかる。
【００２３】
モーションキャプチャによって製作された大半のアニメーションでも、人間の動作を処理に取り入れていないため、自然な人間の挙動らしい反応が不足している。
【００２４】
従来の技術によるシステムでは、モーションキャプチャ プラットホームとシミュレーションテクノロジを導入して連動性の高いシステムが提供しているものはない。現時点ではリアルタイム フィードバックとユーザーの仮想環境および物理環境の制御を提供してくれる手段はない。
【００２５】
必要となるのは、物理環境および仮想環境をシームレスに統合し、希望の効果をプログラマーがすぐに操作・記録できるようなシステムである。記録された効果によって、システムの各ユーザーがオリジナルのプログラマーと同一の物理環境および仮想環境を体験できるようになる。そのようなシステムは、運用経費が手頃であるとともに、利用のコスト効果は高くあるべきである。
【００２６】
【発明の概要】
本発明は、リアルタイム プロセッシングよりも高速に動作するモーションプラットホームを組み合わせたモーションキャプチャシステムで、ユーザーまたはオペレータによるランタイム インタラクションが可能となる。本発明は、モーションキャプチャ テクノロジとシミュレーションテクノロジを組み合わせたシステムで、ハードウェアおよびソフトウェアの各要素の組み合わせと、オーサリング ソフトウェアおよび制御ソフトウェア環境の組み合わせでユーザー環境を変化させることができる。
【００２７】
本発明により、新しい計測および修正ツールが実現され、各種産業での用途に活用できる。本発明により、人間の機能的動作を所定の状況範囲内で判断・登録・評価するために、ユーザーへの反応性が非常に高い仮想環境および物理環境に一人以上のユーザーを集中させることができる可能性が生まれる。
【００２８】
医療用の用途が意図されているが、本発明は他の市場セグメント向けにも適用可能である。
【００２９】
レジャー産業および娯楽産業 ― 本申請書により、娯楽産業を含めた数多くの用途で有用なツールが提供される。本システムにより、シミュレーションライドの記録がリアルタイムで可能になる。コスト効果が高いだけでなくより現実味のあるシミュレーションが提供されることにより、本システムを娯楽用シミュレーションの強化や向上に使用できる。本システムにより、アーチストやシミュレーション製作者は、システムを制御して希望のシミュレーション効果を記録することで希望の効果を創り出すことができる。本モーションキャプチャシステムでは、デザイナーのシミュレーションが即座に記録され、直ちに再生できる。これによって、シミュレーションを生成するためにかかる時間が人・月単位から人・分単位に短縮される。
【００３０】
シミュレーションのコスト効果が高いだけでなく、システムではランタイム編集が採用されており、リアルタイムフィードバックよりも高速で、シミュレーションをさらに現実感のあるものにしてくれる。オペレータまたはユーザーはパラメータをその場で変更でき体験を向上させることができる。また、ユーザーの動きや動作をシミュレーションの数式に取り込むことができ、シミュレーションを現実感のあるものに仕立てることができる。
【００３１】
シミュレーションライドは、本発明のもう一つの応用例である。現時点では、プログラムシミュレーションライドはアーチストやデザイナの指図によってエンジニアがアセンブリ言語で記述している。アーチストが希望のライドまたはシミュレーションを描写し、アーチストの記述の模写を試みながらエンジニアがコードを記述する。時間ｘでライドがある一つの位置にあり、時間ｘ＋１でライドが別の位置にあるという具合にコードは記述される。次に、アーチストは自分の希望の結果が得られるまで何回にもわたりエンジニアとやり取りを行う。このプロセスは通常数ヶ月かかる。
【００３２】
本発明では、アーチストが自分の体にセンサーを取り付け、ライドの制御を行い、アーチストのまったく希望どおりにシミュレーションを記録する。アーチストの作業が終了するとすぐに、プログラムは再生可能である。アーチストは、長い時間がかかり高価な工学的インターフェイスなしに希望どおりの効果を得るようになる。アーチスト自身の体のモーションを記録することにより、どのユーザーにもそれとわかる身体の動作が即座に再生される。アーチストがプラットホームを制御するので、シミュレーションを生成するために必要な作業および時間が９９％削減される。
【００３３】
軍事用―軍隊の訓練は、非常に高価で危険性が潜んでいるため、シミュレーションが好ましい訓練方法となりつつある。仮想現実環境とモーションプラットホームを使用することで、訓練の効率を高め、軍隊の準備状態が向上される。
【００３４】
航空宇宙研究―本発明により、パイロットや宇宙飛行士の空間的調整の応答時間および遅れ時間をリアルタイムで登録・試験したり、シミュレートした所定の一連の状況への応答が可能になる。たとえば、現実的な宇宙ミッションをシミュレートして、そこで宇宙飛行士、ツール、周囲の環境のモーションがプログラムされた環境に影響を及ぼすようにすることができる。宇宙での歩行やミッションのための訓練で、無重力の環境をシミュレートすることもできる。
【００３５】
自動車―本システムにより、ドライバの動きの空間的な軌道がリアルタイムで記録および表示され、これらの動きの３Ｄデータベースが作成される。アプリケーションにより、人間工学的により優れた試作品や運転環境のデザインに関連するデータが生成される。
【００３６】
ロボティクスおよびテレメトリ(遠隔測定法)―リモコンでの運転が完全な対話式の方法で可能な、遠隔測定をもとに反応する環境が本発明により達成される。オペレータは、遠隔地から動作フィードバックを受信する。
【００３７】
建築―本発明により、地震に対して不安定な建物における力に対する地面の反応をモニタすることができる。本システムは大規模な導入が可能で、建物の重要な部分をサポートし、地震により発生した移動に関係なく平坦なプラットホームを維持できる。
【００３８】
本発明は、患者のリハビリテーションの時間を短縮することで医療コミュニティで非常に大きな影響をもつ。高い医療費と規制のある医療ケアに対する大きな懸念のある中で、本発明により、コストを低減し治療期間を短縮する方法が提供される。また、多くの患者にとっての生活の質を支援し向上させ、他の方法ではそのような動作が不可能であるような物理的な動きの知覚が可能となる。安全性と信頼性のために、転倒する恐れのある人向けにシステムを補助にして、バランスや平衡感覚を向上させることができる。
【００３９】
本システムは、脳への外傷、脳の損傷、脊髄の損傷などの患者にとって有用である。動作認識の研究により、一定の動きを身体が覚えるだけでなく、シナプス経路が再生されうるという考え方が指示されている。希望の動きをシミュレートすることにより、身体はその動きをするための再訓練ができる。また、システムにより、モーションプラットホームにフィードバックされた自分の動作の規模を加減することで、人が自分の平衡感覚のずれに対して反応することができるようになる。
【００４０】
整形外科学および補綴学の分野では、本発明により、現在の状況を調整するにあたり患者の補助が可能である。整形外科、補綴、および手足を失った人にとって、システムでは進展状況をモニタ・追跡できる一方、動きの訓練および向上が図れる。たとえば、手足のどれか１つがない場合、運動量を移動させて不釣合いを修正でき、バランスをとるための訓練ができる。
【００４１】
状態を複製して患者が動作を調節できるようにすることで、乗り物酔いやその他の動作障害の治療ができる。
【００４２】
本発明により、正確に繰り返し可能な計測が得られるだけでなく、異なった時間間隔で記録された動作を比較することにより、患者の進展状態をモニタすることもできる。問題のエリアを強調表示するために使用できる標準または基準の動作のライブラリを提供することもできる。
【００４３】
パーキンソン病などの安定化に問題のある疾患をもつ人は、直立不動の姿勢をとることができないが、本システムを使用することで、静止位置に留まらせることが可能となる。人体は様々な大観的なバランスについての入力を受け取り処理しているが、これは複雑かつ連続的なやり取りであり、ここでバイオフィードバックシステムの一環として脳では生存のために最適化された入力が選択される。ユーザーは直立不動の姿勢をとるという知覚を獲得するが、医学報告書には、状態の認識がきわめて重要であることが述べられている。恐怖感は回復において主要な要素であり、事故に遭ったり病気にかかったことのある人は、回復を妨げたり遅らせる恐怖感を表現することがある。
【００４４】
システムがすべきことをすべて行っているとしても、本発明は人間の能力を示している。こうして、一定の恐怖感に打ち勝つための支援がシステムによってできる。たとえば、家の中にある階段で躓いたことがあるとしたら、将来における階段の昇り降りに影響を与えるかもしれない、その転倒に対する認識記憶が生まれるだろう。本発明では、階段とその転倒にいたった状況をシミュレートすることにより、本人が恐怖感に打ち勝てるように紛らすことができる。
【００４５】
補綴のある人は、補綴には圧力をかけたがらないが、その理由に恐怖感とおそらく痛みがある。本システムでは、プラットホームを持ち上げて穂鉄に合わせるように補綴に故意に圧力をかける。圧力センサーにより補綴にかかる圧力をモニタし、プラットホームレベルを変化させることでどんなレベルにでも圧力を上昇させることができる。仮想の床はまっすぐなままで、物理的な床が、この場合トレッドミルを置くが、これが足に合わせて上昇する。
【００４６】
医療向けの用途に関連した本発明の実施例のひとつを例として挙げることができる。コンピュータ支援リハビリテーション環境(CAREN)という開発プロジェクトは、リアルタイムドメインで運転される本システムの実施例である。CARENプロジェクトは、人間のバランス動作を再生可能な様々な条件でテストするような仮想現実システムの開発に適している。
【００４７】
CARENプロジェクトでは、仮想現実環境がシミュレートされ、その環境内で健康な被験者と患者の敏捷性を再生可能な様々な条件でテストすることができる。CARENによって、コンピュータ駆動のモーションプラットホームからの動揺に対する応答としての被験者の動作の詳細な計測が可能になる。人体モデルのシミュレーションにデータを供給した後、関節部の力のモーメントおよび筋肉の活動性を計算することができる。これらの応答の時間的パターンをもとに、被験者が開始する運動性プログラムについて推測することができる。運動性プログラムに、機能上の不良や不十分性を招くような根本的な問題があれば、それがどの関節および筋肉群であるかを突き止めることができる。筋肉の力不足などの二次的な問題は、根本的な問題とは区別される。運動障害をもつ子供における完全な運動性プログラムの不十分性は、分類された上でトラックプログラムに記録できる。
【００４８】
患者における補償戦略をよく理解することがより良い療法につながる。CARENでは、患者用の予備的な動作がほぼ無限に備わったテスト環境だけでなく、運動性制御研究のための強力なツールが提供されている。
【００４９】
CARENプロジェクトの主な目的の一つに、広範囲な医療分野で、リハビリテーションプログラムを成功させるのに必要な時間を短縮することにより診断および治療活動を向上させることがある。この向上は、医療専門家チームがバランスおよび調整の動作パターンをその動作がなされたと同時に制御されたリアルタイム環境で目で見て分析する機会を与えられることで定義される。こうして、専門家構成員が直ちに患者の挙動に介入したりそれを修正することが可能となる。
【００５０】
本システムは、コンピュータ制御で可動式のプラットホームと、三次元ビデオ投影、被験者のモーションキャプチャ、および被験者の運動のフォワードおよびインバースダイナミクスコンピュータシミュレーションの組み合わせで構成されている。バランス障害の診断および修正のための処置には、標準となるリハビリテーションや体操の方法はない。欧州にある大概のリハビリテーション診療所では、運動障害の原因別に分類された特殊化療法プログラムを使用しているが、使用されている装置や手続きに関する医療上の体験を交換するために、ネットワークでコミュニケーションできるプロトコルは使用できない。さらに、汎用ツールでは、患者の挙動を高い精度で計測することに欠けているので、進展の査定は主に目視により実施される。本発明は、インタラクティブで仮想的なリアルタイムコンピュータ駆動の応用ツール−プラットホームの開発を目標としており、これにより患者はほとんど制限のない予備的な挙動の手段を得ることができ、また同時に医療専門家はリハビリテーションプロセスの進展状態のモニタ用の精度の高い計測ツールを得ることができる。
【００５１】
本発明により、医療セクター向けにターンキー型のカスタマイズされたビジュアリゼーションシステムが可能となる。シミュレーション業界では、リアルタイムの速度を保ちつつ三次元の物体の位置および向きを追跡し表示できるような表示環境が実現する。アニメーション産業では、仮想キャラクタおよび環境を創り出して操作するための三次元ツールキットが実現する。マルチスレッド型の並列アルゴリズムの適用においての発展により、モーションキャプチャデータとハイレベルの詳細ビジュアリゼーションとのリアルタイムでの統合が可能となる。本システムを用いれば、人体モデルを組み込むことにより、被験者の動作をコンピュータ駆動のプラットホームからの動揺に対する応答として詳細に計測することが可能となる。
【００５２】
CARENプロジェクトの全般的な目的は、最善の効率と効果が得られるリハビリテーションおよび訓練の状況を創り出すために、リアルタイムバイオフィードバックによって患者が没頭できる仮想のインタラクティブシステムを開発することである、この向上は、医療専門家が制御された環境において発生と同時にバランス方法を分析する機会を得られることで定義される。
【００５３】
CARENは、コンピュータ駆動のプラットホームから出される動揺への応答として被験者の動作を詳細に計測できるように、ハードウェアをカスタマイズしソフトウェアを開発することにより成り立っている。プラットホームの動きは、投影されたイメージと非常に接近した同時性をもって実施され、被験者の動きとは独立したものにすることもでき（大きな船の上に立っているときのように）、あるいは、被験者の動きにも依存するようにすることもできる（小さな船の上に立っているときのように）。
【００５４】
特に複雑なバランスのタスクでは、筋肉の活動性のパターンにより、被験者が転倒するか否かが決定される。これらのシミュレーションは、ある一定のバランスのタスクでの正常および病的な応答パターンを把握することが目標とされている。
【００５５】
CARENプロジェクトで創り出される実質的に正常で反応しやすい環境でのリアルタイムフィードバックによって、日常生活での活動のために身体障害者を分析し訓練することが可能となる。CARENにより、患者の環境をテストしたり学習することが提供されているだけでなく、運動制御のための貴重な研究環境が提供されている。科学雑誌に発表される実験は一般に自然な状況からかけ離れたものである。感覚の統合は、運動制御の把握にあたりキーとなるため、CARENによって、さまざまなチャンネルの感覚入力が提供できるような新しいタイプの実験への門が開かれる。
【００５６】
たとえば、パーキンソン病患者でみられる動きの制御は、多くの臨床医や人間の動きを研究する科学者らは不可解なものであると考えている。これらの患者では、むしろ正常にみえる運動性パターン（たとえば歩行に使用されているような）を引き出すには、いくらかの視覚的な合図で十分である一方、そのような刺激がない場合には、パターンは開始されることもできない。健康な被験者では、学習済みの運動性パターンの莫大なライブラリへの複数チャンネルの感覚入力があれば、歩行中のバランスが連続的に制御されうる。この入力は、筋紡錘、ゴルジ腱器官、足裏の皮膚の受容器などの機械的受容体のほか、視覚系から来るものである。人間の歩行の直接の環境の本質を確立するにあたっては、聴覚の入力でさえも有用である。
【００５７】
ただし、ここで視野の流れがさらに強い影響力をもつ。実験によれば、視野の流れを人工的に変化させると、被験者のバランス感覚を狂わせうることが分かっている。その一例が移動する部屋のパラダイムであり、被験者は部屋の中に立ち、その部屋の床は動かさずに壁を動かすことができるというものである。被験者は、バランスを相殺することで即座に反応する。時には転倒することもある。パーキンソン病患者では、感覚の入力は視野の流れの方向に影響を受ける一方、他の入力はそれほど重要ではなくなっている。
【００５８】
CARENにより提供されている環境により、異なったタイプの入力を調節できるような実験をデザインすることが可能となる。可動式のプラットホームにより、脚を通した感覚の入力を視覚的な刺激とは独立して変化させたり、その逆が可能である。その速度が視野の流れの速度には対応していない踏み車の上をこれらの患者に歩いてもらうことができるが、これは統合されている入力の多様性、またどの測定数値においてであるかを調べるためである。CARENにより、人間の動作に関連した自然なプロセスの複雑さをさらによく見ることができる。
【００５９】
その他の例は、部分的な麻痺や四肢の一つの麻痺などの末梢障害のある患者に見ることができる。これらの状況では、足取りおよびバランスは、感覚の入力の部分的な欠乏と筋肉の調節の欠乏の両方により弱まる。その通常の結果としては、機能的な足取りおよびバランスを獲得するために、患者はその埋め合わせを見つけ、体の健康な部分に異常な動きのパターンが生じることになる。さまざまな状態下でモーションキャプチャにより供給されるインバースダイナミクスシミュレーションを使用できるようにすることで、埋め合わせと原発性の障害との間の区別を解決できるようになる。それが歩行や直立のモードとして最善とは言えないことを意味していたとしても、人は苦痛の感覚を避けることを好む。最適化は、機能性と快適さの間の妥協として求めることができる。
【００６０】
本発明は、シミュレーションにおける新しい原理であり、人間の挙動が基準の挙動または前の挙動のどちらかに対して評価または比較されるものである。この原理は、シミュレーション状態を実現するためのメカニズムを確立している。こうしてこれに関与する人がその挙動により、またその人を取り巻く物理的および視覚的な環境により影響をうける。
【００６１】
リアルタイムの全身キャプチャの構造および制御された「地面」により、キャラクタと環境の間のインタラクションが含まれる複雑なアニメーション作成用のモーションキャプチャを使用する能力が得られる。
【００６２】
また、モーションキャプチャソリューションにより、パフォーマンスアニメーション装置が可能となる。ターンキー型のキャプチャソリューションがキャプチャおよび制御ユーティリティ６ＤＯＦモーションプラットホーム出力チャンネルドライバーに追加されており、これにより動作ライドやシミュレーションシナリオの制御やプログラミングをシステムから直接できるようになる。
【００６３】
本発明のその他の機能として、顔面のキャプチャがある。口の主な形状と比較用のライブラリ群の組み合わせを使用することで、現実感を作成したり、またはキャプチャとアニメーションとの組み合わせを作成することができる。FACE-MIXERはSOFTIMAGE用のチャンネルドライバで、LIVEキャプチャの状況で顔の表情のアニメーションを記録中にミキシングが可能である。これには放射形状作用が使用されているが、これはすべての主要形状は常時アクティブであることを意味する。アニメータは各種の表情、変化の速度、一つの表情から次の表情への軌道などを制御する。
【００６４】
本発明の対象の一つは、処理手段、その処理手段に接続されたモーションキャプチャシステムから構成されるモーション処理システムである。モーションキャプチャデータは、多数のモーションセンサーから取られ、リアルタイムよりも高速に処理される。処理手段に接続されたモーションプラットホームシステムがあり、そこでもモーションプラットホームデータはリアルタイムよりも高速に処理され、また制御コマンドがモーションプラットホームに出力される。また、ランタイム制御入力ができるモーション処理システムへのインターフェイス手段がある。
【００６５】
また対象をさらに付け加えると、多数のモーションセンサーが光学式なモーション処理システムである。さらに、モーション処理システムには、多数の磁気式モーションセンサーを持たせることもできる。光学式および磁気式センサーの組み合わせも本発明の範囲である。
【００６６】
また対象をさらに付け加えれば、さらに仮想環境をユーザーに表示するためのディスプレイ手段により構成されているモーション処理システムで、ここでディスプレイ手段は処理手段に接続されているものである。ディスプレイ手段は、ステレオプロジェクションまたはヘッドマウントディスプレイが使用でき、操作された物理環境と並べて仮想環境が創り出される。
【００６７】
対象をさらに付け加えると、さらにモーションキャプチャデータおよびモーションプラットホームデータを記録するための記憶手段から構成されるモーション処理システムがある。記録データは再生して、記録された全くそのままの環境をリアルタイムでシミュレートすることができる。また、仮想環境を動作データと共に記録して、トータルに没頭できる環境を完成することができる。
【００６８】
本発明の対象の一つは、多数のマーカーをユーザーに配置するステップ、モーションプラットホーム上でユーザーの位置を決めるステップ、多数のマーカーからのモーションキャプチャデータセットを受信するステップ、モーションプラットホームからのモーションプラットホームデータセットを受信するステップ、制御信号をランタイムで入力するステップ、制御信号およびモーションキャプチャデータセットおよびモーションプラットホームデータセットをホストコンピュータシステム上でのリアルタイムフォーマットよりも高速に処理するステップ、新しいデータセットをモーションキャプチャシステムおよびモーションプラットホームシステムに出力するステップなどから構成される仮想環境および物理環境プロセスである。対象にさらに付け加えれば、仮想現実環境をユーザー向けに表示するステップをさらに追加した仮想環境および物理環境プロセスである。
【００６９】
別の対象は、制御信号のランタイムでの入力ステップがユーザーにより実施される仮想環境および物理環境プロセス。オペレータまたはユーザー、あるいはその両者はダイナミックシステムへの変更を入力できる。
【００７０】
本発明の対象の一つは、多数のモーションセンサーを装着しモーションプラットホーム上に配置されたユーザーから構成されるシミュレーション記録システムである。処理手段、および処理手段に接続されているモーションキャプチャシステムがあり、ここでモーションセンサーからのモーションキャプチャデータは、リアルタイムよりも高速に処理される。モーションプラットホームシステムが処理手段に接続されており、ここでモーションプラットホームデータはリアルタイムよりも高速に処理され、またここで制御コマンドがモーションプラットホームに出力される。また、システムには、ランタイム制御入力により処理手段とのインターフェイスをとる手段があり、またモーションプラットホームデータおよびモーションキャプチャデータの記録用の記憶手段がある。このシステムにより、オペレータ／アーチストはエンジニアやプログラミングに頼ることなく希望のシミュレーションをリアルタイムでデザインすることができる。さらに、別の対象は、さらに記憶手段からの記録されたモーションプラットホームデータおよびモーションキャプチャデータを再生する手段により構成されるシミュレーション記録システムである。
【００７１】
さらに付け加えられる対象があり、これはさらに仮想現実環境を記録されたモーションプラットホームデータおよびモーションキャプチャデータに連続して記録するための手段から構成されるシミュレーション記録システムである。
【００７２】
機能面での人間の行動をダイナミックに登録・評価・修正するためのシステムで、記憶手段、およびモーションプラットホームシステムから構成され、ここで、ユーザーはプラットホーム上に配置される。モーションキャプチャシステムがあり、ここでユーザーにはモーションを検出するための多数のマーカーが装着され、またモーションプラットホームシステムおよび前述のモーションキャプチャシステムに接続された処理手段があり、ここでモーションプラットホームデータおよびモーションキャプチャデータは前述の処理手段によりリアルタイムよりも高速に処理され、またここで新しい制御データがモーションプラットホームシステムに出力される。最後に、記憶手段上にあるモーションキャプチャデータおよびモーションプラットホームデータを記録する手段、およびランタイム制御入力によりシステムとのインターフェイスをとるための手段がある。
【００７３】
その他の対象には、記憶手段からの記録されたモーションキャプチャおよびモーションプラットホームデータを再生し、ユーザーに対して外的な力を生成することが含まれる。モーションプラットホームでは、逆方向の力が生成され、ユーザーが記録されたモーションを再現できるようにしている。
【００７４】
最後に挙げる対象は、機能面での人間の行動をダイナミックに登録・評価・修正するためのシステムで、ここで記憶手段に以前に記録データのライブラリが含まれるものである。データは、基準となるモーションおよび環境のライブラリ、または進展状況がモニタできるように個人ユーザー用に記録データのライブラリのどちらでもよい。
【００７５】
なお、本発明のその他の対象や利点については、下記の詳細な説明によって、この技術分野に精通している者にとって、容易に明らかとなるが、ここには、単に本発明の遂行が意図される最適なモードを図示することによって本発明の望ましい実施例についてのみ記述している。
【００７６】
【好ましい発明の実施の形態】
本発明分野に精通している者にとってみれば、本発明には数多くの変形の余地がある。下記は、望ましい実施例の説明であり、発明の実例を提供しているが、発明の範囲を限定するものではない。理解されるとおり、本発明は他の異なった実施例に適用可能で、そのいくつかの詳細は様々な面での明らかな変更が可能であり、それらすべては本発明から逸脱するものではない。
【００７７】
図１に、本発明の概要を図示するが、ここでユーザー１０には多数の光学センサー２０および磁力センサー３０が身体の様々な位置装着されている。光学センサー２０からのデータは光学式モーションキャプチャシステム４０により受信される。磁力センサー３０からのデータは磁力的モーションキャプチャシステム５０により受信される。
【００７８】
望ましい実施例では、光学式データ セットには、全身についてのユーザー１０のＸ軸、Ｙ軸、Ｚ軸の位置が含まれ、１００ＦＰＳでコンピュータ７０に送信される。ユーザー１０のＸ軸、Ｙ軸、Ｚ軸の位置および回転が含まれる磁力的キャプチャデータセットは、６０ＦＰＳでコンピュータ７０に送信される。
【００７９】
コンピュータ７０は、オペレータインターフェイス８０とインタラクティブに動作し、Ｘ軸、Ｙ軸、Ｚ軸の位置および回転が６０ＦＰＳで６ＤＯＦプラットホーム６０に送信される。
【００８０】
磁力システムには、中央に位置した送信器と人物１０の様々な部位に紐で取り付けた一式の受信器３０の使用が関連している。これらの受信器３０は、送信器との空間的な関係を計測する能力がある。各受信器３０は、ケーブルを経由してインターフェイスに接続されており、データの食い違いが防止されるように同期をとることができる。結果としてのデータ ストリームは、各受信器３０についての３Ｄ位置および向きから構成される。
【００８１】
一般にこのデータがインバースキネマティクスプラットホームに適用され、アニメーション化されたスケルトンが駆動される。磁力システムは、キャプチャ領域付近にある程度の大きさの金属領域があればそれに影響を受けるので、適切な遮蔽を施すことが重要である。
【００８２】
磁気式キャプチャプラットホームは、磁力センサー３０とともに運転され、空間での物体の位置および向きが登録される。光学式キャプチャ４０および磁気式キャプチャ５０は、同時進行的に使用できるが、光学式キャプチャ４０が困難な場合や複数のアクターを撮影するような状況では、磁気式キャプチャ５０が最適である。
【００８３】
図２では、人物１０にマーカー２０、３０が装着され、また初期の位置またはバランス位置についてのテンプレートが処理されている。光学マーカー２０および磁気マーカー３０のどちらも、一般にモーションの記録に使用される。磁気式モーションキャプチャ（ＭＭＣ）データセット１００および光学式モーションキャプチャ（ＯＭＣ）データセット１１０ は、瞬間的にキャプチャされ、完全なテンプレートを処理するために使用される。テンプレートでは、テンプレートマッチングアルゴリズムが利用され不足したあるいは不良のマーカーデータの補間がなされる。モーションプラットホーム６０は、どんなＤＯＦにもプログラム可能で、Δ＝０である初期の点またはバランス点からの偏りの蓄積が補正されるようにできる。
【００８４】
たとえば、人物１０が前に身を乗り出した場合、システムはリアルタイムよりも高速に応答し、ＯＭＣデータセット１１０およびＭＭＣデータセット１００が同じ位置に留まるようにプラットホーム６０が調節されるようになる。
【００８５】
人間の視覚による認知速度は１８〜３０Ｈｚの範囲である。バランスまたは平衡の速度はこれよりずっと遅く、約７〜８Ｈｚである。この業界では、リアルタイムは、２５Ｈｚまたは２５ｆｐｓ程として定義されている。本発明は、リアルタイムよりもずっと速い速度で運転され、望ましい実施例では１００Ｈｚである。さらに速い速度が可能であり、テクノロジやコンピュータ用のハードウェアの発達に伴い、現実的に期待できるであろう。
【００８６】
この望ましい実施例では、プラットホーム６０は、６自由度（ＤＯＦ）である。それぞれのＤＯＦは、プラットホーム６０の各種サーボおよびコントローラによって独立して制御可能である。
【００８７】
図３に、本発明の別のアプリケーションを示すが、ここで、オペレータ１２０により記録された ＭＭＣデータセット１００により、オペレータ１２０の身体のモーションが含まれる仮想のカメラ軌道（シミュレーション ライドなど）をリアルタイムで記録することが可能となる。これらの感知された体のモーションが記録されたものは、次にオペレータ１２０により記録されたものと同一の身体のモーションを将来のすべてのユーザーが体験できるようにプログラムできる。オペレータ１２０は、コンピュータインターフェイス８０を採用して、ランタイムコマンドをシステムへ入力する。これにより、アーチスト／オペレータは、長ったらしく高価なエンジニアリングが介在することなしに、シミュレーションの希望の体験を即座に記録することができるようになる。
【００８８】
図４では、テンプレートが使用してプラットホームの逆方向の力を作り出し、プラットホーム６０の人物１０に外部からの力がかかるようになっている。人物は、実際にはタスクを実行することなしに、希望の動作を感知することになる。
【００８９】
麻痺のある患者に対する訓練ツールとしての記憶認識を用いての多くの実験が実施されている。その一例は、脊髄または脳に損傷があり両脚が麻痺している患者用のものである。この患者はプラットホーム６０上につり革でぶら下げられており、システムにより逆方向の力がかかり、両脚が動くようにされている。感知された歩行動作がその患者の記憶認識に植え付けられ、回復が促進される可能性がある。
【００９０】
仮想のクローンを図５に例示しており、ここで人物１０のデータセット１００、１１０およびテンプレートを健康な人物のデータセット１００、１１０およびテンプレート、あるいは同一人物の異なった時点での別のデータセット１００、１１０およびテンプレートと比較することができる。この比較は進展状況を追跡し潜在的な問題を識別するのに有用である。比較された動作の値がリアルタイムで生成されるので、リアルタイムのＸ値、Ｙ値、Ｚ値のデータストリームとしてグラフ化することができる。
【００９１】
被験者のモーションと比較したライブラリデータを表示するために、仮想キャラクタデータセットを投影することも可能である。モーションキャプチャ基準ライブラリを設定して、様々なタスクを実行する個人のデータセットが含まれるようにすることができる。次に、被験者のモーションのデータを取り出して、ライブラリの基準と比較しながらユーザーデータに重ねることが可能となる。また、ユーザーを保存されたデータセットと一致するようにすることも可能である。
【００９２】
一例として、マーク・マクガイヤ選手がバットを振るときのモーションキャプチャデータセットをこのシステムで記録できる。すると、どんなユーザーでも自分のデータセットをこの基準と比較できる。さらに、システムの助けを借りてその人が基準となるデータセットと一致するようにさせることができる。言い換えれば、その人は、マーク・マクガイヤ選手であるかのようにバットを振らせられるのである。
【００９３】
図６は、ソフトウェアアーキテクチャの基本的な線図であり、様々な相互接続が描かれている。データフローモジュール（Ｄ−ＦＬＯＷ）２００は、システムに不可欠なコンポーネントの一つで、様々な代替方法がサポートされ、システムの新しい機能を短期間に開発し実現することができる。Ｄ−ＦＬＯＷ２００は、そのモジュールにより特徴付けられ、よく定義された機能性を実現し、０個以上の入出力ポートおよび各種モジュール間の接続を通してデータを受信および／または送信し、方向性をもった非周期性グラフを形成する。Ｄ−ＦＬＯＷ２００の主なタスクは様々な入力デバイスから入ってくる入力データを処理し、収集されたデータを人体モデルにマップし、様々な入力データおよび計算されたデータ（あるいはそのどちらか）をそれぞれ異なったケースに応じて処理することである。その他のタスクには、人間のモデルおよび環境のリアルタイムグラフィックアニメーションの表示や、モーションプラットホーム自体の駆動がある。
【００９４】
Ｄ−ＦＬＯＷモジュール２００の機能性は、ランタイム評価装置２１０およびデータフローエディタ２２０で代表される構造ブロックによって定義される。データフローエディタ２２０により、ランタイムで実行中にＤ−ＦＬＯＷ２００モジュールの編集、接続、接続の解除が可能となる。この編集は、システムプログラマーによって、あるいは記録モード時ならユーザーによっても行うことができる。たとえば、仮にシミュレーションが平均的な海の状態での中規模の船舶用であるとすれば、データフローエディタ２２０により、プログラマーまたはユーザーは、船の規模や海の状態を変更することができる。
【００９５】
ランタイム評価装置２１０は、高速のフィードバックループの一部で、プラットホームでのユーザーの動作を連続的にモニタし、システムに取り込まれるユーザーのモーションとのやり取りをして現実味のあるダイナミックな環境を創り出すものである。船の例で、ユーザーが船の片方の側にもたれかかった場合、システムはその動きに対してリアルタイムよりも高速に応答し、プラットホーム出力コマンド２４０によって、実際の船で起こるのと同様に船がその方向に傾く。また、データフローエディタ２２０をランタイムで使用することで、ユーザーは船の規模を変更することができ、こうして船の不安定度合いを高めることができる。より小型の船では、同じもたれかかる動作でも船に対してより大きな影響があり、傾きがさらに上がることになる。
【００９６】
モーションキャプチャシステムの一部として、別の記録の比較用ライブラリ２３０を開発して、ある一定のモーションや動きの再現、様々なモデルの比較、患者の進展状況の追跡などに使用される。
【００９７】
Ｄ−ＦＬＯＷ２２０の各種出力には、ステレオ３Ｄ投影２５０のほか、それに対応する音声出力２６０があればそれも含まれている。リアルタイムよりも速いフィードバックにより、ユーザーの動きが仮想環境と相互に作用し、シミュレーション体験が向上される。仮想現実環境には、ヘッドマウント ディスプレイ ユニットが含まれることもある。
【００９８】
各種入出力（Ｉ／Ｏ）が表示されており、矢印はデータの流れを示している。光学式モーションキャプチャシステムからの光学式データストリーム２９０、および磁気式キャプチャシステムからの磁気式データストリーム３００は、Ｄ−ＦＬＯＷ２００への入力である。また、プラットホームデータ３１０は、プラットホームの向きを追跡するためのＤ−ＦＬＯＷ２００への入力である。
【００９９】
仮想キャラクタデータベース２８０および仮想環境データベース２７０には、前のモーションキャプチャタスクで記録されたデータセットが含まれている。これらのライブラリは、将来の用途（アプリケーション）に使用して、プロジェクト開発のスピードアップを図ることができる。また、３Ｄデータベースローダー３３０もＤ−ＦＬＯＷモジュール２００に相互接続されている。
【０１００】
テンプレートマッチングアルゴリズム３２０により、フォワードダイナミクスを使用して特定の標本で不足しているマーカーの位置が予測される。シミュレーションにより、被験者の関節の周りで生じた力のモーメントが再現され、これは次に筋肉の活性化に依存することになる。マーカーが不足している場合、モデル階層の高いレベルからトルクが計算され、不足のマーカー位置に適用される。
【０１０１】
確固としたキャプチャデータは、システムの性能にとって非常に重要であるため、ダイナミックなキャプチャテンプレートマッチングアルゴリズム３２０には、特別な配慮がなされる。このアルゴリズム３２０により、特定の標本で不足しているマーカーの位置が、１５セグメントの３次元人体モデルで実施されるフォワードダイナミクスシミュレーションを使用して予測される。シミュレーションにより、被験者の関節の周りで生じた力のモーメントが再現され、これは次に筋肉の活性化に依存することになる。マーカーが不足している場合、モデル階層の高いレベルからトルクが計算され、不足のマーカー位置に適用される。
【０１０２】
図７のフローチャートは図１と共にＤ−ＦＬＯＷの一実施例のプロセスを描写したものである。ユーザー設定４００時に、ユーザー１０はプラットホーム６０に上がり、光学マーカー２０または磁気マーカー３０、あるいはそれら二つの組み合わせからなるカスタムのマーカーが装着される。マーカー２０、３０は、特定のアプリケーションにカスタマイズされる。
【０１０３】
光学式モーションキャプチャシステム４０および磁気式モーションキャプチャデバイス５０は、４１０がデータセットをキャプチャするよう連動する。３Ｄ位置（Ｘ、Ｙ、Ｚ軸）および回転の情報をリアルタイムで登録したものがコンピュータ７０に送信され処理される。
【０１０４】
データセットは、テンプレート４２０に対して動的にマッチングが行われ、力およびトルクのストリーミングデータ４３０は連続的に計測される。ストリーミングデータ４３０は、Ｄ−ＦＬＯＷインターフェイスおよびランタイムミックス４４０で分析され、ここで仮想環境アップデート４５０および物理環境アップデート４６０が、計測されたデータのほか、オペレータまたはユーザーコマンドがあればそれらによって、インタラクティブに制御される。
【０１０５】
Ｄ−ＦＬＯＷインターフェイスにより作成された新しいデータセット４７０が、ステレオディスプレイ４８０およびヘッドマウントディスプレイなどのその他の仮想の表示手段のアップデートに使用される。プラットホームの位置および回転の情報がアップデートされ、モーションプラットホーム４２０に送信される。フィードバックループは、リアルタイムよりも速速度である１００Ｈｚで連続的につながっており、ユーザーの動きにだけでなく、ユーザー／オペレータのランタイムコマンドにも応答し反応する。
【０１０６】
図８には、全体的なシステムの相互接続を示している。ユーザー５００には、マーカーおよびモーションキャプチャシステムが採用されており、光学式動作制御データ４６０および磁気式動作制御データ４６５の対応するデータセットが生成される。一般にユーザー５００は、医療上の用途またはシミュレーションに関連した人間であるが、システムは、耐震構造の建物などの物体にも使用することができる。データセット５１０、５２０は、Ｘ軸、Ｙ軸、Ｚ軸の位置および回転のデータに関連した座標から構成され、リアルタイムよりも速い速度でデータ直列化および最適化セクション５３０に転送される。
【０１０７】
希望のシステム状態が発され、仮想環境５４０および反応する物理環境５５０を可能になる。仮想環境５４０としては、ヘッドマウントディスプレイまたはステレオ投影があり、一方、物理環境５５０としては、Ｎ度のモーションプラットホームがある。これらすべての情報は、Ｄ−ＦＬＯＷカーネル６００を通して供給され、ここで、ヒューマンサブミックス（human submix）５６０を使用してデータが処理され、現実感のあるモーションのダイナミックなリアルタイムシステムが生成される。Ｄ−ＦＬＯＷカーネル６００は、ユーザーデータおよびランタイムでの修正５７０があればそれとも相互に作用し、地面の位置または向き５８０に物理的な変更を加えるとともに、仮想環境５９０に視覚的な変更を加える。物理的なおよび仮想的な変更は、リアルタイムよりも高速なループを経由してユーザーにフィードバックされる。
【０１０８】
図９は、本発明の一実施例のハードウェア接続を描写したブロック線図である。ハードウェアプラットホームは、Silicon GraphicsワークステーションおよびIntergraphマルチプロセッサワークステーションをベースとしている。データキャプチャは、８ＣＰＵOnyxおよびOCTANE dual ＣＰＵにより処理される。
【０１０９】
マルチＣＰＵハードウェアプラットホーム（SGI Dual CPU OCTANE MXE）７００が処理、記憶、インターフェイス用のコンピュータ手段として使用されている。専用ホストへのＥｔｈｅｒｎｅｔ、シリアル、ＳＣＳＩによる接続が使用されている標準的高速接続によって、様々な周辺機器および通信が達成されている。専用ホストとしては、別個のパーソナルコンピュータ（ＰＣ）または周辺機器とのインターフェイスとなる統合型のオンボードコンピュータが利用できる。
【０１１０】
光学式モーションキャプチャシステム７１０には、６台のカメラ７２０があり、光学式モーションキャプチャシステムのデータ取得ユニットにより、カメラ入力が希望のデータセットに変換される。データセットは、光学マーカーセットから獲得されたＯＭＣデータで、専用ホスト７５０にアクセス可能なもので、これにより、ＣＰＵ７００との高速なデータ交換ができるようになる。データは必要とされるどんなファイルフォーマットでも得られる。
【０１１１】
主要な光学式キャプチャシステムはＰＲＩＭＡＳで、数多くのセットアップ用にすぐに構成できる状態になっている。ＰＲＩＭＡＳでは、最高８０の光学マーカーの３Ｄデータ座標の変換および表示が１００Ｈｚで可能で、これは、複数のキャラクタの対話シーンの撮影には非常に有用である。ＰＲＩＭＡＳは、極端な状態（スタジオやロケでの直接の照明、煙、日光など）でも正常に動作する。ＰＲＩＭＡＳカメラにはレンズ一式が備わっているためキャプチャ容量が広く、また複数のシステムを並行して使用して複雑な構造に適用させることもできる。システムは、外部から始動させることができ、撮影カメラやその他のデバイスとの同調が簡単になる。校正にかかる時間は短く、後処理は ＫＡＹＤＡＲＡのＦｉＬＭＢＯＸ光学式モジュールの横にあるカスタムのＳＯＦＴＩＭＡＧＥを使用して行われる。
【０１１２】
磁気式キャプチャユニット７３０には、様々な磁力センサー７４０から収集されたデータを変換する磁気式キャプチャデータ取得ユニットが収容されている。データセットは、ＣＰＵ７００に相互接続されている専用ホスト７６０にアクセス可能である。本実施例の磁気式キャプチャプラットホームは、ＰＯＬＨＥＭＵＳのＵＬＴＲＡ−ＴＲＡＫである。
【０１１３】
モーションプラットホーム７７０は、データおよび制御情報の転送用に、ＣＰＵ７００に接続されている専用ホスト７８０に相互接続されている。望ましい実施例のプラットホームの自由度は６（６ＤＯＦ）であり、そのすべての自由度はシステムにより制御可能である。
【０１１４】
ステレオ投影７９０は、独立して、またはプラットホームと共に使用でき、ユーザー向けの仮想環境を創り出すことができる。ＣＰＵ７００およびステレオ投影７９０間の連続したビデオ接続により、システムで仮想シナリオを実行できるようになっている。ユーザーは、ヘッドマウントディスプレイおよびワイドスクリーンステレオ投影などの様々な仮想環境ツールの中から選択できる。ヘッドマウントディスプレイでは、より広い周辺の仮想環境が提供されているため、ユーザーをさらに集中させる。
【０１１５】
望ましい環境でオペレータ用モニター８００およびユーザー用モニター８１０により提供されているインターフェイスおよび制御手段がある。ＣＰＵ７００は、モニタに直接接続されており、実行可能なコードにランタイムによる変更が可能で、プラットホームまたは仮想環境内の状態を変化させることができる。
【０１１６】
音声スピーカー８２０は、ＣＰＵ７００に接続されており、ユーザーとの各種音声インターフェイスをとることができる。音声を使用して性能やシミュレーションを表示することができる。正弦波生成器を使用して校正のピッチが得らるようにしたり、システムで仮想の壁の境界を示すノイズを発生させたり、環境的な刺激を導入することができる。
【０１１７】
ＣＰＵ７００に実現・接続することのできる数多くのオプション周辺装置８４０があり、それらを用いればデータの操作や実演が可能となる。また、オプションのアプリケーション８３０があり、相互接続してアイトラッキングや心電図（ＥＣＧ）などの機能を実行することができる。
【０１１８】
運転時には、人物はＮ度の動作ベース上に配置される。動作ベースとしては、電気式、油圧式、あるいはその組み合わせのシステムが使用できる。動作ベースの唯一の必要条件は、高いレートでコマンドに応答することである。人物には光学式、磁気式、あるいはその二つの組み合わせのマーカーが装着され、動きの追跡やモニタに使用される。人物の全身の位置および回転のデータが高速コンピュータに２５フレーム／秒（ＦＰＳ）を超える速度で転送される。人物の動作により生成されたデータは高速な処理ユニットに送信された後、混合され、一部が動作ベースに再送信される。これらのプロセスは２５ＦＰＳを超える速度で実行される。システムは平衡感覚の相殺が蓄積された人物に対して、修正または増幅（正または負のベクトルの修正）のどちらかにより応答する。Ｎ−自由度（Ｎ−ＤＯＦ）の動作ベースの応答は、アプリケーションに依存しランタイムのカーネルユーザーインターフェイスの使用により、ユーザーによる完全な構成が可能である。
【０１１９】
本発明の中核には、人物の動作により生成されたデータがシミュレーションに影響を与えるときに創り出されるフィードバックループがある。人物のモーションの空間的な挙動の完全なデータセットがリアルタイムで登録され、感知された最適な挙動と比較される。シミュレーション条件は人物の活動に依存する。インストラクタは所定のシミュレーションシナリオに対する応答時間についての情報だけでなく、その応答にそれだけの時間がかかる理由についての情報も得られる。これにより、人間工学的空間デザインについての直接的なアプリケーションが生み出される。
【０１２０】
Ｄ−ＦＬＯＷという名称の高速なフィードバックアルゴリズムにより、入ってくるデータがリアルタイムの標準である２５Ｈｚよりも速い速度で処理される。入ってくるデータは、人物の全身または一部からのモーションキャプチャデータの形式である。動作データは、光学式および磁気式の主に２種類のマーカーを使用することにより得られる。標準的なアプリケーションでは、２５個の光学マーカーおよび１１個の磁気マーカーがあり、希望の目的に応じて異なるが冗長性をもたせるために６０個のマーカーを使用することができる。例によっては、一部の身体データのみが関心のある領域となる場合もある。
【０１２１】
たとえば、パーキンソン病では、その目的は、患者の手を特に評価することであることもある。その場合には、手に関連した様々な位置にマーカーが配置され、モーションキャプチャデータが記録されることになる。パーキンソン病は、電子回路内のフィードバックループになぞらえられてきた。通常、脳と身体の調整は人がコップに手を伸ばすときに脳が様々な入力を処理し、手がコップを確実につかめるように連携してなされる。パーキンソン病では、入力のフィードバックは正常には処理されず、脳と手が同調していないので手が震える。手は補正の過度および不足状態が引き続き繰り返され、その結果震えることになる。
【０１２２】
運転時には、人物には、マーカーが装着される。モーションキャプチャデータがシステムにより記録される。モーションキャプチャプラットホームの製造業者はいくつかあり、本発明は、どれか個別の製造会社やモデルに特に適用されるというものではない。システムにより、使用されているモーションキャプチャシステムに関係なくデータがキャプチャされ処理される。データはデータであり、またデータはコンピュータシステムに入り、入ってくる時点―ストリームタイム―でデータは操作される。オペレータの選択、目的、制御などにも依るが、データの各部分は、モーションプラットホームを制御する制御ループセクションに直接接続される。プラットホームを制御する様々な方法は、キャプチャされたデータの働きである。誰かが前方に移動すれば、プラットホームをリアルタイムよりも高速に移動させ、その動きに対する補正をすることができる。インターフェイスは汎用で、ソフトウェアモジュールは互いに接続され、各種入力は各種出力に対応している。
【０１２３】
データの一部はヒューマンサブミックスを通して送信される。このサブミックスには制限がなく、人体からの約４０の自由度のデータが受信される。システムではこれらの４０の自由度は、プラットホーム、ステレオ投影、または患者を集中させる仮想環境の６ＤＯＦの任意の組み合わせのどのような出力に対しても、割り当て／リンク可能である。
【０１２４】
Ｄ−ＦＬＯＷにより、ミキシング、操作、機能の割り当てなどの時、あるいはデータの周波数や時間を変更するなどの表出や変調の際に、ストリームタイムでのデータの出入りが可能となる。処理の出力または最終結果としては、プラットホーム、ステレオ投影、患者を集中させる仮想環境、あるいは同様なテクノロジデバイスが使用できる。出力テクノロジは柔軟であり、データは新しい任意のテクノロジによって使用することができる。プログラマーの視点で見れば、Ｄ−ＦＬＯＷにより、ユーザーが実行可能ファイルをランタイムで修正することができる。通常はこれができないもので、たとえば、実行可能なワードプロセッシングプログラムであるMicrosoft Wordは、ソフトウェアの実行可能部分へのランタイムでの変更が許可されない。Ｄ−ＦＬＯＷはモジュールを次々に接続したものであるため、どのモジュールでも接続や接続の解除が可能で、どのモジュールの機能でも、実行中に編集や変更が可能である。
【０１２５】
Ｄ−ＦＬＯＷでは、様々な入力および出力がリアルタイムよりも速い速度で処理され、ヒューマンサブミックス―プログラムの実行中にパラメータを変更することが可能となるＤ−ＦＬＯＷコードは、ラグランジュの方程式が元になっており、システムはダイナミックであり、リアルタイムで実行されているものを評価するために、リアルタイムよりも数倍速く運転される必要がある。
【０１２６】
ヒューマンサブミックスは例を用いてさらに説明することができる。船の環境では、ユーザーは、環境とのインタラクションができ、船を表すプラットホームを修正することができる。ある状況では、６度のうちの５度で波を船をプログラムすることができ、６番目の自由度は横揺れである。オペレータは、波の規模を加減することができ、または船の規模を加減することができる。人物が移動すると、実際の船とちょうど同じように船は人物の動作と相互作用し、それに応答する。横揺れの量は、船の規模と人によって発生した力のほか、適用されるその他のパラメータなどにも依存する。これは、単に応答してプログラムを設定し、いくらかのプログラム制御が可能ではあるが、リアルタイムでのフィードバックのないような普通の動作シミュレータとは異なる。人物に与えることのできる自由のチャンネル数は異なり、人物はその自由度の一部またはすべてを制御することができる。
【０１２７】
釣り合いに関連した別の例として、人をプラットホーム上に完全に静止して立たせるものがある。現実には、静止直立している平均的な人は、実際のところ１〜２ｍｍ移動しており、身体が内部のフィードバックループを使用して相対的に静止した位置を維持する際に連続的に移動する。パーキンソン病の患者は、４〜５ｍｍの揺れがある場合がある。Ｄ−ＦＬＯＷソフトウェアにより、ユーザーのモーションを４〜５倍に増幅することができ、曲線を記録することができる。これによって、モーションの分析および比較が簡単に実施できるようになる。この動作は、指で棒のバランスをとろうとすることで類推することができる。このとき、連続的に行動/反応して変更し補正して、棒がまっすぐに立つようにする。フィードバックメカニズムの一環として、記録可能な連続パターンがある。棒のバランスをとるときの動作の曲率は、人が静止直立をしようとするときの曲率と全く同じである。
【０１２８】
２〜３個のセンサーを人物の肩に配置することで、プラットホームを使用して、身体のフィードバックメカニズムよりも速い速度で応答し、センサーを０，０，０位置に保つように移動を続けるようにすることができる。モーションキャプチャシステムに人物が前方向にわずかに傾いたというデータが入力された場合には、プラットホームは、人物よりも速く応答し、前方向の自由度を上げてその人物を同じ０，０，０位置に保つようにする。
【０１２９】
フォワードダイナミクスシミュレーションは、インバースダイナミクスシミュレーション中にいつでも実施できる。その過程では、インバースダイナミクスシミュレーションへの入力としての動きの流れは停止し、計算された関節の動きが新たに入力として使用され、一方、動きが出力となる。こうしてフォワードシミュレーションでは、被験者の関節の周りで創りだされた力のモーメントから、動きおよび反応力が計算される。
【０１３０】
ダイナミックなシミュレーションの中核は、多数からなるラグランジュの数式の集合から構成されている。これらはモーションの数式と呼ばれ、これには身体にかかる一般化された力と一般化された動きの関係が含まれている。ここでの「一般化された」というのは、外界の力という見地からというよりはむしろ、人体の動きの可能性（つまり自由度）に従って公式化されたという意味である。これは、一般化された力のほとんどは、実際には力のモーメント（またはトルク）であることを暗示している。床との接触など環境とのインタラクションの種類を記述した方程式を追加することができる。数式は、フォワードシミュレーションで同時進行的に解いたり、インバースシミュレーションで代数学的に解いたり、または再整理してインバースおよびフォワードシミュレーションの組み合わせで解くことができる。
【０１３１】
ここから、重心の位置が計算され、脚の位置とともに使用して、仮想環境で必要とされる場合に、プラットホームの動作を駆動することができる。人体モデルにより、被験者の関節の力のモーメントが生成され、これを保存されたライブラリの関節のモーメントの共通パターンに対して評価することができる。必要に応じて、この情報を投影画像で得て、被験者によって使用できるようにすることができる。動きやバランスの機能性に問題が発生した時には、フォワードダイナミクスシミュレーションを始動させて、運動性パターンのどこに弱い部分があるかを示すことができる。これらのモデルにより、システムの拡張が簡単となり高性能が得られる。
【０１３２】
CARENシステムは、電磁気式トラッキングデバイス付きの光学式モーションキャプチャシステム、マルチＣＰＵハードウェアプラットホーム（SGI Dual CPU OCTANE MXE)、６ＤＯＦのモーションプラットホーム、およびデュアルヘッドのオプションやビデオＩ／Ｏなどのハードウェア要素を組み合わせたものである。様々なシナリオをサポートし、システムの新しい機能を短期間に開発し実現できるようにするために、データフローモデルがシステムの中核に選ばれる。データフローシステムは、そのモジュールにより特徴付けられ、よく定義された機能性を実現し、０個以上の入出力ポートおよび各種モジュール間の接続を通してデータを受信および/または送信し、方向性をもった非周期性グラフを形成する。
【０１３３】
Ｄ−ＦＬＯＷの主なタスクは様々な入力デバイスから入ってくる入力データを処理し、収集されたデータを上記の人体モデルにマップし、様々な入力データおよび計算されたデータ（あるいはそのどちらか）をそれぞれ異なったケースに応じて処理することである。その他のタスクには、人間のモデルおよび環境のリアルタイムグラフィックアニメーションの表示や、モーションプラットホーム自体の駆動がある。
【０１３４】
ソフトウェアは、リアルタイムな用途で性能が実証済みで、システムの並列オペレーションに対して低レベルの制御のあるソフトウェアプラットホームである SGI Performer 2.2を用いてＣおよびＣ＋＋で記述される。Ｄ−ＦＬＯＷには、数個のモジュールがあり、様々なモジュール構造および相互接続されたモジュールにより、ソフトウェアプロセスを実行でき、ランタイムの接続、システムへの編集、接続の解除の実行ができる。
【０１３５】
SoftLoadモジュールにより、キャラクタおよび環境のジオメトリ、Ｉ／Ｏチャンネル接続、キャラクタのＩＫスケルトン、照明のセットアップやテクスチャーなどが収録されているSoftimage3Dからシーンがインポートされる。Camoモジュールにより、データフローがオンラインヒューマンサブミックスを通して各種出力に調整される。SGIベースのパフォーマディスプレー表示環境であるPerflyにより、ランタイムでの拡張デバックおよび最適化ができるようになる。システムは、一台のコンピュータに制約されることはなく、異種のコンピューティング環境を接続するための標準的なアーキテクチャであるCORBAを使用することで、CORBAに対応するものであればどんなコンピュータ言語またはシステムにでもモジュールを実現することができる。
【０１３６】
オペレータ向けのユーザーインターフェイスは、CORBAインターフェイスを通じてＤ−ＦＬＯＷとの通信をする手段として、JavaでJava-Beansを使用して実現されている。オペレーションの例として、シミュレートする仮想環境のタイプを決定した後で、環境の視覚的な部分を、３Ｄシャッターガラスを装着した被験者の前のスクリーンに３Ｄで投影するものがある。ユーザーは、仮想環境の一部として、または被験者の動きに対する反応として制御できるプラットホームまたはトレッドミルの上に立つ。ユーザーは、光学式および磁気式なマーカー（あるいはそのどちらか）を装着し、それにより位置および向きが記録される。それらが人体モデルの自由度に変換されるアルゴリズムに供給されるが、この人体モデルは被験者の細分された質量および慣性で満たされている。
【０１３７】
ここから、重心の位置が計算され、脚の位置とともに使用して、仮想環境で必要とされる場合に、プラットホームの動作を駆動することができる。人体モデルにより、被験者の関節の力のモーメントが生成され、これを保存されたライブラリの関節のモーメントの共通パターンに対して評価することができる。必要に応じて、この情報を投影画像で得て、被験者によって使用できるようにすることができる。動きやバランスの機能性に問題が発生した時には、フォワードダイナミクスシミュレーションを始動させて、運動性パターンのどこに弱い部分があるかを示すことができる。これらのモデルにより、システムの拡張が簡単となり高性能が得られる。
【０１３８】
本発明の上述の望ましい実施例についての説明は、描写および記述の目的で提示したものである。全て網羅したり、本発明を開示したそのとおりの形に制限することは意図していない。上記の説明内容の見方をすれば、数多くの改造や変形が可能である。本発明の範囲は、この詳細な説明でななく、本発明に添付の請求の範囲によって制限されるものとする。
【図面の簡単な説明】
【図１】 モーションプラットホーム、モーションキャプチャシステム、コンピュータ間の基本的な相互関係を示している。
【図２】 釣り合いへの適用を図示したものである。
【図３】 瞬間的なシミュレーション記録への適用を図示している。
【図４】 逆方向の力への適用を図示している。
【図５】 仮想のクローンへの適用を図示している。
【図６】 Ｄ−ＦＬＯＷアーキテクチャのブロック線図である。
【図７】 相互関係のある要素を示した適用のフローチャートである。
【図８】 相互関係のある要素を示したフローチャートである。
【図９】 一実施例のハードウェアコンポーネントを描写したものである。

Claims (20)

1. 複数のモーションセンターからのモーションキャプチャデータを２５Ｈｚよりも高速に処理するモーションキャプチャシステムと、
   モーションプラットホームデータを２５Ｈｚよりも高速に処理するモーションプラットホームシステムと、
   前記モーションキャプチャシステムおよびモーションプラットホームシステムに接続され、フォワードダイナミックシミュレーションを用いて前記モーションキャプチャデータおよびモーションプラットホームデータを処理して力のモーメントを予測し、予測した力のモーメントに応じて制御コマンドを生成して物理環境およびリアルタイムな生体フィードバックを提供する処理手段、
   モーション処理システムへのランタイム制御入力を有するインターフェイス手段とを備えるモーション処理システム。
2. 請求項１に記載のモーション処理システムにおいて、前記の多数のモーションセンサーは光学式であるモーション処理システム。
3. 請求項１に記載のモーション処理システムにおいて、前記の多数のモーションセンサーは磁気式であるモーション処理システム。
4. 請求項１に記載のモーション処理システムにおいて、前記の多数のモーションセンサーは光学式および磁気式であるモーション処理システム。
5. 請求項１に記載のモーション処理システムはさらに、前記処理手段に接続されていると共に、仮想環境をユーザー向けに表示するディスプレイ手段を備えるモーション処理システム。
6. 請求項１に記載のモーション処理システムはさらに、前記モーションキャプチャデータおよび前記モーションプラットホームデータの記録用の記憶手段を備えるモーション処理システム。
7. 多数のマーカーをユーザーに装着するステップ、
   そのユーザーをモーションプラットホーム上に配置するステップ、
   前記多数のマーカーからのモーションキャプチャデータセットを受信するステップ、
   前記モーションプラットホームからのモーションプラットホームデータセットを受信するステップ、
   制御信号をランタイムで入力するステップ、
   力のモーメントを予測するためにフォワードダイナミックシミュレーションを用いて前記制御信号、前記モーションキャプチャデータセット、前記モーションプラットホームデータセットを２５Ｈｚより速い形式で、ホストコンピュータシステムにて処理するステップ、
   物理環境およびリアルタイムな生体フィードバックを提供するために前記予測した力のモーメントに応じて、新しいデータ セットを前記モーションキャプチャシステムおよび前記モーションプラットホームシステムに出力するステップとを備える仮想環境および物理環境の生成方法。
8. 請求項７に記載の仮想環境および物理環境プロセスはさらに、前記ユーザー向けに仮想現実環境を表示するステップを備える仮想環境および物理環境の生成方法。
9. 請求項７に記載の仮想環境および物理環境プロセスにおいて、前記の制御信号をランタイムで入力するステップが前記ユーザーにより実施される仮想環境および物理環境の生成方法。
10. 請求項７に記載の仮想環境および物理環境プロセスにおいて、前記の制御信号をランタイムで入力するステップがオペレータにより実施される仮想環境および物理環境の生成方法。
11. 多数のモーションセンサーを装着したユーザーを配置するためのモーションプラットホーム、
    前記モーションセンサーからのモーションキャプチャデータを２５Ｈｚよりも高速に処理するモーションキャプチャシステム、
    モーションプラットホームデータを２５Ｈｚよりも高速に処理し、制御コマンドを前記モーションプラットホームに出力するモーションプラットホームシステム、
    前記モーションキャプチャシステムおよびモーションプラットホームシステムに接続され、フォワードダイナミックシミュレーションを用いて前記モーションキャプチャデータおよびモーションプラットホームデータを処理して力のモーメントを予測し、予測した力のモーメントに応じて制御コマンドを生成して物理環境およびリアルタイムな生体フィードバックを提供する処理手段、
    ランタイム制御入力のある前記処理手段へのインターフェイス手段、
    前記モーションプラットホームデータおよび前記モーションキャプチャデータの記録用の記憶手段とを備えるシミュレーション記録システム。
12. 請求項１１に記載のシミュレーション記録システムにおいて、前記ユーザーがランタイム制御入力を操作するシミュレーション記録システム。
13. 請求項１１に記載のシミュレーション記録システムはさらに、前記記憶手段からの前記記録されたモーションプラットホームデータおよび前記モーションキャプチャデータを再生するための手段を備えるシミュレーション記録システム。
14. 請求項１１に記載のシミュレーション記録システムはさらに、仮想現実環境を前記記録されたモーションプラットホームデータおよび前記モーションキャプチャデータと連続して記録するための手段を備えるシミュレーション記録システム。
15. 記憶手段、
    モーションを検出するために多数のマーカーが装着されているユーザーが配置されるプラットホームを有するモーションプラットホームシステム、
    モーションキャプチャシステム、
    前記モーションプラットホームシステムおよび前記モーションキャプチャシステムに接続された処理手段であって、力のモーメントを予測するためにフォワードダイナミックシミュレーションを用いてモーションプラットホームデータおよびモーションキャプチャデータを高速に処理し、前記予測した力のモーメントに応じて前記モーションプラットホームシステムを制御する新しい制御データを前記モーションプラットホームシステムに出力する処理手段と、
    前記モーションキャプチャデータおよび前記モーションプラットホームデータを前記記憶手段に記録する手段、
    ランタイム制御入力を有する前記システムへのインターフェイス手段を備える、機能面での人間の行動をダイナミックに登録・評価・修正するためのシステム。
16. 請求項１５に記載の機能面での人間の行動をダイナミックに登録・評価・修正するためのシステムはさらに、前記モーションプラットホームデータおよび前記モーションキャプチャデータを記録する手段を備える機能面での人間の行動をダイナミックに登録・評価・修正するためのシステム。
17. 請求項１５に記載の機能面での人間の行動をダイナミックに登録・評価・修正するためのシステムはさらに、前記記憶手段からの前記モーションキャプチャデータおよび前記モーションプラットホームデータを再生する手段を備える機能面での人間の行動をダイナミックに登録・評価・修正するためのシステム。
18. 請求項１７に記載の機能面での人間の行動をダイナミックに登録・評価・修正するためのシステムにおいて、前記記憶手段には、以前に記録されたデータのライブラリが含まれている機能面での人間の行動をダイナミックに登録・評価・修正するためのシステム。
19. 記憶手段、
    モーションを検出するために多数のマーカーが装着されているユーザーが配置されるプラットホームを有するモーションプラットホームシステム、
    モーションキャプチャシステム、
    前記モーションプラットホームシステムおよび前記モーションキャプチャシステムに接続された処理手段であって、モーションプラットホームデータおよびモーションキャプチャデータを２５Ｈｚよりも高速に処理し、新しい制御データを前記モーションプラットホームシステムに出力し、
    前記モーションキャプチャデータおよび前記モーションプラットホームデータを前記記憶手段に記録する手段、
    ランタイム制御入力を有する前記システムへのインターフェイス手段、
    前記記憶手段からの前記モーションキャプチャデータおよび前記モーションプラットホームデータを再生する手段を備え、
    前記記憶手段からの前記モーションプラットホームデータの前記再生により、外的な力が前記ユーザーにかかる機能面での人間の行動をダイナミックに登録・評価・修正するためのシステム。
20. 請求項１５に記載の機能面での人間の行動をダイナミックに登録・評価・修正するためのシステムはさらに、ユーザー向けに仮想現実環境を表示する手段を備える機能面での人間の行動をダイナミックに登録・評価・修正するためのシステム。

Images