JP5575652B2 - レンダリングされた像の表示設定を選択するための方法及びシステム - Google Patents

Description

本発明は、例えば姿勢分析又は運動分析が望まれる人のレンダリングされた像の表示設定を決定するための方法及びシステムに関する。

特に、本発明は、セラピストに又はリハビリ患者に視覚的フィードバックを与えるための、リハビリテーション治療に従う人(いわゆるリハビリ患者)から作成されるレンダリングされた画像のより適切な表示設定のうちの一つを自動的に選択するための方法に関する。

脳卒中は、先進国における永続的な障害の最も突出した原因である。脳卒中からの生存者が苦しむ最も突出した障害のうちの一つは、上肢の半身不随である。リハビリテーションの運動は身体の自由を回復するために効果的であるということが証明されており、ただしトレーニングは激しく、そして患者は治療中に指導される。

監督されない家庭での脳卒中リハビリテーションのための技術上のソリューションは、適切な運動を確認するための適切なフィードバックメカニズムの使用を必要とする。

脳卒中の犠牲者と同様に健康な人の運動技能習得は、いわゆる「拡張」又は「外部」フィードバックによって促進される。この種のフィードバックは、運動する人が自身の感覚(例えば視野又は固有感覚)を用いる内部フィードバックとは対照的である。

外部フィードバックは、例えば、コーチを通して口頭で与えられることができる。そのような外部フィードバックは、例えば人がどのようにゴルフのストロークを行うべきかについて教えられる場合のようなスポーツを教授する状況から、又は、例えば再び物体に手を伸ばすことを学んでいる脳卒中の犠牲者の場合のような理学療法士から、例えば知られている。

特にスポーツにおける運動技能習得における他の普及している方法は、例えばUS2003/0054327に記載されているようにビデオ分析であり、学習者及び/又は監督は、定められた動きを実行した後に学習者を見る。

ビデオ分析が一つの運動面のみを捕えるので、慣性センサシステムがますます普及してきている。

慣性センサは、線形加速度、角速度及び磁場を捕えて、それらが取り付けられた全ての四肢の三次元モーションキャプチャのために用いられることができる。

運動データは、レンダリングされたアニメーションの像(いわゆるアバター)の形で学習者に表示される。コーチは、学習者と共にアバターの動きを検討しているときに、運動遂行中の誤りに学習者の注意を向けるために学習者に手掛かりを与える。

慣性センサを備えている監督されない家庭での脳卒中リハビリテーションは、三次元空間での患者の運動を追跡することができる。結果データは、患者の運動を模倣するアバターをレンダリングするためのベースを提供する。患者及び/又はセラピストの両方は、患者の運動を分析するためにアバターを観察することができる。センサシステムが三次元データを提供するので、システムは、スクリーン上でアバターを回転させることによって、レビュアが異なる角度から運動を観察することを可能にする。

既存の外部フィードバックシステムによって経験される問題は、表示設定(すなわち回転、傾斜、ズーム及び最終的な他のパラメータ)が依然として、患者又はセラピストによって、又はスポーツを教授する状況の場合には練習生又はコーチによって、決定される必要があることである。

慣性センサを用いた家庭用脳卒中リハビリテーションシステムの現在の研究プロトタイプは、予め選択された角度から、記録された運動を表示する。この視点は、記録された運動の「最良の」評価を可能にするように予め選択されている。

しかしながら、三次元記録データは、観察者がいろいろな角度から運動を見ることを可能にする。既知のシステムは、図1及び2に示されるように、記録を観察する間、観察者がアバターを回転させる又は像にズームインすることを可能にする。しかしながら、この既知のシステムにおいて、観察者は依然として最良の視点について知ることを必要とし、又は他のシステムにおいて、観察者は、要求に応じて選択されることができる一定の事前に決められた観察設定に制限される。したがって、観察者は、記録データを調査するための最適な設定を選択しなければならない。

患者は通常、専門知識がなく、さらに認知障害があるので、最適な表示設定を選択することは一般にできない。最適な表示設定は、患者が彼ら自身の運動を分析すること、及び誤った運動パターンを認識することを援助する。

セラピストにとっては、最適な表示設定を選択することは、運動を繰り返し観察することを必要とする可能性がある。したがって、運動の問題ある要素に的をしぼった観察設定から始めることは、セラピストのレビュープロセスの効率を増加させる。

これはさらに、例えばビデオカメラによって供給されるときに、二次元記録と比べた三次元運動データを測定する利点を示す。三次元データは、観察者が患者の仮想表現の周りを「歩き回り」、関心領域に重点を置くことを可能にする。

既存のシステムは、ユーザが90°ステップで観察方向を手動で選択することのみを可能にする。

本発明は、リハビリ患者のレンダリングされた像の表示設定を決定する方法を説明し、レンダリングされた像に関する適切なビューを供給することを意図する。

本発明の目的は、リハビリ患者のレンダリングされた像の表示設定を自動的に決定するための方法を提供することである。

さらに、本発明の目的は、そのような方法を実行するための適切なシステムを提供することである。

上述の目的は、レンダリングされた像に関する適切なビューを提供することを意図する、リハビリ患者又はスポーツ練習生のレンダリングされた像の表示設定を決定するための方法を提供することによって達成され、当該方法は、リハビリ患者又はスポーツ練習生の一つ以上の身体部分の三次元空間における運動データを取り込み、コンピュータにそれらを提供するステップを有し、さらに、コンピュータ上で、運動データの参照リストからの取り込まれた運動データのずれの測定及び/又は主要な運動方向の測定を実行するステップ、及び、上述の測定の結果に基づいて、表示設定を決定するステップを有する。

患者からの入力を必要とせずに、自動的に選択された表示設定としてフィードバックが与えられることは、リハビリ患者又はスポーツ練習生にとって極めて有利である。

オプションとして、測定に基づいて関心領域が最初に選択され、この関心領域に基づいて、その後、表示設定が自動的に選択される。

本発明は、複数の非制限的な実施の形態を示す図面を参照して説明される。

レンダリングされた像の表示設定を表す図。 レンダリングされた像の表示設定を表す図。 本発明による好ましい方法を概略的に表す図。 時間の関数として示される運動パラメータの例を表す図。 時間の関数として示される運動パラメータの例を表す図。 時間の関数として示される運動パラメータの例を表す図。

一実施例において、本発明はコンピュータシステムから成り、このシステムに取り付けられたスクリーンを有する。加えて、３つの慣性センサが、無線でコンピュータシステムに接続される。この３つのセンサは、患者の影響を受けた側の上腕及び前腕並びに胴に取り付けられる。センサは三次元空間におけるこれらの体節の方位を供給し、患者が運動を実行する間、データがコンピュータシステムに格納される。

格納されたデータに基づいて、観察者(すなわち患者又はセラピスト)は、スクリーンを備えたコンピュータシステムを用いてデータを検討する。コンピュータシステム上のプログラムは、スクリーン上にレンダリングされるアニメーションの像(しばしばアバターと呼ばれる)を示すことによって、観察者が記録データを検討することを可能にする。像は三次元仮想環境において示される。したがって、それはいろいろな観点から調査されることができる。この表示設定を変更するために、例えば、アバターのレンダリング空間の隣で、マウス又は専用のボタンが用いられることができる。

図3に示される方法は、どのように三次元姿勢データの検討の間に自動的に表示設定を調整するかについて説明する。アバターを観察するための表示設定は、運動の実行中に記録されるデータに従って調整されることができる。運動遂行の間にセンサから受け取られるデータが格納された。運動を検討するために、観察者は適切なデータを選択し、システムはデータをロードして、それを処理し始める。

次に、運動パラメータがそのデータから導き出される。標準的な運動パラメータは、セラピストの用語に関する角度(例えば矢状面における肩屈曲)である。患者のデータといくつかの基準データ(例えば以前の記録の集合から生成されるテンプレート)が比較される。比較は、センサから受け取られる生センサデータ及び/又は生センサデータから導き出される運動パラメータを含む。基準データの運動パラメータは、オンラインで計算されるか又は事前に計算されることができ、そして運動基準のデータベース中に格納されることができる。

基準データと運動記録とを比較するためのさまざまな選択肢の中の一つが次に概説される。動的タイムワープ(time-warping)を用いることにより、基準データ及び記録されたデータは、タイムスケールに対して位置合わせされる。そして、比較のために重要であるとして特定されたそれぞれの運動パラメータが評価され、すなわち、一定の長さ(例えば1/2秒)の時間ウィンドウ中で、各々の運動パラメータに対して、例えば、基準及び測定のデータポイント間のユークリッド距離又はこれらのデータポイントの平均値の距離が計算される。

比較に基づいて、関心領域が特定される。関心領域を取得するための一つの可能性は、基準によって与えられる"標準"からの最大のずれを比較値が示す運動パラメータを特定することである。ある時点tにおいて、t周辺の特定の時間ウィンドウ中で、他の運動パラメータと比べて最大の累算されたずれを含む運動パラメータが選択される。

図4〜6は、右肩の測定データ及び運動基準のいくつかの曲線を表す。横軸は時間軸を表し、図4では、縦軸は矢状面における角度を表し、図5では、縦軸は前額面における角度を表し、そして図6では、縦軸は水平面における角度を表す。これらの面はセラピストによってよく知られている。

最も重要な運動パラメータ(この場合には面における屈曲角度)は、時間とともに変化し、この例では、矢状面から前額面へ、そして水平面、前額面へとシフトし、さらに水平面へと戻る。

一旦ある時間スパンの間の最も重要な運動パラメータが分かると、表示設定は、この運動パラメータの"最良の"表示を可能にするように適応され、すなわち、仮想三次元空間の回転、傾斜、ズームなどが、関心領域の最適な表示を提供するように調整される。

ある選択された運動パラメータ又は選択された運動パラメータセットを与えられた最適な表示設定の決定は、事前に決められたマッピングテーブルを用いることにより実行されることができる。

そのようなマッピングテーブルを提供するために、この分野の専門家(特にセラピスト)は、運動の遂行が特定の基準から逸脱することを考えた関心領域に関する洞察を与えることができる。それから、特定された運動パラメータを最適な表示設定に変換するテーブルが提供されることができる。

他の一実施例において、図示しないが、特定の基準からのずれの代わりに、主要な運動方向が表示設定を決定する。例えば、患者が腕を主に側方に動かす場合、アバターは正面像で示される。正面像が運動情報のほとんどの部分を運ぶからである。主要な運動方向の識別は、速度ベクトルの和を用いて、そして和ベクトルの方向を用いて、実行されることができる。投影も同様に用いられることができる。

速度又は投影に基づく主要な方向の発見のためには基準パターンは不要であり、基準データベースを不要にする。

他の実施例において、基準パターンは、実際のところ、患者による特定の運動の平均された記録であり、これは、おそらくリハビリセッションの間にセラピストによってサポートされる患者のハンディキャップに敬意をはらう。

第４の実施の形態において、運動パラメータの特定は一つの運動パラメータに制限されず、運動パラメータの集合である。従って、複数の運動パラメータを考慮して、合計４つの運動パラメータが重要であると考えられたが、一番上の候補は関係がなく、他の３つの運動パラメータが関連している場合、この３つの運動パラメータが重要なものとして選択されることができる。

第５の実施の形態において、最も重要な運動パラメータの特定は、小さい時間ウィンドウに制限されず、前後関係を考慮する。例えば、主に矢状面が重要であると考えられ、短い断片内で前額面が特定される場合、矢状面における運動の最適な分析を可能にする表示設定に固執するために、前後関係が用いられることができる。これは、アバターの表示を平滑化して、像の表示があまりに頻繁に変更されることを防止する。

第６の実施の形態において、アバターに関する最適な表示を供給するために、複数のアバターが用いられることができる。特定された運動パラメータによって、患者の動きを再生して異なる視点から表示される二つ以上アバターが、一つのアバターより多くの関心領域に関する洞察を提供する。アバターの最適な数は、特定された運動パラメータに依存する。

Claims (19)

1. レンダリングされた像に関する適切なビューを提供することを意図する、リハビリ患者又はスポーツ練習生のレンダリングされた像の表示設定を決定するための方法であって、当該方法は、
   リハビリ患者又はスポーツ練習生の一つ以上の身体部分の三次元空間における運動データを取り込み、前記データをコンピュータに提供するステップ、
   前記リハビリ患者又はスポーツ練習生の動きを模倣する像をレンダリングするステップ、
   コンピュータ上で、運動データの基準リストからの前記取り込まれた運動データのずれの測定及び/又は主要な運動方向の測定を実行するステップ、並びに、
   前記測定の結果に基づいて、表示設定を決定するステップ、
   を有し、前記表示設定が、レンダリングされた像の回転、傾斜及びズームを有する方法。
2. タイムフレーム内で実行される請求項１に記載の方法。
3. 安定した又は相補的な表示設定を提供するために、あるタイムフレーム内の前記表示設定の決定が、前のタイムフレーム及び後のタイムフレームの測定を考慮する、請求項２に記載の方法。
4. 三次元空間におけるリハビリ患者又はスポーツ練習生の運動データの取り込みが、コンピュータに無線又は有線で接続された慣性センサを設けることにより実行される、請求項１から請求項３のいずれか一項に記載の方法。
5. 三次元空間におけるリハビリ患者又はスポーツ練習生の運動データの取り込みが、ステレオカメラシステムにより実行される、請求項１から請求項４のいずれか一項に記載の方法。
6. 取り込まれた運動データから運動パラメータが導出され、セラピスト又はコーチによる、取得されたデータの容易な解釈を可能にする、請求項１から請求項５のいずれか一項に記載の方法。
7. 運動データの基準リストからの前記取得された運動データのずれの測定が、理想的に実行される運動から同じ運動のデータを取り込むことによって、又は、以前に取り込まれた運動データの平均値を計算することによって、基準値を提供するステップ、及び、前記基準値と取り込まれた値との間の距離の測定値を計算するステップを有する、請求項１から請求項６のいずれか一項に記載の方法。
8. 距離の前記測定値がユークリッド距離である請求項７に記載の方法。
9. 前記主要な運動方向が、速度ベクトルの和を用いて、及び和ベクトルの方向を用いて決定される、請求項１から請求項８のいずれか一項に記載の方法。
10. 前記主要な運動方向が速度ベクトルの投影を用いて決定される、請求項１から請求項９のいずれか一項に記載の方法。
11. 関心領域が、前記測定の後に当該測定に基づいて選択される、請求項１から請求項１０のいずれか一項に記載の方法。
12. 選択された関心領域が、関心領域と表示設定のパラメータとの間の関係を定めるマッピングテーブルに基づいて、前記表示設定を直接決定する、請求項１１に記載の方法。
13. 選択された関心領域が、少なくともある程度絶対的に又は相対的に基準からずれた取得された運動データを含む、請求項１１又は請求項１２に記載の方法。
14. 選択された関心領域が最大の主要な運動方向を示す、請求項１１に記載の方法。
15. 前記主要な運動方向が測定される面に垂直にビューが提供されるように、前記表示設定が決定される、請求項１４に記載の方法。
16. 一つより多くの表示設定が同時に示される請求項１に記載の方法。
17. 請求項１に記載の方法を実行するためのシステムであって、
    リハビリ患者又はスポーツ練習生の一つ以上の身体部分の三次元空間における運動データを取り込むための手段、及び、取り込まれた前記データが提供されて処理されるコンピュータ、
    前記コンピュータ上のプログラムであって、運動データの基準リストからの前記取り込まれた運動データのずれの測定及び/又は主要な運動方向の測定を実行し、前記測定の結果に基づいて前記表示設定を決定するためのプログラム、
    選択された表示設定に従って、レンダリングされた像を表示するための可視化手段、
    を有するシステム。
18. 運動データを取り込むための手段が、コンピュータに有線又は無線で接続された慣性センサである、請求項１７に記載のシステム。
19. 運動データを取り込むための手段が、ステレオカメラシステムを含む、請求項１７に記載のシステム。

Images