JP6425355B2 - 上肢運動学習装置 - Google Patents

Description

本発明は、骨折や外傷の治療を受けた手や腕のリハビリテーション（以下、リハビリと言う。）において、その成果が上がるように画像を通じて支援する上肢運動学習装置に関する。

骨折後の肢の治療では、一定期間、肢を固定することが必要である。ヒトの脳は、固定などにより関節運動を行えなくなった時点から、脳内で、動かせない肢を学習し始め、それと同時に大脳皮質の運動野にも可塑的変化が生じ、そのために関節運動の制限が解除されても円滑に運動を行うことが困難になる。
こうした状態を改善するためにリハビリが必要になる。ヒトの脳は、実際の関節運動を行わなくても、目的とする関節運動を脳内でイメージするだけで、その運動に関連する大脳領域が賦活することが知られている。これを利用した運動練習方法が、スポーツ分野で古くから行われてきたイメージトレーニングであるが、リハビリ分野でもその活用が進んでおり、手本となる健常な運動を療法士が実践して観察させたり、平面画像で手本となる運動を教示したりして、健常に動かせる肢のイメージを患者に持たせることが行われている。

また、下記特許文献１には、肢を失った患者がリハビリを実行するときに、患者にヘッドマウントディスプレイ（ＨＭＤ）を装着し、リハビリにおいて患者に要求する体の動きを、患者が失った体の部位を含めた体の状態の仮想画像で提示してリハビリを支援する方法が開示されている。

特開２０１５−４７１９３号公報

骨折した患者の場合、受傷後早期に関節の可動域訓練を開始することで回復までの時間を短縮できることが知られている。しかし、受傷後２週間以内のリハビリでは、他人が患者に手を添えて可動域訓練を行うと再転位を起こし易いので、患者が自主的に練習しなければならないが、療法士の手本となる動作を観察したり、“もっと曲げて”と言う指示を受けたりしても、患者は、適切な訓練が実行できているかを自覚することが難しい。

本発明は、こうした事情を考慮して創案したものであり、手や腕のリハビリを実行する患者の運動再学習を促し、リハビリの成果が上がるように画像を用いて支援する上肢運動学習装置を提供することを目的としている。

本発明は、上肢のリハビリテーションを行う患者を支援する上肢運動学習装置であって、リハビリテーションを実行中の患者の右眼の前に位置するように配置される右眼用ディスプレイと、リハビリテーションを実行中の患者の左眼の前に位置するように配置される左眼用ディスプレイと、リハビリテーションを実行中の患者の上肢の距離画像を撮影する撮影手段と、この距離画像から上肢の仮想骨画像を生成する仮想骨画像生成手段と、リハビリテーションの手本となる教示画像を記録装置から読み出し、仮想骨画像と教示画像とが重なるように仮想骨画像の表示位置を設定する画像位置合わせ手段と、教示画像に仮想骨画像を重ねた合成画像であって、右眼用ディスプレイに表示する右眼用画像を生成する右眼用画像生成手段と、教示画像に仮想骨画像を重ねた合成画像であって、左眼用ディスプレイに表示する左眼用画像を生成する左眼用画像生成手段と、を備え、リハビリテーションを実行中の患者に、その時の患者の上肢の状態を表す仮想骨画像と教示画像とを重ねた合成画像を右眼用ディスプレイ及び左眼用ディスプレイを通じて提示することを特徴とする。
この装置では、患者のリハビリ動作の手本となる教示画像が３Ｄ表示され、それに重ねて患者の肢の骨を模した仮想骨画像が表示される。この合成画像を見ながら、患者が教示画像の動きに合うように自分の肢を運動させることで適切なリハビリが実施できる。また、この３Ｄ映像は、関節運動の鮮明なイメージを患者に惹起することが可能であり、肢を健常に動かすためのイメージトレーニングにも役立つ。

また、本発明の上肢運動学習装置では、ヘッドマウントディスプレイに内蔵された両眼用のディスプレイを右眼用及び左眼用のディスプレイとして用いることができる。

また、本発明の上肢運動学習装置では、記録装置には病態の回復段階に応じた複数種類の教示画像が格納され、その中の選択された教示画像が記録装置から読み出される。
患者の回復状況に応じた教示画像を記録装置から読み出して３Ｄ表示することにより、回復段階に応じた適切なリハビリが実施できる。

また、本発明の上肢運動学習装置では、さらに、教示画像とこの教示画像に重なるように設定された仮想骨画像との差分を算出する差分算出手段を設け、右眼用画像及び左眼用画像に含まれる仮想骨画像の色を、差分算出手段が算出した差分に基づいて変えるようにしても良い。
患者は、表示された仮想骨画像の色から、リハビリ時の関節の曲げ方が不足しているかどうか等を知ることができる。

また、本発明の上肢運動学習装置では、さらに、教示画像とこの教示画像に重なるように設定された仮想骨画像との差分を算出する差分算出手段と、差分算出手段が算出した差分の大きさに基づいて音調を変えた音を発生する発音手段と、を設けても良い。
この場合、患者は、発音手段の音から、リハビリ時の関節の曲げ方が不足しているかどうか等を知ることができる。

また、本発明の上肢運動学習装置では、さらに、右眼用画像及び左眼用画像を別けて表示するモニタを設けても良い。
患者に付き添う療法士は、このモニタの画像から患者のリハビリの状態を観察することができる。

本発明の上肢運動学習装置は、患者の適切なリハビリの実行を可能にし、また、患者のイメージトレーニングにも有効である。患者は、療法士が不在でも、適切なリハビリを自主的に行うことができる。

本発明の実施形態に係る上肢運動学習装置の構成を示すブロック図 図１の装置により手指のリハビリを支援する画像を表示したときの図 図１の装置におけるＣＰＵの動作手順を示すフロー図 手指の骨を説明する図 仮想骨の座標を例示する図 右眼用画像及び左眼用画像のずれ量を説明する図 図１の装置により上腕・前腕のリハビリを支援する画像を表示したときの図

図１は、本発明の実施形態に係る上肢運動学習装置の構成をブロック図で示している。
この装置は、複数種類の教示画像３１の映像が格納された記録装置３０と、患者の手指の距離画像を撮影する距離画像撮像装置４０と、患者が装着するＨＭＤ１０と、療法士がリハビリの様子を観察するモニタ６０と、記録装置３０から読み出した教示画像３１と距離画像撮像装置４０で撮影された患者の手指の距離画像とを用いてＨＭＤ１０及びモニタ６０に表示される映像を作成するＣＰＵ２０とを備えている。

また、ＣＰＵ２０は、距離画像撮像装置４０で撮影された患者の手指の距離画像から、手指の骨を表す仮想骨画像を生成する仮想骨画像生成部２５と、この仮想骨画像が、記録装置３０から読み出された教示画像３１に重なるように仮想骨画像の表示位置を設定する画像位置合わせ部２３と、教示画像３１とこの教示画像に重なるように設定された仮想骨画像との差分を算出する仮想骨／教示画像差分算出部２４と、ＨＭＤ１０の右眼用ディスプレイ１１に表示される“教示画像及び仮想骨画像の右眼用合成画像”を生成する右眼画像生成部２１と、ＨＭＤ１０の左眼用ディスプレイ１２に表示される“教示画像及び仮想骨画像の左眼用合成画像”を生成する左眼画像生成部２２と、を備える。

なお、右眼画像生成部２１及び左眼画像生成部２２は、右眼用合成画像及び左眼用合成画像に含まれる仮想骨画像の色を、仮想骨／教示画像差分算出部２４が算出する差分の大きさに応じて設定する。
また、右眼画像生成部２１及び左眼画像生成部２２で生成された右眼用合成画像及び左眼用合成画像は、モニタ６０にも送られ、モニタ画面上で別の領域に表示される。

図２は、この装置を模式的に示している。モニタ６０には、教示画像である手指の画像と仮想骨画像とが重ね合された合成画像が表示されている。右側が右眼用合成画像であり、左側が左眼用合成画像である。この右眼用合成画像はＨＭＤ１０の右眼用ディスプレイ１１にも表示され、左眼用合成画像はＨＭＤ１０の左眼用ディスプレイ１２にも表示されている。そのため、ＨＭＤ１０を装着した患者には、教示画像と仮想骨画像との動きを３Ｄ表示する映像が眼前に見える。
なお、ＣＰＵ２０の仮想骨画像生成部２５、画像位置合わせ部２３、仮想骨／教示画像差分算出部２４、右眼画像生成部２１及び左眼画像生成部２２は、ＣＰＵ２０がプログラムに規定された処理を実行することにより実現される。

図３のフロー図は、ＣＰＵ２０の動作手順を示している。
距離画像撮像装置４０は、患者の手指を被写体として、その動画像を撮像する。その画像を取得した仮想骨画像生成部２５は、仮想骨画像を生成する(ステップ１)。
距離画像撮像装置４０により撮影される距離画像の各画素のデータには、被写体までの距離のデータが含まれる。
距離画像を撮影する方式としては、“ＴＯＦ（Time of Flight）方式”や“パターン投光方式”等が知られている。ＴＯＦ方式では、赤外線発光素子から発光された赤外光が被写体に反射して戻るまでの時間を距離に置き換えて各画像データに含める。一方、パターン投光方式では、被写体に赤外線でパターン（例えばドットパターン）を投光し、被写体に反射して戻って来たパターンの歪から被写体までの距離を算出し、その距離データを各画素データに含める。

図４は、被写体の手指の指骨について示している。母指の指骨は中手骨５１、基節骨５２及び末節骨５４から成り、その他の示指、中指、薬指及び小指の指骨は、中手骨５１、基節骨５２、中節骨５３及び末節骨５４から成る。また、中手骨５１と基節骨５２との間の関節はＭＰ関節５５と呼ばれ、基節骨５２と中節骨５３との間の関節はＰＩＰ関節５６、中節骨５３と末節骨５４との間の関節はＤＩＰ関節５７と呼ばれる。また、母指の基節骨５２と末節骨５４との間の関節はＩＰ関節５８と呼ばれる。
各指の指骨や関節の位置は、手指の外形や手指の屈曲位置等から推定可能である。
仮想骨画像生成部２５は、距離画像撮像装置４０が撮影した患者の手指の距離画像から各指の中手骨５１、基節骨５２、中節骨５３及び末節骨５４の指骨位置を推定して、その指骨位置のデータを画素データに含む仮想骨画像を生成する。

画像位置合わせ部２３は、仮想骨画像が、記録装置３０から読み出した教示画像３１に重なるように、仮想骨画像の表示位置を設定する（ステップ２）。
記録装置３０には、病態の各回復段階でのリハビリにおいて、手本となる動きをする手指が被写体となって距離画像撮像装置４０で撮影された複数種類の動画像が教示画像として格納されている。その中から、患者の病態に応じた教示画像が読み出され、その教示画像と仮想骨画像との表示が重なるように仮想骨画像の座標が変換される。
なお、本発明者等は、先に、手指の病態の定量的評価が可能な装置を特願２０１６−４６２２９において提案している。この装置による評価結果に基づいて記録装置３０から読み出すべき教示画像３１を選択すれば、患者の病態にマッチした教示画像３１が提供できる。

距離画像の位置合わせの方法については特開２００７−１８４９３号公報に詳述されている。簡便な方法を採るならば、双方の画像から対応する複数の特徴点（例えば、手首の中央位置、母指及び小指のＭＰ関節５５位置等）を抽出し、それらの特徴点が重なるための変換を仮想骨画像の座標に施せば、教示画像の表示に仮想骨画像の表示を重ねることができる。

仮想骨／教示画像差分算出部２４は、教示画像とこの教示画像に重なるように設定された仮想骨画像との差分を算出する(ステップ３)。
図５に示すように、仮想骨の骨の座標をａ_i(ａ_ix,ａ_iy,ａ_iz）、（ｉ＝１，２，・・・ｎ）とし、教示画像と仮想骨画像とを重ねたときの仮想骨画像における１つの特徴点の位置の座標をＯ₁(Ｏ_x,Ｏ_y,Ｏ_z1）とする（但し、ｘ座標、ｙ座標は、画素の座標、ｚ座標は距離画像の距離を示す値）。同様に教示画像の指から推定した各骨の同じ位置をａ^' _i(ａ^' _ix,ａ^' _iy,ａ^' _iz）、（ｉ＝１，２，・・・ｎ）とし、教示画像と仮想骨画像とを重ねたときの教示画像における１つの特徴点の位置の座標をＯ₂(Ｏ_x,Ｏ_y,Ｏ_z2）とする。
そうすると、差分は、次式で算出できる。
差分＝（Σ[｛（ａ_ix−Ｏ_x）²＋（ａ_iy−Ｏ_y）²＋（ａ_iz−Ｏ_z1）²｝^1/2 −｛（ａ^' _ix−Ｏ_x）²＋（ａ^' _iy−Ｏ_y）²＋（ａ^' _iz−Ｏ_z2）²｝^1/2]）／ｎ
ここで、Σはｉ＝１からｎまでの加算を表している。
仮想骨／教示画像差分算出部２４は、算出した差分の情報を右眼画像生成部２１及び左眼画像生成部２２に送る。

右眼画像生成部２１及び左眼画像生成部２２は、画像位置合わせ部２３が位置合わせした教示画像と仮想骨画像とを取得すると、仮想骨／教示画像差分算出部２４から受信した差分が閾値を超えている場合には、仮想骨画像の色を例えば赤色に設定し、超えていないときは白色に設定する(ステップ４)。
そして、その仮想画像と教示画像とを用いて、右眼画像生成部２１はＨＭＤ１０の右眼用ディスプレイ１１に表示する右眼用合成画像を生成し、左眼画像生成部２２はＨＭＤ１０の左眼用ディスプレイ１２に表示する左眼用合成画像を生成する（ステップ５）。

図６に示すように、物体の最近点Ａ（ｘ、ｙ、ｚ１）を一方の眼で見たときの視線とｘ軸上のディスプレイ位置との交点をｐ１とすると、両眼の中心位置ｏからｐ１までの距離は、
ｐ１＝ｚ１×ｔａｎθ
となる。また、物体の最遠点Ｂ（ｘ、ｙ、ｚ２）を一方の眼で見たときの視線とディスプレイ位置との交点をｐ２とすると、両眼の中心位置ｏからｐ２までの距離は、
ｐ２＝ｚ２×ｔａｎ（θ−Δθ）
となる。
実施形態の上肢運動学習装置の場合、ｚ１、ｚ２は両眼の間の距離に比べて遥かに大きく、且つ、ｚ１、ｚ２の間に大きな差は無いから、
ｔａｎ（θ−Δθ）≒ｔａｎθ＝ｋ（定数）
と近似することが可能であり、その結果、ｐ１＝ｋ×ｚ１、ｐ２＝ｋ×ｚ２となる。
従って、右眼用合成画像は、表示画像の座標の内、ｘ座標成分に対してｚ座標成分に比例する量を加えれば生成することができ、また、左眼用合成画像は、表示画像の座標の内、ｘ座標成分に対してｚ座標成分に比例する量を減じれば生成することができる。

右眼画像生成部２１で生成された右眼用合成画像は、ＨＭＤ１０の右眼用ディスプレイ１１及びモニタ６０に送られて、それらに表示され、左眼画像生成部２２で生成された左眼用合成画像は、ＨＭＤ１０の左眼用ディスプレイ１２及びモニタ６０に送られて、それらに表示される(ステップ６)。
ＨＭＤ１０を装着する患者は、教示画像と、自分の手指の動きを示す仮想骨画像とが重なった３Ｄ映像を見ることができる。この３Ｄ映像において仮想骨画像が赤色に表示されていれば、教示画像に追随する動きができていないことを自覚して、より多く動かすように努めることになる。
また、患者に付き添う療法士は、モニタ６０の表示画像からリハビリの進捗程度を認識することができる。
リハビリ時間が終了するまで、ステップ１〜ステップ６の手順が繰り返される(ステップ７)。

このように、この上肢運動学習装置を用いることで、単調になりがちなリハビリに対する患者の好奇心を刺激することができ、リハビリに取り組む患者の意欲を高めることができる。
また、患者は、療法士が不在でも的確なリハビリを実行することができる。

なお、ここでは、教示画像と仮想骨画像との差分が大きいとき、仮想骨画像の色によりそれを表示したが、発音装置から発せられる音で表示しても良い。
また、ＨＭＤ１０に代えて、メガネ式のバーチャルリアリティ装置を用いても良い。
また、教示画像は、コンピュータで作成したＣＧ画像であっても良い。
また、ここでは、手指のリハビリを対象に説明したが、本発明の上肢運動学習装置は、上腕や前腕のリハビリにも適用できる。図７は、そのときの様子を示している。
また、ここで示した、教示画像と仮想骨画像との位置合わせ方法、それらの差分算出方法、右眼用合成画像及び左眼用合成画像の生成方法は、いずれも一例であり、本発明はそれに限定されるものではない。

本発明の上肢運動学習装置は、患者が自主的に行う上肢のリハビリを支援することができ、リハビリ施設や病院等において広く利用することができる。

１０ ヘッドマウンティングディスプレイ（ＨＭＤ）
１１ 右眼用ディスプレイ
１２ 左眼用ディスプレイ
２０ ＣＰＵ
２１ 右眼画像生成部
２２ 左眼画像生成部
２３ 画像位置合わせ部
２４ 仮想骨／教示画像差分算出部
２５ 仮想骨画像生成部
３０ 記録装置
３１ 教示画像
４０ 距離画像撮像装置
５１ 中手骨
５２ 基節骨
５３ 中節骨
５４ 末節骨
５５ ＭＰ関節
５６ ＰＩＰ関節
５７ ＤＩＰ関節
５８ ＩＰ関節
６０ モニタ

Claims (6)

1. 上肢のリハビリテーションを行う患者を支援する上肢運動学習装置であって、
   前記リハビリテーションを実行中の患者の右眼の前に位置するように配置される右眼用ディスプレイと、
   前記リハビリテーションを実行中の患者の左眼の前に位置するように配置される左眼用ディスプレイと、
   前記リハビリテーションを実行中の患者の上肢の距離画像を撮影する撮影手段と、
   前記距離画像から前記上肢の仮想骨画像を生成する仮想骨画像生成手段と、
   前記リハビリテーションの手本となる教示画像を記録装置から読み出し、前記仮想骨画像と前記教示画像とが重なるように前記仮想骨画像の表示位置を設定する画像位置合わせ手段と、
   前記教示画像に前記仮想骨画像を重ねた合成画像であって、前記右眼用ディスプレイに表示する右眼用画像を生成する右眼用画像生成手段と、
   前記教示画像に前記仮想骨画像を重ねた合成画像であって、前記左眼用ディスプレイに表示する左眼用画像を生成する左眼用画像生成手段と、
   を備え、
   前記リハビリテーションを実行中の患者に、その時の前記患者の上肢の状態を表す前記仮想骨画像と前記教示画像とを重ねた前記合成画像を前記右眼用ディスプレイ及び左眼用ディスプレイを通じて提示することを特徴とする上肢運動学習装置。
2. 請求項１に記載の上肢運動学習装置であって、前記右眼用ディスプレイ及び左眼用ディスプレイが、ヘッドマウントディスプレイに内蔵された両眼用のディスプレイであることを特徴とする上肢運動学習装置。
3. 請求項１に記載の上肢運動学習装置であって、前記記録装置には病態の回復段階に応じた複数種類の教示画像が格納され、その中の選択された教示画像が前記記録装置から読み出されることを特徴とする上肢運動学習装置。
4. 請求項１に記載の上肢運動学習装置であって、さらに、前記教示画像と該教示画像に重なるように設定された前記仮想骨画像との差分を算出する差分算出手段を備え、前記右眼用画像及び左眼用画像に含まれる前記仮想骨画像の色を、前記差分算出手段が算出した差分に基づいて変えることを特徴とする上肢運動学習装置。
5. 請求項１に記載の上肢運動学習装置であって、さらに、前記教示画像と該教示画像に重なるように設定された前記仮想骨画像との差分を算出する差分算出手段と、前記差分算出手段が算出した差分の大きさに基づいて音調を変えた音を発生する発音手段と、を備えることを特徴とする上肢運動学習装置。
6. 請求項１に記載の上肢運動学習装置であって、さらに、前記右眼用画像及び左眼用画像を別けて表示するモニタを備えることを特徴とする上肢運動学習装置。