JP2024056349A - 運動支援装置およびプログラム - Google Patents

Abstract

【課題】リハビリ効果の向上を期待することができる運動支援装置およびプログラムを提供する。【解決手段】身体を撮影する撮影部１０と、撮影部１０によって撮影された撮影画像に基づいて、身体を表す３次元画像を生成し、その身体を表す３次元画像を表示させる制御部１３とを備え、制御部１３が、身体の動きに追随させて３次元画像を動かして表示させるとともに、追随させて表示させる過程において、身体の動きとは異なる動きで３次元画像を動かして表示させる。【選択図】図１

Description

本発明は、手など身体の一部が麻痺している患者の運動を支援するための運動支援装置およびプログラムに関するものである。

従来、手など身体の一部が麻痺している患者に対して、いわゆるヘッドマウントディスプレイを装着させ、そのヘッドマウントディスプレイに所定の３次元画像を表示させることによって、患者のリハビリを行う方法が提案されている。

たとえば特許文献１および特許文献２には、予め準備された手の運動モデルの画像をヘッドマウントディスプレイにＡＲ（Augmented Reality）表示させることが提案されている。

そして、特許文献１および特許文献２では、ヘッドマウントディスプレイの装着者の手に運動モデルの画像を重ね合わせて装着者に視認させることによって、運動モデルの画像が自分の手であると錯覚させ、協調運動訓練を行うことが提案されている。

特開２０１７－１２２６４号公報 特開２０１７－１８５１９号公報

しかしながら、特許文献１および特許文献２に記載の方法では、手の運動モデルの動きは、実際の手の動きとは連動しておらず、障害のある手の上で、実際の手の動きとは無関係に動く（運動する）だけなので、運動モデルの画像が自分の手であると錯覚し難く、リハビリ効果が薄い。

本発明は、上記の問題に鑑み、リハビリ効果の向上を期待することができる運動支援装置およびプログラムを提供することを目的とする。

本発明の運動支援装置は、身体の動きを検出する検出部と、検出部によって検出された身体の動きに基づいて、身体を表す３次元画像を生成し、身体を表す３次元画像を表示させる制御部とを備え、制御部が、身体の動きに追随させて３次元画像を動かして表示させるとともに、追随させて表示させる過程において、身体の動きとは異なる動きで３次元画像を動かして表示させる。

また、本発明の運動支援装置において、制御部は、身体の動きよりも３次元画像の動きを進めて表示させることができる。

また、本発明の運動支援装置において、制御部は、身体の動きよりも３次元画像の動きを遅らせて表示させることができる。

また、本発明の運動支援装置において、検出部は、検出対象として手を検出し、制御部は、手によって把持される把持対象物を手の３次元画像とともに表示させることができる。

また、本発明の運動支援装置において、制御部は、把持対象物の初期位置と把持対象物を移動させた後の目標位置とを設定可能とすることができる。

また、本発明の運動支援装置において、制御部は、初期位置と目標位置を設定可能な画面を、３次元画像と同じ表示空間に表示させることができる。

また、本発明の運動支援装置において、制御部は、把持対象物の変更を受け付けることができる。

また、本発明の運動支援装置において、制御部は、把持対象物の変更を受け付ける画面を、３次元画像と同じ表示空間に表示させることができる。

また、本発明の運動支援装置において、制御部は、仮想現実空間内に３次元画像を表示させることができる。

また、本発明の運動支援装置において、検出部は、身体を撮影することによって身体の動きを検出することができる。

本発明の運動支援プログラムは、身体の動きを検出するステップと、検出した身体の動きに基づいて、身体を表す３次元画像を生成するステップと、３次元画像を表示させるステップとをコンピュータに実行させる運動支援プログラムであって、３次元画像を表示させるステップにおいて、身体の動きに追随させて３次元画像を動かして表示させるとともに、追随させて表示させる過程において、身体の動きとは異なる動きで３次元画像を動かして表示させる。

本発明の運動支援装置によれば、身体の動きに追随させて３次元画像を動かして表示させるとともに、追随させて表示させる過程において、身体の動きとは異なる動きで３次元画像を動かして表示させるようにしたので、リハビリ効果の向上を期待することができる。なお、本発明における３次元画像の動かし方については、後で詳述する。

本発明の運動支援装置の一実施形態の概略構成を示すブロック図 アシスト設定画面の一例を示す図 アシスト動作開始時に表示される３次元画像の一例を示す図 把持対象物選択画面の一例を示す図 把持対象物位置設定画面の一例を示す図 移動途中の手の３次元画像および把持対象物の表示例を示す図 実際の手の動きよりも手の３次元画像の動きを進めて表示させる場合の演算処理の一例を説明するための図

以下、本発明の運動支援装置の一実施形態について、図面を参照しながら詳細に説明する。図１は、本実施形態の運動支援装置１の概略構成を示すブロック図である。

本実施形態の運動支援装置１は、いわゆるスタンドアローン型のＶＲ（Virtual Reality）ゴーグル装置（以下、単にＶＲゴーグルという）を用いた装置であり、身体（たとえば手）を撮影した撮影画像に基づいて、その身体の３次元画像を生成して仮想現実空間に表示させるとともに、その３次元画像を身体の実際の動きに追随させて動かして表示させる。そして、身体の実際の動きに追随させて３次元画像を動かして表示する過程において、実際の身体の動きとは異なる動きで表示させる装置である。

本実施形態の運動支援装置１は、図１に示すように、撮影部１０と、表示部１１と、コントローラ部１２と、制御部１３とを備えている。

撮影部１０は、たとえばゴーグルの前面に設けられ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサや光学系などを備えている。なお、本実施形態においては、撮影部１０が、本発明の検出部に相当する。

表示部１１は、ＶＲゴーグルの内側（装着者側）に設けられ、立体視される右目用画像と左目用画像を表示させるものであり、液晶ディスプレイやピント調整機能を有する光学系などを備えている。

コントローラ部１２は、たとえば加速度センサなどを有し、ユーザが、コントローラ部１２を動かすことによって、所定の操作指示を受け付ける。

なお、撮影部１０、表示部１１およびコントローラ部１２の構成としては、既に公知なＶＲゴーグルの構成を採用することができ、上記の構成に限定されるものではない。

制御部１３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、半導体メモリ、ハードディスクおよび通信Ｉ／Ｆなどを備え、ＶＲゴーグル全体を制御する。特に、本実施形態の制御部１３は、撮影部１０によって撮影された身体の撮影画像に基づいて、身体を表す３次元画像を生成するとともに、その身体を表す３次元画像を表示部１１に表示させる。そして、本実施形態の制御部１３は、身体の動きに追随させて３次元画像を動かして表示させるとともに、その追随させて表示させる過程において、実際の身体の動きとは異なる動きで３次元画像を動かして表示させる。制御部１３による身体の３次元画像の表示方法については、後で詳述する。

制御部１３の半導体メモリまたはハードディスクには、本発明の運動支援プログラムの一実施形態がインストールされている。制御部１３が備えるＣＰＵによって上記運動支援プログラムが実行されることによって、上記各部の機能が実現される。なお、本実施形態においては、上記各部の機能を、運動支援プログラムによって実現するようにしたが、これに限らず、一部または全部の機能をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）、その他の電気回路などのハードウェアから構成するようにしてもよい。

次に、本実施形態の運動支援装置１の処理について、図面を参照しながら説明する。まず、本実施形態の運動支援装置１の基本的な処理の流れについて説明する。なお、ここでは身体の手の運動支援を行う場合について説明する。

まず、運動支援装置１を起動し、コントローラ部１２を用いて所定の操作を行うことによって、制御部１３は、図２に示すアシスト設定画面を表示する。アシスト設定画面においては、アシスト対象（運動支援対象）が「右手」であるのか、「左手」であるのかを選択するアシスト対象選択欄Ｓ１およびアシスト強度を設定するアシスト強度設定欄Ｓ２が表示され、それぞれ設定される。これらの設定入力は、コントローラ部１２を操作することによって行われるが、コントローラ部１２は、たとえばＶＲゴーグルの装着者とは異なる運動支援者（たとえば理学療法士など）によって操作される。

また、図２に示すアシスト設定画面には、測定ボタンＭおよびアシストボタンＡが表示される。コントローラ部１２を用いて測定ボタンＭが選択されると、現在の手の位置の測定が開始され、その後、アシストボタンＡが選択されると、運動支援装置１によるアシスト動作が開始される。現在の手の位置の測定については、ＶＲゴーグルの撮影部１０によってアシスト対象の手を撮影することによって行われる。

図３は、アシスト動作開始時において、ＶＲゴーグルの表示部１１によって表示される３次元画像の一例を示す図である。図３に示す３次元画像が、ＶＲゴーグルの装着者によって立体視される。

図３に示すように、制御部１３は、撮影部１０によって撮影された手の撮影画像に基づいて、手の３次元画像Ｈを生成し、仮想現実空間内に表示させる。仮想現実空間には予め記憶された背景の３次元画像が表示される。

そして、制御部１３は、把持対象物の３次元画像ＯＢ（以下、単に把持対象物ＯＢという）を生成し、仮想現実空間内において、手の３次元画像Ｈとともに表示させる。把持対象物ＯＢは、ＶＲゴーグルの装着者の手の運動を支援するために用いられるものであり、予め設定された形状および大きさで表示される。

図３に示す例では、球体の把持対象物ＯＢが表示されているが、これに限らず、変更が可能である。たとえば、制御部１３が、コントローラ部１２の操作に応じて図４に示すような把持対象物選択画面を表示させる。把持対象物選択画面においては、図４に示すように、種々の把持対象物とその大きさを５段階で選択可能である。これにより、リハビリの目的などに応じて種々の把持対象物を容易に選択することができる。

また、把持対象物ＯＢは、後述する運動支援の過程において、仮想現実空間内における所定の開始位置から終了位置まで装着者によって移動させられるものであるが、アシスト動作開始時は、開始位置に表示される。把持対象物ＯＢの仮想現実空間内における開始位置および終了位置は任意に予め設定される。たとえば、制御部１３が、コントローラ部１２の操作に応じて図５に示すような把持対象物位置設定画面を表示させる。図５に示すように、把持対象物位置設定画面においては、把持対象物ＯＢの開始位置（初期位置）および終了位置（目標位置）の仮想現実空間内の座標系における縦、横および高さが設定入力可能に表示される。そして、たとえば運動支援者が、コントローラ部１２を用いて、各座標を設定入力する。これにより、リハビリの目的などに応じて種々の開始位置および終了位置を容易に設定することができる。

そして、図３に示すように装着者の手の３次元画像Ｈと把持対象物ＯＢが表示されている状態において、運動支援者が、装着者に対して把持対象物ＯＢを握って、開始位置から終了位置まで移動させるように促す。

装着者は、運動支援者の指導に応じて実際に手を動かし、仮想現実空間内に表示された把持対象物ＯＢを握って開始位置から終了位置まで移動させる。制御部１３は、撮影部１０によって撮影される手の撮影画像に基づいて、装着者の実際の手の動きに追随して手の３次元画像Ｈを順次生成して表示させる。また、制御部１３は、手の３次元画像Ｈが把持対象物ＯＢを握った後は、手の３次元画像Ｈの仮想現実空間内における移動に応じて、把持対象物ＯＢも移動させる。図６は、移動途中の手の３次元画像Ｈおよび把持対象物ＯＢの表示例を示す図である。図６に示すように、把持対象物ＯＢの移動先である終了位置（目標位置）が、円のマークＳＭで３次元表示され、装着者は、円のマークＳＭの内側に把持対象物ＯＢが配置されるように、手を動かしていく。そして、制御部１３は、図６に示す円のマークＳＭ内に把持対象物ＯＢが置かれた時点で、運動支援処理を終了する。

運動支援処理を終了した際、制御部１３は、目標を達成したことを祝う「Congratulations！」などのメッセージを表示させたり、花火の画像などを表示させるようにしてもよい。

ここで、上述したように仮想現実空間内において、装着者が、実際に手を動かして把持対象物ＯＢを握る際、本実施形態では、より高いリハビリ効果を得るため、実際の手の動きと手の３次元画像Ｈの動きとを異なる動きとする。

具体的には、制御部１３は、装着者の実際の手の指は、把持対象物ＯＢを掴んでいない状態（把持対象物ＯＢの位置まで到達していない状態）であるが、手の３次元画像Ｈについては、実際の手の指の動きよりも進めて表示させ、把持対象物ＯＢを掴んでいる状態で表示させる。このように、実際の装着者の手の動きよりも、手の３次元画像Ｈの動きを進めて表示させることによって、装着者の脳は、手の指が把持対象物ＯＢを掴む位置まで動いたと錯覚する。この脳の錯覚効果により、手の麻痺などに対して高いリハビリ効果を期待できる。

ここで、上述したように実際の装着者の手の動きよりも、手の３次元画像Ｈの動きを進めて表示させる方法について、具体的に説明する。

制御部１３は、手の３次元画像Ｈを動かして表示する際、手の撮影画像に基づいて、指の関節を検出し、その関節で自然な方向および角度に曲がるように３次元画像Ｈを生成する。関節としては、親指の第１関節および第２関節、並びに人差し指、中指、薬指および小指の第１関節、第２関節および第３関節を検出する。

そして、上述したように実際の装着者の手の動きよりも、手の３次元画像Ｈの動きを進めて表示させる場合、実際の指の関節が自然な状態（力を入れて曲げていない状態）のときの指の位置と関節を意図的に曲げたときの現在の指の位置とに基づいて、３次元画像Ｈの指の位置を算出する。具体的には、図７に示すように自然な状態のときの実際の指の位置Ｐ１と指を意図的に曲げたときの現在の位置Ｐ２とが成す角をθとすると、指の３次元画像Ｈの位置を示すθ’を下式に基づいて算出する。
θ’＝θ×ｋ

ｋは、任意の係数であって、予め設定される値である。ｋは、上述した関節毎に異なる値に設定してもよい。また、ｋは、図２に示すアシスト設定画面において設定されるアシスト強度の数値に応じて大きさを変更するようにしてもよい。

また、上記説明では、実際の装着者の手の動きよりも、手の３次元画像Ｈの動きを進めて表示させる場合について説明したが、逆に、実際の装着者の手の動きよりも、手の３次元画像Ｈの動きを遅らせて表示させるようにしてもよい。この場合、制御部１３は、装着者の実際の手の指は、把持対象物ＯＢを掴む位置まで動いているが、手の３次元画像Ｈについては、実際の手の指の動きよりも遅らせて表示させ、把持対象物ＯＢをまだ掴んでいない状態で表示させる。このように、実際の装着者の手の動きよりも、手の３次元画像Ｈの動きを遅らせて表示させることによって、装着者は、把持対象物ＯＢを掴むために、手の指をより強い力で動かそうとするので、高いリハビリ効果を期待できる。

また、上記実施形態では、身体の手を撮影し、手の３次元画像Ｈを仮想現実空間内に表示させて運動支援を行う例について説明したが、撮影対象は手に限らず、脚など身体のその他の部位でもよい。

また、上記実施形態では、図２に示すアシスト設定画面、図４に示す把持対象物選択画面および図５に示す把持対象物位置設定画面において、コントローラ部１２を用いて設定入力するようにしたが、これに限らず、たとえばＶＲゴーグルに、装着者の視線を検出する視線検出部を設け、その視線検出部によって検出された視線に基づいて、設定入力するようにしてもよい。

たとえば図２に示すアシスト設定画面においては、視線が向く方向によって「右手」または「左手」を選択可能としたり、視線が向く方向によって測定ボタンＭやアシストボタンＡを選択可能としたりしてもよい。

また、図４に示す把持対象物選択画面においては、視線が向く方向によって把持対象物ＯＢの種類および大きさを選択可能としてもよい。また、図５に示す把持対象物位置設定画面においては、視線が向く方向によって「開始（縦）」、「開始（横）」、「開始（高さ）」、「終了（縦）」、「終了（横）」または「終了（高さ）」を選択可能とし、視線が同じ位置に留まる時間に応じて、各座標値を増加させて設定可能としてもよい。

また、仮想現実空間内の所定の位置に視線が向いた際に、アシスト設定画面、把持対象物選択画面および把持対象物位置設定画面などのような設定画面を表示させるようにしてもよい。

なお、視線検出部としては、たとえば装着者の眼を撮影する赤外線カメラを用いることができる。そして、制御部１３は、たとえば眼の目頭を検出して基準点とし、虹彩を動点として、これらの位置関係から視線の向きを検出する。または、角膜反射を基準点とし、瞳孔を動点として、これらの位置関係から視線の向きを検出するようにしてもよい。視線検出の方法としては、既に公知な技術を採用することができる。

また、上記実施形態においては、ＶＲゴーグルの撮影部１０によって手を撮影することによって手の動きを検出するようにしたが、これに限らず、たとえば装着者の手（指）に加速度センサなどを設け、その加速度センサの検出結果に基づいて、装着者の手の動きを検出するようにしてもよい。この場合、手の各関節の動きが分かるように加速度センサを関節毎に設けることが好ましい。

また、運動支援装置１を用いてリハビリを行った履歴を制御部１３に保存しておき、必要に応じて読み出して表示するようにしてもよい。リハビリ履歴としては、たとえばリハビリを行った装着者を特定する情報、リハビリを行った日付、リハビリを行った結果（把持対象物ＯＢを開始位置から終了位置まで移動させることができたか否か）、実際に指をどこまで（自然な位置から何度まで）動かすことができたかなどの運動結果の情報を保存するようにすればよい。

また、制御部１３が、装着者が、把持対象物ＯＢを開始位置から終了位置まで移動させることができた場合には、その装着者に対してポイントを付与し、装着者毎（患者毎）のポイントを記憶して管理するようにしてもよい。そして、そのポイントを景品と交換したり、病院内での買い物に使用できるようにしてもよい。

また、上記実施形態においては、把持対象物ＯＢおよび手の３次元画像ＨをＶＲ表示するようにしたが、これに限らず、ＡＲ表示し、実際の手と手の３次元画像Ｈとを重ねて表示させるようにしてもよい。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階でその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。たとえば実施形態に示される全構成要素を適宜組み合わせても良い。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

１ 運動支援装置
１０ 撮影部
１１ 表示部
１２ コントローラ部
１３ 制御部
Ａ アシストボタン
Ｈ 手の３次元画像
Ｍ 測定ボタン
ＯＢ 把持対象物
Ｓ１ アシスト対象選択欄
Ｓ２ アシスト強度設定欄
ＳＭ 円のマーク

Claims (11)

1. 身体の動きを検出する検出部と、
   前記検出部によって検出された身体の動きに基づいて、前記身体を表す３次元画像を生成し、前記身体を表す３次元画像を表示させる制御部とを備え、
   前記制御部が、前記身体の動きに追随させて前記３次元画像を動かして表示させるとともに、前記追随させて表示させる過程において、前記身体の動きとは異なる動きで前記３次元画像を動かして表示させる運動支援装置。
2. 前記制御部が、前記身体の動きよりも前記３次元画像の動きを進めて表示させる請求項１記載の運動支援装置。
3. 前記制御部が、前記身体の動きよりも前記３次元画像の動きを遅らせて表示させる請求項１記載の運動支援装置。
4. 前記検出部が、検出対象として手を検出し、
   前記制御部が、前記手によって把持される把持対象物を前記手の３次元画像とともに表示させる請求項１から３いずれか１項記載の運動支援装置。
5. 前記制御部が、前記把持対象物の初期位置と前記把持対象物を移動させた後の目標位置とを設定可能である請求項４記載の運動支援装置。
6. 前記制御部が、前記初期位置と前記目標位置を設定可能な画面を、前記３次元画像と同じ表示空間に表示させる請求項５記載の運動支援装置。
7. 前記制御部が、前記把持対象物の変更を受け付ける請求項４記載の運動支援装置。
8. 前記制御部が、前記把持対象物の変更を受け付ける画面を、前記３次元画像と同じ表示空間に表示させる請求項７記載の運動支援装置。
9. 前記制御部が、仮想現実空間内に前記３次元画像を表示させる請求項１記載の運動支援装置。
10. 前記検出部が、前記身体を撮影することによって前記身体の動きを検出する請求項１記載の運動支援装置。
11. 身体の動きを検出するステップと、
    前記検出した身体の動きに基づいて、前記身体を表す３次元画像を生成するステップと、
    前記３次元画像を表示させるステップとをコンピュータに実行させる運動支援プログラムであって、
    前記３次元画像を表示させるステップにおいて、前記身体の動きに追随させて前記３次元画像を動かして表示させるとともに、前記追随させて表示させる過程において、前記身体の動きとは異なる動きで前記３次元画像を動かして表示させる運動支援プログラム。