WO2020145092A1

WO2020145092A1 - リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

Info

Publication number: WO2020145092A1
Application number: PCT/JP2019/050118
Authority: WO
Inventors: 原　正彦
Original assignee: 株式会社ｍｅｄｉＶＲ
Priority date: 2019-01-07
Filing date: 2019-12-20
Publication date: 2020-07-16
Also published as: CN112105326A; EP3777810A1; JP2020110561A; JP2024020292A; CN112105326B; JP7385238B2; US20210154431A1; EP3777810A4

Abstract

ユーザにとって快適なリハビリテーションを提供するリハビリテーション支援装置であって、ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出部と、前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出部で検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第１表示制御部と、前記目標オブジェクトの位置を報知するための報知画像を前記ヘッドマウントディスプレイに表示させる第２表示制御部と、を備えた。

Description

リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

　本発明は、リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラムに関する。

　上記技術分野において、特許文献１には、脳卒中等による片麻痺患者に対して行なわれるリハビリテーションを支援するシステムが開示されている。

特開２０１５－２２８９５７号公報

Nichols S, Patel H: Health and safety implications of virtual reality: a review of empirical evidence. Appl Ergon 2002;33:251-271

　しかしながら、上記文献に記載の技術では、頭部に装着した表示装置によってユーザの視野が狭くなる。具体的には、表示装置を装着前に約１８０度あった視野が、１１０度程度まで狭くなる。

　その場合、表示装置を装着前には首を回さなくても見えていたものが、首を回さなければ見えなくなる。結果として、人が有する平衡感覚の入力刺激としての視覚情報と内耳情報との間に乖離が生じ、いわゆる車酔いのように気分が悪くなる場合があった。このように視野角に制限のある表示装置を装着すること等で視覚情報と内耳情報の乖離が生じる現象を、医学的にセンサリコンフリクト（sensory conflict）と呼ぶ。

　例えば人が周りに何もない状況で地震に遭遇すると、「視覚情報」として地面や背景に変化はなく、視覚からの入力は「動いていない」という情報となる。一方で「内耳情報」では、明らかに揺れを検知する情報が得られ、内耳からの入力は「動いている」という情報となる。これがsensory conflictによって気分が悪くなるメカニズムであり、この現象は地震後めまい症候群（Post Earthquake Dizziness Syndrome, PEDS）としてよく知られている。

　小児や子供が乗り物酔いを生じやすい理由も、内耳からの入力は「動き」を感じているにもかかわらず、視野が狭いために視覚からの情報が「動いていない」と誤って入力され、sensory conflictが生じるためだと推定されている。この場合、窓の外を見ることで乗り物酔いが予防できることはよく知られているが、これは視覚からの入力情報を正しく得られるようにする工夫であり、結果として視覚情報と内耳情報を一致させ、sensory conflictを防いでいる。また、例えば乗り物の先頭から次の移動先の景色を見ることも乗り物酔いの予防方法としてよく使われる方法である。これは、次に得られるであろう内耳情報の変化をあらかじめ視覚情報から予測しておくことによってsensory conflictを予防するための工夫であり、さらに船酔いに慣れる等のようにsensory conflictは繰り返し同じ条件を経験させることで学習し、予防することも可能な現象でだと考えられている。

　つまり、sensory conflictは今後得られるであろう入力情報を事前に予測（や学習）しておくことで予防可能である。

　近年では、視野に制限のある表示装置（ＨＭＤ）を装着することで視覚情報と内耳情報の乖離が生じ、平衡感覚が乱され、気分が悪くなることが問題となっている（ＶＲ酔い）。視野が制限されているために、いつもの感覚で得られる視覚情報と内耳情報とは異なった入力が行われ、sensory conflictが生じることが分かっている（非特許文献１）。

　本発明の目的は、上述の課題を解決する技術を提供することにある。

　上記目的を達成するため、本発明に係るリハビリテーション支援装置は、
　ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出部と、
　前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出部で検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第１表示制御部と、
　前記目標オブジェクトの位置を報知するための報知画像を前記ヘッドマウントディスプレイに表示させる第２表示制御部と、
　を備えた。

　上記目的を達成するため、本発明に係るリハビリテーション支援システムは、
　ヘッドマウントディスプレイと、
　ユーザの動きを検出するためのセンサと、
　前記ヘッドマウントディスプレイおよび前記センサとの間で情報のやり取りを行なうリハビリテーション支援装置と、
　を備えたリハビリテーション支援システムであって、
　前記リハビリテーション支援装置は、
　ユーザに視認させる目標オブジェクトを仮想空間内に生成し、ユーザが装着したヘッドマウントディスプレイに表示させる第１表示制御部と、
　前記目標オブジェクトの位置を報知するための報知画像を前記ヘッドマウントディスプレイに表示させる第２表示制御部と、
　前記センサが捉えた前記ユーザの動きと、前記目標オブジェクトが表わす目標位置とを比較して、前記ユーザの能力を評価する評価部と、
　を備えた。

　上記目的を達成するため、本発明に係るリハビリテーション支援方法は、
　ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出ステップと、
　前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出部で検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第１表示制御ステップと、
　前記目標オブジェクトの位置を報知するための報知画像を前記ヘッドマウントディスプレイに表示させる第２表示制御ステップと、
　を含む。

　上記目的を達成するため、本発明に係るリハビリテーション支援プログラムは、
　ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出ステップと、
　前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出部で検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第１表示制御ステップと、
　前記目標オブジェクトの位置を報知するための報知画像を前記ヘッドマウントディスプレイに表示させる第２表示制御ステップと、
　をコンピュータに実行させる。

　本発明によれば、ユーザにとって快適なリハビリテーションを提供することができる。

本発明の第１実施形態に係るリハビリテーション支援システムの構成を示すブロック図である。第２実施形態に係るリハビリテーション支援システムの構成を示すブロック図である。第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。第２実施形態に係るリハビリテーション支援システムの処理の流れを示すフローチャートである。第２実施形態に係るリハビリテーション支援システムの他の表示画面例を示す図である。第３実施形態に係るリハビリテーション支援システムの操作画面例を示す図である。第３実施形態に係るリハビリテーション支援システムの他の操作画面例を示す図である。第３実施形態に係るリハビリテーション支援システムのさらに他の操作画面例を示す図である。

　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

　［第１実施形態］
　本発明の第１実施形態としてのリハビリテーション支援システム１００について、図１を用いて説明する。リハビリテーション支援システム１００は、ユーザ１１０に対して行われるリハビリテーションを支援するシステムである。

　図１に示すように、リハビリテーション支援システム１００は、検出部１０１、表示制御部１０２、１０３を含む。

　検出部１０１は、ヘッドマウントディスプレイ１１１を装着したユーザ１１０の頭の向きを検出する。

　表示制御部１０２は、ユーザ１１０に視認させるリハビリテーション用の目標オブジェクト１２２を仮想空間内に生成し、検出部１０１で検出したユーザ１１０の頭の向きに応じて、ヘッドマウントディスプレイ１１１に表示させる。表示制御部１０３は、目標オブジェクト１２２の位置を報知するための報知画像１３１をヘッドマウントディスプレイ１１１に表示させる。

　本実施形態によれば、報知画像を画面に表示することで、次に得られるであろう内耳情報の変化をあらかじめ視覚情報から予測させて、sensory conflictを防ぐことができる。

　［第２実施形態］
　本発明の第２実施形態に係るリハビリテーション支援システム２００について、図２を用いて説明する。図２は、本実施形態に係るリハビリテーション支援システム２００の構成を説明するための図である。

　図２に示すように、リハビリテーション支援システム２００は、リハビリテーション支援装置２１０と、２つのベースステーション２３１、２３２と、ヘッドマウントディスプレイ２３３と、２つのコントローラ２３４、２３５とを備える。ユーザ２２０は、椅子２２１に座りながら、ヘッドマウントディスプレイ２３３の表示に合わせて、上半身をねじったり、手を伸ばしたりすることでリハビリテーション動作を行なう。本実施形態では、椅子に座って行なうリハビリテーションを前提に説明するが、本発明はこれに限定されるものではない。

　２つのベースステーション２３１、２３２は、ヘッドマウントディスプレイ２３３の動きおよびコントローラ２３４、２３５の動きを検知して、リハビリテーション支援装置２１０に送る。リハビリテーション支援装置２１０は、ユーザ２２０のリハビリテーション動作を評価しつつ、ヘッドマウントディスプレイ２３３の表示制御を行なう。

　なお、ヘッドマウントディスプレイ２３３としては、非透過タイプでも、ビデオシースルータイプでも、オプティカルシースルータイプでも構わない。

　本実施形態では、ユーザの手の位置を検出するためのセンサの一例として、ユーザ２２０が手に持つコントローラ２３４、２３５や、ベースステーション２３１、２３２を示しているが、本発明はこれに限定されるものではない。画像処理によりユーザの手の位置を検出するためのカメラ（深度センサを含む）、温度によりユーザの手の位置を検出するためのセンサ、ユーザの腕に装着させる腕時計型のウェアラブル端末などや、モーションキャプチャなども、本発明のセンサの概念に含まれる。

　リハビリテーション支援装置２１０は、動作検出部２１１と表示制御部２１２、２１３と評価部２１４と更新部２１５、タスクセットデータベース２１６と操作部２１７とを備える。

　動作検出部２１１は、ユーザ２２０が手に持つコントローラ２３４、２３５の位置をベースステーション２３１、２３２を介して取得し、ユーザ２２０の手の位置の変化によりユーザ２２０のリハビリテーション動作を検出する。

　表示制御部２１２は、検出したリハビリテーション動作に応じて動くアバターオブジェクト２４１と、リハビリテーション動作の目標を示す目標オブジェクト２４２と、を仮想空間内に生成する。そして、それらのアバターオブジェクト２４１および目標オブジェクト２４２の画像を、動作検出部２１１が検出したヘッドマウントディスプレイ２３３の向きおよび位置に応じて、表示画面２４０に表示させる。アバターオブジェクト２４１および目標オブジェクト２４２の画像は、背景画像２４３に重畳表示される。ここでは、アバターオブジェクト２４１は、コントローラ２３４、２３５と同じ形状をしているがこれに限定されるものではない。アバターオブジェクト２４１は、コントローラ２３４、２３５の動きに合わせて表示画面２４０中を動く。アバターオブジェクト２４１に表示されている通り、コントローラ２３４、２３５にはボタンが用意されており、各種設定操作など可能に構成されている。背景画像２４３は、地平線２４４と、地表面画像２４５とを含んでいる。

　表示制御部２１２は、目標オブジェクト２４２を、ユーザ２２０の頭上方向から下方に向けて降下してきているように、表示位置および大きさを徐々に変えて表示する。ユーザ２２０は、コントローラ２３４、２３５を動かして、画面中のアバターオブジェクト２４１を、目標オブジェクト２４２に近づける。アバターオブジェクト２４１に含まれるセンサオブジェクト（ここでは不図示）が目標オブジェクト２４２にぶつかると、目標オブジェクト２４２は消滅する。

　表示制御部２１３は、さらに、レーダスクリーン画像２５０をヘッドマウントディスプレイ２３３の表示画面２４０に表示させる。レーダスクリーン画像２５０は、目標オブジェクト２４２の位置が、仮想空間内の基準方向（ここでは椅子にまっすぐに腰掛けたユーザの正面方向となるように初期設定されている）に対して、相対的にどちらの方向であるかを示す。

　表示制御部２１３は、ユーザ２２０の頭の向きにかかわらず、レーダスクリーン画像２５０をヘッドマウントディスプレイ２３３の表示画面２４０の中央部分（例えば－５０度～５０度の範囲内）に表示させる。

　レーダスクリーン画像２５０は、上方から見たユーザの頭を表わす頭画像２５１と、頭画像２５１の周囲を複数のブロックに分割したブロック画像２５２と、ユーザの視野領域を示す視野領域画像としての扇型画像２５３と、を含む。目標オブジェクトの位置を示す目標位置画像は、ブロック画像２５２のどのブロックが着色されるかによって示される。これにより、ユーザ２２０は、自分が向いている方向に対して左側に目標オブジェクトがあるのか、右側に目標オブジェクトがあるのかを、知ることができる。なお、本実施形態では、ブロック画像２５２が固定されて、扇型画像２５３が動く構成としているが、本発明はこれに限定されるものではなく、扇型画像２５３や頭画像２５１を固定しつつ、ブロック画像２５２を頭の向きに応じて動かしてもよい。具体的には頭が左に向けば、ブロック画像２５２が右に回転する構成でもよい。

　評価部２１４は、動作検出部２１１が検出したリハビリテーション動作と、表示制御部２１２によって表示された目標オブジェクトが表わす目標位置とを比較して、ユーザ２２０のリハビリテーション能力を評価する。具体的には、動作検出部２１１が検出したリハビリテーション動作に対応して移動するアバターオブジェクト２４１と目標オブジェクト２４２とが重なったか否かを、３次元仮想空間中の位置の比較により決定する。

　これらが重なれば、一つのリハビリテーション動作をクリアしたものと評価し、ポイントを加算する。表示制御部２１２は、目標オブジェクト２４２を、奥行き方向について異なる位置（例えば３段階の位置）に出現させることができる。評価部２１４は、それぞれ、異なるポイント（遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント）を付与する。

　更新部２１５は、積算されたポイントに応じて、目標課題を更新する。例えば、課題達成率（目標達成数／課題数）などを用いて目標課題を更新してもよい。

　タスクセットデータベース２１６は、複数のタスクのセットを格納している。タスクとは、ユーザが行なうべき１回のリハビリテーション動作を示す。具体的には、１つのタスクを表わす情報として、どの位置にどのような速度で、どのような大きさの目標オブジェクトを出現させたか、その際、アバターオブジェクトはどのような大きさだったかなどを格納している。タスクセットデータベース２１６は、そのような複数のタスクをどのような順番でユーザに提供するかを決めるタスクセットを格納している。

　例えば、病院毎のテンプレートとしてタスクセットを格納してもよいし、実行したタスクセットの履歴をユーザごとに格納してもよい。リハビリテーション支援装置２１０は、インターネットを介して他のリハビリテーション支援装置と通信可能に構成されていてもよく、その場合、１つのタスクセットを、同じユーザが複数の場所で実行することもできるし、様々なテンプレートを離れた複数のユーザ同士で共有することもできる。

　操作部２１７は、表示制御部２１２および表示制御部２１３での表示制御を操作するために設けられている。具体的には、操作部２１７は、図３Ａ～図３Ｇのように、オペレータ向けの操作画面３００を表示させる。ここで設定画面を表示するディスプレイは、リハビリテーション支援装置２１０に接続された外部ディスプレイでもよいし、リハビリテーション支援装置２１０に内蔵されたディスプレイでもよく、デバイスを問わない。操作画面３００は、ユーザ視野画面３０１と各種パラメータ設定画面３０２とスコア表示画面３０３と一時停止ボタン３０４と再センタボタン３０５と終了ボタン３０７とを含んでいる。図３Ａ～図３Ｇは、説明のために、実際のユーザ２２０の様子を表わした領域３０６を含んでいるが、操作画面３００は、領域３０６を含む必要は無い。

　ユーザ視野画面３０１は、ヘッドマウントディスプレイ２３３に実際に表示されている画像を表示している。ユーザ視野画面３０１の中には、仮想空間内の基準方向３１１が表示される。図２で説明したとおり、ユーザ視野画面３０１には、その中央部分（例えば－５０度～５０度の視野角範囲）にレーダスクリーン画像２５０が表示されている。そして、次に現われる目標オブジェクト２４２の位置が、仮想空間内の基準方向に対して、相対的にどちらの方向であるかを表わしている。この例では、ブロック画像２５２の着色位置により、仮想空間内の基準方向３１１に対して左方向の一番遠い位置に、目標オブジェクト２４２が現われることを示している。そして、扇型画像２５３の位置および頭画像２５１の向きにより、既にユーザは、左方向に向いていることが分かる。

　また、各種パラメータ設定画面３０２は、タスクを規定する複数のパラメータを設定するための画面である。操作部２１７は、各種パラメータ設定画面３０２に対する入力を、不図示の入力デバイスから受け付ける。入力デバイスは、マウスやキーボードでもよいし、タッチパネルでも良く、その技術構成を問わない。

　各種パラメータ設定画面３０２は、左右の目標オブジェクトの大きさを決める入力領域３２１と、アバターオブジェクト２４１の大きさを決める入力領域３２２と、目標オブジェクトの落下スピードを決める入力領域３２３と、次に現われる目標オブジェクトの位置を決める入力領域３２４とを含む。さらにホットキーによる目標オブジェクトの出現位置の操作を受け付けるか否かを設定するチェックボックス３２５を有している。

　入力領域３２１は、右と左のそれぞれにおいて、ユーザに目標オブジェクトの位置を見やすくするための視認用オブジェクトの半径（視認サイズ）と、アバターオブジェクト２４１と反応する目標オブジェクトの半径（評価サイズ）とを設定可能である。つまり、図３Ａの例では、ユーザには半径２０ｃｍのボールが見えているが、実際にはそのボールの中央に位置する半径１０ｃｍのボールにタッチしなければタスクを完了したことにならない。視認サイズが小さければ、ユーザは目標オブジェクトを見つけるのが困難になる。視認サイズを大きくすれば、ユーザは目標オブジェクトを見つけやすくなる。評価サイズを大きくすれば、アバターオブジェクト２４１のずれの許容量が大きくなり、評価サイズを小さくすれば、アバターオブジェクト２４１のずれの許容量が小さくなりよりシビアにリハビリテーション動作を評価できる。これらの視認サイズと評価サイズとを一致させることもできる。

　入力領域３２２では、アバターオブジェクト２４１のセンササイズ（センサオブジェクトのサイズ）を左右バラバラに設定できる。センササイズが大きければ、手の位置が目標オブジェクトから大きくずれていても、タスクを達成したことになるためリハビリテーション動作の難易度は下がる。逆にセンササイズが小さければ、手を目標オブジェクトの中央領域（評価用サイズに依存）に、正確に動かさなければならないため、よりリハビリテーション動作の難易度が上がる。図３Ａの例では、センササイズは左右それぞれ１．７５ｃｍとなっている。

　入力領域３２３では、目標オブジェクト２４２が仮想空間内で動く速度を左右それぞれで規定できる。この例では７０ｃｍ／ｓの速度に設定されている。

　つまり、図３Ａの例では、ユーザ２２０は仮想空間の中で、１．７５ｃｍのセンサ部分を含むアバターオブジェクト（コントローラ）をつかんで、左側の遠い場所において７０ｃｍ／ｓの速度で落下する半径１０ｃｍの目標オブジェクト（ボール）に接触させることがタスクとなる。

　入力領域３２４は、レーダスクリーン画像２５０を拡大した形状となっている。チェックボックス３２５がチェックされているので、入力領域３２４における複数のブロックのいずれかをクリックまたはタップする操作が行なわれた場合に、操作が行なわれたブロックの位置に対応する仮想空間内の位置に、目標オブジェクト２４２を発生させる。

　一方、スコア表示画面３０３は、レーダスクリーン拡大画像３３１と、スコアリスト３３２を含む。レーダスクリーン拡大画像３３１は、ヘッドマウントディスプレイ２３３に表示されたレーダスクリーン画像２５０を拡大したものであり、ユーザの動きと目標オブジェクト２４２が次に出現する位置に応じてリアルタイムに変化する。

　スコアリスト３３２は、どの位置におけるタスクの合計回数および、そのタスクを何回達成したかを示す点数が示されている。点数は分数様に表記してもよいし、パーセント表示でも、またはそれらの組み合わせ等でもよい。評価部２１４は、１つのタスクセットで決められた一連のリハビリテーション動作の後、このスコアリスト３３２の値を用いて、リハビリテーション評価ポイントを導き出す。

　このとき、評価部２１４は、目標オブジェクトの出現位置、アバターオブジェクト２４１によるタッチ精度、連続達成回数、によってポイントに重み付けをする。本実施形態では落下スピードやタスク間隔は重み付けの材料に入れていない。これは、必ずしも運動強度がスピードに依存しないという事実に基づいており、さらに、事故の防止などの観点からも、ユーザを焦らせる要素を排除している。

　一時停止ボタン３０４は、一連のリハビリテーション動作を一時停止するためのボタンである。終了ボタン３０７は、一連のリハビリテーション動作を終了させるボタンである。

　再センタボタン３０５は、ユーザ２２０の位置に合わせて仮想空間を再構築するための再構築指示をオペレータから受け付けるボタンである。再センタボタン３０５が操作されると、表示制御部２１２は、その瞬間のヘッドマウントディスプレイ２３３の位置を原点とし、その瞬間のヘッドマウントディスプレイ２３３の向きを基準方向とする仮想空間を再構築する。

　図３Ｂは、図３Ａのユーザ視野画面３０１に目標オブジェクト２４２が出現した状態を示している。この状態で、領域３０６に示されているようにユーザ２２０が左腕を伸ばすと、ユーザ視野画面３０１に、アバターオブジェクト２４１が現われる。目標オブジェクト２４２の周囲には、目標オブジェクト２４２の視認性をよくするための視認用オブジェクト３１２が表示されている。ここでは視認用オブジェクト３１２はドーナツ形状であるが、本願発明はこれに限定されず、目標オブジェクトから放射状に延びた線や矢印などでもよい。入力領域３２１で設定した視認サイズとは、このドーナツ形状の視認用オブジェクト３１２の半径を示している。

　図３Ｃは、図３Ｂの目標オブジェクト２４２がさらに下降して、アバターオブジェクト２４１と触れる瞬間のユーザ視野画面３０１を示している。この時点でアバターオブジェクト２４１と視認用オブジェクト３１２は触れているが、この時点では、目標オブジェクト２４２は消滅せず、タスク達成とはならない（一定の点数は入りgood評価される）。目標オブジェクト２４２にアバターオブジェクト２４１が触れて初めてタスク達成(perfect評価)となる。

　図３Ｄは、図３Ｃの目標オブジェクト２４２がさらに下降して、アバターオブジェクト２４１と触れ、目標オブジェクト２４２が消えた直後のユーザ視野画面３０１を示している。

　図３Ｅは、ユーザは仮想空間の中で、１．７５ｃｍのセンサ部分を含むアバターオブジェクト（コントローラ）をつかんで、ユーザから見て右側の遠い場所において７０ｃｍ／ｓの速度で落下する半径１０ｃｍの目標オブジェクト（ボール）に接触させることをタスクとする操作画面３００を示している。

　図３Ｆは、右側の目標オブジェクトのサイズを３ｃｍに設定変更した一方で、センササイズを１０ｃｍに設定変更した操作画面３００を示している。センササイズが１０ｃｍと大きいため、アバターオブジェクト２４１からセンサオブジェクト３１３がはみ出して視認できる。ユーザは仮想空間の中で、１０ｃｍのセンサオブジェクト３１３を含むアバターオブジェクト（コントローラ）をつかんで、ユーザから見て右側の遠い場所において２０ｃｍ／ｓの速度で落下する半径３ｃｍの目標オブジェクト（ボール）に接触させることをタスクとする。

　図３Ｇは、右側の目標オブジェクトのサイズを３０ｃｍに設定変更した一方で、センササイズを１０ｃｍに設定変更した操作画面３００を示している。ユーザは仮想空間の中で、１０ｃｍのセンサオブジェクト３１３を含むアバターオブジェクト（コントローラ）をつかんで、ユーザから見て右側の遠い場所において２０ｃｍ／ｓの速度で落下する半径３０ｃｍの目標オブジェクト（ボール）に接触させることをタスクとする。

　図４に示すように、背景画像として、実際の風景を撮像して得た風景映像（例えばニューヨークの町並みを撮影した動画）を表示してもよい。風景映像としては、リハビリ施設の周囲の道路の映像を用いても良く、外国の映像を用いてもよい。異国を散歩している気分にさせたり、身近な場所を散歩している気分にさせたりすることができる。風景映像を重畳することで、患者を楽しませつつ、情報量が多い中でのトレーニングを実現することができる。

　図５は、リハビリテーション支援装置２１０における処理の流れを示すフローチャートである。

　ステップＳ５０１において、キャリブレーション処理として、リハビリテーション動作の目標をユーザに合わせて初期化する。具体的には、各患者に最初にキャリブレーションとして行動可能範囲の作業を行ってもらい、それを初期値に設定した上で目標をユーザに合わせて初期化する。

　次に、ステップＳ５０３において、タスクを開始する。具体的にはオペレータが、一つ一つのタスクをリアルタイムで指定していく方法のほか、タスクセットデータベースから、テンプレートと呼ばれるタスクセットを読出して、あらかじめ設定された複数のタスクから順番にタスク要求（つまり表示制御部２１２による目標オブジェクトの表示）を行なってもよい。

　ステップＳ５０５において、タスクをクリアしたか判定し、クリアすれば、そのクリアの程度（perfectかgoodか）に応じて、点数を記録する
　ステップＳ５０７において、タスクセットのタスクが全て終了したか、あるいはオペレータが終了ボタン３０７を押したかを判定する。

　終了でなければ、ステップＳ５０３に戻り、次のタスクを開始する。終了であれば、ステップＳ５１１に進み、タスクごとの点数に条件による重み付けをした上で集計して、累計ポイントを算出する。

　ステップＳ５０７では、点数の変化などからユーザの疲労度を算出して、疲労度が所定の閾値を超えれば、「停止条件」として処理を自動終了させてもよい。

　（デュアルタスクについて）
　健常者は、普段の日常で「話をしながら歩く」など２つ以上のことを同時に行っている。この様な「２つのことを同時に行う能力」は加齢とともに衰えてくる。例えば「歩行中に話しかけられると、足を止めてしまう」などといったことが起こる。高齢者が転倒する原因は、「運動機能が低下していること」だけではなく、この様な「２つのことを同時に行う能力の低下」が関与していると考えられる。実際に、リハビリテーションにより十分に運動機能が回復したと判断されても、帰宅後に転倒してしまう高齢者は大勢いる。これは、リハビリテーション動作に集中できる環境・条件を整えた状態でリハビリテーションを行なっていることが一つの要因である。つまり、生活環境では、そのように動作に集中できない要因、例えば見晴らしが悪い、障害物が存在する、会話に意識が向いている、といった条件下での動作であることが多いからである。

　そこで、注意を分散させるようなリハビリテーションを行なうことが重要と考えられ、具体的にデュアルタスクを与えてトレーニングすることが望ましい。このようなデュアルタスクトレーニングは、高齢者の転倒のみならず、認知症の予防にも有効なプログラムである。

　デュアルタスクトレーニングには、認知課題と運動課題を組み合わせたトレーニングの他、２種類の運動課題を組み合わせたトレーニングも含まれる。

　上記のように図３Ａ～図３Ｇで説明したタスクは、レーダスクリーン画像で、次の目標オブジェクトの位置を確認し（認知課題）、その位置にタイミング良く身体を向けて手を伸ばす（運動課題）必要があるため、認知＋運動のデュアルタスクとなっている。

　他の認知課題＋運動課題としては、１００から１ずつ引き算をしながら手を伸ばすなどのトレーニングや、コップに入った水を溢さないように手を伸ばすなどのトレーニングが挙げられる。

　評価部２１４は、単純な運動に比べてデュアルタスク運動検査で２０％程度評価が下がるような場合は、デュアルタスクを繰り返すように表示制御部２１２に通知する。

　（他のデュアルタスクトレーニング例）
　図６に示すように、背景画面に質問画像（例えば、かけ算）を重畳表示したり、音声で質問したりして、複数の目標オブジェクトのうち、答えが表示された目標オブジェクトの取得を高く評価してもよい。背景画面にグー・チョキ・パーのいずれかを表示し、それに勝つマークが表示されたオブジェクトの回収を要求してもよい。このような選択式の課題＋運動課題は、より高度な認知機能を要求するデュアルタスクトレーニングとなる。

　さらには、単にオブジェクトに数字を表示させ、数字の大きいオブジェクトの取得のみを評価してもよい。

　評価部２１４は、シングルタスクの点数とデュアルタスクの点数とを比較し、その点差を用いて認知機能の評価を行なってもよい。

　２つの運動機能を同時に要求するデュアルタスクトレーニングとしては、例えば２つのフットペダルを用意し、いずれかのフットペダルを踏んでいるときのみ、目標オブジェクトの回収が可能となっている構成でもよい。ユーザは、右からの目標オブジェクトに対しては、右足でフットペダルを踏みつつ、右手を伸ばさなければならないため、手足を連動させる、２重の運動機能が要求される。他にも、オブジェクトを回収する側のアバターオブジェクトとは逆側のアバターオブジェクトを常に指定された場所に触れさせることを要求するといったことが考えられる。

　以上、本実施形態によれば、レーダスクリーン画像によって、ユーザが頭を向けるべき方向があらかじめ認識できるため、視野が狭くなっても、内耳情報に混乱を生じさせず、ＶＲ酔いを防止できる。すなわちヘッドマウントディスプレイを用いたリハビリテーション中において、ユーザにとって快適なリハビリテーションを提供することができる。

　なお、次のオブジェクトの位置を立体音声を利用して報知してもよい。

　なお、目標オブジェクトは垂直落下とは限らず、水平に向かってくるターゲットにタッチする構成でもよい。

　［第３実施形態］
　次に本発明の第３実施形態に係るリハビリテーション支援装置について、図７～図９を用いて説明する。図７～図９は、リハビリテーション支援装置の操作画面７００、８００、９００を示す図である。本実施形態に係るリハビリテーション支援装置は、上記第２実施形態と比べると、操作画面のレイアウトが異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

　図７は、オペレータによるマニュアル操作に基づいてタスクを生成してユーザに提供するための操作画面７００を示す図である。ユーザ視野画面３０１、再センタボタン３０５などおよびその内容は図３Ａで説明した画面と同じである。

　操作画面７００は、左側に、過去に出現させた目標オブジェクトの位置およびその達成回数（達成率）を示すスコア表示領域７３２と、各種パラメータ設定領域７２１と、タスク履歴表示領域７４１と、を含む。さらに、操作画面７００は、次に現われる目標オブジェクトの位置を決める入力領域７２４と、ホットキーによる目標オブジェクトの出現位置の操作を受け付けるか否かを設定するチェックボックス７２５とを有している。

　図８は、タスクセットデータベース２１６から読出したタスクセットをユーザに実行させる場合の操作画面８００を示す図である。ユーザ視野画面３０１、再センタボタン３０５などおよびその内容は図３Ａで説明した画面と同じである。

　操作画面８００は、各種パラメータ設定領域を有しておらず、タスク履歴表示領域８４１と、過去に出現させた目標オブジェクトの位置およびその達成回数（達成率）を示すスコア表示領域８３２と、今後発生するタスクリスト表示領域８３３と、を含む。

　図９は、タスクセットデータベース２１６に格納されたタスクセットの内容表示および編集画面９００の一例を示す図である。図９の画面では、３８個のタスクからなるタスクセット９０１が表示されている。

　タスクセット９０１に含まれる１つ一つのタスクは、発生時間９１１、タスク間隔９１２、タスク位置９１３、タスク角度９１４、タスク距離９１５、スピード９１６、パーフェクト判定基準９１７、グッド判定基準９１８、キャッチ判定基準９１９のパラメータを有している。

　図９は、Ｎｏ．２のタスクのパラメータを編集しようとしている状態を示している。編集後に、保存ボタン９０２を選択すれば、タスクセットデータベース２１６のタスクセットが更新される。

　集計データ表示領域９０３には、合計プレイ時間や、左手および右手のタスクの合計数が表示される。

　新規タスク登録領域９０４では、各種のパラメータを設定した新規のタスクをタスクセット９０１に追加することができる。出現位置やスピードなどのパラメータを全て設定して新規登録ボタン９４１を選択すれば、上部のタスクセット９０１に一行追加される。ここではＮｏ．３９のタスクとして登録される。
　以上のように、本実施形態では、より操作性がよく、ユーザフレンドリーなリハビリテーション支援装置を提供することができる。

　［他の実施形態］
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範疇で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現するリハビリテーション支援プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

　この出願は、２０１９年１月７日に出願された日本出願特願２０１９－０００９０４と２０１９年４月２６日に出願された日本出願特願２０１９－０８５５８５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

　ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出部と、
　前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出部で検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第１表示制御部と、
　前記目標オブジェクトの位置を報知するための報知画像を前記ヘッドマウントディスプレイに表示させる第２表示制御部と、
　を備えたリハビリテーション支援装置。
　前記報知画像は、前記目標オブジェクトの位置が、前記仮想空間内の基準方向に対して、相対的にどちらの方向であるかを示すレーダスクリーン画像である請求項１に記載のリハビリテーション支援装置。
　前記報知画像は、前記目標オブジェクトの位置が、前記ユーザの頭の向きに対して、相対的にどちらの方向であるかを示すレーダスクリーン画像である請求項１または２に記載のリハビリテーション支援装置。
　前記第２表示制御部は、前記ユーザの頭の向きにかかわらず、前記報知画像を前記ヘッドマウントディスプレイの表示画面の中央部分に表示させる請求項１、２または３に記載のリハビリテーション支援装置。
　前記報知画像は、
　前記ユーザの視野を示す視野領域画像と前記目標オブジェクトの位置を示す目標位置画像とを含む請求項１乃至４のいずれか１項に記載のリハビリテーション支援装置。
　前記報知画像は、
　上方から見た前記ユーザの頭の向きを示す頭画像と、前記目標オブジェクトの位置を示す目標位置画像とを含む請求項１乃至５のいずれか１項に記載のリハビリテーション支援装置。
　前記報知画像は、
　前記ユーザの周囲を複数のブロックに分割したブロック画像を含む請求項１乃至６のいずれか１項に記載のリハビリテーション支援装置。
　前記第１表示制御部および前記第２表示制御部での表示制御をオペレータが操作するための操作部をさらに有し、
　前記操作部は、前記オペレータ向けに、前記報知画像と同様の画像を含む操作画面を表示させる請求項１乃至７のいずれか１項に記載のリハビリテーション支援装置。
　前記第１表示制御部は、
　前記操作画面中の前記報知画像に対して所定の操作が行なわれた場合に、前記操作が行なわれた位置に対応する仮想空間内の位置に、前記目標オブジェクトを発生させる請求項８に記載のリハビリテーション支援装置。
　前記操作部は、前記ユーザの位置に合わせて前記仮想空間を再構築するための再構築指示を前記オペレータから受け付け、
　前記第１表示制御部は、前記再構築指示に応じて、前記再構築指示を受けた時点での前記ヘッドマウントディスプレイの位置を基準にして前記仮想空間を再構築する請求項８または９に記載のリハビリテーション支援装置。
　ヘッドマウントディスプレイと、
　ユーザの動きを検出するためのセンサと、
　前記ヘッドマウントディスプレイおよび前記センサとの間で情報のやり取りを行なうリハビリテーション支援装置と、
　を備えたリハビリテーション支援システムであって、
　前記リハビリテーション支援装置は、
　ユーザに視認させる目標オブジェクトを仮想空間内に生成し、ユーザが装着したヘッドマウントディスプレイに表示させる第１表示制御部と、
　前記目標オブジェクトの位置を報知するための報知画像を前記ヘッドマウントディスプレイに表示させる第２表示制御部と、
　前記センサが捉えた前記ユーザの動きと、前記目標オブジェクトが表わす目標位置とを比較して、前記ユーザの能力を評価する評価部と、
　を備えたリハビリテーション支援システム。
　ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出ステップと、
　前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出ステップで検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第１表示制御ステップと、
　前記目標オブジェクトの位置を報知するための報知画像を前記ヘッドマウントディスプレイに表示させる第２表示制御ステップと、
　を含むリハビリテーション支援方法。
　ヘッドマウントディスプレイを装着したユーザの頭の向きを検出する検出ステップと、
　前記ユーザに視認させるリハビリテーション用の目標オブジェクトを仮想空間内に生成し、前記検出ステップで検出した前記ユーザの頭の向きに応じて、前記ヘッドマウントディスプレイに表示させる第１表示制御ステップと、
　前記目標オブジェクトの位置を報知するための報知画像を前記ヘッドマウントディスプレイに表示させる第２表示制御ステップと、
　をコンピュータに実行させるリハビリテーション支援プログラム。