JP7442774B1

JP7442774B1 - リハビリ支援システム

Info

Publication number: JP7442774B1
Application number: JP2023113941A
Authority: JP
Inventors: 規泰小熊; 服部　憲明; 博丸山; 和彦上田; 良介城戸; 宏範乙宗
Original assignee: Toyama University
Current assignee: Toyama University
Priority date: 2023-07-11
Filing date: 2023-07-11
Publication date: 2024-03-05
Anticipated expiration: 2043-07-11

Abstract

【課題】身近な物を用いて身体に物理的な負荷の付与等ができ、安全性を考慮したリハビリ支援システムの提供を目的とする。【解決手段】ＭＲ画像を用いたリハビリ支援システムであって、ＭＲ画像を生成表示させる画像生成装置と、前記ＭＲ画像の少なくとも一部を対象物上に投影制御するためのマーカーとを備える。【選択図】図１

Description

本発明は、リハビリ支援システムに係る。

運動機能のリハビリテーション（以下リハビリという）は、特定の施設などで医師や理学療法士、作業療法士等の指導の下、徒手的に実施され、リハビリ対象者に負荷の付与や運動の補助等をするためにリハビリ用機器が用いられてきた。
しかし、リハビリは意欲の維持が難しく、昨今の感染症対策下では、特定の施設に赴くことや機器の頻繁な使用も難しくなっている。

特許文献１、２には、仮想画像を用いて、高次脳機能障害のリハビリを行う装置などが提案されている。
仮想画像を用いることで、リハビリを楽しみながら取り組める環境が整備しやすく、在宅等での遠隔地でのリハビリも実現しやすくなる。
しかし、運動機能のリハビリのために、身体に物理的な負荷の付与等をする専用機器を個人などで備えることは容易でなく、医療従事者などが考慮してきた安全性は、仮想画像を用いたリハビリの場合にも重要である。

特許第７０２９７１７号公報特許第６７６８２３１号公報

本発明は、身近な物を用いて身体に物理的な負荷の付与等ができ、安全性を考慮したリハビリ支援システムの提供を目的とする。

本発明に係るリハビリ支援システムは、ＭＲ画像を用いたリハビリ支援システムであって、ＭＲ画像を生成表示させる画像生成装置と、前記ＭＲ画像の少なくとも一部を対象物上に投影制御するためのマーカーとを備える。
対象物とは身近な物をいい、安全性の観点からは移動しにくい、例えば、机、壁、床から選択される１種以上であってもよい。
リハビリ対象者であるユーザは、対象物上に投影したＭＲ画像に触れようと意識して、その身体部位が対象物に触れやすくなり、対象物に接触することで反発力が掛かって、これが物理的な負荷となる。

本発明において、前記画像生成装置は、前記対象物に触れようとするユーザの身体部位と該対象物上のマーカーの位置を測定する測定部と、前記ユーザの身体部位とマーカーの情報からオフセット情報を取得する取得部とを有するものであってもよい。
例えば、上方に位置する赤外線カメラで、下方に位置する手を検出する場合、手が机表面に近すぎると、手を机から確実に分離できないことが知られている（例えば、Grushko, S., et al., Analysis of Precision and Stability of Hand Tracking with Leap Motion Sensor, Sensors, 2020, 20(15), 4088.参照）。
赤外線ＬＥＤ等照射による反射光の計測で、対象物上の手などの位置を測定しようとすると、対象物からの不要な反射などで身体部位や対象物の距離測定に誤差が生じてしまい、これは気温や湿度、照明等の環境条件による影響も受ける。
また、角速度センサ、加速度センサ、磁気センサ等を使う場合にも、手などの相対位置は、ユーザの頭部に位置する各センサの絶対位置による影響を受け、誤差が少しずつ蓄積していくために補正が必要で、必ずしも測定精度が高いとはいえない。
しかし、繰返し実施するリハビリにおいて、安全性を考慮した上で対象物から適切な反発力を受けるためには、毎回対象物の位置を正確に認識することが重要である。
そこで本発明は、対象物に触れようとするユーザの身体部位のほかに、対象物上のマーカーの位置を測定し、ユーザの身体部位とマーカーの各位置座標等を利用してオフセット情報を取得することで、より正確かつ簡便に対象物の位置を認識することにした。
マーカーは、例えば、反射率が低い素材であれば赤外線カメラを用いて位置を測定してもよく、複数の可視光線カメラで撮影した画像の視差から距離情報を得てもよい。

本発明において、前記画像生成装置は、前記ＭＲ画像を表示制御する表示制御部を有し、前記表示制御部はオフセット情報を利用するものであってもよい。
オフセット情報を利用することで、より正確に対象物上にＭＲ画像を投影できる。
また、前記画像生成装置は、前記ユーザの身体部位がＭＲ画像に触れたことを判定する判定部を有し、前記判定部はオフセット情報を利用してもよい。
これにより、ＭＲ画像に触れたことを精度よく判定でき、例えば、身体部位の可動距離の定量や、リハビリに対する評価精度も向上する。

本発明によれば、リハビリ専用の機器がなくても、身近な物を用いて身体に物理的な負荷の付与等ができ、ＭＲ画像を用いて楽しみながら、安全に運動機能のリハビリができ、在宅等での実施もしやすい。

一実施形態に係るリハビリ支援システムを示し、（ａ）は対象物が机、（ｂ）は対象物が壁の例である。画像生成装置の構成例を示すブロック図である。画像生成装置の処理例を示すフローチャートである。リハビリアプリ例１を用いたリハビリイメージ図を示す。リハビリアプリ例２を用いたリハビリイメージ図を示す。リハビリアプリ例３を用いたリハビリイメージ図を示す。リハビリアプリ例４を用いたリハビリイメージ図を示す。リハビリアプリ例５を用いたリハビリイメージ図を示す。リハビリアプリ例６を用いたリハビリイメージ図を示す。リハビリアプリ例７を用いたリハビリイメージ図を示す。

ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ、複合現実）画像を用いたリハビリ支援システムは、図１に示すようにＭＲ画像を生成表示させる画像生成装置１と、ＭＲ画像の少なくとも一部を対象物３上に投影制御するためのマーカー２を備える。

本発明に係るリハビリ支援システムは、特に運動機能のリハビリに用いられることが好ましい。
運動機能のリハビリは、例えば、筋力の低下した高齢者や、運動機能障害を有する中枢神経疾患（脳卒中やパーキンソン病等）、運動器疾患（脊髄損傷、関節疾患、腱断裂等）の患者などに有用である。
本明細書において「ユーザ」とは、以下、リハビリ対象者をいう。
ユーザを仮想空間に没入させるＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ、仮想現実）下では、現実空間からの視覚情報が遮断されてバランスを崩しやすく、ユーザがめまいや気分の悪さなど、いわゆるＶＲ酔いを生じやすいが、現実空間に２次元像又は３次元像を映し出すＭＲ下においては、ユーザの安全性に考慮したリハビリを実施しやすい。

本明細書において「身体部位」とは、後述する画像生成装置１の表示部１２を介して視認でき、検出部１３に認識される部位をいう。
例えば、ユーザの身体部位は、手指、手の平、手の甲、手首等であってもよい。
なお、リハビリ部位は、ユーザの身体部位と同じでも異なっていてもよい。
例えば、ユーザのリハビリ部位は、手指、手の平、手の甲、手首、前腕、肘、上腕、肩等、さらにこれらの組合わせであってもよい。
身体部位は、コントローラの把持や運動の妨げになるようなセンサ等の装着がないことで、手関節の掌屈・背屈、手指の集団屈曲・伸展、各指の屈曲・伸展がしやすく、肩関節や肘関節、前腕等のリハビリの際に、手指を伸展した状態で実施することもできる。
本明細書において、ユーザの身体部位の情報とは、ユーザの身体部位の位置情報のほかに、身体部位のサイズなどの基本情報を含んでいてもよい。

対象物３は、家庭にあるような身近な物であり、安全性の観点からは、移動しにくい机や壁、床等が好ましい。
例えば、図１（ａ）に示すように対象物を机３ａとし、ユーザは椅子やベッド、床などに座った状態でリハビリしてもよく、図１（ｂ）に示すように対象物を壁３ｂとして、椅子等に座った状態あるいは立った状態でリハビリしてもよい。
例えば、ユーザが右指に運動障害を有する場合に、机上に右前腕等を置いた状態で、動かせる左手で右指を補助してもよく、ユーザ自身が対象物３を利用して運動の補助をすることで、医療従事者等の補助者が近くにいなくても、安全にリハビリしやすい。

マーカー２は、画像生成装置１を用いて位置を検出できるものである。
例えば、１次元バーコード、２次元バーコード、ＮＦＣタグ、ＲＦＩＤタグ等のほか、対象物３に載置された状態で位置を測定可能であれば、家庭にあるような小物（例えば、ペン、付箋紙等）がマーカーとして機能してもよい。
図１（ａ）は、対象物３に薄い紙状やシート状、シール状のマーカー（例えば、２次元バーコード）２ａを載置した例であるが、スマートフォンなどの電子機器（画面）上に表示されるバーコード等をマーカーとしてもよい。
本明細書において、マーカーの情報とは、マーカーの位置情報のほかに、マーカーの種類やサイズ等の基本情報を含むことが好ましい。
後述するが、マーカーの位置情報と基本情報を利用することで、より対象物３の表面距離を正確に求められる。
また、図１（ａ）に示すように、クッション性や反発力等を調整したリハビリマット２ｂがマーカー機能を有してもよく、例えば、リハビリマット２ｂ上にバーコードが貼付等されていてもよい。
ここで、リハビリマット２ｂとは、「対象物３上に載せて、さらにその上でリハビリを実施するのに使用される物」をいい、安全性の観点からは、対象物３上から移動しにくい（例えば、裏面に滑り止めやシール等を備える）ことが好ましい。
なお、リハビリマット上でリハビリする場合には、「対象物上」とは「リハビリマット上」を指す。
別の例としては、ユーザの身体部位に転写材（例えば、転写シール、転写シート、インク等）を付着させ、対象物３上に転写材が触れることで、身体部位から対象物３に転写されるマーカー２であってもよい。

画像生成装置１は、ユーザの頭部に装着可能なヘッドマウントディスプレイ（ＭＲデバイス）であり、例えば、ＨｏｌｏＬｅｎｓ（登録商標）等であってもよい。
図２に示すように制御部１１、表示部１２、検出部１３、記憶部１４、通信部１５、音声入出力部１６を備え、本実施例は制御部１１に実装される機能として、測定部１７、取得部１８、表示制御部１９、判定部２０、提案部２１を備える例である。

制御部１１は、ＣＰＵやＧＰＵ等のプロセッサを含み、画像生成装置１全体の動作を制御する。

表示部１２は、透視可能な光透過性のディスプレイであり、例えば、ＨｏｌｏＬｅｎｓ（登録商標）における眼鏡型のディスプレイ等が挙げられる。

検出部１３は、可視光線カメラ、近赤外線カメラ、深度センサ（例えば、ＴｏＦ方式）、角度センサ、加速度センサ、地磁気センサ、温度センサ等を含み、ＭＲデバイスを装着したユーザの頭部の位置や動き、身体部位の位置や動き、マーカーの位置を検出する。
なお、計測したい空間を複数回移動する必要があり、時間の掛かる空間マッピング機能は、リハビリを実施するユーザの安全性や利便性等の観点からは使用しないことが好ましく、本実施例においては使用しない。
赤外線カメラ等によるハンドトラッキング機能のほかに、ユーザの瞳孔や虹彩の位置を検出するアイトラッキング機能を備えてもよく、例えば、ハンドトラッキングやアイトラッキングにより、画像生成装置１の操作、マーカーやユーザの身体部位の基本情報などが入力されてもよい。

記憶部１４は、プログラムやリハビリアプリ、マーカーの基本情報などを記憶するもので、例えば、後述する通信部１５を介して記憶部１４に新しいリハビリアプリが追加されてもよい。
また、リハビリ支援システムによるサービスをユーザが利用した利用履歴情報や、ユーザに合わせた設定情報等が記憶されてもよい。

通信部１５は、ネットワークに接続可能なもので、ネットワークを介して外部機器（例えば、サーバや端末装置（コンピュータ、スマートフォン等））との間でデータの送受信が可能である。
なお、マーカーやユーザの身体部位の基本情報等は外部機器を用いて入力されてもよく、ユーザ以外に補助者等が実施してもよい。
また、入力情報としては、ユーザの身長（腕の長さ、足の長さ等）や性別、年齢等のユーザ情報も挙げられる。

音声入出力部１６は、マイクやスピーカを含み、音声にて入力操作を行ってもよい。
リハビリアプリの開始音やユーザの動作に対するリアクションの音など、様々な音が出力されることが好ましい。

測定部１７は、検出部１３を利用して、対象物３に触れようとするユーザの身体部位の位置と、マーカー２の位置を測定する。
例えば、赤外線ＬＥＤ照射等による反射を利用する場合、身体部位の位置情報に誤差が生じやすいのは、検出部１３を備える画像生成装置１と対象物３との対面方向であり、これを「誤差方向」という。
図１（ａ）では、誤差方向はＺ軸（画像生成装置１と机３ａの上下）方向、図１（ｂ）では、Ｘ軸（画像生成装置１と壁３ｂの前後）方向である。
そこで、対象物３に触れようとするユーザの身体部位の３次元座標と、少なくとも対象物３上のマーカー２の誤差方向座標を測定することが好ましい。
図１（ａ）ではマーカー２の誤差方向座標（Ｚ_０）、図１（ｂ）では、誤差方向座標（Ｘ_０）である。
以下、ｔを時間として、ユーザの身体部位（例えば、指先や関節（ＤＩＰ関節、ＰＩＰ関節、ＭＰ関節、ＩＰ関節）、中手骨、手首等）の３次元座標を（Ｘｔ，Ｙｔ，Ｚｔ）、マーカー２の３次元座標を（Ｘ_０，Ｙ_０，Ｚ_０）と表記する。
また、便宜上、図１（ａ）の対象物が机３ａ、マーカー２の誤差方向座標（Ｚ_０）を例に説明するが、これに限定されるわけではない。

取得部１８は、ユーザの身体部位とマーカー２の情報から対象物３上にＭＲ画像を投影するためのオフセット情報を取得する。
ユーザの身体部位とマーカー２の各位置座標（各位置情報）を利用して、例えば、測定部１７で得られる対象物３に触れる人差し指のＭＰ関節のＺ座標（Ｚｔ）と、マーカー２の誤差方向座標（Ｚ_０）が、Ｚｔ＜Ｚ_０であれば「Ｚｔ＝０」、Ｚｔ＞Ｚ_０であれば「Ｚｔ－Ｚ_０＝ΔＺ」がオフセットとなる。
なお、誤差方向がＸ軸方向であればＸｔ－Ｘ_０＝ΔＸと、Ｙ軸方向であればＹｔ－Ｙ_０＝ΔＹと表記できる。
また、オフセット情報にマーカーの基本情報が含まれてもよい。
マーカー２（例えば、リハビリマット）上でリハビリを実施しない場合には、対象物３の表面距離をより正確に求めるために、マーカーの基本情報のうち、マーカーの誤差方向の寸法（図１（ａ）におけるＺ軸方向の寸法（以下Ｚ幅という））をオフセットに含めることができる。
この場合、Ｚｔ＜Ｚ_０であれば「マーカーのＺ幅」、Ｚｔ＞Ｚ_０であれば「ΔＺ＋マーカーのＺ幅」がオフセットとなってもよい。

表示制御部１９は、オフセット情報に基づいて表示部１２にＭＲ画像を表示制御する。
例えば、Ｚｔ＜Ｚ_０であればＺｔ＝０とし、Ｚｔ＞Ｚ_０であればΔＺを差分することで、ＭＲ画像のＺ座標（誤差方向座標）が決まる。
また、Ｚｔ＞Ｚ_０であればΔＺを差分し、さらにマーカー２のＺ幅を差分すれば、より対象物３の表面上に沿った表示制御が可能となる。
なお、「ＭＲ画像」とは、ほぼ対象物３の表面上に沿って投影される対象オブジェクトＴのほかに、補助オブジェクトを含んでもよい。
補助オブジェクトとしては、例えば、リハビリの指示や時間、スコア等の指示オブジェクト、リハビリ部位の動作方向を制限する障害オブジェクトＤ、ゴール地点やリハビリ部位の動作エリアとなるエリアオブジェクトＥ、マーカー２に沿って投影されるマーカー用オブジェクト、ユーザの身体部位に沿って投影される身体部位用オブジェクトＢ等が挙げられる。
例えば、マーカー２の３次元座標（Ｘ_０，Ｙ_０，Ｚ_０）測定後に、マーカー２に重ねるようにマーカー用オブジェクトを投影してもよい。
また、ユーザの身体部位（例えば、指先、関節、中手骨、手首等）に重ねるように身体部位用オブジェクトＢを表示してもよく、その表示サイズがオフセット情報に基づいて調整されてもよい。
なお、対象オブジェクトＴは、ユーザがリハビリ部位を動かす目標となることが好ましく、表示制御部１９は、検出部１３で取得したトラッキング情報を用いて、ユーザの頭部の向きに応じたＭＲ画像を表示制御できる。

判定部２０は、オフセット情報に基づいてユーザの身体部位がＭＲ画像（特に、対象オブジェクトＴ）に触れたことを判定する。
対象オブジェクトＴは、ほぼマーカー２の表面上に沿って投影される場合、そのＺ幅は（Ｚtop－Ｚ_０）と表現でき、ほぼ対象物３の表面上に沿って投影される場合には、｛Ｚtop－（Ｚ_０＋マーカーのＺ幅）｝と表現できる。
例えば、対象オブジェクトＴのＺ幅が（Ｚtop－Ｚ_０）で、対象オブジェクトＴに向かって動かした人指し指のＭＰ関節のＺ座標（Ｚｔ）が、Ｚｔ＜Ｚ_０であれば「Ｚｔ＝０」として、Ｚｔ＞Ｚ_０であれば「Ｚｔ－Ｚ_０＝ΔＺ＜Ｚtop」で、対象オブジェクトＴのＺ軸寸法内に人指し指のＭＰ関節が位置していることになる。
上記Ｚ座標の情報に、Ｘ、Ｙ座標の情報も合わせることで、対象オブジェクトＴに身体部位が触れたことを判定できる。
オフセット情報を利用することで、より正確に身体部位の可動距離を求めることができ、例えば、通信部１５を介して医療関係者等に情報を共有することで、リハビリの評価が定量的にしやすくなる。
例えば、身体部位のＺ座標（Ｚｔ）－ΔＺがＺ_０値におおよそ等しくなれば、対象物３に身体部位が接触したと判定することもできる。

提案部２１がユーザに対して、次のリハビリアプリを選択して提案してもよい。
リハビリ実行中に、例えば、指の付け根であるＭＰ関節のＺ座標（ＭＰＺｔ）がＺ_０値に近くなれば「指が伸びている」、Ｚ_０値から離れた状態が継続するようであれば、「指を伸ばすことが難しい可能性が高い」のように判断できる。
提案部２１はユーザのリハビリが急激に難しくならないように、例えば、Ｚ座標（ＭＰＺｔ）がＺ_０値に近くなるユーザには「指を伸ばすタイプのリハビリアプリ」を、Ｚ_０値から離れた状態が継続するユーザには、「指を伸ばさなくてもできるタイプのリハビリアプリ」を提案してもよい。

提案部２１よるリハビリアプリの選択のほかに、ユーザや補助者等が次のリハビリアプリを選択してもよい。
リハビリアプリの種類に特に制限はないが、例えば、「リハビリ動作」と「対象オブジェクトＴの動き」で分類される複数のリハビリアプリから選択してもよい。
「リハビリ動作」は身体部位を、例えば、「対象物３（対象オブジェクトＴ）に軽く触れさせる」、「摘まむあるいは弾くように対象物３上をスライドさせる」、「対象物３を叩くように誤差方向に移動させる」、「手首等を対象物３に触れさせながら回転させる」等が挙げられる。
「対象オブジェクトの動き」としては、例えば、「対象オブジェクトＴが所定位置に停止している」、「対象オブジェクトＴがユーザの身体部位に向かって移動する」、「対象オブジェクトＴがユーザの身体部位から離れるように移動する」、「対象オブジェクトＴがユーザの身体部位の動きによって出現する」、「対象オブジェクトＴがユーザの身体部位の動きによって移動させられる」等が挙げられる。

図３に、画像生成装置１の処理例をフローチャートで示す。
ステップＳ１で、ユーザの頭部位置（絶対位置）測定後にマーカー２の位置を測定する。
次に、ステップＳ２で、対象物３に触れようとするユーザの身体部位の位置を測定する。
この際、例えば、リハビリ部位が指や手の平、手の甲、手首等の場合には、対象物３に手首等を触れた状態で指の開閉等を、リハビリ部位が前腕、肘、上腕等の場合には、対象物３に手の平等が触れるように前後左右上下に動かして相対位置情報を蓄積してもよい。
対象物３上にＭＲ画像を投影するためのオフセット情報が取得される。
なお、マーカーやユーザの身体部位の基本情報の入力は、オフセット情報の取得前であれば、その実施のタイミングに制限はない。
また、身体部位の位置測定前に、ユーザや補助者等にリハビリ部位等を選択する画面が表示されてもよく、選択に合せて指示オブジェクトやリハビリ難易度（対象オブジェクトＴのサイズ、移動速度、移動方向、リハビリ時間等）のほか、リハビリアプリの選択が絞り込まれてもよい。
リハビリアプリ上のリハビリ開始指示を実行することで、リハビリが開始される。
ステップＳ３のリハビリ実行中、オフセット情報に基づいてＭＲ画像が表示され、特に対象オブジェクトＴに触れたことを判定しながら、繰返し対象オブジェクトＴの表示と判定が行われる。
この際、採点（スコア）表示がされていてもよい。
リハビリ終了後に、次回のリハビリとして、お勧めのリハビリアプリが提案されてもよく、この際、リハビリアプリの提案だけでなく、リハビリアプリ内で異なったリハビリ指示（例えば、「次は人指し先ではなく、小指で触れてください」等）が提案されてもよい。

以下、具体的なリハビリアプリの例を挙げて説明する。
リハビリアプリ例１～６（図４～図９）は対象物を机３ａとして、リハビリアプリ例７（図１０）は、対象物が壁３ｂの例として説明するが、これに限定されるわけではない。

図４に、リハビリアプリ例１を用いたリハビリイメージ図を示す。
例えば、リハビリ動作としては「対象物に軽く触れさせる」、対象オブジェクトの動きとしては「対象オブジェクトが所定位置に停止している」に分類されてもよい。
対象オブジェクトＴ１は、現実空間における机３ａに沿って投影される。
本実施例は、対象オブジェクトＴ１が、ボールやしゃぼん玉をイメージした画像（以下、バブルＴ１という）であるが、これに限定されるわけではない。
図４（ａ）～（ｃ）は、画像生成装置１を装着したユーザから見えている視界を示しており、机３ａに右前腕等を載せた状態で、動かせる左手で運動障害を有する右手を補助する例を示す。
例えば、右前腕等を机３ａに沿わせて移動させることで、左手で補助しやすく、図４（ｂ）に示すようにバブルＴ１に向かって左右方向に右手を動かし、指先等がバブルＴ１に触れたと判定部２０が判定することで、図４（ｃ）に示すようにバブルＴ１が消える。
繰返しバブルＴ１が表示され、時間内においてユーザはリハビリを行う。
なお、バブルＴ１は机３ａ上に投影される位置やサイズに特に制限はなく、リハビリ難易度等に対応して表示されてよい。

図５に、リハビリアプリ例２を用いたリハビリイメージ図を示す。
例えば、リハビリ動作としては「対象物に軽く触れさせる」、対象オブジェクトの動きとしては「対象オブジェクトがユーザの身体部位に向かって移動する」に分類される。
対象オブジェクトＴ２はボールの例であり、図５（ａ）～（ｃ）に示すように机３ａに沿ってユーザ側にボールＴ２が移動する。
ボールＴ２が、例えば、机３ａに沿って前方向からユーザに向かって移動してくることで、ユーザの身体部位はボールＴ２を受け止めるように移動が促される。
例えば、右手首に運動障害を有する場合に、右手首を机３ａ上に載せたまま、左手で補助して右手首を回転させるようにボールＴ２に手の甲等を触れさせてもよい。

図６に、リハビリアプリ例３を用いたリハビリイメージ図を示す。
例えば、リハビリ動作としては「対象物を叩くように誤差方向に移動させる」、対象オブジェクトの動きとしては「対象オブジェクトが所定位置に静止している」に分類される。
本実施例は、対象オブジェクトＴ３がピアノの例である。
図６（ａ）に示すように、机３ａに沿ってピアノＴ３が表示された後、いずれかの鍵盤の色が変化してもよい。
図６（ｂ）に示すように、例えば、右手の中指がリハビリ部位である場合、中指に重ねるように身体部位用オブジェクトＢ（例えば、指先Ｂ_ｔｉｐ、ＰＩＰ関節Ｂ_ＰＩＰ、ＭＰ関節Ｂ_ＭＰ）が表示されてもよい。
図６（ｃ）に示すように、対象物３を叩くように誤差方向（この場合は、上下（Ｚ軸）方向）に、リハビリ部位である中指の移動が促される。
例えば、対象オブジェクトであるピアノの鍵盤に触れたと判定部２０が判定した際に、音声入出力部１６から鍵盤の音が出力されてもよく、対象物３からの反発力のほかに聴覚も刺激されることで、ＭＲ画像であるピアノが現実空間にあるような感覚をユーザに与えやすい。

図７に、リハビリアプリ例４を用いたリハビリイメージ図を示す。
例えば、リハビリ動作としては「摘まむように対象物上をスライドさせる」、対象オブジェクトの動きとしては「対象オブジェクトがユーザの身体部位の動きによって移動させられる」に分類される。
本実施例は、エリアオブジェクトＥ及び対象オブジェクトであるボックスＴ４が、現実空間における机３ａに沿って投影されている。
机３ａに触れながら、エリアオブジェクトＥ内をスライドさせるように身体部位（対象オブェクトＴ４）を移動させるリハビリアプリであってもよいが、さらに上下方向にリハビリ部位（例えば、前腕等）を動かすために、厚み（Ｚ幅）が変動する障害オブジェクトＤを投影して前後左右上下の移動を促すアプリであってもよい。

図８に、リハビリアプリ例５を用いたリハビリイメージ図を示す。
例えば、リハビリ動作としては「弾くように対象物上をスライドさせる」、対象オブジェクトの動きとしては「対象オブジェクトがユーザの身体部位の動きによって出現する」に分類されてもよい。
本実施例は、図８（ａ）に示すように、ユーザの左手の親指と人指し指を机３ａに触れさせながら互いの指先同士を広げることで、図８（ｂ）に示すように、おおよそ指の間で机３ａに沿って対象オブジェクトＴ５が出現する例である。
図８（ｃ）に示すように、右手で対象オブジェクトＴ５を追うように触れることで、左手の移動でリハビリの難易度を自己調整できる。

図９に、リハビリアプリ例６を用いたリハビリイメージ図を示す。
例えば、リハビリ動作としては、「手首等を対象物に触れさせながら回転させる」、対象オブジェクトの動きとしては「対象オブジェクトがユーザの身体部位の動きによって移動させられる」に分類されてもよい。
本実施例は、エリアオブジェクトＥが机３ａに沿って投影されるが、筒状のような厚みがあるような画像であり、図９（ａ）に示すようにユーザが触れている対象オブジェクトＴ６をエリアオブジェクトＥ内に収めるように移動する例である。
図９の例では、ユーザは手首等を対象物３に触れさせながら回転することになり、手首等のリハビリに有用である。
なお、図９（ｃ）に示すようにエリアオブジェクトＥが消えた後に、リハビリアプリ例５のように、エリアオブジェクトＥや対象オブジェクトＴ６をユーザの身体部位の動きにより出現させてもよい。

図１０に、リハビリアプリ例７を用いたリハビリイメージ図を示す。
リハビリ動作としては「対象物に軽く触れさせる」、対象オブジェクトの動きとしては「対象オブジェクトがユーザの身体部位に向かって移動する」に分類される。
対象オブジェクトＴ７はコップの例であり、図１０（ａ）～（ｃ）に示すように現実空間における壁３ｂに沿ってコップＴ７がユーザ側に移動する。
例えば、コップ７が前後（Ｘ軸）方向には移動しないことで、ユーザは手の平等を壁３ｂに沿わせたまま前腕や上腕、肩等を上下左右に動かすことができる。

Claims

ＭＲ画像を用いたリハビリ支援システムであって、
ＭＲ画像を生成表示させる画像生成装置と、ユーザに物理的な負荷を付与するための対象物と、前記対象物上のマーカーとを備え、
前記画像生成装置は、前記対象物に触れるユーザの身体部位と該対象物上のマーカーの位置を測定する測定部と、前記ユーザの身体部位とマーカーの情報からオフセット情報を取得する取得部と、前記オフセット情報を利用して前記ＭＲ画像を表示制御する表示制御部と、前記オフセット情報を利用して前記ユーザの身体部位が前記対象物上に表示されたＭＲ画像に触れたことを判定する判定部とを有することを特徴とするリハビリ支援システム。
前記オフセット情報にマーカーの寸法が含まれることを特徴とする請求項１に記載のリハビリ支援システム。
前記対象物は机、壁、床から選択される１種以上であることを特徴とする請求項１または２に記載のリハビリ支援システム。
前記ＭＲ画像が前記対象物の表面上に沿って投影される対象オブジェクトのほかに、補助オブジェクトを含むことを特徴とする請求項１に記載のリハビリ支援システム。
前記補助オブジェクトがリハビリの指示、リハビリの時間、スコア、リハビリ部位の動作方向を制限する障害オブジェクト、ゴール地点やリハビリ部位の動作エリアとなるエリアオブジェクト、マーカーに沿って投影されるマーカー用オブジェクト、ユーザの身体部位に沿って投影される身体部位用オブジェクトから選択される１種以上であることを特徴とする請求項４に記載のリハビリ支援システム。