JP6969794B2 - Rehabilitation support system, rehabilitation support method and rehabilitation support program - Google Patents
Rehabilitation support system, rehabilitation support method and rehabilitation support program Download PDFInfo
- Publication number
- JP6969794B2 JP6969794B2 JP2018193342A JP2018193342A JP6969794B2 JP 6969794 B2 JP6969794 B2 JP 6969794B2 JP 2018193342 A JP2018193342 A JP 2018193342A JP 2018193342 A JP2018193342 A JP 2018193342A JP 6969794 B2 JP6969794 B2 JP 6969794B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- rehabilitation
- user
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 0 C(*1)*C2C1CCCC2 Chemical compound C(*1)*C2C1CCCC2 0.000 description 1
Images
Landscapes
- Rehabilitation Tools (AREA)
Description
本発明は、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラムに関する。 The present invention relates to a rehabilitation support system, a rehabilitation support method, and a rehabilitation support program.
上記技術分野において、特許文献1には、脳卒中等による片麻痺患者に対して行なわれるリハビリテーションを支援するシステムが開示されている。
In the above technical field,
しかしながら、上記文献に記載の技術では、視認性の観点から認知機能の低い患者に対して大きな目標を提示させた場合に運動距離と目標距離との乖離が大きくなるという問題があった。 However, the technique described in the above document has a problem that the difference between the exercise distance and the target distance becomes large when a large target is presented to a patient with low cognitive function from the viewpoint of visibility.
本発明の目的は、上述の課題を解決する技術を提供することにある。 An object of the present invention is to provide a technique for solving the above-mentioned problems.
上記目的を達成するため、本発明に係るリハビリテーション支援システムは、
ユーザの第1リハビリテーション動作を検出する動作検出手段と、
検出した前記第1リハビリテーション動作に応じて動くアバター画像と、前記第1リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像であって、その大きさを変更できる視認補助画像と、を表示させる表示制御手段と、
前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザの能力を評価する評価手段と、
を備え、
前記表示制御手段は、前記視認補助画像の中心近傍に前記目標画像を表示させる。
In order to achieve the above object, the rehabilitation support system according to the present invention is
Motion detection means for detecting the user's first rehabilitation motion,
An avatar image that moves according to the detected first rehabilitation motion, a target image that shows the target of the first rehabilitation motion, and a visual recognition auxiliary image that improves the visibility of the target image, and their sizes can be changed. A visual aid image, a display control means for displaying, and a display control means.
An evaluation means for evaluating the ability of the user by comparing the position of the avatar image with the target position represented by the target image.
Equipped with
The display control means causes the target image to be displayed in the vicinity of the center of the visual recognition auxiliary image .
上記目的を達成するため、本発明に係るリハビリテーション支援方法は、
リハビリテーション支援システムの動作検出部が、ユーザの第1リハビリテーション動作を検出する動作検出ステップと、
前記リハビリテーション支援システムの表示制御部が、検出した前記第1リハビリテーション動作に応じて動くアバター画像と、前記第1リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像であって、その大きさを変更できる視認補助画像と、を表示させる表示制御ステップと、
前記リハビリテーション支援システムの評価部が、前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザの能力を評価する評価ステップと、
を含み、
前記表示制御ステップでは、前記視認補助画像の中心近傍に前記目標画像を表示させる。
In order to achieve the above object, the rehabilitation support method according to the present invention is:
The motion detection step in which the motion detection unit of the rehabilitation support system detects the user's first rehabilitation motion, and
An avatar image that moves according to the first rehabilitation motion detected by the display control unit of the rehabilitation support system, a target image showing the target of the first rehabilitation motion, and a visual recognition auxiliary image that improves the visibility of the target image. A display control step for displaying a visual aid image whose size can be changed, and
An evaluation step in which the evaluation unit of the rehabilitation support system evaluates the ability of the user by comparing the position of the avatar image with the target position represented by the target image.
Only including,
In the display control step, the target image is displayed near the center of the visual recognition auxiliary image .
上記目的を達成するため、本発明に係るリハビリテーション支援プログラムは、
ユーザの第1リハビリテーション動作を検出する動作検出ステップと、
検出した前記第1リハビリテーション動作に応じて動くアバター画像と、前記第1リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像であって、その大きさを変更できる視認補助画像と、を表示させる表示制御ステップと、
前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザの能力を評価する評価ステップと、
をコンピュータに実行させるリハビリテーション支援プログラムであって、
前記表示制御ステップでは、前記視認補助画像の中心近傍に前記目標画像を表示させるリハビリテーション支援プログラム。
In order to achieve the above object, the rehabilitation support program according to the present invention is:
An operation detection step for detecting the user's first rehabilitation operation, and
An avatar image that moves according to the detected first rehabilitation motion, a target image that shows the target of the first rehabilitation motion, and a visual recognition auxiliary image that improves the visibility of the target image, and their sizes can be changed. A display control step to display a visual aid image, and
An evaluation step for evaluating the ability of the user by comparing the position of the avatar image with the target position represented by the target image.
Is a rehabilitation support program that lets a computer execute
In the display control step, a rehabilitation support program for displaying the target image near the center of the visual recognition assist image .
本発明によれば、リハビリテーションとして設定した目標距離と実際にユーザが運動する運動距離との乖離を抑制することができる。 According to the present invention, it is possible to suppress the discrepancy between the target distance set as rehabilitation and the exercise distance actually exercised by the user.
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。 Hereinafter, embodiments for carrying out the present invention will be described in detail exemplary with reference to the drawings. However, the configuration, numerical values, processing flow, functional elements, etc. described in the following embodiments are merely examples, and their modifications and changes are free, and the technical scope of the present invention is described below. It is not intended to be limited.
[第1実施形態]
本発明の第1実施形態としての目標物認識性向上システム100について、図1を用いて説明する。情報処理システム100は、ユーザ110に対して行われるリハビリテーションを支援するシステムである。
[First Embodiment]
The target object
図1に示すように、目標物認識性向上システム100は、動作検出部101、表示制御部102、評価部103および更新部104を含む。
As shown in FIG. 1, the target
動作検出部101は、ユーザ110の第1リハビリテーション動作を検出する。表示制御部102は、検出した第1リハビリテーション動作に応じて動くアバター画像と、第1リハビリテーション動作の目標を示す目標画像と、目標画像の視認性を向上させる少なくとも1つの視認補助画像と、を表示させる。評価部103は、第1リハビリテーション動作と、目標画像が表わす目標位置とを比較して、ユーザ110のリハビリテーション能力を評価する。更新部104は、評価手段による評価結果に応じて、目標位置を更新する。
The
本実施形態によれば、リハビリテーションとして設定した目標距離と実際にユーザが運動する運動距離との乖離を抑制することができる。 According to this embodiment, it is possible to suppress the discrepancy between the target distance set as rehabilitation and the exercise distance actually exercised by the user.
[前提技術1]
次に前提技術1に係るリハビリテーション支援システム200について、図2を用いて説明する。図2は、本実施形態に係るリハビリテーション支援システムの構成を説明するための図である。
[Prerequisite technology 1]
Next, the
図2に示すように、リハビリテーション支援システム200は、リハビリテーション支援サーバ210と、2つのベースステーション231、232と、ヘッドマウントディスプレイ233と、2つのコントローラ234、235とを備える。なお、ヘッドマウントディスプレイ233としては、非透過タイプでも、ビデオシースルータイプでも、オプティカルシースルータイプでも構わない。
As shown in FIG. 2, the
また、リハビリテーション支援サーバ210は、動作検出部211と表示制御部212と評価部213と更新部214と音声入出力部215と、目標データベース216および背景画像+質問/回答データベース217を備える。
Further, the
動作検出部211は、ユーザ220が手に持つコントローラ234、235の位置およびヘッドマウントディスプレイ233の位置をベースステーション231、232を介して取得し、その位置の変化によりユーザ220のリハビリテーション動作を検出する。
The motion detection unit 211 acquires the position of the
表示制御部212は、検出したリハビリテーション動作に応じて動くアバター画像と、リハビリテーション動作の目標を示す目標画像と、をヘッドマウントディスプレイ233に表示させる。図3は、ヘッドマウントディスプレイ233に表示された画面301におけるアバター画像311、312の一例を示す図である。アバター画像311、312は、背景画像313に重畳表示される。この例ではアバター画像311、312は、コントローラ234、235と同じ形状をしており、コントローラ234、235の動きに合わせて画面301中を動く。また、ヘッドマウントディスプレイ233の位置や向きに応じて背景画像313は変化する。アバター画像311、312に表示されている通り、コントローラ234、235にはボタンが用意されており、各種設定操作など可能に構成されている。背景画像313として、ここでは、実際の風景を撮像して得た風景映像(例えばニューヨークの町並みを撮影した動画)を表示する。風景映像としては、リハビリ施設の周囲の道路の映像を用いても良く、異国を散歩している気分にさせたり、身近な場所を散歩している気分にさせたりすることができる。風景映像を重畳することで、患者を楽しませつつ、情報量が多い中でのトレーニングを実現することができる。
The
また、表示制御部212は、例えば、図4に示すように、ヘッドマウントディスプレイ233の画面401〜403において、背景画像313に重畳して、オブジェクト411を表示する。オブジェクト411は、ユーザ220の頭上方向から下方に向けて降下してきているように表示位置および大きさを徐々に変えて表示する。ユーザ220は、コントローラ234、235を動かして、画面中のアバター画像311を、オブジェクト411に近づける。アバター画像311がオブジェクト411にぶつかると、オブジェクト411は消滅する。
Further, for example, as shown in FIG. 4, the
評価部213は、動作検出部211が検出したリハビリテーション動作と、表示制御部212によって表示された目標画像が表わす目標位置とを比較して、ユーザのリハビリテーション能力を評価する。具体的には、動作検出部211が検出したリハビリテーション動作に対応して移動したアバター画像311と目標画像としてのオブジェクト411とが重なったか否かを、3次元仮想空間中の位置の比較により決定する。結果的に、これらが重なれば、一つのリハビリテーション動作をクリアしたものと評価し、ポイントを加算する。オブジェクト411の奥行き方向の位置については様々な段階(例えば3段階)のものが用意され、それぞれ、異なるポイント(遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント)が設定される。
The
更新部214は、積算されたポイントに応じて、目標課題を更新する。例えば、課題達成率(目標達成数/課題数)などを用いて目標課題を更新してもよい。
The
図5は、リハビリテーション支援サーバ210における処理の流れを示すフローチャートである。ステップS501において、キャリブレーション処理として、リハビリテーション動作の目標をユーザに合わせて初期化する。具体的には、各患者に最初にキャリブレーションとして行動可能範囲の作業を行ってもらい、それを初期値に設定した上で目標をユーザに合わせて初期化する。
FIG. 5 is a flowchart showing a processing flow in the
また、目標データベース216を参照して、ユーザの属性情報(例えば、運動選手なのか、パーキンソン病なのかなど)に応じた目標に設定する。例えば、怪我をしたスポーツ選手の場合には、怪我が悪化しない程度の初期値を設定し、パーキンソン病に罹患したユーザの場合には、病状の進行を緩やかにする程度の運動を初期値として設定する。さらに、各患者に最初に行動可能範囲の作業を行ってもらい、それを初期値に設定した上で目標をユーザに合わせて初期化する。
Further, the
次に、ステップS503において、動作検出部211で検出したコントローラ234、235の位置に応じて、アバター画像311、312を表示する。さらに、ステップS505において、設定された課題に応じた位置およびスピードでオブジェクト411を表示する。
Next, in step S503, the
ステップS507において、アバター画像311、312の動きと、オブジェクト411の動きを比較して、課題をクリアしたか判定する。課題がクリアされていない場合には、そのままステップS505に戻って、課題の難易度を変えることなく次のオブジェクトを表示する。
In step S507, the movement of the
課題がクリアされた場合にはステップS509に進み、累積ポイントや課題達成確率等を算出する。さらにステップS511に進み、累積ポイントや課題達成確率等を閾値Tと比較し、累積ポイントや課題達成確率等が所定の閾値Tを超えた場合にはステップS513に進んで課題の運動強度を更新する。累積ポイントや課題達成確率等が閾値Tに達しなかった場合にはステップS505に戻って、課題の難易度を変えることなく次のオブジェクトを表示する。 When the task is cleared, the process proceeds to step S509, and the cumulative points, the task achievement probability, and the like are calculated. Further, the process proceeds to step S511 to compare the cumulative points, the task achievement probability, etc. with the threshold value T, and if the cumulative points, the task achievement probability, etc. exceed a predetermined threshold value T, the process proceeds to step S513 to update the exercise intensity of the task. .. If the accumulated points, the task achievement probability, or the like do not reach the threshold value T, the process returns to step S505, and the next object is displayed without changing the difficulty level of the task.
例えば、近距離の達成度が80%(または10回等の回数でも可)を超えた場合、中距離のオブジェクトの表示頻度を高くする。中距離のオブジェクトの達成度が80%(または10回等の回数でも可)を超えた場合、遠距離のオブジェクトの表示頻度を高くする。 For example, when the achievement level of the short distance exceeds 80% (or the number of times such as 10 times is acceptable), the display frequency of the medium-distance object is increased. When the achievement level of the medium-distance object exceeds 80% (or the number of times such as 10 times is acceptable), the display frequency of the long-distance object is increased.
ここでの課題の更新についても、ユーザの属性(怪我をしたスポーツ選手なのか、パーキンソン病患者なのかなど)に応じて変更する。課題の更新方法としては、背景画像を切り替えるといった方法も考えられる。 The update of the task here will also be changed according to the user's attributes (whether it is an injured athlete or a Parkinson's disease patient, etc.). As a method of updating the task, a method of switching the background image can be considered.
課題を更新した後、ステップS515に進み、ユーザの疲労度を算出して、閾値Nと比較する。疲労度が所定の閾値を超えれば、「停止条件」として処理を終了する。例えば、(疲労度=1−最も近位のオブジェクトの回収率)と算出できる。あるいは(疲労度=1/目の動き)と算出してもよい。明らかに集中していない(全くオブジェクトを探していない、首を振らない等)場合には、それ以上リハビリテーションを継続しても意味がないので休憩することになる。さらには、腕を伸ばすときのスピードが落ちるのを検出(加速度)して、疲労度を算出してもよい。 After updating the task, the process proceeds to step S515 to calculate the degree of fatigue of the user and compare it with the threshold value N. If the degree of fatigue exceeds a predetermined threshold value, the process is terminated as a "stop condition". For example, it can be calculated as (fatigue degree = 1-recovery rate of the most proximal object). Alternatively, it may be calculated as (fatigue degree = 1 / eye movement). If you are clearly not focused (not looking for an object at all, do not shake your head, etc.), it makes no sense to continue rehabilitation anymore, so you will have to take a break. Furthermore, the degree of fatigue may be calculated by detecting (acceleration) that the speed at which the arm is extended decreases.
また、例えば、累積ポイントが所定の閾値を超えれば、図6の文字画像601に示すように、2つのコントローラ234、235のうち、左右いずれのコントローラでオブジェクト411にタッチすべきか(ここでは右)を指示する。これにより、文字を認識する認知機能が必要になる上に、動作の難易度も上がり、より高い運動機能が必要になる。つまり、認知機能と運動機能のデュアルタスク(Dual Task:二重課題)が要求される。
Further, for example, if the cumulative point exceeds a predetermined threshold value, as shown in the
なお、図6では、文字で指示を行なっているが、本発明はこれに限定されるものではなく、矢印や色、あるいは声で指示を行なってもよい。このように、本実施形態では、リハビリテーション動作の評価に応じて、その負荷を更新する。 Although the instruction is given by characters in FIG. 6, the present invention is not limited to this, and the instruction may be given by an arrow, a color, or a voice. As described above, in the present embodiment, the load is updated according to the evaluation of the rehabilitation operation.
(デュアルタスクについて)
健常者は、普段の日常で「話をしながら歩く」など2つ以上のことを同時に行っている。この様な「2つのことを同時に行う能力」は加齢とともに衰えてくる。例えば「歩行中に話しかけられると、足を止めてしまう」などといったことが起こる。高齢者が転倒する原因は、「運動機能が低下していること」だけではなく、この様な「2つのことを同時に行う能力の低下」が関与していると考えられる。実際に、リハビリテーションにより十分に運動機能が回復したと判断されても、帰宅後に転倒してしまう高齢者は大勢いる。これは、リハビリテーション動作に集中できる環境・条件を整えた状態でリハビリテーションを行なっていることが一つの要因である。つまり、生活環境では、そのように動作に集中できない要因、例えば見晴らしが悪い、障害物が存在する、会話に意識が向いている、といった条件下での動作であることが多いからである。
(About dual task)
A healthy person is doing two or more things at the same time, such as "walking while talking" in everyday life. Such "ability to do two things at the same time" declines with age. For example, "If you talk to me while walking, you will stop." It is considered that the cause of falls in the elderly is not only "decreased motor function" but also "decreased ability to do two things at the same time". In fact, there are many elderly people who fall after returning home, even if it is judged that their motor function has been sufficiently restored by rehabilitation. One of the reasons for this is that rehabilitation is performed in a state where the environment and conditions are prepared so that the person can concentrate on the rehabilitation operation. In other words, in the living environment, it is often the movement under such conditions that it is not possible to concentrate on the movement, for example, the view is poor, there is an obstacle, or the person is conscious of conversation.
そこで、注意を分散させるようなリハビリテーションを行なうことが重要と考えられ、具体的にデュアルタスクを与えてトレーニングすることが望ましい。このようなデュアルタスクトレーニングは、高齢者の転倒のみならず、認知症の予防にも有効なプログラムである。 Therefore, it is important to perform rehabilitation that disperses attention, and it is desirable to specifically give dual tasks for training. Such dual task training is an effective program not only for falls in the elderly but also for the prevention of dementia.
デュアルタスクトレーニングには、認知課題と運動課題を組み合わせたトレーニングの他、2種類の運動課題を組み合わせたトレーニングも含まれる。 Dual-task training includes training that combines cognitive tasks and exercise tasks, as well as training that combines two types of exercise tasks.
認知課題+運動課題としては、100から1ずつ引き算をしながら歩くなどのトレーニングが、運動課題+運動課題としては、コップに入った水を溢さないように歩くなどのトレーニングが挙げられる。 Examples of the cognitive task + exercise task include training such as walking while subtracting 1 from 100, and examples of the exercise task + exercise task include training such as walking so as not to overflow the water in the cup.
評価部213は、単純な歩行に比べてデュアルタスク歩行検査で歩行速度が20%程度遅延するような場合は、転倒リスクが高いと評価し、デュアルタスクを繰り返すように表示制御部212に通知する。
The
なお、「比較的移動能力が高い人」の方がよりデュアルタスクが有効となりやすい。例えば、屋内移動でも杖が手放せない高齢者となると、デュアルタスク能力よりもバランス能力(筋力・平衡感覚など)の強化のほうが、優先順位が高くなる。大まかな判断としては、要支援者はデュアルタスク能力が重要、要介護者はデュアルタスク能力以外のバランス能力が重要と表現できる。キャリブレーションの時系列変化を表示し、自分の運動範囲の改善を視覚的に表示する。 It should be noted that "people with relatively high mobility" are more likely to be effective in dual tasks. For example, for elderly people who cannot part with their canes even when moving indoors, strengthening their balance ability (muscle strength, sense of balance, etc.) has a higher priority than dual task ability. As a rough judgment, it can be said that the dual task ability is important for the person requiring support, and the balance ability other than the dual task ability is important for the care recipient. Display the time-series changes in calibration and visually display the improvement of your range of motion.
(ユーザ属性による設定変更)
通常の改善が見込める患者(骨折等の整形外科的疾患が対象で完全な改善が前提)に対しては、最もハードなリハビリテーション動作を設定し、改善を早める。
(Setting change by user attribute)
For patients who are expected to improve normally (for orthopedic diseases such as bone fractures and assume complete improvement), set the hardest rehabilitation movement to accelerate the improvement.
個々に応じて改善の程度が異なる患者(脳梗塞等では病変部位によって異なる形の麻痺が生じている患者)に対しては、ある程度まで課題の負荷を向上させるがあるレベルでその負荷の向上をストップする。 For patients with different degrees of improvement depending on the individual (patients with different forms of paralysis depending on the lesion site such as cerebral infarction), the load of the task is improved to some extent. Stop.
パーキンソン病等、原則的に機能が低下していく患者の場合は、常に現在の運動可能な状態の評価を定期的に評価することが有用である。 In the case of patients with Parkinson's disease, etc., whose function declines in principle, it is useful to always evaluate the current state of exercise on a regular basis.
(他のデュアルタスクトレーニング例)
図7は、他のデュアルタスクトレーニング用の画像例を示す図である。オブジェクトにハズレ(爆弾)を仕込むことにより、認知機能を要求する。または、図8に示すように、背景画面に質問画像(ここでは例としてかけ算)を重畳表示し、答えが表示されたオブジェクトの取得のみを評価してもよい。背景画面にグー・チョキ・パーのいずれかを表示し、それに勝つマークが表示されたオブジェクトの回収を要求してもよい。
(Other dual task training examples)
FIG. 7 is a diagram showing an example of an image for another dual task training. Cognitive function is required by charging an object with a loss (bomb). Alternatively, as shown in FIG. 8, a question image (here, multiplication as an example) may be superimposed and displayed on the background screen, and only the acquisition of the object in which the answer is displayed may be evaluated. You may display one of the Goo Choki Pars on the background screen and request the recovery of the object with the winning mark.
さらには、単にオブジェクトに数字を表示させ、数字の大きいオブジェクトの取得のみを評価してもよい。その他、背景画像313内に信号を表示させ、赤信号の時にオブジェクトを取ると評価部213は、ポイントをマイナスにしてもよい。
Furthermore, it is possible to simply display a number on the object and evaluate only the acquisition of the object having a large number. In addition, if a signal is displayed in the
本実施形態によれば、リハビリテーション動作の達成度(達成確率など)に応じて課題を更新するので、リハビリテーションの進み具合に応じた負荷をユーザに与えることができる。また、背景画像313を表示することにより、患者が楽しめるだけではなく、周囲に意識を向ける状況の中でリハビリテーションを行なわせることができ、現実世界に戻った際により安全な生活を実現できる。
According to the present embodiment, since the task is updated according to the degree of achievement (achievement probability, etc.) of the rehabilitation operation, it is possible to give the user a load according to the progress of the rehabilitation. Further, by displaying the
図9は、他のデュアルタスクトレーニング例を示す図である。音声入出力部215は、図9のように、背景画像に関する質問音声をヘッドホン901に対して出力し、ヘッドマウントディスプレイ233に設けられたマイク902を介して、質問に対する回答を取得する。評価部213は、音声情報として取得した回答に対して、音声認識処理を施して、あらかじめ用意された回答と比較し、その比較結果に応じて、ユーザのリハビリテーション能力を評価する。
FIG. 9 is a diagram showing another example of dual task training. As shown in FIG. 9, the audio input /
図10は、背景画像・質問/回答データベース217の内容の一例を示す図である。背景動画に対して、質問音声と解答とポイントとが、対応付けられて記憶されている。
FIG. 10 is a diagram showing an example of the contents of the background image / question /
ユーザの反応として、デュアルタスクではオブジェクトの回収率が下がるという結果が予想される。デュアルタスクを表示してもオブジェクトの回収達成率が異ならない、という結果をゴールとして期待する。シングルタスク(single task)時とデュアルタスク時とで、オブジェクトの回収率、またはオブジェクトへのリーチ率を比較し、一定の範囲に入るまで繰り返しトレーニングを行なう。 As a user reaction, it is expected that the dual task will reduce the object recovery rate. The goal is to expect the result that the collection achievement rate of the object does not differ even if the dual task is displayed. The object recovery rate or the reach rate to the object is compared between single task and dual task, and training is repeated until it falls within a certain range.
以上は運動機能と認知機能を同時に要求するデュアルタスクトレーニングだが、本発明はこれに限定されるものではなく、2つの運動機能を同時に要求するデュアルタスクトレーニングでもよい。 The above is dual task training that requires motor function and cognitive function at the same time, but the present invention is not limited to this, and dual task training that requires two motor functions at the same time may be used.
例えば、図11に示すように、飛んでくる物体1111をよけながらオブジェクト411を拾うことを要求してもよい。ヘッドマウントディスプレイ233に設けられたセンサの位置を検出することにより、物体1111をうまくよけたか否かを判定できる。2つのリハビリテーション動作の両方の達成ポイント(例えば達成率など)に基づいて、評価および課題の更新を行なえばよい。
For example, as shown in FIG. 11, it may be requested to pick up the
また、例えば、図12の画像1201に示すように、コントローラ234、235の動作に応じて動くアバター画像として、水の入ったコップ画像1211、1212を表示し、これらのコップ画像1211、1212を移動させて、オブジェクト411を回収してもよい。ただし、画像1202に示すようにコップ画像1221を傾けて水がこぼれた場合には、コップ画像1222でオブジェクト411を回収してもポイントを得ることはできない。画像1203のように、コップ画像1231、1232内の水をこぼすことなくオブジェクト411を回収したときのみ、ポイントを加算する。
Further, for example, as shown in
他にも、オブジェクトを回収する側のアバター画像とは逆側のアバター画像を常に指定された場所に触れさせることを要求するといったことが考えられる。コントローラ234、235にもうけられたボタンのうち、指定されたボタンを所定回数押しながらオブジェクトを回収することを要求してもよい。また、ユーザの足の動きを取得するセンサを設けた場合には、指定した足の動きを要求してもよい。
Another possibility is to require the avatar image on the opposite side of the avatar image on the side that collects the object to always touch the specified place. Of the buttons provided on the
[第2実施形態]
次に本発明の第2実施形態に係る目標物認識性向上システムについて、図13A乃至図17Bを用いて説明する。図13Aは、本実施形態に係る目標物認識性向上システムの前提技術2の動作の概略を説明する図である。図13Bは、本実施形態に係る目標物認識性向上システムの前提技術2の動作の概略を説明する図である。本実施形態に係る目標物認識性向上システムは、上記前提技術1と比べると、目標画像の認識性(例えば、視認性)を向上させる視認補助画像を表示する点で異なる。その他の構成および動作は、前提技術1と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
[Second Embodiment]
Next, the target object recognition improvement system according to the second embodiment of the present invention will be described with reference to FIGS. 13A to 17B. FIG. 13A is a diagram illustrating an outline of the operation of the
前提技術2においては、アバター画像1320の移動距離、すなわち、ユーザ220の運動距離1312は、基準1310とアバター画像1320のセンサ(アバター画像1320のヘッド部分)との間の距離により計測する。そして、ユーザ220が腕などを動かさなければならない距離である目標距離1311は、基準1310と目標画像としてのオブジェクト1330の基準線1331との間の距離に基づいて決定される。そして、ユーザ220は、リハビリテーション運動として、アバター画像1320を移動させてオブジェクト1330に近づける。
In the
しかしながら、図13Bに示したように、アバター画像1320が、オブジェクト1330の頂点1332に触れると、システムは、ユーザ220のリハビリテーション動作の一つが終了したと判断し、次の目標として新たなオブジェクト1330を表示する。
However, as shown in FIG. 13B, when the
システムの提供者側としては、リハビリテーション運動として、ユーザ220が腕を伸ばしきった時にオブジェクト1330にアバター画像1320が接触するようにしたい。しかしながら、オブジェクト1330の大きさが大きい(頂点と基準線1331との距離が大きい)と、オブジェクト1330の端にアバター画像1320が触れただけで、オブジェクト1330に接触したと判定される。そのため、ユーザ220は、当初想定していた距離だけ腕を動かすことができないため、期待されるリハビリテーションの効果を得ることが困難となる。
As a rehabilitation exercise, the system provider wants the
また、ユーザ220としても、腕を伸ばし切らないうちにオブジェクト1330にタッチすることができるので、リハビリテーション運動による達成感や満足感を十分に得ることができず、リハビリテーションに対する意欲が低下することもある。
Further, since the
この場合、実際にアバター画像1320が動いた距離である運動距離1312は、ユーザ220が本来動かさなければならない距離である目標距離1311に対して、乖離している。そのため、ユーザ220は、リハビリテーション開始前に設定した運動距離1312の運動をしていないこととなり、リハビリテーションにより得られる効果も期待した効果よりも減少してしまう。
In this case, the
例えば、オブジェクト1330の一辺の長さを20.0cm、アバター画像1320のセンサ部(アバター画像1320のヘッド部分)の直径1321を5.0cmとする。この場合、ユーザ220が、オブジェクト1330の基準線1331ではなく頂点1332にアバター画像1320を接触させると、目標距離1311と運動距離1312との間に10.0cm程度の誤差が生じる。
For example, the length of one side of the
そのため、ユーザ220は、リハビリテーション開始前に想定していた運動距離1312の分だけアバター画像1320を動かしていないので、ユーザ220が本来享受できたはずであるリハビリテーションの効果が減少してしまう。
Therefore, since the
ユーザ220が腕を伸ばし切った時にオブジェクト1330に触れられるように、オブジェクト1330を小さくすると、ユーザ220は、画面内でオブジェクト1330の位置を視認し難くなる。オブジェクト1330を視認することができなければ、リハビリテーションが成立しない。
If the
したがって、アバター画像1320のセンサ部(反応部分)をアバター画像1320のヘッド部分よりも小さな領域とする。これにより、目標距離1311と運動距離との間の乖離(誤差)をより小さくすることができる。
Therefore, the sensor portion (reaction portion) of the
図13Cは、本実施形態に係る目標物認識性向上システムの動作の概略を説明する図である。そこで、本実施形態においては、想定した目標距離1311とアバター画像1320による運動距離1312との間に乖離が生じないように、オブジェクト1330の中心部のグラデーションを濃くして反応部分とする。そして、オブジェクト1330の反応部分の周囲の部分のグラデーションを薄くする。つまり、図13Aおよび図13Bに示したオブジェクト1330の大きさを小さくし、その周りをオブジェクト1330よりも大きい視認補助画像1333で囲むようにする。すなわち、オブジェクト1330と視認補助画像1333とが重畳して表示されるようにしている。
FIG. 13C is a diagram illustrating an outline of the operation of the target object recognition improvement system according to the present embodiment. Therefore, in the present embodiment, the gradation at the center of the
ユーザ220から見れば、オブジェクト1330の大きさを小さくすると、オブジェクト1330が見難くなる(視認性が低下する)が、視認性の低下を補うために、小さくなったオブジェクト1330の周囲に視認補助画像1333を配置する。
From the user's point of view, if the size of the
例えば、オブジェクト1330の一辺の長さを5.0cm、視認補助画像1333の一辺の長さを20.0cm、アバター画像1320のセンサ部1322の直径を2.0cmとする。そうすると、目標距離1311と運動距離1312との誤差(乖離)は、2.0cm前後まで低下する。
For example, the length of one side of the
これにより、オブジェクト1330および視認補助画像1333のグラデーションの違いと大きさの違いとによるオブジェクト1330の視認性の低下を防止しつつ、目標距離1311と運動距離1312との乖離(誤差)を小さくすることができる。また、副次的な効果として、オブジェクト1330にアバター画像1320を接触させた時の体験度が上昇する。すなわち、ユーザ220にとって、オブジェクト1330に接触した時の感覚が鮮明になり、リハビリテーションの目標を達成できたことの喜びも上昇する。
As a result, the deviation (error) between the
図13Dは、本実施形態に係る目標物認識性向上システムにおける視認補助画像の配置位置を説明する図である。図13Cにおいては、目標画像としてのオブジェクト1330は、視認補助画像1333に包含されるように表示され、さらに、視認補助画像1333の中心近傍に配置されていた。
FIG. 13D is a diagram illustrating an arrangement position of a visual recognition auxiliary image in the target object recognition improvement system according to the present embodiment. In FIG. 13C, the
しかしながら、図13Dに示したように、オブジェクト1330は、視認補助画像1333の手前の下辺付近に配置してもよい。つまり、ユーザ220から見て手前側にオブジェクト1330を配置してもよい。このように、オブジェクト1330は、視認補助画像1333の中に入っているように表示されていれば、視認補助画像1333のどの位置に配置されてもよい。このように、オブジェクト1330の大きさを小さくして、目標距離1311と運動距離1312との乖離を小さくすると、オブジェクト1330の視認性が低下する。そのため、オブジェクト1330の視認性を向上させるために、オブジェクト1330の周囲にオブジェクト1330よりも大きな視認補助画像1333を表示させることにより、オブジェクト1330の視認性の低下を補う。なお、オブジェクト1330の視認性を向上させるための視認補助画像1333は、ここに示したような、立方体のオブジェクト1330の倍率を拡大した立方体には限定されない。
However, as shown in FIG. 13D, the
次に、図13E乃至図13Iを用いて視認補助画像1333の他の形状について説明する。図13Eは、本実施形態に係る目標物認識性向上システムにおける視認補助画像の他の例を説明する図である。図13Fは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。図13Gは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。図13Hは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。図13Iは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。
Next, other shapes of the visual recognition
図13Eに示したように、視認補助画像1340は、例えば、オブジェクト1330の存在位置を示す矢印形状であってもよい。そして、オブジェクト1330は、矢印形状の視認補助画像1340の中に内包されていない。つまり、目標画像としてのオブジェクト1330と視認補助画像1340とが重畳して表示されているのではなく、視認補助画像1340は、オブジェクト1330の外側に配置される。このように、矢印形状の視認補助画像1340とすれば、ユーザ220は、矢印の先端部分の先に、オブジェクト1330が存在することを容易に認識することができる。
As shown in FIG. 13E, the visual recognition
図13Fに示したように、視認補助画像1350は、ユーザ220の注意を引くような形状であってもよい。なお、ユーザ220の注意を引くような形状は、図13Fに示した形状には限定されず、例えば、星形形状や十字形形状、多角形形状などであってもよい。また、縦線1351と横線1352とを合わせて表示し、縦線1351および横線1352の中心にオブジェクト1330が配置されていることを示してもよい。
As shown in FIG. 13F, the visual recognition
図13Gに示したように、視認補助画像1360は、アバター画像1320のセンサ部1322からオブジェクト1330に向かって伸びる一点鎖線であってもよい。なお、視認補助画像1360は、一点鎖線には限定されず、例えば、直線や二点鎖線、点線などであってもよい。
As shown in FIG. 13G, the visual recognition
そして、ユーザ220は、視認補助画像1360の一点鎖線をガイドラインとして、この一点鎖線に沿って視線を動かせばオブジェクト1330を視認して、オブジェクト1330の存在位置を認識することができる。さらに、この一点鎖線に沿ってアバター画像1320を動かせば、オブジェクト1330にアバター画像1320をタッチさせることができる。なお、視認補助画像1370と合わせて視認補助画像1333を表示すれば、オブジェクト1330の視認性がさらに向上する。
Then, the
図13Hに示したように、視認補助画像1370は、複数の矢印がセンサ部1322からオブジェクト1330に向かって一直線上に配置されたものであってもよい。そして、ユーザ220は、この複数の矢印をガイドラインとして、この複数の矢印に沿って視線を動かせばオブジェクト1330を視認して、オブジェクト1330の存在位置を認識することができる。さらに、この複数の矢印に沿ってアバター画像1320を動かせば、オブジェクト1330にアバター画像1320をタッチさせることができる。なお、視認補助画像1370と合わせて立方体の視認補助画像1333を表示すれば、オブジェクト1330の視認性がさらに向上する。
As shown in FIG. 13H, the visual recognition
図13Iに示したように、複数の球形の視認補助画像1380が、オブジェクト1330の上下左右の位置に配置されている。すなわち、図13Iにおいては、4個の視認補助画像1380の中心にオブジェクト1330が配置されるように、複数の球形の視認補助画像1380がオブジェクト1330の周囲に配置されている。なお、視認補助画像1380の形状は、球形には限定されず、例えば、三角形形状や矩形形状、多角形形状、星形形状などであってもよい。
As shown in FIG. 13I, a plurality of spherical
図13Jは、本実施形態に係る目標物認識性向上システムにおける視認補助画像のさらに他の例を説明する図である。目標物認識性向上サーバは、例えば、ユーザ220のリハビリテーションの進み具合に合わせて、表示部1402に表示する視認補助画像1333の大きさを変更してもよい。例えば、目標物認識性向上サーバは、リハビリテーションの初期には、大きめの視認補助画像1333を表示させる。そして、ユーザ220のリハビリテーションが進んだ状態では、リハビリテーションの進行具合に合わせて視認補助画像1333の大きさを小さくしてもよい。
FIG. 13J is a diagram illustrating still another example of the visual recognition auxiliary image in the target object recognition improvement system according to the present embodiment. The target recognition improvement server may change the size of the visual recognition
また、目標物認識性向上サーバは、ユーザ220のリハビリテーションの進行具合に合わせるのではなく、例えば、ユーザ220の視力に合わせて視認補助画像1333の大きさを変更してもよい。つまり、目標物認識性向上サーバは、視力の悪いユーザ220であれば、大きめの視認補助画像1333を表示させ、比較的視力のよいユーザ220であれば、小さめの視認補助画像1333を表示させてもよい。このように、目標物認識性向上サーバは、ユーザ220の視力に応じた大きさの視認補助画像を表示させてもよい。
Further, the target recognition improvement server may change the size of the visual recognition
また、例えば、目標物認識性向上サーバは、ユーザ220が認知症であった場合、認知症の進行具合や認知機能に合わせた大きさの視認補助画像1333を表示させてもよい。なお、視認補助画像1333の大きさは、目標物認識性向上サーバが自動的に変更しても、目標物認識性向上システムを操作する医師などのオペレータが手動で変更して、ユーザ220が変更してもよい。
Further, for example, when the
図14は、本実施形態に係る目標物認識性向上システムの構成を説明するブロック図である。目標物認識性向上システム1400は、目標物認識性向上サーバ1401と表示部1402とを有する。なお、目標物認識性向上システム1400に含まれる要素はこれらには限定されない。目標物認識性向上サーバ1401は、動作検出部1411、表示制御部1412、評価部1413および更新部1414を有する。
FIG. 14 is a block diagram illustrating the configuration of the target object recognition improvement system according to the present embodiment. The target object
動作検出部1411は、ユーザ220が手に持っているコントローラの位置や、ユーザ220が装着しているヘッドマウントディスプレイなどの位置を取得し、取得した位置の変化に基づいて、ユーザ220の動き(リハビリテーション動作)を検出する。
The
表示制御部1412は、検出したリハビリテーション動作に応じて動くアバター画像1320と、リハビリテーション動作の目標を示す目標画像と、目標画像の視認性を向上させる少なくとも1つの視認補助画像1333と、を表示部1402などに表示させる。
The
表示制御部1412は、目標画像と視認補助画像1333とを重畳して表示させる。例えば、目標画像の大きさを視認補助画像1333の大きさよりも小さくし、目標画像が視認補助画像1333の中に包含されているように表示させる。
The
表示制御部1412は、目標画像を、例えば、視認補助画像1333の中心近傍に表示させてもよい。また、表示制御部1412は、目標画像を視認補助画像1333の中心近傍ではなく、視認補助画像1333の中に包含され、さらにアバター画像1320に近い側、つまり、ユーザ220から見て手前側に表示させてもよい。
The
表示制御部1412は、オブジェクト1330と視認補助画像1333とを識別可能に表示させてもよい。具体的には、例えば、オブジェクト1330のグラデーションを視認補助画像1333のグラデーションよりも濃く表示させる。これにより、ユーザ220は、オブジェクト1330が濃く表示されているので、薄く表示されている視認補助画像1333とのコントラストに差が生じ、オブジェクト1330を確実に認識することができる。なお、オブジェクト1330および視認補助画像1333へのグラデーションの付け方は、ここに示した方法には限定されない。例えば、視力の弱いユーザ220であっても、オブジェクト1330と視認補助画像1333とを確実に識別できるグラデーションの付け方であってもよい。
The
また、表示制御部1412は、オブジェクト1330と視認補助画像1333とを識別可能に表示させるために、オブジェクト1330と視認補助画像1333とを異なる色で表示する。表示制御部1412は、例えば、オブジェクト1330を濃色系の色で着色し、視認補助画像1333を淡色系の色で着色するが、着色する色の組み合わせ(パターン)はこれには限定されない。例えば、色覚異常(色盲)のユーザ220であっても、オブジェクト1330と視認補助画像1333とを確実に識別できる色の組み合わせで着色してもよい。また、表示制御部1412は、弱視や視野狭窄、色覚異常など様々なタイプのユーザ220に対応可能な着色をしてもよい。なお、オブジェクト1330と視認補助画像1333とに着色する色は、ユーザ220が選択してもよいし、医師などのオペレータが選択してもよい。
Further, the
なお、ここでは、オブジェクト1330および視認補助画像1333のグラデーションや色などについて説明をしたが、他の視認補助画像1340,1350,1360,1370,1380についても同様にグラデーションや色を変化させてもよい。
Although the gradations and colors of the
さらに、表示制御部1412は、ユーザ220の視力および評価部1413による評価結果の少なくとも一方に応じて、視認補助画像1333の表示の変更を制御する。例えば、表示制御部1412は、ユーザ220の視力やユーザ220のリハビリテーションの進行具合、ユーザ220の認知症の進行具合などに応じて、視認補助画像1333の大きさを変更する。
Further, the
評価部1413は、動作検出部1411が検出したリハビリテーション動作と、表示制御部1412によって表示された目標画像としてのオブジェクト1330が表す目標位置と、と比較して、ユーザ220のリハビリテーション能力を評価する。
The
更新部1414は、評価部1413による評価結果に応じて、オブジェクト1330により表される目標位置を更新する。
The
表示部1402は、表示制御部1412の制御に従い、目標画像や視認性補助画像などを表示する。表示部1402は、ヘッドマウントディスプレイやディプレイ、スクリーンなどであるが、これらには限定されない。
The
図15Aは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する患者テーブルの一例を説明する図である。患者テーブル1501は、患者ID(Identifier)1511に関連付けて、属性情報1512、リハビリ対象1513、現在のレベル1514およびリハビリメニュー15115を記憶する。患者ID1511は、患者を識別するための識別子である。属性情報1512は、年齢や性別などの患者の属性を示す情報である。リハビリ対象1513は、その患者が身体のどの部位がリハビリテーションを受ける対象となっているかを示すデータであり、例えば、腕や脚などの身体の部位を表すデータである。
FIG. 15A is a diagram illustrating an example of a patient table included in the target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. The patient table 1501 stores the
現在のレベル1514は、患者の現在のリハビリテーションのレベルを示すデータである。すなわち、患者のリハビリテーションの進行具合などを示すデータである。リハビリテーションの初期段階から最終段階までを複数のランク、例えば、Aランク、Bランクなどに分けたデータである。なお、リハビリテーションのレベルの分け方は、これには限定されない。リハビリメニュー1515は、患者が受けるべきリハビリテーションのメニューに関する情報である。
次に、図15Bは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する表示パラメータテーブルの一例を説明する図である。表示パラメータテーブル1502は、リハビリメニュー1515に関連付けて、目標画像ID1521、視認補助画像ID1522および表示パラメータ1523を記憶する。
Next, FIG. 15B is a diagram illustrating an example of a display parameter table included in the target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. The display parameter table 1502 stores the
目標画像ID1521は、表示部1402に表示させるオブジェクト1330を識別する識別子である。視認補助画像IDは、表示部1402に表示させる視認補助画像1333,1340,1350,1360,1370,1380を識別する識別子である。表示パラメータ1523は、オブジェクト1330や視認補助画像1333,1340,1350,1360,1370,1380を表示部1402に表示させるために必要なパラメータである。表示パラメータ1523には、例えば、位置や倍率などの情報が含まれるが、表示パラメータ1523に含まれる情報はこれらには限定されない。
The
そして、図15Cは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する画像テーブルの一例を説明する図である。画像テーブル1503は、画像種別1531に関連付けて画像データ1532、表示位置1533および倍率1534を記憶する。なお、画像テーブル1503に記憶される項目は、これらには限定されない。
FIG. 15C is a diagram illustrating an example of an image table included in the target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. The image table 1503
画像種別1531は、表示すべき画像が、目標画像なのか視認補助画像なのかなどを区別する情報である。画像データ1532は、表示部1402に表示されるオブジェクト1330や視認補助画像1333などの画像データであり、様々な画像ファイルフォーマットの画像データが含まれる。表示位置1533は、表示部1402内のどの位置に表示すべきかを表すデータであり、例えば、(X座標位置,Y座標位置,Z座標位置)の組のデータなどである。倍率1534は、オブジェクト1330や視認補助画像1333などを表示部1402において、どのような大きさで表示するかを決定するためのデータである。
The
そして、目標物認識性向上サーバ1401は、これらのテーブル1501,1502,1503を参照して視認補助画像1333,1340,1350,1360,1370,1380を表示部1402に表示させる。
Then, the target object
図16は、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバのハードウェア構成を説明するブロック図である。CPU(Central Processing Unit)1610は演算制御用のプロセッサであり、プログラムを実行することで図14の目標物認識性向上サーバ1401の機能構成部を実現する。ROM(Read Only Memory)1620は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース1630は、ネットワークを介して他の装置などと通信する。なお、CPU1610は1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース1630は、CPU1610とは独立したCPUを有して、RAM(Random Access Memory)1640の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAM1640とストレージ1650との間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい(図示なし)。さらに、入出力インタフェース1660は、CPU1610とは独立したCPUを有して、RAM1640の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、CPU1610は、RAM1640にデータが受信あるいは転送されたことを認識してデータを処理する。また、CPU1610は、処理結果をRAM640に準備し、後の送信あるいは転送はネットワークインタフェース1630やDMAC、あるいは入出力インタフェース1660に任せる。
FIG. 16 is a block diagram illustrating a hardware configuration of a target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. The CPU (Central Processing Unit) 1610 is a processor for arithmetic control, and realizes the functional component of the target
RAM1640は、CPU1610が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM1640には、本実施形態の実現に必要なデータを記憶する領域が確保されている。患者データ1641は、目標物認識性向上システムを利用してリハビリテーションを受ける患者に関するデータである。画像データ1642は、表示部1402に表示される目標画像としてのオブジェクト1330や視認補助画像1333などのデータである。表示位置1643は、オブジェクト1330や視認補助画像1333を表示部1402のどの位置に表示するかを示すデータである。倍率1644は、オブジェクト1330や視認補助画像1333などの画像を表示部1402において、どの程度の大きさで表示するかを示すデータである。そして、これらのデータは、例えば、患者テーブル1501、表示パラメータテーブル1502および画像テーブル1503から読み出される。
The
入出力データ1645は、入出力インタフェース1660を介して入出力されるデータである。送受信データ1646は、ネットワークインタフェース1630を介して送受信されるデータである。また、RAM1640は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域1647を有する。
The input /
ストレージ1650には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ1650は、患者テーブル1501、表示パラメータテーブル1502および画像テーブル1503を格納する。患者テーブル1501は、図15Aに示した、患者ID1511と属性情報1512などとの関係を管理するテーブルである。表示パラメータテーブル1502は、図15Bに示した、リハビリメニュー1515と表示パラメータ1523などとの関係を管理するテーブルである。画像テーブル1503は、図15Cに示した、画像種別1531と画像データ1532などとの関係を管理するテーブルである。
The
ストレージ1650は、さらに、動作検出モジュール1651、表示制御モジュール1652、評価モジュール1653および更新モジュール1654を格納する。
The
動作検出モジュール1651は、ユーザ220のリハビリテーション動作を検出するモジュールである。表示制御モジュール1652は、アバター画像1320と、目標画像としてのオブジェクト1330と、オブジェクト1330の視認性を向上させる視認補助画像1333などを表示部1402に表示させるモジュールである。評価モジュール1653は、ユーザ220のリハビリテーション能力を評価するモジュールである。更新モジュール1654は、評価結果に応じて、目標画像が表す目標位置を更新するモジュールである。これらのモジュール1651〜1654は、CPU1610によりRAM1640のアプリケーション実行領域1647に読み出され、実行される。制御プログラム1655は、目標物認識性向上サーバ1401の全体を制御するためのプログラムである。
The
入出力インタフェース1660は、入出力機器との入出力データをインタフェースする。入出力インタフェース1660には、表示部1661、操作部1662、が接続される。また、入出力インタフェース1660には、さらに、記憶媒体1664が接続されてもよい。さらに、音声出力部であるスピーカ1663や、音声入力部であるマイク、あるいは、GPS(Global Positioning System)位置判定部が接続されてもよい。なお、図16に示したRAM1640やストレージ1650には、目標物認識性向上サーバ1401が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
The input /
図17Aは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの処理手順を説明するフローチャートである。図17Bは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの視認補助画像表示の処理手順を説明するフローチャートである。これらのフローチャートは、CPU1610がRAM1640を使用して実行し、図14の目標物認識性向上サーバ1401の機能構成部を実現する。
FIG. 17A is a flowchart illustrating a processing procedure of the target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. FIG. 17B is a flowchart illustrating a processing procedure for displaying a visual aid image of a target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. These flowcharts are executed by the
ステップS1701において、目標物認識性向上サーバ1401は、視認補助画像を表示部1402などに表示させる。
In step S1701, the target
ステップS1721において、目標物認識性向上サーバ1401は、目標物認識性向上システム1400を利用してリハビリテーションを受ける患者の属性やどのようなリハビリテーションメニューを受けるかなどの、患者情報を取得する。
In step S1721, the target
ステップS1723において、目標物認識性向上サーバ1401は、表示部1402に表示すべき視認補助画像1333などを表示部1402に表示するために必要な表示パラメータを取得する。取得する表示パラメータは、例えば、視認補助画像1333などの位置や倍率などの関するパラメータである。
In step S1723, the target object
ステップS1725において、目標物認識性向上サーバ1401は、視認補助画像1333の画像データを取得する。ステップS1727において、目標物認識性向上サーバ1401は、表示部1402に視認補助画像1333などを表示する。
In step S1725, the target
ステップS1729において、目標物認識性向上サーバ1401は、視認補助画像1333などの表示の変更が必要か否かを判断する。表示変更が必要でない場合(ステップS1729のNO)、目標物認識性向上サーバ1401は、処理を終了する。表示変更が必要な場合(ステップS1729のYES)、目標物認識性向上サーバ1401は、次のステップへと進む。
In step S1729, the target object
ステップS1731において、目標物認識性向上サーバ1401は、ユーザ220の視力やユーザ220のリハビリテーション能力の評価結果に応じて、視認補助画像1333の大きさを変更する。
In step S1731, the target
本実施形態によれば、目標距離と運動距離との乖離を小さくするために、目標画像の大きさを小さくしても、目標画像の視認性を維持しつつ、目標距離と運動距離とを近づけて、リハビリテーションの効果を増大させることができる。また、ユーザは、目標画像にタッチした時の感覚が鮮明となるので、ユーザは目標達成の満足感を経験することができる。 According to the present embodiment, in order to reduce the difference between the target distance and the exercise distance, even if the size of the target image is reduced, the target distance and the exercise distance are brought closer to each other while maintaining the visibility of the target image. Therefore, the effect of rehabilitation can be increased. In addition, since the user has a clear feeling when touching the target image, the user can experience the satisfaction of achieving the target.
[第3実施形態]
次に本発明の第3実施形態に係る目標物認識性向上システムについて、図18乃至図21を用いて説明する。図18は、本実施形態に係る目標物認識性向上システムの構成を説明するブロック図である。本実施形態に係る目標物認識性向上システムは、上記前提技術1および第2実施形態と比べると、音出力部を有する点で異なる。その他の構成および動作は、前提技術1および第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
[Third Embodiment]
Next, the target object recognition improvement system according to the third embodiment of the present invention will be described with reference to FIGS. 18 to 21. FIG. 18 is a block diagram illustrating the configuration of the target object recognition improvement system according to the present embodiment. The target object recognition improvement system according to the present embodiment is different from the above-mentioned
目標物認識性向上システム1800は、目標物認識性向上サーバ1801および音出力部1802を備える。目標物認識性向上サーバ1801は、音出力制御部1811を有する。音出力制御部1811は、目標画像としてのオブジェクト1330とアバター画像1320との位置関係に応じて、音の出力を制御する。音出力制御部1811が出力を制御した音は、音出力部1802から出力される。
The target
音出力制御部1811は、例えば、オブジェクト1330が、上方から下方へ向かって降下している場合、オブジェクト1330とアバター画像1320との間の距離、つまり、位置関係に基づいて、音を出力する。
For example, when the
オブジェクト1330とアバター画像1320との間の距離が縮まるにつれて、つまり、オブジェクト1330がアバター画像1320に近づくにつれて、出力される音を高い周波数の音としてもよい。また、同様に、オブジェクト1330とアバター画像1320との間の距離が離れるにつれて、つまり、オブジェクト1330がアバター画像1320から遠ざかるにつれて、出力される音を低い周波数の音としてもよい。すなわち、ドップラー効果のように、オブジェクト1330(音源)とアバター画像1320(ユーザ220(観測者))との距離に応じて、音(波)の周波数が異なって観測されるような音響効果を表現してもよい。なお、出力される音の周波数を変更する代わりに、オブジェクト1330とアバター画像1320との間の距離に応じて、出力される音の音量を大小してもよい。
As the distance between the
また、音出力制御部1811から音を出力することにより、ユーザ220に対して、オブジェクト1330の位置を教示してもよい。つまり、ユーザ220の聴覚を利用して、オブジェクト1330の位置を教示する。
Further, the position of the
例えば、ユーザ220が、目標物認識性向上システム1800を利用する際に、ヘッドフォンを装着している場合を考える。目標画像としてのオブジェクト1330が、アバター画像1320(ユーザ220)の右側にある場合には、目標物認識性向上サーバ1801は、右耳側のヘッドフォンから音を出す。同様に、オブジェクト1330がアバター画像1320(ユーザ220)の左側にある場合には、左耳側のヘッドフォンから音を出す。これにより、ユーザ220は、音の方向からオブジェクト1330がユーザ220の右側にあるのか、左側にあるのかを判断することができる。さらに、オブジェクト1330がアバター画像1320(ユーザ220)の正面にある場合には、両方のヘッドフォンから音を出す。
For example, consider a case where the
また、以上の説明では、ユーザ220の視覚や聴覚などを利用してオブジェクト1330の位置を教示したが、視覚や聴覚以外の他の五感、味覚、触覚、嗅覚などを利用してユーザ220にオブジェクト1330の位置を教示してもよい。
Further, in the above description, the position of the
例えば、ユーザ220の舌にセンサを置き、オブジェクト1330の位置に応じた味覚をユーザ220が感じるようにしてもよい。または、ユーザ220が手に持っているコントローラや、ユーザ220が装着しているヘッドフォン、ヘッドマウントディスプレイなどを振動させてもよい。つまり、ユーザ220の触覚を利用してオブジェクト1330の位置を教示してもよい。
For example, a sensor may be placed on the tongue of the
図19は、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの有する音テーブルの一例を説明する図である。音テーブル1901は、画像種別1531に関連付けて音データ1911を記憶する。そして、目標物認識性向上サーバ1801は、音テーブル1901を参照して、出力する音を制御する。
FIG. 19 is a diagram illustrating an example of a sound table included in the target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. The sound table 1901 stores sound
図20は、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバのハードウェア構成を説明する図である。RAM2040は、CPU1610が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM2040には、本実施形態の実現に必要なデータを記憶する領域が確保されている。音データ2041は、出力される音に関するデータである。そして、このデータは、例えば、音テーブル1901から読み出される。
FIG. 20 is a diagram illustrating a hardware configuration of a target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. The
ストレージ2050には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ2050は、音テーブル1901を格納する。音テーブル1901は、図19に示した、画像種別1531と音データ1911との関係を管理するテーブルである。
The
ストレージ2050は、さらに、音出力制御モジュール2051を格納する。音出力制御モジュール2051は、目標画像としてのオブジェクト1330とアバター画像1320との位置関係に応じて、音の出力を制御するモジュールである。このモジュール2051は、CPU1610によりRAM2040のアプリケーション実行領域1647に読み出され、実行される。なお、図20に示したRAM2040やストレージ2050には、目標物認識性向上サーバ1801が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
The
図21Aは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの処理手順を説明するフローチャートである。図21Bは、本実施形態に係る目標物認識性向上システムに含まれる目標物認識性向上サーバの音出力制御の処理手順を説明するフローチャートである。これらのフローチャートは、CPU1610がRAM2040を使用して実行し、図18の目標物認識性向上サーバ1801の機能構成部を実現する。
FIG. 21A is a flowchart illustrating a processing procedure of the target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. FIG. 21B is a flowchart illustrating a processing procedure of sound output control of the target object recognition improvement server included in the target object recognition improvement system according to the present embodiment. These flowcharts are executed by the
ステップS2101において、目標物認識性向上サーバ1801は、音の出力を制御する。ステップS2121において、目標物認識性向上目標物認識性向上サーバ1801は、アバター画像1320の位置を取得する。ステップS2123において、目標物認識性向上サーバ1801は、オブジェクト1330の位置を取得する。ステップS2125において、目標物認識性向上サーバ1801は、アバター画像1320とオブジェクト1330との位置関係を判定する。ステップS2127において、目標物認識性向上サーバ1801は、判定した位置関係に応じて、音の出力を制御する。
In step S2101, the target
本実施形態によれば、ユーザの視覚の他に聴覚を利用してリハビリテーションを実行するので、ユーザがより容易にオブジェクトを視認でき、リハビリテーションにより得られる効果をさらに高めることができる。また、ユーザは、視覚のみならず聴覚によってもオブジェクトの位置を把握することができる。また、音を出力するので、視力の弱いユーザであっても、本実施形態によるリハビリテーションを受けることができる。 According to the present embodiment, since the rehabilitation is performed by using the auditory sense in addition to the visual sense of the user, the user can more easily see the object, and the effect obtained by the rehabilitation can be further enhanced. In addition, the user can grasp the position of the object not only visually but also auditorily. Further, since the sound is output, even a user with weak eyesight can receive the rehabilitation according to the present embodiment.
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
[Other embodiments]
Although the invention of the present application has been described above with reference to the embodiments, the invention of the present application is not limited to the above-described embodiment. Various changes that can be understood by those skilled in the art can be made within the scope of the present invention in terms of the configuration and details of the present invention. Also included in the scope of the present invention are systems or devices in which the different features contained in each embodiment are combined in any way.
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。 Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention is also applicable when the information processing program that realizes the functions of the embodiment is directly or remotely supplied to the system or device. Therefore, in order to realize the functions of the present invention on a computer, a program installed on the computer, a medium containing the program, and a WWW (World Wide Web) server for downloading the program are also included in the scope of the present invention. .. In particular, at least a non-transitory computer readable medium containing a program for causing a computer to execute the processing steps included in the above-described embodiment is included in the scope of the present invention.
Claims (6)
検出した前記第1リハビリテーション動作に応じて動くアバター画像と、前記第1リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像であって、その大きさを変更できる視認補助画像と、を表示させる表示制御手段と、
前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザの能力を評価する評価手段と、
を備え、
前記表示制御手段は、前記視認補助画像の中心近傍に前記目標画像を表示させるリハビリテーション支援システム。 Motion detection means for detecting the user's first rehabilitation motion,
An avatar image that moves according to the detected first rehabilitation motion, a target image that shows the target of the first rehabilitation motion, and a visual recognition auxiliary image that improves the visibility of the target image, and their sizes can be changed. A visual aid image, a display control means for displaying, and a display control means.
An evaluation means for evaluating the ability of the user by comparing the position of the avatar image with the target position represented by the target image.
Equipped with
The display control means is a rehabilitation support system that displays the target image in the vicinity of the center of the visual recognition assist image.
前記リハビリテーション支援システムの表示制御部が、検出した前記第1リハビリテーション動作に応じて動くアバター画像と、前記第1リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像であって、その大きさを変更できる視認補助画像と、を表示させる表示制御ステップと、
前記リハビリテーション支援システムの評価部が、前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザの能力を評価する評価ステップと、
を含み、
前記表示制御ステップでは、前記視認補助画像の中心近傍に前記目標画像を表示させるリハビリテーション支援方法。 The motion detection step in which the motion detection unit of the rehabilitation support system detects the user's first rehabilitation motion, and
An avatar image that moves according to the first rehabilitation motion detected by the display control unit of the rehabilitation support system, a target image showing the target of the first rehabilitation motion, and a visual recognition auxiliary image that improves the visibility of the target image. A display control step for displaying a visual aid image whose size can be changed, and
An evaluation step in which the evaluation unit of the rehabilitation support system evaluates the ability of the user by comparing the position of the avatar image with the target position represented by the target image.
Only including,
In the display control step, a rehabilitation support method for displaying the target image in the vicinity of the center of the visual recognition assist image.
検出した前記第1リハビリテーション動作に応じて動くアバター画像と、前記第1リハビリテーション動作の目標を示す目標画像と、前記目標画像の視認性を向上させる視認補助画像であって、その大きさを変更できる視認補助画像と、を表示させる表示制御ステップと、
前記アバター画像の位置と、前記目標画像が表わす目標位置とを比較して、前記ユーザの能力を評価する評価ステップと、
をコンピュータに実行させるリハビリテーション支援プログラムであって、
前記表示制御ステップでは、前記視認補助画像の中心近傍に前記目標画像を表示させるリハビリテーション支援プログラム。 An operation detection step for detecting the user's first rehabilitation operation, and
An avatar image that moves according to the detected first rehabilitation motion, a target image that shows the target of the first rehabilitation motion, and a visual recognition auxiliary image that improves the visibility of the target image, and their sizes can be changed. A display control step to display a visual aid image, and
An evaluation step for evaluating the ability of the user by comparing the position of the avatar image with the target position represented by the target image.
Is a rehabilitation support program that lets a computer execute
In the display control step, a rehabilitation support program for displaying the target image near the center of the visual recognition assist image .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193342A JP6969794B2 (en) | 2017-10-23 | 2018-10-12 | Rehabilitation support system, rehabilitation support method and rehabilitation support program |
JP2021172393A JP7149658B2 (en) | 2018-10-12 | 2021-10-21 | Rehabilitation support system, rehabilitation support method and rehabilitation support program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017204243A JP6425287B1 (en) | 2017-10-23 | 2017-10-23 | Rehabilitation support system, rehabilitation support method and rehabilitation support program |
JP2018193342A JP6969794B2 (en) | 2017-10-23 | 2018-10-12 | Rehabilitation support system, rehabilitation support method and rehabilitation support program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017204243A Division JP6425287B1 (en) | 2017-04-25 | 2017-10-23 | Rehabilitation support system, rehabilitation support method and rehabilitation support program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021172393A Division JP7149658B2 (en) | 2018-10-12 | 2021-10-21 | Rehabilitation support system, rehabilitation support method and rehabilitation support program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019076703A JP2019076703A (en) | 2019-05-23 |
JP6969794B2 true JP6969794B2 (en) | 2021-11-24 |
Family
ID=66628487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018193342A Active JP6969794B2 (en) | 2017-10-23 | 2018-10-12 | Rehabilitation support system, rehabilitation support method and rehabilitation support program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6969794B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6714285B1 (en) * | 2019-07-31 | 2020-06-24 | 株式会社mediVR | Rehabilitation support device and rehabilitation support method |
IT202000030866A1 (en) * | 2020-12-18 | 2022-06-18 | Caldarola S R L | DEVICE AND RELATED METHOD FOR SUPPORT AND DISTANCE IN AUGMENTED REALITY MODE FOR SIGHT AND HEARING FOR INDOOR ENVIRONMENTS |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08221487A (en) * | 1995-02-17 | 1996-08-30 | Brother Ind Ltd | Automatic certificate issuing machine |
JP5804679B2 (en) * | 2010-08-18 | 2015-11-04 | 京楽産業.株式会社 | Game machine |
JP6470488B2 (en) * | 2013-09-18 | 2019-02-13 | 任天堂株式会社 | Information processing program, information processing apparatus, information processing system, and information processing method |
JP6334276B2 (en) * | 2014-06-04 | 2018-05-30 | 日本光電工業株式会社 | Rehabilitation support system |
JP6200615B1 (en) * | 2017-04-25 | 2017-09-20 | 株式会社mediVR | Rehabilitation support system, rehabilitation support method, and rehabilitation support program |
-
2018
- 2018-10-12 JP JP2018193342A patent/JP6969794B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019076703A (en) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6758004B2 (en) | Rehabilitation support system, rehabilitation support method and rehabilitation support program | |
JP6425287B1 (en) | Rehabilitation support system, rehabilitation support method and rehabilitation support program | |
JP6200615B1 (en) | Rehabilitation support system, rehabilitation support method, and rehabilitation support program | |
JP6768231B2 (en) | Rehabilitation support device, rehabilitation support method and rehabilitation support program | |
JP7420392B2 (en) | Rehabilitation support device, method and program | |
JP7179364B2 (en) | Rehabilitation support system, rehabilitation support method and rehabilitation support program | |
JP2024020292A (en) | Operation request system, operation request method and operation request program | |
JP6969794B2 (en) | Rehabilitation support system, rehabilitation support method and rehabilitation support program | |
CN112930162B (en) | Rehabilitation support device, method and program | |
JP6531338B1 (en) | Rehabilitation support device, rehabilitation support system, rehabilitation support method and rehabilitation support program | |
JP7149658B2 (en) | Rehabilitation support system, rehabilitation support method and rehabilitation support program | |
JP7218978B2 (en) | Rehabilitation support system, rehabilitation support method and rehabilitation support program | |
JP7125180B1 (en) | Cognitive ability estimation device, its method and program | |
JP7074373B2 (en) | Rehabilitation support system, rehabilitation support method and rehabilitation support program | |
JP7036476B1 (en) | Cognitive ability estimation device, its method and program | |
JP6941130B2 (en) | Information processing method, information processing program and information processing device | |
JP2014071546A (en) | Tactile illusion presenting apparatus and tactile illusion presenting program | |
JP2021060957A (en) | Rehabilitation support device, method and program thereof | |
Chessa et al. | An Oculus Rift based Exergame to Improve Awareness in Disabled People. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210804 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6969794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |