JP6758004B2 - リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム - Google Patents

リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム Download PDF

Info

Publication number
JP6758004B2
JP6758004B2 JP2019514593A JP2019514593A JP6758004B2 JP 6758004 B2 JP6758004 B2 JP 6758004B2 JP 2019514593 A JP2019514593 A JP 2019514593A JP 2019514593 A JP2019514593 A JP 2019514593A JP 6758004 B2 JP6758004 B2 JP 6758004B2
Authority
JP
Japan
Prior art keywords
rehabilitation
image
target
user
rehabilitation support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019514593A
Other languages
English (en)
Other versions
JPWO2018199196A1 (ja
Inventor
原　正彦
正彦 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medivr Inc
Original Assignee
Medivr Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017086674A external-priority patent/JP6200615B1/ja
Priority claimed from JP2017204243A external-priority patent/JP6425287B1/ja
Application filed by Medivr Inc filed Critical Medivr Inc
Publication of JPWO2018199196A1 publication Critical patent/JPWO2018199196A1/ja
Application granted granted Critical
Publication of JP6758004B2 publication Critical patent/JP6758004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4833—Assessment of subject's compliance to treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B2022/0094—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements for active rehabilitation, e.g. slow motion devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0068—Comparison to target or threshold, previous performance or not real time comparison to other individuals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0096—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load using performance related parameters for controlling electronic or video games or avatars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A63B2071/0644—Displaying moving images of recorded environment, e.g. virtual environment with display speed of moving landscape controlled by the user's performance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Rehabilitation Tools (AREA)

Description

本発明は、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラムに関する。
上記技術分野において、特許文献１には、脳卒中等による片麻痺患者に対して行なわれるリハビリテーションを支援するシステムが開示されている。
特開２０１５−２２８９５７号公報
しかしながら、上記文献に記載の技術では、ユーザの動作に応じた、能動的な目標の更新を行なうことができず、どのようなユーザに対しても同じ負荷の繰り返しを行なうしかなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係るシステムは、
ユーザの３次元的な第１リハビリテーション動作を検出する動作検出部と、
検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、を３次元仮想空間内に生成し、表示させる表示制御部と、
前記第１リハビリテーション動作と、前記目標画像が表わす目標位置とを前記３次元仮想空間内で比較して、前記ユーザのリハビリテーション能力を評価する評価部と、
前記評価部による評価結果に応じて、前記目標位置を更新する更新部と、
を備え、
前記表示制御部は、前記第１リハビリテーション動作に加えて、第２リハビリテーション動作を要求する表示を行ない、前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像の輪郭と、前記目標画像の視認性を向上させる視認補助画像の輪郭とを表示させ、
前記評価部は、前記第１リハビリテーション動作および前記第２リハビリテーション動作の両方に基づいて、前記リハビリテーション能力を評価する。
上記目的を達成するため、本発明に係るリハビリテーション支援装置の制御方法は、
ユーザの３次元的な第１リハビリテーション動作を検出する動作検出ステップと、
検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、を３次元仮想空間内に生成し、表示させる表示制御ステップと、
前記第１リハビリテーション動作と、前記目標画像が表わす目標位置とを前記３次元仮想空間内で比較して、前記ユーザのリハビリテーション能力を評価する評価ステップと、
前記評価ステップによる評価結果に応じて、前記目標位置を更新する更新ステップと、を含み、
前記表示制御ステップにおいて、前記第１リハビリテーション動作に加えて、第２リハビリテーション動作を要求する表示を行ない、前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像の輪郭と、前記目標画像の視認性を向上させる視認補助画像の輪郭とを表示させ、
前記評価ステップにおいて、前記第１リハビリテーション動作および前記第２リハビリテーション動作の両方に基づいて、前記リハビリテーション能力を評価する。
上記目的を達成するため、本発明に係るリハビリテーション支援プログラムは、
ユーザの３次元的な第１リハビリテーション動作を検出する動作検出ステップと、検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、を３次元仮想空間内に生成し、表示させる表示制御ステップと、
前記第１リハビリテーション動作と、前記目標画像が表わす目標位置とを前記３次元仮想空間内で比較して、前記ユーザのリハビリテーション能力を評価する評価ステップと、
前記評価ステップによる評価結果に応じて、前記目標位置を更新する更新ステップと、
をコンピュータに実行させるリハビリテーション支援プログラムであって、
前記表示制御ステップにおいて、前記第１リハビリテーション動作に加えて、第２リハビリテーション動作を要求する表示を行ない、前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像の輪郭と、前記目標画像の視認性を向上させる視認補助画像の輪郭とを表示させ、
前記評価ステップにおいて、前記第１リハビリテーション動作および前記第２リハビリテーション動作の両方に基づいて、前記リハビリテーション能力を評価する。
本発明によれば、ユーザのリハビリテーション動作に応じた、能動的な目標の更新を行なうことができる。
本発明の第１実施形態に係るリハビリテーション支援システムの構成を示すブロック図である。 本発明の第２実施形態に係るリハビリテーション支援システムの構成を示すブロック図である。 本発明の第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。 本発明の第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。 本発明の第２実施形態に係るリハビリテーション支援システムの処理の流れを示すフローチャートである。 本発明の第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。 本発明の第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。 本発明の第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。 本発明の第２実施形態に係るリハビリテーション支援システムの他のプログラム例を示す図である。 本発明の第２実施形態に係るリハビリテーション支援システムのデータベースの構成を示す図である。 本発明の第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。 本発明の第２実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。 本発明の第２実施形態に係るリハビリテーション支援システムの動作の概略を説明する図である。 本発明の第２実施形態に係るリハビリテーション支援システムの動作の概略を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムの動作の概略を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムにおける視認補助画像の配置位置を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムにおける視認補助画像の他の例を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムの構成を説明するブロック図である。 本発明の第３実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの有する患者テーブルの一例を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの有する表示パラメータテーブルの一例を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの有する画像テーブルの一例を説明する図である。 本発明の第３実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバのハードウェア構成を説明するブロック図である。 本発明の第３実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの処理手順を説明するフローチャートである。 本発明の第３実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの視認補助画像表示の処理手順を説明するフローチャートである。 本発明の第４実施形態に係るリハビリテーション支援システムの構成を説明するブロック図である。 本発明の第４実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの有する音テーブルの一例を説明する図である。 本発明の第４実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバのハードウェア構成を説明する図である。 本発明の第４実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの処理手順を説明するフローチャートである。 本発明の第４実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの音出力制御の処理手順を説明するフローチャートである。 本発明の第５実施形態に係るリハビリテーション支援システムの制御方法を説明するための図である。 本発明の第５実施形態に係るリハビリテーション支援システムの制御方法を説明するための図である。 本発明の第５実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。 本発明の第５実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。 本発明の第５実施形態に係るリハビリテーション支援システムの表示画面例を示す図である。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としてのリハビリテーション支援システム１００について、図１を用いて説明する。
図１に示すように、リハビリテーション支援システム１００は、動作検出部１０１と、表示制御部１０２と評価部１０３と更新部１０４とを含む。
動作検出部１０１は、ユーザ１１０のリハビリテーション動作を検出する。表示制御部１０２は、検出したリハビリテーション動作に応じて動くアバター画像と、リハビリテーション動作の目標を示す目標画像と、を表示させる。
評価部１０３は、リハビリテーション動作と、目標画像が表わす目標位置との相違に応じて、ユーザのリハビリテーション能力を評価する。更新部１０４は、評価部１０３による評価結果に応じて、目標位置を更新する。
動作検出部１０１は、さらに、第１リハビリテーション動作中における、前記ユーザの第２リハビリテーション動作を検出し、評価部１０３は、第１リハビリテーション動作のみについて、所定以上の評価をした場合に、第１リハビリテーション動作および第２リハビリテーション動作の両方に基づいて、リハビリテーション能力を評価する。これにより、ユーザのリハビリテーション動作に応じた、能動的で的確な目標の更新を行なうことができる。
［第２実施形態］
次に本発明の第２実施形態に係るリハビリテーション支援システム２００について、図２を用いて説明する。図２は、本実施形態に係るリハビリテーション支援システムの構成を説明するための図である。
図２に示すように、リハビリテーション支援システム２００は、リハビリテーション支援サーバ２１０と、２つのベースステーション２３１、２３２と、ヘッドマウントディスプレイ２３３と、２つのコントローラ２３４、２３５とを備える。なお、ヘッドマウントディスプレイ２３３としては、非透過タイプでも、ビデオシースルータイプでも、オプティカルシースルータイプでも構わない。
また、リハビリテーション支援サーバ２１０は、動作検出部２１１と表示制御部２１２と評価部２１３と更新部２１４と音声入出力部２１５と、目標データベース２１６および背景画像＋質問／回答データベース２１７を備える。
動作検出部２１１は、ユーザ２２０が手に持つコントローラ２３４、２３５の位置およびヘッドマウントディスプレイ２３３の位置をベースステーション２３１、２３２を介して取得し、その位置の変化によりユーザ２２０のリハビリテーション動作を検出する。
表示制御部２１２は、検出したリハビリテーション動作に応じて動くアバター画像と、リハビリテーション動作の目標を示す目標画像と、をヘッドマウントディスプレイ２３３に表示させる。図３は、ヘッドマウントディスプレイ２３３に表示された画面３０１におけるアバター画像３１１、３１２の一例を示す図である。アバター画像３１１、３１２は、背景画像３１３に重畳表示される。この例ではアバター画像３１１、３１２は、コントローラ２３４、２３５と同じ形状をしており、コントローラ２３４、２３５の動きに合わせて画面３０１中を動く。また、ヘッドマウントディスプレイ２３３の位置や向きに応じて背景画像３１３は変化する。アバター画像３１１、３１２に表示されている通り、コントローラ２３４、２３５にはボタンが用意されており、各種設定操作など可能に構成されている。背景画像３１３として、ここでは、実際の風景を撮像して得た風景映像（例えばニューヨークの町並みを撮影した動画）を表示する。風景映像としては、リハビリ施設の周囲の道路の映像を用いても良く、異国を散歩している気分にさせたり、身近な場所を散歩している気分にさせたりすることができる。風景映像を重畳することで、患者を楽しませつつ、情報量が多い中でのトレーニングを実現することができる。
また、表示制御部２１２は、例えば、図４に示すように、ヘッドマウントディスプレイ２３３の画面４０１〜４０３において、背景画像３１３に重畳して、オブジェクト４１１を表示する。オブジェクト４１１は、ユーザ２２０の頭上方向から下方に向けて降下してきているように見えるように表示位置および大きさを徐々に変えて表示する。ユーザ２２０は、コントローラ２３４、２３５を動かして、画面中のアバター画像３１１を、オブジェクト４１１に近づける。アバター画像３１１がオブジェクト４１１にぶつかると、オブジェクト４１１は消滅する。画面４０１〜４０３において、センサのアバター画像３１１のそばにある「左」の文字は、左手でオブジェクト４１１にタッチすることを意味している。
評価部２１３は、動作検出部２１１が検出したリハビリテーション動作と、表示制御部２１２によって表示された目標画像が表わす目標位置とを比較して、ユーザのリハビリテーション能力を評価する。具体的には、動作検出部２１１が検出したリハビリテーション動作に対応して移動したアバター画像３１１と目標画像としてのオブジェクト４１１とが重なったか否かを、３次元仮想空間中の位置の比較により決定する。結果的に、これらが重なれば、一つのリハビリテーション動作をクリアしたものと評価し、ポイントを加算する。オブジェクト４１１の奥行き方向の位置については様々な段階（例えば３段階）のものが用意され、それぞれ、異なるポイント（遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント）が設定される。
更新部２１４は、積算されたポイントに応じて、目標課題を更新する。例えば、課題達成率（目標達成数／課題数）などを用いて目標課題を更新してもよい。
図５は、リハビリテーション支援サーバ２１０における処理の流れを示すフローチャートである。ステップＳ５０１において、キャリブレーション処理として、リハビリテーション動作の目標をユーザに合わせて初期化する。具体的には、各患者に最初にキャリブレーションとして行動可能範囲の作業を行ってもらい、それを初期値に設定した上で目標をユーザに合わせて初期化する。
また、目標データベース２１６を参照して、ユーザの属性情報（例えば、運動選手なのか、パーキンソン病なのかなど）に応じた目標に設定する。例えば、怪我をしたスポーツ選手の場合には、怪我が悪化しない程度の初期値を設定し、パーキンソン病に罹患したユーザの場合には、病状の進行を緩やかにする程度の運動を初期値として設定する。さらに、各患者に最初に行動可能範囲の作業を行ってもらい、それを初期値に設定した上で目標をユーザに合わせて初期化する。
次に、ステップＳ５０３において、動作検出部２１１で検出したコントローラ２３４、２３５の位置に応じて、アバター画像３１１、３１２を表示する。さらに、ステップＳ５０５において、設定された課題に応じた位置およびスピードでオブジェクト４１１を表示する。
ステップＳ５０７において、アバター画像３１１、３１２の動きと、オブジェクト４１１の動きを比較して、課題をクリアしたか判定する。課題がクリアされていない場合には、そのままステップＳ５０５に戻って、課題の難易度を変えることなく次のオブジェクトを表示する。
課題がクリアされた場合にはステップＳ５０９に進み、累積ポイントや課題達成確率等を算出する。さらにステップＳ５１１に進み、累積ポイントや課題達成確率等を閾値Ｔと比較し、累積ポイントや課題達成確率等が所定の閾値Ｔを超えた場合にはステップＳ５１３に進んで課題の運動強度を更新する。累積ポイントや課題達成確率等が閾値Ｔに達しなかった場合にはステップＳ５０５に戻って、課題の難易度を変えることなく次のオブジェクトを表示する。
例えば、近距離の達成度が８０％（または１０回等の回数でも可）を超えた場合、中距離のオブジェクトの表示頻度を高くする。中距離のオブジェクトの達成度が８０％（または１０回等の回数でも可）を超えた場合、遠距離のオブジェクトの表示頻度を高くする。また、逆に、達成度が低い場合に目標値を近距離にしてもよい。
ここでの課題の更新についても、ユーザの属性（怪我をしたスポーツ選手なのか、パーキンソン病患者なのかなど）に応じて変更する。課題の更新方法としては、背景画像を切り替えるといった方法も考えられる。
課題を更新した後、ステップＳ５１５に進み、ユーザの疲労度を算出して、閾値Ｎと比較する。疲労度が所定の閾値を超えれば、「停止条件」として処理を終了する。例えば、（疲労度＝１−最も近位のオブジェクトの回収率）と算出できる。あるいは（疲労度＝１／目の動き）と算出してもよい。明らかに集中していない(全くオブジェクトを探していない、首を振らない等)場合には、それ以上リハビリテーションを継続しても意味がないので休憩することになる。さらには、腕を伸ばすときのスピードが落ちるのを検出（加速度）して、疲労度を算出してもよい。
また、例えば、累積ポイントが所定の閾値を超えれば、図６の文字画像６０１に示すように、２つのコントローラ２３４、２３５のうち、左右いずれのコントローラでオブジェクト４１１にタッチすべきか（ここでは右）を指示する。これにより、文字を認識する認知機能が必要になる上に、動作の難易度も上がり、より高い運動機能が必要になる。つまり、認知機能と運動機能のデュアルタスク（Dual Task：二重課題）が要求される。
なお、図６では、文字で指示を行なっているが、本発明はこれに限定されるものではなく、矢印や色、あるいは声で指示を行なってもよい。このように、本実施形態では、リハビリテーション動作の評価に応じて、その負荷を更新する。
（デュアルタスクについて）
健常者は、普段の日常で「話をしながら歩く」など２つ以上のことを同時に行っている。この様な「２つのことを同時に行う能力」は加齢とともに衰えてくる。例えば「歩行中に話しかけられると、足を止めてしまう」などといったことが起こる。高齢者が転倒する原因は、「運動機能が低下していること」だけではなく、この様な「２つのことを同時に行う能力の低下」が関与していると考えられる。実際に、リハビリテーションにより十分に運動機能が回復したと判断されても、帰宅後に転倒してしまう高齢者は大勢いる。これは、リハビリテーション動作に集中できる環境・条件を整えた状態でリハビリテーションを行なっていることが一つの要因である。つまり、生活環境では、そのように動作に集中できない要因、例えば見晴らしが悪い、障害物が存在する、会話に意識が向いている、といった条件下での動作であることが多いからである。
そこで、注意を分散させるようなリハビリテーションを行なうことが重要と考えられ、具体的にデュアルタスクを与えてトレーニングすることが望ましい。このようなデュアルタスクトレーニングは、高齢者の転倒のみならず、認知症の予防にも有効なプログラムである。
デュアルタスクトレーニングには、認知課題と運動課題を組み合わせたトレーニングの他、２種類の運動課題を組み合わせたトレーニングも含まれる。
認知課題＋運動課題としては、１００から１ずつ引き算をしながら歩くなどのトレーニングが、運動課題＋運動課題としては、コップに入った水を溢さないように歩くなどのトレーニングが挙げられる。
評価部２１３は、単純な歩行に比べてデュアルタスク歩行検査で歩行速度が２０％程度遅延するような場合は、転倒リスクが高いと評価し、デュアルタスクを繰り返すように表示制御部２１２に通知する。
なお、「比較的移動能力が高い人」の方がよりデュアルタスクが有効となりやすい。例えば、屋内移動でも杖が手放せない高齢者となると、デュアルタスク能力よりもバランス能力（筋力・平衡感覚など）の強化のほうが、優先順位が高くなる。大まかな判断としては、要支援者はデュアルタスク能力が重要、要介護者はデュアルタスク能力以外のバランス能力が重要と表現できる。キャリブレーションの時系列変化を表示し、自分の運動範囲の改善を視覚的に表示する。
（ユーザ属性による設定変更）
通常の改善が見込める患者（骨折等の整形外科的疾患が対象で完全な改善が前提）に対しては、最もハードなリハビリテーション動作を設定し、改善を早める。
個々に応じて改善の程度が異なる患者（脳梗塞等では病変部位によって異なる形の麻痺が生じている）に対しては、ある程度まで課題の負荷を向上させるがあるレベルでその負荷の向上をストップする。
パーキンソン病等、原則的に機能が低下していく患者の場合は、常に現在の運動可能な状態の評価を定期的に評価することが有用である。
（他のデュアルタスクトレーニング例）
図７は、他のデュアルタスクトレーニング用の画像例を示す図である。オブジェクトにハズレ（爆弾）を仕込むことにより、認知機能を要求する。または、図８に示すように、背景画面に質問画像（ここでは例としてかけ算）を重畳表示し、答えが表示されたオブジェクトの取得のみを評価してもよい。背景画面にグー・チョキ・パーのいずれかを表示し、それに勝つマークが表示されたオブジェクトの回収を要求してもよい。
さらには、単にオブジェクトに数字を表示させ、数字の大きいオブジェクトの取得のみを評価してもよい。その他、背景画像３１３内に信号を表示させ、赤信号の時にオブジェクトを取ると評価部２１３は、ポイントをマイナスにしてもよい。
本実施形態によれば、リハビリテーション動作の達成度（達成確率など）に応じて課題を更新するので、リハビリテーションの進み具合に応じた負荷をユーザに与えることができる。また、背景画像３１３を表示することにより、患者が楽しめるだけではなく、周囲に意識を向ける状況の中でリハビリテーションを行なわせることができ、現実世界に戻った際により安全な生活を実現できる。
図９は、他のデュアルタスクトレーニング例を示す図である。音声入出力部２１５は、図９のように、背景画像に関する質問音声をヘッドホン９０１に対して出力し、ヘッドマウントディスプレイ２３３に設けられたマイク９０２を介して、質問に対する回答を取得する。評価部２１３は、音声情報として取得した回答に対して、音声認識処理を施して、あらかじめ用意された回答と比較し、その比較結果に応じて、ユーザのリハビリテーション能力を評価する。
図１０は、背景画像・質問／回答データベース２１７の内容の一例を示す図である。背景動画に対して、質問音声と解答とポイントとが、対応付けられて記憶されている。
ユーザの反応として、デュアルタスクではオブジェクトの回収率が下がるという結果が予想される。デュアルタスクを表示してもオブジェクトの回収達成率が異ならない、という結果をゴールとして期待する。シングルタスク（single task）時とデュアルタスク時とで、オブジェクトの回収率、またはオブジェクトへのリーチ率を比較し、一定の範囲に入るまで繰り返しトレーニングを行なう。
以上は運動機能と認知機能を同時に要求するデュアルタスクトレーニングだが、本発明はこれに限定されるものではなく、２つの運動機能を同時に要求するデュアルタスクトレーニングでもよい。
例えば、図１１に示すように、飛んでくる物体１１１１をよけながらオブジェクト４１１を拾うことを要求してもよい。ヘッドマウントディスプレイ２３３に設けられたセンサの位置を検出することにより、物体１１１１をうまくよけたか否かを判定できる。２つのリハビリテーション動作の両方の達成ポイント（例えば達成率など）に基づいて、評価および課題の更新を行なえばよい。
また、例えば、図１２の画像１２０１に示すように、コントローラ２３４、２３５の動作に応じて動くアバター画像として、水の入ったコップ画像１２１１、１２１２を表示し、これらのコップ画像１２１１、１２１２を移動させて、オブジェクト４１１を回収してもよい。ただし、画像１２０２に示すようにコップ画像１２２１を傾けて水がこぼれた場合には、コップ画像１２２２でオブジェクト４１１を回収してもポイントを得ることはできない。画像１２０３のように、コップ画像１２３１、１２３２内の水をこぼすことなくオブジェクト４１１を回収したときのみ、ポイントを加算する。
他にも、オブジェクトを回収する側のアバター画像とは逆側のアバター画像を常に指定された場所に触れさせることを要求するといったことが考えられる。コントローラ２３４、２３５にもうけられたボタンのうち、指定されたボタンを所定回数押しながらオブジェクトを回収することを要求してもよい。また、ユーザの足の動きを取得するセンサを設けた場合には、指定した足の動きを要求してもよい。
［第３実施形態］
次に本発明の第３実施形態に係るリハビリテーション支援システムについて、図１３Ａ乃至図１７Ｂを用いて説明する。図１３Ａは、本実施形態に係るリハビリテーション支援システムの第２実施形態の動作の概略を説明する図である。図１３Ｂは、本実施形態に係るリハビリテーション支援システムの動作の概略を説明する図である。本実施形態に係るリハビリテーション支援システムは、上記第２実施形態と比べると、目標画像の認識性（例えば、視認性）を向上させる視認補助画像を表示する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
第２実施形態においては、アバター画像１３２０の移動距離、すなわち、ユーザ２２０の運動距離１３１２は、基準１３１０とアバター画像１３２０のセンサ（アバター画像１３２０のヘッド部分）との間の距離により計測する。そして、ユーザ２２０が腕などを動かさなければならない距離である目標距離１３１１は、基準１３１０と目標画像としてのオブジェクト１３３０の基準線１３３１との間の距離に基づいて決定される。そして、ユーザ２２０は、リハビリテーション運動として、アバター画像１３２０を移動させてオブジェクト１３３０に近づける。
しかしながら、図１３Ｂに示したように、アバター画像１３２０が、オブジェクト１３３０の頂点１３３２に触れると、システムは、ユーザ２２０のリハビリテーション動作の一つが終了したと判断し、次の目標として新たなオブジェクト１３３０を表示する。
システムの提供者側としては、リハビリテーション運動として、ユーザ２２０が腕を伸ばしきった時にオブジェクト１３３０にアバター画像１３２０が接触するようにしたい。しかしながら、オブジェクト１３３０の大きさが大きい（頂点と基準線１３３１との距離が大きい）と、オブジェクト１３３０の端にアバター画像１３２０が触れただけで、オブジェクト１３３０に接触したと判定される。そのため、ユーザ２２０は、当初想定していた距離だけ腕を動かすことができないため、期待されるリハビリテーションの効果を得ることが困難となる。
また、ユーザ２２０としても、腕を伸ばし切らないうちにオブジェクト１３３０にタッチすることができるので、リハビリテーション運動による達成感や満足感を十分に得ることができず、リハビリテーションに対する意欲が低下することもある。
この場合、実際にアバター画像１３２０が動いた距離である運動距離１３１２は、ユーザ２２０が本来動かさなければならない距離である目標距離１３１１に対して、乖離している。そのため、ユーザ２２０は、リハビリテーション開始前に設定した運動距離１３１２の運動をしていないこととなり、リハビリテーションにより得られる効果も期待した効果よりも減少してしまう。
例えば、オブジェクト１３３０の一辺の長さを２０．０ｃｍ、アバター画像１３２０のセンサ部（アバター画像１３２０のヘッド部分）の直径１３２１を５．０ｃｍとする。この場合、ユーザ２２０が、オブジェクト１３３０の基準線１３３１ではなく頂点１３３２にアバター画像１３２０を接触させると、目標距離１３１１と運動距離１３１２との間に１０．０ｃｍ程度の誤差が生じる。
そのため、ユーザ２２０は、リハビリテーション開始前に想定していた運動距離１３１２の分だけアバター画像１３２０を動かしていないので、ユーザ２２０が本来享受できたはずであるリハビリテーションの効果が減少してしまう。
これに対し、ユーザ２２０が腕を伸ばし切った時にオブジェクト１３３０に触れられるように、オブジェクト１３３０を小さくすると、ユーザ２２０は、画面内でオブジェクト１３３０の位置を視認し難くなる。オブジェクト１３３０を視認することができなければ、リハビリテーションが成立しない。
そこで、本実施形態では、アバター画像１３２０のセンサ部（反応部分）をアバター画像１３２０のヘッド部分よりも小さな領域とする。これにより、目標距離１３１１と運動距離との間の乖離（誤差）をより小さくすることができる。
図１３Ｃは、本実施形態に係るリハビリテーション支援システムの動作の概略を説明する図である。そこで、本実施形態においては、想定した目標距離１３１１とアバター画像１３２０による運動距離１３１２との間に乖離が生じないように、オブジェクト１３３０の中心部のグラデーションを濃くして反応部分とする。そして、オブジェクト１３３０の反応部分の周囲の部分のグラデーションを薄くする。つまり、図１３Ａおよび図１３Ｂに示したオブジェクト１３３０の大きさを小さくし、その周りをオブジェクト１３３０よりも大きい視認補助画像１３３３で囲むようにする。すなわち、オブジェクト１３３０と視認補助画像１３３３とが重畳して表示されるようにしている。
ユーザ２２０から見れば、オブジェクト１３３０の大きさを小さくすると、オブジェクト１３３０が見難くなる（視認性が低下する）が、視認性の低下を補うために、小さくなったオブジェクト１３３０の周囲に視認補助画像１３３３を配置する。
例えば、オブジェクト１３３０の一辺の長さを５．０ｃｍ、視認補助画像１３３３の一辺の長さを２０．０ｃｍ、アバター画像１３２０のセンサ部１３２２の直径を２．０ｃｍとする。そうすると、目標距離１３１１と運動距離１３１２との誤差（乖離）は、２．０ｃｍ前後まで低下する。
これにより、オブジェクト１３３０および視認補助画像１３３３のグラデーションの違いと大きさの違いとによるオブジェクト１３３０の視認性の低下を防止しつつ、目標距離１３１１と運動距離１３１２との乖離（誤差）を小さくすることができる。また、副次的な効果として、オブジェクト１３３０にアバター画像１３２０を接触させた時の体験度が上昇する。すなわち、ユーザ２２０にとって、オブジェクト１３３０に接触した時の感覚が鮮明になり、リハビリテーションの目標を達成できたことの喜びも上昇する。
図１３Ｄは、本実施形態に係るリハビリテーション支援システムにおける視認補助画像の配置位置を説明する図である。図１３Ｃにおいては、目標画像としてのオブジェクト１３３０は、視認補助画像１３３３に包含されるように表示され、さらに、視認補助画像１３３３の中心近傍に配置されていた。
しかしながら、図１３Ｄに示したように、オブジェクト１３３０は、視認補助画像１３３３の手前の下辺付近に配置してもよい。つまり、ユーザ２２０から見て手前側にオブジェクト１３３０を配置してもよい。このように、オブジェクト１３３０は、視認補助画像１３３３の中に入っているように表示されていれば、視認補助画像１３３３のどの位置に配置されてもよい。このように、オブジェクト１３３０の大きさを小さくして、目標距離１３１１と運動距離１３１２との乖離を小さくすると、オブジェクト１３３０の視認性が低下する。そのため、オブジェクト１３３０の視認性を向上させるために、オブジェクト１３３０の周囲にオブジェクト１３３０よりも大きな視認補助画像１３３３を表示させることにより、オブジェクト１３３０の視認性の低下を補う。なお、オブジェクト１３３０の視認性を向上させるための視認補助画像１３３３は、ここに示したような、立方体のオブジェクト１３３０の倍率を拡大した立方体には限定されない。
次に、図１３Ｅ乃至図１３Ｉを用いて視認補助画像１３３３の他の形状について説明する。図１３Ｅは、本実施形態に係るリハビリテーション支援システムにおける視認補助画像の他の例を説明する図である。図１３Ｆは、本実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。図１３Ｇは、本実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。図１３Ｈは、本実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。図１３Ｉは、本実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。
図１３Ｅに示したように、視認補助画像１３４０は、例えば、オブジェクト１３３０の存在位置を示す矢印形状であってもよい。そして、オブジェクト１３３０は、矢印形状の視認補助画像１３４０の中に内包されていない。つまり、目標画像としてのオブジェクト１３３０と視認補助画像１３４０とが重畳して表示されているのではなく、視認補助画像１３４０は、オブジェクト１３３０の外側に配置される。このように、矢印形状の視認補助画像１３４０とすれば、ユーザ２２０は、矢印の先端部分の先に、オブジェクト１３３０が存在することを容易に認識することができる。
図１３Ｆに示したように、視認補助画像１３５０は、ユーザ２２０の注意を引くような形状であってもよい。なお、ユーザ２２０の注意を引くような形状は、図１３Ｆに示した形状には限定されず、例えば、星形形状や十字形形状、多角形形状などであってもよい。また、縦線１３５１と横線１３５２とを合わせて表示し、縦線１３５１および横線１３５２の中心にオブジェクト１３３０が配置されていることを示してもよい。
図１３Ｇに示したように、視認補助画像１３６０は、アバター画像１３２０のセンサ部１３２２からオブジェクト１３３０に向かって伸びる一点鎖線であってもよい。なお、視認補助画像１３６０は、一点鎖線には限定されず、例えば、直線や二点鎖線、点線などであってもよい。
そして、ユーザ２２０は、視認補助画像１３６０の一点鎖線をガイドラインとして、この一点鎖線に沿って視線を動かせばオブジェクト１３３０を視認して、オブジェクト１３３０の存在位置を認識することができる。さらに、この一点鎖線に沿ってアバター画像１３２０を動かせば、オブジェクト１３３０にアバター画像１３２０をタッチさせることができる。なお、視認補助画像１３７０と合わせて視認補助画像１３３３を表示すれば、オブジェクト１３３０の視認性がさらに向上する。
図１３Ｈに示したように、視認補助画像１３７０は、複数の矢印がセンサ部１３２２からオブジェクト１３３０に向かって一直線上に配置されたものであってもよい。そして、ユーザ２２０は、この複数の矢印をガイドラインとして、この複数の矢印に沿って視線を動かせばオブジェクト１３３０を視認して、オブジェクト１３３０の存在位置を認識することができる。さらに、この複数の矢印に沿ってアバター画像１３２０を動かせば、オブジェクト１３３０にアバター画像１３２０をタッチさせることができる。なお、視認補助画像１３７０と合わせて立方体の視認補助画像１３３３を表示すれば、オブジェクト１３３０の視認性がさらに向上する。
図１３Ｉに示したように、複数の球形の視認補助画像１３８０が、オブジェクト１３３０の上下左右の位置に配置されている。すなわち、図１３Ｉにおいては、４個の視認補助画像１３８０の中心にオブジェクト１３３０が配置されるように、複数の球形の視認補助画像１３８０がオブジェクト１３３０の周囲に配置されている。なお、視認補助画像１３８０の形状は、球形には限定されず、例えば、三角形形状や矩形形状、多角形形状、星形形状などであってもよい。
図１３Ｊは、本実施形態に係るリハビリテーション支援システムにおける視認補助画像のさらに他の例を説明する図である。リハビリテーション支援サーバは、例えば、ユーザ２２０のリハビリテーションの進み具合に合わせて、表示部１４０２に表示する視認補助画像１３３３の大きさを変更してもよい。例えば、リハビリテーション支援サーバは、リハビリテーションの初期には、大きめの視認補助画像１３３３を表示させる。そして、ユーザ２２０のリハビリテーションが進んだ状態では、リハビリテーションの進行具合に合わせて視認補助画像１３３３の大きさを小さくしてもよい。
また、リハビリテーション支援サーバは、ユーザ２２０のリハビリテーションの進行具合に合わせるのではなく、例えば、ユーザ２２０の視力に合わせて視認補助画像１３３３の大きさを変更してもよい。つまり、リハビリテーション支援サーバは、視力の悪いユーザ２２０であれば、大きめの視認補助画像１３３３を表示させ、比較的視力のよいユーザ２２０であれば、小さめの視認補助画像１３３３を表示させてもよい。このように、リハビリテーション支援サーバは、ユーザ２２０の視力に応じた大きさの視認補助画像を表示させてもよい。
また、例えば、リハビリテーション支援サーバは、ユーザ２２０が認知症であった場合、認知症の進行具合や認知機能に合わせた大きさの視認補助画像１３３３を表示させてもよい。なお、視認補助画像１３３３の大きさは、リハビリテーション支援サーバが自動的に変更しても、リハビリテーション支援システムを操作する医師などのオペレータが手動で変更して、ユーザ２２０が変更してもよい。
図１４は、本実施形態に係るリハビリテーション支援システムの構成を説明するブロック図である。リハビリテーション支援システム１４００は、リハビリテーション支援サーバ１４０１と表示部１４０２とを有する。なお、リハビリテーション支援システム１４００に含まれる要素はこれらには限定されない。リハビリテーション支援サーバ１４０１は、動作検出部１４１１、表示制御部１４１２、評価部１４１３および更新部１４１４を有する。
動作検出部１４１１は、ユーザ２２０が手に持っているコントローラの位置や、ユーザ２２０が装着しているヘッドマウントディスプレイなどの位置を取得し、取得した位置の変化に基づいて、ユーザ２２０の動き（リハビリテーション動作）を検出する。
表示制御部１４１２は、検出したリハビリテーション動作に応じて動くアバター画像１３２０と、リハビリテーション動作の目標を示す目標画像と、目標画像の視認性を向上させる少なくとも１つの視認補助画像１３３３と、を表示部１４０２などに表示させる。
表示制御部１４１２は、目標画像と視認補助画像１３３３とを重畳して表示させる。例えば、目標画像の大きさを視認補助画像１３３３の大きさよりも小さくし、目標画像が視認補助画像１３３３の中に包含されているように表示させる。
表示制御部１４１２は、目標画像を、例えば、視認補助画像１３３３の中心近傍に表示させてもよい。また、表示制御部１４１２は、目標画像を視認補助画像１３３３の中心近傍ではなく、視認補助画像１３３３の中に包含され、さらにアバター画像１３２０に近い側、つまり、ユーザ２２０から見て手前側に表示させてもよい。
表示制御部１４１２は、オブジェクト１３３０と視認補助画像１３３３とを識別可能に表示させてもよい。具体的には、例えば、オブジェクト１３３０のグラデーションを視認補助画像１３３３のグラデーションよりも濃く表示させる。これにより、ユーザ２２０は、オブジェクト１３３０が濃く表示されているので、薄く表示されている視認補助画像１３３３とのコントラストに差が生じ、オブジェクト１３３０を確実に認識することができる。なお、オブジェクト１３３０および視認補助画像１３３３へのグラデーションの付け方は、ここに示した方法には限定されない。例えば、視力の弱いユーザ２２０であっても、オブジェクト１３３０と視認補助画像１３３３とを確実に識別できるグラデーションの付け方であってもよい。
また、表示制御部１４１２は、オブジェクト１３３０と視認補助画像１３３３とを識別可能に表示させるために、オブジェクト１３３０と視認補助画像１３３３とを異なる色で表示する。表示制御部１４１２は、例えば、オブジェクト１３３０を濃色系の色で着色し、視認補助画像１３３３を淡色系の色で着色するが、着色する色の組み合わせ（パターン）はこれには限定されない。例えば、色覚異常（色盲）のユーザ２２０であっても、オブジェクト１３３０と視認補助画像１３３３とを確実に識別できる色の組み合わせで着色してもよい。また、表示制御部１４１２は、弱視や視野狭窄、色覚異常など様々なタイプのユーザ２２０に対応可能な着色をしてもよい。なお、オブジェクト１３３０と視認補助画像１３３３とに着色する色は、ユーザ２２０が選択してもよいし、医師などのオペレータが選択してもよい。
なお、ここでは、オブジェクト１３３０および視認補助画像１３３３のグラデーションや色などについて説明をしたが、他の視認補助画像１３４０，１３５０，１３６０，１３７０，１３８０についても同様にグラデーションや色を変化させてもよい。
さらに、表示制御部１４１２は、ユーザ２２０の視力および評価部１４１３による評価結果の少なくとも一方に応じて、視認補助画像１３３３の表示の変更を制御する。例えば、表示制御部１４１２は、ユーザ２２０の視力やユーザ２２０のリハビリテーションの進行具合、ユーザ２２０の認知症の進行具合などに応じて、視認補助画像１３３３の大きさを変更する。
評価部１４１３は、動作検出部１４１１が検出したリハビリテーション動作と、表示制御部１４１２によって表示された目標画像としてのオブジェクト１３３０が表す目標位置と、と比較して、ユーザ２２０のリハビリテーション能力を評価する。
更新部１４１４は、評価部１４１３による評価結果に応じて、オブジェクト１３３０により表される目標位置を更新する。
表示部１４０２は、表示制御部１４１２の制御に従い、目標画像や視認性補助画像などを表示する。表示部１４０２は、ヘッドマウントディスプレイやディプレイ、スクリーンなどであるが、これらには限定されない。
図１５Ａは、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの有する患者テーブルの一例を説明する図である。患者テーブル１５０１は、患者ＩＤ（Identifier）１５１１に関連付けて、属性情報１５１２、リハビリ対象１５１３、現在のレベル１５１４およびリハビリメニュー１５１５を記憶する。患者ＩＤ１５１１は、患者を識別するための識別子である。属性情報１５１２は、年齢や性別などの患者の属性を示す情報である。リハビリ対象１５１３は、その患者が身体のどの部位がリハビリテーションを受ける対象となっているかを示すデータであり、例えば、腕や脚などの身体の部位を表すデータである。
現在のレベル１５１４は、患者の現在のリハビリテーションのレベルを示すデータである。すなわち、患者のリハビリテーションの進行具合などを示すデータである。リハビリテーションの初期段階から最終段階までを複数のランク、例えば、Ａランク、Ｂランクなどに分けたデータである。なお、リハビリテーションのレベルの分け方は、これには限定されない。リハビリメニュー１５１５は、患者が受けるべきリハビリテーションのメニューに関する情報である。
次に、図１５Ｂは、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの有する表示パラメータテーブルの一例を説明する図である。表示パラメータテーブル１５０２は、リハビリメニュー１５１５に関連付けて、目標画像ＩＤ１５２１、視認補助画像ＩＤ１５２２および表示パラメータ１５２３を記憶する。
目標画像ＩＤ１５２１は、表示部１４０２に表示させるオブジェクト１３３０を識別する識別子である。視認補助画像ＩＤは、表示部１４０２に表示させる視認補助画像１３３３，１３４０，１３５０，１３６０，１３７０，１３８０を識別する識別子である。表示パラメータ１５２３は、オブジェクト１３３０や視認補助画像１３３３，１３４０，１３５０，１３６０，１３７０，１３８０を表示部１４０２に表示させるために必要なパラメータである。表示パラメータ１５２３には、例えば、位置や倍率などの情報が含まれるが、表示パラメータ１５２３に含まれる情報はこれらには限定されない。
そして、図１５Ｃは、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの有する画像テーブルの一例を説明する図である。画像テーブル１５０３は、画像種別１５３１に関連付けて画像データ１５３２、表示位置１５３３および倍率１５３４を記憶する。なお、画像テーブル１５０３に記憶される項目は、これらには限定されない。
画像種別１５３１は、表示すべき画像が、目標画像なのか視認補助画像なのかなどを区別する情報である。画像データ１５３２は、表示部１４０２に表示されるオブジェクト１３３０や視認補助画像１３３３などの画像データであり、様々な画像ファイルフォーマットの画像データが含まれる。表示位置１５３３は、表示部１４０２内のどの位置に表示すべきかを表すデータであり、例えば、（Ｘ座標位置，Ｙ座標位置，Ｚ座標位置）の組のデータなどである。倍率１５３４は、オブジェクト１３３０や視認補助画像１３３３などを表示部１４０２において、どのような大きさで表示するかを決定するためのデータである。
そして、リハビリテーション支援サーバ１４０１は、これらのテーブル１５０１，１５０２，１５０３を参照して視認補助画像１３３３，１３４０，１３５０，１３６０，１３７０，１３８０を表示部１４０２に表示させる。
図１６は、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバのハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)１６１０は演算制御用のプロセッサであり、プログラムを実行することで図１４のリハビリテーション支援サーバ１４０１の機能構成部を実現する。ＲＯＭ(Read Only Memory)１６２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース１６３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ１６１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース１６３０は、ＣＰＵ１６１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)１６４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ１６４０とストレージ１６５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース１６６０は、ＣＰＵ１６１０とは独立したＣＰＵを有して、ＲＡＭ１６４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ１６１０は、ＲＡＭ１６４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ１６１０は、処理結果をＲＡＭ６４０に準備し、後の送信あるいは転送はネットワークインタフェース１６３０やＤＭＡＣ、あるいは入出力インタフェース１６６０に任せる。
ＲＡＭ１６４０は、ＣＰＵ１６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１６４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。患者データ１６４１は、リハビリテーション支援システムを利用してリハビリテーションを受ける患者に関するデータである。画像データ１６４２は、表示部１４０２に表示される目標画像としてのオブジェクト１３３０や視認補助画像１３３３などのデータである。表示位置１６４３は、オブジェクト１３３０や視認補助画像１３３３を表示部１４０２のどの位置に表示するかを示すデータである。倍率１６４４は、オブジェクト１３３０や視認補助画像１３３３などの画像を表示部１４０２において、どの程度の大きさで表示するかを示すデータである。そして、これらのデータは、例えば、患者テーブル１５０１、表示パラメータテーブル１５０２および画像テーブル１５０３から読み出される。
入出力データ１６４５は、入出力インタフェース１６６０を介して入出力されるデータである。送受信データ１６４６は、ネットワークインタフェース１６３０を介して送受信されるデータである。また、ＲＡＭ１６４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域１６４７を有する。
ストレージ１６５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ１６５０は、患者テーブル１５０１、表示パラメータテーブル１５０２および画像テーブル１５０３を格納する。患者テーブル１５０１は、図１５Ａに示した、患者ＩＤ１５１１と属性情報１５１２などとの関係を管理するテーブルである。表示パラメータテーブル１５０２は、図１５Ｂに示した、リハビリメニュー１５１５と表示パラメータ１５２３などとの関係を管理するテーブルである。画像テーブル１５０３は、図１５Ｃに示した、画像種別１５３１と画像データ１５３２などとの関係を管理するテーブルである。
ストレージ１６５０は、さらに、動作検出モジュール１６５１、表示制御モジュール１６５２、評価モジュール１６５３および更新モジュール１６５４を格納する。
動作検出モジュール１６５１は、ユーザ２２０のリハビリテーション動作を検出するモジュールである。表示制御モジュール１６５２は、アバター画像１３２０と、目標画像としてのオブジェクト１３３０と、オブジェクト１３３０の視認性を向上させる視認補助画像１３３３などを表示部１４０２に表示させるモジュールである。評価モジュール１６５３は、ユーザ２２０のリハビリテーション能力を評価するモジュールである。更新モジュール１６５４は、評価結果に応じて、目標画像が表す目標位置を更新するモジュールである。これらのモジュール１６５１〜１６５４は、ＣＰＵ１６１０によりＲＡＭ１６４０のアプリケーション実行領域１６４７に読み出され、実行される。制御プログラム１６５５は、リハビリテーション支援サーバ１４０１の全体を制御するためのプログラムである。
入出力インタフェース１６６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１６６０には、表示部１６６１、操作部１６６２、が接続される。また、入出力インタフェース１６６０には、さらに、記憶媒体１６６４が接続されてもよい。さらに、音声出力部であるスピーカ１６６３や、音声入力部であるマイク、あるいは、ＧＰＳ（Global Positioning System）位置判定部が接続されてもよい。なお、図１６に示したＲＡＭ１６４０やストレージ１６５０には、リハビリテーション支援サーバ１４０１が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
図１７Ａは、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの処理手順を説明するフローチャートである。図１７Ｂは、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの視認補助画像表示の処理手順を説明するフローチャートである。これらのフローチャートは、ＣＰＵ１６１０がＲＡＭ１６４０を使用して実行し、図１４のリハビリテーション支援サーバ１４０１の機能構成部を実現する。
ステップＳ１７０１において、リハビリテーション支援サーバ１４０１は、視認補助画像を表示部１４０２などに表示させる。
ステップＳ１７２１において、リハビリテーション支援サーバ１４０１は、リハビリテーション支援システム１４００を利用してリハビリテーションを受ける患者の属性やどのようなリハビリテーションメニューを受けるかなどの、患者情報を取得する。
ステップＳ１７２３において、リハビリテーション支援サーバ１４０１は、表示部１４０２に表示すべき視認補助画像１３３３などを表示部１４０２に表示するために必要な表示パラメータを取得する。取得する表示パラメータは、例えば、視認補助画像１３３３などの位置や倍率などの関するパラメータである。
ステップＳ１７２５において、リハビリテーション支援サーバ１４０１は、視認補助画像１３３３の画像データを取得する。ステップＳ１７２７において、リハビリテーション支援サーバ１４０１は、表示部１４０２に視認補助画像１３３３などを表示する。
ステップＳ１７２９において、リハビリテーション支援サーバ１４０１は、視認補助画像１３３３などの表示の変更が必要か否かを判断する。表示変更が必要でない場合（ステップＳ１７２９のＮＯ）、リハビリテーション支援サーバ１４０１は、処理を終了する。表示変更が必要な場合（ステップＳ１７２９のＹＥＳ）、リハビリテーション支援サーバ１４０１は、次のステップへと進む。
ステップＳ１７３１において、リハビリテーション支援サーバ１４０１は、ユーザ２２０の視力やユーザ２２０のリハビリテーション能力の評価結果に応じて、視認補助画像１３３３の大きさを変更する。
本実施形態によれば、目標距離と運動距離との乖離を小さくするために、目標画像の大きさを小さくしても、目標画像の視認性を維持しつつ、目標距離と運動距離とを近づけて、リハビリテーションの効果を増大させることができる。また、ユーザは、目標画像にタッチした時の感覚が鮮明となるので、ユーザは目標達成の満足感を経験することができる。
［第４実施形態］
次に本発明の第４実施形態に係るリハビリテーション支援システムについて、図１８乃至図２１を用いて説明する。図１８は、本実施形態に係るリハビリテーション支援システムの構成を説明するブロック図である。本実施形態に係るリハビリテーション支援システムは、上記第３実施形態と比べると、音出力部を有する点で異なる。その他の構成および動作は、第２、第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
リハビリテーション支援システム１８００は、リハビリテーション支援サーバ１８０１および音出力部１８０２を備える。リハビリテーション支援サーバ１８０１は、音出力制御部１８１１を有する。音出力制御部１８１１は、目標画像としてのオブジェクト１３３０とアバター画像１３２０との位置関係に応じて、音の出力を制御する。音出力制御部１８１１が出力を制御した音は、音出力部１８０２から出力される。
音出力制御部１８１１は、例えば、オブジェクト１３３０が、上方から下方へ向かって降下している場合、オブジェクト１３３０とアバター画像１３２０との間の距離、つまり、位置関係に基づいて、音を出力する。
オブジェクト１３３０とアバター画像１３２０との間の距離が縮まるにつれて、つまり、オブジェクト１３３０がアバター画像１３２０に近づくにつれて、出力される音を高い周波数の音としてもよい。また、同様に、オブジェクト１３３０とアバター画像１３２０との間の距離が離れるにつれて、つまり、オブジェクト１３３０がアバター画像１３２０から遠ざかるにつれて、出力される音を低い周波数の音としてもよい。すなわち、ドップラー効果のように、オブジェクト１３３０（音源）とアバター画像１３２０（ユーザ２２０（観測者））との距離に応じて、音（波）の周波数が異なって観測されるような音響効果を表現してもよい。なお、出力される音の周波数を変更する代わりに、オブジェクト１３３０とアバター画像１３２０との間の距離に応じて、出力される音の音量を大小してもよい。
また、音出力制御部１８１１から音を出力することにより、ユーザ２２０に対して、オブジェクト１３３０の位置を教示してもよい。つまり、ユーザ２２０の聴覚を利用して、オブジェクト１３３０の位置を教示する。
例えば、ユーザ２２０が、リハビリテーション支援システム１８００を利用する際に、ヘッドフォンを装着している場合を考える。目標画像としてのオブジェクト１３３０が、アバター画像１３２０（ユーザ２２０）の右側にある場合には、リハビリテーション支援サーバ１８０１は、右耳側のヘッドフォンから音を出す。同様に、オブジェクト１３３０がアバター画像１３２０（ユーザ２２０）の左側にある場合には、左耳側のヘッドフォンから音を出す。これにより、ユーザ２２０は、音の方向からオブジェクト１３３０がユーザ２２０の右側にあるのか、左側にあるのかを判断することができる。さらに、オブジェクト１３３０がアバター画像１３２０（ユーザ２２０）の正面にある場合には、両方のヘッドフォンから音を出す。
また、以上の説明では、ユーザ２２０の視覚や聴覚などを利用してオブジェクト１３３０の位置を教示したが、視覚や聴覚以外の他の五感、味覚、触覚、嗅覚などを利用してユーザ２２０にオブジェクト１３３０の位置を教示してもよい。
例えば、ユーザ２２０の舌にセンサを置き、オブジェクト１３３０の位置に応じた味覚をユーザ２２０が感じるようにしてもよい。または、ユーザ２２０が手に持っているコントローラや、ユーザ２２０が装着しているヘッドフォン、ヘッドマウントディスプレイなどを振動させてもよい。つまり、ユーザ２２０の触覚を利用してオブジェクト１３３０の位置を教示してもよい。
図１９は、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの有する音テーブルの一例を説明する図である。音テーブル１９０１は、画像種別１５３１に関連付けて音データ１９１１を記憶する。そして、リハビリテーション支援サーバ１８０１は、音テーブル１９０１を参照して、出力する音を制御する。
図２０は、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバのハードウェア構成を説明する図である。ＲＡＭ２０４０は、ＣＰＵ１６１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。音データ２０４１は、出力される音に関するデータである。そして、このデータは、例えば、音テーブル１９０１から読み出される。
ストレージ２０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ２０５０は、音テーブル１９０１を格納する。音テーブル１９０１は、図１９に示した、画像種別１５３１と音データ１９１１との関係を管理するテーブルである。
ストレージ２０５０は、さらに、音出力制御モジュール２０５１を格納する。音出力制御モジュール２０５１は、目標画像としてのオブジェクト１３３０とアバター画像１３２０との位置関係に応じて、音の出力を制御するモジュールである。このモジュール２０５１は、ＣＰＵ１６１０によりＲＡＭ２０４０のアプリケーション実行領域１６４７に読み出され、実行される。なお、図２０に示したＲＡＭ２０４０やストレージ２０５０には、リハビリテーション支援サーバ１８０１が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
図２１Ａは、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの処理手順を説明するフローチャートである。図２１Ｂは、本実施形態に係るリハビリテーション支援システムに含まれるリハビリテーション支援サーバの音出力制御の処理手順を説明するフローチャートである。これらのフローチャートは、ＣＰＵ１６１０がＲＡＭ２０４０を使用して実行し、図１８のリハビリテーション支援サーバ１８０１の機能構成部を実現する。
ステップＳ２１０１において、リハビリテーション支援サーバ１８０１は、音の出力を制御する。ステップＳ２１２１において、リハビリテーション支援リハビリテーション支援サーバ１８０１は、アバター画像１３２０の位置を取得する。ステップＳ２１２３において、リハビリテーション支援サーバ１８０１は、オブジェクト１３３０の位置を取得する。ステップＳ２１２５において、リハビリテーション支援サーバ１８０１は、アバター画像１３２０とオブジェクト１３３０との位置関係を判定する。ステップＳ２１２７において、リハビリテーション支援サーバ１８０１は、判定した位置関係に応じて、音の出力を制御する。
本実施形態によれば、ユーザの視覚の他に聴覚を利用してリハビリテーションを実行するので、ユーザがより容易にオブジェクトを視認でき、リハビリテーションにより得られる効果をさらに高めることができる。また、ユーザは、視覚のみならず聴覚によってもオブジェクトの位置を把握することができる。また、音を出力するので、視力の弱いユーザであっても、本実施形態によるリハビリテーションを受けることができる。
［第５実施形態］
次に本発明の第５実施形態に係るシステムについて、図２２乃至図２４を用いて説明する。本実施形態に係るリハビリテーション支援システムは、上記第３実施形態と比べると、複数のパラメータで目標を明確化する点で異なる。その他の構成および動作は、第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図２２は、本実施形態における目標ＤＢ２１６の内容を詳しく示す図である。図２２に示すように、リハビリテーションにおいて現状クリアすべき目標は、患者ごとに、設定されている。まず、患者は、その属性として、運動レベルと認知レベルが別個に判定される。運動レベルや認知レベルが高い場合にはＡ、低い場合にはＣ、その間はＢと評価される。例えば、患者ＩＤ００１の場合、運動レベルは高いが認知レベルは低い。この場合、オブジェクトまでの距離、つまり手を最大限に伸ばす距離は、遠く（ここでは例として５段階のレベル５）、オブジェクトの出現範囲はやや狭く（ここでは例としてレベル３）、オブジェクトの動くスピードは遅い（ここでは例としてレベル２）。さらに、オブジェクトの出現間隔は長く（ここでは例としてレベル１）、オブジェクトサイズおよびセンササイズは共に大きい（ここでは例としてレベル１）。
一方、患者ＩＤ００２の場合、運動レベルは低いが、認知レベルは高い。この場合、オブジェクトまでの距離、つまり手を最大限に伸ばす距離は、短く（ここでは例として５段階のレベル２）、オブジェクトの出現範囲は広く（ここでは例としてレベル５）、オブジェクトの動くスピードは遅い（ここでは例としてレベル１）。一方、オブジェクトの出現間隔は短く（ここでは例として５段階の５）、オブジェクトサイズおよびセンササイズは共に小さい（ここでは例として５段階の５）。
患者ＩＤ００３の場合、運動レベルも認知レベルも低い。この場合、オブジェクトまでの距離、つまり手を最大限に伸ばす距離は短く（ここでは例として５段階のレベル１）、オブジェクトの出現範囲は狭く（ここでは例としてレベル１）、オブジェクトの動くスピードは遅い（ここでは例としてレベル１）。さらに、オブジェクトの出現間隔は長く（ここでは例として５段階の１）、オブジェクトサイズおよびセンササイズは共に大きい（ここでは例として５段階の１）。
このように、患者の属性に合わせて、様々にパラメータを変化させる。
一般的には、図２３に示すように、運動機能、認知機能と、各種のパラメータとの関係は予想されるが、本願発明のリハビリテーション支援システムは、この関係に限定したパラメータを設定するわけではなく、各患者の状態や能力に応じて、各種のパラメータ（距離、範囲、スピード、間隔およびサイズ）を変化させてその患者にぴったりのリハビリテーション強度を模索することができる。
図２４は、本実施形態において表示制御部２１２がヘッドマウントディスプレイ２３３に表示させる画面例２４００を示す。表示制御部２１２は、背景画像２４０１に重畳して、オブジェクト２４１１を表示する。表示制御部２１２は、サツマイモの形をしたオブジェクト２４１１が、ユーザ２２０の頭上方向から下方に向けて降下してきているように見えるように表示位置および大きさを徐々に変えて表示する。ここでは、オブジェクト２４１１が出現する予備状態として、お百姓さんが、腰をかがめている状態の画像２４１２を表示させる。ユーザは、腰をかがめているお百姓さん２４１２を認識すると、次にその方向からオブジェクト２４１１が出現すると予測するようになる。また、お百姓さん２４１３は、オブジェクト２４１１を上方に放り投げるため、ユーザは自然とそのオブジェクト２４１１を目でおって上方を見上げる動作を行なう。すなわち言語的な指示ではなく、自然とユーザが上方を意識するようなインストラクションを行なうことができる。
その後、ユーザ２２０は、落ちてきたオブジェクト２４１１の位置に合わせて、コントローラ２３４、２３５を動かして、かごの形をしたアバター画像３１１（図２４では不図示）を移動させる。落ちてきたオブジェクト２４１１がかごに入れば、ミッションクリアになり、要求されたリハビリテーション動作をクリアしたことになる。オブジェクト２４１１をかごに入れることができなかった場合に、ユーザの精神的なショックやストレスを和らげるよう、サツマイモの回収を手伝う子供が表示されてもよい。なお、補助的なインジケータ２４１４を表示して、お百姓さんの出現位置をユーザに教えてもよい。
この例においても、ユーザの運動能力や認知能力に応じて、各種のパラメータ（落ちてくるサツマイモまでの距離、お百姓さんが出現する範囲、サツマイモの落下スピード、お百姓さんがサツマイモを投げる間隔、サツマイモおよびカゴのサイズ）を変化させて、ユーザに適したリハビリテーション強度を設定することができる。
図２５は、本実施形態において表示制御部２１２がヘッドマウントディスプレイ２３３に表示させる他の画面例２５００を示す。ここでは表示制御部２１２は、背景画像２５０１に重畳して、オブジェクト２５１１を表示する。表示制御部２１２は、この例ではリンゴの形をしたオブジェクト２５１１が、ユーザ２２０の頭上方向から下方に向けて降下してきているように見えるように表示位置および大きさを徐々に変えて表示する。リンゴの形をしたオブジェクト２５１１が、落ちてくる予備状態として、猿が木を揺らす画像２５１２を表示させる。ユーザは、猿を認識すると、次にその方向からオブジェクト２５１１が落ちてくると予測できる。その後、ユーザ２２０は、落ちてきたオブジェクト２５１１の位置に合わせて、コントローラ２３４、２３５を動かして、かごの形をしたアバター画像３１１（図２５では不図示）を移動させる。落ちてきたオブジェクト２５１１がかごに入れば、ミッションクリアになり、要求されたリハビリテーション動作をクリアしたことになる。オブジェクト２５１１をかごに入れることができなかった場合にも、ユーザの精神的なショックやストレスを和らげるよう、リンゴの回収を手伝う子供が表示されてもよい。
図２６は、本実施形態において表示制御部２１２がヘッドマウントディスプレイ２３３に表示させる他の画面例２６００を示す。ここでは表示制御部２１２は、背景画像２６０１に重畳して、オブジェクト２６１１を表示する。表示制御部２１２は、この例ではドラキュラの形をしたオブジェクト２６１１が、ユーザ２２０の前方から近づいてくるように表示位置および大きさを徐々に変えて表示する。ユーザは、近づいてくるドラキュラの位置に合わせて、コントローラ２３４、２３５を動かして、十字架の形をしたアバター画像２６１３を移動させる。ドラキュラに十字架が当たれば、ミッションクリアになり、要求されたリハビリテーション動作をクリアしたことになる。ドラキュラに十字架を当てることができなかった場合にも、ユーザの精神的なショックやストレスを和らげるよう、手伝う子供が表示されてもよい。
以上の例によれば、ユーザの運動機能と認知機能の両方に対して課題を与えることができる。例えば、お百姓さんがかがむ、猿が出てくるなどといった予備状態を表示することで、ユーザの認知機能に対する課題を与え、さらに、オブジェクトの距離や方向、スピード等を変化させて、ユーザの運動機能に対する課題を与えることができる。すなわち、腕を伸ばすという運動的なリハビリテーション動作と、次のオブジェクトの出現位置を予測して視線を動かすという認知的なリハビリテーション動作との両方を患者に行なわせることにより、より効果的なリハビリテーションを行なうことが可能となる。
なお、図２４〜図２６におけるオブジェクトに対して、第３実施形態で説明した視認補助画像を追加的に表示させても良く、その場合、患者の認知機能に合わせて、視認補助画像の輪郭の大きさを変えてもよい。さらに、センサとしてアバター画像が視認補助画像（輪郭）のみに触れた場合と、オブジェクトに触れた場合とで、段階的な評価（輪郭だけならgood,真ん中まで触ればvery goodというように）を行なってもよい。
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。例えば表示装置はヘッドマウントに限定されるものではなく、大型画面でもよい。コントローラも、グリップタイプに限定されるものではなく、ウェアラブルセンサでもよい。
本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

Claims (4)

  1. ユーザの３次元的な第１リハビリテーション動作を検出する動作検出部と、
    検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、を３次元仮想空間内に生成し、表示させる表示制御部と、
    前記第１リハビリテーション動作と、前記目標画像が表わす目標位置とを前記３次元仮想空間内で比較して、前記ユーザのリハビリテーション能力を評価する評価部と、
    前記評価部による評価結果に応じて、前記目標位置を更新する更新部と、
    を備え、
    前記表示制御部は、前記第１リハビリテーション動作に加えて、第２リハビリテーション動作を要求する表示を行ない、前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像の輪郭と、前記目標画像の視認性を向上させる視認補助画像の輪郭とを表示させ、
    前記評価部は、前記第１リハビリテーション動作および前記第２リハビリテーション動作の両方に基づいて、前記リハビリテーション能力を評価するリハビリテーション支援システム。
  2. 前記表示制御部は、前記ユーザの視力または前記評価部による前記評価結果に応じて、前記視認補助画像の輪郭の大きさを変更する請求項１に記載のリハビリテーション支援システム。
  3. ユーザの３次元的な第１リハビリテーション動作を検出する動作検出ステップと、
    検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、を３次元仮想空間内に生成し、表示させる表示制御ステップと、
    前記第１リハビリテーション動作と、前記目標画像が表わす目標位置とを前記３次元仮想空間内で比較して、前記ユーザのリハビリテーション能力を評価する評価ステップと、
    前記評価ステップによる評価結果に応じて、前記目標位置を更新する更新ステップと、を含み、
    前記表示制御ステップにおいて、前記第１リハビリテーション動作に加えて、第２リハビリテーション動作を要求する表示を行ない、前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像の輪郭と、前記目標画像の視認性を向上させる視認補助画像の輪郭とを表示させ、
    前記評価ステップにおいて、前記第１リハビリテーション動作および前記第２リハビリテーション動作の両方に基づいて、前記リハビリテーション能力を評価するリハビリテーション支援装置の制御方法。
  4. ユーザの３次元的な第１リハビリテーション動作を検出する動作検出ステップと、検出した前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像と、を３次元仮想空間内に生成し、表示させる表示制御ステップと、
    前記第１リハビリテーション動作と、前記目標画像が表わす目標位置とを前記３次元仮想空間内で比較して、前記ユーザのリハビリテーション能力を評価する評価ステップと、
    前記評価ステップによる評価結果に応じて、前記目標位置を更新する更新ステップと、
    をコンピュータに実行させるリハビリテーション支援プログラムであって、
    前記表示制御ステップにおいて、前記第１リハビリテーション動作に加えて、第２リハビリテーション動作を要求する表示を行ない、前記第１リハビリテーション動作に応じて動くアバター画像と、前記第１リハビリテーション動作の目標を示す目標画像の輪郭と、前記目標画像の視認性を向上させる視認補助画像の輪郭とを表示させ、
    前記評価ステップにおいて、前記第１リハビリテーション動作および前記第２リハビリテーション動作の両方に基づいて、前記リハビリテーション能力を評価するリハビリテーション支援プログラム。
JP2019514593A 2017-04-25 2018-04-25 リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム Active JP6758004B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017086674A JP6200615B1 (ja) 2017-04-25 2017-04-25 リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP2017204243A JP6425287B1 (ja) 2017-10-23 2017-10-23 リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
PCT/JP2018/016886 WO2018199196A1 (ja) 2017-04-25 2018-04-25 リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020103358A Division JP7179364B2 (ja) 2020-06-15 2020-06-15 リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

Publications (2)

Publication Number Publication Date
JPWO2018199196A1 JPWO2018199196A1 (ja) 2020-01-16
JP6758004B2 true JP6758004B2 (ja) 2020-09-23

Family

ID=63919944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019514593A Active JP6758004B2 (ja) 2017-04-25 2018-04-25 リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム

Country Status (5)

Country Link
US (1) US20190247719A1 (ja)
EP (1) EP3539525A4 (ja)
JP (1) JP6758004B2 (ja)
CN (1) CN110022835B (ja)
WO (1) WO2018199196A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7455345B2 (ja) * 2018-12-05 2024-03-26 有限会社Sol Entertainment プログラム
JP7385238B2 (ja) * 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
JP6627044B1 (ja) * 2019-06-06 2020-01-08 株式会社リクティー リハビリ支援装置及びリハビリ支援プログラム
JP6714285B1 (ja) * 2019-07-31 2020-06-24 株式会社ｍｅｄｉＶＲ リハビリテーション支援装置及びリハビリテーション支援方法
JP6710845B1 (ja) * 2019-10-07 2020-06-17 株式会社ｍｅｄｉＶＲ リハビリテーション支援装置、その方法およびプログラム
JP7452838B2 (ja) * 2019-12-19 2024-03-19 リーフ株式会社 身体機能訓練装置、身体機能訓練方法、プログラム、及び、記録媒体
JP7493721B2 (ja) 2020-11-24 2024-06-03 日本電信電話株式会社 適応能力評価装置、適応能力評価方法及び適応能力評価プログラム
JP7125180B1 (ja) * 2021-09-10 2022-08-24 株式会社mediVR 認知能力推定装置、その方法およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0353119A (ja) * 1989-07-20 1991-03-07 Nippon Koku Kk 飛行操縦適性検査装置
JP3469410B2 (ja) * 1996-11-25 2003-11-25 三菱電機株式会社 ウェルネスシステム
JP2008000230A (ja) * 2006-06-20 2008-01-10 Railway Technical Res Inst 対応能力評価システム及び対応能力評価プログラム
US9028258B2 (en) * 2007-08-15 2015-05-12 Bright Cloud International Corp. Combined cognitive and physical therapy
JP5358168B2 (ja) * 2008-12-08 2013-12-04 任天堂株式会社 ゲーム装置およびゲームプログラム
JP2011110215A (ja) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
CN102908772B (zh) * 2012-10-16 2015-02-18 东南大学 利用增强现实技术的上肢康复训练系统
US8764532B1 (en) * 2012-11-07 2014-07-01 Bertec Corporation System and method for fall and/or concussion prediction
JP6148116B2 (ja) * 2013-08-23 2017-06-14 株式会社元気広場 認知機能低下予防装置、及び、認知機能低下予防装置の制御方法
CN104706499B (zh) * 2013-12-12 2018-01-09 宁波瑞泽西医疗科技有限公司 上肢脑神经康复训练系统
JP6334276B2 (ja) * 2014-06-04 2018-05-30 日本光電工業株式会社 リハビリテーション支援システム
ES2693095T3 (es) * 2014-07-03 2018-12-07 Teijin Pharma Limited Dispositivo de asistencia de rehabilitación y programa para controlar el dispositivo de asistencia de rehabilitación
KR101541082B1 (ko) * 2015-01-23 2015-08-03 주식회사 네오펙트 손 재활 운동 시스템 및 방법
JP2017049414A (ja) * 2015-09-01 2017-03-09 Ｓｍｃｃ株式会社 タスク提供装置、タスク提供プログラム、タスク提供プログラムを記録した記録媒体及びタスク提供システム
JP6730104B2 (ja) * 2016-06-14 2020-07-29 株式会社ベスプラ 情報処理端末
BR102016022139B1 (pt) * 2016-09-26 2020-12-08 Antonio Massato Makiyama equipamento para reabilitação motora de membros superiores e inferiores

Also Published As

Publication number Publication date
CN110022835B (zh) 2021-08-17
JPWO2018199196A1 (ja) 2020-01-16
EP3539525A1 (en) 2019-09-18
EP3539525A4 (en) 2020-07-29
US20190247719A1 (en) 2019-08-15
CN110022835A (zh) 2019-07-16
WO2018199196A1 (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6758004B2 (ja) リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP6425287B1 (ja) リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP6200615B1 (ja) リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
US11083959B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
US11161047B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
JP7179364B2 (ja) リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP2024020292A (ja) 動作要求システム、動作要求方法および動作要求プログラム
JP6768231B2 (ja) リハビリテーション支援装置、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP6969794B2 (ja) リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
CN112930162B (zh) 康复支援装置、其方法及程序
JP6531338B1 (ja) リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP7218978B2 (ja) リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP7149658B2 (ja) リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP7125180B1 (ja) 認知能力推定装置、その方法およびプログラム
JP7074373B2 (ja) リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
JP7391438B1 (ja) 情報処理システム、情報処理方法および情報処理プログラム
JP7036476B1 (ja) 認知能力推定装置、その方法およびプログラム
JP2023041004A (ja) リハビリテーション支援装置、その方法およびプログラム
KR20240036743A (ko) 가상현실 기반 안구운동을 통한 사시 개선 시스템 및 방법
Chessa et al. An Oculus Rift based Exergame to Improve Awareness in Disabled People.
JP2023040990A (ja) リハビリテーション支援装置、その方法およびプログラム
JP2021060957A (ja) リハビリテーション支援装置、その方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191023

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191023

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200615

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200826

R150 Certificate of patent or registration of utility model

Ref document number: 6758004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150