WO2024071176A1 - 視力訓練システム、視力訓練方法及びプログラム - Google Patents

視力訓練システム、視力訓練方法及びプログラム Download PDF

Info

Publication number
WO2024071176A1
WO2024071176A1 PCT/JP2023/035092 JP2023035092W WO2024071176A1 WO 2024071176 A1 WO2024071176 A1 WO 2024071176A1 JP 2023035092 W JP2023035092 W JP 2023035092W WO 2024071176 A1 WO2024071176 A1 WO 2024071176A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
eye
transparency
display
Prior art date
Application number
PCT/JP2023/035092
Other languages
English (en)
French (fr)
Inventor
武範 猪俣
雄一 奥村
Original Assignee
ＩｎｎｏＪｉｎ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ＩｎｎｏＪｉｎ株式会社 filed Critical ＩｎｎｏＪｉｎ株式会社
Publication of WO2024071176A1 publication Critical patent/WO2024071176A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H5/00—Exercisers for the eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Definitions

  • the present invention relates to a vision training system, a vision training method, and a program.
  • a vision training method has been proposed that uses a headset to change how the right and left eyes see (see Patent Document 1).
  • Patent Document 1 if the way the entire space is viewed is changed for each eye, it becomes difficult to concentrate on the work object that should be viewed. Also, if the contrast, brightness, darkness, etc. of the work object is changed, the object ends up standing out more.
  • the present invention was made in light of this background, and aims to provide technology that can train eyesight.
  • the main invention of the present invention for solving the above problem is a vision training system comprising a first display device that displays an image to one eye of a user, a second display device that displays an image to the other eye of the user, and a display control unit that controls the first and second display devices so that an object to be operated by the user is displayed at a different transparency on the first and second display devices.
  • the present invention allows for visual acuity training.
  • FIG. 1 is a diagram illustrating an example of the configuration of a visual acuity training system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of the configuration of an HMD.
  • FIG. 2 is a diagram illustrating an example of the software configuration of a computer 2.
  • FIG. 2 is a diagram showing an example of an image displayed on the HMD 1.
  • FIG. 13 is a diagram showing another example of an image displayed on the HMD 1.
  • 2 is a diagram illustrating the operation of the computer 2 in the visual acuity training system of the present embodiment.
  • a visual acuity training system according to an embodiment of the present invention will be described.
  • a user wears a head mounted display (HMD1) and performs work in a virtual space.
  • HMD1 head mounted display
  • FIG. 1 is a diagram showing an example of the configuration of a visual acuity training system according to this embodiment.
  • the visual acuity training system according to this embodiment includes a computer 2.
  • the computer 2 is connected to an HMD 1 and an input device 3, and can receive data input from the input device 3 and control the display of images on the HMD 1.
  • the computer 2 may include a CPU 201, a memory 202, and a storage device 203.
  • the storage device 203 is, for example, a hard disk drive, a solid state drive, or a flash memory that stores various data and programs.
  • Each functional unit of the computer 2 which will be described later, is realized by the CPU 201 reading a program stored in the storage device 203 into the memory 202 and executing it, and each storage unit of the computer 2 may be realized as part of the storage area provided by the memory 202 and the storage device 203.
  • the input device 3 is, for example, a controller.
  • the input device 3 can support the user in making specific inputs within the virtual space.
  • the input device 3 can be configured, for example, as a set of controllers for the left and right hands.
  • the input device 3 can include, for example, an operation trigger button, an infrared LED, a sensor, a joystick, a menu button, and the like.
  • the input device 3 can also detect posture and movement using an acceleration sensor (not shown) or the like, and input posture and movement data to the computer 2 as input data.
  • the computer 2 performs control processing to display a virtual object (three-dimensional object) to be worked on on the HMD 1, and also moves a virtual hand in response to input from the input device 3, allowing the user to perform work on the work object through the movement of the virtual hand.
  • a virtual object three-dimensional object
  • FIG. 2 is a diagram showing an example of the configuration of the HMD 1.
  • the HMD 1 can be worn on the user's head.
  • the HMD 1 is equipped with display devices 11 and 12 so as to be positioned in front of the user's left and right eyes.
  • the display device 11 displays an image to one eye (the right eye in the example of FIG. 2).
  • the display device 12 displays an image to the other eye (the left eye in the example of FIG. 2).
  • optically transmissive and non-transmissive displays can be used as the display devices 11 and 12. As described below, the transparency of the object to be worked on displayed on the display devices 11 and 12 is controlled to be different.
  • FIG. 3 is a diagram showing an example of the software configuration of the computer 2.
  • the computer 2 can include an operation input unit 211, a display control unit 212, a setting storage unit 231, and an object storage unit 232.
  • the setting storage unit 231 can store various setting items.
  • the setting storage unit 231 can store the setting items in association with information (user ID) indicating the user.
  • the setting items can be set, for example, by an ophthalmologist who treats the user.
  • the setting items can include, for example, information indicating the display device 11 or 12 for which the transparency of an object is to be increased.
  • the setting items can include, for example, information specifying the eye with stronger or weaker vision of the user. In this case, the transparency of the object can be increased in the display device 11 or 12 corresponding to the eye with stronger vision, so that the eye with weaker vision can be trained to see the operation target more closely.
  • the setting items can include, for example, the transparency of the object.
  • the setting items can store the difficulty level set for the user. For example, when there are multiple objects to be operated, the setting items can include information indicating the object to be viewed with greater concentration.
  • the object memory unit 232 can store information for displaying virtual objects (hereinafter referred to as object information; for example, this can be a three-dimensional model).
  • the operation input unit 211 can receive input from the input device 3.
  • the operation input unit 211 can receive information (event information) indicating operations such as the attitude and movement of the input device 3 and the pressing of a button from the input device 3, for example.
  • the display control unit 212 displays images on the display devices 11 and 12.
  • the display control unit 212 can display virtual objects in a virtual space based on object information stored in the object memory unit 232.
  • the display control unit 212 can refer to the setting memory unit 231 to determine which display device 11 or 12 the transparency of the object will be increased on and to what degree the transparency of the object will be. Furthermore, when there are multiple objects to be operated, the display control unit 212 can determine which display device 11 or 12 the transparency of which object will be increased on.
  • the display control unit 212 controls the object to be operated by the user, which is displayed on the display devices 11 and 12, so that it has different transparency on the first and second display devices.
  • the display control unit 212 can display various objects in a virtual space related to so-called VR (Virtual Reality).
  • the display control unit 212 can display three-dimensional objects on the display devices 11 and 12 so that a stereoscopic image is formed by utilizing parallax.
  • the display control unit 212 can display objects on the display devices 11 and 12 so that the object is displayed three-dimensionally to the user and has different transparency on the display devices 11 and 12.
  • the display control unit 212 may also display a virtual object in an augmented reality (AR) space or a mixed reality (MR) space.
  • AR augmented reality
  • MR mixed reality
  • the HMD 1 may be equipped with a camera, and the display control unit 212 may display an image captured by the HMD 1, and may display a virtual object superimposed on the image from the camera so that the object to be operated is displayed in three dimensions.
  • the display control unit 212 can also detect an object from an image captured by a camera (not shown, which may be provided in the HMD 1 or the computer 2) and change the transparency of the detected object.
  • the HMD 1 or the computer 2 can be provided with a first and second camera that captures the user's field of view, and the computer 2 can be provided with an image acquisition unit that acquires the first and second images captured by the first and second cameras.
  • the display control unit 212 can detect an object from the first and second images and perform image processing to increase the transparency of the object area in the first or second image.
  • the display control unit 212 can, for example, detect the user's gaze point, recognize the object at the gaze point position among the objects detected from the first and second images as the object to be operated, and change the transparency of the area occupied by the recognized object.
  • the display control unit 212 can control the display device 11 or 12 placed in front of the eye with the weaker degree of amblyopia (stronger eyesight) to increase the transparency of the object displayed on the display device 11 or 12. This makes it easier for the user to use the poorer eye, and allows the user to train themselves to use the poorer eye more.
  • weaker degree of amblyopia stronger eyesight
  • the display control unit 212 may control the transparency of only one of the objects displayed on the display device 11 or 12 to increase over time. For example, the transparency can be changed while the user is working on the object.
  • the transparency can be changed according to the degree of treatment.
  • the transparency can be changed according to the degree of amblyopia.
  • the transparency can be changed according to the difficulty level set for the user. That is, when a higher difficulty level is set, the transparency can be set to be higher.
  • the difficulty level can be set by inquiring about the subjective difficulty of the user through a questionnaire or the like, and lowering the transparency if the user feels the difficulty level is higher than a predetermined level, and raising the transparency if the user feels the difficulty level is lower than the predetermined level.
  • the predetermined difficulty level and transparency can be set by an ophthalmologist.
  • FIG. 4 is a diagram showing an example of an image displayed on the HMD 1.
  • a kendama is displayed as the object to be operated, and it is assumed that the left eye has weaker vision than the right eye.
  • the object image 111 displayed to the right eye of the kendama has a higher transparency than the object image 121 displayed to the left eye.
  • the display control unit 212 can perform control to increase the transparency of the object displayed to one eye (the right eye in the example of FIG. 4) while the user is playing kendama using hand images 112 and the hands displayed by 112 in the virtual space.
  • FIG. 5 is a diagram showing another example of an image displayed on the HMD 1.
  • the transparency of the first object can be left unchanged (or decreased) for one eye (a person with a strong degree of amblyopia, weak eyesight, poor vision, or the person being trained) and the transparency of the second object can be increased, while the transparency of the first object can be increased and the transparency of the second object can be left unchanged (or decreased) for the other eye (a person with a weak degree of amblyopia, not the person being trained).
  • FIG 5 shows a case where the vision of the left eye is weak, and an example is shown in which the transparency of the ball 1111 of the kendama 111 for the right eye is increased while the transparency of the kendama 1112 is not increased, while the transparency of the ball 1211 of the kendama 121 for the left eye is not increased but the transparency of the kendama 1212 is increased.
  • FIG. 6 is a diagram for explaining the operation of the computer 2 in the visual acuity training system of this embodiment.
  • the computer 2 reads out the setting items corresponding to the user stored in the setting information storage unit 231 (S301), displays images on the display devices 11 and 12 so that the object to be operated is displayed in three dimensions in the virtual space based on the object information stored in the object storage unit 232 (S302), accepts instructions to operate the object in response to input from the input device 3 (S303), and performs an operation on the object, for example, by operating a virtual hand.
  • the computer 2 increases the transparency of the object to be operated on either the display device 11 or 12 in response to the setting items (S304).
  • the computer 2 may be provided with an alert output unit that outputs an alert.
  • the alert output unit can output an alert for, for example, forgetting to complete training.
  • the alert output unit can record in the storage device 203 the date and time when the processing of amblyopia training was performed by the operation input unit 211 and the display control unit 212, and output an alert indicating that training has not been performed if a predetermined time has passed since the recorded date and time.
  • the alert output unit may be provided in a server device (not shown) communicatively connected to the computer 2.
  • the operation input unit 211 transmits the date and time when the amblyopia training was performed to the server device
  • the server device may be provided with a training date and time storage unit that stores the date and time when the amblyopia training was performed in association with information identifying the computer 2 or the user.
  • the server device may also send an alert to the computer 2 or user for which a predetermined time has passed since the date and time stored in the training date and time storage unit, indicating that the training has not been performed.
  • the alert output unit can also send an alert to other users in addition to or instead of the user performing the training.
  • the alert output unit can send an alert to the user's guardian, the user's supervisor, an ophthalmologist examining the user, etc.
  • the computer 2 may also include a history storage unit that stores history including the date and time when amblyopia training was performed, and a schedule storage unit that stores the training schedule. For example, the number of training sessions and/or the training time in a predetermined period (for example, one week or one month) may be set in the training schedule. For example, the date on which training is scheduled to be performed may also be set in the training schedule.
  • the alert output unit compares the training schedule stored in the schedule storage unit with the training history stored in the history storage unit to determine the degree of compliance with the schedule (degree of compliance), and can transmit the degree of compliance to the user or ophthalmologist by email, chat, or the like.
  • the degree of compliance may be calculated, for example, by tallying up the number of training sessions and/or the time of training sessions performed within a predetermined period from the training history, and calculating the difference or ratio between the number of sessions and/or the time set in the schedule.
  • the degree of compliance may also be calculated by determining whether training has been performed based on whether history corresponding to the date set in the schedule (which may include a predetermined number of days before and after) is stored in the history storage unit, and dividing the number of days on the date on which training was performed by the number of days on the scheduled date, for example.
  • the computer 2 may also include a reward granting unit that grants a reward to a user who has performed training. By granting a reward, it is possible to improve the user's adherence.
  • the reward granting unit can grant, for example, a monetary value (monetary reward) as a reward.
  • the reward granting unit can issue, for example, points that can be used to purchase items.
  • the reward granting unit can grant, as a reward, for example, something that has meaning to the user himself (an inner reward) regardless of monetary value.
  • the reward granting unit can, for example, adjust the difficulty level to give a sense of accomplishment.
  • the reward granting unit can display content that is only displayed to users who have completed a specified challenge, when the challenge is completed.
  • the reward granting unit can grant, for example, a reward that can gain recognition from other users (a social reward).
  • the reward granting unit gives points to a user when the user completes a game using an object with changed transparency (a trick using a kendama in the above embodiment).
  • the computer 2 is communicatively connected to a server device (not shown), and the reward granting unit can transmit the points given to the user to the server device.
  • the server device can be equipped with a score memory unit that records the user's score for each user.
  • the score memory unit can tally up the scores (assuming a total, but other values are also acceptable) for a predetermined period (which can be the length of a term, such as one hour, one day, one week, or one year), rank the users according to the totaled points (total points), and transmit the ranking to the computer 2 and/or the user's terminal (e.g., a smartphone).
  • the ranking can include information indicating the user, such as a nickname, and the total points for the points scored during the period (which can be the entire period), sorted in order of total points, and include only a top predetermined number (e.g., 10 people).
  • the reward granting unit can grant a reward according to the score (an amount according to the score or a reward that varies depending on the score), for example.
  • the reward granting unit can grant a reward (in an amount corresponding to the score or with content that varies depending on the score) according to the number of times a program for amblyopia training is started using the computer 2 (realizing the operation input unit 211 and the display control unit 212).
  • the reward granting unit can grant a reward in accordance with instructions from an ophthalmologist.
  • the reward granting unit stores the reward to be granted in the storage unit so that it is unavailable to the user, and when instructions from the ophthalmologist are received, the reward granting unit can grant the stored reward so that it is available to the user.
  • the present disclosure also includes the following configurations.
  • a vision training system comprising: [Item 2] Item 1 is a visual acuity training system according to the present invention, the object is a virtual object, the display control unit displays the object on the first and second display devices so that the object is displayed three-dimensionally to the user and has different transparency on the first and second display devices;
  • a vision training system comprising: [Item 3] Item 1 is a visual acuity training system according to the present invention, a setting information storage unit that stores information indicating one of the user's eyes having stronger vision, the display control unit controls the first or second display device to display the image on the eye indicated by the information stored in the setting information storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Computer Graphics (AREA)
  • Rehabilitation Therapy (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Rehabilitation Tools (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】視力を訓練することができるようにする。 【解決手段】視力訓練システムであって、ユーザの片方の目に映像を表示する第１の表示装置と、ユーザの他方の目に映像を表示する第２の表示装置と、第１及び第２の表示装置に表示されるユーザの操作対象となる物体が第１及び第２の表示装置で異なる透明度となるように制御する表示制御部と、を備えることを特徴とする。

Description

視力訓練システム、視力訓練方法及びプログラム
　本発明は、視力訓練システム、視力訓練方法及びプログラムに関する。
　ヘッドセットで右目と左目の見え方を変える視力訓練方法が提案されている（特許文献１参照）。
国際公開第２０１７／１８１０１０号
　しかしながら、特許文献１のように、空間全体の見え方を目ごとに変えると集中して見るべき作業対象に集中するのが難しい。また、作業対象物のコントラストや明るさ、暗さなどを変更すると、むしろその物体が目立ってしまう。
　本発明はこのような背景を鑑みてなされたものであり、視力を訓練することのできる技術を提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、視力訓練システムであって、ユーザの片方の目に映像を表示する第１の表示装置と、前記ユーザの他方の目に映像を表示する第２の表示装置と、前記第１及び第２の表示装置に表示される前記ユーザの操作対象となる物体が前記第１及び第２の表示装置で異なる透明度となるように制御する表示制御部と、を備えることを特徴とする。
　その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
　本発明によれば、視力を訓練することができる。
本実施形態に係る視力訓練システムの構成例を示す図である。 ＨＭＤ１の構成例を示す図である。 コンピュータ２のソフトウェア構成例を示す図である。 ＨＭＤ１に表示される映像の一例を示す図である。 ＨＭＤ１に表示される映像の他の例を示す図である。 本実施形態の視力訓練システムにおけるコンピュータ２の動作を説明する図である。
＜概要＞
　以下、本発明の一実施形態に係る視力訓練システムについて説明する。本実施形態の視力訓練システムでは、ユーザがヘッドマウントディスプレイ（ＨＭＤ１）を装着し仮想空間内で作業を行う。作業対象となる物体の透明度が右目と左目で異なるようにすることで、弱視のユーザの訓練を行うことができる。
　図１は、本実施形態に係る視力訓練システムの構成例を示す図である。本実施形態の視力訓練システムは、コンピュータ２を含んで構成される。コンピュータ２は、ＨＭＤ１及び入力デバイス３と接続され、入力デバイス３からデータの入力を受け付けることができ、ＨＭＤ１への映像の表示を制御することができる。図１に示すように、コンピュータ２は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３を備えうる。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。なお、後述するコンピュータ２の各機能部はＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、コンピュータ２の各記憶部はメモリ２０２及び記憶装置２０３が提供する記憶領域の一部として実現されうる。
　入力デバイス３は、例えば、コントローラである。入力デバイス３により、ユーザは仮想空間内において所定の入力を行うことをサポートすることができる。入力デバイス３は、例えば、左手用及び右手用のコントローラのセットとして構成することができる。入力デバイス３は、例えば、操作用トリガーボタンや、赤外線ＬＥＤ、センサ、ジョイスティック、メニューボタンなどを備えることができる。また、入力デバイス３は、加速度センサ（不図示）などにより姿勢や動きを検出し、姿勢や動きのデータを入力データとしてコンピュータ２に入力することができる。
　コンピュータ２は、ＨＭＤ１に作業対象となる仮想的な物体（三次元オブジェクト）を表示する制御処理を行うとともに、入力デバイス３からの入力に応じて仮想的な手を動かし、仮想的な手の動きにより作業対象に対するユーザの作業を行わせることができる。
　図２は、ＨＭＤ１の構成例を示す図である。ＨＭＤ１は、ユーザの頭部に装着されうる。ＨＭＤ１は、ユーザの左右の眼前に配置されるよう表示装置１１及び１２を備える。表示装置１１は、片方の目（図２の例では右目）に映像を表示する。表示装置１２は、他方の目（図２の例では左目）に映像を表示する。表示装置１１及び１２としては、例えば、光学透過型と非透過型のディスプレイを採用し得る。後述するように、表示装置１１及び１２において表示される作業対象の物体の透明度が異なるように制御される。
　図３は、コンピュータ２のソフトウェア構成例を示す図である。コンピュータ２は、操作入力部２１１、表示制御部２１２、設定記憶部２３１、物体記憶部２３２を備えることができる。
　設定記憶部２３１は、各種の設定項目を記憶することができる。設定記憶部２３１は、ユーザを示す情報（ユーザＩＤ）に対応付けて設定項目を記憶することができる。設定項目は、例えば、ユーザの治療を行う眼科医が設定することができる。設定項目には、例えば、物体の透明度を上げる表示装置１１又は１２を示す情報を含めることができる。設定項目には、例えば、ユーザの視力の強い方又は弱い方の目を指定する情報を含めることができる。この場合、視力の強い方の目に対応する表示装置１１又は１２において物体の透明度を上げ、視力の弱い方の目でより操作対象を見るように訓練することができる。設定項目には、例えば、物体の透明度を含めることができる。設定項目には、ユーザに設定される難易度を記憶することができる。例えば、操作対象の物体が複数ある場合には、設定項目には、より集中して見る物体を示す情報を含めることができる。
　物体記憶部２３２は、仮想的な物体を表示するための情報（以下、物体情報という。例えば、３次元モデルとすることができる。）を記憶することができる。
　操作入力部２１１は、入力デバイス３からの入力を受け付けることができる。操作入力部２１１は、例えば、入力デバイス３の姿勢や動き、ボタンの押下などの操作を示す情報（イベント情報）を入力デバイス３から受け付けることができる。
　表示制御部２１２は、表示装置１１，１２に映像を表示する。表示制御部２１２は、物体記憶部２３２に記憶されている物体情報に基づいて仮想的な物体を仮想空間内に表示することができる。表示制御部２１２は、設定記憶部２３１を参照して、どちらの表示装置１１又は１２において物体の透明度を上げるか、物体の透明度をどの程度にするかを決定することができる。また、表示制御部２１２は、操作対象の物体が複数ある場合に、どちらの表示装置１１又は１２においてどの物体の透明度を上げるかを決定することができる。
　本実施形態では、表示制御部２１２は、表示装置１１，１２に表示されるユーザの操作対象となる物体が第１及び第２の表示装置で異なる透明度となるように制御する。表示制御部２１２は、いわゆるＶＲ（Virtual Reality）に係る仮想空間内に各種のオブジェクトを表示することができる。本実施形態では、表示制御部２１２は、視差を利用して立体像が形成されるように表示装置１１，１２に三次元オブジェクトを表示することができる。表示制御部２１２は、ユーザにオブジェクトが三次元表示されるように、かつ、表示装置１１，１２で異なる透明度となるように、表示装置１１，１２にオブジェクトを表示することができる。
　また、表示制御部２１２は、拡張現実（ＡＲ；Augumented Reality）空間あるいは複合現実（ＭＲ；Mixed Reality）空間に仮想的な物体を表示するようにしてもよい。例えば、ＨＭＤ１がカメラを備えるようにし、表示制御部２１２は、ＨＭＤ１が撮影した映像を表示するとともに、操作対象となる物体が三次元表示されるように、仮想的な物体を、カメラからの映像に重畳させて表示するようにすることができる。
　また、表示制御部２１２は、カメラ（不図示、ＨＭＤ１が備えていてもよいし、コンピュータ２が備えていてもよい。）が撮影した映像から物体を検出し、検出した物体の透明度を変更するようにすることもできる。この場合、ユーザの視野を撮影する第１及び第２のカメラをＨＭＤ１又はコンピュータ２が備え、コンピュータ２は、第１及び第２のカメラが撮影した第１及び第２の画像を取得する画像取得部を備えることができる。表示制御部２１２は、第１及び第２の画像から物体を検出し、第１又は第２の画像における物体の領域の透明度を上げるように画像処理を行うことができる。表示制御部２１２は、例えば、ユーザの注視点を検出し、第１及び第２の画像から検出した物体のうち、注視点の位置の物体を操作対象の物体として認識し、認識した物体の占める領域の透明を変更するようにすることができる。
　表示制御部２１２は、弱視の度合の弱い方（視力の強い方）の目の眼前に配される表示装置１１又は１２に表示される物体の透明度を上げるように制御することができる。これにより、ユーザには、見づらい方の目を使いやすくなり、見づらい方の目をより使うように訓練をすることができる。
　表示制御部２１２は、表示装置１１又は１２に表示される物体の一方のみの透明度を経時的に上げていくように制御してもよい。例えば、ユーザによる物体に対する作業中に透明度を変更していくことができる。
　透明度は、治療度合に応じて変更することができる。弱視治療に用いる場合、透明度は、弱視の度合により変更することができる。透明度は、ユーザについて設定する難易度に応じて変更することができる。すなわち、より高い難易度が設定された場合には、より高い透明度となるように設定することができる。難易度は、ユーザが訓練に対して感じている難しさの主観をアンケート等により問い合わせ、ユーザが所定の難易度よりも高い難易度と感じている場合には透明度を下げ、所定の難易度よりも低い難易度と感じている場合には透明度を上げるように設定することができる。所定の難易度の設定及び透明度の設定は、眼科医により行うようにしてもよい。
　透明度を１００％（全く見えない状態）にすることもできる。すなわち、一方の目には、物体を表示しつつ、他方の目には物体を表示しないようにすることができる。
　図４は、ＨＭＤ１に表示される映像の一例を示す図である。図４の例では、操作対象の物体としてけん玉が表示されており、左目の方が右目よりも視力が弱いことを想定している。図４の例では、けん玉の右目に表示される物体画像１１１は、左目に表示される物体画像１２１よりも透明度が上がっている。表示制御部２１２は、例えば、ユーザが仮想空間内で、手の画像１１２及び１１２により表示される手を用いてけん玉を行っている間に、片方の目（図４の例では右目）に表示される物体の透明度を上げるように制御することができる。
　このように、映像を見るだけではなく、実際の動作を伴うことにより、目と手の協働運動を行わせ、ユーザがうまく両眼視を行うことができるように訓練することが可能となる。また、治療への集中度を上げ、あるいは治療の意欲を向上させることも可能となり、治療効果の向上が期待される。また、仮想空間における操作対象の操作を行わせることにより、また両目での見え方を変えることにより、立体視の機能を訓練することもできる。
　図５は、ＨＭＤ１に表示される映像の他の例を示す図である。作業対象の物体が複数あり、第１の物体を第２の物体よりも集中して見ることが一般的な場合に、片方（弱視の度合が強い方、視力が弱い方、見えづらい方、訓練の対象となる方）の目においては、第１の物体の透明度を変えず（又は下げて）、第２の物体の透明度を上げ、他方（弱視の度合が弱い方、訓練の対象ではない方）の目においては、第１の物体の透明度を上げて、第２の物体の透明度を変えない（又は下げる）ようにすることができる。例えば、図５では、左目の視力が弱い場合を示しており、右目のけん玉１１１の球１１１１の透明度を上げつつ、けん１１１２については透明度は上げず、一方で、左目のけん玉１２１の球１２１１の透明度は上げずに、けん１２１２の透明度を上げている例を示している。
＜動作＞
　図６は、本実施形態の視力訓練システムにおけるコンピュータ２の動作を説明する図である。
　コンピュータ２は、設定情報記憶部２３１に記憶されている、ユーザに対応する設定項目を読み出し（Ｓ３０１）、物体記憶部２３２に記憶されている物体情報に基づいて、仮想空間に操作対象の物体が三次元表示されるように表示装置１１及び１２に映像を表示し（Ｓ３０２）、入力デバイス３からの入力に応じて物体に対する操作の指示を受け付け（Ｓ３０３）、例えば、仮想的な手を操作する等により物体に対する操作を行う。コンピュータ２は、設定項目に応じて、表示装置１１又は１２のいずれかにおける操作対象の物体の透明度を上げる（Ｓ３０４）。
　以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
　例えば、コンピュータ２は、アラートを出力するアラート出力部を備えるようにしてもよい。アラート出力部は、例えば、訓練のやり忘れに対するアラートを出力することができる。例えば、アラート出力部は、操作入力部２１１及び表示制御部２１２による弱視訓練の処理が行われた日時を記憶装置２０３に記録しておき、記録した日時から所定時間が経過している場合に、訓練が行われていないことを示すアラートを出力することができる。
　なお、アラート出力部は、コンピュータ２と通信可能に接続されるサーバ装置（不図示）が備えるようにしてもよい。この場合、操作入力部２１１は、弱視訓練を実行した日時をサーバ装置に送信し、サーバ装置は、コンピュータ２又はユーザを特定する情報に対応付けて、弱視訓練を実行した日時を記憶する訓練日時記憶部を備えるようにすることができる。サーバ装置はまた、訓練日時記憶部に記憶されている日時から所定時間が経過したコンピュータ２又はユーザに対して、行われていないことを示すアラートを送信することができる。
　また、アラート出力部は、訓練を行うユーザに加えて又は代えて、他のユーザに対してアラートを送信することができる。アラート出力部は、例えば、ユーザの保護者、ユーザの上司、ユーザを診察している眼科医などに対してアラートを送信することができる。
　また、コンピュータ２は、弱視訓練を行った日時を含む履歴を記憶する履歴記憶部と、訓練の予定を記憶する予定記憶部とを備えるようにすることができる。訓練の予定には、例えば、所定期間（例えば、１週間や１か月など）における訓練の回数及び／又は訓練時間を設定することができる。訓練の予定には、例えば、訓練を行う予定の日付を設定することもできる。アラート出力部は、予定記憶部に記憶されている訓練の予定と、履歴記憶部に記憶されている訓練の履歴とを比較して、予定が遵守されている程度（遵守度）を求め、遵守度をユーザ又は眼科医に対して電子メールやチャットなどにより送信することができる。遵守度は、例えば、訓練の履歴から所定期間内に行われた訓練の回数及び／又は時間を集計し、予定に設定されている回数及び／又は時間との差又は比を計算することにより計算することができる。遵守度はまた、予定に設定されている日付（前後所定日数を含めてよい）に対応する履歴が履歴記憶部に記憶されているか否かにより訓練が行われたか否かを判定し、例えば、予定された日付の日数で、訓練が行われた日付の日数を割ることで計算することができる。
　また、コンピュータ２は、訓練を行ったユーザに対して報奨を与える報奨付与部を備えることができる。報奨を与えることにより、ユーザのアドヒアランスを向上させることができる。
　報奨付与部は、報奨として、例えば金銭的な価値（マネタリーリワード）を与えることができる。報奨付与部は、例えば、アイテムの購入に用いることのできるポイントを発行することができる。
　報奨付与部は、報奨として、例えば、金銭的価値を問わずユーザ自身の中で意味を持つもの（インナーリワード）を与えることができる。報奨付与部は、例えば、達成感を与えるべく、難易度を調整することができる。報奨付与部は、例えば、所定の課題をクリアしたユーザにしか表示されないコンテンツを、その課題をクリアしたときに表示するようにすることができる。
　報奨付与部は、報奨として、例えば、他のユーザからの承認を得られるもの（ソーシャルリワード）を与えることができる。この場合、報奨付与部は、ユーザが透明度を変更した物体を用いたゲーム（上述の実施例では、けん玉を用いた技）をクリアした場合に、当該ユーザに対して得点を与える。
　コンピュータ２は、サーバ装置（不図示）に通信可能に接続され、報奨付与部は、ユーザに与えた得点をサーバ装置に送信することができる。サーバ装置は、ユーザごとに、ユーザの得点を記録する得点記憶部を備えることができる。得点記憶部は、所定の期間（１時間や１日、１週間、１年など任期の長さの期間とすることができる。）ごとに得点を集計（合計を想定するが、合計以外でもよい。）し、集計した点数（集計点）に応じてユーザをランク付けし、ランキングをコンピュータ２及び／又はユーザの端末（例えば、スマートフォンなど）に送信することができる。ランキングには、ニックネームなどのユーザを表示する情報と、期間（全期間であってもよい。）中の得点の集計点とが、集計点の順にソートして、上位所定数（例えば１０人）分だけ含まれるようにすることができる。
　このようなランキングを行うことにより、弱視治療を行うユーザの訓練に対するモチベーションを向上させ、アドヒアランスを向上させることができる。
　報奨付与部は、例えば、得点に応じて（得点に応じた量又は得点によって異なる内容）の報奨を付与することができる。
　報奨付与部は、例えば、コンピュータ２を用いて弱視訓練のためのプログラムを起動（操作入力部２１１及び表示制御部２１２を実現）した回数に応じて（得点に応じた量又は得点によって異なる内容）の報奨を付与することができる。
　報奨付与部は、眼科医からの指示に応じて報奨を付与することができる。この場合、報奨付与部は、付与する予定の報奨をユーザが利用不能に記憶部に記憶するようにし、眼科医からの指示を受け付けた場合に、記憶されている報奨をユーザが利用可能に付与することができる。
＜開示事項＞
　なお、本開示には、以下のような構成も含まれる。
［項目１］
　ユーザの片方の目に映像を表示する第１の表示装置と、
　前記ユーザの他方の目に映像を表示する第２の表示装置と、
　前記第１及び第２の表示装置に表示される前記ユーザの操作対象となる物体が前記第１及び第２の表示装置で異なる透明度となるように制御する表示制御部と、
　を備えることを特徴とする視力訓練システム。
［項目２］
　項目１に記載の視力訓練システムであって、
　前記物体は仮想的なオブジェクトであり、
　前記表示制御部は、前記ユーザに前記オブジェクトが三次元表示されるように、かつ、前記第１及び第２の表示装置で異なる透明度となるように、前記第１及び第２の表示装置に前記オブジェクトを表示すること、
　を特徴とする視力訓練システム。
［項目３］
　項目１に記載の視力訓練システムであって、
　前記ユーザの目のうち、視力が強い方の目を示す情報を記憶する設定情報記憶部を備え、
　前記表示制御部は、前記設定情報記憶部に記憶されている前記情報が示す前記目に前記映像を表示する前記第１又は第２の表示装置に表示される前記物体の前記透明度を上げるように制御すること、
　を特徴とする視力訓練システム。
［項目４］
　項目１に記載の視力訓練システムであって、
　前記ユーザの視野を撮影する第１及び第２のカメラと、
　前記第１及び第２のカメラが撮影した第１及び第２の画像を取得する画像取得部と、
　を備え、
　前記表示制御部は、前記第１及び第２の画像から前記物体を検出し、前記第１又は第２の画像における前記物体の領域の透明度を上げること、
　を特徴とする視力訓練システム。
［項目５］
　ユーザの片方の目に映像を表示する第１の表示装置と、前記ユーザの他方の目に映像を表示する第２の表示装置とに表示される前記ユーザの操作対象となる物体について、前記第１及び第２の表示装置で異なる透明度となるように制御するステップをコンピュータが実行することを特徴とする視力訓練方法。
［項目６］
　ユーザの片方の目に映像を表示する第１の表示装置と、前記ユーザの他方の目に映像を表示する第２の表示装置とに表示される前記ユーザの操作対象となる物体について、前記第１及び第２の表示装置で異なる透明度となるように制御するステップをコンピュータに実行させるためのプログラム。
　　１　ＨＭＤ
　　２　コンピュータ
　　３　入力デバイス

Claims (6)

  1. 　ユーザの片方の目に映像を表示する第１の表示装置と、
    　前記ユーザの他方の目に映像を表示する第２の表示装置と、
    　前記第１及び第２の表示装置に表示される前記ユーザの操作対象となる物体が前記第１及び第２の表示装置で異なる透明度となるように制御する表示制御部と、
    　を備えることを特徴とする視力訓練システム。
  2. 　請求項１に記載の視力訓練システムであって、
    　前記物体は仮想的なオブジェクトであり、
    　前記表示制御部は、前記ユーザに前記オブジェクトが三次元表示されるように、かつ、前記第１及び第２の表示装置で異なる透明度となるように、前記第１及び第２の表示装置に前記オブジェクトを表示すること、
    　を特徴とする視力訓練システム。
  3. 　請求項１に記載の視力訓練システムであって、
    　前記ユーザの目のうち、視力が強い方の目を示す情報を記憶する設定情報記憶部を備え、
    　前記表示制御部は、前記設定情報記憶部に記憶されている前記情報が示す前記目に前記映像を表示する前記第１又は第２の表示装置に表示される前記物体の前記透明度を上げるように制御すること、
    　を特徴とする視力訓練システム。
  4. 　請求項１に記載の視力訓練システムであって、
    　前記ユーザの視野を撮影する第１及び第２のカメラと、
    　前記第１及び第２のカメラが撮影した第１及び第２の画像を取得する画像取得部と、
    　を備え、
    　前記表示制御部は、前記第１及び第２の画像から前記物体を検出し、前記第１又は第２の画像における前記物体の領域の透明度を上げること、
    　を特徴とする視力訓練システム。
  5. 　ユーザの片方の目に映像を表示する第１の表示装置と、前記ユーザの他方の目に映像を表示する第２の表示装置とに表示される前記ユーザの操作対象となる物体について、前記第１及び第２の表示装置で異なる透明度となるように制御するステップをコンピュータが実行することを特徴とする視力訓練方法。
  6. 　ユーザの片方の目に映像を表示する第１の表示装置と、前記ユーザの他方の目に映像を表示する第２の表示装置とに表示される前記ユーザの操作対象となる物体について、前記第１及び第２の表示装置で異なる透明度となるように制御するステップをコンピュータに実行させるためのプログラム。
PCT/JP2023/035092 2022-09-27 2023-09-27 視力訓練システム、視力訓練方法及びプログラム WO2024071176A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022153376A JP2024047721A (ja) 2022-09-27 2022-09-27 視力訓練システム、視力訓練方法及びプログラム
JP2022-153376 2022-09-27

Publications (1)

Publication Number Publication Date
WO2024071176A1 true WO2024071176A1 (ja) 2024-04-04

Family

ID=90477835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035092 WO2024071176A1 (ja) 2022-09-27 2023-09-27 視力訓練システム、視力訓練方法及びプログラム

Country Status (2)

Country Link
JP (2) JP2024047721A (ja)
WO (1) WO2024071176A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120179076A1 (en) * 2010-09-16 2012-07-12 Daphne Bavelier Method and system for treating amblyopia
WO2017181010A1 (en) * 2016-04-15 2017-10-19 Luminopia, Inc. Methods and head-mounted apparatus for visual care and enhancement
CN112641610A (zh) * 2020-12-21 2021-04-13 韩晓光 弱视的训练方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120179076A1 (en) * 2010-09-16 2012-07-12 Daphne Bavelier Method and system for treating amblyopia
WO2017181010A1 (en) * 2016-04-15 2017-10-19 Luminopia, Inc. Methods and head-mounted apparatus for visual care and enhancement
CN112641610A (zh) * 2020-12-21 2021-04-13 韩晓光 弱视的训练方法、装置及系统

Also Published As

Publication number Publication date
JP2024048402A (ja) 2024-04-08
JP2024047721A (ja) 2024-04-08

Similar Documents

Publication Publication Date Title
JP7487265B2 (ja) 外部条件に基づくウェアラブルディスプレイデバイスの自動制御
US20240148244A1 (en) Interactive system for vision assessment and correction
Adhanom et al. Eye tracking in virtual reality: a broad review of applications and challenges
Sundstedt Gazing at games: An introduction to eye tracking control
JP5539945B2 (ja) ゲーム装置、及びプログラム
KR101660157B1 (ko) 시선 추적 기반 재활 시스템
Ramirez Gomez et al. Supervision: playing with gaze aversion and peripheral vision
US9910488B2 (en) Motion guide presentation method and system therefor, and motion guide presentation device
Wu et al. Asymmetric lateral field-of-view restriction to mitigate cybersickness during virtual turns
JP7181293B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024071176A1 (ja) 視力訓練システム、視力訓練方法及びプログラム
JP2019160033A (ja) 表示制御装置およびプログラム
KR102160669B1 (ko) 의료 커뮤니케이션 가상 훈련 시뮬레이션 시스템 및 방법
JP6659789B2 (ja) 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
WO2017090298A1 (ja) 仮想空間内オブジェクトへの動作指示方法、及びプログラム
JP2014166564A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
CA3231733A1 (en) System and method for monitoring human-device interactions
WO2023037619A1 (ja) 認知能力推定装置、その方法およびプログラム
Matsumaru et al. Image-projecting desktop arm trainer for hand-eye coordination training
JP2022025463A (ja) アニメーション制作システム
KR102277358B1 (ko) 가상 현실 트레이닝을 위한 방법 및 장치
JPWO2019207728A1 (ja) 画像提示装置、画像提示方法、記録媒体及びプログラム
JP6938696B2 (ja) 仮想画像表示プログラム、仮想画像表示システム及び仮想画像表示方法
US20230259203A1 (en) Eye-gaze based biofeedback
Wu Design and Evaluation of Dynamic Field-of-View Restriction Techniques to Mitigate Cybersickness in Virtual Reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872398

Country of ref document: EP

Kind code of ref document: A1