WO2018056791A1 - 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램 - Google Patents

시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램 Download PDF

Info

Publication number
WO2018056791A1
WO2018056791A1 PCT/KR2017/010635 KR2017010635W WO2018056791A1 WO 2018056791 A1 WO2018056791 A1 WO 2018056791A1 KR 2017010635 W KR2017010635 W KR 2017010635W WO 2018056791 A1 WO2018056791 A1 WO 2018056791A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
visual perception
mounted display
display device
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/010635
Other languages
English (en)
French (fr)
Inventor
강동화
김동호
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asan Foundation
University of Ulsan Foundation for Industry Cooperation
Original Assignee
Asan Foundation
University of Ulsan Foundation for Industry Cooperation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asan Foundation, University of Ulsan Foundation for Industry Cooperation filed Critical Asan Foundation
Priority claimed from KR1020170124012A external-priority patent/KR101965393B1/ko
Publication of WO2018056791A1 publication Critical patent/WO2018056791A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H5/00—Exercisers for the eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Definitions

  • the present invention relates to a computing device for providing visual perception training, a method and a program for providing visual perception training based on a head mounted display device.
  • stroke is the number one cause of domestic disability as a single disease, and among the brain function damages caused by the stroke, visual disturbance is a major disorder appearing at a high rate of 20-30% of all patients. Such visual disturbances are generally accepted as permanent defects, and there are no attempts at rehabilitation of visual acuity disorders.
  • Patients with brain damage to the visual cortex due to stroke characteristically show hemianopia on the opposite side of the lesion. .
  • hemianopia on the opposite side of the lesion.
  • a patient who has a stroke in the left visual cortex shows half-side vision disorder on the right side, where the patient does not recognize objects or movements in the right field of vision when both eyes are opened and looking straight ahead.
  • blindsight refers to a phenomenon that is not noticed. The presence of the blind vision suggests that visual information coming through the retina can be processed through a place other than the visual cortex.
  • the distance and height from the patient's eye position to the monitor are set, the visual perception training screen is displayed on the monitor, and the difficulty level of the visual perception training screen is set by the analog method according to the correct answer rate of the patient. It is done in such a way. Therefore, there is a problem that it is difficult for the patient to continue the training outside the hospital, and it is difficult to flexibly change the difficulty adaptively according to the change of the visual perception ability of the patient.
  • the present invention provides a computing device for providing visual perception training, wherein the patient initializes a visual perception training condition suitable for the patient by using a head mounted display device, calculates a training level suitable for the patient's condition, and provides visual perception training.
  • the present invention provides a method and program for providing visual perception training based on a head mounted display device.
  • a computer provides a first object on a first screen of the head mounted display device, and a second screen of the head mounted display device.
  • the second screen is not the first screen among the left eye screen and the right eye screen of the head mounted display device.
  • the user operation receiving step characterized in that the user to match the position of the first object and the second object on the target point, at least one of the first object and the second object One is an exercise object.
  • the method may further include storing, by the computer, output conditions of the first screen and the second screen for a specific user.
  • the visual perception content outputting step is to provide any one of a plurality of images at least one point in a two-dimensional or three-dimensional space for each trial, and the computer inputs the user from each trial. Comparing the response to the provided image type.
  • the visual perceptual content outputting step may include: convergence matching the first screen and the second screen to a center point; And displaying an object corresponding to visual perceptual content at a specific depth in a specific two-dimensional space based on the depth point of the center point.
  • the method further includes calculating a corrected answer rate for each point on the two-dimensional or three-dimensional space to set the visual perception damage area of the user.
  • the method may further include determining, by the computer, at least one of a task providing frequency, a task difficulty level, and an output image size of the task based on a periodically calculated visual perception damage area.
  • the user can detect the movement of the head or the pupil direction to detect the center of view and provide a task based on a relative position based on the center of view.
  • a head mounted display apparatus-based visual perception training providing program is coupled to a computer, which is hardware, to execute the aforementioned method for providing visual perception training based on the head mounted display apparatus, and is stored in a medium. .
  • a computing device providing visual perception training provides a first object on a first screen of a head mounted display device, and provides a second object on a second screen of the head mounted display device.
  • the visual perception content is output to a field of view of a patient including a visual damage region, wherein the first screen is any one of a left eye screen and a right eye screen of the head mounted display device, and the second screen is the head mounted display. It is not the first screen among the left eye screen and the right eye screen of the device.
  • a user may perform visual perception training using a visual perception training device regardless of a place.
  • the user may automatically adjust to the first screen and the second screen position suitable for the user's eye state in the process of playing the initial game.
  • FIG. 1 is a flowchart of a method for providing visual perception training based on a head mounted display device according to an embodiment of the present invention.
  • FIG 2 is an exemplary view showing that the position of the first screen and the second screen is changed according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method for providing visual perception training based on a head mounted display device, which provides visual perception stimulation on a three-dimensional space according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of a method for providing visual perception training based on a head mounted display device further including a process of evaluating a user's response according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of providing visual perception training based on a head mounted display device, further comprising storing a screen output condition for a specific user according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of providing visual perception training based on a head mounted display device further including calculating a visual perception damage area according to an exemplary embodiment of the present invention.
  • FIG. 7 is an exemplary diagram of a percentage distribution of correct answers according to an embodiment of the present invention.
  • FIG. 8 is a flowchart of a method for providing visual perception training based on a head mounted display device, further comprising adjusting a difficulty level based on a visual perception damage area according to an embodiment of the present invention.
  • FIG. 9 is a structural diagram of a computing device providing visual perceptual training according to an embodiment of the present invention.
  • FIG. 10 is an exemplary diagram for providing visual perception training images to a head mounted display device according to an embodiment of the present invention.
  • 11 is an exemplary view comparing the visual field seen in normal people and patients with visual impairment due to brain injury.
  • the 'computer' includes all the various devices capable of performing arithmetic processing.
  • a computer can be a desktop PC, a notebook, as well as a smartphone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous / asynchronous
  • the mobile terminal of the International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable.
  • the computer may also be a server computer that receives information from a client.
  • a computer may be represented as a terminal or a client.
  • the 'first screen' refers to a left eye screen or a right eye screen of the head mounted display device.
  • the 'second screen' means not the first screen among the left eye screen and the right eye screen of the head mounted display device.
  • 'visual perception training image means an image provided on a screen for visual perception training.
  • the visual perception training image includes an output image displayed at a specific location for visual perception stimulation.
  • the 'first problem' refers to a problem provided on a screen for providing visual perception cognitive training to a patient having visual perception impairment.
  • the 'first response' means a response to a first problem provided at a specific time.
  • the 'second problem' refers to a problem provided to fix a user's gaze direction to a screen center.
  • the second problem may be to display any one of a plurality of objects (for example, ⁇ or ⁇ ) that is distinguished in the center of the screen at a specific time in the center of the screen.
  • the 'second response' refers to a response received from the user with respect to the second problem.
  • the 'output image' refers to an image provided at a specific position on the screen by the first problem.
  • the 'output image' may be a horizontal or vertical striped image displayed in a specific quadrant on the screen.
  • the 'screen image' is a screen itself on which one or more output images are arranged according to the first problem.
  • the screen image may be output to a general display device or to a head mounted display device.
  • the screen image may be generated as a left eye image and a right eye image, respectively.
  • the 'central field view part' means a central area within a screen provided to a user.
  • the 'near viewable part' refers to a remaining area of the screen except for the center viewable part.
  • a 'task display unit' refers to a region in which an output image which is a task of memory training is provided in a screen provided to a user.
  • the 'desk display unit' may include only the peripheral field of view except for the central field of view, or may include both the central field of view and the surrounding field of view.
  • the 'head mounted display device' refers to a device that provides a visual perception training image to a user's eyes.
  • the 'headmount display device' may be a device including a computing function or a device used in connection with a computer (eg, a PC or a smartphone).
  • FIG. 1 is a flowchart of a method for providing visual perception training based on a head mounted display device according to an embodiment of the present invention.
  • a computer provides a first object on a first screen of the head mounted display device and displays the head mounted display.
  • Providing a second object on a second screen of the device (S200);
  • Receiving, by a computer, a user operation for adjusting the positional relationship between the first object and the second object (S400; user operation receiving step);
  • Changing a position of the first screen and the second screen by the computer according to the user operation (S600; screen position changing step);
  • S800 visual center direction
  • the patient visits a hospital to receive visual perception training to improve visual perception function.
  • the visual perception training image for visual perception stimulation is provided on the monitor screen, and the training was performed with the head disposed at a predetermined distance and height. In other words, it was possible to proceed with the training in a state where detailed conditions were met, so it was possible to proceed only by visiting the hospital.
  • the head mounted display device capable of providing a virtual reality image has been spread, it is possible to provide an image of a desired shape to a patient, but the head mounted display device may be configured to converge the binocular focus or binocular gaze according to the user's eyes. Training can be performed only by adjusting the conditions where both eyes meet. There is a need for a method for realizing a screen presentation state corresponding to a patient having visual perception impairment in a part of the field of view.
  • the computer provides a first object on the first screen of the head mounted display device, and provides a second object on the second screen of the head mounted display device (S200). That is, the computer provides the object on the left eye screen and the right eye screen of the head mounted display device, respectively.
  • the first object and the second object may be the same or different.
  • the computer receives a user operation for adjusting the positional relationship between the first object and the second object from the user (S400; user operation receiving step). That is, the user adjusts the position of the first object and the second object by inputting a user input for adjusting the position when the position of the first object and the second object does not match.
  • the user may input an operation for adjusting the same output image displayed on the first screen and the second screen to exactly overlap.
  • the computer can be configured as a first object from the user.
  • An operation of adjusting the point where the object and the second object to correspond to meet at a specific position (that is, the target point) may be received. That is, in the user operation receiving step (S400), the user receives an input operation for matching the position of the first object and the second object on the target point.
  • At least one of the first object and the second object may be generated as an exercise object.
  • a game may be implemented to perform the initial setting according to the patient eye condition before the patient performs visual perception training.
  • the first object is an arrow image and the second object is a target image
  • the center of the second object is set as the target point, so that the arrow image, which is the first object, moves toward the target image, which is the second object.
  • the computer may receive an operation to move from side to side or up and down from the user (ie, patient). For example, a user may receive an operation of moving the first object or the second object from side to side or up and down through the virtual reality controller. In addition, the computer may receive an operation of rotating the first object or the second object from the user through the virtual reality controller. In addition, the computer may receive an operation for adjusting the sizes of the first object and the second object provided on the screens of both eyes (ie, the first screen and the second screen) from the user.
  • the computer changes the positions of the first screen and the second screen according to the operation (S600; screen position changing step). That is, as shown in FIG. 2, the computer adjusts the position of the first screen and the second screen based on the input operation so that the first object and the second object meet at the target point.
  • the computer moves the first screen and the second screen by a certain shifting distance.
  • the computer may cause the first screen and the second screen to be displayed at a position where the eyes of both eyes meet. That is, the computer may perform convergence matching between the first screen and the second screen (that is, the left eye display screen and the right eye display screen) according to a user's operation. That is, in general, the head mounted display apparatus physically adjusts the distance between the left eye display and the right eye display in order to match the position where the eyes of both eyes are directed, but by operating the first and second objects to correspond. The convergence matching is possible by adjusting the position of the first screen and the second screen in software.
  • the computer outputs visual perceptual content to the visual field of the patient including the visual damage region based on the visual center direction (S800; visual perceptual content outputting step). That is, the computer may provide visual perception content (that is, visual perception training image) in the viewing range while convergence matching is performed so that binocular images are superimposed properly in the viewing range of the patient.
  • visual perception content that is, visual perception training image
  • the computer can provide visual perception stimulation to the field of view in a variety of ways.
  • the computer may provide a visual perception stimulus (ie, an output image) while changing the position of the entire visual field range (ie, the task display area). That is, the computer can provide visual perception stimuli to both the normal region and the visual impairment region within the viewing range.
  • the visual perception stimulus provided to the normal region within the visual field range stimulates the brain region with respect to the visual damage region, thereby restoring the visual damage region.
  • the computer can provide visual perception stimulation for the entire range within the field of view.
  • the visual perceptual stimulus may be intensively provided to a region within the visual damage region.
  • the computer can calculate the visual impairment area based on the training performance of the patient, and provide visual impulse stimulation only within the visual impairment area or generate visual impulse stimulation at a higher rate than the normal area in the visual impairment area. Can provide.
  • the computer may provide visual perception stimuli (ie, output images) at different points at different points according to the user's visual perception level even within the visual impairment region.
  • the computer may provide visual perceptual training images in various forms.
  • the computer may provide training (first problem) to select the type of screen image provided to the patient.
  • the computer provides one of the plurality of images at least one point in the two-dimensional or three-dimensional space for each trial.
  • the first problem is provided by changing at least one of the number, type, arrangement position, and size of the output image, and the number of choices can be increased by varying the change condition.
  • the computer provides training to select which of the plurality of screen images that can be generated according to the changing condition of the first problem.
  • the computer may provide training (ie, a first problem) for selecting which image is displayed at a specific point on the screen among a plurality of predetermined output images. For example, if the output image includes a horizontal stripe image and a vertical stripe image, the computer provides a horizontal stripe image or a vertical stripe image for each trial in the task providing area and receives a visually confirmed image form from the patient. can do.
  • training ie, a first problem
  • the first problem may be varied by changing the arrangement position of the output image included in the screen for each trial providing the first problem on the screen.
  • the computer may generate another screen image by changing the position on the screen where the same output image is displayed. Changing the position of the output image means that when the task display unit is divided into a plurality of divided regions, the divided region in which the output image of the first problem is displayed or a point where the output image is arranged in the same divided region is different. It may be.
  • the computer may allow the patient to select which screen image to present to the patient (ie, the arrangement of one or more output images).
  • the computer may generate various problem forms by changing the depth at which the output image is displayed. For example, the computer may display the output image by dividing it into an area near or far from the reference depth (eg, the depth at which the second problem is indicated when the second problem is provided). The computer may allow the patient to select which screen image to present to the patient (ie, the arrangement of one or more output images).
  • the computer may change the type of the output image (for example, the classification of the figure and the character image, etc.) or the shape (for example, the horizontal stripe pattern and the vertical stripe pattern) to solve different first problems. Can be generated.
  • the computer may generate different problems by displaying output images of different shapes (for example, horizontal stripes and vertical stripes) at the same location of the task display unit.
  • the computer may create different first problems as the size of the output image is changed while displaying the same output image type / shape at the same location.
  • the visual perceptual content outputting step S800 may include: convergence matching the first screen and the second screen at a center point (S810); And displaying the object corresponding to the visual perceptual content at a specific depth in a specific two-dimensional space based on the depth point of the center point (S820). That is, the computer may provide visual perception stimuli at various depths after convergence matching at the center point in the three-dimensional space.
  • the computer has a second problem.
  • the position in the three-dimensional space for displaying the output image included in the first problem is determined based on the arrangement position in the three-dimensional space.
  • the images provided to the left and right eyes that is, the left eye image and the right eye image
  • the computer converges the left eye image and the right eye image with respect to the second problem while arranging the second problem to be described later at a specific depth, and arranges the output image according to the first problem at a specific depth to be disposed at the reference depth. Based on the positional relationship with the second problem, a screen in which the output image is displayed at various depths can be implemented.
  • the computer compares the response input from the user for each trial and the provided image type (S1000); further includes. That is, the computer receives the first response, which is a response to the first task, and determines whether the first response corresponds to the correct answer. For example, when the horizontal stripes and the vertical stripes are provided as the output image included in the first problem, the computer determines whether the image displayed at a specific position on the screen is the correct answer.
  • the computer may calculate the correct answer rate by accumulating the correct answer results for a plurality of trials, and may calculate the correct answer rate for each point in a two-dimensional or three-dimensional space that is a patient's field of view.
  • the point-to-point correct rate may be used to generate a gradient map for determining a visual perception state of a patient as described below.
  • the computer may store the output conditions of the first screen and the second screen for a specific user (S700). That is, the position conditions of the first screen and the second screen corresponding to the eye conditions of the specific user (ie, the patient) are calculated and stored. Accordingly, when several patients perform visual perception training using one head mounted display device, visual perception training can be performed immediately by selecting setting information for a specific user.
  • the computer by calculating the correct answer rate for each point on the two-dimensional or three-dimensional space to set the user's visual perception damage area (S1200);
  • the computer can obtain a correct answer rate for each point by providing visual perception stimuli (ie, output images) at various points of the task providing area.
  • the computer generates a gradation map in which the color of each point is expressed differently according to the distribution rate or the correct answer rate of the task providing area based on the correct rate for each point.
  • the computer calculates the visual perceptual damage region by connecting points having a specific value based on the percentage distribution or the gradient map. Through this, the computer can recognize the change in the degree of visual impairment of the patient only by the patient's training performance results without performing a separate test (for example, fMRI test).
  • the computer determines at least one of a task providing frequency, a task difficulty level, and an output image size of the task based on a periodically calculated visual perception damage area. It further comprises (S1400). That is, the computer may determine the visual perception cognitive ability state of the patient to determine the difficulty of the visual perception training image (ie, the task). Various methods may be applied to adjust the difficulty of the visual perceptual training image. For example, the computer may increase the difficulty by lowering the brightness or saturation of the output image provided on the screen or reducing the size of the output image. In addition, the computer may adjust the difficulty level by adjusting the number of output images appearing in the screen image. As the number of output images increases, as the arrangement relationship between the output images varies, the number of choices to be selected by the patient may increase, thereby increasing difficulty.
  • visual perception stimulation should be provided to the visual impairment area based on the patient's gaze-centered direction, which is to confirm the visual perception stimulus by changing the eye direction to confirm through the normal area where the visual perception impulse is invisible. Need to be prevented.
  • the second problem may be provided at the center of the viewing range so that the first problem, which is a visual perception stimulus, is fixed while the eyeline direction is fixed at the center, and the first response may be input.
  • the computer provides a second problem displayed on the central field of view within the screen, and receives a second response to the second problem from the user.
  • the second problem serves to fix the gaze direction of the user at a specific position.
  • the second problem is provided at the same time as the first problem provided on one side of the task display unit so that the gaze direction is fixed in the center direction at the time of checking the first problem. That is, a screen image for simultaneously displaying the first problem and the second problem on the screen is provided so that the user checks the first problem while the user watches the center view portion where the second problem is displayed.
  • the computer senses the user's motion or pupil movement to search for a view center of view, and provides a task based on a relative position based on the view center direction. That is, the computer may measure the gaze direction of the user and determine and provide an arrangement position of the output image according to the first problem based on the gaze direction. For example, since the user is provided with the screen image through the head mounted display device, when the user moves his head or moves the eyeball while wearing the head mounted display device, the direction shown for the same screen image is changed. Therefore, the computer recognizes the user's bow movement or eye movement, acquires the gaze direction, and determines the arrangement position of the output image based on the gaze direction.
  • the computer measures the user's motion based on the motion data acquired through the motion sensor included in the head mounted display device.
  • the computer measures the eye movement based on eye movement data acquired by an eye movement sensor (ie, an eye tracker) included in the head mounted display device.
  • the computer calculates the visual direction (ie, the center direction of the visual field range) when the user's bow movement or eye movement is present.
  • the computer displays the output image about the visual direction (ie, the direction of the center of the viewing range) to generate the screen image provided for the particular trial.
  • the output image arrangement position information in the first problem is a relative position determined based on the visual direction (ie, the center direction of the viewing range), and the computer displays the screen image of each trial based on the output image arrangement position information in the first problem. Create Through this, the computer can smoothly provide memory training while the user performs free head movements and eye movements.
  • FIG. 9 is a structural diagram of a computing device providing visual perceptual training according to an embodiment of the present invention.
  • FIG. 10 is an exemplary diagram for providing visual perception training images to a head mounted display device according to an embodiment of the present invention.
  • a computing device (or visual perceptual training device) 100 that provides visual perception training according to an embodiment of the present invention may include a display 110, a memory 120, a controller 130, and a user input unit. All or part of 140. Since the computing device 100 providing visual perceptual training according to an embodiment of the present invention performs the same visual perceptual training method according to embodiments of the present invention, the descriptions thereof will be omitted.
  • the visual perceptual training device 100 may be a portable terminal.
  • the visual perceptual training apparatus 100 may be mounted on a user's head and used in a manner in which the display 110 and the user's eyes face each other.
  • the visual perception training apparatus 100 may be a head mounted device such as a head mounted display (HMD), glass, goggles, or a display device such as a mobile phone that can be mounted on the head mounted device.
  • HMD head mounted display
  • goggles or a display device such as a mobile phone that can be mounted on the head mounted device.
  • the head mounted display device includes a first screen and a second screen.
  • the first screen and the second screen are left eye screens and right eye screens of the head mounted display device.
  • the memory 120 stores the visual perception training program.
  • the visual perception training program may be a native program pre-installed in the visual perception training apparatus 100 or a program downloaded and installed from an external server.
  • the memory 120 may be an external memory connected to or inserted into the visual perceptual training device 100.
  • the controller 130 may output the visual perception training image corresponding to the visual perception training program to the display 110.
  • the screen of the display 110 may include a first screen unit corresponding to the left eye of the patient and a second screen unit corresponding to the right eye of the patient.
  • the controller 130 may adjust the parallax and focus of the visual perception training image by adjusting a distance and an overlap between the first image output through the first screen unit and the second image output through the second screen unit.
  • the visual perception training image may include a pre-image for adjusting the focus of the visual perception training image before performing the visual perception training in earnest.
  • the user input unit 140 may include a user input for executing the visual perception training program, a user input for adjusting the focus of the visual perception training image during the visual perception training, a user input for correcting a problem included in the visual perception training image, and the like. Can be received.
  • the user may manually adjust the focal length through the user input unit 140 while viewing the preliminary image, or may automatically adjust the focal length while playing the game through the preliminary image produced in the game format.
  • the user may manually adjust the focus through the user input unit 140 even during the visual perception training.
  • the controller 130 may output the target shooting game (eg, a shooting game) to the display 110 as a dictionary image.
  • the user shoots toward the target through the user input unit 140, and the controller 130 may automatically adjust the focus to suit the user based on the target hit ratio.
  • Visual perception training images may vary in difficulty depending on the degree of visual impairment of the patient.
  • the controller 130 may include at least one of the shape, size, position, color, saturation, and contrast of the figure / character included in the visual perceptual training image based on the correct answer rate of the answer input through the user input unit 140 during visual perception training. By adjusting the difficulty level, you can determine the level of visual perception training.
  • the user's answer is received in real time through the user input unit 140, and the difficulty of the training is flexibly adapted to the level of the user according to the user's state based on the correct answer rate.
  • the difficulty of the training is flexibly adapted to the level of the user according to the user's state based on the correct answer rate.
  • the computing device 100 providing visual perception training provides a first object on a first screen of the head mounted display device, and provides a second object on a second screen of the head mounted display device. Thereafter, the computing device receives an operation for adjusting a positional relationship between the first object and the second object from a user. Thereafter, the computing device changes the positions of the first screen and the second screen according to the manipulation. Thereafter, the computing device outputs visual perceptual content to the field of view of the patient including the visual damage region with respect to the visual center direction.
  • the above-described method for providing visual perception training based on the head mounted display device may be implemented as a program (or an application) and stored in a medium to be executed in combination with a computer which is hardware.
  • the above-described program includes C, C ++, JAVA, machine language, etc. which can be read by the computer's processor (CPU) through the computer's device interface so that the computer reads the program and executes the methods implemented as the program.
  • Code may be coded in the computer language of. Such code may include functional code associated with a function or the like that defines the necessary functions for executing the methods, and includes control procedures related to execution procedures necessary for the computer's processor to execute the functions according to a predetermined procedure. can do.
  • the code may further include memory reference code for additional information or media required for the computer's processor to execute the functions at which location (address address) of the computer's internal or external memory should be referenced. have.
  • the code may be used to communicate with any other computer or server remotely using the communication module of the computer. It may further include a communication related code for whether to communicate, what information or media should be transmitted and received during communication.
  • the stored medium is not a medium for storing data for a short time such as a register, a cache, a memory, but semi-permanently, and means a medium that can be read by the device.
  • examples of the storage medium include, but are not limited to, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access or various recording media on the computer of the user. The media may also be distributed over network coupled computer systems so that the computer readable code is stored in a distributed fashion.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Anesthesiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Rehabilitation Therapy (AREA)
  • Ophthalmology & Optometry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램에 관한 것이다. 본 발명의 일실시예에 따른 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법은, 컴퓨터가 상기 헤드마운트 디스플레이 장치의 제1화면에 제1대상체를 제공하고, 상기 헤드마운트 디스플레이 장치의 제2화면에 제2대상체를 제공하는 단계(S200); 컴퓨터가 사용자로부터 상기 제1대상체와 제2대상체의 위치관계를 조절하는 조작을 수신하는 단계(S400; 사용자조작수신단계); 컴퓨터가 상기 조작에 따라 상기 제1화면 및 상기 제2화면의 위치를 변경하는 단계(S600; 화면위치변경단계); 및 시야 중심방향을 기준으로 시각손상영역을 포함하는 환자의 시야범위에 시지각 컨텐츠를 출력하는 단계(S800);를 포함한다.

Description

시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램
본 발명은 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램에 관한 것이다.
일반적으로 뇌졸중은 단일 질병으로 국내 불구원인 1위로, 상기 뇌졸중으로 인한 뇌기능 손상 중, 시야 장애는 전체 환자의 20~30%의 높은 비율로 나타나는 주요 장애이다. 이러한 시야 장애는 통상적으로 영구결손으로 받아들여지고 있어, 시야 장애 재활치료 시도 자체가 전무한 것이 현실이고, 뇌졸증에 따라 시각피질에 뇌손상을 입은 환자는 특징적으로 병변 반대편에 반측 시야장애(hemianopia)를 보인다. 일례로 좌측 시각피질 부위에 뇌졸중이 발생한 환자는 우측에 반측 시야장애를 보이는데, 이때 환자는 두 눈을 모두 뜨고 정면을 바라보았을 때, 우측시야에 있는 사물이나 움직임을 인식하지 못한다.
그러나 시각피질 부위에 발생한 뇌졸중에 의한 시야 장애 환자 중에는 보이지 않는 시야에서 어떤 움직임이나 형태를 알아차리는 경우도 있는데, 이러한 경우 보이지 않는 시야에 X 또는 O를 보여주며 글자를 맞춰보라고 하면, 환자는 보이지 않는다고 대답하면서도 확률적으로 chance level 이상으로 글자를 맞추고, 심지어 시각자극에 적절한 반응을 보이기도 한다. 이러한 환자는 자극을 시각적으로 지각하지 못하지만, 뇌는 움직임이나 형태를 알아차리는 것이다. 1970년대 Lawrence Weiskrantz가 발견한 이 현상을 맹시(blindsight)라고 불리우고 있는데, 상기 맹시는 보이지 않는데도 알아차리는 현상을 말한다. 상기한 맹시 현상의 존재는 망막을 통해 들어온 시각정보가 시각피질이 아닌 다른 곳을 통해서도 처리될 수 있음을 시사한다.
따라서, 반복적인 시지각 자극 제공을 통해 시지각 학습(훈련)을 수행하여 시지각 기능을 향상시키는 시지각 훈련 방법 및 장치가 필요하다.
기존에 시지각 훈련을 수행하는 경우에는 환자의 눈 위치로부터 모니터까지의 거리 및 높이를 설정하고 시지각 훈련 화면을 모니터에 출력하며, 환자의 정답률에 따라 아날로그 방식으로 시지각 훈련 화면의 난이도를 설정하는 방식으로 이루어진다. 따라서 병원 이외의 장소에서는 환자가 훈련을 지속하기 어렵고, 환자의 시지각 능력의 변화에 따라 적응적으로 난이도를 유연하게 변경하기 어려운 문제점이 존재한다.
본 발명은 환자가 헤드마운트 디스플레이 장치를 이용하여 환자에게 적합한 시지각 훈련 조건을 초기설정하고, 환자의 상태에 적합한 훈련 수준을 산출하여 시지각 훈련을 제공하는, 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램을 제공하고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일실시예에 따른 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법은, 컴퓨터가 상기 헤드마운트 디스플레이 장치의 제1화면에 제1대상체를 제공하고, 상기 헤드마운트 디스플레이 장치의 제2화면에 제2대상체를 제공하는 단계; 컴퓨터가 사용자로부터 상기 제1대상체와 제2대상체의 위치관계를 조절하기 위한 사용자조작을 수신하는 사용자조작수신단계; 컴퓨터가 상기 조작에 따라 상기 제1화면 및 상기 제2화면의 위치를 변경하는 단계; 및 시야 중심방향을 기준으로 시각손상영역을 포함하는 환자의 시야범위에 시지각 컨텐츠를 출력하는 단계;를 포함하되, 상기 제1화면은 상기 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면 중 어느 하나이고, 상기 제2화면은 상기 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면 중에서 상기 제1화면이 아닌 것이다.
또한, 다른 일실시예로, 상기 사용자조작수신단계는, 사용자에 의해 타겟지점 상에서 상기 제1대상체와 상기 제2대상체의 위치를 일치시키는 것을 특징으로 하고, 상기 제1대상체 및 제2대상체 중 적어도 하나는 운동대상체이다.
또한, 다른 일실시예로, 컴퓨터가 특정한 사용자에 대한 상기 제1화면과 상기 제2화면의 출력조건을 저장하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 상기 시지각 컨텐츠 출력단계는, 각 시행마다 2차원 또는 3차원 공간 상의 적어도 어느 하나의 지점에 복수의 이미지 중에서 어느 하나를 제공하는 것이며, 컴퓨터가 시행마다 사용자로부터 입력되는 응답을 제공된 이미지종류와 비교하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 상기 시지각 컨텐츠 출력단계는, 중심지점에 상기 제1화면과 상기 제2화면을 컨버전스 매칭하는 단계; 및 상기 중심지점의 깊이지점을 기준으로 시지각 컨텐츠에 상응하는 대상체를 특정한 2차원 공간 상의 특정한 깊이에 표시하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 상기 2차원 또는 3차원 공간 상의 각 지점별 정답률을 산출하여 사용자의 시지각 손상영역을 설정하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 컴퓨터가 주기적으로 산출된 시지각 손상영역을 기반으로 각 지점에 대한 테스크제공빈도, 테스크난이도, 테스크의 출력이미지 크기 중 적어도 하나를 결정하는 단계;를 더 포함한다.
또한, 다른 일실시예로, 사용자의 고개움직임 또는 동공방향 움직임을 센싱하여 시야중심방향을 탐색하고, 상기 시야중심방향을 기준으로 상대적인 위치를 기반으로 테스크를 제공하는 것을 특징으로 한다.
본 발명의 다른 일실시예에 따른 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 언급된 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법을 실행하며, 매체에 저장된다.
본 발명의 일실시예에 따른 시지각 트레이닝을 제공하는 컴퓨팅 장치는, 헤드마운트 디스플레이 장치의 제1화면에 제1대상체를 제공하고, 상기 헤드마운트 디스플레이 장치의 제2화면에 제2대상체를 제공하고, 사용자로부터 상기 제1대상체와 제2대상체의 위치관계를 조절하기 위한 사용자조작을 수신하고, 상기 사용자조작에 따라 상기 제1화면 및 상기 제2화면의 위치를 변경하고, 시야 중심방향을 기준으로 시각손상영역을 포함하는 환자의 시야범위에 시지각 컨텐츠를 출력하고, 상기 제1화면은 상기 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면 중 어느 하나이고, 상기 제2화면은 상기 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면 중에서 상기 제1화면이 아닌 것이다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명의 일 실시예에 의하면, 사용자가 장소에 구애받지 않고 시지각 훈련 장치를 이용하여 시지각 훈련을 수행할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 사용자가 초기설정 게임을 수행하는 과정에서, 사용자 눈 상태에 적합한 제1화면 및 제2화면 위치로 자동 조절할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 기존의 아날로그 방식의 시지각 훈련 방식과 달리, 환자의 시각 장애 상태에 맞게 시지각 훈련의 난이도를 정확 및 유연하게 조절할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법의 순서도이다.
도 2는 본 발명의 일실시예에 따라 제1화면 및 제2화면의 위치가 변경되는 것을 도시한 예시도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 공간 상에 시지각 자극을 제공하는, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법의 순서도이다.
도 4는 본 발명의 일실시예에 따른 사용자의 응답을 평가하는 과정을 더 포함하는 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법의 순서도이다.
도 5는 본 발명의 일실시예에 따른 특정한 사용자에 대한 화면 출력조건을 저장하는 과정을 더 포함하는, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법의 순서도이다.
도 6은 본 발명의 일실시예에 따른 시지각 손상영역을 산출하는 과정을 더 포함하는 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법의 순서도이다.
도 7은 본 발명의 일실시예에 따른 정답률 분포도의 예시도면이다.
도 8은 본 발명의 일실시예에 따른 시지각 손상영역을 기반으로 난이도를 조절하는 과정을 더 포함하는, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법의 순서도이다.
도 9는 본 발명의 일실시예에 따른 시지각 트레이닝을 제공하는 컴퓨팅 장치의 구조도이다.
도 10은 본 발명의 일실시예에 따라 헤드마운트 디스플레이 장치에 시지각 훈련 영상을 제공하는 예시도면이다.
도 11은 정상인과 뇌 손상에 따른 시지각 장애 환자에게 보이는 시야를 비교한 예시도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 '컴퓨터'는 연산처리를 수행할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 컴퓨터는 클라이언트로부터 정보를 수신하는 서버컴퓨터가 해당될 수도 있다. 이하, 본 명세서에서 컴퓨터는 단말기 또는 클라이언트로 표현될 수도 있다.
본 명세서에서, '제1화면'은 헤드마운트 디스플레이 장치의 좌안용 화면 또는 우안용 화면을 의미한다.
본 명세서에서 '제2화면'은 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면 중에서 제1화면이 아닌 것을 의미한다.
본 명세서에서 '시지각 훈련 영상'은 시지각 훈련을 위해 화면 상에 제공되는 영상을 의미한다. '시지각 훈련 영상'은 시지각 자극을 위해 특정한 위치에 표시되는 출력이미지를 포함한다.
본 명세서에서 '제1문제'는 시지각 손상을 가지고 있는 환자에게 시지각 인지 훈련을 제공하기 위해 화면 상에 제공되는 문제를 의미한다.
본 명세서에서 '제1응답'은 특정시점에 제공되는 제1문제에 대한 응답을 의미한다.
본 명세서에서 '제2문제'는 사용자의 시선방향을 화면 중앙에 고정하기 위해 제공되는 문제를 의미한다. 예를 들어, '제2문제'는 화면 중앙에 구별되는 복수의 대상체(예를 들어, ㅋ 또는 ㅌ) 중에서 어느 하나를 특정시점에 화면 중앙에 표시하는 것일 수 있다.
본 명세서에서 '제2응답'은 제2문제에 대해 사용자로부터 수신되는 응답을 의미한다.
본 명세서에서 '출력이미지'는 제1문제에 의해 화면 상의 특정한 위치에 제공되는 이미지를 의미한다. 예를 들어, '출력이미지'는 화면 상의 특정한 사분면 내에 표시되는 가로 또는 세로 줄무늬 이미지일 수 있다.
본 명세서에서 '화면이미지'는 상기 제1문제에 따라 하나 이상의 출력이미지가 배치된 화면 자체이다. 화면이미지는 일반적인 디스플레이 장치로 출력되거나 헤드마운트 디스플레이 장치에 출력될 수 있다. 헤드마운트 디스플레이 장치에 화면이미지가 제공되는 경우, 화면이미지는 좌안용 영상 및 우안용 영상으로 각각 생성될 수 있다.
본 명세서에서 '중심시야부'는 사용자에게 제공되는 화면 내에서 중앙 영역을 의미한다.
본 명세서에서 '주변시야부'는 화면 내에서 중심시야부를 제외한 나머지 영역을 의미한다.
본 명세서에서 '테스크(Task)표시부'는 사용자에게 제공되는 화면 내에 기억력 훈련의 테스크인 출력이미지가 제공되는 영역을 의미한다. '테스크표시부'는 중심시야부를 제외한 주변시야부만이 해당될 수도 있고, 중심시야부와 주변시야부를 모두 포함할 수도 있다.
본 명세서에서 '헤드마운트 디스플레이 장치'는 사용자의 눈에 시지각 훈련 영상을 제공하는 장치를 의미한다. '헤드마운트 디스플레이 장치'는 컴퓨터(예를 들어, PC 또는 스마트폰)에 연결되어 사용되는 장치 또는 컴퓨팅 기능을 포함하는 장치일 수 있다.
도 1은 본 발명의 일실시예에 따른 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법의 순서도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법은, 컴퓨터가 상기 헤드마운트 디스플레이 장치의 제1화면에 제1대상체를 제공하고, 상기 헤드마운트 디스플레이 장치의 제2화면에 제2대상체를 제공하는 단계(S200); 컴퓨터가 사용자로부터 상기 제1대상체와 제2대상체의 위치관계를 조절하기 위한 사용자조작을 수신하는 단계(S400; 사용자조작수신단계); 컴퓨터가 상기 사용자조작에 따라 상기 제1화면 및 상기 제2화면의 위치를 변경하는 단계(S600; 화면위치변경단계); 및 시야 중심방향을 기준으로 시각손상영역을 포함하는 환자의 시야범위에 시지각 컨텐츠를 출력하는 단계(S800);를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
뇌졸중 등에 의해 시지각 기능에 문제가 있는 환자들은 정상인과 달리 시야범위의 일부영역이 보이지 않게 된다. 도 11(a)의 정상인 시야범위와 달리, 좌뇌의 시각피질(Visual Cortex)에 이상이 있어서 시야범위의 우측 하단이 보이지 않는 경우, 도 11(b)에서와 같이, 환자는 우측 하단에 자동차와 아이들을 시각적으로 확인하지 못하게 된다. 도 11(c)와 같이 시각피질(Visual Cortex) 손상이 심한 경우, 환자는 중앙부분 이외 영역의 물체를 제대로 확인할 수 없게 된다.
기존에 뇌졸중 등에 의해 시지각 기능에 문제가 발생한 환자(예를 들어, 시야 범위 내에서 일부 영역이 보이지 않는 환자)의 경우, 시지각 기능 향상을 위한 시지각 훈련을 받기 위해 병원에 내원하여 훈련을 수행하였다. 구체적으로, 모니터 화면 상에 시지각 자극을 위한 시지각 훈련 영상이 제공되고, 미리 지정된 거리와 높이에 머리를 배치한 상태에서 훈련을 수행하였다. 즉, 세밀한 조건을 맞춘 상태에서 훈련 진행이 가능하여 병원을 내원하여서만 진행이 가능하였다.
최근 가상현실 영상을 제공할 수 있는 헤드마운트 디스플레이 장치가 보급되면서 환자에게 원하는 형태의 영상을 제공할 수 있게 되었으나, 헤드마운트 디스플레이 장치를 사용자의 눈에 부합하게 양안초점 또는 양안 시선의 컨버전스(Convergence; 양안의 시선이 만나는 조건)를 조절하여야 훈련을 수행할 수 있다. 시야범위의 일부에 시지각 장애가 존재하는 환자에 부합하는 화면 제공 상태를 구현하기 위한 방법이 필요하다.
일반적으로 현실 공간 내의 물체를 바라볼 때는 양안의 초점이 물체를 향해 수렴(Convergence)이 이루어지지만, 헤드마운트 디스플레이 장치를 이용하는 경우 양안에 좌안용 영상과 우안용 영상이 각각 제공되므로 양안의 수렴이 자동적으로 이루어지지 못하는 문제가 있다. 기존의 가상현실 컨텐츠는 시지각 인지 능력이 정상인 사용자들이 사용함에 따라 양안의 컨버전스 매칭(Convergence Matching)이 이루어지지 않더라도 뇌에서 정보를 처리하여 정상적으로 볼 수 있게 된다. 하지만, 시지각 장애를 가지고 있는 환자의 경우에는 뇌에서 컨버전스 매칭을 대체하는 과정을 수행하기 어려울 수 있으며 시지각 인지 능력을 향상시키기 위한 훈련의 시지각 자극을 제대로 제공받지 못하여 시지각 훈련 효과가 떨어질 수 있다. 따라서, 시지각 환자에게 최적의 시지각 훈련을 제공하기 위해서는 환자 양안의 초점(즉, 컨버전스)를 맞추는 초기설정 과정이 필요하다.
컴퓨터가 상기 헤드마운트 디스플레이 장치의 제1화면에 제1대상체를 제공하고, 상기 헤드마운트 디스플레이 장치의 제2화면에 제2대상체를 제공한다(S200). 즉, 컴퓨터는 헤드마운트 디스플레이 장치의 좌안용 화면과 우안용 화면에 대상체를 각각 제공한다. 제1대상체와 제2대상체는 동일할 수도 있고 상이할 수도 있다.
컴퓨터가 사용자로부터 상기 제1대상체와 제2대상체의 위치관계를 조절하기 위한 사용자조작을 수신한다(S400; 사용자조작수신단계). 즉, 사용자는 제1대상체와 제2대상체의 위치가 맞지 않는 경우에 위치를 조절하는 사용자입력을 입력하여 제1대상체와 제2대상체의 위치를 조절한다.
예를 들어, 제1대상체와 제2대상체가 동일한 출력이미지인 경우, 사용자는 제1화면과 제2화면에 표시된 동일한 출력이미지가 정확히 겹쳐지도록 조절하는 조작을 입력할 수 있다. 또한, 예를 들어, 제1대상체와 제2대상체가 상이한 출력이미지인 경우(예를 들어, 제1대상체와 제2대상체가 동일한 위치에 매칭되어야 하는 상이한 이미지인 경우), 컴퓨터는 사용자로부터 제1대상체와 제2대상체의 대응되어야 하는 지점이 특정한 위치(즉, 타겟지점)에서 만나도록 조절하는 조작을 수신할 수 있다. 즉, 상기 사용자조작수신단계(S400)에서, 사용자에 의해 타겟지점 상에서 상기 제1대상체와 상기 제2대상체의 위치를 일치시키는 입력조작을 수신한다.
또한, 다른 일실시예로, 상기 제1대상체 및 제2대상체 중 적어도 하나는 운동대상체로 생성될 수 있다. 이를 통해, 환자가 시지각 트레이닝을 수행하기 전에 환자 눈 조건에 부합하게 초기설정을 수행하기 위한 과정을 게임으로 구현할 수 있다. 예를 들어, 제1대상체는 화살 이미지이고 제2대상체는 과녁이미지가 되어 제2대상체의 중심이 타겟지점으로 설정되어서, 제1대상체인 화살이미지가 제2대상체인 과녁이미지를 향해 움직이는 운동대상체로 생성될 수 있다. 제1화면 상의 화살이 제2화면 상의 과녁의 중앙에 맞지 않으면 사용자는 화살이미지가 과녁 중앙에 도달할 수 있도록 조절하기 위한 입력조작을 입력하게 된다.
컴퓨터는 사용자(즉, 환자)로부터 좌우 또는 상하로 이동시키는 조작을 입력받을 수 있다. 예를 들어, 사용자로부터 가상현실용 컨트롤러를 통해 좌우 또는 상하로 제1대상체 또는 제2대상체를 이동시키는 조작을 입력받을 수 있다. 또한, 컴퓨터는 가상현실용 컨트롤러를 통해 사용자로부터 제1대상체 또는 제2대상체를 회전시키는 조작을 입력받을 수도 있다. 또한, 컴퓨터는 사용자로부터 양안의 화면(즉, 제1화면 및 제2화면)에 제공되는 제1대상체와 제2대상체의 크기를 조절하는 조작을 수신할 수 있다.
그 후, 컴퓨터가 상기 조작에 따라 상기 제1화면 및 상기 제2화면의 위치를 변경한다(S600; 화면위치변경단계). 즉, 도 2에서와 같이, 컴퓨터는 제1대상체와 제2대상체가 타겟지점에서 만나도록 하기 위해 입력된 조작을 기반으로 제1화면과 제2화면의 위치를 조절한다. 컴퓨터는 제1화면과 제2화면을 특정한 시프팅 거리(Shifting Distance)만큼 이동시킨다.
이를 통해, 컴퓨터는 환자 양안의 시선방향이 만나는 위치에 제1화면과 제2화면이 표시되로록 할 수 있다. 즉, 컴퓨터는 사용자의 조작에 따라 제1화면과 제2화면(즉, 좌안용 디스플레이 화면과 우안용 디스플레이 화면)의 컨버전스 매칭이 되도록 할 수 있다. 즉, 일반적으로, 헤드마운트 디스플레이 장치는 양안의 시선이 향하는 위치를 일치시키기 위해 물리적으로 좌안용 디스플레이와 우안용 디스플레이 사이의 거리를 조절하였으나, 제1대상체와 제2대상체가 대응되도록 하는 조작에 의해 소프트웨어적으로 제1화면과 제2화면의 위치를 조절하여 컨버전스 매칭이 가능하도록 한다.
그 후, 컴퓨터는 시야 중심방향을 기준으로 시각손상영역을 포함하는 환자의 시야범위에 시지각 컨텐츠를 출력한다(S800; 시지각 컨텐츠 출력단계). 즉, 컴퓨터는 컨버전스 매칭이 이루어져서 환자의 시야범위에서 양안 영상이 겹쳐져서 제대로 보이는 상태에서 시야범위에 시지각 컨텐츠(즉, 시지각 훈련 영상)을 제공할 수 있다.
컴퓨터는 다양한 방식으로 시야범위에 시지각 자극을 제공할 수 있다. 일실시예로, 컴퓨터는 시야범위(즉, 테스크표시영역) 전체에 시지각 자극(즉, 출력이미지)를 위치를 변경하면서 제공할 수 있다. 즉, 컴퓨터는 시야범위 내의 정상영역과 시각손상영역에 모두 시지각 자극을 제공할 수 있다. 시야범위 내의 정상영역에 제공되는 시지각 자극이 시각손상영역에 대한 뇌영역을 자극하여, 시각손상영역을 회복시킬 수 있다. 따라서, 컴퓨터는 시야범위 내의 전범위에 대해 시지각 자극을 제공할 수 있다.
또한, 다른 일실시예로, 시각손상영역 내의 영역에 집중적으로 시지각 자극을 제공할 수 있다. 후술되는 바와 같이, 컴퓨터는 환자의 훈련수행결과를 기반으로 시각손상영역을 산출할 수 있고, 시각손상영역 내에만 시지각 자극을 제공하거나 시각손상영역에 정상영역에 비해 높은 비율로 시지각 자극을 제공할 수 있다. 또한, 컴퓨터는 시각손상영역 내에서도 사용자의 시각 인지 수준에 따라 각 지점에 상이한 비율로 시지각 자극(즉, 출력이미지)를 제공할 수 있다.
또한, 컴퓨터는 시지각 훈련영상을 다양한 형태로 제공할 수 있다. 일실시예로, 컴퓨터는 환자에게 제공되는 화면이미지의 유형을 선택하도록 하는 훈련(제1문제)를 제공할 수 있다. 즉 컴퓨터는 각 시행마다 2차원 또는 3차원 공간 상의 적어도 어느 하나의 지점에 복수의 이미지 중에서 어느 하나를 제공한다.
제1문제는, 상기 출력이미지의 개수, 종류, 배치위치 및 크기 중 적어도 하나를 변경하여 제공되는 것으로, 변경조건을 다양하게 함에 따라 선택지 개수를 늘릴 수 있다. 따라서, 컴퓨터는 제1문제의 변경조건에 따라 생성 가능한 복수의 화면이미지가 어떤 것인지 선택하는 훈련을 제공한다.
일실시예로, 컴퓨터는 미리 정해진 복수의 출력이미지 중에서 화면 상의 특정지점에 표시된 이미지가 어떠한 것인지 선택하도록 하는 훈련(즉, 제1문제)을 제공할 수 있다. 예를 들어, 출력이미지로 가로줄무늬 이미지와 세로줄무늬 이미지가 포함되는 경우, 컴퓨터는 테스크제공영역 내에 각 시행마다 가로줄무늬 이미지 또는 세로줄무늬 이미지를 제공하고, 환자로부터 시각적으로 확인되는 이미지 형태를 입력받도록 할 수 있다.
다른 일실시예로, 화면 상에 제1문제를 제공하는 시행마다 화면 내에 포함되는 출력이미지의 배치위치를 변경하여 제1문제를 다양하게 할 수 있다. 예를 들어, 컴퓨터가 동일한 출력이미지가 표시되는 화면 내의 위치를 변경하여 다른 화면이미지를 생성할 수 있다. 출력이미지의 위치를 변경하는 것은, 테스크표시부가 복수의 분할영역으로 나누어져 있는 경우, 제1문제의 출력이미지가 표시되는 분할영역을 다르게 하거나 동일한 분할영역 내에서 출력이미지가 배치되는 지점을 다르게 하는 것일 수 있다. 컴퓨터는 환자에게 제공되는 화면이미지(즉, 하나 이상의 출력이미지의 배치형태)가 어떠한 것인지 선택하도록 할 수 있다.
또한, 테스크표시영역을 3차원공간으로 구현함에 따라 출력이미지를 다양한 깊이에 생성할 수 있는 경우, 컴퓨터는 출력이미지가 표시되는 깊이를 변경하여 다양한 문제 형태를 생성할 수 있다. 예를 들어, 컴퓨터는 기준깊이(예를 들어, 제2문제가 제공되는 경우에 제2문제가 표시되는 깊이)로부터 가까운 영역 또는 먼 영역으로 나누어서 출력이미지를 표시할 수 있다. 컴퓨터는 환자에게 제공되는 화면이미지(즉, 하나 이상의 출력이미지의 배치형태)가 어떠한 것인지 선택하도록 할 수 있다.
또한, 다른 일실시예로, 컴퓨터는 출력이미지의 종류(예를 들어, 도형 분류와 캐릭터 이미지 분류 등) 또는 형상(예를 들어, 가로줄무늬 패턴과 세로줄무늬 패턴)을 변경하여 상이한 제1문제를 생성할 수 있다. 예를 들어, 컴퓨터는 테스크표시부의 동일한 위치에 상이한 형상의 출력이미지(예를 들어, 가로줄무늬 패턴과 세로줄무늬 패턴)를 표시하여 다른 문제를 생성할 수 있다.
또한, 다른 일실시예로, 컴퓨터는 동일한 위치에 동일한 출력이미지 종류/형상을 표시하면서 출력이미지의 크기를 변경함에 따라 상이한 제1문제를 생성할 수 있다.
또한, 다른 일실시예로, 도 3에서와 같이, 상기 시지각 컨텐츠 출력단계(S800)는, 중심지점에 상기 제1화면과 상기 제2화면을 컨버전스 매칭하는 단계(S810); 및 상기 중심지점의 깊이지점을 기준으로 시지각 컨텐츠에 상응하는 대상체를 특정한 2차원 공간 상의 특정한 깊이에 표시하는 단계(S820);를 더 포함한다. 즉, 컴퓨터는 3차원 공간 상의 중심이 되는 지점에 컨버전스 매칭을 한 후에 다양한 깊이에 시지각 자극을 제공할 수 있다.
구체적으로, 3차원 공간의 중심지점에 환자의 시선방향을 고정하기 위한 제2문제(예를 들어, ㅋ 또는 ㅌ 중에서 화면 상에 표시되는 것을 입력하는 문제)를 제공하는 경우, 컴퓨터는 제2문제의 3차원공간 내 배치위치를 기반으로 제1문제에 포함된 출력이미지를 표시하는 3차원공간 내 위치를 결정한다. 3차원 공간에서는 좌안과 우안에 제공되는 영상(즉, 좌안용 영상 및 우안용 영상)이 컨버젼스(Convergence)를 형성하는 지점을 기준으로 원근감을 형성하게 된다. 따라서, 컴퓨터는 후술되는 제2문제를 특정한 깊이에 배치하면서 제2문제에 대해 좌안용영상과 우안용영상을 컨버젼스 매칭시키고, 제1문제에 따른 출력이미지를 특정한 깊이에 배치하여 기준깊이에 배치된 제2문제와의 상대적인 위치관계를 기반으로 다양한 깊이에 출력이미지가 표시되는 화면을 구현할 수 있다.
또한, 다른 일실시예로, 도 4에서와 같이, 컴퓨터가 시행마다 사용자로부터 입력되는 응답을 제공된 이미지종류와 비교하는 단계(S1000);를 더 포함한다. 즉, 컴퓨터는 제1테스크에 대한 응답인 제1응답을 수신하고, 제1응답이 정답에 해당하는지 여부를 판단한다. 예를 들어, 제1문제에 포함되는 출력이미지로 가로줄무늬와 세로줄무늬를 제공받는 경우, 컴퓨터는 화면 상의 특정한 위치에 표시되는 이미지가 어떠한 것인지 입력받고 정답인지 여부를 판단한다. 컴퓨터는 복수의 시행에 대해 정답결과를 누적하여 정답률을 산출할 수 있고, 환자의 시야범위인 2차원 또는 3차원 공간의 지점별 정답률을 산출할 수도 있다. 지점별 정답률은 후술되는 바와 같이 환자의 시지각 상태 판단을 위한 그라데이션 맵 생성에 이용될 수 있다.
또한, 다른 일실시예로, 도 5에서와 같이, 컴퓨터가 특정한 사용자에 대한 상기 제1화면과 상기 제2화면의 출력조건을 저장하는 단계(S700);를 더 포함한다. 즉, 특정한 사용자(즉, 환자)의 눈 조건에 부합하는 제1화면 및 제2화면의 위치조건을 산출하여 저장한다. 이를 통해, 여러 명의 환자가 하나의 헤드마운트 디스플레이 장치를 이용하여 시지각 트레이닝을 수행하는 경우에, 특정한 사용자에 대한 설정정보를 선택함에 따라 바로 시지각 트레이닝을 수행할 수 있다.
또한, 다른 일실시예로, 도 6에서와 같이, 상기 2차원 또는 3차원 공간 상의 각 지점별 정답률을 산출하여 사용자의 시지각 손상영역을 설정하는 단계(S1200);를 더 포함한다. 컴퓨터는 테스크제공영역의 다양한 지점에 시지각자극(즉, 출력이미지)를 제공함에 따라 각 지점별 정답률을 획득할 수 있다. 컴퓨터는, 도 7에서와 같이, 각 지점별 정답률을 기반으로 테스크제공영역의 정답률 분포도 또는 정답률에 따라 각 지점의 색상을 달리 표현한 그라데이션(Gradation) 맵을 생성한다. 그 후, 컴퓨터는 정답률 분포도 또는 그라데이션 맵을 기반으로 특정한 값을 가지는 지점을 연결하여 시지각 손상영역을 산출한다. 이를 통해, 컴퓨터는 환자의 시지각 손상 정도의 변화를 별도의 검사(예를 들어, fMRI 검사)를 수행하지 않고 환자의 훈련수행결과만으로 파악할 수 있다.
또한, 다른 일실시예로, 도 8에서와 같이, 컴퓨터가 주기적으로 산출된 시지각 손상영역을 기반으로 각 지점에 대한 테스크제공빈도, 테스크난이도, 테스크의 출력이미지 크기 중 적어도 하나를 결정하는 단계(S1400);를 더 포함한다. 즉, 컴퓨터는 환자의 시지각 인지 능력 상태를 판단하여, 시지각 훈련 영상(즉, 테스크)의 난이도를 결정할 수 있다. 시지각 훈련 영상의 난이도를 조절하는 방식으로는 다양한 방식이 적용될 수 있다. 예를 들어, 컴퓨터는 화면 상에 제공되는 출력이미지의 밝기 또는 채도를 낮추거나 출력이미지의 크기를 줄여서 난이도를 높일 수 있다. 또한, 컴퓨터는 화면이미지 내에 등장하는 출력이미지의 개수를 조절하여 난이도를 조절할 수 있다. 출력이미지의 개수가 늘어나면 출력이미지간의 배치관계가 다양해짐에 따라 환자가 선택하여야 하는 선택지 개수가 높아져서 난이도가 높아질 수 있다.
또한, 환자의 시선중심방향을 기준으로 시각손상영역에 시지각 자극을 제공하여야 하는데, 환자들이 보이지 않는 시지각자극을 보이는 정상영역을 통해 확인하기 위해 안구방향을 변경하여 시지각 자극을 확인하는 것을 방지할 필요가 있다.
이를 위해, 일실시예로, 시야범위의 중심에 제2문제를 제공하여 시선방향을 중심에 고정한 상태로 시지각 자극인 제1문제를 제공받고 제1응답을 입력하도록 할 수 있다. 구체적으로, 컴퓨터가 화면 내의 중심시야부에 표시되는 제2문제를 제공하고, 상기 제2문제에 대한 제2응답을 사용자로부터 수신한다. 제2문제는 사용자의 시선방향을 특정한 위치에 고정하는 역할을 수행한다. 바람직하게는, 제2문제는, 제1문제를 확인하는 시행시점에 시선방향이 중심방향으로 고정되도록 하기 위해 테스크표시부의 일측에 제공되는 제1문제와 동시에 제공된다. 즉, 사용자가 제2문제가 표시되는 중심시야부를 주시한 상태에서 제1문제를 확인하도록 제1문제와 제2문제를 화면상에 동시에 표시하는 화면이미지를 제공한다.
또한, 다른 일실시예로, 컴퓨터는 사용자의 고개움직임 또는 동공방향 움직임을 센싱하여 시야중심방향을 탐색하고, 상기 시야중심방향을 기준으로 상대적인 위치를 기반으로 테스크를 제공한다. 즉, 컴퓨터가 사용자의 시선방향을 측정하여, 상기 시선방향을 기준으로 상기 제1문제에 따른 출력이미지의 배치위치를 결정하여 제공할 수 있다. 예를 들어, 사용자가 헤드마운트 디스플레이 장치를 통해 화면이미지를 제공받으므로, 사용자가 헤드마운트 디스플레이 장치를 착용한 상태에서 고개를 움직이거나 안구방향을 움직이면 동일한 화면이미지에 대해 보이는 방향이 달라지게 된다. 따라서, 컴퓨터는 사용자의 고개움직임 또는 안구움직임을 인식하여 시선방향을 획득하고, 시선방향을 기준으로 출력이미지의 배치위치를 결정한다.
구체적으로, 컴퓨터는 헤드마운트 디스플레이 장치에 포함된 모션센서를 통해 획득된 고개움직임데이터를 기반으로 사용자의 고개움직임을 측정한다. 또한, 컴퓨터는 헤드마운트 디스플레이 장치에 포함된 안구움직임 센서(즉, 아이트래커; Eye-tracker)에 의해 획득된 안구움직임데이터를 기반으로 안구움직임을 측정한다. 그 후, 컴퓨터는 사용자의 고개움직임 또는 안구움직임이 있을 때의 시선방향(즉, 시야범위의 중심방향)을 산출해낸다. 그 후, 컴퓨터는 시선방향(즉, 시야범위의 중심방향)을 중심으로 출력이미지를 표시하여 특정 시행에 제공되는 화면이미지를 생성한다. 즉, 제1문제 내의 출력이미지 배치위치정보는 시선방향(즉, 시야범위의 중심방향)을 기준으로 결정된 상대적인 위치이고, 컴퓨터는 제1문제 내의 출력이미지 배치위치정보를 기반으로 각 시행의 화면이미지를 생성한다. 이를 통해, 컴퓨터는 사용자가 자유로운 고개움직임과 안구움직임을 수행하는 중에도 기억력 훈련을 원할하게 제공할 수 있다.
도 9는 본 발명의 일실시예에 따른 시지각 트레이닝을 제공하는 컴퓨팅 장치의 구조도이다.
도 10은 본 발명의 일실시예에 따라 헤드마운트 디스플레이 장치에 시지각 훈련 영상을 제공하는 예시도면이다.
도 10을 참조하면, 본 발명의 일실시예에 따른 시지각 트레이닝을 제공하는 컴퓨팅 장치(또는 시지각 훈련 장치)(100)는 디스플레이(110), 메모리(120), 제어부(130), 사용자 입력부(140)의 전부 또는 일부를 포함한다. 본 발명의 일실시예에 따른 시지각 트레이닝을 제공하는 컴퓨팅 장치(100)는 본 발명의 실시예들에 따른 시지각 트레이닝 방법을 동일하게 수행하므로, 기 설명한 내용은 생략한다.
시지각 훈련 장치(100)는 휴대 가능한 단말기일 수 있다. 시지각 훈련 장치(100)는 사용자의 머리에 장착하여 디스플레이(110)와 사용자의 눈이 마주보는 방식으로 사용될 수 있다. 시지각 훈련 장치(100)는 HMD(Head Mounted Display), 글라스, 고글 등의 헤드 마운티드 디바이스일 수도 있고, 헤드 마운티드 디바이스에 거치하여 사용할 수 있는 휴대폰 등의 디스플레이 디바이스일 수도 있다.
헤드마운트 디스플레이 장치는 제1화면 및 제2화면을 포함한다. 상기 제1화면 및 상기 제2화면은 상기 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면이다.
메모리(120)는 시지각 훈련 프로그램을 저장한다. 시지각 훈련 프로그램은 시지각 훈련 장치(100)에 기 설치되어 있는 네이티브 프로그램일 수도 있고 외부 서버로부터 다운로드되어 설치된 프로그램일 수도 있다. 메모리(120)는 시지각 훈련 장치(100)에 연결 또는 삽입되는 외부 메모리일 수도 있다.
제어부(130)는, 시지각 훈련 프로그램이 실행될 경우, 시지각 훈련 프로그램에 대응하는 시지각 훈련 영상을 디스플레이(110)에 출력할 수 있다.
디스플레이(110)의 화면은 환자의 좌안에 대응하는 제1 화면부와 환자의 우안에 대응하는 제2 화면부를 포함할 수 있다. 제어부(130)는, 제1 화면부를 통해 출력되는 제1 영상과 제 2 화면부를 통해 출력되는 제2 영상 간의 거리, 중첩도를 조절하여 시지각 훈련 영상의 시차, 초점을 조절할 수 있다.
시지각 훈련 영상은, 본격적으로 시지각 훈련을 수행하기 전에 시지각 훈련 영상의 초점을 조절하기 위한 사전 영상을 포함할 수도 있다.
사용자 입력부(140)는 시지각 훈련 프로그램의 실행을 위한 사용자 입력, 시지각 훈련 동안 시지각 훈련 영상의 초점을 조절하기 위한 사용자 입력, 시지각 훈련 영상에 포함된 문제의 정답을 맞추기 위한 사용자 입력 등을 수신할 수 있다.
사용자는 사전 영상을 보면서 사용자 입력부(140)를 통해 수동으로 초점 거리를 조절할 수도 있고, 게임 형식으로 제작된 사전 영상을 통해 게임을 수행하면서 자동으로 초점 거리가 조절되도록 할 수도 있다. 사용자는 시지각 훈련 도중에라도 사용자 입력부(140)를 통해 수동으로 초점을 조절할 수도 있다.
예를 들어, 게임 형식으로 제작된 사전 영상을 통해 초점을 조절하는 방법을 설명하면 다음과 같다.
제어부(130)는 과녁 맞추기 게임(예를 들어, 사격 게임)을 사전 영상으로서 디스플레이(110)에 출력할 수 있다. 사용자는 사용자 입력부(140)를 통해 과녁을 향해 사격을 하고, 제어부(130)는 과녁의 명중률에 기초하여 사용자에 알맞도록 초점을 자동 조절할 수 있다.
시지각 훈련 영상은 환자의 시각 장애의 정도에 따라 난이도가 달라질 수 있다. 제어부(130)는 시지각 훈련 동안 사용자 입력부(140)를 통해 입력되는 답변의 정답률에 기초하여, 시지각 훈련 영상에 포함되는 도형/문자의 모양, 크기, 위치, 색깔, 채도, 명암 중 적어도 하나를 조절하여 난이도를 조절함으로써 시지각 훈련 수준을 결정할 수 있다.
본 발명의 일 실시예에 의하면, 시지각 훈련 동안 사용자 입력부(140)를 통해 사용자의 답변을 실시간으로 수신하고, 정답률에 기초하여 사용자의 상태에 따라 사용자의 수준에 맞도록 훈련의 난이도를 유연하게 조절할 수 있는 효과가 있다.
본 발명의 일실시예에 따른 시지각 트레이닝을 제공하는 컴퓨팅 장치가 특정한 환자가 시지각 트레이닝을 수행하기 위한 초기 설정과정을 설명하면 다음과 같다. 시지각 트레이닝을 제공하는 컴퓨팅 장치(100)는 헤드마운트 디스플레이 장치의 제1화면에 제1대상체를 제공하고, 상기 헤드마운트 디스플레이 장치의 제2화면에 제2대상체를 제공한다. 그 후, 상기 컴퓨팅 장치는 사용자로부터 상기 제1대상체와 제2대상체의 위치관계를 조절하는 조작을 수신한다. 그 후, 컴퓨팅 장치는 상기 조작에 따라 상기 제1화면 및 상기 제2화면의 위치를 변경한다. 그 후, 컴퓨팅 장치는 시야 중심방향을 기준으로 시각손상영역을 포함하는 환자의 시야범위에 시지각 컨텐츠를 출력한다.
이상에서 전술한 본 발명의 일 실시예에 따른 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 헤드마운트 디스플레이 장치를 이용하여 시지각 트레이닝을 수행하는 방법에 있어서,
    컴퓨터가 상기 헤드마운트 디스플레이 장치의 제1화면에 제1대상체를 제공하고, 상기 헤드마운트 디스플레이 장치의 제2화면에 제2대상체를 제공하는 단계;
    컴퓨터가 사용자로부터 상기 제1대상체와 제2대상체의 위치관계를 조절하기 위한 사용자조작을 수신하는 사용자조작수신단계;
    컴퓨터가 상기 사용자조작에 따라 상기 제1화면 및 상기 제2화면의 위치를 변경하는 단계; 및
    시야 중심방향을 기준으로 시각손상영역을 포함하는 환자의 시야범위에 시지각 컨텐츠를 출력하는 단계;를 포함하되,
    상기 제1화면은 상기 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면 중 어느 하나이고,
    상기 제2화면은 상기 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면 중에서 상기 제1화면이 아닌 것인, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법.
  2. 제1항에 있어서,
    상기 사용자조작수신단계는,
    사용자에 의해 타겟지점 상에서 상기 제1대상체와 상기 제2대상체의 위치를 일치시키는 것을 특징으로 하고,
    상기 제1대상체 및 제2대상체 중 적어도 하나는 운동대상체인, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법.
  3. 제1항에 있어서,
    컴퓨터가 특정한 사용자에 대한 상기 제1화면과 상기 제2화면의 출력조건을 저장하는 단계;를 더 포함하는, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법.
  4. 제1항에 있어서,
    상기 시지각 컨텐츠 출력단계는,
    각 시행마다 2차원 또는 3차원 공간 상의 적어도 어느 하나의 지점에 복수의 이미지 중에서 어느 하나를 제공하는 것이며,
    컴퓨터가 시행마다 사용자로부터 입력되는 응답을 제공된 이미지종류와 비교하는 단계;를 더 포함하는, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법.
  5. 제4항에 있어서,
    상기 시지각 컨텐츠 출력단계는,
    중심지점에 상기 제1화면과 상기 제2화면을 컨버전스 매칭하는 단계; 및
    상기 중심지점의 깊이지점을 기준으로 시지각 컨텐츠에 상응하는 대상체를 특정한 2차원 공간 상의 특정한 깊이에 표시하는 단계;를 더 포함하는, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법.
  6. 제4항에 있어서,
    상기 2차원 또는 3차원 공간 상의 각 지점별 정답률을 산출하여 사용자의 시지각 손상영역을 설정하는 단계;를 더 포함하는, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법.
  7. 제6항에 있어서,
    컴퓨터가 주기적으로 산출된 시지각 손상영역을 기반으로 각 지점에 대한 테스크제공빈도, 테스크난이도, 테스크의 출력이미지 크기 중 적어도 하나를 결정하는 단계;를 더 포함하는, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법.
  8. 제1항에 있어서,
    사용자의 고개움직임 또는 동공방향 움직임을 센싱하여 시야중심방향을 탐색하고, 상기 시야중심방향을 기준으로 상대적인 위치를 기반으로 테스크를 제공하는 것을 특징으로 하는, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법.
  9. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공프로그램.
  10. 헤드마운트 디스플레이 장치의 제1화면에 제1대상체를 제공하고,
    상기 헤드마운트 디스플레이 장치의 제2화면에 제2대상체를 제공하고,
    사용자로부터 상기 제1대상체와 제2대상체의 위치관계를 조절하기 위한 사용자조작을 수신하고,
    상기 사용자조작에 따라 상기 제1화면 및 상기 제2화면의 위치를 변경하고,
    시야 중심방향을 기준으로 시각손상영역을 포함하는 환자의 시야범위에 시지각 컨텐츠를 출력하고,
    상기 제1화면은 상기 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면 중 어느 하나이고,
    상기 제2화면은 상기 헤드마운트 디스플레이 장치의 좌안용 화면 및 우안용 화면 중에서 상기 제1화면이 아닌 것인, 시지각 트레이닝을 제공하는 컴퓨팅 장치.
PCT/KR2017/010635 2016-09-26 2017-09-26 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램 Ceased WO2018056791A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160123201 2016-09-26
KR10-2016-0123201 2016-09-26
KR10-2017-0124012 2017-09-26
KR1020170124012A KR101965393B1 (ko) 2016-09-26 2017-09-26 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램

Publications (1)

Publication Number Publication Date
WO2018056791A1 true WO2018056791A1 (ko) 2018-03-29

Family

ID=61690571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/010635 Ceased WO2018056791A1 (ko) 2016-09-26 2017-09-26 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램

Country Status (1)

Country Link
WO (1) WO2018056791A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111973889A (zh) * 2020-07-24 2020-11-24 光朗(海南)生物科技有限责任公司 一种光学像距与屏幕显示内容融合的vr设备
CN115969677A (zh) * 2022-12-26 2023-04-18 广州视景医疗软件有限公司 一种眼球运动训练的方法及装置
US12064181B2 (en) * 2017-12-21 2024-08-20 Essilor International Method of analyzing a visual field of an individual and a corresponding ophthalmic lens

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920374A (en) * 1998-03-24 1999-07-06 Board Of Trustees Of The University Of Arkansas Computerized screening device utilizing the Pulfrich effect
EP1082939A2 (en) * 1999-09-01 2001-03-14 Ahmed A. Dr. Assaf Digital synoptophore
JP2005524432A (ja) * 2002-05-04 2005-08-18 ザ ユニバーシティ オブ ノッティンガム 眼疾患の評価、測定および治療用の接眼ディスプレイ装置とその方法
JP2009525157A (ja) * 2006-01-31 2009-07-09 ノバビジョン， インコーポレイテッド 視野の盲の領域を処置するためのプロセスおよび装置
US20120069296A1 (en) * 2010-09-20 2012-03-22 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and Methods for Binocular Vision Diagnosis and Treatment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920374A (en) * 1998-03-24 1999-07-06 Board Of Trustees Of The University Of Arkansas Computerized screening device utilizing the Pulfrich effect
EP1082939A2 (en) * 1999-09-01 2001-03-14 Ahmed A. Dr. Assaf Digital synoptophore
JP2005524432A (ja) * 2002-05-04 2005-08-18 ザ ユニバーシティ オブ ノッティンガム 眼疾患の評価、測定および治療用の接眼ディスプレイ装置とその方法
JP2009525157A (ja) * 2006-01-31 2009-07-09 ノバビジョン， インコーポレイテッド 視野の盲の領域を処置するためのプロセスおよび装置
US20120069296A1 (en) * 2010-09-20 2012-03-22 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and Methods for Binocular Vision Diagnosis and Treatment

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12064181B2 (en) * 2017-12-21 2024-08-20 Essilor International Method of analyzing a visual field of an individual and a corresponding ophthalmic lens
CN111973889A (zh) * 2020-07-24 2020-11-24 光朗(海南)生物科技有限责任公司 一种光学像距与屏幕显示内容融合的vr设备
CN111973889B (zh) * 2020-07-24 2022-09-23 光朗(海南)生物科技有限责任公司 一种光学像距与屏幕显示内容融合的vr设备
CN115969677A (zh) * 2022-12-26 2023-04-18 广州视景医疗软件有限公司 一种眼球运动训练的方法及装置
CN115969677B (zh) * 2022-12-26 2023-12-08 广州视景医疗软件有限公司 一种眼球运动训练的装置

Similar Documents

Publication Publication Date Title
KR101965393B1 (ko) 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램
Deemer et al. Low vision enhancement with head-mounted video display systems: are we there yet?
CN109645955B (zh) 基于vr和眼动追踪的多功能视觉功能检测装置及方法
KR101939339B1 (ko) 뇌 자극을 통한 기억력 훈련 장치, 방법 및 프로그램
Pierre et al. The effects of 0.2 áHz varying latency with 20–100áms varying amplitude on simulator sickness in a helmet mounted display
WO2016114496A1 (ko) 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
WO2022051688A1 (en) Systems and methods for improving binocular vision
WO2023033461A1 (ko) 가상현실 기반 안구운동 및 시지각 훈련 제공 장치 및 방법
WO2018056791A1 (ko) 시지각 트레이닝을 제공하는 컴퓨팅 장치, 헤드마운트 디스플레이 장치 기반의 시지각 트레이닝 제공방법 및 프로그램
WO2018117443A1 (ko) 클라우드 연동형 시기능 강화 웨어러블 디바이스 시스템
EP3746839A1 (en) Method for determining refractory power of eye using immersive system and electronic device thereof
WO2020230908A1 (ko) 사시진단어플리케이션 및 이를 갖는 사시진단장치
IL257096A (en) Systems and methods for displaying objects on a screen at a desired viewing angle
WO2021071335A1 (ko) 스마트 안경의 시선 트래킹 시스템 및 그 방법
Mehringer et al. Stereopsis only: Validation of a monocular depth cues reduced gamified virtual reality with reaction time measurement
CN112926523B (zh) 基于虚拟现实的眼球追踪方法、系统
US11249549B2 (en) Brain connectivity-based visual perception training device, method and program
US12531155B2 (en) Intelligent extended reality eyewear
Zhao et al. Computational alleviation of homonymous visual field defect with ost-hmd: The effect of size and position of overlaid overview window
WO2018056790A1 (ko) 뇌 자극을 통한 기억력 훈련 장치, 방법 및 프로그램
WO2024014623A1 (ko) 사용자 맞춤용 누진렌즈 설계 장치 및 그의 누진렌즈 설계 방법
CN110755241A (zh) 视觉训练方法、视觉训练装置及存储介质
JP7034228B1 (ja) アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム
WO2012022042A1 (zh) 头戴式视觉增强系统及其训练方法
KR102275379B1 (ko) 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17853505

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17853505

Country of ref document: EP

Kind code of ref document: A1