KR20160090065A - Rehabilitation system based on gaze tracking - Google Patents

Rehabilitation system based on gaze tracking Download PDF

Info

Publication number
KR20160090065A
KR20160090065A KR1020150009908A KR20150009908A KR20160090065A KR 20160090065 A KR20160090065 A KR 20160090065A KR 1020150009908 A KR1020150009908 A KR 1020150009908A KR 20150009908 A KR20150009908 A KR 20150009908A KR 20160090065 A KR20160090065 A KR 20160090065A
Authority
KR
South Korea
Prior art keywords
patient
training
gaze
rehabilitation
unit
Prior art date
Application number
KR1020150009908A
Other languages
Korean (ko)
Other versions
KR101660157B1 (en
Inventor
박강령
김성민
방재원
홍형길
김기완
이승철
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020150009908A priority Critical patent/KR101660157B1/en
Publication of KR20160090065A publication Critical patent/KR20160090065A/en
Application granted granted Critical
Publication of KR101660157B1 publication Critical patent/KR101660157B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4833—Assessment of subject's compliance to treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/161—Flicker fusion testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5035—Several programs selectable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5043—Displays

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Rehabilitation Tools (AREA)

Abstract

According to an embodiment of the present invention, provided is a rehabilitation system based on gaze tracking. The rehabilitation system based on gaze tracking may comprises: an image acquiring unit for acquiring an image including the eyes of a patient; an eyeballs information acquiring unit for detecting the centers of the pupils and the centers of reflected light rays from corneas of the eyes of the patient based on the acquired image; a gaze tracking unit for tracking a position of a gaze of the patient using the detected centers of the pupils and reflected light rays from corneas; a display unit for displaying a screen including training content for rehabilitation of the patient; and a control unit for changing the entire training content or a portion thereof included in the screen according to the position of the gaze of the patient.

Description

시선 추적 기반 재활 시스템{REHABILITATION SYSTEM BASED ON GAZE TRACKING} BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a rehabilitation system based on eye tracking,

본 발명은 시선 추적 기반 재활 시스템에 관한 것으로, 더욱 상세하게는 환자의 얼굴 영상을 획득하고 동공 중심 검출, 각막 반사광 검출 등을 수행하여 환자의 시선을 추적함으로써 인지 재활 및 편측 마비 환자의 재활을 위한 시스템에 관한 것이다.
More particularly, the present invention relates to a system and method for rehabilitating a cognitive rehabilitation and unilateral paralysis by tracking a patient's gaze by acquiring a facial image of a patient and performing pupil center detection and corneal reflex detection ≪ / RTI >

종래의 인지 재활 치료 방식으로 전통적인 치료법과 전산화 인지 재활(Computerized Cognitive Rehabilitation)등 방법이 사용되어 왔다. 특히 전산화 인지 재활 치료의 경우, 컴퓨터 게임과 같은 형태로 사용자가 쉽고 흥미롭게 주어진 과제를 수행할 수 있으며 환자의 일상 생활에서 인지 기능 장애 또는 편측 마비로 인한 불편을 해소하는데 도움을 줄 수 있다는 점에서 근래에 빈번하게 이용되고 있다. Traditional methods of cognitive rehabilitation therapy and computerized cognitive rehabilitation have been used. In particular, in the case of computerized cognitive rehabilitation, users can perform tasks easily and interestingly in the form of a computer game and can help solve the inconvenience caused by cognitive dysfunction or unilateral paralysis in the patient's daily life. .

다만, 종래의 전산화 인지 재활 훈련의 경우, 옆에서 환자를 보조하기 위해서 의사 또는 간호사들이 제대로 훈련을 받고 있는 지 유무를 구두로 물어보기 때문에 환자가 재활 치료를 잘 수행하고 있는지 판단하기 어렵다는 문제가 발생하며, 편측 마비 환자의 경우에도 마비에 의한 시선 위치가 다르므로 훈련을 제대로 받는지 판단하기 어렵다는 문제가 발생한다.
However, in the case of the conventional computerized cognitive rehabilitation training, it is difficult to judge whether the patient is performing the rehabilitation treatment because the physician or the nurse verbally inquires whether the physician or the nurse is properly trained to assist the patient In the case of patients with unilateral paralysis, the position of the gaze due to paralysis is different, so that it is difficult to judge whether or not the training is properly performed.

전술한 문제를 해결하기 위하여, 본 발명의 일 실시예로서 환자의 시선 위치를 기록하여 자동으로 분석함으로써 훈련 효과를 자동으로 판단하는 방법이 제공될 수 있다. 본 발명의 일 실시예에 따르면, 환자의 시선 위치를 추적하고, 시선 위치 정보를 통해 마우스와 동일하게 인지 및 편측 마비 재활 시스템의 제어가 가능할 수 있다. In order to solve the above-described problems, a method of automatically determining the training effect can be provided by recording the position of the patient's gaze and automatically analyzing the patient's position as an embodiment of the present invention. According to an embodiment of the present invention, it is possible to track the gaze position of the patient and to control the recognition and unilateral paralysis rehabilitation system in the same manner as the mouse through the gaze position information.

본 발명에 따르면 별도의 입력 장치인 조이스틱 또는 키보드 이외에도 환자의 눈 깜박임(Blinking) 또는 드웰 타임(Dwell time)을 통해서 인지 선택 훈련이 가능할 수 있다. 또한, 인지 및 편측 마비 환자의 경우 시선을 통한 눈 훈련과 별도의 입력 장치인 키보드 또는 조이스틱 등을 이용한 손 훈련이 가능할 수 있다. According to the present invention, in addition to a joystick or a keyboard, which is a separate input device, it is possible to perform cognitive selection training through blinking or dwell time of a patient. In the case of cognitive and unilateral paralysis patients, it is also possible to perform eye training through eyesight and hand training using a keyboard or joystick as a separate input device.

환자의 시선 위치를 자동으로 분석함으로써 훈련 효과 등의 판단이 가능하며, 시선을 통한 제어를 통해 환자의 흥미도를 높여 보다 장시간의 사용을 유도하여 재활 훈련의 효과를 향상키는 것을 목적으로 한다.
The purpose of this study is to improve the effectiveness of rehabilitation training by inducing more long - term use by increasing the interest of the patient through the control through the eyes.

본 발명의 일 실시예로써, 시선 추적 기반 재활 시스템이 제공될 수 있다. 시스템은 환자의 눈이 포함된 영상을 획득하기 위한 영상획득부, 획득된 영상에 기초하여 환자의 눈의 동공 중심과 각막의 반사광 중심을 검출하는 안구정보획득부, 검출된 동공 중심과 각막의 반사광 중심을 이용하여 환자의 시선 위치를 추적하기 위한 시선추적부, 환자의 재활을 위한 훈련컨텐츠가 포함된 화면을 디스플레이하는 디스플레이부 및 환자의 시선 위치에 따라 화면에 포함된 훈련컨텐츠의 전부 또는 일부를 변경하는 제어부를 포함할 수 있다. As an embodiment of the present invention, a gaze tracking based rehabilitation system can be provided. The system includes an image acquisition unit for acquiring an image including a patient's eye, an eye information acquisition unit for detecting the center of the pupil of the patient's eye and the reflected light center of the cornea based on the acquired image, A display unit for displaying a screen including training contents for rehabilitation of the patient, and a display unit for displaying all or a part of the training contents included in the screen according to the sight line position of the patient And a control unit for changing the operation mode.

본 발명의 일 실시예에 따른 영상획득부는 환자의 눈이 포함되어 촬영된 안면 영상을 획득하기 위한 촬상기기를 포함할 수 있다. An image acquisition unit according to an embodiment of the present invention may include an imaging device for acquiring a facial image including a patient's eye.

본 발명의 일 실시예에 따른 영상획득부는 조명부를 더 포함하고, 조명부는 각막의 반사광 중심을 검출하기 위하여 사용 가능한 적외선 조명기구를 포함할 수 있다. The image obtaining unit according to an embodiment of the present invention may further include an illumination unit, and the illumination unit may include an infrared illumination device that can be used to detect a reflected light center of the cornea.

본 발명의 일 실시예에 따른 시선추적부는 검출된 동공 중심과 각막의 반사광 중심에 대한 기하학적 변환(Geometric Transform)을 통하여 환자의 시선 위치를 추적할 수 있다. The gaze tracking unit according to an embodiment of the present invention can track the gaze position of the patient through a geometric transformation of the center of the detected pupil and the reflected light center of the cornea.

본 발명의 일 실시예에 따른 환자의 재활을 위한 훈련컨텐츠는 문자, 숫자, 부호, 색상, 방향성 중 적어도 하나를 나타내기 위한 이미지를 포함할 수 있다. The training contents for rehabilitation of a patient according to an embodiment of the present invention may include an image for representing at least one of letters, numbers, signs, colors, and directions.

본 발명의 일 실시예에 따른 시선추적부는 환자의 시선 위치의 추적 결과를 시간순으로 저장하는 시선변화 기록부를 더 포함하고, 제어부는 시선변화 기록부에 저장된 환자의 시선 위치의 추적 결과에 기초하여 재활 훈련 효과의 상승 및 하강 유무를 판단하고, 판단 결과가 디스플레이부를 통하여 디스플레이되도록 할 수 있다. The eye-tracking unit according to an embodiment of the present invention may further include a line-of-sight change recording unit that stores a result of tracking the line-of-sight position of the patient in chronological order, It is possible to judge whether the effect is ascending or descending, and display the judgment result on the display unit.

본 발명의 일 실시예에 따른 제어부는 환자의 시선 위치에 따라 화면에 포함된 훈련컨텐츠의 전부 또는 일부에 대한 크기, 위치 및 상태 중 적어도 하나를 변경하고, 변경된 훈련컨텐츠와 훈련정보가 포함된 화면이 디스플레이부를 통하여 디스플레이되게 할 수 있다. According to an embodiment of the present invention, the control unit changes at least one of size, position and state of all or a part of the training contents included in the screen according to the sight line position of the patient, Can be displayed through the display unit.

본 발명의 일 실시예에 따른 훈련정보는 환자가 훈련컨텐츠를 변경하는 정도에 따라 부과된 점수 정보, 훈련컨텐츠에 대한 환자의 반응시간정보, 반응속도정보 및 훈련컨텐츠의 제공 난이도 정보 중 적어도 하나를 포함할 수 있다. The training information according to an embodiment of the present invention may include at least one of score information imposed on the degree to which the patient changes the training content, patient response time information on the training content, reaction rate information, and providing difficulty information of the training content .

본 발명의 일 실시예에 따른 시스템은 환자의 손 훈련이 가능한 부가 입력부를 더 포함하고, 부가 입력부는 제어부와 연결되고, 환자의 시선 위치와 동기화되어 동작 가능할 수 있다.
The system according to an embodiment of the present invention may further include a supplementary input unit capable of performing a hand training of a patient, and the supplementary input unit may be connected to the control unit and may be operable in synchronization with a position of a patient's gaze.

본 발명의 일 실시예에 따른 시선추적 기반 전산화 인지 치료 및 편측 마비 훈련 시스템을 통하여 환자의 시선의 졸음 여부, 환자의 훈련 유무를 시선을 통해 지속적으로 모니터링 가능하고, 시선을 통한 재활 프로그램 제어로 환자의 흥미도를 높여서 환자의 인지 훈련 및 편측 마비 훈련 치료를 극대화 할 수 있다.
Through computerized cognitive therapy and unilateral paralysis training system based on eye tracking according to an embodiment of the present invention, it is possible to continuously monitor the drowsiness of the patient's eyes and the presence or absence of the patient's training through the eyes, Of the patient's cognitive training and unilateral paralysis training can be maximized.

도 1은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템의 블록도이다.
도 3은 동공을 이용하여 시선을 추적하는 방법의 일 예를 도시한다.
도 4는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 일 예를 도시한다.
도 5는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 다른 예를 도시한다.
도 6은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 또 다른 예를 도시한다.
도 7은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 또 다른 예를 도시한다.
1 is a schematic diagram of a visual tracking-based rehabilitation system in accordance with an embodiment of the present invention.
2 is a block diagram of a visual tracking-based rehabilitation system in accordance with an embodiment of the present invention.
FIG. 3 shows an example of a method of tracking a line of sight using a pupil.
FIG. 4 shows an example of a rehabilitation program screen that can be driven through the eye tracking-based rehabilitation system according to an embodiment of the present invention.
FIG. 5 illustrates another example of a rehabilitation program screen that can be driven through the eye tracking-based rehabilitation system according to an embodiment of the present invention.
FIG. 6 shows another example of a rehabilitation program screen that can be driven through the eye tracking-based rehabilitation system according to an embodiment of the present invention.
FIG. 7 shows another example of a rehabilitation program screen that can be driven through the eye tracking-based rehabilitation system according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. The terms used in this specification will be briefly described and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements as well, without departing from the spirit or scope of the present invention. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .

명세서 전체에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.Throughout the specification, the term "user" may be a physician, nurse, clinician, medical imaging expert, etc. as a medical professional and may be, but not limited to, a technician repairing a medical device.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템의 개략도이다. 1 is a schematic diagram of a visual tracking-based rehabilitation system in accordance with an embodiment of the present invention.

본 발명의 일 실시예로써 제공되는 시선 추적 기반 재활 시스템에 따르면, 환자의 인지 및 편측 마비 재활 치료를 위하여 환자의 시선 위치를 추적하기 위해서는 적외선 조명기구와 같은 조명부(130)와 환자의 양 눈 영상 촬영이 가능한 카메라 등의 영상획득부(110)를 통하여 안면 영상을 취득하고, 획득된 안면 영상에 기초하여 양 눈의 동공 중심과 적외선 조명에 의해 발생되는 각막 반사광 중심 위치를 획득할 수 있다. 획득된 양 눈의 동공 중심과 각막 반사광 중심 위치를 기반으로 기하학적 변환(Geometric Transform)을 통해 환자의 시선 위치 정보를 획득하고, 환자의 시선 위치 정보 이용하여 마우스 등의 부가 입력부(195)와 동일하게 인지 및 편측 마비 환자의 재활 또는 치료를 위한 시스템의 제어가 가능하며 별도의 부가 입력부(195)가 없더라도 환자의 눈 정보를 기반으로 재활 훈련이 가능할 수 있다. According to the eye-tracking-based rehabilitation system provided as one embodiment of the present invention, in order to track a patient's gaze position for cognitive and unilateral palsy rehabilitation, an illumination unit 130 such as an infrared illuminator, A facial image can be acquired through an image acquisition unit 110 such as a camera capable of photographing, and the center of the reflected light center of the cornea generated by the infrared light and the pupil center of both eyes can be acquired based on the acquired facial image. The gaze position information of the patient is obtained through the geometric transformation based on the pupil center of the obtained eyes and the center of the reflected light center of the cornea and the gaze position information of the patient is obtained using the geometric transformation It is possible to control the system for rehabilitation or treatment of the cognitive and unilateral paralysis patients and rehabilitation training can be performed based on the patient's eye information even if there is no additional input unit 195.

본 발명에서 사용될 시선 추적 기술로는 종래의 시선 추적 기술이 사용될 수 있다. 따라서, 이하에서는 시선 추적 기술에 대한 설명 보다는 인지 재활 및 편측마비 재활 훈련 과정에 대한 설명을 중점적으로 다루도록 한다. Conventional eye tracking technology may be used as the eye tracking technology to be used in the present invention. Therefore, the following description focuses on the explanation of cognitive rehabilitation and unilateral paralysis rehabilitation training rather than the description of eye tracking technology.

도 1에서와 같이 환자가 앉아서 정면의 모니터를 보면서 실제 재활 치료 프로그램을 통한 훈련을 받기 위해서는, 의사나 간호사 등의 사용자가 환자를 의자에 앉히고 재활 치료를 받을 수 있도록 도와 주어야 한다. 사용자는 환자를 최대한 움직이지 않도록 하고, 시선 추적을 실행할 수 있다. 환자는 전방의 화면을 보면서, 시선으로 모니터 상에서 화면에서 제시되는 몇 개의 점을 응시한다. 환자가 제시된 몇 개의 점을 응시가 끝난 경우 환자의 정보 및 시선 보정(calibration)을 통한 환자의 모니터 대비 환자의 시선 정보를 등록하여 저장하고, 실시간 시선 추적이 진행될 수 있다. 사용자는 인지, 편측 마비 재활 치료 시스템을 통한 재활 프로그램을 실행시킬 수 있다. 환자의 경우에도 시선 추적 상태이므로, 환자의 시선 정보를 이용하여 인지, 편측 마비 재활 치료 시스템을 실행시킬 수 있다. 인지, 편측 마비 재활 치료를 위한 재활 프로그램 화면은 도 4 내지 도 7과 같이 디스플레이될 수 있지만, 반드시 이에 제한되는 것은 아니다. As shown in FIG. 1, in order to receive a training through actual rehabilitation treatment program while the patient is sitting and watching the monitor on the front, a user such as a doctor or a nurse should help the patient to sit on a chair and receive rehabilitation treatment. The user can prevent the patient from moving as far as possible and perform eye tracking. The patient gazes at several points presented on the screen on the monitor with his gaze while looking at the front screen. When the patient has finished gazing at several points, the patient's gaze information can be registered and stored, and the real-time gaze tracking can be performed in accordance with the patient's information and calibrating the gaze. The user can perform a rehabilitation program through the cognitive, unilateral paralysis rehabilitation treatment system. Since the patient is also in the state of eye tracking, the cognitive and unilateral paralysis rehabilitation treatment system can be executed using the sight line information of the patient. The rehabilitation program screen for unilateral paralysis rehabilitation treatment can be displayed as shown in FIG. 4 to FIG. 7, but the present invention is not limited thereto.

기존에 환자는 인지, 편측 마비 재활 치료를 받고자 할 경우, 의사 또는 간호사 등의 사용자가 훈련을 잘하고 있는지 정기적으로 또는 간헐적으로 구두로 물어봐야 했으며, 지속적으로 환자를 관찰할 필요가 있었다. 그러나, 본 발명의 일 실시예에서와 같이, 환자의 시선을 실시간으로 추적하게 된다면 사용자는 재활을 위한 훈련 프로그램을 잘 수행하고 있는지 여부를 환자에게 구두로 물어볼 필요 없이 환자의 상태를 체크하거나 환자의 시선 움직임 등의 시선 정보의 변화도를 관찰함으로써 환자의 재활 훈련 효과를 검증할 수 있다. Previously, patients were required to regularly or intermittently orally ask their physician or nurse if they were well trained to receive cognitive, unilateral paralysis rehabilitation, and to constantly monitor the patient. However, as in the embodiment of the present invention, if the patient's gaze is tracked in real time, the user can check the condition of the patient without verbally asking the patient whether he is performing a training program for rehabilitation, The effect of the rehabilitation training of the patient can be verified by observing the change of the visual information such as the gaze movement.

도 1을 참조하면, 시선 추적 시스템(1000)에는 환자의 시선 위치를 추적하기 위해 환자의 양 눈이 포함된 얼굴 영상을 획득하기 위한 영상획득부(110)이 포함될 수 있다. 영상획득부(110)는 CCD 카메라 또는 CMOS 카메라 등을 포함할 수 있다. 또한, 영상획득부(110)에는 외부 조명에 강인한 적외선 조명기기 등이 조명부(130)로서 포함될 수 있다. Referring to FIG. 1, the eye tracking system 1000 may include an image acquisition unit 110 for acquiring a face image including both eyes of a patient to track a position of a patient's gaze. The image obtaining unit 110 may include a CCD camera or a CMOS camera. In addition, the image acquisition unit 110 may include an infrared illumination device or the like, which is robust against external illumination, as the illumination unit 130.

예를 들어, 환자의 안면 영상은 적외선 조명 환경 하에서 양 눈이 포함되도록 획득(140)될 수 있다. 이러한 안면 영상은 영상획득부(110)를 통하여 실시간으로 획득될 수 있다. For example, a patient ' s facial image may be acquired 140 to include both eyes under an infrared illumination environment. Such a facial image can be acquired in real time through the image acquiring unit 110.

획득된 안면 영상에서 동공 중심을 검출(150)하기 위해서 기존에 많이 사용되는 CED(Circular Edge Detection), 캐니 경계 검출(Canny Boundary Detection), 타원 경계 검출 (Ellipse Boundary Detection)등이 적용될 수 있다. 또한, 획득된 안면 영상에서 적외선 조명에 의한 각막 반사광을 검출하기 위해서 기존에 많이 사용하는 이진화(Binarization)와 컴포넌트 라벨링(Component Labeling) 등의 기법을 사용하여 각막 반사광의 정확한 위치 검출(160)이 가능하다.Conventional CED (Circular Edge Detection), Canny Boundary Detection, Ellipse Boundary Detection, and the like can be applied to detect (150) the pupil center in the obtained facial image. In order to detect corneal reflection by infrared illumination on the obtained facial image, it is possible to precisely detect the position of the cornea reflection 160 by using conventional binarization and component labeling techniques. Do.

검출된 동공 중심과 각막 반사광에 대한 정보를 기반으로 한 기하학적 변환(170)을 통해 환자의 시선 위치가 포함된 시선 정보(199)가 획득될 수 있다. 환자 시선의 정확한 추적을 위하여 초기에는 획득된 환자의 시선 위치에 대한 보정 과정이 더 수행될 수 있다. 보정 과정이란, 도 3에서와 같이 눈 영상에서의 동공 중심과 모니터의 관계를 매핑하기 위해 모니터 상의 정해진 몇 개의 점을 미리 사용자가 응시하는 방식 등으로 수행될 수 있다. 이러한 보정 과정은 시선 위치 추적의 전처리(pre-processing) 단계이다. 기하학적 변환 기법으로는 Geometric Transformation, Epipolar Geometry 등이 있다. 이러한 기하학적 변환 기법을 이용하여 환자의 시선 추적 정확도를 향상시킬 수 있다.The gaze information 199 including the gaze position of the patient can be obtained through the geometric transformation 170 based on the detected information on the pupil center and the corneal reflection. In order to accurately track the patient's gaze, a correction process for the obtained gaze position of the patient can be performed at an initial stage. The calibration process may be performed by a method in which a user observes several predetermined points on the monitor in order to map the relationship between the pupil center and the monitor in the eye image as shown in FIG. This calibration process is a pre-processing step of eye position tracking. Geometric transformation techniques include Geometric Transformation and Epipolar Geometry. Using this geometric transformation technique, the accuracy of the patient's gaze tracking can be improved.

디스플레이부(1400)를 통하여 디스플레이된 화면에 대하여 기하학적 변환을 이용하여 획득된 환자의 시선 위치에 따라 인지 및 편측 마비 재활 치료 프로그램의 동작을 제어할 수 있다. 환자의 시선 위치의 변화는 화면 상의 커서 등과 동기화되어 환자가 시선을 움직이는 것만으로 마우스, 키보드 등의 부가 입력부(195)를 이용하여 프로그램의 동작을 제어하는 것과 동일한 기능을 수행할 수 있다. 다시 말해서, 환자의 시선 변화에 따라서 재활을 위한 화면의 제어가 가능하다. 인지, 편측 마비 재활 치료 시스템을 통한 재활 프로그램은 도 4 내지 도 6의 GUI(Graphic User Interface)와 같이 환자에게 제공될 수 있다. The operation of the recognition and unilateral paralysis rehabilitation program can be controlled according to the gaze position of the patient obtained using the geometric transformation on the screen displayed through the display unit 1400. [ The change of the gaze position of the patient is synchronized with the cursor on the screen so that the patient can perform the same function as controlling the operation of the program by using the additional input unit 195 such as a mouse or a keyboard only by moving the gaze. In other words, it is possible to control the screen for rehabilitation according to the change of the gaze of the patient. A rehabilitation program through the unilateral paralysis rehabilitation treatment system can be provided to the patient, such as the GUI (Graphic User Interface) of Figs. 4-6.

도 2는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템의 블록도이다. 2 is a block diagram of a visual tracking-based rehabilitation system in accordance with an embodiment of the present invention.

본 발명의 일 실시예로써, 시선 추적 기반 재활 시스템(1000)이 제공될 수 있다. 시스템(1000)은 환자의 눈이 포함된 영상을 획득하기 위한 영상획득부(110), 획득된 영상에 기초하여 환자의 눈의 동공 중심과 각막의 반사광 중심을 검출하는 안구정보획득부(1200), 검출된 동공 중심과 각막의 반사광 중심을 이용하여 환자의 시선 위치를 추적하기 위한 시선추적부(1300), 환자의 재활을 위한 훈련컨텐츠가 포함된 화면을 디스플레이하는 디스플레이부(1400) 및 환자의 시선 위치에 따라 화면에 포함된 훈련컨텐츠의 전부 또는 일부를 변경하는 제어부(1500)를 포함할 수 있다. As an embodiment of the present invention, a gaze tracking based rehabilitation system 1000 may be provided. The system 1000 includes an image acquisition unit 110 for acquiring an image including a patient's eye, an eye information acquisition unit 1200 for detecting the center of the pupil of the patient's eye and the reflected light center of the cornea based on the acquired image, A gaze tracking unit 1300 for tracking the gaze position of the patient using the detected pupil center and the reflected light center of the cornea, a display unit 1400 for displaying a screen including training contents for rehabilitation of the patient, And a control unit 1500 for changing all or a part of the training contents included in the screen according to the sight line position.

본 발명의 일 실시예에 따른 영상획득부(110)는 환자의 눈이 포함되어 촬영된 안면 영상을 획득하기 위한 촬상기기를 포함할 수 있다. 이러한 촬상기기는 CCD 카메라 또는 CMOS 카메라 등일 수 있다. The image acquisition unit 110 according to an embodiment of the present invention may include an imaging device for acquiring a facial image including a patient's eye. Such an imaging device may be a CCD camera, a CMOS camera, or the like.

본 발명의 일 실시예에 따른 영상획득부(110)는 조명부(130)를 더 포함하고, 조명부(130)는 각막의 반사광 중심을 검출하기 위하여 사용 가능한 적외선 조명기구를 포함할 수 있다. The image acquisition unit 110 may further include an illumination unit 130 and the illumination unit 130 may include an infrared illumination device that can be used to detect the center of the reflected light of the cornea.

본 발명의 일 실시예에 따른 시선추적부(1300)는 검출된 동공 중심과 각막의 반사광 중심에 대한 기하학적 변환(Geometric Transform)을 통하여 환자의 시선 위치를 추적할 수 있다. The gaze tracking unit 1300 according to an embodiment of the present invention can track the gaze position of the patient through the geometric transformation of the detected pupil center and the reflected light center of the cornea.

본 발명의 일 실시예에 따른 환자의 재활을 위한 훈련컨텐츠는 문자, 숫자, 부호, 색상, 방향성 중 적어도 하나를 나타내기 위한 이미지를 포함할 수 있다. The training contents for rehabilitation of a patient according to an embodiment of the present invention may include an image for representing at least one of letters, numbers, signs, colors, and directions.

본 발명의 일 실시예에 따른 시선추적부(1300)는 환자의 시선 위치의 추적 결과를 시간순으로 저장하는 시선변화 기록부(1310)를 더 포함하고, 제어부(1500)는 시선변화 기록부에 저장된 환자의 시선 위치의 추적 결과에 기초하여 재활 훈련 효과의 상승 및 하강 유무를 판단하고, 판단 결과가 디스플레이부(1400)를 통하여 디스플레이되도록 할 수 있다. 다시 말해서, 제어부(1500)는 시선 추적을 통하여 획득된 시선 정보(199)를 분석하여, 환자가 재활을 위한 훈련을 잘 받고 있는지 여부를 판단할 수 있다. 이러한 분석은 훈련컨텐츠에 대한 환자의 시선 움직임을 통한 입력의 일치도 등에 기초하여 수행될 수 있다. The gaze tracking unit 1300 according to an embodiment of the present invention further includes a gaze change recording unit 1310 for storing the result of tracking the gaze position of the patient in chronological order, It is possible to determine whether the effect of the rehabilitation training is ascending or descending based on the result of tracking the gaze position and display the determination result on the display unit 1400. [ In other words, the control unit 1500 analyzes the gaze information 199 obtained through the gaze tracking to determine whether the patient is well-trained for rehabilitation. Such analysis can be performed based on the degree of agreement of the input through the patient's gaze movement on the training content.

본 발명의 일 실시예에 따른 제어부(1500)는 환자의 시선 위치에 따라 화면에 포함된 훈련컨텐츠의 전부 또는 일부에 대한 크기, 위치 및 상태 중 적어도 하나를 변경하고, 변경된 훈련컨텐츠와 훈련정보가 포함된 화면이 디스플레이부(1400)를 통하여 디스플레이되게 할 수 있다. The controller 1500 according to an embodiment of the present invention changes at least one of size, position and state of all or a part of the training contents included in the screen according to the sight line position of the patient, So that the included screen can be displayed through the display unit 1400.

본 발명의 일 실시예에 따른 훈련정보는 환자가 훈련컨텐츠를 변경하는 정도에 따라 부과된 점수 정보, 훈련컨텐츠에 대한 환자의 반응시간정보, 반응속도정보 및 훈련컨텐츠의 제공 난이도 정보 중 적어도 하나를 포함할 수 있다. The training information according to an embodiment of the present invention may include at least one of score information imposed on the degree to which the patient changes the training content, patient response time information on the training content, reaction rate information, and providing difficulty information of the training content .

본 발명의 일 실시예에 따른 시스템(1000)은 환자의 손 훈련이 가능한 부가 입력부(195)를 더 포함하고, 부가 입력부(195)는 제어부(1500)와 연결되고, 환자의 시선 위치와 동기화되어 동작 가능할 수 있다.The system 1000 according to an embodiment of the present invention further includes an additional input unit 195 capable of performing a hand training of the patient and the additional input unit 195 is connected to the control unit 1500 and is synchronized with the gaze position of the patient May be operable.

도 3은 동공을 이용하여 시선을 추적하는 방법의 일 예를 도시한다. FIG. 3 shows an example of a method of tracking a line of sight using a pupil.

도 1을 참조하여 전술한 바와 같이, 영상획득부(110)를 통하여 획득한 안면 영상으로부터 동공 중심과 각막 반사광을 검출하고, 검출된 동공 중심과 각막 반사광에 대한 정보를 기반으로 한 기하학적 변환(170)을 통해 환자의 시선 위치가 포함된 시선 정보(199)가 획득될 수 있다. 환자 시선의 정확한 추적을 위하여 초기에는 획득된 환자의 시선 위치에 대한 보정(calibration) 과정이 더 수행될 수 있는데, 보정 과정이란, 도 3에서와 같이 눈 영상에서의 동공 중심과 모니터의 관계를 매핑하기 위해 모니터 상의 정해진 몇 개의 점을 미리 사용자가 응시하는 방식 등으로 수행될 수 있고, 이러한 보정 과정은 시선 위치 추적의 전처리 단계일 수 있다. 기하학적 변환 기법으로는 Geometric Transformation, Epipolar Geometry 등이 있으며, 이러한 기하학적 변환 기법을 이용하여 환자의 시선 추적 정확도를 향상시킬 수 있다.As described above with reference to FIG. 1, the pupil center and the corneal reflection light are detected from the facial image acquired through the image acquisition unit 110, and the geometric transformation based on the detected information on the pupil center and the corneal reflection The gaze information 199 including the gaze position of the patient can be obtained. In order to accurately track the patient's gaze, a calibration process for the obtained gaze position of the patient may be further performed. In the calibration process, the relationship between the pupil center and the monitor in the eye image is mapped A method in which the user preliminarily takes a predetermined number of points on the monitor in order to perform the correction, and the correction process may be a preprocessing step of eye position tracking. Geometric transformation techniques include geometric transformation and epipolar geometry. Using these geometric transformation techniques, the accuracy of the patient's gaze tracking can be improved.

도 4는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 일 예를 도시한다. FIG. 4 shows an example of a rehabilitation program screen that can be driven through the eye tracking-based rehabilitation system according to an embodiment of the present invention.

환자가 도 4에서와 같이 이미지의 위치를 기억하는 재활 치료 훈련을 수행하는 경우, 환자는 전방의 인지 재활 치료 프로그램의 모니터 화면을 응시할 수 있다. 환자가 인지 재활 치료 프로그램의 시작 버튼을 시선으로 선택하면, 화면 상에서 적어도 하나의 이미지들이 순서대로 뒤집어진다. 환자는 예를 들어, 순차적으로 뒤집어진 9개의 이미지들 위치와 이미지를 기억한 후에, 화면 상에서 보기 이미지와 동일한 이미지를 찾으면서 훈련 점수를 획득할 수 있다. 이러한 재활 프로그램을 통하여 환자에게 흥미도를 유발할 수 있고, 시선 추적 정보를 실시간으로 지속적으로 저장하여 실제 환자의 훈련 상태 유무를 기록하므로 사용자는 환자에 대하여 구두 질의를 수행하기 보다는 환자의 인지 장애의 정도에 따라 재활 프로그램의 시작 버튼, 훈련 변경 버튼, 훈련 종료 버튼 등을 실질적으로 클릭하기 어려운 환자들만 훈련 과정 상에서 일부 도와주거나 부분적으로 관리할 수 있다. 다시 말해서, 환자의 시선 정보가 실시간으로 추적되고 기록되기 때문에 사용자는 환자의 훈련 상태 관찰과 재활 치료 효과의 검증을 효율적으로 수행할 수 있다. When the patient performs a rehabilitation treatment training to memorize the position of the image as shown in FIG. 4, the patient can take a monitor screen of the cognitive rehabilitation treatment program in the front side. When the patient selects the start button of the cognitive rehabilitation treatment program as the gaze, at least one image on the screen is reversed in order. The patient may, for example, acquire a training score by searching for the same image as the view image on the screen after memorizing the positions and images of the nine inverted images sequentially. This rehabilitation program can induce interest to the patient, and it keeps track of the actual state of the patient by recording continuously the gaze tracking information in real time. Therefore, the user is not required to perform the verbal query, Only those patients who are substantially unable to click on the start button, the training change button, the training end button, etc. of the rehabilitation program can be partially or partially assisted in the training process. In other words, since the patient's gaze information is tracked and recorded in real time, the user can efficiently observe the training state of the patient and verify the effectiveness of the rehabilitation treatment.

도 4는 본 발명의 실시예에 따른 인지 재활 프로그램 화면의 일 예로서, 재활 프로그램의 사용방법에 대한 정보를 제공받기 위하여 사용자는 "사용방법" 안내 기능을 제공하는, 예를 들어, 버튼 형태의 이미지(310)를 클릭하여 재활 치료 프로그램의 사용방법에 대한 정보를 획득할 수 있다. 재활 프로그램이 실행이 되면 프로그램의 동작 화면으로서, 환자에게 1개 내지 9개까지의 이미지들(320)을 보여주고 뒤집은 후, 보기 창(330)에 제시된 이미지와 동일한 이미지를 찾는 기억력 훈련의 진행을 위한 화면이 제공될 수 있다. 또한, 재활 프로그램의 화면에는 남은 훈련 시간(340)이 체크되고 기록되어 디스플레이될 수 있다. 또한, 환자의 시선 움직임 등을 통하여 화면 상에 제시된 9개의 이미지들(320) 중 보기 창(330)에 제시된 이미지와 동일한 이미지를 찾으면 미리 설정된 점수가 누적적으로 부과되어 재활 프로그램의 화면 상에 표시(350)될 수 있다. 이러한 재활 프로그램은 환자 또는 사용자가 재활 프로그램의 화면 상의 시작 버튼 형태의 이미지(360)를 선택함으로써 재활 치료 훈련의 개시가 가능하다. 또한, 환자 또는 사용자가 재활 프로그램의 화면 상의 변경 버튼 형태의 이미지(370)를 선택함으로써, 훈련의 난이도 조절 등의 훈련환경 설정이 가능하다. 또한, 환자 또는 사용자가 재활 프로그램의 화면 상의 종료 버튼 형태의 이미지(380)를 선택함으로써, 재활 치료 훈련의 종료가 가능하다. 전술한 이미지의 선택은 소정 횟수(예컨대, 2회 등)의 환자의 눈 깜박임 또는 부가 입력부(195)를 통한 화면상의 커서의 움직임(예컨대, 상, 하, 좌 또는 우) 또는 이미지 상에서의 커서를 통한 클릭 신호의 인가 등을 통하여 수행될 수 있다.FIG. 4 illustrates an example of a cognitive rehabilitation program screen according to an embodiment of the present invention. In order to provide information on a method of using a rehabilitation program, Click on the image 310 to obtain information on how to use the rehabilitation treatment program. When the rehabilitation program is executed, as the operation screen of the program, the user can display one to nine images 320 and flip it over, and then proceed the memory training to find the same image as the image presented in the view window 330 May be provided. Also, the remaining training time 340 can be checked, recorded and displayed on the screen of the rehabilitation program. If an image identical to the image displayed on the viewing window 330 among the nine images 320 presented on the screen through the gaze movement of the patient is found, a predetermined score is cumulatively imposed and displayed on the screen of the rehabilitation program (350). This rehabilitation program is capable of initiating rehabilitation therapy training by the patient or user selecting an image 360 in the form of a start button on the screen of the rehabilitation program. Further, by selecting the image 370 of the change button type on the screen of the rehabilitation program, the patient or the user can set the training environment such as the difficulty of training. Also, by the patient or the user selecting an image 380 in the form of an end button on the screen of the rehabilitation program, the termination of rehabilitation therapy training is possible. The selection of the above-mentioned image may be performed by a user's eye blinking a predetermined number of times (e.g., two times) or a cursor on the image (e.g., up, down, left, or right) And the like.

도 5는 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 다른 예를 도시한다.FIG. 5 illustrates another example of a rehabilitation program screen that can be driven through the eye tracking-based rehabilitation system according to an embodiment of the present invention.

도 5에서와 같이 이미지를 통한 환자의 반응 행동 훈련의 재활 치료를 수행하고자 하는 경우, 환자는 전방의 인지 재활 치료 프로그램의 화면을 응시하고, 화면을 통하여 제시되는 문항 이미지(410)와 동일한 이미지를 후보 이미지들(420) 중에서 시선을 통해서 선택을 해서 훈련 점수를 획득할 수 있다. 이러한 재활 프로그램을 통하여 환자에게 흥미도를 유발할 수 있고, 시선 추적 정보를 실시간으로 지속적으로 저장하여 실제 환자의 훈련 상태 유무를 기록하므로 사용자는 환자가 정확한 이미지를 선택하는지를 직접 계속적으로 육안으로 관찰할 필요 없이, 환자의 인지 장애의 정도에 따라 해당 환자가 훈련 과정을 제대로 따라가는지를 관찰하면서 환자의 훈련 상태를 판단하는 것이 가능하다.As shown in FIG. 5, when it is desired to perform the rehabilitation treatment of the patient's reaction behavior training through the image, the patient gazes at the screen of the cognitive rehabilitation treatment program in front and displays the same image as the item image 410 presented through the screen The training scores can be obtained by selecting from among the candidate images 420 through the eyes. Through this rehabilitation program, it is possible to induce the interest to the patient, and since the gaze tracking information is continuously stored in real time and the actual state of the patient is recorded, the user is required to continuously visually observe whether the patient selects the correct image , It is possible to determine the patient's training status by observing whether the patient follows the training course properly according to the degree of cognitive impairment of the patient.

도 5에서와 같이, 본 발명의 실시예에 따라 인지 재활 치료를 위한 재활 프로그램 화면이 환자에게 디스플레이부(1400)를 통하여 제공될 수 있다. 재활 프로그램 화면으로써 환자의 재활 치료를 위한 문항 이미지(410)과 문항 이미지(410)와 상응하는 이미지를 찾을 수 있도록 제공되는 적어도 둘 이상의 후보 이미지들(420)이 디스플레이될 수 있다. 환자의 시선의 움직임 등을 통하여 적어도 둘 이상의 후보 이미지들(420) 중 문항 이미지(410)과 동일한 이미지를 선택하면 미리 설정된 점수(430)가 누적적으로 부과되어 재활 프로그램 화면 상에 표시될 수 있다. 또한, 환자에 의한 이미지 선택에 따른 반응 속도를 측정하여 저장하고 문항 이미지(410) 제시로부터 이미지 선택까지의 경과시간(440) 등을 측정하여 재활 프로그램 화면 상에 표시되게 할 수 있다. 이러한 표시된 점수(430) 또는 경과시간(440)에 기초하여 해당 환자의 훈련 효과의 판단이 가능하다. 또한, 환자 또는 사용자가 재활 프로그램의 화면 상의 종료 버튼 형태의 이미지(450)를 선택함으로써, 재활 치료 훈련의 종료가 가능하다.As shown in FIG. 5, a rehabilitation program screen for cognitive rehabilitation treatment may be provided to the patient through the display unit 1400 according to an embodiment of the present invention. The rehabilitation program screen may display at least two candidate images 420 provided so as to find an image corresponding to the item image 410 and the item image 410 for rehabilitation of the patient. If the same image as the item image 410 of at least two candidate images 420 is selected through motion of the patient's gaze or the like, a predetermined score 430 may be cumulatively imposed and displayed on the rehabilitation program screen . In addition, the reaction rate according to the image selection by the patient can be measured and stored, and the elapsed time (440) from the presentation of the item image 410 to the selection of the image can be measured and displayed on the rehabilitation program screen. Based on the displayed score 430 or the elapsed time 440, it is possible to determine the training effect of the patient. In addition, by the patient or the user selecting an image 450 in the form of an end button on the screen of the rehabilitation program, it is possible to terminate the rehabilitation therapy training.

도 6은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 또 다른 예를 도시한다.FIG. 6 shows another example of a rehabilitation program screen that can be driven through the eye tracking-based rehabilitation system according to an embodiment of the present invention.

도 6에서와 같이 환자에 대하여 편측마비 재활 치료를 진행해야 하는 경우, 환자는 전방의 편측마비 재활 치료 프로그램의 화면을 응시하고, 환자는 프로그램 객체(예컨대, 강아지 등)의 상태 메뉴로써 제공되는 배고픔 또는 피곤함을 선택하여 선택된 상태에 적합한 강아지 행동 관련 이미지(예컨대, 먹이 또는 집 등)를 계속 주시하거나 환자의 시선을 해당 방향으로 반복적으로 이동시킴으로써, 행동 관련 이미지로 일정거리씩 강아지를 이동시켜 상태에 적합한 행동 관련 이미지를 최종적으로 선택할 수 있다. 환자가 행동 관련 이미지를 주시하고 있는 시간 또는 환자의 시선의 정보들을 기록하여 분석함으로써 편측마비 환자가 훈련을 제대로 받는지 여부에 대한 자동화된 판단이 가능하다. 또한, 도 7의 경우에서도 전술한 설명과 유사한 방식으로 편측마비 재활 치료를 위한 훈련이 가능하다. 6, when the unilateral paralysis rehabilitation treatment is to be performed on the patient, the patient looks at the screen of the unilateral paralysis rehabilitation treatment program in front of him or her, and the patient displays the hunger provided by the state menu of the program object Or tiredness, the puppies are moved to a certain distance in a behavior-related image by continuously watching a puppy behavior-related image (for example, a food or a house) suitable for the selected state or repeatedly moving the gaze of the patient in the corresponding direction You can finally select an appropriate behavior-related image. By recording and analyzing the information of the patient's gaze of the time or the time that the patient is watching the behavior-related image, it is possible to make an automated judgment as to whether or not the unilateral paralysis patient is properly trained. Also in the case of FIG. 7, training for unilateral paralysis rehabilitation treatment is possible in a manner similar to that described above.

도 6에서와 같이, 본 발명의 실시예에 따라 편측 마비 재활 치료를 위한 재활 프로그램 화면이 환자에게 디스플레이부(1400)를 통하여 제공될 수 있다. 편측 마비 재활 프로그램은, 편측 마비 환자가 왼쪽과 오른쪽을 반복적으로 볼 수 있도록 함으로써 편측 마비 환자의 재활을 돕기 위한 훈련을 제공하는 것이 목적이며, 도 6는 본 발명에 따른 예시적인 재활 프로그램의 화면으로써 개시된 기능과 기술에만 국한되는 것은 아니다. As shown in FIG. 6, a rehabilitation program screen for unilateral palsy rehabilitation treatment may be provided to the patient through the display unit 1400 according to an embodiment of the present invention. The purpose of the unilateral paralysis rehabilitation program is to provide a training for unilateral paralysis patients to assist rehabilitation by allowing a unilateral paralysis patient to repeatedly view the left and right sides. Figure 6 is a screen of an exemplary rehabilitation program according to the present invention But is not limited to the disclosed functions and techniques.

도 6에서와 같이, 환자는 시선의 움직임 등을 통하여 화면 내에서 강아지(530), 먹이(540) 또는 집(550) 등을 반복적으로 선택할 수 있고, 따라서 강아지의 상태는 환자의 시선의 움직임 등에 의한 선택에 따라 좌측 또는 우측으로 반복적으로 변경될 수 있다. 재활 훈련을 위하여 재활 프로그램 실행 시, 사용자 등에 의하여 강아지가 배고픔(510) 상태로 선택된다면, 환자는 먹이(540) 위치인 화면의 좌측으로 시선을 움직여 선택했을 때 미리 설정된 점수 획득이 가능하다. 또한, 환자는 강아지(530)를 선택하고, 먹이(540) 위치에 가깝도록 강아지의 위치를 화면의 좌측으로 이동시키기 위한 시선의 움직임을 통하여 훈련을 수행할 수 있다. 이러한 환자의 훈련 진행에 따라 누적적으로 점수(560)가 획득되어 디스플레이될 수 있다. 또한, 사용자 등에 의하여 강아지가 피곤한 상태로 선택된다면, 환자는 집(550) 위치인 화면의 우측으로 시선을 움직여서 집(550)을 선택하거나, 환자는 강아지(530)를 선택하고 그리고 나서 집(550) 위치에 가깝도록 강아지의 위치를 화면의 우측으로 이동시키기 위한 시선의 움직임을 통하여 훈련을 수행할 수 있다. 이러한 훈련을 수행했을 때 환자는 미리 설정된 점수 획득이 가능하고, 환자의 훈련 진행에 따라 누적적으로 점수(560)가 획득되어 디스플레이될 수 있다. 또한, 환자의 시선의 움직임 등을 통한 화면 내 객체(530, 540 또는 550)의 선택 또는 이동까지 경과시간(570)이 측정되어 재활 프로그램 화면 상에 표시될 수 있다. 또한, 환자 또는 사용자가 재활 프로그램의 화면 상의 종료 버튼 형태의 이미지(580)를 선택함으로써, 재활 치료 훈련의 종료가 가능하다.6, the patient can repeatedly select the puppy 530, the food 540, the house 550, and the like in the screen through the movement of the gaze and the like, It can be changed repeatedly to the left or right according to the selection by the user. If a dog is selected as a hunger 510 state by the user during rehabilitation training, the user can obtain a preset score when the user moves his / her gaze to the left side of the screen, which is the position of the prey 540. In addition, the patient may select the puppy 530 and perform the training through the movement of the line of sight to move the position of the puppy to the left side of the screen to be close to the position of the prey 540. Accumulation score 560 can be obtained and displayed according to the training progress of the patient. Also, if the pupil is selected to be tired by the user or the like, the patient moves his / her gaze to the right side of the screen at the position of the house 550 to select the house 550 or the patient selects the puppy 530, ) Position to the right of the screen so that the position of the dog can be moved to the right side of the screen. When such training is performed, the patient can acquire a predetermined score, and the score (560) can be accumulated and displayed according to the progress of the patient's training. In addition, the elapsed time 570 may be measured and displayed on the rehabilitation program screen until the selection or movement of the in-screen objects 530, 540, or 550 through the movement of the patient's gaze or the like. Also, by the patient or the user selecting an image 580 in the form of an end button on the screen of the rehabilitation program, it is possible to terminate the rehabilitation therapy training.

도 7은 본 발명의 일 실시예에 따른 시선 추적 기반 재활 시스템을 통하여 구동 가능한 재활 프로그램 화면의 또 다른 예를 도시한다.FIG. 7 shows another example of a rehabilitation program screen that can be driven through the eye tracking-based rehabilitation system according to an embodiment of the present invention.

도 7은 본 발명의 실시예에 따른 편측 마비 재활 치료 프로그램의 다른 예로써, 재활 프로그램을 실행 시 상대편 선수와 부딪히지 않고 피해야 되며 왼쪽, 오른쪽, 위 및 아래를 볼 수 있는 반복적인 훈련을 제공하는 것이 주 목적이다. 다시 말해서, 도 7은 농구 게임으로써 왼쪽과 오른쪽 방향을 선택하는 반복적인 훈련으로, 재활 훈련 실행 시 환자 또는 사용자에 의하여 "왼쪽 골대"로 공격 방향의 선택이 가능하며, 환자의 시선의 움직임을 통해 공을 가진 플레이어가 상대편 선수와 부딪히지 않고 위치를 이동하여 골대에 접근하면서 골을 넣는 방식으로 재활 훈련의 진행이 가능하다. 또한, 재활 훈련 실행 시 환자 또는 사용자에 의하여 "오른쪽 골대"로 공격 방향의 선택이 가능하며, 환자의 시선 움직임을 통해 공을 가진 플레이어가 상대편 선수와 부딪히지 않고 위치를 이동하여 골대에 접근하면서 골을 넣는 방식으로 환자의 훈련이 가능하다. 재활 훈련의 난이도는 난이도 설정키(630)를 이용하여 설정이 가능하다. 난이도가 높아질수록 플레이어 수가 늘어날 수 있다. 환자의 시선 이동 등을 통하여 플레이어가 골을 넣을 시에 미리 설정된 점수가 획득가능하고, 누적적으로 획득된 점수(640)는 화면 상에 표시될 수 있다. 환자 또는 사용자가 재활 프로그램의 화면 상의 재시작 버튼 형태의 이미지(650)를 선택함으로써 훈련이 재시작 될 수 있고, 종료 버튼 형태의 이미지(660)를 선택함으로써 재활 치료 훈련의 종료가 가능하다.FIG. 7 shows another example of the unilateral paralysis rehabilitation program according to the embodiment of the present invention. In the rehabilitation program shown in FIG. 7, it is desirable to provide repetitive training in which the left, right, Main purpose. In other words, FIG. 7 is a repetitive training in selecting the left and right directions as a basketball game. In the rehabilitation training, the user or the user can select the attack direction with the "left goal & A player with a ball moves to a position without approaching the opponent's player and approaches the goalpost to score goals. In addition, when the rehabilitation training is executed, the user or the user can select the attack direction with the "right goal", and the player with the ball moves the position without approaching the opponent player through the gaze movement of the patient, It is possible to train the patient by putting it. The difficulty level of the rehabilitation training can be set using the difficulty level setting key 630. The higher the difficulty, the more players you can get. A predetermined score can be acquired when the player scored a goal through the movement of the patient's gaze, etc., and the cumulative score 640 can be displayed on the screen. Training can be restarted by the patient or user selecting an image 650 in the form of a resume button on the screen of the rehabilitation program, and the end of the rehabilitation therapy training is possible by selecting an image 660 in the form of an end button.

또한, 전술한 예시적인 재활 프로그램들의 진행은 조이스틱 또는 키보드 등과 같은 부가 입력부(195)를 이용하여 환자 또는 사용자가 손으로 제어하여 손 훈련이 가능하며, 예를 들어, 사용자가 부가 입력부(195)를 통하여 도 6의 강아지의 상태를 배고픈 상태로 선택하였다면, 환자는 시선의 움직임에 따른 시선 정보(199)를 통해 전술한 바와 같이 재활 프로그램 화면을 제어하여 눈 훈련이 가능하며, 눈 깜박임(Blinking) 또는 드웰 타임(Dwell time)을 통해서 인지 선택 훈련이 가능하다. 또한, 환자의 시선 움직임에 따라 부가 입력부(195)가 동기화되어 동작되도록 함으로써 환자의 손 훈련도 가능하다. In addition, the above-described exemplary rehabilitation programs can be hand-trained by a patient or a user's hand by using an additional input unit 195 such as a joystick or a keyboard. For example, when a user inputs an additional input unit 195 If the state of the puppy of FIG. 6 is selected to be in a hungry state, the patient can perform eye training by controlling the rehabilitation program screen through the gaze information 199 according to the movement of the gaze, and blinking or blinking Cognitive selection training is possible through dwell time. In addition, the additional input unit 195 can be operated in synchronization with the gaze movement of the patient, thereby enabling hand training of the patient.

본 발명의 일 실시예에 따른 훈련컨텐츠는 적어도 하나의 이미지들(320), 문항 이미지(410), 후보 이미지들(420), 강아지 이미지(530), 먹이 이미지(540), 집 이미지(550) 또는 도 7의 플레이어 이미지 등을 포함할 수 있다. 또한, 이러한 훈련컨텐츠는 환자의 시선 위치에 따라 재활 프로그램 화면에서 훈련컨텐츠의 전부 또는 일부에 대한 크기, 위치 및 상태 중 적어도 하나가 변경되어 나타날 수 있다. The training content according to an embodiment of the present invention includes at least one of images 320, an item image 410, candidate images 420, a dog image 530, a feeding image 540, a home image 550, Or a player image of FIG. 7, and the like. Also, at least one of size, position, and state of all or a part of the training contents may be displayed on the rehabilitation program screen according to the position of the patient's gaze.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. One embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium can include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

110: 영상획득부
130: 조명부
195: 부가입력부
1000: 시선 추적 기반 재활 시스템
1200: 안구정보획득부
1300: 시선추적부
1310: 시선변화 기록부
1400: 디스플레이부
1500: 제어부110:
130:
195: additional input
1000: Eye tracking based rehabilitation system
1200: eyeball information acquiring unit
1300: eye-
1310: eye change recording section
1400:
1500:

Claims (9)

시선 추적 기반 재활 시스템에 있어서,
환자의 눈이 포함된 영상을 획득하기 위한 영상획득부;
상기 획득된 영상에 기초하여 상기 환자의 눈의 동공 중심과 각막의 반사광 중심을 검출하는 안구정보획득부;
상기 검출된 동공 중심과 각막의 반사광 중심을 이용하여 상기 환자의 시선 위치를 추적하기 위한 시선추적부;
상기 환자의 재활을 위한 훈련컨텐츠가 포함된 화면을 디스플레이하는 디스플레이부; 및
상기 추적된 상기 환자의 시선 위치에 따라 상기 화면에 포함된 훈련컨텐츠의 전부 또는 일부를 변경하는 제어부를 포함하는 것을 특징으로 하는 시선 추적 기반 재활 시스템.
In a visual tracking based rehabilitation system,
An image acquisition unit for acquiring an image including a patient's eye;
An eye information acquiring unit for acquiring a center of the pupil of the eye of the patient and a center of the reflected light of the cornea based on the obtained image;
A gaze tracking unit for tracking a gaze position of the patient using the detected pupil center and a reflected light center of the cornea;
A display unit for displaying a screen including training contents for rehabilitation of the patient; And
And a control unit for changing all or a part of the training contents included in the screen according to the tracked position of the patient.
제 1 항에 있어서,
상기 영상획득부는 상기 환자의 눈이 포함되어 촬영된 안면 영상을 획득하기 위한 촬상기기를 포함하는 시선 추적 기반 재활 시스템.
The method according to claim 1,
Wherein the image acquiring unit includes an imaging device for acquiring a facial image captured by including the eye of the patient.
제 1 항에 있어서,
상기 영상획득부는 조명부를 더 포함하고,
상기 조명부는 상기 각막의 반사광 중심을 검출하기 위하여 사용 가능한 적외선 조명기구를 포함하는 시선 추적 기반 재활 시스템.
The method according to claim 1,
Wherein the image acquiring unit further includes an illumination unit,
Wherein the illumination unit includes an infrared light illuminating device usable for detecting the center of the reflected light of the cornea.
제 1 항에 있어서,
상기 시선추적부는 상기 검출된 동공 중심과 각막의 반사광 중심에 대한 기하학적 변환(Geometric Transform)을 통하여 상기 환자의 시선 위치를 추적하는 것인 시선 추적 기반 재활 시스템.
The method according to claim 1,
Wherein the gaze tracking unit tracks the gaze position of the patient through a geometric transformation of the detected pupil center and the center of the reflected light of the cornea.
제 1 항에 있어서,
상기 환자의 재활을 위한 훈련컨텐츠는 문자, 숫자, 부호, 색상, 방향성 중 적어도 하나를 나타내기 위한 이미지를 포함하는 것인 시선 추적 기반 재활 시스템.
The method according to claim 1,
Wherein the training content for rehabilitation of the patient includes an image for displaying at least one of letters, numbers, signs, colors, and directionality.
제 1 항에 있어서,
상기 시선추적부는 상기 환자의 시선 위치의 추적 결과를 시간순으로 저장하는 시선변화 기록부를 더 포함하고,
상기 제어부는 상기 시선변화 기록부에 저장된 상기 환자의 시선 위치의 추적 결과에 기초하여 재활 훈련 효과의 상승 및 하강 유무를 판단하고, 판단 결과가 상기 디스플레이부를 통하여 디스플레이되게 하는 시선 추적 기반 재활 시스템.
The method according to claim 1,
Wherein the gaze tracking unit further includes a gaze change recording unit for storing the results of tracking the gaze position of the patient in chronological order,
Wherein the control unit judges whether the effect of the rehabilitation training is ascending or descending based on a result of tracking the gaze position of the patient stored in the gaze change recording unit and displays a result of the determination through the display unit.
제 1 항에 있어서,
상기 제어부는 상기 추적된 상기 환자의 시선 위치에 따라 상기 화면에 포함된 훈련컨텐츠의 전부 또는 일부에 대한 크기, 위치 및 상태 중 적어도 하나를 변경하고,
상기 변경된 훈련컨텐츠와 훈련정보가 포함된 화면이 상기 디스플레이부를 통하여 디스플레이되게 하는 시선 추적 기반 재활 시스템.
The method according to claim 1,
Wherein the control unit changes at least one of size, position, and state of all or a part of the training contents included in the screen according to the tracked position of the patient,
And a screen including the changed training content and training information is displayed through the display unit.
제 7 항에 있어서,
상기 훈련정보는 상기 환자가 상기 훈련컨텐츠를 변경하는 정도에 따라 부과된 점수 정보, 상기 훈련컨텐츠에 대한 상기 환자의 반응시간정보, 반응속도정보 및 상기 훈련컨텐츠의 제공 난이도 정보 중 적어도 하나를 포함하는 것인 시선 추적 기반 재활 시스템.
8. The method of claim 7,
Wherein the training information includes at least one of score information imposed according to a degree to which the patient changes the training content, response time information of the patient to the training content, reaction rate information, and providing difficulty information of the training content Eye tracking based rehabilitation system.
제 1 항에 있어서,
상기 환자의 손 훈련에 사용 가능한 부가 입력부를 더 포함하고,
상기 부가 입력부는 상기 제어부와 연결되고, 상기 환자의 시선 위치와 동기화되어 동작 가능한 것인 시선 추적 기반 재활 시스템.




The method according to claim 1,
Further comprising an additional input unit usable for hand training of the patient,
Wherein the additional input unit is connected to the control unit and is operable in synchronism with the gaze position of the patient.




KR1020150009908A 2015-01-21 2015-01-21 Rehabilitation system based on gaze tracking KR101660157B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150009908A KR101660157B1 (en) 2015-01-21 2015-01-21 Rehabilitation system based on gaze tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150009908A KR101660157B1 (en) 2015-01-21 2015-01-21 Rehabilitation system based on gaze tracking

Publications (2)

Publication Number Publication Date
KR20160090065A true KR20160090065A (en) 2016-07-29
KR101660157B1 KR101660157B1 (en) 2016-09-26

Family

ID=56617588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150009908A KR101660157B1 (en) 2015-01-21 2015-01-21 Rehabilitation system based on gaze tracking

Country Status (1)

Country Link
KR (1) KR101660157B1 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190090556A (en) * 2018-01-25 2019-08-02 한국과학기술연구원 Apparatus and Method for Brain Function Evaluation using Binocular Rivalry, and Storage Medium Storing the Same
KR20190131645A (en) * 2018-05-17 2019-11-27 고려대학교 산학협력단 User device and method for providing a gaze data of patients using application installed in the user device
KR20200058303A (en) * 2018-11-16 2020-05-27 고려대학교 산학협력단 System and Method for Rehabilitation of Eye Movement Disorder and Computer Readable storage medium
KR20200089204A (en) * 2019-01-15 2020-07-24 동국대학교 산학협력단 Eye tracking system for mild cognitive impairment
US10782777B2 (en) 2018-11-29 2020-09-22 International Business Machines Corporation Real-time alteration of standard video and immersive video for virtual reality
KR20210016911A (en) * 2019-08-06 2021-02-17 김경태 Method for eye state inspection and computing device for executing the method
KR20210067451A (en) * 2019-11-29 2021-06-08 주식회사 비엔알아이 Reading ability improvement training apparatus and method for providing training service to improve reading ability in connection with reading ability diagnosis apparatus based on eye tracking
KR20210069412A (en) * 2019-12-03 2021-06-11 권혜리 User terminal apparatus having eye trainning function and eye trainning method using the same
KR20220022390A (en) * 2020-08-18 2022-02-25 고려대학교 산학협력단 Method for providing 360° panoramic video based on real-time field-of-view changes with eye-gaze tracking in mri environment, recording medium and device for performing the method
KR102366903B1 (en) * 2021-03-02 2022-02-25 한명옥 eye health exercise
KR102383793B1 (en) * 2021-12-08 2022-04-11 주식회사 세븐포인트원 Method, apparatus and system for managing and controlling concentration of user of registered extended reality device
KR102520460B1 (en) * 2021-11-12 2023-04-13 대한민국(국립재활원장) Device and method for treating hemineglect
US11995779B2 (en) 2021-12-08 2024-05-28 Sevenpointone Inc. Method, device, and system for managing and controlling concentration of user of registered extended reality device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923656B1 (en) 2017-08-09 2018-11-29 계명대학교 산학협력단 Virtual reality control system that induces activation of mirror nervous system and its control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198085A (en) * 2009-02-23 2010-09-09 Toppan Printing Co Ltd Rehabilitation support system
KR20120006819A (en) * 2010-07-13 2012-01-19 한국기초과학지원연구원 Gaze detection method and system adopting the same
KR101381134B1 (en) * 2013-01-03 2014-04-04 계명대학교 산학협력단 Vestibular rehabilitation training system and rehabilitation training method using motion games

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198085A (en) * 2009-02-23 2010-09-09 Toppan Printing Co Ltd Rehabilitation support system
KR20120006819A (en) * 2010-07-13 2012-01-19 한국기초과학지원연구원 Gaze detection method and system adopting the same
KR101381134B1 (en) * 2013-01-03 2014-04-04 계명대학교 산학협력단 Vestibular rehabilitation training system and rehabilitation training method using motion games

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190090556A (en) * 2018-01-25 2019-08-02 한국과학기술연구원 Apparatus and Method for Brain Function Evaluation using Binocular Rivalry, and Storage Medium Storing the Same
KR20190131645A (en) * 2018-05-17 2019-11-27 고려대학교 산학협력단 User device and method for providing a gaze data of patients using application installed in the user device
KR20200058303A (en) * 2018-11-16 2020-05-27 고려대학교 산학협력단 System and Method for Rehabilitation of Eye Movement Disorder and Computer Readable storage medium
US10782777B2 (en) 2018-11-29 2020-09-22 International Business Machines Corporation Real-time alteration of standard video and immersive video for virtual reality
KR20200089204A (en) * 2019-01-15 2020-07-24 동국대학교 산학협력단 Eye tracking system for mild cognitive impairment
KR20210016911A (en) * 2019-08-06 2021-02-17 김경태 Method for eye state inspection and computing device for executing the method
KR20210067451A (en) * 2019-11-29 2021-06-08 주식회사 비엔알아이 Reading ability improvement training apparatus and method for providing training service to improve reading ability in connection with reading ability diagnosis apparatus based on eye tracking
KR20210069412A (en) * 2019-12-03 2021-06-11 권혜리 User terminal apparatus having eye trainning function and eye trainning method using the same
KR20220022390A (en) * 2020-08-18 2022-02-25 고려대학교 산학협력단 Method for providing 360° panoramic video based on real-time field-of-view changes with eye-gaze tracking in mri environment, recording medium and device for performing the method
KR102366903B1 (en) * 2021-03-02 2022-02-25 한명옥 eye health exercise
KR102520460B1 (en) * 2021-11-12 2023-04-13 대한민국(국립재활원장) Device and method for treating hemineglect
KR102383793B1 (en) * 2021-12-08 2022-04-11 주식회사 세븐포인트원 Method, apparatus and system for managing and controlling concentration of user of registered extended reality device
WO2023106555A1 (en) * 2021-12-08 2023-06-15 주식회사 세븐포인트원 Method, device, and system for managing and controlling concentration level of user of registered extended reality device
US11995779B2 (en) 2021-12-08 2024-05-28 Sevenpointone Inc. Method, device, and system for managing and controlling concentration of user of registered extended reality device

Also Published As

Publication number Publication date
KR101660157B1 (en) 2016-09-26

Similar Documents

Publication Publication Date Title
KR101660157B1 (en) Rehabilitation system based on gaze tracking
CN107929007B (en) Attention and visual ability training system and method using eye tracking and intelligent evaluation technology
US20240148244A1 (en) Interactive system for vision assessment and correction
US20240099575A1 (en) Systems and methods for vision assessment
Harezlak et al. Application of eye tracking in medicine: A survey, research issues and challenges
US20220301669A1 (en) Systems and methods for a web platform hosting one or more assessments of human visual performance
US10083631B2 (en) System, method and computer program for training for ophthalmic examinations
US7549743B2 (en) Systems and methods for improving visual discrimination
US8243132B2 (en) Image output apparatus, image output method and image output computer readable medium
US8150118B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
US10376439B2 (en) Audio-feedback computerized system and method for operator-controlled eye exercise
WO2007111383A1 (en) Image recording apparatus, image recording method and image recording program
McCormick et al. Eye gaze metrics reflect a shared motor representation for action observation and movement imagery
KR20240078420A (en) System and method for management of developmental disabilities based on personal health record
GB2527514A (en) Ocular simulation tool
US11337605B2 (en) Simulator for the evaluation of a concussion from signs displayed during a visual cranial nerve assessment
WO2021190762A1 (en) Joint virtual reality and neurostimulation methods for visuomotor rehabilitation
Cai et al. Towards supporting adaptive training of injection procedures: Detecting differences in the visual attention of nursing students and experts
WO2021200284A1 (en) Learning assistance device and learning assistance system
Pastel Visual perception in virtual reality and the application in sports
Law Eye movements in a virtual laparoscopic training environment
Lavoie Exploring Normative Eye Movement Patterns in Functional Tasks
Spenthof Development and evaluation of a naturalistic dyadic eye-tracking paradigm
Donthireddy Visuo-Motor Development in Sight-Restored Children
Pezzei Visual and Oculomotoric Assessment with an Eye-Tracking Head-Mounted Display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant