KR20200109614A - Training and exercise system based on virtual reality or augmented reality for dizziness and disequilibrium - Google Patents
Training and exercise system based on virtual reality or augmented reality for dizziness and disequilibrium Download PDFInfo
- Publication number
- KR20200109614A KR20200109614A KR1020190028899A KR20190028899A KR20200109614A KR 20200109614 A KR20200109614 A KR 20200109614A KR 1020190028899 A KR1020190028899 A KR 1020190028899A KR 20190028899 A KR20190028899 A KR 20190028899A KR 20200109614 A KR20200109614 A KR 20200109614A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- dizziness
- tracking device
- balance
- gaze
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
- A61B5/4023—Evaluating sense of balance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2800/00—Detection or diagnosis of diseases
- G01N2800/40—Disorders due to exposure to physical agents, e.g. heat disorders, motion sickness, radiation injuries, altitude sickness, decompression illness
-
- Y10S514/872—
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Neurosurgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Physical Education & Sports Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Rehabilitation Tools (AREA)
Abstract
Description
본 발명은 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템에 관한 것으로서, 더욱 상세하게는 가상현실(Virtual reality) 또는 증강현실(Augmented reality)을 기반으로 하여 어지럼증이 있는 사람의 균형감각 및 불균형으로 인한 보행 장애의 개선을 위한 운동과 훈련 시스템에 관한 것이다. The present invention relates to an exercise and training system for improving dizziness and a sense of balance, and more particularly, based on virtual reality or augmented reality, due to a sense of balance and imbalance of a person with dizziness. It relates to an exercise and training system for improving gait disorders.
몸의 균형을 잡아주는 기능은 숨을 쉬거나 심장이 뛰는 것처럼 사람에게 반드시 필요한 기능이며, 이 기능에 문제가 있으면 일생생활에 큰 불편을 초래한다.The function to balance the body is an essential function for a person, such as breathing or beating the heart, and having problems with this function causes great inconvenience in life.
내이에는 머리의 수평, 수직, 회전 운동을 감지해서 뇌로 알려주는 감각기관이 있는데, 이것을 전정기관이라고 한다. 전정기관은 양쪽 귓속의 단단한 뼈 속에 있고 미세한 막과 액체들로 구성되며, 전정기관에서 감지된 머리의 움직임은 전정신경을 타고 뇌로 들어가서, 소뇌의 적절한 조절을 받아 어느 한쪽으로 몸이 기울지 않도록 조절한다. In the inner ear, there is a sensory organ that senses the horizontal, vertical, and rotational movements of the head and informs the brain. This is called the vestibular organ. The vestibular organ is located in the hard bones of both ears and is composed of microscopic membranes and fluids, and the movement of the head detected by the vestibular organ enters the brain through the vestibular nerve, and regulates the body so that the body does not tilt to either side by appropriate control of the cerebellum. .
만약 한쪽 귀에 문제가 생기면 소뇌에서 다시 몸의 균형을 잡도록 조절을 해주는 기능이 있는데, 이 기능을 전정보상이라 한다. 이런 섬세한 신경 조절은 전정기관의 선천적 기형 - 염증 - 혈관성 허혈 - 종양뿐만 아니라 귀 뼈 골절이나 미세한 머리 외상에 의해 쉽게 영향을 받으며, 이로 인해 크고 작은 어지럼증을 경험하게 된다. 이렇게 발생된 어지럼은 불쾌할 뿐만 아니라 자세 불안, 보행장애, 낙상으로 이어질 수 있다. If there is a problem with one ear, the cerebellum has a function that adjusts the body to balance it again, and this function is called jeonsangsang. This delicate nerve control is easily affected by congenital anomalies of the vestibular organs-inflammation-vascular ischemia-tumors, as well as ear bone fractures or microscopic head trauma, resulting in large and small dizziness. The dizziness generated in this way is not only unpleasant, but can lead to postural anxiety, gait problems, and falls.
어지럼증을 유발하는 각각 질환들에 따라 치료법이 다르지만, 전정보상작용이 적절히 작동되도록 하는 것은 기본적인 치료 원칙에 해당한다. 이런 목적으로 현재 임상에서는 전정재활운동을 처방하고 있으며, 운동은 급성과 만성적 어지럼과 불균형이 있는 모든 환자에게 시행되어야 한다.Although treatment is different for each disease that causes dizziness, it is a basic treatment principle to ensure that all information interactions work properly. For this purpose, vestibular rehabilitation exercises are currently prescribed in clinical practice, and the exercises should be performed for all patients with acute and chronic dizziness and imbalance.
어지럼증은 매우 흔한 증상이며, 불균형으로 인한 낙상까지 이르게 하여 직간접 의료비 손실을 가져올 수 있다. (스웨덴 기준 10만명당 연간 낙상 직접 의료비 5백만유로) 2010-2012년 1만명 대상 국민영양건강조사 데이터를 직접 받아 조사해 본 결과, 40세 이상에서는 24%, 65세 이상에서는 1/3이 1년 이내 어지러운 경험을 했으며, 이중 대부분이 넘어질 정도로 심한 뷸균형을 호소했다. Dizziness is a very common symptom and can lead to direct and indirect loss of medical bills by leading to falls due to imbalance. (Based on Sweden, 5 million euros per year for direct medical expenses for falls per 100,000 people) As a result of receiving data from the National Nutrition and Health Survey for 10,000 people in 2010-2012, 24% of those over 40 and 1/3 of those over 65 are within a year. I had a dizzying experience, and most of them complained of severe disparity that caused them to fall.
어지럼증은 주관적 증상이어서 객관적 계측이 어렵다. 사람에 따라 증상 형태(멍하다, 빙빙 돈다, 균형이 안 잡힌다 등) 혹은 심각도(매우, 중간, 약간)를 주관적으로 표현하므로, 어느 감각신경계에, 혹은 통합하는 중추신경계에 문제가 생겨 이런 증상이 생기는 지에 대해 추정하기 힘들다. 갑작스러운 뇌병변(뇌경색 혹은 뇌출혈)으로 인한 일부의 어지럼증은 일반 뇌자기공명영상장치(Magnetic Resonance Image, MRI)를 통해 구조적 결함을 밝힐 수 있다 해도, 그 외의 수많은 감각신경계와 뇌의 이상에 대해서는 "기능적 접근”을 하지 않고서는 병태생리에 대한 접근이 불가능하다. “기능”의 측정은 "일정하고 통제가 가능한 자극”을 다양한 방법으로 인체에 적용한 뒤 그 "반응”을 확인하는 과정으로 요약될 수 있다. 결국, 일상의 환경에 가장 가까우면서 그 성질을 통제할 수 있는 이상적 자극을 감각신경계에 전달할 수 있는 장치가 필요하며, 그에 따른 반응을 확인하는 과정이 중요하다. 안타깝게도, 현재 임상적으로 응용되는 감각 자극 기기는 매우 원시적이며, 연구자가 임의로 자극의 성질과 양을 통제(control)할 수 없고, 따라서 해당하는 중추신경계의 반응을 직접적으로 유추하기 어렵다. 현재 임상에서 응용되는 감각자극 기기(자세동적검사기기, 회전의자검사, 시선운동자극)는 1차원 축의 회전자극에 대한 반응을 측정할 수 있는 수준이다. 기존의 시선운동자극은 2차원적으로, 원통을 가까이 들고 돌리거나 전시야 회전의자검사법(정해진 주파수로 x축기준 회전자극을 줄 수 있는 고가의 검사)으로만 가능하다.Dizziness is a subjective symptom, so objective measurement is difficult. Depending on the person, the type of symptoms (blank, round, unbalanced, etc.) or severity (very, medium, slightly) is subjectively expressed, so a problem occurs in a certain sensory nervous system or in the central nervous system that integrates. It's hard to estimate about whether or not. Some dizziness due to sudden brain lesions (cerebral infarction or cerebral hemorrhage) can reveal structural defects through general magnetic resonance imaging (MRI), but many other sensory nervous system and brain abnormalities are " It is impossible to access pathophysiology without taking a functional approach.” Measurement of “function” can be summarized as the process of applying “constant and controllable stimuli” to the human body in various ways and then confirming the “response”. After all, there is a need for a device that can deliver an ideal stimulus to the sensory nervous system that is closest to the daily environment and can control its properties, and the process of confirming the response is important. The sensory stimulation device used is very primitive, and the researcher cannot arbitrarily control the nature and quantity of the stimulation, so it is difficult to directly infer the response of the corresponding central nervous system. Dynamic test equipment, rotating chair test, gaze movement stimulus) is a level that can measure the response to the rotation stimulus of a one-dimensional axis The conventional gaze movement stimulus is two-dimensional, holding a cylinder close and turning it, or rotating a rotating chair in the field. It is possible only by the test method (an expensive test that can give rotational stimulation based on the x-axis at a fixed frequency).
IT기술의 발전으로 인해, 가상현실을 응용한 head mount display는 안전하고 통제된 환경에서 전시야에 의료진이 임의대로 통제할 수 있는 시선운동자극 제공이 가능한 디바이스(Visual(시각) Simulation System)이다. 최근 외국 연구에서는 어지럼증 환자에서 간단한 시자극을 주고 재활을 하면 증상 개선에 효과적이라는 보고를 했다. 이는 응용할 수 있는 가상현실 기술의 매우 일부에 불과하며, 각도, 강도, 색, 속도의 다양한 조합으로 구성된 시자극을 제공, 뇌활성의 유도와 기능의 측정에 사용가능한 새로운 도구이다. 또한 인체 착용이 쉽고, 실험 장소에 제약이 없어, 자원이 부족한 경우 매우 유용하다. 시자극에 더하여, 체성감각을 자극하는 4차원 자극장치(Somatosensory(체성감각) & Warking Simulation System)는 신경계 기능의 반응을 측정하기에 가장 적합하다고 할 수 있다. 또한, 이상적인 자극의 안전한 인체 적용을 통해 실험동물을 사용하면서 발생하는 윤리적인 문제와 인체 적용에서 오는 불일치에 대한 우려가 없는 연구라고 생각하며, 가장 자연적인(natural) 자극을 주면서 인체의 뇌기능에 대한 기초과학적 접근이 용이하다.Due to the development of IT technology, the head mount display applying virtual reality is a device (Visual Simulation System) that can provide gaze movement stimulation that medical staff can arbitrarily control in the exhibition field in a safe and controlled environment. A recent foreign study reported that simple visual stimulation and rehabilitation in dizziness patients is effective in improving symptoms. These are only a few of the virtual reality technologies that can be applied, and they are a new tool that can be used to induce brain activity and measure functions by providing visual stimulation consisting of various combinations of angle, intensity, color, and speed. In addition, it is easy to wear on the human body, and there are no restrictions on the experimental place, so it is very useful when resources are insufficient. In addition to the visual stimulation, the 4D stimulation device (Somatosensory & Warking Simulation System) that stimulates somatosensory sensation can be said to be the most suitable for measuring the response of nervous system functions. In addition, we believe that this study is free from concerns about ethical issues arising from the use of experimental animals and inconsistencies from human application through the safe application of ideal stimuli to the human body, while giving the most natural stimulation to the human brain function. It is easy to access basic science.
시각, 전정계의 신호, 체성감각계에서 들어오는 신호가 통합되는 과정은 개인의 뇌기능에 따라 다를 수 있다. 매우 간단한 예로, 롤러코스터를 타면서 심한 전정계의 흥분과 체성감각계의 신호가 빠른 시간 동안 들어오게 되는데, 내린 직후 불균형과 어지럼증을 느끼는 정도와 시간은 개인차가 심하다. 이는 뇌의 통합과정이 정상 인체에서도 다를 수 있음을 일상생활에서 확인할 수 있는 증거이다. 어떤 질환이든 간에 각 개인의 표현형은 다를 수 있으므로, 각 개인에서 보이는 정량적 이상 수치에 대해 맞게 진단과 치료에 접근하는 과정이 반드시 필요하다(customized approach). 따라서 인위적 자극의 정도를 조절하고, 이상 감각의 정량적 수치와 연관성을 살피는 연구는 진단명에 사람을 맞추는 게 아니라, 개인의 감소된 기능에 맞춘, customized 진단, 치료, 예후 예측에 응용하는 단계에 필수적이다.The process in which signals from the visual, vestibular and somatosensory systems are integrated may differ depending on the individual's brain function. As a very simple example, while riding a roller coaster, severe excitement of the vestibular system and signals from the somatosensory system come in for a short period of time, and the degree and time of feeling imbalance and dizziness immediately after getting off the coast are severely individual. This is evidence that can be confirmed in daily life that the process of integration of the brain can be different even in a normal human body. Regardless of the disease, the phenotype of each individual may be different, so a process of approaching diagnosis and treatment appropriately for the quantitative abnormality seen in each individual is necessary (customized approach). Therefore, research that adjusts the degree of artificial stimulus and examines the relationship with the quantitative value of abnormal sensations is essential not to match a person to the diagnosis name, but to apply it to a customized diagnosis, treatment, and prediction of the prognosis tailored to the reduced function of the individual. .
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 가상현실 또는 증강현실 기술을 이용하여, 불균형과 어지럼증 증상이 있는 각 개인의 병적 특성에 맞춰 기능저하에 대한 평가와 증상 개선을 위해 가상현실 또는 증강현실 기반 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템을 제공하는데 그 목적이 있다.The present invention was conceived to solve the above problems, and using virtual reality or augmented reality technology, virtual reality for evaluating functional decline and improving symptoms according to the pathological characteristics of each individual with imbalance and dizziness symptoms Or, the purpose is to provide an exercise and training system for improving dizziness and balance based on augmented reality.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명의 가상현실 또는 증강현실 기반 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템은 사용자의 머리에 착용되는 장치로서, 사용자의 시선을 추적하고, 가상현실 또는 증강현실 화면이 디스플레이되는 시선 추적 장치, 사용자가 보행할 수 있도록 하는 이동발판이 마련되어 있고, 상기 이동발판을 통해 사용자의 발바닥 압력을 감지하고, 사용자의 공간 상의 움직임을 감지하고, 사용자의 체성감각 정보를 수집하기 위한 신체 추적 장치 및 상기 시선 추적 장치에 가상현실 콘텐츠 또는 증강현실 콘텐츠를 제공하여 디스플레이되도록 하고, 상기 시선 추적 장치로부터 시선 자극 정보 및 청각 자극 정보를 수집하고, 상기 신체 추적 장치로부터 압력 정보, 움직임 정보 및 체성감각 정보를 수집하고, 수집된 다수의 감각 기관의 자극 정보를 연동하고, 이를 통해 사용자의 전정기능을 측정, 평가 및 분석하고, 분석한 사용자의 전정기능에 따라 전정재활 운동 프로그램을 수행하도록 하는 콘텐츠를 상기 시선 추적 장치에 제공하는 콘텐츠 제공 서버를 포함한다. The exercise and training system for improving dizziness and balance based on virtual reality or augmented reality of the present invention for achieving such an object is a device worn on the user's head, and tracks the user's gaze, and a virtual reality or augmented reality screen The displayed gaze tracking device and a moving footrest for the user to walk are provided, and the footrest pressure of the user is sensed through the moving footrest, the user's motion in space is detected, and the user's somatosensory information is collected. Provides virtual reality content or augmented reality content to the body tracking device and the gaze tracking device for display, collects gaze stimulation information and auditory stimulation information from the gaze tracking device, and pressure information and motion information from the body tracking device And somatosensory information is collected, and stimulus information of a number of collected sensory organs is linked, through which the user's vestibular function is measured, evaluated, and analyzed, and the vestibular rehabilitation exercise program is performed according to the analyzed vestibular function of the user. And a content providing server that provides the desired content to the gaze tracking device.
상기 시선 추적 장치는, 사용자의 시선을 추적하기 위한 시선추적부 및 사용자의 머리에 착용되는 구조로 되어 있으며, 가상현실 또는 증강현실 화면이 디스플레이되도록 하고, 음향을 출력하기 위한 HMD부를 포함하여 이루어질 수 있다. The gaze tracking device has a gaze tracking unit for tracking a user's gaze and a structure worn on the user's head, and includes an HMD unit for displaying a virtual reality or augmented reality screen and outputting sound. have.
상기 신체 추적 장치는, 사용자가 보행할 수 있도록 마련된 발판으로서, 모든 방향으로 보행할 수 있도록 하는 트레드밀 구조이고, 수평방향으로 회전 가능하고, 상하전후좌우로 기울어지도록 경사도 조절이 가능한 이동발판, 상기 이동발판 상에서 사용자의 발바닥 압력을 감지하기 위한 압력센서, 사용자의 공간 상의 움직임을 감지하기 위한 움직임 센서, 사용자가 상기 이동발판에서 이탈하는 것을 방지하기 위해 사용자의 주변에 마련된 이탈방지부, 사용자가 상기 HMD부에 디스플레이되는 화면에서 제어명령을 입력하기 위한 입력부, 구동을 중단시키기 위한 중단 버튼 및 상기 이동발판을 구동시키기 위한 구동부를 포함하여 이루어질 수 있다. The body tracking device is a treadmill structure that allows a user to walk in all directions, and the body tracking device is a movable footrest that can be rotated in a horizontal direction, and an inclination can be adjusted so as to incline up, down, front, back, left and right, and the movement A pressure sensor for detecting the user's foot pressure on the footrest, a motion sensor for detecting the user's motion in space, a departure prevention unit provided around the user to prevent the user from leaving the moving footrest, and the HMD It may include an input unit for inputting a control command on the screen displayed on the unit, a stop button for stopping driving, and a driving unit for driving the moving footrest.
상기 콘텐츠 제공 서버는 상기 중단 버튼이 터치되면, 그때까지의 시선 추적 데이터, 압력 데이터 및 움직임 데이터를 측정하고, 이를 기반으로 어지럼증과 균형감각 개선을 위한 운동과 훈련 프로그램을 수행하도록 하는 콘텐츠를 제공할 수 있다. When the stop button is touched, the content providing server measures gaze tracking data, pressure data, and movement data up to that point, and provides content for performing exercise and training programs for improving dizziness and balance. I can.
본 발명에 의하면, 일상과 유사한 자연적인 시각, 청각, 체성감각의 다감각 기관에 통합 자극을 변경하면서 환자의 증상, 머리의 움직임 및 보행을 모니터링하고, 이를 통해 환자의 현재 상태에 최적화된 맞춤형 운동과 훈련 프로그램을 처방하여 제공할 수 있는 효과가 있다. According to the present invention, the patient's symptoms, head movement and gait are monitored while changing the integrated stimulus to the multi-sensory organs of natural visual, auditory, and somatosensory similar to daily life, and through this, customized exercise optimized for the patient's current state. There is an effect that can be provided by prescribing and training programs.
또한, 본 발명에 의하면, 환자는 안전하고 통제된 가상환경 속에서 게임을 하듯이 재미있게 몰입하여 맞춤형 운동과 훈련을 반복할 수 있으며, 이에 따라 지속적인 훈련이 가능하고, 이러한 훈련 기록이 실시간 데이터로 저장되어 효율적이고 체계적인 관리가 가능하다는 효과가 있다. In addition, according to the present invention, the patient can be immersed in a safe and controlled virtual environment as if playing a game and repeat customized exercise and training, and accordingly, continuous training is possible, and such training records are saved as real-time data. It has the effect that efficient and systematic management is possible.
도 1은 본 발명의 일 실시예에 따른 가상현실 또는 증강현실 기반 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템의 구성을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 시선 추적 장치의 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템의 사용예를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 신체 추적 장치의 구성을 보여주는 도면이다.
도 5는 4차원 균형감각 컨트롤 장치를 설명하기 위한 도면이다.
도 6은 도 5의 4차원 균형감각 컨트롤 장치를 어지럼증 환자에게 적용하는 과정을 설명하기 위한 도면이다.
도 7 내지 도 20은 본 발명의 일 실시예에 따른 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템 콘텐츠를 예시한 것이다.
도 21은 본 발명의 일 실시예에 따른 환자 관련 정보가 도시된 모니터 화면 예이다.
도 22는 본 발명의 일 실시예에 따른 콘텐츠 구성을 예시한 블록도이다.
도 23 내지 도 43은 본 발명의 일 실시예에 따른 콘텐츠 UI를 예시한 것이다. 1 is a diagram illustrating a configuration of an exercise and training system for improving dizziness and a sense of balance based on virtual reality or augmented reality according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a gaze tracking device according to an embodiment of the present invention.
3 shows an example of using an exercise and training system for improving dizziness and a sense of balance according to an embodiment of the present invention.
4 is a diagram showing the configuration of a body tracking device according to an embodiment of the present invention.
5 is a view for explaining a four-dimensional sense of balance control device.
6 is a view for explaining a process of applying the four-dimensional sense of balance control device of FIG. 5 to a dizziness patient.
7 to 20 illustrate contents of an exercise and training system for improving dizziness and a sense of balance according to an embodiment of the present invention.
21 is an example of a monitor screen showing patient-related information according to an embodiment of the present invention.
22 is a block diagram illustrating a content configuration according to an embodiment of the present invention.
23 to 43 illustrate a content UI according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the present invention, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.
도 1은 본 발명의 일 실시예에 따른 가상현실 또는 증강현실 기반 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템의 구성을 도시한 것이다. 1 is a diagram illustrating a configuration of an exercise and training system for improving dizziness and a sense of balance based on virtual reality or augmented reality according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템은 시선 추적 장치(100), 신체 추적 장치(200), 콘텐츠 제공 서버(300)를 포함한다. Referring to FIG. 1, an exercise and training system for improving dizziness and a sense of balance according to the present invention includes a
시선 추적 장치(100)는 사용자의 머리에 착용되는 장치로서, 사용자의 시선을 추적하고, 가상현실 또는 증강현실 화면이 디스플레이된다. The
신체 추적 장치(200)는 사용자가 보행할 수 있도록 하는 이동발판이 마련되어 있고, 이동발판을 통해 사용자의 발바닥 압력을 감지하고, 사용자의 공간 상의 움직임을 감지하고, 사용자의 체성감각 정보를 수집한다. The
콘텐츠 제공 서버(300)는 시선 추적 장치(100)에 가상현실 콘텐츠 또는 증강현실 콘텐츠를 제공하여 디스플레이되도록 한다. 그리고, 시선 추적 장치(100)로부터 시선 자극 정보 및 청각 자극 정보를 수집하고, 신체 추적 장치(200)로부터 압력 정보, 움직임 정보 및 체성감각 정보를 수집한다. 그리고, 수집된 다수의 감각 기관의 자극 정보를 연동하고, 이를 통해 사용자의 어지럼증의 정도와 균형감각 기능을 측정, 평가 및 분석하고, 분석한 사용자의 증상과 기능에 따라 개선을 위한 운동과 훈련 프로그램을 수행하도록 하는 콘텐츠를 시선 추적 장치(100)에 제공한다. The
도 2는 본 발명의 일 실시예에 따른 시선 추적 장치의 구성을 보여주는 블록도이다. 2 is a block diagram showing the configuration of a gaze tracking device according to an embodiment of the present invention.
도 2를 참조하면, 시선 추적 장치(100)는 시선추적부(110), HMD(Head Mounted Display)부(120)를 포함하여 이루어진다. Referring to FIG. 2, the
시선추적부(110)는 사용자의 시선을 추적하는 역할을 한다. 예를 들어, 시선추적부(110)는 Tobii Eye Tracking Retrofit 하드웨어로 구현될 수 있으며, 구체적으로 TobiiEyeChip ASIC 프로세싱, 각 눈에 대하여 10개의 IR illuminator, 각 눈에 대하여 하나의 Eye Tracking 센서가 구비될 수 있다. The
HMD부(120)는 사용자의 머리에 착용되는 구조로 되어 있으며, 가상현실 또는 증강현실 화면이 디스플레이되도록 하고, 음향을 출력한다. The
도 3은 본 발명의 일 실시예에 따른 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템의 사용예를 도시한 것이다. 3 shows an example of using an exercise and training system for improving dizziness and a sense of balance according to an embodiment of the present invention.
도 3을 참조하면, 사용자의 머리에 시선 추적 장치(100)가 착용되고, 이동 발판이 마련된 신체 추적 장치(200)의 형태를 확인할 수 있다. Referring to FIG. 3, it is possible to check the shape of the
도 4는 본 발명의 일 실시예에 따른 신체 추적 장치의 구성을 보여주는 도면이다. 4 is a diagram showing the configuration of a body tracking device according to an embodiment of the present invention.
도 4를 참조하면, 신체 추적 장치(200)는 이동발판(210), 입력부(220), 중단 버튼(230), 움직임 센서(240), 이탈방지부(250), 구동부(260), 압력 센서(270)를 포함하여 이루어진다. Referring to FIG. 4, the
이동발판(210)은 사용자가 보행할 수 있도록 마련된 발판으로서, 모든 방향으로 보행할 수 있도록 하는 트레드밀(treadmill) 구조이고, 수평방향으로 회전 가능하고, 상하전후좌우로 기울어지도록 하는 경사도 조절이 가능하다.The
입력부(220)는 사용자가 HMD부(120)에 디스플레이되는 화면에서 제어명령을 입력하기 위해 마련된 것으로서, 조이스틱 형태로 구현될 수 있다. The
중단 버튼(230)은 구동을 중단시키기 위해 마련된 버튼이다. 중단 버튼(230)은 일종의 긴급 정지 기능을 하는 것으로서, 예를 들어, 구동 중에 사용자가 어지럼증을 느끼면 중단 버튼(230)을 눌러서 구동을 즉시 중단시킬 수 있다. 본 발명의 일 실시예에서 중단 버튼(230)은 자기(Magnetic) 버튼으로 구현될 수 있다. The
움직임 센서(240)는 사용자의 공간 상의 움직임을 감지하는 역할을 한다. 본 발명의 일 실시예에서 움직임 센서(240)는 자이로 센서(Gyro sensor), 3축(X, Y, Z) 가속도 센서, 3축(X, Y, Z) 지자기 센서 등으로 구현될 수 있다. The
이탈방지부(250)는 사용자가 이동발판(210)에서 이탈하는 것을 방지하기 위해 사용자의 주변에 마련된, 일종의 안전 바(bar) 형태이다. The
구동부(260)는 이동발판(210)을 구동시키는 역할을 한다. 본 발명의 일 실시예에서 구동부(260)는 6축 모션 콘트롤러로 구현될 수 있다. The driving
압력 센서(270)는 이동발판(210) 상에서 사용자의 발바닥 압력을 감지하는 역할을 한다. The
본 발명에서 콘텐츠 제공 서버(300)는 중단 버튼(230)이 터치되면, 그때까지의 시선 추적 데이터, 압력 데이터 및 움직임 데이터를 측정하고 분석/평가하여, 이를 기반으로 운동과 훈련 프로그램을 수행하도록 하는 콘텐츠를 제공할 수 있다. In the present invention, when the
본 발명은 가상현실 또는 증강현실 기술을 이용하여 다양한 시선운동자극과 체성감각자극을 조절할 수 있고, 이를 이용해 인체의 반응을 측정하여 시각, 전정감각, 체성감각이 중추신경계 내에서 통합되는 기전을 규명하고 병적 불균형에 대응하는 보상기전을 밝힐 수 있다. The present invention can control various gaze movement stimuli and somatosensory stimuli by using virtual reality or augmented reality technology, and by measuring the reaction of the human body using this, it is possible to find out the mechanism by which vision, vestibular sensation, and somatosensory sensation are integrated within the central nervous system. And reveal the compensatory mechanisms corresponding to the pathological imbalance.
이러한 차원에서, 본 발명에서는 시선운동자극과 체성감각자극을 조절할 수 있는 4차원 균형감각 컨트롤 장치와 그 측정법 및 이를 활용한 어지럼증이나 균형감각 개선 훈련프로그램을 제안하고자 한다. In this regard, the present invention proposes a four-dimensional sense of balance control device capable of controlling gaze motor stimulation and somatosensory stimulation, a measurement method thereof, and a training program for improving dizziness or balance using the same.
인간은 똑바로 균형을 잡고 서 있기 위해 신체의 많은 감각계가 실시간으로 다양한 역할을 하고 있는데, 시각(vision), 전정계(vestibular system), 체성감각계(somatosensory system)가 정확히 감각을 전달하고, 이를 중추신경계에서 다각적으로 통합해야만 균형을 잡고 자세를 유지할 수 있다. 이 과정 중 일부에만 오류가 있어도 균형을 잡기 어렵게 되며, 어지럽다고 느낄 수 있다. 이런 병적 상태를 측정하기 위해서는 근본적으로 중추신경계의 통합과정에 대한 이해가 필요하며, 각 감각신경계에 다양한 자극을 인위적으로 제시하면서 뇌의 반응을 정량적으로 확인하는 과정이 필요하다. 현재는 가상현실과 증강현실과 같은 IT 기술을 이용하여 감각자극을 여러 가지의 무해한 형태로 인체에 적용하는 것이 가능하다. In order to stand in an upright balance, many sensory systems of the body play various roles in real time. Vision, vestibular system, and somatosensory system accurately deliver sensations, and the central nervous system Only by integrating in multiple ways can you maintain balance and maintain posture. Even if there are errors in only some of the processes, it can be difficult to balance and feel dizzy. In order to measure these pathological conditions, it is necessary to fundamentally understand the central nervous system integration process, and a process of quantitatively confirming the reaction of the brain while artificially presenting various stimuli to each sensory nervous system. Currently, it is possible to apply sensory stimulation to the human body in various harmless forms using IT technologies such as virtual reality and augmented reality.
가상현실을 응용한 HMD는 안전하고 통제된 환경에서 전시야에 의료진의 임의대로 통제할 수 있는 시선운동자극 제공이 가능한 디바이스이며, 이를 통해 각도, 강도, 색, 속도의 다양한 조합으로 구성된 시자극을 제공할 수 있고, 뇌활성의 유도와 기능의 측정에 사용할 수 있다. The HMD using virtual reality is a device that can provide gaze movement stimuli that can be controlled arbitrarily by medical staff in a safe and controlled environment. Through this, it provides visual stimulus consisting of various combinations of angle, intensity, color, and speed. It can provide, and can be used for induction of brain activity and measurement of function.
시각, 전정계의 신호, 체성감각계에서 들어오는 신호가 통합되는 과정은 개인의 뇌기능에 따라 다를 수 있다. 매우 간단한 예로, 롤러코스터를 타면서 심한 전정계의 흥분과 체성감각계의 신호가 빠른 시간 동안 들어오게 되는데, 내린 직후 불균형과 어지럼증을 느끼는 정도와 시간은 개인차가 심하다. 이는 뇌의 통합과정이 정상 인체에서도 다를 수 있음을 일상생활에서 확인할 수 있는 증거이다. 이처럼, 어떤 질환이든 간에 각 개인의 표현형은 다를 수 있으므로, 각 개인에서 보이는 정량적 이상 수치에 대해 맞게 진단과 치료에 접근하는 과정이 반드시 필요하다. 따라서 인위적 자극의 정도를 조절하고, 이상 감각의 정량적 수치와 연관성을 살피는 것은 진단명에 사람을 맞추는 게 아니라, 개인의 감소된 기능에 맞춘 진단, 치료, 예후, 예측에 응용하는 단계에 필수적이다.The process in which signals from the visual, vestibular and somatosensory systems are integrated may differ depending on the individual's brain function. As a very simple example, while riding a roller coaster, severe excitement of the vestibular system and signals from the somatosensory system come in for a short period of time, and the degree and time of feeling imbalance and dizziness immediately after getting off the coast are severely individual. This is evidence that can be confirmed in daily life that the process of integration of the brain can be different even in a normal human body. As such, each individual's phenotype may be different for any disease, so a process of approaching diagnosis and treatment appropriate for the quantitative abnormality seen in each individual is essential. Therefore, adjusting the degree of artificial stimulus and examining the quantitative values and associations of abnormal sensations is essential not to match the person to the diagnosis name, but to apply it to diagnosis, treatment, prognosis, and prediction tailored to the reduced function of the individual.
도 5는 4차원 균형감각 컨트롤 장치를 설명하기 위한 도면이다.5 is a view for explaining a four-dimensional sense of balance control device.
도 5의 실시예에서 4차원 균형감각 컨트롤 장치는 시자극의 프로그램을 가상현실 또는 증강현실 기반 HMD(head mount display)로 제어할 수 있도록 설계되며, 체성자극 입력(input)은 체성감각계의 혼돈을 유발하는 패드의 성질과 움직임을 변형시킨다. 그리고, 패드의 형태는 하드/소프트(hard/soft) 타입이고, 패드의 움직임은 x와 y축으로 sinusoidal movement이다. 그리고, 출력(output)에 해당하는 자극은 여러 제어인자로 조절하는데, ① 자극의 성질(선, 점, 색, 크기, 개수), ② 피험자와 자극의 거리(near and far target), Rotational axis (x, y, z 축을 중심으로 하는 3차원 회전), ③ 각속도(각 axis를 중심으로 돌아가는 각속도)와 주파수 등이다. In the embodiment of FIG. 5, the four-dimensional sense of balance control device is designed to control a program of visual stimulation with a virtual reality or augmented reality-based head mount display (HMD), and the somatosensory input is used to reduce the confusion of the somatosensory system. It alters the nature and movement of the pad that causes it. And, the shape of the pad is a hard/soft type, and the movement of the pad is a sinusoidal movement in the x and y axes. And, the stimulus corresponding to the output is controlled by various control factors. ① The nature of the stimulus (line, point, color, size, number), ② the distance between the subject and the stimulus (near and far target), and the rotational axis ( 3D rotation around the x, y, z axis), ③ angular velocity (angular velocity around each axis) and frequency.
도 6은 도 5의 4차원 균형감각 컨트롤 장치를 어지럼증 환자에게 적용하는 과정을 설명하기 위한 도면이다. 6 is a view for explaining a process of applying the four-dimensional sense of balance control device of FIG. 5 to a dizziness patient.
도 6을 참조하면, 다양한 질환군의 어지럼증 환자에게 개발된 4차원 균형감각 콘트롤 장치의 알고리즘을 적용할 수 있으며, 주관적/객관적 측정을 통해 병적 상태의 반응을 확인하고 기전을 규명할 수 있다. Referring to FIG. 6, an algorithm of a four-dimensional sense of balance control device developed for dizziness patients of various disease groups can be applied, and a response of a pathological state can be confirmed and a mechanism can be identified through subjective/objective measurement.
어지럼증 질환군(예를 들어, A.일측전정병증, B.양측전정병증, C.만성주관적어지럼증, D.중추신경계질환 등의 군으로 분류할 수 있음)에서 비디오안구검사기, 비디오두부충동검사기, 전정근유발전위장치를 통해 전정계의 이상에 대한 데이터를 수집한다. 이때, 수집 데이터는 비정상 안진/눈운동 이득 수치와 파형/비정상 신속운동의 횟수와 방향, 빈도 등이다. Dizziness disease group (e.g., A. unilateral vestibular disease, B. bilateral vestibular disease, C. chronic subjective dizziness, D. central nervous system disease, etc.) Data on abnormalities in the vestibular system are collected through the vestibular root oil power plant. At this time, the collected data includes the abnormal nystagmus/eye movement gain value, waveform/abnormal rapid movement number, direction, and frequency.
그리고, 개발된 4차원 균형감각 컨트롤 장치의 알고리즘을 적용하여 설문 진단법을 통해 4차원 자극에 대한 주관적 불균형을 측정한다. And, by applying the algorithm of the developed 4D sense of balance control device, the subjective imbalance of the 4D stimulus is measured through the questionnaire diagnosis method.
그리고, 제시된 여러 자극의 제어인자(성질, 거리, 축, 속도 등)와 수집된 전정계 이상 데이터 분석 수치 간의 연관관계를 밝히고, 이를 functional MRI를 통해 정상군과의 차이를 확인한다. 그리고, 손상된 전정기능과 해부학적 위치와의 연관성을 밝히고, 감각계 통합 이상에 대한 병적기전을 규명한다. 그리고, 피드백(feedback)을 통해 알고리즘의 오류를 수정하고 개선한다. In addition, the relationship between the proposed control factors (property, distance, axis, speed, etc.) of the various stimuli and the collected vestibular abnormality data analysis values is revealed, and the difference with the normal group is confirmed through functional MRI. In addition, the relationship between the damaged vestibular function and the anatomical location is revealed, and the pathological mechanisms for sensory integration abnormalities are identified. And, through feedback, errors in the algorithm are corrected and improved.
이러한 본 발명의 실험을 통해 다양한 신경계의 자극, 특히 인위적으로 통제가 가능한 시자극을 의료진(연구자) 임의대로 조절할 수 있는 장치가 개발될 수 있다. 그리고, 이를 이용해 다양한 외부자극에 대응하여 신체가 균형을 잡을 수 있게 하는 중추신경계의 감각통합기전을 성립하게 된다. 결과적으로, 다양한 자극에 대응하는 인체의 신중추신경계 기능에 대해 확인할 수 있는 기초과학적 성과를 거둘 수 있다.Through the experiment of the present invention, a device capable of arbitrarily controlling various stimuli of the nervous system, particularly visual stimuli that can be artificially controlled, can be developed. And, by using this, a sensory integration mechanism of the central nervous system is established that enables the body to balance in response to various external stimuli. As a result, basic scientific results can be achieved that can confirm the function of the human body's discreet central nervous system in response to various stimuli.
그리고, 응용공학으로 발전을 도모할 수 있는데, 정상군의 중추신경계의 통합기전을 바탕으로 다양한 질환군의 전정신경계의 이상기능과 연관성을 밝혀, 임상적으로 진단과 치료에 응용이 가능하다. 그리고, 다양한 자극을 제어할 수 있는 알고리즘의 성격에 따라, 개인에 맞춘 접근이 가능하므로 궁극적인 증상의 치료에 도움을 줄 수 있다. 본 발명에서 기대하는 자극을 주는 장치의 개발은, 추후 측정할 수 있는 기능을 더해 의료기기로의 활용이 가능하다. In addition, development can be promoted with applied engineering. Based on the integration mechanism of the central nervous system of the normal group, the relationship with abnormal functions of the vestibular nervous system of various disease groups is revealed, and it can be applied to clinical diagnosis and treatment. And, according to the nature of the algorithm that can control various stimuli, it is possible to provide a personalized approach, so it can help in the ultimate treatment of symptoms. The development of a device that gives stimulation expected in the present invention can be used as a medical device by adding a function that can be measured later.
그리고, 본 발명을 통해 사회경제적 파급효과를 기대할 수 있다. IT기술은 상상이상으로 발전하고 있으나, 보수적인 의료현실에서는 적용이 더딘 것이 사실이다. 한편, 의료산업과 IT산업이 연계되어 질병에 대응하고 알려지지 않은 신경기전에 대해 밝힐 수 있는 가능성은 무한하며, 프로그램과 알고리즘 개발 뿐 만 아니라, 하드웨어 산업이 발전하고 있기 때문에 추후에는 모바일 기기로 접근이 가능할 것이라 예상된다. 이를 기반으로 질환의 홈케어와 실시간 치료가 가능해 질 수 있다.And, through the present invention, socioeconomic ripple effects can be expected. IT technology is developing beyond imagination, but it is true that its application is slow in conservative medical reality. On the other hand, the possibility of responding to diseases and revealing unknown neurological mechanisms by linking the medical and IT industries is endless, and as the hardware industry is developing as well as programs and algorithms, access to mobile devices is required in the future. It is expected to be possible. Based on this, home care and real-time treatment of diseases can be made possible.
본 발명은 의료, 가상현실, 증강현실, 게이미피케이션(Gamification) 융합의 실감체험형 가상/증강현실 콘텐츠 제작 및 구현 기술을 제안한다. The present invention proposes a immersive experience-type virtual/augmented reality content production and implementation technology of medical, virtual reality, augmented reality, and gamification convergence.
가상현실 또는 증강현실 기반 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템의 효과성, 상용화 및 실현가능성 높이기 위해서는 신체 및 감각측정 등 자기체험형 ICT기술 융합으로 환자상태에 따라 적용이 가능한 전산화된 측정 및 평가 모델과 소프트웨어, 가상현실기반 다양한 치료방법의 적용이 가능한 프로세스가 반영된 콘텐츠 등의 핵심요소 기술의 구현, 그리고 이를 통해 생성된 데이터를 효율적으로 운영 및 관리할 수 있는 통합 시스템이 구축되어야 한다. In order to increase the effectiveness, commercialization, and feasibility of exercise and training systems for improving dizziness and balance based on virtual or augmented reality, computerized measurement that can be applied according to the patient's condition by fusion of self-experience type ICT technology such as body and sensory measurement An integrated system that can efficiently operate and manage the data generated through the implementation of core element technologies such as evaluation models, software, and contents reflecting processes that can apply various treatment methods based on virtual reality must be established.
그리고, 전정재활의학적인 전문성 기반 가상현실 또는 증강현실 기술과 게이미피케이션(Gamification)이 적용된 고몰입, 고실감 체험형 재활훈련 콘텐츠를 개발하는 것이 필요하다. In addition, it is necessary to develop highly immersive, high-impact experience-type rehabilitation training contents to which virtual reality or augmented reality technology and gamification based on vestibular rehabilitation medical expertise are applied.
즉, 본 발명에서는 전문 의료진과 환자 인터뷰를 통해 도출된 가상현실 또는 증강현실 기반 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템 콘텐츠에 대한 요구사항 및 검증된 치료 프로토콜을 적용하고, 기능을 향상시킬 수 있는 콘텐츠를 제안한다. That is, in the present invention, the requirements for the exercise and training system contents for improving the sense of balance and the virtual reality or augmented reality based dizziness derived through patient interviews with professional medical staff and verified treatment protocols can be applied, and functions can be improved. Suggest the content that you have.
본 발명에서 치료 프로토콜을 기반으로 게이미피케이션(Gamification)을 결합하여 환자가 목표 의식을 갖고 집중도 높게 훈련할 수 있는 어지럼증과 균형감각 개선 운동과 훈련 시나리오를 제안하며, 매력적, 서사적, 생생한 가상 세계로 환자들을 참여시킬 수 있도록 몰입형 콘텐츠를 기획한다. 그리고, 인터랙티브 스토리텔링 방식의 시나리오 및 스토리보드를 개발하여 제안한다. In the present invention, by combining gamification based on a treatment protocol, we propose an exercise and training scenario that improves dizziness and balance in which the patient can train with a goal consciousness and high concentration, and creates an attractive, narrative, and vivid virtual world. Plan immersive content to engage patients. Then, we develop and propose interactive storytelling scenarios and storyboards.
본 발명에서 재미있고, 몰입도 높은 사용자 경험을 제공하기 위한 가상현실 또는 증강현실 기반 어지럼증과 균형감각 개선을 위한 운동과 훈련 시스템 콘텐츠 디자인을 설계하며, 사용자 친화적 가상공간 인터페이스에 최적화된 콘텐츠를 설계하고, 신체적, 시각적, 인지적 도전과제가 결합된 운동과 훈련 콘텐츠를 설계하고, 몰입형 가상환경과 게임기술을 결합하여 운동과 훈련의 순응도를 높이고 자발적 참여를 높이는 게임 기반 인터랙션 디자인을 설계하고, 운동과 훈련 가이드, 결과 스코어링, 현황 표시 등을 통해 운동과 훈련 과정을 보다 쉽고, 용이하게 받아들일 수 있는 직관적인 UI를 구현하고, 사용자가 훈련하는 동안 자신의 상태를 직접 확인하고 움직임을 계속 수정하도록 유도하는 시각 및 청각적 피드백을 제공하는 인터랙션을 설계한다. 그리고, 증상 완화 및 치유가 가능하도록 의학적 수치에 근거하여 단계별로 난이도를 조정한다.In the present invention, a virtual reality or augmented reality-based exercise and training system content design for improving dizziness and balance is designed to provide a fun and immersive user experience, and a content optimized for a user-friendly virtual space interface is designed. Designing exercise and training content that combines physical, visual, and cognitive challenges, and designing game-based interaction designs that increase compliance with exercise and training and increase voluntary participation by combining immersive virtual environment and game technology. Through training guide, result scoring, status display, etc., we implement an intuitive UI that makes it easier and easier to accept the exercise and training process, and allows the user to directly check his or her condition and continuously modify the movement during training. Design interactions that provide inducing visual and auditory feedback. In addition, the difficulty level is adjusted step by step based on medical values so that symptoms can be relieved and cured.
이러한 기획의도에 따라 제안된 본 발명의 콘텐츠를 예시하면 다음과 같다.The contents of the present invention proposed according to this planning intention are as follows.
도 7 내지 도 20은 본 발명의 일 실시예에 따른 어지럼증과 균형감각 개선 훈련 콘텐츠를 예시한 것이다. 7 to 20 illustrate dizziness and balance improvement training content according to an embodiment of the present invention.
도 7 내지 도 18은 실시간 강도조절이 가능한 시각용 어지럼증과 균형감각 개선 훈련 콘텐츠를 예시한 것이고, 도 19 및 도 20은 신체균형 어지럼증과 균형감각 개선 훈련 콘텐츠를 예시한 것이다. 7 to 18 illustrate visual dizziness and balance-sensing improvement training content for real-time intensity control, and FIGS. 19 and 20 illustrate physical balance dizziness and balance-improving training content.
도 7은 수직/수평 주시안운동(horizontal and vertical eye gaze)을 위한 콘텐츠이고, 도 8은 수직/수평 시추적안운동(horizontal and vertical optokinetic nystagmus)을 위한 콘텐츠이다. FIG. 7 is a content for vertical/horizontal eye gaze, and FIG. 8 is a content for vertical/horizontal optokinetic nystagmus.
도 9는 수평 전정안반사(horizontal vestibulo-ocular reflex)를 위한 콘텐츠이고, 도 10은 수직 전정안반사(vertical vestibulo-ocular reflex)를 위한 콘텐츠이다. 9 is a content for horizontal vestibulo-ocular reflex, and FIG. 10 is a content for vertical vestibulo-ocular reflex.
도 7 내지 도 10의 콘텐츠에서는, 앉은 자세에서 안구 또는 머리를 움직여 운동을 진행하고, 주시할 개체의 주목도를 높이기 위해 시각효과를 추가하고, 주시할 개체와 안구의 방향(아이 트래킹)간의 차이를 시각적으로 확인 가능하도록 실시간으로 표시한다. 예를 들어, 콘텐츠 시간을 2분으로 설정할 수 있고, 콘텐츠의 난이도를 3단계로 구분할 수 있다. In the contents of FIGS. 7 to 10, movement of the eyeball or head in a sitting position is performed, a visual effect is added to increase the attention of the object to be observed, and the difference between the object to be observed and the direction of the eyeball (eye tracking) is It is displayed in real time so that it can be checked visually. For example, the content time can be set to 2 minutes, and the difficulty level of the content can be divided into 3 levels.
도 11은 수평 안구 주시 운동을 위한 콘텐츠의 예시로서, ① 화면을 수평으로 가로지르는 스포츠카를 표시하고, ② 안구의 방향(아이 트래킹)을 카메라 파인더 형태로 표시하고, ③ 스포츠카와 카메라 파인더가 일치하도록 시각운동을 진행하며, 일치하였을 경우와 그렇지 않을 경우에 시각적, 청각적 효과로 실시간 판단이 가능하도록 지원하고, ④ 전체 시간 대비 원 안에 스포츠카가 들어가 있는(개체와 안구의 방향이 일치한) 시간을 측정하여 점수로 환산하며, ⑤ 훈련 종료 후 최종 점수를 화면에 표시한다. 11 is an example of content for horizontal eyeball gaze exercise, ① displaying a sports car horizontally across the screen, ② displaying the direction of the eyeball (eye tracking) in the form of a camera finder, and ③ allowing the sports car and the camera finder to match. Visual exercise is carried out, and when it is coincident and when it is not, it supports real-time judgment with visual and auditory effects, and ④ the time when the sports car is in the circle (the direction of the object and the eyeballs coincide) compared to the total time. It is measured and converted into a score. ⑤ After training, the final score is displayed on the screen.
이러한 콘텐츠를 통해 일정 위치에서 안구를 고정하는 기능의 약화를 개선하고, 반복적인 시자극을 통한 탈감작으로 시각현훈을 극복하고, 전정기능의 회복을 통한 기타 시각 자극 및 체성감각에 의한 대치를 최소화하고, 중추신경계의 maladaptation을 예방하고 어지럼증의 만성화를 방지할 수 있다. Through these contents, the weakening of the function of fixing the eyeball at a certain position is improved, overcoming visual vertigo through desensitization through repetitive visual stimulation, and minimizing confrontation by other visual stimulation and somatosensory through recovery of vestibular function. , It can prevent maladaptation of the central nervous system and prevent dizziness from becoming chronic.
도 12 및 도 13은 상지 운동을 위한 콘텐츠로서, 선 상태에서 팔과 상체를 움직여 운동을 진행한다. 이 콘텐츠에서, HMD 컨트롤러를 활용하여 손을 움직이거나 사물을 잡는 등의 모션을 진행할 수 있고, 취해야 할 동작을 시각정보만으로 명확하게 판단 가능하도록 화면을 구성한다. 예를 들어, 콘텐츠 시간은 2분으로 설정하고, 콘텐츠 난이도를 3단계로 구분할 수 있다. 12 and 13 are contents for upper limb exercise, in which the arm and upper body are moved to perform the exercise. In this content, a motion such as moving a hand or grabbing an object can be performed using the HMD controller, and the screen is configured so that the action to be taken can be clearly determined only with visual information. For example, the content time can be set to 2 minutes, and the content difficulty level can be divided into 3 stages.
도 14는 상지운동의 구체적인 구현 콘텐츠의 예시로서, 상품진열장이 배치된 마트 환경을 VR로 조성한 것이다. 이 콘텐츠에서, 임의의 상품이 빛나면서 사용자 인터랙션을 유도하게 되며, 해당 상품을 잡아서 카트 안에 넣으면 성공이고, 아닌 경우 실패로 판정하여 이를 점수로 환산한다. 그리고, 훈련 종료 후 최종 점수를 화면에 표시한다. 14 is an example of a concrete implementation content of the upper limb movement, in which a mart environment in which a product showcase is arranged is created in VR. In this content, a random product shines and induces user interaction, and if the product is caught and placed in the cart, it is a success, and if not, it is determined as a failure, and this is converted into a score. Then, the final score is displayed on the screen after training ends.
이러한 상지운동을 위한 콘텐츠를 통해 중추 전정질환자 뿐만 아니라 말초 전정질환자의 증상을 개선할 수 있고, 체성감각과 전정감각, 시각기능이 뇌에서 원활하게 통합될 수 있도록 치료할 수 있다. Through the contents for upper limb movement, symptoms of not only people with central vestibular disorders but also peripheral vestibular disorders can be improved, and somatic sensations, vestibular sensations, and visual functions can be treated so that they can be smoothly integrated in the brain.
도 15는 기립 운동을 위한 콘텐츠를 예시한 것으로서, 바르게 선 자세를 꾸준히 유지하는지 확인하고, 자세가 올바른지 측정하고 실시간으로 시각적, 청각적 피드백을 주어 자발적으로 교정이 가능하도록 지원한다. 15 illustrates content for a standing exercise, checks whether a correct standing posture is steadily maintained, measures whether the posture is correct, and provides visual and auditory feedback in real time to enable voluntary correction.
도 15의 콘텐츠에서 벽과 바닥으로 이루어진 가상 공간을 표시하고, 실시간으로 자세를 측정하여 자세가 틀어진 경우에는 교정하도록 화면에 가이드 표시를 제공한다. 이러한 콘텐츠를 통해 자세 안정성 및 운동성을 향상시킬 수 있다. In the content of FIG. 15, a virtual space consisting of a wall and a floor is displayed, and a guide display is provided on the screen to correct a posture by measuring a posture in real time. Posture stability and mobility can be improved through these contents.
도 16은 사물 추적 운동을 위한 콘텐츠를 예시한 것이고, 도 17은 사물 추적 운동의 생리학적 고려사항을 도시한 것이다. 16 illustrates content for an object tracking exercise, and FIG. 17 illustrates physiological considerations of an object tracking exercise.
도 16의 콘텐츠에서는 선 자세에서 안구 또는 머리를 움직여 운동을 진행하고, 주시할 개체의 주목도를 높이기 위해 시각효과를 추가하고, 주시할 개체와 안구의 방향(아이 트래킹)간의 차이를 시각적으로 확인 가능하도록 실시간으로 표시한다. In the contents of FIG. 16, movement of the eyeball or head in a standing position is performed, visual effects are added to increase the attention of the object to be observed, and the difference between the object to be observed and the direction of the eyeball (eye tracking) can be visually checked. To be displayed in real time.
도 18은 머리 고정 수평/수직 안구원활 추종 운동을 위한 콘텐츠를 예시한 것으로서, 화면을 수평/수직으로 가로지르는 나비를 표시하고, 안구의 방향(아이 트래킹)을 채집망으로 표시하며, 나비와 채집망이 일치하도록 시각운동을 진행하며, 일치하였을 경우와 그렇지 않을 경우에 시각적, 청각적 효과로 실시간 판단이 가능하도록 지원한다. 그리고, 전체 시간 대비 채집망 안에 나비가 들어가 있는(개체와 안구의 방향이 일치한) 시간을 측정하여 점수로 환산하고, 훈련 종료 후 최종 점수를 화면에 표시한다. 이를 통해 감소된 균형감각을 개선하고 증상의 만성화를 방지하는 데 기여할 수 있다.FIG. 18 is an illustration of content for head fixation horizontal/vertical eyeball smooth follow-up exercise, displaying a butterfly horizontally/vertically crossing the screen, displaying the direction of the eyeball (eye tracking) as a collection network, and collecting the butterfly Visual movement is performed so that the network is consistent, and when it is coincident and when it is not, it supports real-time judgment with visual and auditory effects. In addition, the time when the butterfly is in the collection network (the direction of the object and the eyeballs coincide) is measured and converted into a score, and the final score is displayed on the screen after training is completed. This can contribute to improving the reduced sense of balance and preventing chronic symptoms.
도 19는 신체 균형 운동을 위한 콘텐츠를 예시한 것으로서, 벽과 바닥으로 이루어진 가상공간을 표시하고, 걷기 속도와 방향에 맞추어 운동을 진행할 수 있도록 바닥에 발자국 등 별도의 가이드를 표시하고, 실시간으로 자세를 측정하여 자세가 틀어진 경우에는 교정하도록 화면에 가이드를 표시한다. 이러한 콘텐츠의 대치 자극을 통해 안정성과 효율성을 증대시킬 수 있다. 19 is an illustration of content for body balance exercise, displaying a virtual space consisting of a wall and a floor, displaying a separate guide such as a footstep on the floor so that movement can be performed according to the walking speed and direction, and posture in real time Measure and display a guide on the screen to correct if the posture is wrong. Stability and efficiency can be increased by stimulating the substitution of such contents.
도 20은 탁구 게임의 콘텐츠로서, NPC가 서브를 진행하고, 임의의 방향으로 공이 날아온다. 사용자가 라켓으로 공을 맞추면 NPC 방향으로 날아가고, 아닌 경우 실패로 NPC가 포인트를 획득하며, NPC가 실수하여 공을 치지 못하면 플레이어가 포인트를 획득하는 방식이다. 10 포인트를 먼저 획득한 쪽이 승리하게 되며, 경기 종료 후 최종 점수를 화면에 표시한다. 이러한 게임 콘텐츠를 통해 시각 자극, 공을 탁구채에 치기위해 움직이는 동안 발생하는 전정안반사자극, 손의 움직임, 자세유지 등을 구현하여 어지럼증과 균형감각 개선 훈련 효과를 극대화할 수 있다. 20 is a table tennis game content, where NPC serves and a ball flies in an arbitrary direction. If the user hits the ball with a racket, it flies in the direction of the NPC, otherwise, the NPC gets points due to failure, and the player gets points if the NPC makes a mistake and cannot hit the ball. The player who gets 10 points first wins, and the final score is displayed on the screen after the game is over. Through these game contents, visual stimulation, vestibular reflex stimulation that occurs while moving to hit the ball, hand movement, and posture maintenance can be implemented to maximize dizziness and balance improvement training effect.
이렇게 수립된 평가모델에 따라 치료방법 및 치료절차를 수립할 수 있으며, 어지럼증과 균형감각 개선 훈련의 효과성을 검증하기 위해 환자 개인에 대한 반복적 훈련이 이루어질 수 있도록 각 훈련과정에 대한 시행 스케쥴 및 결과변이성 추적이 가능한 관리자 환경을 구현할 수 있다. 도 21은 본 발명의 일 실시예에 따른 환자 관련 정보가 도시된 모니터 화면 예이다. According to the evaluation model established in this way, treatment methods and treatment procedures can be established, and implementation schedule and results for each training process can be performed so that individual patients can be repeatedly trained to verify the effectiveness of dizziness and balance improvement training. A manager environment that can track variability can be implemented. 21 is an example of a monitor screen showing patient-related information according to an embodiment of the present invention.
도 22는 본 발명의 일 실시예에 따른 콘텐츠 구성을 예시한 블록도이다. 22 is a block diagram illustrating a content configuration according to an embodiment of the present invention.
도 22를 참조하면, 본 발명에서 콘텐츠를 선택하고, 배경을 선택하고, 훈련방식을 선택하고, 난이도를 설정하는 순으로 어지럼증과 균형감각 개선 운동 또는 게임을 진행할 수 있다. 이러한 콘텐츠 구성에 기반한 콘텐츠 UI를 예시하면 다음과 같다. Referring to FIG. 22, in the present invention, an exercise or a game to improve dizziness and a sense of balance may be performed in the order of selecting content, selecting a background, selecting a training method, and setting a difficulty level. An example of a content UI based on such content configuration is as follows.
도 23 내지 도 43은 본 발명의 일 실시예에 따른 콘텐츠 UI(User Interface)를 예시한 것이다. 23 to 43 illustrate a content user interface (UI) according to an embodiment of the present invention.
도 23은 어지럼증 훈련 콘텐츠를 선택한 경우, 배경을 선택하기 위한 UI이다. 도 23의 실시예에서는 가정집과 해저를 배경으로 선택할 수 있는데, 가정집은 거실을 배경으로 하며 별도의 움직임이 없는 것이고, 해저는 물고기들이 움직이는 배경화면이다. 23 is a UI for selecting a background when dizziness training content is selected. In the embodiment of FIG. 23, a home house and a seabed may be selected as backgrounds. The home house is a living room with no separate movement, and the seabed is a background screen in which fish move.
도 24는 훈련 콘텐츠 타겟 컨셉을 예시한 것으로서, 모니터 형태의 로봇 컨셉을 예시하고 있다. 도 24의 실시예에서 모니터 형태의 로봇 컨셉은 공중을 떠다니며 이동궤적을 따라 파티클(243)을 뿌리고 다니고, 지시사항이나 정보를 표시하게 된다. 그리고, 눈 부분의 색상(241)을 변경하여 판정여부를 표시할 수 있는데, 예를 들어 기본적으로 노란색으로 표시되고, 성공하면 녹색으로 변하고, 실패하면 빨간색으로 변하는 식이다. 그리고 모니터 화면(242)에는 10회부터 성공시마다 1씩 카운트하여 미션이 완료되면 “훈련 성공”을 텍스트로 표시하며, 훈련 완료 시 폭죽 효과가 터지면서 좌우로 춤추는 애니메이션이 실행된다(244). 24 illustrates a training content target concept and illustrates a robot concept in the form of a monitor. In the embodiment of FIG. 24, the concept of a robot in the form of a monitor floats in the air, sprinkles
도 25는 게임 콘텐츠를 예시한 것으로서, 우주를 배경으로 하고, 무작위로 날아다니는 UFO를 제한시간 내에 사격하는 컨셉이며, 난이도가 올라갈수록 UFO의 속도가 빨라진다. FIG. 25 is an illustration of game content, a concept of shooting a randomly flying UFO within a limited time with space in the background, and the speed of the UFO increases as the difficulty increases.
도 26은 어지럼증 훈련과 사격게임 중에 콘텐츠를 선택할 수 있도록 하는 UI이다. 여기서 '어지럼증 훈련'을 선택하면 도 27과 같이, '거실'과 '해저' 중에 훈련을 진행할 배경을 선택할 수 있는 UI를 제공한다. 26 is a UI for selecting content during dizziness training and shooting games. If'dizziness training' is selected here, as shown in FIG. 27, a UI for selecting a background for training among'living room' and'undersea' is provided.
도 28 및 도 29는 훈련의 종류를 선택할 수 있도록 하는 UI로서, '타겟 고정'과 '타겟 움직임' 중에 선택할 수 있고, '머리 좌우 돌리기', '머리 상하 돌리기', '머리 좌우로 기울이기' 중에 선택할 수 있다. 28 and 29 are UIs for selecting the type of training, which can be selected from'target fixation' and'target movement', and'head left and right turn','head up and down turn','head left and right tilt' You can choose from.
도 30은 훈련 안내 팝업 UI이며, 운동 종류에 따라 애니메이션으로 시범 동작을 계속 루프해서 보여준다. FIG. 30 is a training guide pop-up UI, and shows a demonstration motion continuously looped by animation according to the type of exercise.
도 31은 게임 안내 팝업 UI이다. 31 is a game guide pop-up UI.
도 32는 훈련 시범 애니메이션 UI로서, <머리 좌우로 돌리기>, <머리 좌우로 기울이기> 등의 훈련 시범을 애니메이션으로 표현한다. FIG. 32 is a training demonstration animation UI, which expresses training demonstrations such as <head turning left and right> and <head tilting left and right> through animation.
도 33은 훈련 완료 팝업 UI로서, 점수와 훈련시간 등의 결과가 표시되고, 도 34는 게임 완료 팝업 UI로서, 점수와 훈련시간 등의 결과가 표시된다. FIG. 33 is a pop-up UI for training completion, and results such as score and training time are displayed, and FIG. 34 is a pop-up UI for game completion, and results such as score and training time are displayed.
도 35는 탑뷰(top view)로서, 머리 좌우로 30도 돌리기에서 타겟 움직임 모드에서 타겟이 움직이는 것을 도시한 것이다. 이때, 사용자가 빨간색 포인트와 파란색 포인트에 도달 시 각각 성공한 것으로 연출한다. 그러나, 포인트 도달 시 속도가 느려지거나, 다른 포인트에 도달하지 않고 다시 원 포인트로 돌아갈 경우 실패를 연출한다. FIG. 35 is a top view, showing the movement of the target in the target movement mode when the head is rotated 30 degrees left or right. At this time, when the user reaches the red point and the blue point, each of them is presented as successful. However, when the point is reached, the speed is slowed down, or when it returns to the one point without reaching another point, it produces a failure.
도 36은 사이드뷰(side view)로서, 머리 상하로 30도 움직이기에서 타겟 움직임 모드에서 타겟이 움직이는 것을 도시한 것이다. 이때, 사용자가 빨간색 포인트와 파란색 포인트에 도달 시 각각 성공한 것으로 연출한다. 그러나, 포인트 도달 시 속도가 느려지거나, 다른 포인트에 도달하지 않고 다시 원 포인트로 돌아갈 경우 실패를 연출한다. FIG. 36 is a side view, showing the movement of the target in the target movement mode when the head moves up and down by 30 degrees. At this time, when the user reaches the red point and the blue point, each of them is presented as successful. However, when the point is reached, the speed is slowed down, or when it returns to the one point without reaching another point, it produces a failure.
도 37은 머리 좌우로 20도 기울이기를 도시한 것으로서, 난이도별로 제한된 시간 내에 빨간색 포인트와 파란색 포인트를 찍으면 1회 성공한 것으로 판정하는 식이다.FIG. 37 shows a tilting of the head by 20 degrees to the left and right, and is an equation for determining success once if a red point and a blue point are taken within a limited time for each difficulty level.
도 38은 랜덤 30도 움직이기를 예시한 것으로서, 난이도별로 제한된 시간 내에 빨간색 포인트와 파란색 포인트 순으로 찍으면 1회 성공한 것으로 판정하고, 그 후 노란색 포인트로 복귀하여 다음 움직임을 시작한다. 이때 상하좌우 원근 움직임 중에서 랜덤하게 발생하며, 원근 움직임은 별도의 판정없이 캐릭터 이동이 완료되면 1회 달성한 것으로 한다. 38 illustrates a random 30-degree movement, and if red points and blue points are taken in order within a limited time for each difficulty level, it is determined that they have succeeded once, and then returns to the yellow point to start the next movement. At this time, it occurs randomly among the vertical, left and right perspective movements, and the perspective movement is assumed to be achieved once when the character movement is completed without a separate determination.
도 39는 우주 콘텐츠 배경 컨셉으로서, 다양한 크기의 오브젝트가 표시되고, 다양한 궤적으로 움직이고, 일정 속도로 움직이며, 각 개체들은 배경과 파티클로 제작한다. 39 is a concept of a space content background, in which objects of various sizes are displayed, move in various trajectories, and move at a constant speed, and each object is produced as a background and particles.
도 40은 우주 훈련의 경우, 훈련의 난이도를 선택하는 화면 UI로서, 별의 이동방향과 속도를 선택할 수 있다. 40 is a screen UI for selecting a training difficulty in the case of space training, and a moving direction and speed of a star may be selected.
도 41은 별의 이동 방향을 Y축으로 하고, 속도를 보통으로 설정한 경우의 훈련 안내 팝업 UI이고, 도 42는 우주 훈련 완료 팝업 UI이다. 41 is a training guide pop-up UI when the moving direction of a star is set to the Y axis and the speed is set to normal, and FIG. 42 is a pop-up UI for completing space training.
도 43은 우주 훈련에서 X축, Y축, Z축 기준으로 타겟이 움직이는 것을 도시한 것으로서, 타겟이 정방향 또는 역방향으로 랜덤하게 이동할 수 있다 43 shows that the target moves based on the X-axis, Y-axis, and Z-axis in space training, and the target may randomly move in the forward or reverse direction.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.The present invention has been described above using several preferred embodiments, but these embodiments are illustrative and not limiting. Those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made without departing from the spirit of the present invention and the scope of the rights presented in the appended claims.
100 시선 추적 장치
200 신체 추적 장치
300 콘텐츠 제공 서버
110 시선추적부
120 HMD부
210 이동발판
220 입력부
230 중단 버튼
240 움직임 센서
250 이탈방지부
260 구동부
270 압력 센서 100
300
120
220
240
260
Claims (4)
사용자가 보행할 수 있도록 하는 이동발판이 마련되어 있고, 상기 이동발판을 통해 사용자의 발바닥 압력을 감지하고, 사용자의 공간 상의 움직임을 감지하고, 사용자의 체성감각 정보를 수집하기 위한 신체 추적 장치; 및
상기 시선 추적 장치에 가상현실 콘텐츠 또는 증강현실 콘텐츠를 제공하여 디스플레이되도록 하고, 상기 시선 추적 장치로부터 시선 자극 정보 및 청각 자극 정보를 수집하고, 상기 신체 추적 장치로부터 압력 정보, 움직임 정보 및 체성감각 정보를 수집하고, 수집된 다수의 감각 기관의 자극 정보를 연동하고, 이를 통해 사용자의 어지럼증과 균형감각을 측정, 평가 및 분석하고, 분석한 사용자의 증상과 균형감각에 따라 운동과 훈련 프로그램을 수행하도록 하는 콘텐츠를 상기 시선 추적 장치에 제공하는 콘텐츠 제공 서버를 포함하는 어지럼증과 균형감각 개선 훈련 시스템.
A device worn on a user's head, comprising: a gaze tracking device that tracks a user's gaze and displays a virtual reality or augmented reality screen;
A body tracking device provided with a movable footrest allowing a user to walk, and sensing a user's foot pressure through the movable footrest, detecting a movement of the user in space, and collecting somatosensory information of the user; And
Provides virtual reality content or augmented reality content to the gaze tracking device to be displayed, collects gaze stimulation information and auditory stimulation information from the gaze tracking device, and receives pressure information, motion information, and somatosensory information from the body tracking device. It collects and links the collected stimulus information of multiple sensory organs, measures, evaluates, and analyzes the user's dizziness and balance through this, and performs exercise and training programs according to the analyzed user's symptoms and sense of balance. A training system for improving dizziness and a sense of balance, including a content providing server that provides content to the gaze tracking device.
상기 시선 추적 장치는,
사용자의 시선을 추적하기 위한 시선추적부; 및
사용자의 머리에 착용되는 구조로 되어 있으며, 가상현실 또는 증강현실 화면이 디스플레이되도록 하고, 음향을 출력하기 위한 HMD부를 포함하여 이루어지는 것을 특징으로 하는 어지럼증과 균형감각 개선 훈련 시스템.
The method according to claim 1,
The eye tracking device,
A gaze tracking unit for tracking a user's gaze; And
A training system for improving dizziness and balance, characterized in that the structure is worn on the user's head, and includes an HMD unit for displaying a virtual reality or augmented reality screen and outputting sound.
상기 신체 추적 장치는,
사용자가 보행할 수 있도록 마련된 발판으로서, 모든 방향으로 보행할 수 있도록 하는 트레드밀 구조이고, 수평방향으로 회전 가능하고, 상하전후좌우 방향으로 기울어지도록 하는 경사도 조절이 가능한 이동발판;
상기 이동발판 상에서 사용자의 발바닥 압력을 감지하기 위한 압력센서;
사용자의 공간 상의 움직임을 감지하기 위한 움직임 센서;
사용자가 상기 이동발판에서 이탈하는 것을 방지하기 위해 사용자의 주변에 마련된 이탈방지부;
사용자가 상기 HMD부에 디스플레이되는 화면에서 제어명령을 입력하기 위한 입력부;
구동을 중단시키기 위한 중단 버튼; 및
상기 이동발판을 구동시키기 위한 구동부를 포함하여 이루어지는 것을 특징으로 하는 어지럼증과 균형감각 개선 훈련 시스템.
The method according to claim 2,
The body tracking device,
As a footrest provided to allow a user to walk, a treadmill structure that allows a user to walk in all directions, a movable footrest that can be rotated in a horizontal direction, and an inclination adjustable to incline in the vertical, front, rear, left and right directions;
A pressure sensor for sensing a user's foot pressure on the moving footrest;
A motion sensor for detecting a motion of a user in space;
A departure prevention unit provided around the user to prevent the user from leaving the moving footrest;
An input unit for a user to input a control command on a screen displayed on the HMD unit;
A stop button to stop driving; And
A training system for improving dizziness and a sense of balance, characterized in that comprising a driving unit for driving the moving footrest.
상기 콘텐츠 제공 서버는 상기 중단 버튼이 터치되면, 그때까지의 시선 추적 데이터, 압력 데이터 및 움직임 데이터를 측정하고, 분석/평가하여, 이를 기반으로 어지럼증과 균형감각 개선 훈련을 수행하도록 하는 콘텐츠를 제공하는 것을 특징으로 하는 어지럼증과 균형감각 개선 훈련 시스템.
The method of claim 3,
When the stop button is touched, the content providing server measures and analyzes/evaluates gaze tracking data, pressure data and movement data up to that point, and provides content to perform dizziness and balance improvement training based on this. Dizziness and balance improvement training system, characterized in that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190028899A KR102346680B1 (en) | 2019-03-13 | 2019-03-13 | Training and exercise system based on virtual reality or augmented reality for dizziness and disequilibrium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190028899A KR102346680B1 (en) | 2019-03-13 | 2019-03-13 | Training and exercise system based on virtual reality or augmented reality for dizziness and disequilibrium |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200109614A true KR20200109614A (en) | 2020-09-23 |
KR102346680B1 KR102346680B1 (en) | 2021-12-31 |
Family
ID=72708291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190028899A KR102346680B1 (en) | 2019-03-13 | 2019-03-13 | Training and exercise system based on virtual reality or augmented reality for dizziness and disequilibrium |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102346680B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115429225A (en) * | 2022-08-30 | 2022-12-06 | 广东视明科技发展有限公司 | Motion vision evaluation system and method combining posture motion and vision training |
KR102680083B1 (en) | 2024-02-05 | 2024-06-28 | 최준석 | Cyber soccer system |
KR102680078B1 (en) | 2024-02-05 | 2024-06-28 | 최준석 | Cyber soccer system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101695365B1 (en) * | 2015-09-14 | 2017-01-11 | 주식회사 인디고엔터테인먼트 | Treadmill motion tracking device possible omnidirectional awarenessand move |
KR101777755B1 (en) * | 2016-06-27 | 2017-09-26 | 이종민 | Apparatus and method for rehabilitation trainingg using virtual reality |
KR20170135243A (en) * | 2016-05-31 | 2017-12-08 | 순천향대학교 산학협력단 | Diagnosis rehabilitation training apparatus using virtual reality |
KR20180108010A (en) * | 2017-03-23 | 2018-10-04 | 한림대학교 산학협력단 | System for measuring function of pedestrian based on vertual reality |
-
2019
- 2019-03-13 KR KR1020190028899A patent/KR102346680B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101695365B1 (en) * | 2015-09-14 | 2017-01-11 | 주식회사 인디고엔터테인먼트 | Treadmill motion tracking device possible omnidirectional awarenessand move |
KR20170135243A (en) * | 2016-05-31 | 2017-12-08 | 순천향대학교 산학협력단 | Diagnosis rehabilitation training apparatus using virtual reality |
KR101828679B1 (en) | 2016-05-31 | 2018-02-12 | 순천향대학교 산학협력단 | Diagnosis rehabilitation training apparatus using virtual reality |
KR101777755B1 (en) * | 2016-06-27 | 2017-09-26 | 이종민 | Apparatus and method for rehabilitation trainingg using virtual reality |
KR20180108010A (en) * | 2017-03-23 | 2018-10-04 | 한림대학교 산학협력단 | System for measuring function of pedestrian based on vertual reality |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115429225A (en) * | 2022-08-30 | 2022-12-06 | 广东视明科技发展有限公司 | Motion vision evaluation system and method combining posture motion and vision training |
KR102680083B1 (en) | 2024-02-05 | 2024-06-28 | 최준석 | Cyber soccer system |
KR102680078B1 (en) | 2024-02-05 | 2024-06-28 | 최준석 | Cyber soccer system |
Also Published As
Publication number | Publication date |
---|---|
KR102346680B1 (en) | 2021-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11662818B2 (en) | System and method for evaluation, detection, conditioning, and treatment of neurological functioning and conditions | |
Geurts et al. | Digital games for physical therapy: fulfilling the need for calibration and adaptation | |
KR102346680B1 (en) | Training and exercise system based on virtual reality or augmented reality for dizziness and disequilibrium | |
KR101999953B1 (en) | Treatment System and Method Based on Virtual-Reality | |
US20230218947A1 (en) | System and method for targeted neurological therapy using brainwave entrainment with passive treatment | |
d'Ornellas et al. | Thoroughly approach to upper limb rehabilitation using serious games for intensive group physical therapy or individual biofeedback training | |
US20230062345A1 (en) | System and method for targeted neurological therapy using brainwave entrainment | |
US11914776B2 (en) | System and method for evaluation, detection, conditioning, and treatment of neurological functioning and conditions | |
Tannous et al. | Gamerehab@ home: A new engineering system using serious game and multisensor fusion for functional rehabilitation at home | |
Lange et al. | Leveraging unencumbered full body control of animated virtual characters for game-based rehabilitation | |
Tamayo-Serrano et al. | A game-based rehabilitation therapy for post-stroke patients: An approach for improving patient motivation and engagement | |
US20240082535A1 (en) | Cloud-based gaming platform with health-related data collection | |
Codreanu et al. | A proposed serious game architecture to self-management healthcare for older adults | |
US11771955B2 (en) | System and method for neurological function analysis and treatment using virtual reality systems | |
Gonzalez et al. | Fear levels in virtual environments, an approach to detection and experimental user stimuli sensation | |
WO2021168467A2 (en) | A system and method for evaluation, detection, conditioning, and treatment of neurological functioning and conditions | |
US11951355B2 (en) | Health-related data collection system for healthcare diagnostics and treatment platforms | |
US11791026B2 (en) | Cloud-based healthcare diagnostics and treatment platform | |
US20240152209A1 (en) | Treatment of neurological functioning and conditions using computer-assisted dual-task methodology | |
US20240001193A1 (en) | System and method for targeted neurological therapy using brainwave entrainment with passive treatment | |
Gilbertson et al. | Gaming technologies for children and youth with cerebral palsy | |
Pereira et al. | A VR-Based Vestibular Rehabilitation Therapeutic Game | |
NABUKENYA et al. | Multisensory interactive systems combined with VR gradual exposure therapy to treat patients with acrophobia: potentialities and challenges | |
Simões-Silva et al. | Gamification as Upper Limb Rehabilitation Process | |
Castro Cros | Gamification in stroke rehabilitation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |