KR102164965B1 - Virtual illusion system for hemiplegic patients using brain stimulation and its way to working - Google Patents
Virtual illusion system for hemiplegic patients using brain stimulation and its way to working Download PDFInfo
- Publication number
- KR102164965B1 KR102164965B1 KR1020190052591A KR20190052591A KR102164965B1 KR 102164965 B1 KR102164965 B1 KR 102164965B1 KR 1020190052591 A KR1020190052591 A KR 1020190052591A KR 20190052591 A KR20190052591 A KR 20190052591A KR 102164965 B1 KR102164965 B1 KR 102164965B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- hand
- eeg
- movement
- user
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A61B5/0476—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6804—Garments; Clothes
- A61B5/6806—Gloves
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0011—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus in a subliminal way, i.e. below the threshold of sensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/50—General characteristics of the apparatus with microprocessors or computers
- A61M2205/502—User interfaces, e.g. screens or keyboards
- A61M2205/507—Head Mounted Displays [HMD]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/08—Other bio-electrical signals
- A61M2230/10—Electroencephalographic signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/63—Motion, e.g. physical activity
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Psychology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Anesthesiology (AREA)
- Physiology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- Hematology (AREA)
- Rehabilitation Tools (AREA)
Abstract
Description
본 발명은 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법에 관한 것으로서, 보다 구체적으로는 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법에 관한 것이다.The present invention relates to a virtual hand delusion system for treatment of hemiplegic patients and a driving method thereof, and more particularly, to a virtual hand delusion system for treatment of hemiplegia patients and a driving method thereof using brain stimulation.
뇌졸중이나 뇌경색이라는 질병은 대개 편마비를 동반하는 질병으로, 뇌로 공급되는 혈액이 혈관의 막힘 등으로 인하여 전달되지 못해 발생한다. 뇌졸중으로 인한 편마비 환자는 운동 기능장애, 인지 및 지각장애, 감각장애, 언어장애 등의 많은 장애를 동반하기 마련인데, 장애로 인해 식사, 착탈의 등의 일상생활 동작의 제한이 발생하고, 발병 후 약 66%에서 신체기능 장애, 약 75%에서 일상생활의 장애를 갖는다. 이러한 편마비 환자들의 재활을 돕기 위하여 여러 가지 재활 치료방법이 알려져 있는데, 그중의 한 가지 방법으로서 거울치료 방법이 있다.
Diseases such as stroke or cerebral infarction are usually accompanied by hemiplegia, and occur because blood supplied to the brain cannot be delivered due to blockage of blood vessels. Patients with hemiplegia due to stroke are usually accompanied by a number of disorders such as motor dysfunction, cognitive and perceptual disorders, sensory disorders, and speech disorders. The disorder causes limitations in daily life movements such as eating and detachment. About 66% of them have physical dysfunction and about 75% of them have problems with daily life. In order to assist in the rehabilitation of such hemiplegic patients, various rehabilitation treatment methods are known, and one of them is mirror treatment.
거울치료는 뇌신경이 구조적, 기능적으로 변화되고 재조직화될 수 있다는 뇌 가소성 원리에 기반을 둔 뇌신경 손상 환자의 치료법 중 하나로, 운동기능 회복과 환측의 움직임을 유도함으로써 환자의 마비 측 신체의 기능회복을 촉진한다. 거울치료는 손상되지 않은 사지의 움직임에 초점을 맞춘 새로운 치료로서, Ramachandran과 RogersRamachandran(1996)에 의해 절단 후 환상통(phantom pain)을 치료하는 방법으로써 처음 소개되었으며, 이후 급성기 뇌졸중 환자를 대상으로 시행한 여러 실험에서 마비측 신체의 기능회복에 효과가 있는 것으로 확인되었다. 즉, 뇌졸중 환자에게 마비되지 않은 사지의 움직임을, 거울 반영을 통해 마비된 사지의 움직임으로 투영시키고, 마비된 사지에 포개어진 시각 정보가 주는 영상이 뇌를 자극한다는 이론이다.
Mirror therapy is one of the treatments for patients with cranial nerve injury based on the principle of cranial plasticity that the cranial nerves can be structurally and functionally changed and reorganized. By inducing motor function recovery and movement of the affected side, the patient's paralysis side of the body recovers functions. Promote. Mirror therapy is a new treatment that focuses on intact limb movement. It was first introduced by Ramachandran and RogersRamachandran (1996) as a method of treating phantom pain after amputation, and was subsequently performed for patients with acute stroke. In several experiments, it was confirmed that it is effective in restoring the function of the paralyzed body. In other words, it is a theory that the motion of the non-paralyzed limb is projected to the motion of the paralyzed limb through mirror reflection, and the image given by the visual information superimposed on the paralyzed limb stimulates the brain.
도 1은 편마비 환자 재활 치료를 위한 기존의 거울 치료 실시방법을 나타낸 도면이다. 도 1에 도시된 바와 같이, 통상적으로 거울치료는 거울치료기를 이용해 행해지는데, 거울치료기는 사각형의 두 개의 판을 연접하여 꺾쇠 모양을 이루도록 하고, 두 개 판 중 하나는 거울로 구성된다. 비 마비측 사지와 마비측 사지의 정중앙에 수직으로 거울을 위치하고 거울에 투영된 비 마비측 사지의 모습이 마비측 사지와 일치하도록 하여 환자에게 시각적 환영을 제공함으로써, 마비측 사지가 정상적으로 움직이는 것과 같은 착각을 준다.
1 is a view showing a conventional mirror treatment method for rehabilitation treatment of a hemiplegic patient. As shown in FIG. 1, mirror treatment is typically performed using a mirror treatment device, in which two square plates are connected to form a bracket, and one of the two plates is composed of a mirror. By providing a visual illusion to the patient by placing a mirror vertically in the center of the non-paralytic side and the middle of the paralyzed limb, and making the shape of the non-paralytic limb projected on the mirror coincide with the paralyzed limb, It gives an illusion.
다만 기존의 거울치료는 상을 보기 위해 몸을 비 마비측으로 이동시켜야 하므로 몸통의 비대칭을 초래하여 환자의 자세가 불량해지는 문제가 있으며, 이로 인해 재활 치료가 힘들어진다. 즉, 기존의 거울치료는 거울 속 사지를 보기 위해 몸을 비 마비측으로 기울이게 되는데, 이때, 거울과 지면의 각이 커지면, 비 마비측으로 체중을 지지하여 몸의 비대칭이 증가하게 되고, 거울과 지면의 각이 작아지면, 거울 속 상의 비대칭이 증가하여 마비측 사지가 움직이는 것과 같은 착각의 효과가 감소하게 된다. 따라서 기존의 거울치료 원리를 이용하되, 움직임의 착각 효과를 높일 구현방법의 필요성이 대두된다.
However, the conventional mirror treatment has a problem that the patient's posture is poor due to the asymmetry of the torso because the body must be moved to the non-paralytic side to see the image, which makes rehabilitation treatment difficult. In other words, in the conventional mirror treatment, the body is tilted toward the non-paralytic side to see the limbs in the mirror. At this time, when the angle between the mirror and the ground increases, the asymmetry of the body increases by supporting the body weight toward the non-paralytic side. As the angle decreases, the asymmetry in the mirror increases and the effect of illusion such as moving the paralyzed limb decreases. Therefore, there is a need for an implementation method that uses the existing mirror therapy principle, but enhances the illusion of movement.
한편, 본 발명과 관련된 선행기술로서, 한국등록특허 제10-1698244호(발명의 명칭: 외형적 대칭인 신체 질환을 위한 통증 치료장치, 공고일자: 2017년 02월 01일) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, Korean Patent Registration No. 10-1698244 (name of the invention: Pain treatment device for physically symmetrical physical diseases, notification date: February 01, 2017) has been disclosed. .
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 기존의 거울치료 방법에 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 머리 장착 디스플레이(HMD) 디바이스를 이용함으로써, 보다 편안한 자세에서 재활 치료를 할 수 있어, 비 마비측 사지의 움직임을 마비측 사지의 움직임으로 착각하는 효과를 극대화하고, 뇌 감각 인지 기능을 혼란에 빠뜨려 재활 중 발생할 수 있는 통증을 완화시킬 수 있으며, 환자는 실제 자신의 마비측 사지를 볼 수 없고 디스플레이부에서 나오는 움직임 영상만을 보면서 재활 치료에 임하게 되므로, 그만큼 몰입도가 향상된 상태에서 재활 치료에 임할 수 있어, 궁극적으로는 편마비 환자의 재활 치료에 소요되는 시간을 단축할 수 있는, 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed to solve the above problems of the previously proposed methods, and a head mounted display that immerses a user in a virtual reality (VR) or augmented/mixed reality (MR) environment to the existing mirror treatment method ( HMD) device enables rehabilitation treatment in a more comfortable posture, maximizing the effect of mistaking the movement of the non-paralyzed limb as the movement of the paralyzed limb and disrupting the brain sensory cognitive function, which can occur during rehabilitation. Pain can be alleviated, and the patient cannot actually see his paralyzed limb and is engaged in rehabilitation treatment by looking only at the motion image from the display unit, so that the immersion is improved so that the patient can engage in rehabilitation treatment. It is an object of the present invention to provide a virtual hand delusion system and a driving method for treating hemiplegic patients using brain stimulation, which can shorten the time required for rehabilitation treatment of hemiplegic patients.
또한, 본 발명은, 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경을 이용한 거울치료에 뇌파 자극 시스템을 도입함으로써, 편마비 환자가 재활 치료를 하는 중간에, 환자의 뇌파를 분석하여 환자의 상태 변화에 따라 적절한 기능성 뇌파를 자극할 수 있어, 비 마비측 사지의 움직임을 마비측 사지의 움직임으로 착각하는 거울치료의 효과를 더욱 극대화시키고 환자가 자신의 재활 치료에만 정신을 집중할 수 있도록 뇌를 적절히 자극하여 치료의 몰입도를 높일 수 있는, 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention introduces an EEG stimulation system to mirror therapy using a virtual reality (VR) or augmented/mixed reality (MR) environment, thereby analyzing the patient's EEG in the middle of the hemiplegic patient's rehabilitation treatment. It is possible to stimulate appropriate functional EEG according to the state change, further maximizing the effect of mirror therapy, which mistaken the movement of the non-paralytic limb as the movement of the paralyzed limb, and allowing the patient to focus on their own rehabilitation treatment. Another object of the present invention is to provide a virtual hand illusion system and a driving method for treating hemiplegic patients using brain stimulation, which can increase the immersion of treatment by appropriate stimulation.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템은,A virtual hand illusion system for treating hemiplegic patients using brain stimulation according to the features of the present invention for achieving the above object,
뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템으로서,As a virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation,
사용자의 비 마비측 손에 장착되어, 비 마비측 손의 3차원적 움직임 정보를 측정하는 모션 트래커;A motion tracker mounted on the user's non-paralyzed hand and measuring three-dimensional motion information of the non-paralyzed hand;
상기 모션 트래커에서 수집된 정보를 분석하여, 비 마비측 손의 움직임을 마비측 손의 움직임으로 착각하여 보이도록 영상을 처리하는 제어부; 및A controller that analyzes the information collected by the motion tracker and processes an image so that the motion of the non-paralyzed hand is mistaken for the motion of the paralyzed hand; And
상기 제어부에서 처리된 영상을 사용자에게 보여주는 디스플레이부를 포함하는 것을 그 구성상의 특징으로 한다.
It is characterized in that it comprises a display unit that displays the image processed by the control unit to the user.
바람직하게는, 상기 모션 트래커(Motion Tracker)는,Preferably, the motion tracker (Motion Tracker),
손가락 끝 움직임의 위치를 측정하는 핑거 위치 트래커(Finger Position Tracker);A finger position tracker that measures a position of a fingertip movement;
손가락 마디의 움직임 각도를 측정하는 관절 각도 트래커(Finger Joint Angle Tracker); 및A joint angle tracker that measures the angle of movement of a finger joint; And
손의 회전에 따른 움직임을 측정하는 핸드 방향 트래커(Hand Orientation Tracker)를 포함하여 구성될 수 있다.
It can be configured to include a hand orientation tracker (Hand Orientation Tracker) that measures the movement according to the rotation of the hand.
더욱 바람직하게는, 상기 핑거 위치 트래커(Finger Position Tracker)는,More preferably, the finger position tracker (Finger Position Tracker),
사용자의 각 손가락 끝에 위치하는 적어도 하나 이상의 위치 센서를 포함하여 구성하되, 상기 위치 센서에서 측정된 손가락 끝 움직임의 3차원적 위치 정보를 통하여 각 손가락 끝의 위치를 감지할 수 있다.
It includes at least one position sensor positioned at each fingertip of the user, and the position of each fingertip may be sensed through three-dimensional position information of the fingertip movement measured by the position sensor.
더욱 바람직하게는, 상기 관절 각도 트래커(Finger Joint Angle Tracker)는,More preferably, the joint angle tracker (Finger Joint Angle Tracker),
사용자의 각 손가락 마디에 위치하는 적어도 하나 이상의 각도 센서를 포함하여 구성하되, 상기 각도 센서에서 측정된 손가락 마디의 각도 정보를 통하여 각 손가락 마디의 움직임을 감지할 수 있다.
It includes at least one angle sensor positioned at each finger joint of the user, and the movement of each finger joint may be detected through angle information of the finger joint measured by the angle sensor.
더욱 바람직하게는, 상기 핸드 방향 트래커(Hand Orientation Tracker)는,More preferably, the hand orientation tracker (Hand Orientation Tracker),
사용자 손의 x축, y축, z축에 따른 회전 움직임을 감지하기 위한 3축 각속도센서 및 3축 가속도센서를 포함하여 구성될 수 있다.
It may be configured to include a three-axis angular velocity sensor and a three-axis acceleration sensor for detecting the rotational movement of the user's hand along the x-axis, y-axis, and z-axis.
바람직하게는, 상기 제어부는,Preferably, the control unit,
상기 모션 트래커에서 감지된 비 마비측 손의 움직임을 제1 운동 이미지로 수신하는 움직임 수신부;A motion receiver configured to receive a motion of the non-paralyzed hand detected by the motion tracker as a first motion image;
상기 움직임 수신부에서 수신된 상기 제1 운동 이미지를 거울 반전 처리하여 제2 운동 이미지로 변환하는 움직임 변환부; 및A motion conversion unit for converting the first motion image received by the motion receiver into a second motion image by mirror inversion processing; And
상기 움직임 변환부에서 변환된 상기 제2 운동 이미지를 상기 디스플레이부로 송신하는 움직임 송신부를 포함하여 구성될 수 있다.
It may be configured to include a motion transmission unit for transmitting the second motion image converted by the motion conversion unit to the display unit.
더욱 바람직하게는, 상기 움직임 송신부는,More preferably, the motion transmission unit,
상기 움직임 수신부에서 수신된 상기 제1 운동 이미지 및 상기 움직임 변환부에서 변환된 상기 제2 운동 이미지를 상기 디스플레이부로 함께 송신할 수 있다.
The first exercise image received by the motion receiver and the second exercise image converted by the motion converter may be transmitted to the display unit together.
더욱 바람직하게는, 상기 디스플레이부는,More preferably, the display unit,
상기 움직임 송신부에서 수신받은 상기 제2 운동 이미지를 사용자의 마비측 손처럼 보이도록 시각적으로 렌더링하여 사용자에게 보여줄 수 있다.
The second motion image received from the motion transmitter may be visually rendered to look like the user's paralyzed hand and displayed to the user.
바람직하게는, 상기 디스플레이부는,Preferably, the display unit,
가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 머리 장착 디스플레이(HMD) 디바이스로 구현될 수 있다.
It may be implemented as a head mounted display (HMD) device that immerses the user in a virtual reality (VR) or augmented/mixed reality (MR) environment.
바람직하게는, Preferably,
사용자가 상기 디스플레이부를 통해서 상기 제2 운동 이미지를 시청할 때, 비 마비측 손의 움직임을 마비측 손의 움직임이라 인식하는 착각을 더욱 극대화 시키는 뇌파 제어부를 더 포함하여 구성될 수 있다.
When the user views the second motion image through the display unit, it may further include an EEG control unit for further maximizing an illusion of recognizing the motion of the non-paralyzed hand as the motion of the paralyzed hand.
바람직하게는, 상기 뇌파 제어부는,Preferably, the brain wave control unit,
사용자의 뇌파를 실시간으로 획득하는 뇌파 획득부;An EEG acquisition unit for obtaining a user's EEG in real time;
상기 뇌파 획득부에서 획득된 뇌파를 분석하는 뇌파 분석부; 및An EEG analysis unit that analyzes the EEG obtained by the EEG acquisition unit; And
상기 뇌파 분석부에서 분석된 것을 기초로 뇌파를 자극하는 뇌파 자극부를 포함하여 구성될 수 있다.
It may be configured to include an EEG stimulation unit for stimulating EEG based on the analysis by the EEG analysis unit.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 구동 방법은,A method of driving a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to a feature of the present invention for achieving the above object,
뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 구동 방법으로서,As a method of driving a virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation,
(1) 사용자의 비 마비측 손에 장착된 모션 트래커에서, 비 마비측 손의 3차원적 움직임 정보를 측정하는 단계;(1) measuring three-dimensional motion information of the non-paralyzed hand in the motion tracker mounted on the non-paralyzed hand of the user;
(2) 상기 단계 (1)에서 측정된 움직임 정보를 분석하여, 제어부가 비 마비측 손의 움직임을 마비측 손의 움직임으로 착각하여 보이도록 영상을 처리하는 단계; 및(2) analyzing the motion information measured in step (1), and processing the image so that the control unit mistaken the motion of the non-paralyzed hand as the motion of the paralyzed hand; And
(3) 상기 단계 (2)에서 처리된 영상을 디스플레이부에서 사용자에게 출력하는 단계를 포함하여 구현될 수 있다.
(3) It may be implemented including the step of outputting the image processed in step (2) to the user from the display unit.
바람직하게는, 상기 단계 (1)은,Preferably, the step (1),
(1-1) 핑거 위치 트래커에서 손가락 끝 움직임의 위치를 측정하는 단계; (1-1) measuring the position of the fingertip movement in the finger position tracker;
(1-2) 관절 각도 트래커에서 손가락 마디의 움직임 각도를 측정하는 단계; 및(1-2) measuring a movement angle of a finger joint in a joint angle tracker; And
(1-3) 핸드 방향 트래커에서 손의 회전에 따른 움직임을 측정하는 단계를 포함하여 구현될 수 있다.
(1-3) It may be implemented including the step of measuring the movement according to the rotation of the hand on the hand direction tracker.
더욱 바람직하게는, 상기 단계 (1-1)은,More preferably, the step (1-1),
적어도 하나 이상의 위치 센서가 사용자의 각 손가락 끝에 위치하되, 상기 위치 센서에서 측정된 손가락 끝 움직임의 3차원적 위치 정보를 통하여 각 손가락의 위치를 감지할 수 있다.
At least one position sensor is located at the tip of each finger of the user, and the position of each finger may be sensed through three-dimensional position information of the movement of the finger tip measured by the position sensor.
더욱 바람직하게는, 상기 단계 (1-2)는,More preferably, the step (1-2),
적어도 하나 이상의 각도 센서가 사용자의 각 손가락 마디에 위치하되, 상기 각도 센서에서 측정된 손가락 마디의 각도 정보를 통하여 각 손가락 마디의 움직임을 감지할 수 있다.
At least one angle sensor is located on each finger joint of the user, and the movement of each finger joint may be detected through angle information of the finger joint measured by the angle sensor.
더욱 바람직하게는, 상기 단계 (1-3)은,More preferably, the step (1-3),
3축 각속도센서 및 3축 가속도센서에서, 사용자 손의 x축, y축, z축에 따른 회전 움직임을 감지할 수 있다.
In the 3-axis angular velocity sensor and the 3-axis acceleration sensor, it is possible to detect the rotational movement of the user's hand along the x-axis, y-axis, and z-axis.
바람직하게는, 상기 단계 (2)는,Preferably, the step (2),
(2-1) 상기 단계 (1)에서 감지된 비 마비측 손의 움직임을 움직임 수신부에서 제1 운동 이미지로 수신하는 단계;(2-1) receiving the motion of the non-paralyzed hand detected in step (1) as a first motion image by a motion receiver;
(2-2) 상기 단계 (2-1)에서 수신된 제1 운동 이미지를 움직임 변환부에서 거울 반전 처리하여 제2 운동 이미지로 변환하는 단계; 및(2-2) converting the first motion image received in step (2-1) into a second motion image by mirror-reversing the motion conversion unit; And
(2-3) 상기 단계 (2-2)에서 변환된 제2 운동 이미지를 상기 움직임 송신부에서 상기 디스플레이부로 송신하는 단계를 포함하여 구현될 수 있다.
(2-3) The second motion image converted in step (2-2) may be transmitted from the motion transmitter to the display.
더욱 바람직하게는, 상기 단계 (2-3)은,More preferably, the step (2-3),
상기 단계 (2-1)에서 수신된 상기 제1 운동 이미지 및 상기 단계 (2-2)에서 변환된 상기 제2 운동 이미지를 상기 디스플레이부로 함께 송신할 수 있다.
The first exercise image received in step (2-1) and the second exercise image converted in step (2-2) may be transmitted to the display unit together.
더욱 바람직하게는, 상기 단계 (3)은,More preferably, the step (3),
상기 단계 (2-3)에서 수신받은 상기 제2 운동 이미지를 사용자의 마비측 손처럼 보이도록 시각적으로 렌더링하여 사용자에게 보여줄 수 있다.
The second motion image received in step (2-3) may be visually rendered to look like the user's paralyzed hand and displayed to the user.
바람직하게는, 상기 단계 (3)은,Preferably, the step (3),
가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 머리 장착 디스플레이(HMD) 디바이스를 통하여 구현될 수 있다.
It may be implemented through a head mounted display (HMD) device that immerses the user in a virtual reality (VR) or augmented/mixed reality (MR) environment.
바람직하게는, Preferably,
(4) 사용자가 상기 단계 (3)에서 상기 제2 운동 이미지를 시청할 때, 비 마비측 손의 움직임을 마비측 손의 움직임이라 인식하는 착각을 더욱 극대화할 수 있도록 뇌파 제어부에서 뇌파를 제어하는 단계를 더 포함하여 구현될 수 있다.
(4) When the user views the second motion image in step (3), controlling the EEG by the EEG control unit to further maximize the illusion of recognizing the motion of the non-paralyzed hand as the motion of the paralyzed hand. It may be implemented further including.
바람직하게는, 상기 단계 (4)는,Preferably, the step (4),
(4-1) 뇌파 획득부에서 사용자의 뇌파를 실시간으로 획득하는 단계;(4-1) obtaining a user's EEG in real time by the EEG acquisition unit;
(4-2) 상기 단계 (4-1)에서 획득된 뇌파를 뇌파 분석부에서 분석하는 단계; 및(4-2) analyzing the EEG obtained in step (4-1) by the EEG analysis unit; And
(4-3) 상기 단계 (4-2)에서 분석된 것을 기초로 뇌파 자극부에서 뇌파를 자극하는 단계를 포함하여 구현될 수 있다.(4-3) Based on the analysis in step (4-2), it may be implemented including the step of stimulating an EEG in the EEG stimulation unit.
본 발명에서 제안하고 있는 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법에 따르면, 기존의 거울치료 방법에 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 머리 장착 디스플레이(HMD) 디바이스를 이용함으로써, 보다 편안한 자세에서 재활 치료를 할 수 있어, 비 마비측 사지의 움직임을 마비측 사지의 움직임으로 착각하는 효과를 극대화하고, 뇌 감각 인지 기능을 혼란에 빠뜨려 재활 중 발생할 수 있는 통증을 완화시킬 수 있으며, 환자는 실제 자신의 마비측 사지를 볼 수 없고 디스플레이부에서 나오는 움직임 영상만을 보면서 재활 치료에 임하게 되므로, 그만큼 몰입도가 향상된 상태에서 재활 치료에 임할 수 있어, 궁극적으로는 편마비 환자의 재활 치료에 소요되는 시간을 단축할 수 있다.
According to the virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation proposed in the present invention and the driving method thereof, the user is immersed in a virtual reality (VR) or augmented/mixed reality (MR) environment in the conventional mirror treatment method. By using a head-mounted display (HMD) device, it is possible to perform rehabilitation treatment in a more comfortable posture, maximizing the effect of mistaking the movement of the non-paralyzed limb as the movement of the paralyzed limb. It can alleviate the pain that may occur during rehabilitation, and the patient cannot actually see his paralyzed limb and is engaged in rehabilitation treatment by looking only at the motion image from the display unit. As a result, the time required for rehabilitation treatment of hemiplegic patients can be shortened.
또한, 본 발명에서 제안하고 있는 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법에 따르면, 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경을 이용한 거울치료에 뇌파 자극 시스템을 도입함으로써, 편마비 환자가 재활 치료를 하는 중간에, 환자의 뇌파를 분석하여 환자의 상태 변화에 따라 적절한 기능성 뇌파를 자극할 수 있어, 비 마비측 사지의 움직임을 마비측 사지의 움직임으로 착각하는 거울치료의 효과를 더욱 극대화시키고 환자가 자신의 재활 치료에만 정신을 집중할 수 있도록 뇌를 적절히 자극하여 치료의 몰입도를 높일 수 있다.In addition, according to the virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation proposed in the present invention and the driving method thereof, an EEG stimulation system for mirror therapy using a virtual reality (VR) or augmented/mixed reality (MR) environment In the middle of the hemiplegic patient's rehabilitation treatment, the patient's EEG can be analyzed and appropriate functional EEG can be stimulated according to the patient's state change, so that the movement of the non-paralytic limb is mistaken for the movement of the paralyzed limb. The effect of mirror therapy can be further maximized and the degree of immersion in therapy can be increased by appropriately stimulating the brain so that the patient can focus only on his or her rehabilitation therapy.
도 1은 편마비 환자 재활 치료를 위한 기존의 거울치료 실시방법을 나타낸 도면.
도 2는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 구성을 기능 블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 모션 트래커 구성을 기능 블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 모션 트래커의 사시도를 도시한 도면.
도 5는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 디스플레이부 영상의 한가지 예를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 디스플레이부 영상의 또 다른 예를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 뇌파 제어부 구성을 기능 블록으로 도시한 도면.
도 8은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 착용 모습을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 구동 방법의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 손 움직임 측정 방법의 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 영상 처리 방법 흐름을 도시한 도면.
도 12는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 뇌파 제어 방법 흐름을 도시한 도면.1 is a view showing a conventional mirror treatment method for rehabilitation treatment of hemiplegic patients.
Figure 2 is a diagram showing the configuration of a virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation according to an embodiment of the present invention as a functional block.
3 is a view showing a motion tracker configuration of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention as a functional block.
4 is a view showing a perspective view of a motion tracker of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention.
5 is a view showing an example of an image of a display unit of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention.
6 is a view showing another example of an image of a display unit of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention.
7 is a diagram showing the configuration of an EEG control unit of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention as a functional block.
8 is a view showing the wearing of a virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation according to an embodiment of the present invention.
9 is a view showing the flow of a method of driving a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention.
10 is a view showing the flow of a hand movement measurement method of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention.
11 is a diagram illustrating a flow of an image processing method of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention.
12 is a view showing a flow of a brain wave control method of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for portions having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is said to be connected to another part, this includes not only the case that it is directly connected but also the case that it is indirectly connected with another element in the middle. In addition, the inclusion of certain components means that other components may be further included rather than excluding other components unless specifically stated to the contrary.
본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법은, 거울치료 원리를 이용한 재활 치료 방법인데, 상상훈련 방법 중 한 가지 방법인 거울치료 방법은 비 마비측 사지의 움직임을 거울 속에 비추어 봄으로써 그 반대측 사지와 연결되어있는 뇌의 일차 운동 영역을 흥분시켜 손상당한 뇌 주변의 다른 영역에서 그 기능을 대체하는 재조직화로 인해 운동회복과 상지기능 및 하지기능 증진에 도움이 되는 재활 치료 방법이다.
A virtual hand illusion system for treating hemiplegic patients using brain stimulation and a driving method thereof according to an embodiment of the present invention is a rehabilitation treatment method using the principle of mirror treatment, and one of the imagination training methods, the mirror treatment method, is non- By reflecting the movements of the paralyzed limb in a mirror, the primary motor region of the brain connected to the opposite limb is excited and reorganized to replace its function in other regions around the injured brain, resulting in motor recovery, upper and lower limb functions. It is a rehabilitation treatment method that helps to improve.
도 2는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 구성을 기능 블록으로 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템은, 사용자의 비 마비측 손에 장착되어, 비 마비측 손의 3차원적 움직임 정보를 측정하는 모션 트래커(100); 모션 트래커(100)에서 수집된 정보를 분석하여, 비 마비측 손의 움직임을 마비측 손의 움직임으로 착각하여 보이도록 영상을 처리하는 제어부(200); 및 제어부(200)에서 처리된 영상을 사용자에게 보여주는 디스플레이부(300)를 포함하여 구성될 수 있으며, 비 마비측 손의 움직임을 마비측 손의 움직임이라 인식하는 착각을 더욱 극대화 시키는 뇌파 제어부(400)를 더 포함하며 구성될 수 있다.
2 is a diagram showing the configuration of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention as a functional block. As shown in FIG. 2, the virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention is mounted on the non-paralyzed hand of the user, and three-dimensional movement of the non-paralyzed hand
모션 트래커(Motion Tracker)(100)는, 편마비 환자의 비 마비측 손에 장착되어 환자가 비 마비측 손을 자유롭게 움직임에 따라 발생하는 손의 3차원 위치 인식과, 사용자 손의 회전을 측정하기 위한 자세 인식 및 손가락 마디의 움직임을 측정할 수 있는 각도 측정 인식을 통합하여 수행하는 구성이다.
Motion Tracker (100) is mounted on the non-paralyzed hand of a hemiplegic patient to recognize the three-dimensional position of the hand and measure the rotation of the user's hand, which occurs as the patient freely moves the non-paralyzed hand. This is a configuration that integrates posture recognition and angle measurement recognition that can measure the movement of a finger joint.
도 3은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 모션 트래커 구성을 기능 블록으로 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 모션 트래커 사시도를 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 모션 트래커(Motion Tracker)(100)는, 손가락 끝 움직임의 위치를 측정하는 핑거 위치 트래커(Finger Position Tracker)(110); 손가락 마디의 움직임 각도를 측정하는 관절 각도 트래커(Finger Joint Angle Tracker)(120); 및 손의 회전에 따른 움직임을 측정하는 핸드 방향 트래커(Hand Orientation Tracker)(130)를 포함하여 구성될 수 있다. 즉, 모션 트래커(100)는 핑거 위치 트래커(110), 관절 각도 트래커(120), 및 핸드 방향 트래커(130)를 통합하여 편마비 환자 손의 적어도 일부에 착용 가능한 장갑 형태로 구현될 수 있으며, 모션 트래커(100)는 편마비 환자의 손뿐만 아니라, 편마비 환자의 발의 움직임을 측정하기 위한 양말의 형태로 구현되는 것도 가능하다. 이하에서는, 도 3 및 도 4를 이용하여 모션 트래커(100)를 구성하는 각 구성요소에 대하여 구체적으로 검토한다.
3 is a diagram showing a motion tracker configuration of a virtual hand delusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention as a function block, and FIG. 4 is a brain stimulation according to an embodiment of the present invention. It is a view showing a perspective view of a motion tracker of a virtual hand illusion system for the treatment of hemiplegic patients using. As shown in Figure 3, the motion tracker (Motion Tracker) 100 of the virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation according to an embodiment of the present invention, a finger for measuring the position of the fingertip movement Position Tracker (Finger Position Tracker) 110; A
핑거 위치 트래커(Finger Position Tracker)(110)는, 모션 트래커(100)(Motion Tracker)를 구성하는 하나의 장치로서, 사용자 각 손가락 끝의 움직임을 측정할 수 있다. 즉, 핑거 위치 트래커(Finger Position Tracker)(110)는, 사용자의 각 손가락 끝에 위치하는 적어도 하나 이상의 위치 센서(111)를 포함하여 구성하되, 위치 센서(111)에서 측정된 손가락 끝 움직임의 3차원적 위치 정보를 통하여 각 손가락 끝의 위치를 감지할 수 있다. 바람직하게는, 핑거 위치 트래커(110)는 공간상에서 움직이는 위치 센서(111)의 3차원 위치를 5 이내의 오차로 감지할 수 있도록 구현될 수 있다.
The
관절 각도 트래커(Finger Joint Angle Tracker)(120)는, 모션 트래커(Motion Tracker)(100)를 구성하는 또 다른 장치로서, 손가락 마디의 움직임 각도를 측정할 수 있다. 도 4에 도시된 바와 같이, 관절 각도 트래커(Finger Joint Angle Tracker)(120)는, 사용자의 각 손가락 마디에 위치하는 적어도 하나 이상의 각도 센서(121)를 포함하여 구성하되, 각도 센서(121)에서 측정된 손가락 마디의 각도 정보를 통하여 각 손가락 마디의 움직임을 감지할 수 있다. 즉, 손가락 마디의 굽힘 정도를 측정할 수 있도록 손가락 관절마다 각도 센서(121)를 구비하고, 바람직하게는 각도 센서(121)들을 이용하여 5도 이내의 오차 범위에서 손가락 마디의 움직임을 측정할 수 있도록 구성될 수 있다.
The finger
핸드 방향 트래커(Hand Orientation Tracker)(130)는, 모션 트래커(Motion Tracker)(100)를 구성하는 또 다른 장치로서, 손의 회전에 따른 움직임과 손의 자세를 측정할 수 있다. 도 4에 도시된 바와 같이, 핸드 방향 트래커(Hand Orientation Tracker)(130)는, 사용자의 손 등에 배치될 수 있으며, 사용자가 자신의 손을 회전시키는 경우 그 손의 회전 정도를 측정하게 된다. 즉, 사용자 손의 x축, y축, z축에 따른 회전 움직임을 감지하기 위한 3축 각속도센서(131) 및 3축 가속도센서(132)를 포함하여 구성될 수 있으며, 바람직하게는 각각 x축, y축, z축 별 7도에서 10도 정도의 정밀도를 갖도록 구성될 수 있다.
The
즉, 도 4에 도시된 바와 같이, 모션 트래커(Motion Tracker)(100)는, 핑거 위치 트래커(Finger Position Tracker)(110), 관절 각도 트래커(Finger Joint Angle Tracker)(120) 및 핸드 방향 트래커(Hand Orientation Tracker)(130)를 포함하여 구성될 수 있으며, 편마비 환자의 비 마비측 손에 장갑의 형태로 장착되어, 비 마비측 손의 3차원적 움직임을 보다 정밀하게 측정할 수 있다.
That is, as shown in Figure 4, the motion tracker (Motion Tracker) 100, a finger position tracker (Finger Position Tracker) 110, a joint angle tracker (Finger Joint Angle Tracker) 120, and a hand direction tracker ( It may include a Hand Orientation Tracker (130), and is mounted in the form of a glove on the non-paralyzed hand of a hemiplegic patient, so that the three-dimensional movement of the non-paralyzed hand can be more accurately measured.
제어부(200)는, 모션 트래커(100)에서 수집된 정보를 분석하여, 비 마비측 손의 움직임을 마비측 손의 움직임으로 착각하여 보이도록 영상을 처리할 수 있다. 도 1에 도시된 바와 같이, 제어부는 모션 트래커(100)에서 감지된 비 마비측 손의 움직임을 제1 운동 이미지로 수신하는 움직임 수신부(210); 움직임 수신부(210)에서 수신된 제1 운동 이미지를 거울 반전 처리하여 제2 운동 이미지로 변환하는 움직임 변환부(220); 및 움직임 변환부(220)에서 변환된 제2 운동 이미지를 디스플레이부(300)로 송신하는 움직임 송신부(230)를 포함하여 구성될 수 있다. 보다 구체적으로는, 모션 트래커(100)에서의 핑거 위치 트래커(110)의 3차원 위치 정보와 관절 각도 트래커(120)의 손가락 마디 각도의 움직임 및 핸드 방향 트래커(130)의 사용자 손의 회전에 따른 손의 위치 정보를 받아 사용자 손의 움직임을 제1 운동 이미지로 수신하고, 수신된 제1 운동 이미지를 거울 반전 처리하여 편마비 환자의 마비측 손의 움직임으로 보이도록 제2 운동 이미지로 변환한 후에 그 변환된 제2 운동 이미지를 디스플레이부(300)로 송신하여 사용자가 보고 마비측 손의 움직임으로 착각할 수 있도록 유도한다.
The
도 5는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 디스플레이부 영상의 한가지 예를 도시한 도면이고, 도 6은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 디스플레이부 영상의 또 다른 예를 도시한 도면이다. 도 5 및 도 6에서 도시된 바와 같이, 움직임 송신부(230)는, 움직임 변환부(220)에서 변환된 제2 운동 이미지만을 디스플레이부(300)로 송신할 수 있고, 움직임 수신부(210)에서 수신된 제1 운동 이미지와 움직임 변환부(220)에서 변환된 제2 운동 이미지를 함께 디스플레이부(300)로 송신할 수도 있다.
FIG. 5 is a view showing an example of an image of a display unit of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention, and FIG. 6 is a brain stimulation according to an embodiment of the present invention. A diagram showing another example of an image of a display unit of a virtual hand illusion system for treating a hemiplegic patient using. 5 and 6, the
디스플레이부(300)는, 움직임 송신부(230)에서 수신받은 제2 운동 이미지 또는 움직임 송신부(230)에서 수신받은 제1 운동 이미지와 제2 운동 이미지를 함께 시각적으로 렌더링하여 사용자에게 보여줄 수 있다. 즉, 도 5 및 도 6에서 도시된 바와 같이, 편마비 환자가 모션 트래커(100)가 장착된 비 마비측 손을 움직일 경우, 그 비 마비측 손의 움직임을 마비측 손의 움직임으로 인식하는 뇌의 착각 효과를 높일 수 있도록 시각적으로 렌더링하여 보다 사실적으로 보여줄 수 있다. 또한, 디스플레이부(300)는, 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 머리 장착 디스플레이(HMD) 디바이스를 통하여 구현될 수 있다. 따라서 편마비 환자는 머리 장착 디스플레이(HMD) 디바이스를 머리에 장착하여 가상 현실에서 거울치료료를 이용한 재활 치료를 진행함으로써, 보다 편안한 자세에서 재활 치료를 할 수 있고, 재활 치료의 몰입도를 높여 마비측 손의 움직임이라고 착각하는 효과를 높일 수 있다.
The
뇌파 제어부(400)는, 디스플레이부(300)를 통해서 제2 운동 이미지를 시청할 때, 비 마비측 손의 움직임을 마비측 손의 움직임이라 인식하는 착각을 더욱 극대화시킬 수 있다. 즉, 편마비 환자가 가상의 손착각 시스템을 이용하여 재활 치료를 하는 동안, 환자의 뇌파를 획득하여 그 뇌파를 분석하고 환자의 상태에 따라 적절하게 뇌파를 자극함으로써 거울 치료의 효과를 높일 수 있다. 이하 도 7을 이용하여 뇌파 제어부(400)의 구성에 대하여 보다 자세하게 설명한다.
When viewing the second motion image through the
도 7은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 뇌파 제어부 구성을 기능 블록으로 도시한 도면이다. 도 7에 도시된 바와 같이, 뇌파 제어부(400)는, 사용자의 뇌파를 실시간으로 획득하는 뇌파 획득부(410), 뇌파 획득부(410)에서 획득된 뇌파를 분석하는 뇌파 분석부(420) 및 뇌파 분석부(420)에서 분석된 것을 기초로 뇌파를 자극하는 뇌파 자극부(430)를 포함하여 구성될 수 있다. 즉, 거울 치료를 이용한 재활 치료가 진행 중인 환자의 뇌파를 획득하여, 획득된 뇌파에 따라 적절하게 뇌 자극의 부위와 방법을 달리 적용함으로써, 환자가 비 마비측 사지의 움직임을 마비측 사지의 움직임으로 착각하는 효과를 더욱 극대화시키고 환자가 자신의 재활 치료에만 정신을 집중할 수 있도록 치료의 몰입도를 높일 수 있다. 뇌파 제어부(400)는, 뇌파를 측정하는 하나 이상의 전극을 포함할 수 있는데, 실시예에 따라서는, 하나 이상의 전극을 사용자의 머리를 감싸는 형태의 장치로 구성될 수 있으며, 또는 모자에 전극을 결합함으로써 모자 자체가 뇌파 제어부(400)가 될 수도 있다. 뿐만 아니라, 전극에는 두피로부터 검출되는 뇌파를 전극에 잘 전달할 수 있도록 해주는 전해질 젤을 발라서 사용할 수도 있다.
7 is a diagram showing a configuration of an EEG control unit of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention as a functional block. As shown in FIG. 7, the
도 8은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 착용 모습을 도시한 도면이다. 도 8에서 도시된 바와 같이, 환자는 장갑의 형태로 구현된 모션 트래커(100)를 비 마비측 손에 장착하여 비 마비측 손의 움직임을 측정하고, 측정된 움직임을 제어부(200)에서 거울 반전시켜 환자의 마비측 손이 움직이는 영상으로 변환시킨 후, 이를 환자 머리에 장착된 머리 장착 디스플레이(HMD) 디바이스의 디스플레이부(300)를 통하여 가상의 현실을 통해 시청할 수 있으며, 이와 동시에 환자의 머리에 부착된 뇌파 제어부(400)에서 환자의 뇌파를 획득하여 분석하고 적절하게 뇌파를 자극함으로써 그 착각의 효과를 높일 수 있다.
8 is a diagram showing a wearing state of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention. As shown in Fig. 8, the patient measures the movement of the non-paralyzed hand by attaching a
도 9는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 구동 방법의 흐름을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 구동 방법은, 사용자의 비 마비측 손에 장착된 모션 트래커(100)에서, 비 마비측 손의 3차원적 움직임 정보를 측정하는 단계(S100), 측정된 움직임 정보를 분석하여, 제어부(200)가 비 마비측 손의 움직임을 마비측 손의 움직임으로 착각하여 보이도록 영상을 처리하는 단계(S200) 및 처리된 영상을 디스플레이부(300)에서 사용자에게 출력하는 단계(S300)를 포함하여 구현될 수 있으며, 사용자가 출력된 영상을 시청할 때, 비 마비측 손의 움직임을 마비측 손의 움직임이라 인식하는 착각을 더욱 극대화할 수 있도록 뇌파 제어부(400)에서 뇌파를 제어하는 단계(S400)를 더 포함하여 구현될 수 있다.
9 is a diagram illustrating a flow of a method of driving a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention. As shown in FIG. 9, a method of driving a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention includes a
도 10은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 손 움직임 측정 방법의 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 손 움직임 측정 방법은, 핑거 위치 트래커(110)에서 손가락 끝 움직임의 위치를 측정하는 단계(S110), 관절 각도 트래커(120)에서 손가락 마디의 움직임 각도를 측정하는 단계(S120) 및 핸드 방향 트래커(130)에서 손의 회전에 따른 움직임을 측정하는 단계(S130)를 포함하여 구현될 수 있다.
10 is a diagram illustrating a flow of a method for measuring hand movement of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention. As shown in FIG. 10, the method of measuring hand movement of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention measures the position of the fingertip movement in the
도 11은 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 영상 처리 방법 흐름을 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 영상 처리 방법은, 단계 S100에서 감지된 비 마비측 손의 움직임을 움직임 수신부(210)에서 제1 운동 이미지로 수신하는 단계(S210), 수신된 제1 운동 이미지를 움직임 변환부(220)에서 거울 반전 처리하여 제2 운동 이미지로 변환하는 단계(S220) 및 변환된 제2 운동 이미지를 움직임 송신부(230)에서 디스플레이부(300)로 송신하는 단계(S230)를 포함하여 구현될 수 있다.
11 is a diagram illustrating a flow of an image processing method of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention. As shown in FIG. 11, the image processing method of the virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation according to an embodiment of the present invention includes the movement of the non-paralyzed hand detected in step S100. Receiving the first motion image as a first motion image in step 210 (S210), the step of converting the received first motion image into a second motion image by mirror inversion processing in the motion conversion unit 220 (S220), and the converted second motion image It may be implemented including the step (S230) of transmitting an image from the
도 12는 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 뇌파 제어 방법 흐름을 도시한 도면이다. 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템의 뇌파 제어 방법은, 뇌파 획득부(410)에서 사용자의 뇌파를 실시간으로 획득하는 단계(S410), 획득된 뇌파를 뇌파 분석부(420)에서 분석하는 단계(S420) 및 분석된 것을 기초로 뇌파 자극부(430)에서 뇌파를 자극하는 단계(S430)를 포함하여 구현될 수 있다.
12 is a diagram illustrating a flow of an EEG control method of a virtual hand illusion system for treating hemiplegic patients using brain stimulation according to an embodiment of the present invention. As shown in FIG. 12, the EEG control method of the virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation according to an embodiment of the present invention, in which the
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
Details related to each step have been sufficiently described in relation to the virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation according to an embodiment of the present invention, and thus detailed descriptions will be omitted.
상술한 바와 같이, 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법에 따르면, 기존의 거울치료 방법에 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 머리 장착 디스플레이(HMD) 디바이스를 이용함으로써, 보다 편안한 자세에서 재활 치료를 할 수 있어, 비 마비측 사지의 움직임을 마비측 사지의 움직임으로 착각하는 효과를 극대화하고, 뇌 감각 인지 기능을 혼란에 빠뜨려 재활 중 발생할 수 있는 통증을 완화시킬 수 있으며, 환자는 실제 자신의 마비측 사지를 볼 수 없고 디스플레이부에서 나오는 움직임 영상만을 보면서 재활 치료에 임하게 되므로, 그만큼 몰입도가 향상된 상태에서 재활 치료에 임할 수 있어, 궁극적으로는 편마비 환자의 재활 치료에 소요되는 시간을 단축할 수 있다. 또한, 본 발명의 일실시예에 따른 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법에 따르면, 가상 현실(VR) 또는 증강/혼합 현실(MR) 환경을 이용한 거울치료에 뇌파 자극 시스템을 도입함으로써, 편마비 환자가 재활 치료를 하는 중간에, 환자의 뇌파를 분석하여 환자의 상태 변화에 따라 적절한 기능성 뇌파를 자극할 수 있어, 비 마비측 사지의 움직임을 마비측 사지의 움직임으로 착각하는 거울치료의 효과를 더욱 극대화시키고 환자가 자신의 재활 치료에만 정신을 집중할 수 있도록 뇌를 적절히 자극하여 치료의 몰입도를 높일 수 있다.
As described above, according to the virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation according to an embodiment of the present invention and the driving method thereof, in the conventional mirror treatment method, virtual reality (VR) or augmented/mixed reality ( By using a head mounted display (HMD) device that immerses the user in the MR) environment, rehabilitation treatment can be performed in a more comfortable posture, maximizing the effect of mistaking the movement of the non-paralyzed limb as the movement of the paralyzed limb. It can alleviate the pain that may occur during rehabilitation by disrupting the brain sensory cognitive function, and the patient cannot actually see his paralyzed limb and engages in rehabilitation treatment only by looking at the motion image from the display. Rehabilitation treatment can be performed in an improved state, and ultimately, the time required for rehabilitation treatment of hemiplegic patients can be shortened. In addition, according to the virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation according to an embodiment of the present invention and the driving method thereof, EEG for mirror therapy using a virtual reality (VR) or augmented/mixed reality (MR) environment By introducing a stimulation system, it is possible to analyze the patient's EEG in the middle of the rehabilitation treatment of the hemiplegic patient and stimulate the appropriate functional EEG according to the patient's state change, thereby converting the movement of the non-paralytic limb into the movement of the paralyzed limb. The effect of misunderstanding mirror therapy can be further maximized and the degree of immersion in therapy can be increased by appropriately stimulating the brain so that the patient can focus only on his or her rehabilitation therapy.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those of ordinary skill in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be determined by the following claims.
100: 모션 트래커
110: 핑거 위치 트래커
111: 위치 센서
120: 관절 각도 트래커
121: 각도 센서
130: 핸드 방향 트래커
131: 3축 각속도센서
132: 3축 가속도센서
200: 제어부
210: 움직임 수신부
220: 움직임 변환부
230: 움직임 송신부
300: 디스플레이부
400: 뇌파 제어부
410: 뇌파 획득부
420: 뇌파 분석부
430: 뇌파 자극부
S100: 사용자 비 마비측 손의 3차원적 움직임 정보를 측정하는 단계
S110: 손가락 끝 움직임의 위치를 측정하는 단계
S120: 손가락 마디의 움직임 각도를 측정하는 단계
S130: 손의 회전에 따른 움직임을 측정하는 단계
S200: 측정된 움직임 정보를 분석하여, 비 마비측 손의 움직임을 마비측 손의 움직임으로 착각하여 보이도록 영상을 처리하는 단계
S210: 비 마비측 손의 움직임을 제1운동 이미지로 수신하는 단계
S220: 수신된 제1운동 이미지를 거울 반전 처리하여 제2운동 이미지로 변환하는 단계
S230: 변환된 제2운동 이미지를 디스플레이부로 송신하는 단계
S300: 처리된 영상을 사용자에게 출력하는 단계
S400: 착각을 더욱 극대화할 수 있도록 뇌파를 제어하는 단계
S410: 사용자의 뇌파를 실시간으로 획득하는 단계
S420: 획득된 뇌파를 분석하는 단계
S430: 분석된 것을 기초로 뇌파를 자극하는 단계100: motion tracker
110: finger position tracker
111: position sensor
120: joint angle tracker
121: angle sensor
130: Hand direction tracker
131: 3-axis angular velocity sensor
132: 3-axis acceleration sensor
200: control unit
210: motion receiver
220: motion conversion unit
230: motion transmitter
300: display unit
400: brain wave control unit
410: brain wave acquisition unit
420: brain wave analysis unit
430: brain wave stimulation unit
S100: Measuring 3D motion information of the user's non-paralyzed hand
S110: measuring the position of the fingertip movement
S120: Measuring the angle of movement of the finger joint
S130: measuring movement according to the rotation of the hand
S200: Analyzing the measured motion information and processing the image so that the motion of the non-paralyzed hand is mistaken for the motion of the paralyzed hand
S210: Receiving the motion of the non-paralyzed hand as a first motion image
S220: Converting the received first motion image into a second motion image by mirror inversion processing
S230: Transmitting the converted second exercise image to the display unit
S300: outputting the processed image to the user
S400: Controlling brain waves to further maximize illusion
S410: Acquiring the user's EEG in real time
S420: Analyzing the acquired EEG
S430: Stimulating brain waves based on the analyzed
Claims (20)
사용자의 비 마비측 손에 장착되어, 비 마비측 손의 3차원적 움직임 정보를 측정하는 모션 트래커(100);
상기 모션 트래커(100)에서 수집된 정보를 분석하여, 비 마비측 손의 움직임을 마비측 손의 움직임으로 착각하여 보이도록 영상을 처리하는 제어부(200);
상기 제어부(200)에서 처리된 영상을 사용자에게 보여주는 디스플레이부(300); 및
사용자가 상기 디스플레이부(300)를 통해서 상기 제어부(200)에서 처리된 영상을 시청할 때, 비 마비측 손의 움직임을 마비측 손의 움직임이라 인식하는 착각을 더욱 극대화시키는 뇌파 제어부(400)를 포함하여 구성되며,
상기 모션 트래커(100)는,
손가락 끝 움직임의 위치를 측정하는 핑거 위치 트래커(110);
손가락 마디의 움직임 각도를 측정하는 관절 각도 트래커(120); 및
손의 회전에 따른 움직임을 측정하는 핸드 방향 트래커(130)를 포함하여 장갑 형태로 구성되고,
상기 핑거 위치 트래커(110)는,
사용자의 각 손가락 끝에 위치하는 복수의 위치 센서(111)를 포함하여 구성하되, 상기 위치 센서(111)에서 측정된 손가락 끝 움직임의 3차원적 위치 정보를 통하여 각 손가락 끝의 위치를 감지하며,
상기 관절 각도 트래커(120)는,
사용자의 각 손가락 마디에 위치하는 복수의 각도 센서(121)를 포함하여 구성하되, 상기 각도 센서(121)에서 측정된 손가락 마디의 각도 정보를 통하여 각 손가락 마디의 움직임을 감지하고, 상기 각도 센서(121)들을 이용하여 5도 이내의 오차 범위에서 손가락 마디의 움직임을 측정할 수 있도록 구성되며,
상기 핸드 방향 트래커(130)는,
사용자의 손 등에 배치되며, 사용자 손의 x축, y축, z축에 따른 회전 움직임을 감지하기 위한 3축 각속도 센서(131) 및 3축 가속도센서(132)를 포함하여 구성되며,
상기 디스플레이부(300)는,
가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 머리 장착 디스플레이(HMD) 디바이스이며,
상기 뇌파 제어부(400)는,
거울 치료를 이용한 재활 치료가 진행중인 사용자의 뇌파를 실시간으로 획득하는 뇌파 획득부(410);
상기 뇌파 획득부(410)에서 획득된 뇌파를 분석하는 뇌파 분석부(420); 및
상기 뇌파 분석부(420)에서 분석된 것을 기초로 뇌파를 자극하는 뇌파 자극부(430)를 포함하여 구성되며,
상기 뇌파 제어부(400)는, 뇌파를 측정하는 하나 이상의 전극을 포함하고, 모자에 상기 전극을 결합함으로써 상기 전극이 결합된 모자로 구현되는 것을 특징으로 하는, 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템.As a virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation,
A motion tracker 100 mounted on the non-paralyzed hand of the user and measuring three-dimensional motion information of the non-paralyzed hand;
A controller 200 that analyzes the information collected by the motion tracker 100 and processes an image so that the motion of the non-paralyzed hand is mistaken for the motion of the paralyzed hand;
A display unit 300 displaying an image processed by the control unit 200 to a user; And
When the user views the image processed by the control unit 200 through the display unit 300, the brain wave control unit 400 further maximizes the illusion of recognizing the movement of the non-paralyzed hand as the movement of the paralyzed hand. Is composed of
The motion tracker 100,
A finger position tracker 110 for measuring a position of a fingertip movement;
A joint angle tracker 120 for measuring a movement angle of a finger joint; And
It is configured in the form of a glove including a hand direction tracker 130 that measures the movement according to the rotation of the hand,
The finger position tracker 110,
Consisting of including a plurality of position sensors 111 positioned at each fingertip of the user, and detects the position of each fingertip through three-dimensional positional information of the fingertip movement measured by the position sensor 111,
The joint angle tracker 120,
It is configured to include a plurality of angle sensors 121 positioned at each finger joint of the user, and detects the movement of each finger joint through angle information of the finger joint measured by the angle sensor 121, and the angle sensor ( 121) are used to measure the movement of the finger joints within 5 degrees of error.
The hand direction tracker 130,
It is disposed on the user's hand, etc., and includes a three-axis angular velocity sensor 131 and a three-axis acceleration sensor 132 for detecting rotational motion along the x-axis, y-axis, and z-axis of the user's hand,
The display unit 300,
It is a head mounted display (HMD) device that immerses users in a virtual reality (VR) or augmented/mixed reality (MR) environment,
The EEG control unit 400,
An EEG acquisition unit 410 for obtaining in real time EEG of a user undergoing rehabilitation treatment using mirror therapy;
An EEG analysis unit 420 that analyzes the EEG obtained by the EEG acquisition unit 410; And
It is configured to include an EEG stimulation unit 430 for stimulating EEG based on the analysis by the EEG analysis unit 420,
The EEG control unit 400 includes one or more electrodes for measuring EEG, and is implemented as a hat to which the electrodes are coupled by coupling the electrodes to the hat. Hand illusion system.
상기 모션 트래커(100)에서 감지된 비 마비측 손의 움직임을 제1 운동 이미지로 수신하는 움직임 수신부(210);
상기 움직임 수신부(210)에서 수신된 상기 제1 운동 이미지를 거울 반전 처리하여 제2 운동 이미지로 변환하는 움직임 변환부(220); 및
상기 움직임 변환부(220)에서 변환된 상기 제2 운동 이미지를 상기 디스플레이부(300)로 송신하는 움직임 송신부(230)를 포함하여 구성되는 것을 특징으로 하는, 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템.The method of claim 1, wherein the control unit 200,
A motion receiver 210 for receiving the motion of the non-paralyzed hand detected by the motion tracker 100 as a first motion image;
A motion conversion unit 220 for converting the first motion image received by the motion receiver 210 into a second motion image by mirror-reversing the motion image; And
It characterized in that it comprises a motion transmitting unit 230 for transmitting the second motion image converted by the motion conversion unit 220 to the display unit 300, a virtual treatment for hemiplegic patients using brain stimulation Hand illusion system.
상기 움직임 수신부(210)에서 수신된 상기 제1 운동 이미지 및 상기 움직임 변환부(220)에서 변환된 상기 제2 운동 이미지를 상기 디스플레이부(300)로 함께 송신하는 것을 특징으로 하는, 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템.The method of claim 6, wherein the motion transmission unit 230,
The first motion image received by the motion receiver 210 and the second motion image converted by the motion converter 220 are transmitted to the display unit 300 together. Virtual hand illusion system for treatment of hemiplegic patients.
(1) 사용자의 비 마비측 손에 장착된 장갑 형태로 구성된 모션 트래커(100)에서, 비 마비측 손의 3차원적 움직임 정보를 측정하는 단계;
(2) 상기 단계 (1)에서 측정된 움직임 정보를 분석하여, 제어부(200)가 비 마비측 손의 움직임을 마비측 손의 움직임으로 착각하여 보이도록 영상을 처리하는 단계;
(3) 상기 단계 (2)에서 처리된 영상을 디스플레이부(300)에서 사용자에게 출력하는 단계; 및
(4) 사용자가 상기 단계 (3)에서 상기 디스플레이부(300)를 통해 출력되는 영상을 시청할 때, 비 마비측 손의 움직임을 마비측 손의 움직임이라 인식하는 착각을 더욱 극대화할 수 있도록 뇌파 제어부(400)에서 뇌파를 제어하는 단계를 포함하여 구현되며,
상기 단계 (1)은,
(1-1) 핑거 위치 트래커(110)에서 손가락 끝 움직임의 위치를 측정하는 단계;
(1-2) 관절 각도 트래커(120)에서 손가락 마디의 움직임 각도를 측정하는 단계; 및
(1-3) 핸드 방향 트래커(130)에서 손의 회전에 따른 움직임을 측정하는 단계를 포함하고,
상기 단계 (1-1)은,
복수의 위치 센서(111)가 사용자의 각 손가락 끝에 위치하되, 상기 위치 센서(111)에서 측정된 손가락 끝 움직임의 3차원적 위치 정보를 통하여 각 손가락 끝의 위치를 감지하며,
상기 단계 (1-2)는,
복수의 각도 센서(121)가 사용자의 각 손가락 마디에 위치하되, 상기 각도 센서(121)에서 측정된 손가락 마디의 각도 정보를 통하여 각 손가락 마디의 움직임을 감지하고, 상기 각도 센서(121)들을 이용하여 5도 이내의 오차 범위에서 손가락 마디의 움직임을 측정하며,
상기 단계 (1-3)은,
사용자의 손 등에 배치되는 3축 각속도센서(131) 및 3축 가속도센서(132)에서, 사용자 손의 x축, y축, z축에 따른 회전 움직임을 감지하며,
상기 디스플레이부(300)는,
가상 현실(VR) 또는 증강/혼합 현실(MR) 환경에서 사용자를 몰입시키는 머리 장착 디스플레이(HMD) 디바이스이며,
상기 단계 (4)는,
(4-1) 뇌파 획득부(410)에서 거울 치료를 이용한 재활 치료가 진행중인 사용자의 뇌파를 실시간으로 획득하는 단계;
(4-2) 상기 단계 (4-1)에서 획득된 뇌파를 뇌파 분석부(420)에서 분석하는 단계; 및
(4-3) 상기 단계 (4-2)에서 분석된 것을 기초로 뇌파를 자극하는 뇌파 자극부(430)를 제어하는 단계를 포함하여 구현되며,
상기 뇌파 제어부(400)는, 뇌파를 측정하는 하나 이상의 전극을 포함하고, 모자에 상기 전극을 결합함으로써 상기 전극이 결합된 모자로 구현되는 것을 특징으로 하는, 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 구동 방법.As a method of driving a virtual hand illusion system for the treatment of hemiplegic patients using brain stimulation,
(1) measuring three-dimensional motion information of the non-paralyzed hand in the motion tracker 100 configured in the form of a glove mounted on the non-paralyzed hand of the user;
(2) analyzing the motion information measured in step (1) and processing the image so that the controller 200 mistaken the motion of the non-paralyzed hand as the motion of the paralyzed hand;
(3) outputting the image processed in step (2) to the user on the display unit 300; And
(4) When the user watches the image output through the display unit 300 in step (3), the brainwave control unit can further maximize the illusion of recognizing the movement of the non-paralyzed hand as the movement of the paralyzed hand. It is implemented including the step of controlling the EEG at 400,
The step (1),
(1-1) measuring the position of the fingertip movement in the finger position tracker 110;
(1-2) measuring the movement angle of the finger joint in the joint angle tracker 120; And
(1-3) including the step of measuring the movement according to the rotation of the hand in the hand direction tracker 130,
The step (1-1),
A plurality of position sensors 111 are located at each finger tip of the user, and detect the position of each finger tip through three-dimensional position information of the finger tip movement measured by the position sensor 111,
The step (1-2),
A plurality of angle sensors 121 are located on each finger joint of the user, and the movement of each finger joint is detected through angle information of the finger joint measured by the angle sensor 121, and the angle sensors 121 are used. And measure the movement of the finger joints within 5 degrees of error.
The step (1-3),
In the 3-axis angular velocity sensor 131 and the 3-axis acceleration sensor 132 disposed on the user's hand, etc., it detects the rotational movement of the user's hand along the x-axis, y-axis, and z-axis,
The display unit 300,
It is a head mounted display (HMD) device that immerses users in a virtual reality (VR) or augmented/mixed reality (MR) environment,
The step (4),
(4-1) obtaining in real time an EEG of a user undergoing rehabilitation treatment using a mirror treatment by the EEG acquisition unit 410;
(4-2) analyzing the EEG obtained in step (4-1) by the EEG analysis unit 420; And
(4-3) is implemented including the step of controlling the brain wave stimulation unit 430 that stimulates the brain wave based on the analysis in step (4-2),
The EEG control unit 400 includes one or more electrodes for measuring EEG, and is implemented as a hat to which the electrodes are coupled by coupling the electrodes to a hat. A virtual treatment for hemiplegic patients using brain stimulation How to drive the hand illusion system.
(2-1) 상기 단계 (1)에서 감지된 비 마비측 손의 움직임을 움직임 수신부(210)에서 제1 운동 이미지로 수신하는 단계;
(2-2) 상기 단계 (2-1)에서 수신된 제1 운동 이미지를 움직임 변환부(220)에서 거울 반전 처리하여 제2 운동 이미지로 변환하는 단계; 및
(2-3) 상기 단계 (2-2)에서 변환된 제2 운동 이미지를 상기 움직임 송신부(230)에서 상기 디스플레이부(300)로 송신하는 단계를 포함하여 구현되는 것을 특징으로 하는, 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 구동 방법.The method of claim 11, wherein the step (2),
(2-1) receiving the motion of the non-paralyzed hand detected in step (1) as a first motion image by the motion receiver 210;
(2-2) converting the first motion image received in the step (2-1) into a second motion image by mirror-reversing the motion conversion unit 220; And
(2-3) It characterized in that it is implemented including the step of transmitting the second motion image converted in the step (2-2) from the motion transmitter 230 to the display unit 300, the brain stimulation A virtual hand illusion system driving method for the treatment of hemiplegic patients using.
상기 단계 (2-1)에서 수신된 상기 제1 운동 이미지 및 상기 단계 (2-2)에서 변환된 상기 제2 운동 이미지를 상기 디스플레이부(300)로 함께 송신하는 것을 특징으로 하는, 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 구동 방법.The method of claim 16, wherein the step (2-3),
The first exercise image received in the step (2-1) and the second exercise image converted in the step (2-2) are transmitted to the display unit 300 together. A virtual hand illusion system driving method for the treatment of hemiplegic patients using.
상기 단계 (2-3)에서 수신받은 상기 제2 운동 이미지를 사용자의 마비측 손처럼 보이도록 시각적으로 렌더링하여 사용자에게 보여주는 것을 특징으로 하는, 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 구동 방법.The method of claim 16, wherein the step (3),
Driving a virtual hand illusion system for treating hemiplegic patients using brain stimulation, characterized in that the second motion image received in step (2-3) is visually rendered to look like the user's paralyzed hand and displayed to the user. Way.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190052591A KR102164965B1 (en) | 2019-05-03 | 2019-05-03 | Virtual illusion system for hemiplegic patients using brain stimulation and its way to working |
PCT/KR2020/005821 WO2020226371A1 (en) | 2019-05-03 | 2020-05-01 | Virtual hand illusion system for treatment of hemiplegia patient by using brain stimulus and operation method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190052591A KR102164965B1 (en) | 2019-05-03 | 2019-05-03 | Virtual illusion system for hemiplegic patients using brain stimulation and its way to working |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102164965B1 true KR102164965B1 (en) | 2020-10-14 |
Family
ID=72847384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190052591A KR102164965B1 (en) | 2019-05-03 | 2019-05-03 | Virtual illusion system for hemiplegic patients using brain stimulation and its way to working |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102164965B1 (en) |
WO (1) | WO2020226371A1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102253352B1 (en) * | 2020-12-22 | 2021-05-17 | 이준서 | Method and apparatus for providing rehabilitation content using virtual transplant foot based on vr/ar |
KR102253353B1 (en) * | 2020-12-22 | 2021-05-18 | 이준서 | Method and apparatus for providing rehabilitation content using virtual transplant hand based on vr/ar |
KR102391177B1 (en) * | 2021-12-15 | 2022-04-27 | 박준 | Method for inducing mind change using virtual transmission of five senses |
KR20220055584A (en) * | 2020-10-27 | 2022-05-04 | 한국과학기술원 | Motor imagery training method with behavioral observation through immersive virtual reality and the system thereof |
KR20220056652A (en) * | 2020-10-28 | 2022-05-06 | 주식회사 지엘 | recognition rehabilitation training system and method thereof |
KR20220063906A (en) * | 2020-11-11 | 2022-05-18 | 이준서 | Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
KR20220064593A (en) * | 2020-11-12 | 2022-05-19 | 이준서 | Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4025230B2 (en) * | 2003-03-31 | 2007-12-19 | 株式会社東芝 | Pain treatment support device and method for displaying phantom limb images in a virtual space |
US20090221928A1 (en) * | 2004-08-25 | 2009-09-03 | Motorika Limited | Motor training with brain plasticity |
JP4618795B2 (en) * | 2005-07-15 | 2011-01-26 | 独立行政法人産業技術総合研究所 | Rehabilitation equipment |
KR20140029172A (en) * | 2012-08-30 | 2014-03-10 | 서울대학교산학협력단 | A treatment device for hemiplegia |
WO2015034308A1 (en) * | 2013-09-09 | 2015-03-12 | 울산대학교 산학협력단 | Pain treatment apparatus for diseases in body with external symmetry |
KR20170033586A (en) * | 2015-09-17 | 2017-03-27 | 한국과학기술연구원 | brain to brain interface system applied to single brain |
-
2019
- 2019-05-03 KR KR1020190052591A patent/KR102164965B1/en active IP Right Grant
-
2020
- 2020-05-01 WO PCT/KR2020/005821 patent/WO2020226371A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4025230B2 (en) * | 2003-03-31 | 2007-12-19 | 株式会社東芝 | Pain treatment support device and method for displaying phantom limb images in a virtual space |
US20090221928A1 (en) * | 2004-08-25 | 2009-09-03 | Motorika Limited | Motor training with brain plasticity |
JP4618795B2 (en) * | 2005-07-15 | 2011-01-26 | 独立行政法人産業技術総合研究所 | Rehabilitation equipment |
KR20140029172A (en) * | 2012-08-30 | 2014-03-10 | 서울대학교산학협력단 | A treatment device for hemiplegia |
WO2015034308A1 (en) * | 2013-09-09 | 2015-03-12 | 울산대학교 산학협력단 | Pain treatment apparatus for diseases in body with external symmetry |
KR20170033586A (en) * | 2015-09-17 | 2017-03-27 | 한국과학기술연구원 | brain to brain interface system applied to single brain |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102428988B1 (en) * | 2020-10-27 | 2022-08-05 | 한국과학기술원 | Motor imagery training method with behavioral observation through immersive virtual reality and the system thereof |
KR20220055584A (en) * | 2020-10-27 | 2022-05-04 | 한국과학기술원 | Motor imagery training method with behavioral observation through immersive virtual reality and the system thereof |
KR20220056652A (en) * | 2020-10-28 | 2022-05-06 | 주식회사 지엘 | recognition rehabilitation training system and method thereof |
KR102563132B1 (en) | 2020-10-28 | 2023-08-03 | 주식회사 지엘 | recognition rehabilitation training system |
KR102446921B1 (en) * | 2020-11-11 | 2022-09-22 | 이준서 | Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
KR20220063906A (en) * | 2020-11-11 | 2022-05-18 | 이준서 | Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
KR20220131886A (en) * | 2020-11-11 | 2022-09-29 | 이준서 | Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
KR102499113B1 (en) * | 2020-11-11 | 2023-02-10 | 이준서 | Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain |
KR20220064593A (en) * | 2020-11-12 | 2022-05-19 | 이준서 | Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
KR102446922B1 (en) * | 2020-11-12 | 2022-09-22 | 이준서 | Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain |
KR102253352B1 (en) * | 2020-12-22 | 2021-05-17 | 이준서 | Method and apparatus for providing rehabilitation content using virtual transplant foot based on vr/ar |
KR102253353B1 (en) * | 2020-12-22 | 2021-05-18 | 이준서 | Method and apparatus for providing rehabilitation content using virtual transplant hand based on vr/ar |
KR102391177B1 (en) * | 2021-12-15 | 2022-04-27 | 박준 | Method for inducing mind change using virtual transmission of five senses |
Also Published As
Publication number | Publication date |
---|---|
WO2020226371A1 (en) | 2020-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102164965B1 (en) | Virtual illusion system for hemiplegic patients using brain stimulation and its way to working | |
CN109243572B (en) | Accurate motion evaluation and rehabilitation training system | |
CN109875501B (en) | Physiological parameter measurement and feedback system | |
Scott et al. | Potential of robots as next-generation technology for clinical assessment of neurological disorders and upper-limb therapy. | |
US11273344B2 (en) | Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders | |
US20180228430A1 (en) | System, method and apparatus for rehabilitation with tracking | |
US10258259B1 (en) | Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders | |
Bertomeu-Motos et al. | Human arm joints reconstruction algorithm in rehabilitation therapies assisted by end-effector robotic devices | |
Papaleo et al. | Patient-tailored adaptive robotic system for upper-limb rehabilitation | |
CN104095609A (en) | Novel wearable intelligent myopia treatment instrument integrated with preventing, treating and detecting functions | |
Fotiadis et al. | Wearable medical devices | |
WO2011004403A1 (en) | Method for accurate assessment and graded training of sensorimotor functions | |
Gulrez et al. | A sensorized garment controlled virtual robotic wheelchair | |
CN113679568B (en) | Robot-assisted upper limb multi-mode mirror image rehabilitation training scoring system for stroke patient | |
KR102612075B1 (en) | Device, method and system for brain training or performance evaluation of patients with central nervous system demyelinating disease based on virtual reality | |
JP2023537835A (en) | Systems and methods for promoting motor function | |
JP6145663B2 (en) | Biological signal measurement system and biological signal measurement method | |
KR102220837B1 (en) | Augmented Reality Based Mirror Exercise System for Exercise Rehabilitation of Patients with Nervous and Musculoskeletal system | |
Subramanian et al. | Virtual reality environments for rehabilitation of the upper limb after stroke | |
Moreira et al. | The potential of visual cues to overcome freezing of gait in Parkinson’s disease | |
RU222339U1 (en) | Device for analyzing human lower limb movements | |
US20230335294A1 (en) | System and method for detecting and monitoring medical condition and impairment | |
US20220225897A1 (en) | Systems and methods for remote motor assessment | |
Sridevi et al. | Shoulder and Wrist Rehabilitation: A Biofeedback Simulation using IoT | |
Popp | Kinematic and Kinetic Assessments of Upper Limb Function in Patients with Neurological Injury |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |