KR102428988B1 - 몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템 - Google Patents

몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템 Download PDF

Info

Publication number
KR102428988B1
KR102428988B1 KR1020200139834A KR20200139834A KR102428988B1 KR 102428988 B1 KR102428988 B1 KR 102428988B1 KR 1020200139834 A KR1020200139834 A KR 1020200139834A KR 20200139834 A KR20200139834 A KR 20200139834A KR 102428988 B1 KR102428988 B1 KR 102428988B1
Authority
KR
South Korea
Prior art keywords
image
erd
user
exercise
physiological signal
Prior art date
Application number
KR1020200139834A
Other languages
English (en)
Other versions
KR20220055584A (ko
Inventor
조성호
최진우
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200139834A priority Critical patent/KR102428988B1/ko
Publication of KR20220055584A publication Critical patent/KR20220055584A/ko
Application granted granted Critical
Publication of KR102428988B1 publication Critical patent/KR102428988B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals

Abstract

본 발명은 몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템에 관한 것으로, 사용자가 착용하는 몰입형 가상현실 디바이스로 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는 단계, 상기 이미지 트레이닝에 따른 상기 사용자의 생리적 신호를 획득하는 단계 및 상기 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 평가하며, 머신러닝 모델(machine learning model)을 통해 뇌 활동 패턴을 측정하여 행동 관찰을 학습하는 단계를 포함한다.

Description

몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템{MOTOR IMAGERY TRAINING METHOD WITH BEHAVIORAL OBSERVATION THROUGH IMMERSIVE VIRTUAL REALITY AND THE SYSTEM THEREOF}
본 발명은 몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템에 관한 것으로, 보다 상세하게는 몰입형 가상현실 디바이스를 이용한 운동 이미지 시퀀스에 대한 행동 관찰을 학습하는 기술에 관한 것이다.
임상 치료와 재활 중에 운동 기능에 대한 통제력 향상을 추구하는 환자들은 운동 이미지 트레이닝을 받으며, 이것은 실제로 실행되지 않은 운동 과제의 멘탈 연습을 나타낸다.
운동 이미지 트레이닝에 사용되는 운동 이미지는 알파(8-13Hz)와 베타(13-25Hz) 주파수 대역에서 발진성 뇌 활성의 감소를 이끌어내므로 뇌 - 컴퓨터 인터페이스 분야에서 중요한 역할을 한다. 다양한 분야에서 다양한 응용과 환자들을 도울 수 있는 잠재력 때문에, 운동 이미지는 운동 효과를 향상시키고자 하는 연구자들에 의해 학문적인 주목을 받아왔다.
운동 이미지를 강화하는 한 가지 방법은 행동 관찰 또는 운동 이미지 작업과 관련된 신체 부분의 움직임 관찰이다. 행동 관찰은 상상된 신체 행동을 미러링하는 다른 실체를 관찰할 때 거울 뉴런을 유도하는 자극제 역할을 한다. 행동 관찰을 이용하는 일반적인 방법 중 하나는 거울 치료법인데, 여기서 움직이는 신체 부분의 반사된 관찰은 제한된 운동 기능을 가진 대측 상대에 대한 환영을 제공하며 정상 동작한다. 최근의 연구들은 대상 뇌 영역의 활성화와 관련이 있는 행동 관찰(시각적 지침)과 운동 이미지를 함께 사용할 때 뇌의 활동을 향상시키는 것을 보여준다. 결과적으로, 많은 임상 실험은 반복적인 행동 관찰과 운동 이미지 훈련을 이용하여 운동 이미지 성능을 향상시킨다.
운동 이미지 연습을 위한 행동 관찰이 실제와 다른 시뮬레이션 환경을 제시하는 데 의존한다는 점을 고려하여, 운동 이미지의 성능과 구현 사이의 관계도 최근에 조사되었다. 보다 풍부한 구현 감각, 인공 신체의 식별 및 그 시뮬레이션된 움직임을 마치 자신의 것처럼 제공하기 위해서는 운동 이미지 작업과 함께 다양한 프로토콜이 활용되어야 한다. 그 결과 관찰된 움직임에 대한 더 풍부한 시각화와 더 강한 소유가 ERD(Event Related Desynchronization) 발생을 더 좋게 이끈다는 것을 보여주었다.
최근 개발된 시각화 기술 중 하나로, 몰입형 가상현실 헤드셋(VR headset)이 신체 소유를 확대하기 위해 사용되었다. 가상현실을 디스플레이하고 구현하는 데에 사용되는 장치로서 가상현실 헤드셋은 현실 세계의 시야를 차단하고 사용자가 직면하는 방향으로 자기 중심적으로 안정화함으로써 완전한 몰입감을 제공한다. 나아가 가상현실 헤드셋을 통해 그래픽으로 시나리오를 제시하면 가상 세계와 현실 세계 사이의 경계가 희미해져 사용자가 보는 것이 진짜라는 환상을 인지할 수 있게 된다. 이에 대한 기술은 한국공개특허 제10-2019-0043362호에 개시되어 있다.
이에 따라서, 본 발명은 가상 현실(VR)의 풍부한 몰입이 손 잡는 움직임의 행동 관찰로 반복적인 운동 이미지 연습에 영향을 미치는지 여부에 초점을 맞추며, 그래픽 시나리오를 자극으로 삼아 운동 이미지 트레이닝 동안 몰입형 VR에서 나오는 착시 및 구현이 행동 관찰에 미치는 영향을 중점적으로 측정하여 사용자에게 보다 효율적인 이미지 트레이닝을 제공하고자 한다.
본 발명의 목적은 상상된 신체 운동의 움직임(동작) 품질을 향상시키기 위해 구현의 개념 또는 다른 실체를 관찰하는 것을 활용하고자 한다.
또한, 본 발명의 목적은 모니터 디스플레이에 비해 뇌로부터 공간적 특징을 더 잘 구별하는 몰입형 가상현실 헤드셋을 이용하여 리듬 패턴을 개선시키며, 환영 및 구현과 함께 운동 이미지 트레이닝의 효과를 향상시키고자 한다.
또한, 본 발명의 목적은 자기중심적으로 시뮬레이션된 가상의 운동 이미지를 제시함으로써, 풍부한 몰입과 착각을 제공하며, 운동 이미지 시퀀스에 대한 행동 관찰을 통해 효율적인 이미지 트레이닝을 개선하고자 한다.
본 발명의 일 실시예에 따른 운동 이미지 트레이닝 방법은 사용자가 착용하는 몰입형 가상현실 디바이스로 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는 단계, 상기 이미지 트레이닝에 따른 상기 사용자의 생리적 신호를 획득하는 단계 및 상기 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 평가하며, 머신러닝 모델(machine learning model)을 통해 뇌 활동 패턴을 측정하여 행동 관찰을 학습하는 단계를 포함한다.
상기 이미지 트레이닝하는 단계는 반복적인 행동 관찰과 운동 이미지 훈련에 활용되는 상기 몰입형 가상현실 디바이스를 이용하여 상기 사용자에게 왼손 잡기 이미지, 오른손 잡기 이미지 및 휴식 이미지를 포함하는 상기 운동 이미지 시퀀스를 제공하여 이미지 트레이닝할 수 있다.
상기 생리적 신호를 획득하는 단계는 자기중심적으로 시뮬레이션되는 가상의 운동 이미지인 운동 이미지 시퀀스에 대한 상기 사용자의 뇌파 신호인 상기 생리적 신호를 획득할 수 있다.
상기 생리적 신호를 획득하는 단계는 상기 사용자의 뇌 영역 중에서 신체의 왼쪽 움직임과 신체의 오른쪽 움직임을 각기 보여주는 두 위치에서 상기 생리적 신호를 획득할 수 있다.
상기 행동 관찰을 학습하는 단계는 상기 운동 이미지 시퀀스에 따른 상기 생리적 신호에 의해 EEG(electroencephalography) 데이터의 평균 전력 스펙트럼을 산출하며, 시간 경과에 따른 상기 운동 이미지 시퀀스에서 도출된 상기 사용자의 ERD 진폭을 분석하기 위해 상기 휴식 이미지에 대한 상기 왼손 잡기 이미지 및 상기 오른손 잡기 이미지의 ERD 비율을 산출할 수 있다.
상기 행동 관찰을 학습하는 단계는 상기 휴식 이미지, 상기 왼손 잡기 이미지 및 상기 오른손 잡기 이미지 각각에서의 성능을 분석하기 위해 상기 사용자의 평균 ERD 비율을 추가로 산출할 수 있다.
상기 행동 관찰을 학습하는 단계는 상기 평균 ERD 비율 중 최대 평균 ERD 비율을 산출하는 대역폭의 주파수 대역을 선택하여 상기 사용자의 주파수 대역을 결정할 수 있다.
상기 행동 관찰을 학습하는 단계는 상기 머신러닝 모델을 이용하여 뇌 활동을 상기 운동 이미지 시퀀스와 구분하여 행동 관찰을 학습할 수 있다.
본 발명의 일 실시예에 따른 운동 이미지 트레이닝 시스템은 사용자가 착용하는 몰입형 가상현실 디바이스로 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는 이미지 트레이닝부, 상기 이미지 트레이닝에 따른 상기 사용자의 생리적 신호를 획득하는 획득부 및 상기 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 평가하며, 머신러닝 모델(machine learning model)을 통해 뇌 활동 패턴을 측정하여 행동 관찰을 학습하는 학습부를 포함한다.
본 발명의 실시예에 따른 운동 이미지 트레이닝 방법은 사용자가 착용하는 몰입형 가상현실 디바이스로 자기중심적으로 시뮬레이션되는 가상의 운동 이미지인 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는 단계, 상기 운동 이미지 시퀀스에 대한 사용자의 생리적 신호를 획득하는 단계, 상기 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 측정하는 단계 및 머신러닝 모델(machine learning model)을 이용하여 상기 측정된 ERD 성능에 따른 뇌 활동 패턴을 학습하여 행동 관찰하는 단계를 포함한다.
본 발명의 실시예에 따른 운동 이미지 트레이닝 시스템은 사용자가 착용하는 몰입형 가상현실 디바이스로 자기중심적으로 시뮬레이션되는 가상의 운동 이미지인 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는 이미지 트레이닝부, 상기 운동 이미지 시퀀스에 대한 사용자의 생리적 신호를 획득하는 획득부, 상기 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 측정하는 측정부 및 머신러닝 모델(machine learning model)을 이용하여 상기 측정된 ERD 성능에 따른 뇌 활동 패턴을 학습하여 행동 관찰하는 학습부를 포함한다.
본 발명의 실시예에 따르면, 상상된 신체 운동의 움직임(동작) 품질을 향상시키기 위해 구현의 개념 또는 다른 실체를 관찰하는 것을 활용할 수 있다.
또한, 본 발명의 실시예에 따르면, 모니터 디스플레이에 비해 뇌로부터 공간적 특징을 더 잘 구별하는 몰입형 가상현실 헤드셋을 이용하여 리듬 패턴을 개선시키며, 환영 및 구현과 함께 운동 이미지 트레이닝의 효과를 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 자기중심적으로 시뮬레이션된 가상의 운동 이미지를 제시함으로써, 풍부한 몰입과 착각을 제공하며, 운동 이미지 시퀀스에 대한 행동 관찰을 통해 효율적인 이미지 트레이닝을 개선할 수 있다.
도 1은 본 발명의 일 실시예에 따른 운동 이미지 트레이닝 방법의 동작 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 운동 이미지 트레이닝 시스템의 세부 구성을 블록도로 도시한 것이다.
도 3은 몰입형 가상현실 헤드셋과 모니터 디스플레이를 이용한 실험 환경에 대해 도시한 것이다.
도 4는 사용자의 생리적 신호를 획득하기 위해 사용되는 뇌 영역에 위치한 전극 예를 도시한 것이다.
도 5a 및 도 5b는 운동 이미지 시퀀스의 실험 작업 및 작업의 타임 라인을 도시한 것이다.
도 6a 및 도 6b는 운동 이미지 시퀀스에 따라 뇌 영역 중 전극 위치에서 획득되는 실험 결과를 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 몰입형 가상현실 디바이스를 통해 자기중심적으로 시뮬레이션된 가상 운동 시나리오를 제시함으로써, 풍부한 몰입과 착각을 제공할 수 있는 능력, 그리고 운동 이미지 시퀀스에 대한 행동 관찰을 통해 몰입과 환상을 제공하여 보다 효율적인 이미지 트레이닝이 가능하다는 것을 그 요지로 한다.
이에, 본 발명은 몰입형 시스템과 운동 이미지 사이의 가능한 시너지를 탐색하기 위해, 몰입형 가상현실 헤드셋과 모니터 디스플레이라는 두 가지 다른 매체로 동일한 가상 손 동작 시나리오를 제시하여 사용자들의 전기 전도 신호를 분석하고, 실험 결과를 통해 몰입형 가상현실 헤드셋이 제공하는 환영 및 구현과 함께 운동 이미지 트레이닝을 보다 효과적으로 개선시킬 수 있음을 시사한다.
이러한 본 발명에 대해 이하에서는 첨부된 도면을 이용하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 운동 이미지 트레이닝 방법의 동작 흐름도를 도시한 것이고, 도 2는 본 발명의 실시예에 따른 운동 이미지 트레이닝 시스템의 세부 구성을 블록도로 도시한 것이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 운동 이미지 트레이닝 방법 및 시스템은 운동 이미지 시퀀스에 대한 행동 관찰을 통해 몰입형 가상현실 디바이스로 이미지 트레이닝한다.
이를 위해, 도 2에서 본 발명의 실시예에 따른 운동 이미지 트레이닝 시스템(200)은 이미지 트레이닝부(210), 획득부(220) 및 학습부(230)를 포함한다. 또한, 도 1의 각 단계들(단계 110 내지 단계 130)은 도 2의 본 발명의 일 실시예에 따른 운동 이미지 트레이닝 시스템(200)의 구성요소들 즉, 이미지 트레이닝부(210), 획득부(220) 및 학습부(230)에 의해 수행될 수 있다.
도 1 및 도 2를 참조하면, 단계 110에서 이미지 트레이닝부(210)는 학습되는 뇌 활동에 따른 행동 관찰을 통해 몰입형 가상현실 디바이스로 사용자를 이미지 트레이닝한다.
이미지 트레이닝부(210)는 반복적인 행동 관찰과 운동 이미지 훈련에 활용되는 몰입형 가상현실 디바이스를 이용하여 사용자에게 이미지 트레이닝을 제공할 수 있다.
여기서, 몰입형 가상현실 디바이스는 몰입형 가상현실(Virtual Reality, VR) 헤드셋을 나타낸다.
단계 120에서 획득부(220)는 사용자의 생리적 신호를 획득한다.
획득부(220)는 자기중심적으로 시뮬레이션되는 가상의 운동 이미지인 운동 이미지 시퀀스에 대한 사용자의 뇌파 신호인 생리적 신호를 획득할 수 있다. 예를 들면, 사용자에게 왼손 잡기 운동, 오른손 잡기 운동 및 휴식의 작업을 나타내는 가상의 운동 이미지 시퀀스를 보여주며, 획득부(220)는 사용자의 뇌 영역 중에서 신체의 왼쪽 움직임과 신체의 오른쪽 움직임을 각기 보여주는 두 위치에 위치한 전극으로부터 사용자의 뇌파 신호인 생리적 신호를 획득할 수 있다.
단계 130에서 학습부(230)는 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 평가하며, 머신러닝 모델(machine learning model)을 통해 뇌 활동 패턴을 측정하여 행동 관찰을 학습한다.
ERD는 뇌파의 분류 및 분석에서 이용되는 중요한 현상에는 움직임을 상상하는 경우에 나타나는 대표적인 특징이다. ERD는 움직임을 준비하거나 움직임을 상상할 때 감각운동 피질(sensorimotor cortex)에서 일시적으로 뮤(μ)파(8 내지 12Hz)가 감쇠하는 현상을 말한다.
운동 심상(Motor Imagery)은 외적인 행동 없이, 움직이겠다는 생각만으로 나타나는 움직임의 의식적인 처리를 지칭하는데, 이는 움직임을 준비하고 있을 때 일어나는 뇌 영역에서의 심리적인 상상력을 나타낸다. 운동 심상은 일차 운동 영역을 활성화시킬 수 있으며, 왼손이나 오른손의 움직임을 상상하는 동안 ERD를 발견할 수 있다.
보다 구체적으로, 학습부(230)는 뇌 영역 중 신체의 왼쪽 움직임과 신체의 오른쪽 움직임을 각기 보여주는 두 위치의 생리적 신호를 분석하여 ERD 성능을 평가할 수 있다. 우선 학습부(230)는 단일 세션에서 뇌 활동의 변화를 측정하기 위해, 하기의 [수식 1]을 사용하여 세 가지 운동 이미지(왼손 잡기 이미지, 오른손 잡기 이미지 및 휴식 이미지) 작업에서 기록된 EEG(electroencephalography) 데이터의 평균 전력 스펙트럼을 산출할 수 있다.
[수식 1]
Figure 112020113780286-pat00001
여기서, s는 특정 세션을 나타내고, m은 왼쪽 또는 오른쪽 잡기 이미지를 나타내며, r은 휴식 이미지를 나타낸다. 또한, f는 주파수 대역을 나타내고, t는 특정 시간 간격을 나타내며, tr은 특정 세션의 특정 시험을 나타낸다. 또한, n은 시행 횟수를 나타내며, Ptr,task는 선택한 행동 시험의 전력 스펙트럼을 나타낸다.
이후에 학습부(230)는 시간 경과에 따른 각 세션의 왼쪽 잡기 이미지 및 오른쪽 잡기 이미지에서 도출된 사용자의 ERD 진폭을 분석하기 위해 하기의 [수식 2]를 사용하여 휴식 작업(휴식 이미지)에 대한 두 운동 이미지(왼쪽 잡기 이미지 및 오른쪽 잡기 이미지)의 ERD 비율을 산출할 수 있다.
[수식 2]
Figure 112020113780286-pat00002
따라서, 각 세션(왼쪽 운동, 오른쪽 운동 및 휴식)의 ERD 비율은 생리적 신호를 획득하기 위해 사용자의 뇌 영역에 부착된 각 전극 위치에 대한 서로 다른 운동 이미지 시퀀스 중 도출되는 뇌 패턴의 특성 차이로 산출된다.
각 실험의 운동 이미지 성능을 분석하기 위해, 학습부(230)는 하기의 [수식 3]을 적용하여 각 실험 사용자의 평균 ERD 비율을 추가로 산출할 수 있다.
[수식 3]
Figure 112020113780286-pat00003
여기서, n은 세션 수를 나타내고, ts 및 te는 운동 이미지 기간의 시작 및 종료 시간을 나타낸다. 다만, 가장 반응성이 높은 주파수 대역이 개인별로 다를 수 있다는 점을 고려하여, 모든 과제의 최대 평균 ERD 비율을 산출하는 대역폭 2Hz의 주파수 대역을 선택하여 방정식에 대한 각 사용자의 주파수 대역을 결정한다.
오른손 잡기 이미지와 왼손 잡기 이미지로부터 뇌 영역 중 신체의 왼쪽 움직임과 신체의 오른쪽 움직임을 각기 보여주는 두 위치(예를 들면, C3 및 C4)의 ERD 결과를 별도로 분석하여 두 가지 다른 작업(오른손 잡기 움직임 및 왼손 잡기 움직임) 중 사용자의 성과를 탐색한다.
이후에 학습부(230)는 머신러닝 모델을 이용하여 뇌 활동을 운동 이미지 시퀀스와 구분하여 행동 관찰을 학습할 수 있다.
이로 인하여, 본 발명의 일 실시예에 따른 운동 이미지 트레이닝 방법 및 시스템은 몰입형 가상현실 헤드셋과 모니터 디스플레이라는 두 가지 독특한 매체를 사용하는 동안 뇌 활동을 검사하기 위해 뇌파검사(EEG)를 활용, 감각운동 피질의 유도 신경 신호의 변화를 확인하며, 서로 다른 운동 이미지 움직임 중 공간 뇌 활동 패턴의 차별성을 측정하기 위해 뇌 - 컴퓨터 인터페이스에서 흔히 사용되는 방법인 머신러닝 기법을 적용하여 뇌 활동을 서로 다른 유형의 운동 이미지와 구분하고 행동 관찰을 학습할 수 있다.
이하에서는 도 3 내지 도 6b를 참조하여 몰입형 가상현실 헤드셋과 모니터 디스플레이라는 두 가지 다른 매체를 이용하여 도출되는 운동 이미지 트레이닝의 효과에 대한 실험 과정 및 결과에 대해 설명하고자 한다.
도 3은 몰입형 가상현실 헤드셋과 모니터 디스플레이를 이용한 실험 환경에 대해 도시한 것이며, 도 4는 사용자의 생리적 신호를 획득하기 위해 사용되는 뇌 영역에 위치한 전극 예를 도시한 것이다. 또한, 도 5a 및 도 5b는 운동 이미지 시퀀스의 실험 작업 및 작업의 타임 라인을 도시한 것이며, 도 6a 및 도 6b는 운동 이미지 시퀀스에 따라 뇌 영역 중 전극 위치에서 획득되는 실험 결과를 도시한 것이다.
본 발명은 운동 이미지 시퀀스 중에 몰입형 가상현실 헤드셋(또는 몰입형 가상현실 디바이스)을 사용하여 행동 관찰을 제공하는 것이 운동 이미지 트레이닝 성능에 어떠한 영향을 미치는지 확인하기 위해 각 사용자에 대해 두 가지 실험을 수행한다.
도 3(a)를 참조하면, 하나의 실험인 모니터 디스플레이 기반의 운동 이미지(MD-MI)는 운동 이미지 시퀀스 중 동일한 시나리오를 표시하기 위해 비몰입형태의 모니터 디스플레이(310)를 사용한다. 또한 도 3(b)를 참조하면, 다른 하나의 실험인 몰입형 가상현실 헤드셋 기반의 운동 이미지(IVR-MI)는 몰입형 가상현실 헤드셋(320)을 활용하여 운동 이미지 시퀀스를 위한 그래픽으로 된 손 잡기 시나리오를 제공한다.
이때, 도 3(a) 및 도 3(b)에 도시된 바와 같이, 가상 손의 위치를 조정하여 두 가상 손 사이의 거리가 사용자의 어깨 너비와 거의 같도록 한다.
도 4에 도시된 바와 같이 사용자의 뇌 영역에 부착된 전극은 감각운동 피질 주위에 배치되며, 약 20개의 전극(FC5, C5, CP5, FC3, C3, CP3, FC1, C1, Cz, CPz, FC2, C2, CP2, C2, FC2, FC4, CP4, FC6, C6, CP6)의 EEG 신호는 각각 AFz와 Fz 위치에 위치한 접지 및 기준 전극으로 실험 내내 기록된다.
EEG 신호는 BrainVision을 사용하여 기록되었으며, 각 전극의 임피던스를 5kΩ 이하로 유지하여 고품질 데이터를 획득한다. 데이터는 8 내지 25Hz의 주파수 사이에서 대역통과 밴드에 필터링된다. 이에, 사전 처리된 데이터는 신경 활동의 분석에 사용된다.
도 5a 및 도 5b를 참조하면, 왼손 잡기 운동 및 오른손 잡기 운동의 운동 이미지 실험은 각 10회, 연속 운동 이미지 시퀀스 실험은 6개의 세션으로 구성된다. 각 세션은 한 개의 연속적인 오른손 잡기 이미지, 한 개의 연속적인 왼손 잡기 이미지 그리고 한 개의 휴식 이미지를 포함하는 무작위의 시퀀스로 구성된다. 또한, 단일 작업은 초기 4초 명령 기간과 후속 6초 운동 이미지 기간으로 구성되었고, 그 후 2초 휴식 기간으로 구성된다.
사용자는 해당 손을 바라보며, 가상 손이 일련의 잡기 동작을 시뮬레이션하고, 사용자들에게 동역학적으로 동일한 동작을 수행하고 있는 것을 관찰하고 상상하라고 지시한다. 마지막으로 휴식기간 동안 가상의 손은 움직이지 않는다.
본 발명은 전술한 실험 환경에서 획득되는 생리적 신호를 바탕으로, ERD 분석과 차별성 분석을 실행한다.
ERD(Event Related Desynchronization) 분석
전극 위치 C3 및 C4에 해당하는 뇌 영역은 각각 오른손 잡기 움직임 및 왼손 잡기 움직임과 상관관계가 있으며, 본 발명은 두 위치에서의 데이터를 분석하여 ERD 성능을 평가한다. 단일 세션에서 뇌 활동의 변화를 측정하기 위해, [수식 1]을 사용하여 세 가지 운동(왼손 잡기 운동, 오른손 잡기 운동 및 휴식) 이미지 작업에서 기록된 EEG 데이터의 평균 전력 스펙트럼을 계산한다.
이후에, 시간 경과에 따른 각 세션의 왼쪽 운동 이미지 및 오른쪽 운동 이미지에서 도출된 사용자의 ERD 진폭을 분석하기 위해 [수식 2]를 사용하여 휴식 작업에 대한 두 운동(왼손 잡기 운동, 오른손 잡기 운동) 이미지 작업의 ERD 비율을 계산한다.
이때, 각 세션의 ERD 비율은 각 전극 위치에 대한 서로 다른 운동 이미지 작업 중 도출된 뇌 패턴의 특성 차이로 계산된다.
나아가, 각 실험의 운동 이미지 성능을 분석하기 위해, [수식 3]을 적용하여 각 실험 사용자의 평균 ERD 비율을 추가로 계산한다.
도 6a 및 도 6b에 도시된 바와 같이, 오른손 운동 이미지(Right hand motor imagery)와 왼손 운동 이미지(Left hand motor imagery)로부터 C3 및 C4의 ERD 결과를 별도로 분석하여 두 가지 다른 작업 중 사용자의 성과를 탐색한다. 각 사용자에 대한 서로 다른 디스플레이 매체(몰입형 가상현실 헤드셋 또는 모니터 디스플레이) 사용의 영향을 조사하기 위해, 실험 순서를 나타내는 할당된 그룹과 디스플레이 매체가 두 요인으로 사용되는 계산된 평균 ERD 값에 이원 분산 분석(two-way analysis of variance)을 적용한다. 나아가, 사용자를 위해 각 세션에서 ERD의 통계적 향상을 보다 자세히 검토하기 위해, 첫 번째 세션의 ERD 비율을 제어로 사용하는 Dunnett형 비모수 다중 대조 시험(non-parametric multiple contrast test)을 적용한다. 결과적으로, 오른손 운동 이미지와 왼손 운동 이미지에 대한 ERD 비율을 두 실험 간에 별도로 비교한다.
차별성 분석
머신러닝(machine learning) 모델도 두 실험 중 신경 활동의 차별성을 분석해 성능을 평가하기 위해 구성된다. 두 실험에서 각 사용자의 분류 정확도를 비교하기 위해 각 운동 이미지 기간의 6초 EEG 데이터를 추출한다. 또한, 머신러닝 모델이 학습할 데이터의 양을 확대하기 위해 EEG 데이터를 100밀리초의 속도로 2초 길이의 시간 윈도우로 분할하여 각 6초 EEG 데이터에 대한 데이터 확대를 추가 적용한다.
나아가, 본 발명은 공통 공간 패턴(Common Spatial Pattern, CSP) 알고리즘을 적용하여 사전 처리된 EEG 데이터에서 공간 형상을 추출하고, Fisher의 선형 차별성 분석(Fisher’s Linear Discriminant Analysis, LDA)을 사용하여 EEG 데이터의 세그먼트가 휴식, 왼쪽 또는 오른쪽 운동 이미지를 참조하는지 여부를 예측하는 분류 모델을 작성한다.
운동 이미지 EEG 데이터를 평가하기 위해, 두 가지 다른 교차 검증 방법을 추가로 적용한다.
1)단일 실험에서 얻은 데이터를 분석하여 각각의 폴드(fold)가 10회의 모터 이미지 시험의 단일 세션에서 검색한 데이터에 해당하는 6폴드로 교차 검증한다.
2)단일 세션에서 데이터를 사용하고 각 폴드가 단일 시험에서 검색한 데이터에 해당하는 10폴드로 교차 검증한다. 이때, 교차 검증은 왼손 잡기, 오른손 잡기, 휴식 상태의 세 가지 운동 이미지 작업을 구분하는 정확성을 검사하기 위해 적용된다.
통계 분석을 수행하기 위해 각 실험의 전체 성능을 나타내는 6폴드 교차 검증 결과에 대해 이원 분산 분석을 적용한다. 또한, 신경 활동 차별성에 대한 통계적 개선사항을 보다 자세히 검토하기 위해, 첫 번째 세션의 정확도를 컨트롤로 사용한 10폴드 교차 검증 결과에 대해 Dunnett형 비모수 다중 대조 시험을 활용한다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 사용자가 착용하는 몰입형 가상현실 디바이스로 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는 단계;
    상기 이미지 트레이닝에 따른 상기 사용자의 생리적 신호를 획득하는 단계; 및
    상기 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 평가하며, 머신러닝 모델(machine learning model)을 통해 뇌 활동 패턴을 측정하여 행동 관찰을 학습하는 단계
    를 포함하고,
    상기 행동 관찰을 학습하는 단계는
    상기 운동 이미지 시퀀스에 따른 상기 생리적 신호에 의해 EEG(electroencephalography) 데이터의 평균 전력 스펙트럼을 산출하며, 시간 경과에 따른 상기 운동 이미지 시퀀스에서 도출된 상기 사용자의 ERD 진폭을 분석하기 위해 휴식 이미지에 대한 왼손 잡기 이미지 및 오른손 잡기 이미지의 ERD 비율을 산출하는 것을 특징으로 하는 운동 이미지 트레이닝 방법.
  2. 제1항에 있어서,
    상기 이미지 트레이닝하는 단계는
    반복적인 행동 관찰과 운동 이미지 훈련에 활용되는 상기 몰입형 가상현실 디바이스를 이용하여 상기 사용자에게 왼손 잡기 이미지, 오른손 잡기 이미지 및 휴식 이미지를 포함하는 상기 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는, 운동 이미지 트레이닝 방법.
  3. 제1항에 있어서,
    상기 생리적 신호를 획득하는 단계는
    자기중심적으로 시뮬레이션되는 가상의 운동 이미지인 상기 운동 이미지 시퀀스에 대한 상기 사용자의 뇌파 신호인 상기 생리적 신호를 획득하는, 운동 이미지 트레이닝 방법.
  4. 제3항에 있어서,
    상기 생리적 신호를 획득하는 단계는
    상기 사용자의 뇌 영역 중에서 신체의 왼쪽 움직임과 신체의 오른쪽 움직임을 각기 보여주는 두 위치에서 상기 생리적 신호를 획득하는 것을 특징으로 하는, 운동 이미지 트레이닝 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 행동 관찰을 학습하는 단계는
    상기 휴식 이미지, 상기 왼손 잡기 이미지 및 상기 오른손 잡기 이미지 각각에서의 성능을 분석하기 위해 상기 사용자의 평균 ERD 비율을 추가로 산출하는 것을 특징으로 하는, 운동 이미지 트레이닝 방법.
  7. 제6항에 있어서,
    상기 행동 관찰을 학습하는 단계는
    상기 평균 ERD 비율 중 최대 평균 ERD 비율을 산출하는 대역폭의 주파수 대역을 선택하여 상기 사용자의 주파수 대역을 결정하는, 운동 이미지 트레이닝 방법.
  8. 제7항에 있어서,
    상기 ERD 비율은
    상기 생리적 신호를 획득하기 위해 상기 사용자의 뇌 영역에 부착된 각 전극 위치에 대한 서로 다른 운동 이미지 시퀀스 중 도출되는 뇌 패턴의 특성 차이로 산출되는 것을 특징으로 하는, 운동 이미지 트레이닝 방법.
  9. 제7항에 있어서,
    상기 행동 관찰을 학습하는 단계는
    상기 머신러닝 모델을 이용하여 뇌 활동을 상기 운동 이미지 시퀀스와 구분하여 행동 관찰을 학습하며, 상기 생리적 신호와 상기 행동 관찰을 동시에 이행하여 ERD 신호 및 뇌파의 향상 여부를 판단하는, 운동 이미지 트레이닝 방법.
  10. 사용자가 착용하는 몰입형 가상현실 디바이스로 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는 이미지 트레이닝부;
    상기 이미지 트레이닝에 따른 상기 사용자의 생리적 신호를 획득하는 획득부; 및
    상기 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 평가하며, 머신러닝 모델(machine learning model)을 통해 뇌 활동 패턴을 측정하여 행동 관찰을 학습하는 학습부
    를 포함하고,
    상기 학습부는,
    상기 운동 이미지 시퀀스에 따른 상기 생리적 신호에 의해 EEG(electroencephalography) 데이터의 평균 전력 스펙트럼을 산출하며, 시간 경과에 따른 상기 운동 이미지 시퀀스에서 도출된 상기 사용자의 ERD 진폭을 분석하기 위해 휴식 이미지에 대한 왼손 잡기 이미지 및 오른손 잡기 이미지의 ERD 비율을 산출하는 것을 특징으로 하는 운동 이미지 트레이닝 시스템.
  11. 제10항에 있어서,
    상기 이미지 트레이닝부는
    반복적인 행동 관찰과 운동 이미지 훈련에 활용되는 상기 몰입형 가상현실 디바이스를 이용하여 상기 사용자에게 왼손 잡기 이미지, 오른손 잡기 이미지 및 휴식 이미지를 포함하는 상기 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는, 운동 이미지 트레이닝 시스템.
  12. 제10항에 있어서,
    상기 획득부는
    상기 사용자의 뇌 영역 중에서 신체의 왼쪽 움직임과 신체의 오른쪽 움직임을 각기 보여주는 두 위치에서 자기중심적으로 시뮬레이션되는 가상의 운동 이미지인 운동 이미지 시퀀스에 대한 상기 사용자의 뇌파 신호인 상기 생리적 신호를 획득하는 것을 특징으로 하는, 운동 이미지 트레이닝 시스템.
  13. 삭제
  14. 제10항에 있어서,
    상기 학습부는
    상기 휴식 이미지, 상기 왼손 잡기 이미지 및 상기 오른손 잡기 이미지 각각에서의 성능을 분석하기 위해 상기 사용자의 평균 ERD 비율을 추가로 산출하며, 상기 평균 ERD 비율 중 최대 평균 ERD 비율을 산출하는 대역폭의 주파수 대역을 선택하여 상기 사용자의 주파수 대역을 결정하는, 운동 이미지 트레이닝 시스템.
  15. 제14항에 있어서,
    상기 학습부는
    상기 머신러닝 모델을 이용하여 뇌 활동을 상기 운동 이미지 시퀀스와 구분하여 행동 관찰을 학습하며, 상기 생리적 신호와 상기 행동 관찰을 동시에 이행하여 ERD 신호 및 뇌파의 향상 여부를 판단하는, 운동 이미지 트레이닝 시스템.
  16. 사용자가 착용하는 몰입형 가상현실 디바이스로 자기중심적으로 시뮬레이션되는 가상의 운동 이미지인 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는 단계;
    상기 운동 이미지 시퀀스에 대한 사용자의 생리적 신호를 획득하는 단계;
    상기 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 측정하는 단계; 및
    머신러닝 모델(machine learning model)을 이용하여 상기 측정된 ERD 성능에 따른 뇌 활동 패턴을 학습하여 행동 관찰하는 단계
    를 포함하고,
    상기 행동 관찰하는 단계는,
    상기 운동 이미지 시퀀스에 따른 상기 생리적 신호에 의해 EEG(electroencephalography) 데이터의 평균 전력 스펙트럼을 산출하며, 시간 경과에 따른 상기 운동 이미지 시퀀스에서 도출된 상기 사용자의 ERD 진폭을 분석하기 위해 휴식 이미지에 대한 왼손 잡기 이미지 및 오른손 잡기 이미지의 ERD 비율을 산출하는 것을 특징으로 하는 운동 이미지 트레이닝 방법.
  17. 사용자가 착용하는 몰입형 가상현실 디바이스로 자기중심적으로 시뮬레이션되는 가상의 운동 이미지인 운동 이미지 시퀀스를 제공하여 이미지 트레이닝하는 이미지 트레이닝부;
    상기 운동 이미지 시퀀스에 대한 사용자의 생리적 신호를 획득하는 획득부;
    상기 생리적 신호로부터 ERD(Event Related Desynchronization) 성능을 측정하는 측정부; 및
    머신러닝 모델(machine learning model)을 이용하여 상기 측정된 ERD 성능에 따른 뇌 활동 패턴을 학습하여 행동 관찰하는 학습부
    를 포함하고,
    상기 학습부는,
    상기 운동 이미지 시퀀스에 따른 상기 생리적 신호에 의해 EEG(electroencephalography) 데이터의 평균 전력 스펙트럼을 산출하며, 시간 경과에 따른 상기 운동 이미지 시퀀스에서 도출된 상기 사용자의 ERD 진폭을 분석하기 위해 휴식 이미지에 대한 왼손 잡기 이미지 및 오른손 잡기 이미지의 ERD 비율을 산출하는 것을 특징으로 하는 운동 이미지 트레이닝 시스템.
KR1020200139834A 2020-10-27 2020-10-27 몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템 KR102428988B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200139834A KR102428988B1 (ko) 2020-10-27 2020-10-27 몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200139834A KR102428988B1 (ko) 2020-10-27 2020-10-27 몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220055584A KR20220055584A (ko) 2022-05-04
KR102428988B1 true KR102428988B1 (ko) 2022-08-05

Family

ID=81583912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200139834A KR102428988B1 (ko) 2020-10-27 2020-10-27 몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102428988B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101842750B1 (ko) * 2015-11-26 2018-03-27 인하대학교 산학협력단 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치
KR102164965B1 (ko) * 2019-05-03 2020-10-14 계명대학교 산학협력단 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102238067B1 (ko) * 2018-12-12 2021-04-08 광운대학교 산학협력단 3d 헤드업 디스플레이와 연동된 웨어러블 eeg 헤드셋을 구비하는 eeg 측정 및 자극 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101842750B1 (ko) * 2015-11-26 2018-03-27 인하대학교 산학협력단 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치
KR102164965B1 (ko) * 2019-05-03 2020-10-14 계명대학교 산학협력단 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법

Also Published As

Publication number Publication date
KR20220055584A (ko) 2022-05-04

Similar Documents

Publication Publication Date Title
US20200268296A1 (en) Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
Choi et al. Observing actions through immersive virtual reality enhances motor imagery training
Kim et al. Quadcopter flight control using a low-cost hybrid interface with EEG-based classification and eye tracking
Scherer et al. Toward self-paced brain–computer communication: navigation through virtual worlds
Blasco et al. Visual evoked potential-based brain–machine interface applications to assist disabled people
Carrino et al. A self-paced BCI system to control an electric wheelchair: Evaluation of a commercial, low-cost EEG device
KR20190077305A (ko) 적응적 응답 기한 절차들에서의 신호 검출 메트릭들을 구현하기 위한 플랫폼들
Appriou et al. Towards robust neuroadaptive HCI: exploring modern machine learning methods to estimate mental workload from EEG signals
George et al. Combining brain-computer interfaces and haptics: Detecting mental workload to adapt haptic assistance
Robinson et al. Bi-directional imagined hand movement classification using low cost EEG-based BCI
Lee et al. Decoding visual responses based on deep neural networks with ear-EEG signals
Bang et al. Classification of visual perception and imagery based EEG signals using convolutional neural networks
Cecílio et al. BCI framework based on games to teach people with cognitive and motor limitations
Choi et al. Asynchronous motor imagery brain-computer interface for simulated drone control
Aldini et al. Detection and Estimation of Cognitive Conflict During Physical Human-Robot Collaboration
KR102428988B1 (ko) 몰입형 가상현실을 통한 행동 관찰로의 운동 이미지 트레이닝 방법 및 시스템
Hireche et al. A decoding algorithm for non-invasive SSVEP-based drone flight control
Mihelj et al. Emotion-aware system for upper extremity rehabilitation
Yazmir et al. Neural signatures of interface errors in remote agent manipulation
Gergondet et al. Steering a robot with a brain-computer interface: impact of video feedback on BCI performance
Asawa et al. Brain Computer Interface for Micro-controller Driven Robot Based on Emotiv Sensors
Bellotti et al. Brain-based control of car infotainment
Kim et al. Wearable hybrid brain-computer interface for daily life application
Pfurtscheller et al. The graz brain-computer interface
Kowalska Brain–computer interface for autonomous vehicles: An investigation of a hands-free control system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant