KR102269587B1 - 뇌-컴퓨터 인터페이스 시스템 및 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법 - Google Patents
뇌-컴퓨터 인터페이스 시스템 및 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법 Download PDFInfo
- Publication number
- KR102269587B1 KR102269587B1 KR1020190052181A KR20190052181A KR102269587B1 KR 102269587 B1 KR102269587 B1 KR 102269587B1 KR 1020190052181 A KR1020190052181 A KR 1020190052181A KR 20190052181 A KR20190052181 A KR 20190052181A KR 102269587 B1 KR102269587 B1 KR 102269587B1
- Authority
- KR
- South Korea
- Prior art keywords
- eeg
- performance
- signal
- time
- sub
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 210000004556 brain Anatomy 0.000 title claims description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 102
- 238000010845 search algorithm Methods 0.000 claims abstract description 35
- 238000005259 measurement Methods 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 17
- 238000013145 classification model Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 2
- 229910052698 phosphorus Inorganic materials 0.000 claims 2
- 239000011574 phosphorus Substances 0.000 claims 2
- 238000005516 engineering process Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000000976 primary motor cortex Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Power Engineering (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 뇌-컴퓨터 인터페이스 시스템 및 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법에 관한 것으로서, a) 기설정된 측정 시간 동안에 동작 상상시 발현되는 원시 뇌파 신호를 획득하고, 상기 원시 뇌파 신호를 동작 상상과 관련된 기본 주파수 대역으로 필터링하여 뇌파 신호를 생성하는 단계; b) 상기 뇌파 신호에 대한 뇌파 특징 패턴의 최적 발현 주파수 영역과 시간 범위를 산출하는 최적 성능 탐색 알고리즘을 수행을 수행하여, 상기 뇌파 신호를 기설정된 주파수 간격으로 분할하여 n개의 서브 밴드 신호로 변환 한 후 상기 서브 밴드 신호 별로 최대 성능 시간 범위를 검출하는 단계; c) 상기 서브 밴드 신호별 최대 성능 시간 범위를 기준으로 뇌파 특징을 추출하고, 상기 추출된 뇌파 특징을 이용하여 사용자가 상상 또는 의도한 동작을 인식하는 분류 모델을 생성한 후 상기 분류 모델의 분류 결과에 대한 정확도를 계산하여 분류 성능 평가를 수행하는 단계; 및 d) 상기 분류 성능 평가의 결과값에 기초하여 최상위 성능을 가지는 최적 서브 밴드 신호와, 상기 최적 서브 밴드 신호와 연계된 최대 성능 시간 범위를 검출하여 사용자별 최적화된 동작 상상 주파수-시간 영역으로 제공하는 단계를 포함하되, 상기 최적 성능 탐색 알고리즘은, 기설정된 시간 범위를 갖는 시간 탐색창을 설정하고, 각 서브 밴드 신호의 상기 측정 시간에 기설정된 임계 시간 간격으로 상기 시간 탐색창을 적용함으로 인해 생성되는 복수 개의 시간 범위에서 성능 평가를 수행하는 것이다.
Description
본 발명은 사용자 별로 동작 상상과 관련된 뇌파 특징 추출을 위해 최적화된 주파수 영역 및 시간 영역을 제공하는 뇌-컴퓨터 인터페이스 시스템 및 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법에 관한 것이다.
뇌파는 우리 몸의 신경계와 뇌 신경 사이의 정보가 전달될 때 발현되는 전기적 신호로서, 특히 비침습 방법을 활용하여 측정되는 뇌파는 별도의 외과적 수술 없이 두피에 부착된 전극을 통해 측정할 수 있고, 뇌의 실시간 활동을 측정하여 사용자의 의도를 파악할 수 있는 중요한 수단이 될 수 있다.
일반적으로 뇌파는 시간적 특징, 주파수에 따른 대역별 특징, 공간적 특징을 활용하는 등 다양한 접근법으로 분류가 가능하다고 알려져 있다. 예를 들어, 눈을 감은 편안한 상태에서 발현되는 알파파(주파수 8~13Hz, 진폭 20~60V), 의식적으로 집중한 상태에서 발현되는 베타파(14~30Hz, 진폭 2~20V), 얕은 수면상태에서 발현되는 세타파(주파수 4~7Hz, 진폭 20~100V) 등이 많이 알려져 있으나, 이들 외에도 몸의 움직임과 관련된 의도 또는 생각을 할 때 뇌 운동영역(Motor cortex)에서 발생하는 뮤-밴드파(Mu-band)(8~12Hz)도 존재한다고 알려져 있다.
비침습 뇌-기계 인터페이스는 비침습 뇌파를 통해 사용자의 의도를 인식하여 외부 기계를 제어하는 인터페이스 기술로써, 기존에 척추 부상이나 퇴행성 신경 질환으로 인해 신체가 자유롭지 못하거나 마비된 환자를 위한 보철 기구 제어, 의사소통을 위한 스펠러 등과 같은 의료 분야에서 주로 사용되어 왔다. 그러나 최근 뇌파 분석 기술의 발달로 인하여, 일반인들의 일상생활 보조 서비스 개발을 통한 다양한 분야에서 비침습 뇌-기계 인터페이스가 적용되고 있는 추세이다.
특히, 동작 상상(Motor imagery)에 따른 뇌파 분석 기반의 뇌-기계 인터페이스 기술은 별도의 외부 자극이 없이도 사용자의 의도 인식이 용이하기 때문에 주로 사용되고 있다. 동작 상상에 따른 뇌파 분석은 실제 근육의 움직임 없이 몸의 특정 부위를 움직이고자 하는 생각만으로 발현되는 뇌파를 통하여 사용자의 의도를 파악하는 기술이다. 동작 상상은 뇌의 일차 운동 영역(Primary motor cortex)을 활성화시킬 수 있으며, 각 부위 별 움직임을 상상하는 동안 보통 8~12Hz 주파수 영역의 뮤-밴드파의 형태로 뇌파가 발현될 수 있다.
뮤-밴드파에서 확인할 수 있는 대표적인 동작 상상 분석을 위한 특징의 종류 중에는ERD(Event-Related Desynchronization) 및 ERS(Event-Related Synchronization)가 있다. ERD는 사용자가 움직임을 의도하거나 상상할 때 감각 운동 피질(Sensorymotor cortex)에서 뮤-밴드파가 일시적으로 감소하는 현상을 말하며, ERS는 사용자의 움직임이 있은 후에 베타파(18~25Hz)가 일시적으로 증가하는 현상을 말한다.
고차원적인 임무 수행이 가능한 뇌-기계 인터페이스의 성능 향상을 위해, 현재 기술의 접근법은 크게 동작 상상을 기반으로 하는 분석 기술과 외부 자극을 통해 발현되는 뇌파 신호의 특징을 활용하여 분석을 하는 방향으로 나누어진다.
동작 상상을 기반으로 한 BCI 시스템 기술로서, 대한민국 특허등록 제 10-1293446호(발명의 명칭: 움직임을 상상하는 뇌파 분류 방법 및 그 장치), 대한민국 특허등록 제 10-1518575호(발명의 명칭: BCI를 위한 사용자 의도인지 분석 방법), 대한민국 특허등록 제 10-1619973호(발명의 명칭: 스펙트럼 분석과 벡터 양자화를 이용한 운동 상상 뇌전도 판별 방법 및 판별 시스템), 대한민국 특허등록 제 10-1446845호(발명의 명칭: 뇌파를 이용한 주행체 제어 방법, 장치 및 그 방법을 수행하기 위한 프로그램을 기록한 기록매체) 등이 있다.
또한 뇌파 신호의 특징을 이용한 분석 기술로서, 대한민국 특허등록 제 10-1680995호(발명의 명칭: 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스 시스템), 대한민국 특허등록 제 10-1740894호(발명의 명칭: 공간필터를 이용한 뇌-기계 인터페이스 시스템 및 방법), 대한민국 특허등록 제 10-1205892호(발명의 명칭: 뇌파 신호로부터 2차원 공간-주파수 ERD/ERS 패턴을 생성하는 방법, 이 2차원 공간-주파수 ERD/ERS 패턴을 이용한 인간 의도를 분류하는 방법 및 이 분류 방법으로 분류된 뇌파 신호를 입력신호로 사용하는 뇌-컴퓨터 인터페이스 장치), 대한민국 특허등록 제 10-1068017호(발명의 명칭: 뇌-컴퓨터 인터페이스를 위한 합성 공통 공간 패턴 분석 방법 및 이를 이용한 뇌파 분석 방법) 등이 있다.
특허등록 제10-1293446호는 움직임을 상상하는 뇌파 분류 방법과 그 기술에 관한 것으로서, 좌측 움직임 상상 뇌파 신호와 우측 움직임 상상 뇌파 신호를 분류하는 기술을 제안하고 있다. 해당 기술에 적용되는 뇌파 분류 기술은 서포트 백터 생성 알고리즘(GMM)과 분류 알고리즘(SVM)을 사용하여 분류 정확성이 향상되는 장점이 있다. 그러나, 해당 기술은 명확하게 드러나지 않는 ERD/ERS 패턴의 특징에서 동작 상상 정보를 담고 있는 뇌파의 특징이 정확히 추출되어야만 구현이 가능하므로 실현이 어렵다는 한계점이 있다.
등록특허 제10-1518575호는 동작을 상상할 때 발현되는 뇌 신호를 디지털 노치 필터(Digital notch filter)와 밴드 패스 필터(Band pass filter)를 이용하여 뮤-밴드파의 주파수 대역만의 뇌 신호 특징을 추출할 수 있는 기술을 제안하고 있다. 그러나, 해당 기술은 일반적으로 움직임 상상을 뇌파를 통해 인식할 때, 뮤-밴드파를 사용하면 사용자마다 다양한 주파수 대역에서 나오는 뇌파 특징을 반영하지 못하는 한계점이 있을 수 있다.
등록특허 제10-1619973호는 운동 상상 관련 뇌 신호를 8~30Hz 주파수 대역의 전체에 대하여 필터링 하여 사용하는 특징이 있다. 전체 주파수 대역의 모든 시간 범위를 필터링하여 뇌 신호 특징을 추출하면, 동작 상상 또는 움직임 의도와 관련 없는 특징 패턴과 다양한 잡음이 포함된 뇌 신호가 추출될 수 있다. 이로써 동작 상상 시 발현되는 뇌 신호 특징 패턴을 정확하게 인식할 수 없는 한계점이 있다.
등록특허 제10-1446845호는 동작 상상(왼쪽, 오른손 및 혀의 동작 상상) 중 적어도 하나의 뇌파 특징으로 사용자 의도를 인식하는 뇌파를 이용한 주행체 제어 장치에 관한 것이다. 뇌파 특징은 SMR (SensoriMotor Rhythm) 영역의 주파수 대역을 사용하여 사용자 의도 인식을 한다. 다양한 동작 상상 실험 업무를 단순한 SMR 영역의 주파수 대역을 사용하여 뇌 신호 특징을 추출하게 되면, 각각 동작 상상 실험 업무에 따른 최적화된 뇌 신호 특징을 추출하기 어려운 문제점이 있다.
등록특허 제10-1680995호는 사용자의 뇌파 신호 특징을 식별하기 위해 사용자의 뇌 활동과 연관된 생물 물리학적 신호들의 수집된 시간적 및 공간적 패턴들을 상관시켜 사용하는 기술을 제안하고 있다. 즉, 해당 기술은 위상학적으로 구성된 뇌 영역에서의 기록된 뇌 활동을 뇌의 각 부위에 대응하는 신체 위치의 움직임과 상관시키는 방법을 통해 최종적으로 컴퓨터에 입력을 수행하는 단계로 연계시키는 시스템을 개시하고 있다. 이러한 시스템은 움직임 상상과 관련된 뇌파 신호 분석을 위해 시간적 및 공간적인 특징들을 활용하고 있으나, 사용자가 상상을 하는 명확한 시점을 탐색하여 효과적인 시간 구간을 추론함으로써 사용자에게 특화된 주파수 및 시간 영역을 검출하는 것이 실질적으로 어렵다는 문제점이 있다.
등록특허 제10-1740894호는 공간필터를 이용한 뇌-기계 인터페이스 시스템 및 방법에 관한 것으로서, 뇌파 데이터의 동일한 동작 간의 분산과 상이한 동작 간의 분산을 산출하고, 해당 뇌파 데이터의 동일한 동작과 상이한 동작 간의 분산 비율을 이용하여 공간 필터를 생성함으로써 사용자가 의도한 동작을 분류하는 시스템을 제안하고 있다. 이를 위해 뇌파 데이터는 복수 개의 동작에 대하여 동작의 시작부터 종료까지 뇌파 데이터를 시간 구간별로 추출하여 동일 동작 별로 저장하는데, 이러한 방식은 공간 패턴 필터를 생성함에 있어서 사용자의 상태에 특화되지 못한 전체적인 시간 구간에서 추출된 특징들을 활용하는 한계점으로 인해 효율적인 성능 발휘에 제한이 있다.
다양한 뇌파 신호의 특징을 안정적으로 추출하기 위해, 등록특허 제10-1205892호는 피험자의 안정 상태의 뇌파를 측정한 후, 뇌파 신호로부터 2차원 공간-주파수 ERD/ERS 패턴을 생성하는 방법을 제안하고 있다. 이러한 방법을 이용하여 사용자의 의도를 분류하게 되고, 분류된 뇌파 신호가 컴퓨터 시스템에 대한 입력 수단으로 제공될 수 있다. 이러한 기술은 사용자의 안정 상태에서 획득된 뇌 신호의 주파수 대역 전체를 이용하므로, 특정 여러 움직임에 대한 뇌 신호 정보를 얻는 것에 어려움이 있고, 시간 구간을 최적화하는 부분을 고려하지 않으므로 특징 추출 과정에서 비효율성이 수반되는 문제점이 있다.
등록특허 제10-1068017호는 동작 상상 시 발현되는 대표적인 뇌 신호 특징인 ERD/ERS패턴을 합성 공통 공간 패턴 분석 방법을 통하여 뇌파 특징을 추출하는 방법을 제안하고 있다. 그러나, ERD/ERS패턴은 사용자에 따라 큰 편차가 있고, 감각 피질 영역에서 명확하게 나타나는 현상이 아니기 때문에 해당 뇌파의 특징을 추출하기에 어렵다는 문제점이 있다. 이 문제를 해결하기 위하여 공통 공간 패턴 분석법을 사용하고 있지만, 공통 공간 패턴 분석 방법은 명확하게 뇌의 공간적인 분포나 특징이 나타나지 않는 사용자들 (BCI illiteracy)에게는 적용하기 어렵고, 특히 주파수 대역 필터링에 따라서 공통 공간 패턴이 모두 다르게 나올 수 있는 한계점이 존재할 수 있다.
상술한 바와 같이, 종래의 동작 상상 기반의 BCI 시스템은 사용자로부터 획득한 원시 뇌파 신호를 경험론적으로 뮤-밴드와 같은 특정 주파수 대역이나 ERD/ERS패턴 특징에 해당하는 주파수 대역으로 필터링하여 뇌 신호를 분석하고 있지만, 사용자 별로 동작 상상이 이뤄지는 정확한 시간 구간을 고려하지 않고 뇌파 특징을 추출하기 때문에 동작 상상 기반 BCI 시스템의 성능이 저하될 수 밖에 없고, 비효율적이라는 한계점이 있다.
또한, 종래의 BCI 시스템은 특정 동작 상상 클래스의 성능이 높은 경우에도 해당 성능이 실제 그 동작의 상상을 통해 나온 뇌파의 특징을 이용해서 나온 것인지, 해당 뇌파와 상관없는 정보도 포함되어 성능이 측정된 것인지 확인할 수 없어 신뢰도가 떨어진다는 문제점이 있다. 즉, 사람마다 뇌파 특징 패턴이 다르게 발현되지만, 모든 사용자의 뇌파에 일정 범위의 주파수 대역을 적용하여 뇌파 특징을 추출하기 때문에 사용자 별로 동작 상상에 대한 뇌 신호 특징이 가장 정확하게 발현될 수 있는 뇌파 정보를 고려하지 못한다는 문제점이 있다.
따라서, 사용자마다 동작 상상 정보를 정확하게 추출할 수 있는 최적화된 주파수 대역이 필요하며, 동시에 사용자들이 동작 상상을 자의적으로 실행하는 시간 구간이 각각 다르므로 뇌파 특징 추출을 위한 최적 주파수 대역 별로 시간 범위를 적용하여 공통 공간 패턴을 분석하면 BCI성능 향상에 도움이 될 수 있다.
본 발명에 따른 뇌-컴퓨터 인터페이스 시스템 및 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법은 일반적인 동작 상상 BCI 실험 패러다임을 통해 획득한 뇌파를 이용한 BCI 시스템 성능 향상을 위하여 사용자 별 최적화된 동작 상상 주파수 대역에서 가장 높은 성능을 발휘하는 시간 범위를 선택하도록 하는 방법을 제안하고자 한다.
본 발명의 일 실시예에 따른 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법은, 뇌-컴퓨터 인터페이스 시스템에 의해 수행되는 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법에 있어서, a) 기설정된 측정 시간 동안에 동작 상상시 발현되는 원시 뇌파 신호를 획득하고, 상기 원시 뇌파 신호를 동작 상상과 관련된 기본 주파수 대역으로 필터링하여 뇌파 신호를 생성하는 단계; b) 상기 뇌파 신호에 대한 뇌파 특징 패턴의 최적 발현 주파수 영역과 시간 범위를 산출하는 최적 성능 탐색 알고리즘을 수행을 수행하여, 상기 뇌파 신호를 기설정된 주파수 간격으로 분할하여 n개의 서브 밴드 신호로 변환 한 후 상기 서브 밴드 신호 별로 최대 성능 시간 범위를 검출하는 단계; c) 상기 서브 밴드 신호별 최대 성능 시간 범위를 기준으로 뇌파 특징을 추출하고, 상기 추출된 뇌파 특징을 이용하여 사용자가 상상 또는 의도한 동작을 인식하는 분류 모델을 생성한 후 상기 분류 모델의 분류 결과에 대한 정확도를 계산하여 분류 성능 평가를 수행하는 단계; 및 d) 상기 분류 성능 평가의 결과값에 기초하여 최상위 성능을 가지는 최적 서브 밴드 신호와, 상기 최적 서브 밴드 신호와 연계된 최대 성능 시간 범위를 검출하여 사용자별 최적화된 동작 상상 주파수-시간 영역으로 제공하는 단계를 포함하되, 상기 최적 성능 탐색 알고리즘은, 기설정된 시간 범위를 갖는 시간 탐색창을 설정하고, 각 서브 밴드 신호의 상기 측정 시간에 기설정된 임계 시간 간격으로 상기 시간 탐색창을 적용함으로 인해 생성되는 복수 개의 시간 범위에서 성능 평가를 수행하는 것이다.
본 발명의 다른 실시예에 따른 뇌-컴퓨터 인터페이스 시스템은, 동작 상상에 의해 발현된 뇌파 신호를 분석하는 뇌-컴퓨터 인터페이스 시스템에 있어서, 사용자의 뇌파를 검출하여 원시 뇌파 신호를 제공하는 센서모듈; 상기 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 기설정된 측정 시간 동안에 동작 상상시 발현되는 원시 뇌파 신호를 획득하고, 상기 원시 뇌파 신호를 동작 상상과 관련된 기본 주파수 대역으로 필터링하여 뇌파 신호를 생성하며, 상기 뇌파 신호에 대한 뇌파 특징 패턴의 최적 발현 주파수 영역과 시간 범위를 산출하는 최적 성능 탐색 알고리즘을 수행을 수행하여, 상기 뇌파 신호를 기설정된 주파수 간격으로 분할하여 n개의 서브 밴드 신호로 변환 한 후 상기 서브 밴드 신호 별로 최대 성능 시간 범위를 검출하고, 상기 서브 밴드 신호별 최대 성능 시간 범위를 기준으로 뇌파 특징을 추출하고, 상기 추출된 뇌파 특징을 이용하여 사용자가 상상 또는 의도한 동작을 인식하는 분류 모델을 생성한 후 상기 분류 모델의 분류 결과에 대한 정확도를 계산하여 분류 성능 평가를 수행하며, 상기 분류 성능 평가의 결과값에 기초하여 최상위 성능을 가지는 최적 서브 밴드 신호와, 상기 최적 서브 밴드 신호와 연계된 최대 성능 시간 범위를 검출하여 사용자별 최적화된 동작 상상 주파수-시간 영역으로 제공하되, 상기 최적 성능 탐색 알고리즘은, 기설정된 시간 범위를 갖는 시간 탐색창을 설정하고, 각 서브 밴드 신호의 상기 측정 시간에 기설정된 임계 시간 간격으로 상기 시간 탐색창을 적용함으로 인해 생성되는 복수 개의 시간 범위에서 성능 평가를 수행하는 것이다.
전술한 본 발명의 과제 해결 수단에 의하면, 동작상상 기반의 BCI시스템에서 사용자 별로 최적화된 주파수 영역과, 해당 주파수 영역에서 뇌파 특징이 가장 명확하게 발현되는 짧은 구간의 최대 성능 시간 범위를 검출할 수 있고, 그로 인해 동작 상상 시 발현되는 뇌파의 특징 패턴을 보다 정확하게 추출할 수 있어 BCI 시스템의 정확도를 크게 향상시킬 수 있다.
또한, 본 발명은 동작 상상의 특성상 넒은 시간 구간에서 동작 상상이 이루어지는 것이 아니라 사용자가 동작 상상을 자의적으로 실행하는 짧은 시간 구간에서 강한 뇌 신호가 발현되기 때문에, 사용자 별로 최적화된 동작 상상 주파수 영역에서 최대 성능을 발휘하는 시간 범위를 특정하여 뇌파 특징 추출함으로써 기존에 비해 높은 성능과 빠른 속도로 안정적인 BCI 시스템의 운영이 가능하다.
또한, 본 발명은 넓은 시간 구간(예를 들어, 3000ms 정도), 즉 뇌파를 측정한 전체 시간인 고정된 시간 범위를 활용하는 것이 아니라 뇌파 특징을 추출하는 시간 범위를 정밀하게 축소하므로 뇌파 분석 과정에서 소요되는 연산과 잡음을 줄일 수 있어 BCI 시스템의 신뢰도와 편의성을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 시스템의 구성을 설명하는 도면이다.
도 2는 일반적인 뇌-컴퓨터 인터페이스 시스템의 사용자 의도 인식 과정을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법을 설명하는 순서도이다.
도 4는 도 3의 최적 성능 탐색 알고리즘을 설명하는 흐름도이다.
도 5는 도 3의 최적 성능 탐색 알고리즘의 서브 밴드별 시간 탐색창 적용 및 최대 성능 시간 범위 선택 과정을 설명하는 도면이다.
도 2는 일반적인 뇌-컴퓨터 인터페이스 시스템의 사용자 의도 인식 과정을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법을 설명하는 순서도이다.
도 4는 도 3의 최적 성능 탐색 알고리즘을 설명하는 흐름도이다.
도 5는 도 3의 최적 성능 탐색 알고리즘의 서브 밴드별 시간 탐색창 적용 및 최대 성능 시간 범위 선택 과정을 설명하는 도면이다.
아래에서는 첨부한 도면을 참조하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 사용자 최적화 비침습 뇌-기계 인터페이스 시스템을 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 시스템의 구성을 설명하는 도면이다.
도 1을 참조하면, 사용자로부터 획득한 뇌파 신호의 뇌파 특징에 기반하여 동작 상상에 의해 발현된 뇌파 신호를 분석하는 뇌-컴퓨터 인터페이스 시스템(100)은, 통신 모듈(110), 메모리(120), 프로세서(130), 데이터베이스(140) 및 센서 모듈(150)을 포함한다.
통신 모듈(110)은 통신망과 연동하여 뇌-컴퓨터 인터페이스 시스템(100)과 외부 기기의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
메모리(120)는 사용자별 최적화된 주파수 정보와 특징 추출을 위한 시간 범위를 제공하기 위한 뇌-컴퓨터 인터페이스 시스템의 성능 개선 방법을 수행하기 위한 프로그램이 기록된다. 또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 사용자별 최적화된 동작 상상 주파수 대역에서 최대 성능을 발휘하는 시간 범위를 제공하기 위한 뇌-컴퓨터 인터페이스 시스템의 성능 개선 방법을 제공하는 전체 과정을 제어하는 것으로서, 뇌-컴퓨터 인터페이스 시스템(100)의 성능 개선을 위해 뇌파 신호의 특징이 가장 명확하게 발현되는 주파수 영역과 시간 범위를 찾아 최적화된 동작 상상 주파수-시간 영역을 제공하도록 한다. 이러한 프로세서(130)가 수행하는 각각의 동작에 대해서는 추후 보다 상세히 살펴보기로 한다.
여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit, CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 뇌-컴퓨터 인터페이스 시스템의 성능 개선 방법을 수행하면서 누적되는 데이터가 저장된다. 예를 들어, 데이터베이스(140)에는 원시 뇌파 신호, 분류 모델에 대한 분류 성능 지표 정보, 사용자별 최적화된 동작 상상 주파수-시간 영역 정보 등이 저장된다.
센서 모듈(150)은 사용자가 착용한 상태에서 동작 상상에 관련된 원시 뇌파 신호를 실시간 검출한다.
도 2는 일반적인 뇌-컴퓨터 인터페이스 시스템의 사용자 의도 인식 과정을 설명하는 도면이다.
도 2를 참조하면, 뇌-컴퓨터 인터페이스 시스템(100)은 미리 정해진 실험 패러다임을 이용하여 센서 모듈(150)을 통해 실시간 동작 상상과 관련된 사용자의 원시 뇌파 신호를 측정한다. 이때, 실험 패러다임은 주로 사용자에게 특정 업무를 이미지로 지시하고, 사용자는 주어진 큐에 맞춰 특정 업무를 수행한다. 예를 들어 특정 업무는 오른손/왼손 쥐기, 오른손/왼손 펴기, 손목 좌/우 회전 등의 동작 상상과 관련된 이미지 데이터를 생각하는 것이다.
프로세서(130)는 수집된 원시 뇌파 신호를 주어진 큐를 기준으로 동작 상상이 종료될 때까지의 측정 시간을 고정하고, 측정 시간 동안에 수집된 원시 뇌파 신호를 기본 주파수 대역으로 필터링한다. 일반적으로 기본 주파수 대역은 동작 상상과 관련하여 유의미한 주파수 영역인 뮤 밴드(8~13㎐)를 포함하고, 측정 시간은 실험 패러다임이 3000ms 동안 진행되는 경우 3000ms로 고정한다.
프로세서(130)는 공통 공간 패턴(Common Spatial Pattern, CSP)을 활용하여 공간 특징을 추출하고, 기계 학습 기법을 활용한 분류 모델(131)을 통해 여러 가지 동작 상상에 대한 분류를 수행함으로써 사용자가 최초 상상한 동작에 대한 뇌파 신호에 기반한 디코딩을 수행하여 최종 분류 결과를 출력한다.
이때, 기본 주파수 대역과 측정 시간은 기존에 실험을 통해 경험적으로 획득된 주파수 영역과 시간 범위이다. 그러나, 뇌-컴퓨터 인터페이스 시스템은 사용자마다 뇌파 특징이 가장 명확하게 발현되는 최적의 주파수 영역이 다르며, 동시에 주어진 큐 이후부터 하나의 실험 과정이 종료되기 이전까지 사용자가 동작 상상을 하는 동작 상상 발현 시간 범위는 전체 측정 시간 중 일부 시간이고, 동작 상상 발현 시간 범위의 길이와 시점은 개인마다 무수한 차이가 있다.
따라서, 본 발명의 뇌-컴퓨터 인터페이스 시스템의 성능 개선 방법은 사용자마다 동작 상상이 발현되는 정확한 주파수 영역을 탐색하고, 이렇게 탐색된 주파수 영역과 연계하여 사용자가 동작 상상을 자의적으로 실행하는 최대 성능 시간 범위를 산출한 후 사용자 개인의 최적화된 동작 상상 주파수-시간 영역을 적용하여 공통 공간 패턴을 분석하면 시스템 성능이 개선될 수 있다.
도 3은 본 발명의 일 실시예에 따른 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법을 설명하는 순서도이고, 도 4는 도 3의 최적 성능 탐색 알고리즘을 설명하는 흐름도이며, 도 5는 도 3의 최적 성능 탐색 알고리즘의 서브 밴드별 시간 탐색창 적용 및 최대 성능 시간 범위 선택 과정을 설명하는 도면이다.
뇌-컴퓨터 인터페이스 시스템(100)은 센서 모듈(150)을 통해 실시간으로 사용자의 원시 뇌파 신호를 측정하고(S110), 원시 뇌파 신호에 대한 주변 잡음 소리 및 전원 DC 잡음의 영향이 최소화되도록 전처리기(도시되지 않음)를 통해 0.1~50㎐의 기본 주파수 대역으로 필터링을 수행하여 뇌파 신호를 출력한다(S120).
기본 주파수 대역은 뇌-컴퓨터 인터페이스 기술에서 경험론적으로 뮤 밴드와 같은 특정 주파수 대역(8~12㎐), 자극에 따라 특정 주파수에서 뇌파가 감소하는 ERD(Event-Related Desynchronization)와 뇌파가 증가하는 ERS(Event-Related Synchronization) 패턴에 해당하는 주파수 대역을 선택적으로 사용할 수 있다.
프로세서(130)는 기본 주파수 대역으로 필터링된 뇌파 신호를 랜덤 또는 정해진 규칙에 따라 일정한 주파수 간격으로 분할하여 n개의 서브 밴드 신호를 생성한다(S130). 예를 들면, 프로세서(130)는 3~5 ㎐이내의 주파수 간격으로 뇌파 신호를 분할하여, 0.1~3㎐, 4~7㎐, 8~13㎐, …, 45~50㎐의 서브 밴드 신호를 생성한다.
프로세서(130)는 각 서브 밴드 신호 별로 최대 성능을 발휘하는 최대 성능 시간 범위를 산출하는 최적 성능 탐색 알고리즘을 수행한다(S140). 최적 성능 탐색 알고리즘을 수행한 결과, 사용자 별로 동작 상상에 최적화된 최적 서브 밴드 및 그와 연계된 최대 성능 시간 범위를 검출한다(S150).
도 4에 도시된 바와 같이, 최적 성능 탐색 알고리즘은 0.1~50㎐의 뇌파 신호를 n개의 서브 밴드 신호로 변환하고, 기설정된 시간 범위를 갖는 시간 탐색창을 각 서브 밴드 신호의 전체 측정 시간 동안 기설정된 임계 시간 간격으로 적용해가면서 복수 개의 시간 범위를 생성한다(S410). 예를 들어, 전체 측정 시간이 3000ms, 시간 탐색창이 1000ms, 임계 시간 간격이 200ms 인 경우, 서브 밴드 신호는 시간 탐색창이 적용되면서 0~1000ms, 200~1200ms, 400~1400ms, …, 2000~3000ms의 시간 범위들이 생성될 수 있다.
최적 성능 탐색 알고리즘은 각 서브 밴드 신호의 시간 범위 별로 신호 세기(Frequency Power) 또는 공간 패턴을 활용하여 뇌파 특징을 추출한 후, 추출된 뇌파 특징을 이용하여 사용자의 동작 상상 또는 의도에 대한 동작 상상 클래스들을 학습한 분류기를 생성한다(S420, S430). 최적 성능 탐색 알고리즘은 각 서브 밴드 신호와 그 시간 범위 별로 생성된 분류기의 분류 성능을 평가한다(S440).
즉, 최적 성능 탐색 알고리즘은 교차 검증, 상호 정보량 계산, 피셔 스코어 중 어느 하나의 방법을 이용하여 학습된 분류기의 분류 결과에 대한 정확도를 계산하여 성능 지표를 산출하고, 이렇게 산출된 성능 지표에 근거하여 베이지안 확률 등의 확률적 접근법을 통해 사용자에 대해 최상위 성능을 발휘할 수 있는 각 서브 밴드 신호별 최대 성능 시간 범위를 획득한다.
예를 들어, 최적 성능 탐색 알고리즘은 k-fold 교차 검증 방법을 적용하여 성능 평가를 수행할 경우, 사용자의 원시 뇌파 신호를 k개의 하위 데이터 세트로 분리하고, 분리된 k개의 하위 데이터 세트 중 하나의 데이터 세트를 제외한 k-1개의 하위 데이터세트를 학습 세트로 이용하여 k개의 모델을 추정한다. 이렇게 추정된 결과들의 평균값을 이용하여 해당 모델의 성능을 학습에 활용한 데이터에 의존하지 않고 객관적으로 측정할 수 있다.
최적 성능 탐색 알고리즘은, 도 5에 도시된 바와 같이, 각 서브밴드 신호 별로 산출된 성능 지표 중 가장 높은 성능을 갖는 최적 서브 밴드 신호와 뇌파 특징 패턴의 최적 발현 시간인 최대 성능 시간 범위를 검출한다. 최적 성능 탐색 알고리즘은 각 서브밴드 신호별 최대 성능을 가지는 시간 범위 후보군에서 성능 지표를 주요 기준으로 베이지안 확률론에 기반하여 해당 사용자에 대해 지속적으로 가장 높은 인식률을 보여줄 수 있는 서브 밴드와 시간 범위를 동작 상상 주파수-시간 영역의 후보군으로 선택하고, 상대적으로 낮은 인식률을 가지는 서브 밴드 신호와 시간 범위에 대한 정보를 제거한다(S450).
최적 성능 탐색 알고리즘은 선택된 최적 서브 밴드와 최대 성능 시간 범위 이외의 다른 서브 밴드와 시간 범위에서 성능 개선이 이루어지지 않는다면 해당 최적 서브 밴드와 최대 성능 시간 범위를 해당 사용자에 대한 최적화된 동작 상상 주파수-시간 영역으로 제공한다(S460).
다시 도 3을 설명하면, 프로세서(130)는 해당 사용자에 대한 최적화된 동작 상상 주파수-시간 영역을 기준으로 뇌파 특징을 추출하고(S160), 이렇게 추출된 뇌파 특징을 이용하여 최종 분류 모델을 생성한 후 최종 분류 모델의 성능을 반복적으로 비교하여 최적화된 동작 상상 주파수-시간 영역보다 높은 성능을 발휘하는 주파수 영역과 시간 범위를 탐색한다(S170).
프로세서(130)는 반복적으로 최적 성능 탐색 알고리즘을 수행한 결과, 뇌-컴퓨터 인터페이스(BCI) 시스템의 성능 개선이 더 이상 이루어지지 않는다면 최적 성능 탐색 알고리즘을 중지한다(S180~S200). 최적 성능 탐색 알고리즘에서 성능 지표를 산출하기 위한 적용되는 수학적 또는 통계학적 방법은 교차 검증, 상호 정보량 계산, 피셔 스코어, 베이지안 확률 외에 어떤 방법을 적용하더라도 제한없이 활용할 수 있으며, 수학적 통계학적 방법에 적용되는 알고리즘을 변경하더라도 이를 통한 전체 BCI 시스템의 성능 향상의 정도는 크지 않다.
이와 같이, 본 발명의 BCI 시스템은 동작 상상 BCI 실험 패러다임을 통해 획득한 원시 뇌파 신호를 이용하 여 사용자 별로 최적화된 동작 상상 주파수 대역에서 가장 높은 성능을 발휘하는 최대 성능 시간 범위를 선택하는 최적 성능 탐색 알고리즘을 제공한다.
기존에는 경험적으로 알려진 뇌파의 특정 주파수 대역을 모든 사용자의 뇌파 신호에 적용하여 뇌파 특징을 추출하였지만, 최적 성능 탐색 알고리즘은 사용자 별로 최적화된 동작 상상 주파수 영역에서 고정된 전체 측정 시간이 아니라 특징 추출을 위한 시간 구간의 범위를 정밀하게 축소하여 사용자만의 동작 상상을 자의적으로 실행하는 정확한 시간 범위를 검출함으로써 해당 사용자의 뇌파 특징이 가장 명확하게 발현되는 짧은 구간의 시간 범위를 획득할 수 있다.
따라서, 본 발명은 기존의 BCI 시스템에 비해 사용자 별로 최적화된 BCI 시스템을 제공할 수 있고, 사용자의 뇌파 특징 추출을 위한 시간 구간의 범위를 정밀하게 축소하므로 이에 따른 연산 속도 증가와 불필요한 잡음이 감소될 수 있다.
이상에서 설명한 본 발명의 실시예에 따른 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 뇌-컴퓨터 인터페이스 시스템
110: 통신 모듈 120: 메모리
130: 프로세서 140: 데이터베이스
150: 센서 모듈
110: 통신 모듈 120: 메모리
130: 프로세서 140: 데이터베이스
150: 센서 모듈
Claims (15)
- 뇌-컴퓨터 인터페이스 시스템에 의해 수행되는 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법에 있어서,
a) 기설정된 측정 시간 동안에 동작 상상시 발현되는 원시 뇌파 신호를 획득하고, 상기 원시 뇌파 신호를 동작 상상과 관련된 기본 주파수 대역으로 필터링하여 뇌파 신호를 생성하는 단계;
b) 상기 뇌파 신호에 대한 뇌파 특징 패턴의 최적 발현 주파수 영역과 시간 범위를 산출하는 최적 성능 탐색 알고리즘을 수행을 수행하여, 상기 뇌파 신호를 기설정된 주파수 간격으로 분할하여 n개의 서브 밴드 신호로 변환 한 후 상기 서브 밴드 신호 별로 최대 성능 시간 범위를 검출하는 단계;
c) 상기 서브 밴드 신호별 최대 성능 시간 범위를 기준으로 뇌파 특징을 추출하고, 상기 추출된 뇌파 특징을 이용하여 사용자가 상상 또는 의도한 동작을 인식하는 분류 모델을 생성한 후 상기 분류 모델의 분류 결과에 대한 정확도를 계산하여 분류 성능 평가를 수행하는 단계; 및
d) 상기 분류 성능 평가의 결과값에 기초하여 최상위 성능을 가지는 최적 서브 밴드 신호와, 상기 최적 서브 밴드 신호와 연계된 최대 성능 시간 범위를 검출하여 사용자별 최적화된 동작 상상 주파수-시간 영역으로 제공하는 단계를 포함하되,
상기 최적 성능 탐색 알고리즘은, 기 설정된 시간 범위를 갖는 시간 탐색창을 설정하고, 각 서브 밴드 신호의 상기 측정 시간에 기 설정된 임계 시간 간격으로 상기 시간 탐색창을 적용함으로 인해 생성되는 복수 개의 시간 범위에서 성능 평가를 수행하는 것이고,
상기 최적 성능 탐색 알고리즘은,
기설정된 시간 범위(Td )를 갖는 시간 탐색창을 설정하고,
상기 서브 밴드 신호마다 기설정된 임계 시간 간격(Tt)으로 상기 시간 탐색창을 적용하여 상기 측정 시간(Ttotal, Ttotal > Td > Tt)을 세분화시키는 복수 개의 시간 범위를 생성하고,
상기 서브 밴드 신호별로 생성된 복수 개의 시간 범위에서 뇌파 특징을 각각 추출하고,
상기 추출된 뇌파 특징을 이용하여 동작 상상 클래스들을 학습한 분류기를 생성한 후 상기 분류기의 분류 결과에 대한 정확도를 계산하여 성능 지표를 산출하고,
상기 성능 지표를 기준으로 최상위 성능을 가지는 최적 서브 밴드 신호와 최대 성능 시간 범위를 검출하는 것인, 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법. - 제1항에 있어서,
상기 a) 단계는,
상기 기본 주파수 대역을 뮤 밴드(Mu-band), ERD(Event-Related Desynchronization)의 특징에 해당하는 주파수 대역 또는 ERS(Event-Related Synchronization)의 특징에 해당하는 주파수 대역 중 적어도 어느 하나의 주파수 대역을 포함하는 것인, 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법. - 제1항에 있어서,
상기 b) 단계는,
상기 기본 주파수 대역을 가지는 뇌파 신호를 3~5㎐ 이내의 주파수 간격으로 랜덤 또는 정해진 규칙에 따라 분할하여 n개의 서브 밴드 신호를 생성하는 것인, 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법. - 삭제
- 제1항에 있어서,
상기 최적 성능 탐색 알고리즘은,
상기 성능 지표를 기준으로 최하위 성능을 가지는 서브 밴드 신호와 시간 범위에 대한 정보를 제거하는 것인, 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법. - 제1항에 있어서,
상기 c) 단계는,
공통 공간 패턴(Common Spatial Pattern, CSP) 또는 주파수 세기를 이용한 특징 추출 알고리즘을 이용하여 상기 서브 밴드 신호별 뇌파 신호에 대한 뇌파 특징을 추출하는 것인, 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법. - 제1항에 있어서,
상기 c) 단계는,
교차 검증(Cross validation) 방법, 상호 정보량 (Mutual Information) 계산 방법 또는 피셔 스코어(Fisher Score) 방법 중 어느 하나의 방법을 이용하여 상기 분류 모델의 분류 결과에 대한 정확도를 계산하여 성능 지표를 산출하는 것인, 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법. - 제1항에 있어서,
상기 d) 단계는,
상기 최적 성능 탐색 알고리즘을 통해 성능 평가를 반복적으로 수행하고, 상기 최적 서브 밴드 신호와 최대 성능 시간 범위에 대한 분류 성능 평가의 결과값보다 높은 결과값이 검출되지 않는 경우에 상기 최적 성능 탐색 알고리즘을 종료하는 것인, 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법. - 동작 상상에 의해 발현된 뇌파 신호를 분석하는 뇌-컴퓨터 인터페이스 시스템에 있어서,
사용자의 뇌파를 검출하여 원시 뇌파 신호를 제공하는 센서모듈;
상기 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하기 위한 프로세서를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 의해,
기설정된 측정 시간 동안에 동작 상상시 발현되는 원시 뇌파 신호를 획득하고, 상기 원시 뇌파 신호를 동작 상상과 관련된 기본 주파수 대역으로 필터링하여 뇌파 신호를 생성하며,
상기 뇌파 신호에 대한 뇌파 특징 패턴의 최적 발현 주파수 영역과 시간 범위를 산출하는 최적 성능 탐색 알고리즘을 수행을 수행하여, 상기 뇌파 신호를 기설정된 주파수 간격으로 분할하여 n개의 서브 밴드 신호로 변환 한 후 상기 서브 밴드 신호 별로 최대 성능 시간 범위를 검출하고,
상기 서브 밴드 신호별 최대 성능 시간 범위를 기준으로 뇌파 특징을 추출하고, 상기 추출된 뇌파 특징을 이용하여 사용자가 상상 또는 의도한 동작을 인식하는 분류 모델을 생성한 후 상기 분류 모델의 분류 결과에 대한 정확도를 계산하여 분류 성능 평가를 수행하며,
상기 분류 성능 평가의 결과값에 기초하여 최상위 성능을 가지는 최적 서브 밴드 신호와, 상기 최적 서브 밴드 신호와 연계된 최대 성능 시간 범위를 검출하여 사용자별 최적화된 동작 상상 주파수-시간 영역으로 제공하되,
상기 최적 성능 탐색 알고리즘은, 기 설정된 시간 범위를 갖는 시간 탐색창을 설정하고, 각 서브 밴드 신호의 상기 측정 시간에 기 설정된 임계 시간 간격으로 상기 시간 탐색창을 적용함으로 인해 생성되는 복수 개의 시간 범위에서 성능 평가를 수행하는 것이고,
상기 최적 성능 탐색 알고리즘은,
기설정된 시간 범위(Td )를 갖는 시간 탐색창을 설정하고,
상기 서브 밴드 신호마다 기설정된 임계 시간 간격(Tt)으로 상기 시간 탐색창을 적용하여 상기 측정 시간(Ttotal, Ttotal > Td > Tt)을 세분화시키는 복수 개의 시간 범위를 생성하고,
상기 서브 밴드 신호별로 생성된 복수 개의 시간 범위에서 뇌파 특징을 각각 추출하고,
상기 추출된 뇌파 특징을 이용하여 동작 상상 클래스들을 학습한 분류기를 생성한 후 상기 분류기의 분류 결과에 대한 정확도를 계산하여 성능 지표를 산출하고,
상기 성능 지표를 기준으로 최상위 성능을 가지는 최적 서브 밴드 신호와 최대 성능 시간 범위를 검출하는 것인, 뇌-컴퓨터 인터페이스 시스템. - 제9항에 있어서,
상기 기본 주파수 대역은 뮤 밴드(Mu-band), ERD(Event-Related Desynchronization)의 특징에 해당하는 주파수 대역 또는 ERS(Event-Related Synchronization)의 특징에 해당하는 주파수 대역 중 적어도 어느 하나의 주파수 대역을 포함하는 것인, 뇌-컴퓨터 인터페이스 시스템. - 제9항에 있어서,
상기 프로세서는,
상기 기본 주파수 대역을 가지는 뇌파 신호를 3~5㎐ 이내의 주파수 간격으로 랜덤 또는 정해진 규칙에 따라 분할하여 n개의 서브 밴드 신호를 생성하는 것인, 뇌-컴퓨터 인터페이스 시스템. - 제9항에 있어서,
상기 프로세서는,
공통 공간 패턴(Common Spatial Pattern, CSP) 또는 주파수 세기를 이용한 특징 추출 알고리즘을 이용하여 상기 서브 밴드 신호별 뇌파 신호에 대한 뇌파 특징을 추출하는 것인, 뇌-컴퓨터 인터페이스 시스템. - 제9항에 있어서,
상기 프로세서는,
교차 검증(Cross validation) 방법, 상호 정보량 (Mutual Information) 계산 방법 또는 피셔 스코어(Fisher Score) 방법 중 어느 하나의 방법을 이용하여 상기 분류 모델의 분류 결과에 대한 정확도를 계산하여 성능 지표를 산출하는 것인, 뇌-컴퓨터 인터페이스 시스템. - 삭제
- 제9항에 있어서,
상기 최적 성능 탐색 알고리즘은,
상기 성능 지표를 기준으로 최하위 성능을 가지는 서브 밴드 신호와 시간 범위에 대한 정보를 제거하는 것인, 뇌-컴퓨터 인터페이스 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180135159 | 2018-11-06 | ||
| KR20180135159 | 2018-11-06 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20200052205A KR20200052205A (ko) | 2020-05-14 |
| KR102269587B1 true KR102269587B1 (ko) | 2021-06-24 |
| KR102269587B9 KR102269587B9 (ko) | 2023-09-07 |
Family
ID=70736931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190052181A KR102269587B1 (ko) | 2018-11-06 | 2019-05-03 | 뇌-컴퓨터 인터페이스 시스템 및 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102269587B1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102522349B1 (ko) | 2020-06-12 | 2023-04-18 | 고려대학교 산학협력단 | 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법 |
| KR102651237B1 (ko) | 2020-06-12 | 2024-03-27 | 고려대학교 산학협력단 | 사용자 의도를 고려하여 측정 채널을 맞춤형으로 선택하는 뇌 컴퓨터 인터페이스 장치 및 그 동작 방법 |
| CN112728604B (zh) * | 2021-01-11 | 2024-09-24 | 杭州老板电器股份有限公司 | 油烟机声品质的评价方法、装置和油烟机 |
| CN113081003B (zh) * | 2021-02-23 | 2024-10-01 | 厦门大学 | 一种基于脑电运动想象的双输入时域特征强化方法 |
| CN114721514B (zh) * | 2022-03-22 | 2024-08-23 | 北京理工大学 | 一种基于脑电信号的几何模型选择意图判别方法及系统 |
| CN115067943B (zh) * | 2022-06-16 | 2024-08-23 | 华南理工大学 | 一种基于脑波信号的专注度提取方法及其系统 |
| KR102538720B1 (ko) * | 2022-07-26 | 2023-05-31 | 고려대학교 세종산학협력단 | 정신질환 환자의 진단을 도울 수 있는 컴퓨터-보조 진단 시스템의 성능 향상을 위한 사건유발전위 신호의 평균 진폭을 기반으로 한 정신질환 분류 장치 및 방법 |
| KR102570451B1 (ko) * | 2022-07-29 | 2023-08-28 | 고려대학교 세종산학협력단 | 생체 신호를 이용한 사용자 맞춤형 음성기반 인터랙션 시스템의 설계변수 평가 장치 및 방법 |
| CN117520827B (zh) * | 2024-01-04 | 2024-04-12 | 小舟科技有限公司 | 脑电信号的特征提取方法及装置、设备、存储介质 |
| CN118760926A (zh) * | 2024-07-03 | 2024-10-11 | 杭州电子科技大学 | 一种基于动态超图学习的脑电言语想象识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140009635A (ko) * | 2012-07-12 | 2014-01-23 | 중앙대학교 산학협력단 | Ｐｓｏ를 이용한 ｅｒｄ/ｅｒｓ특징 추출 |
| KR101914189B1 (ko) * | 2016-09-09 | 2018-11-01 | 고려대학교 산학협력단 | 복수의 뇌신호에 대한 공통 패턴을 제공하는 장치 및 방법 |
-
2019
- 2019-05-03 KR KR1020190052181A patent/KR102269587B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR102269587B9 (ko) | 2023-09-07 |
| KR20200052205A (ko) | 2020-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102269587B1 (ko) | 뇌-컴퓨터 인터페이스 시스템 및 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법 | |
| García-Martínez et al. | A review on nonlinear methods using electroencephalographic recordings for emotion recognition | |
| Wei et al. | Automatic epileptic EEG detection using convolutional neural network with improvements in time-domain | |
| Islam et al. | Wavelet analysis based classification of emotion from EEG signal | |
| Lemm et al. | Spatio-spectral filters for improving the classification of single trial EEG | |
| CN101219048B (zh) | 想象单侧肢体运动的脑电特征的提取方法 | |
| Ren et al. | Affective assessment by digital processing of the pupil diameter | |
| US20170202518A1 (en) | System and method for brain state classification | |
| KR101549325B1 (ko) | 기기 인터페이스 제어 방법 | |
| Talukdar et al. | Adaptation of Common Spatial Patterns based on mental fatigue for motor-imagery BCI | |
| Reuderink et al. | A subject-independent brain-computer interface based on smoothed, second-order baselining | |
| Gaur et al. | Logistic regression with tangent space-based cross-subject learning for enhancing motor imagery classification | |
| Mohammadpour et al. | Comparison of EEG signal features and ensemble learning methods for motor imagery classification | |
| Awan et al. | Effective classification of EEG signals using K-nearest neighbor algorithm | |
| Lindig-Leon et al. | A multi-label classification method for detection of combined motor imageries | |
| Ramos-Aguilar et al. | Analysis of EEG signal processing techniques based on spectrograms | |
| KR102143910B1 (ko) | 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법 | |
| Mahmoudi et al. | Multi-class EEG classification of motor imagery signal by finding optimal time segments and features using SNR-based mutual information | |
| Baghdadi et al. | Robust feature learning method for epileptic seizures prediction based on long-term EEG signals | |
| Javed et al. | Recognition of finger movements using EEG signals for control of upper limb prosthesis using logistic regression | |
| KR102276991B1 (ko) | 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치 및 방법 | |
| Nirabi et al. | Machine learning-based stress level detection from EEG signals | |
| KR101630398B1 (ko) | 역치 이하 자극을 이용한 보안 서비스 제공 방법 및 장치 | |
| KR101607893B1 (ko) | 정상 상태 체감각 유발 전위 발생 장치 및 그 운용 방법 | |
| CN107854127B (zh) | 一种运动状态的检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20190503 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20201117 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210525 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210618 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210621 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| G170 | Re-publication after modification of scope of protection [patent] | ||
| PG1701 | Publication of correction |
Patent event code: PG17011E01I Patent event date: 20230904 Comment text: Request for Publication of Correction Publication date: 20230907 |
|
| G170 | Re-publication after modification of scope of protection [patent] | ||
| PR1001 | Payment of annual fee |
Comment text: Request for Publication of Correction Patent event date: 20230904 Patent event code: PG17011E01I Payment date: 20240619 Start annual number: 4 End annual number: 4 |