KR101741739B1 - 브레인 컴퓨터 인터페이스를 위한 장치 및 방법 - Google Patents

브레인 컴퓨터 인터페이스를 위한 장치 및 방법 Download PDF

Info

Publication number
KR101741739B1
KR101741739B1 KR1020160019607A KR20160019607A KR101741739B1 KR 101741739 B1 KR101741739 B1 KR 101741739B1 KR 1020160019607 A KR1020160019607 A KR 1020160019607A KR 20160019607 A KR20160019607 A KR 20160019607A KR 101741739 B1 KR101741739 B1 KR 101741739B1
Authority
KR
South Korea
Prior art keywords
classifier
eeg
background
feature extraction
target
Prior art date
Application number
KR1020160019607A
Other languages
English (en)
Inventor
조호현
전성찬
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020160019607A priority Critical patent/KR101741739B1/ko
Priority to US15/362,818 priority patent/US10413204B2/en
Application granted granted Critical
Publication of KR101741739B1 publication Critical patent/KR101741739B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)

Abstract

본 발명에서는, 배경뇌파의 영향은 최소화하고, 목적뇌파의 차이점은 최대화하는 특징추출필터를 훈련하는 특징추출필터 훈련기; 및 상기 특징추출필터로 상기 목적뇌파를 필터링하여 얻은 특징벡터를 이용하여, 상기 목적뇌파를 분류하는 분류기를 훈련하는 분류기 훈련기가 포함되는 브레인 컴퓨터 인터페이스를 위한 장치를 개시한다. 이에 따르면 매번 장치를 사용 시, 배경뇌파만을 추가적으로 측정하여 기존 목적뇌파 데이터의 재활용성을 높이고, 신속하고 정확하게 뇌파를 분류할 수 있다.

Description

브레인 컴퓨터 인터페이스를 위한 장치 및 방법{Apparatus and method for brain computer interface}
본 발명은 브레인 컴퓨터 인터페이스를 위한 장치 및 방법에 관한 것으로서, 뇌파를 측정하여 더 신속하고 정확하게 뇌파가 의미하는 바를 알아낼 수 있도록 하는 기술에 관한 것이다.
브레인 컴퓨터 인터페이스(BCI: Brain Computer Interface, 이하, BCI라고 칭하는 경우도 있다)는, 생물의 두뇌와 컴퓨터를 연결하여 통신을 가능하게 하는 수단을 지칭한다. 상기 BCI는 음성, 영상 등 생물의 표현을 이용하는 기존 입출력 장치를 거치지 않고 두뇌와 컴퓨터가 직접 연결되도록 하는 것이다. 예를 들면, 뇌의 활동 과정에서 나오는 뇌파를 실시간으로 분석하여 어떤 임의의 장치를 제어하는 것이 이에 해당한다.
상기 BCI 기술은, 신체 일부를 소실하거나, 신체가 마비된 환자에게 적용되는 경우에는 삶의 만족을 높이는 의료기술로 활용될 수 있다.
상기 BCI 기술은, 상기 뇌파가 의미하는 바를 전극을 통하여 파악할 수 있다. 일반적인 BCI 기술은, 두뇌에 다수의 전극(주로 두개골의 내부 또는 외부의 서로 다른 위치에 놓인다)을 설치하고, 상기 뇌파가 상기 다수의 전극 중의 어느 하나 이상의 전극에서, 어느 시간에, 어느 주파수로 나타나는 지를 통하여 피검자와 통신을 수행한다.
그러나, 상기 뇌파는 동일한 피검자에 대해서도, 피검자의 장소, 시간, 정신상태, 및 방해 등에 따라서 같은 실험조건이라도 서로 결과가 다르다. 여기서, 상기 실험상태에는 추상적인 상황을 생각하는 것, 운동신경을 생각하는 것(MI: motor imagery, 예를 들어, 오른손 동작을 생각하는 것과 왼손 동작을 생각하는 것) 등이 있을 수 있다. 피검자가 달라지는 경우에는 같은 실험이라도 더욱 다른 뇌파를 나타낼 수 있다.
이러한 문제로 인하여 조건이 다양하게 변경하더라도, 정확하게 BCI를 수행하기 위하여, 다양한 필터가 소개된 바가 있다. 예를 들어, Ramoser H, Muller-Gerking J and Pfurtscheller G 2000 Optimal spatial filtering of single trial EEG during imagined hand movement IEEE Trans. Rehabil . Eng . 8 441-6. 및 Blankertz B, Tomioka R, Lemm S, Kawanabe M and Muller K-R 2008 Optimizing Spatial filters for Robust EEG Single-Trial Analysis IEEE Signal Process. Mag. 25 41-56.이 소개된 바가 있다. 상기 기술은 공통공간패턴(CSP:common spatial pattern)기술로 소개된 바가 있고, 공간으로 다른 다수의 뇌파 중에서 같은 생각에 대하여 공통적으로 검출되는 공통뇌파를 서로 분류하여 추출하도록 한다.
그러나 상기 기술은 상기 공통뇌파를 추출하기 위하여 매번 오랜 시간을 학습해야 하는 문제가 있다. 따라서, 응급한 환자(예를 들어, 사지 마지 환자) 등에 대해서는 바로 적응을 할 수 없고 사용할 때마다 오랜 시간을 기다려야 한다. 뿐만 아니라, BCI 기술의 발전을 위한 실험을 함에 있어서도 많은 시간을 요하게 함으로써, BCI 기술 발전을 더디게 하는 요인으로 작용한다.
Ramoser H, Muller-Gerking J and Pfurtscheller G 2000 Optimal spatial filtering of single trial EEG during imagined hand movement IEEE Trans. Rehabil. Eng. 8 441-6. Blankertz B, Tomioka R, Lemm S, Kawanabe M and Muller K-R 2008 Optimizing Spatial filters for Robust EEG Single-Trial Analysis IEEE Signal Process. Mag. 25 41-56.
본 발명은 상기되는 배경 하에서 제안되는 것으로서, 응급한 상황에서도 바로 뇌파를 구분해 내는 분류기를 가지는 브레인 컴퓨터 인터페이스를 위한 장치 및 방법을 제안한다.
본 발명은 다양한 실험 조건 하에서도 피검자의 뇌파상태를 정확하게 알아낼 수 있는 브레인 컴퓨터 인터페이스를 위한 장치 및 방법을 제안한다.
본 발명은 BCI의 실험을 신속하게 수행할 수 있도록 하는 브레인 컴퓨터 인터페이스를 위한 장치 및 방법을 제안한다.
신속하고 정확하게 뇌파를 분류하기 위하여, 배경뇌파의 영향은 최소화하고, 목적뇌파의 차이점은 최대화하는 특징추출필터를 훈련하는 특징추출필터 훈련기; 및 상기 특징추출필터로 상기 목적뇌파를 필터링하여 얻은 특징벡터를 이용하여, 상기 목적뇌파를 분류하는 분류기를 훈련하는 분류기 훈련기가 포함되는 브레인 컴퓨터 인터페이스를 위한 장치가 개시된다.
상기 장치에는, 상기 배경뇌파와 상기 목적뇌파를 측정하는 뇌파측정기; 상기 배경뇌파와 상기 목적뇌파를 전처리하는 전처리기; 및 상기 뇌파측정기에서 측정되는 임의의 목적뇌파를 상기 분류기를 통하여 분류하는 뇌파분류기가 포함될 수 있다. 따라서, 임상에서 바로 뇌파를 통하여 인터페이스 작용을 수행할 수 있다. 상기 특징추출필터는 공간정보, 주파수정보, 및 시간정보 중에서 적어도 하나를 필터링함으로써, 다양한 생각을 뇌파를 통하여 분리해 낼 수 있다.
상기 장치에서, 상기 특징추출필터가 공간정보를 필터링하는 경우에, 상기 특징추출필터는,
Figure 112016016607999-pat00001
로 획득될 수 있고, 여기서, i는 라벨이고, wi는 상기 특징추출필터이고, C는 상기 목적뇌파의 공분산이이고, Ξ는 상기 배경뇌파의 공분산으로 제공될 수 있다. 상기 모델린에 따르면, 뇌파를 정확한 수학적인 모델링이 가능하게 된다. 여기서, 상기 특징추출필터는,
Figure 112016016607999-pat00002
로 모델링되고, ξ는 소정의 매개값으로 제공될 수 있다. 이에 따르면, 컴퓨터 연산을 통하여 최적해를 구할 수 있다.
상기 장치에 있어서, 상기 특징추출필터가 시공간정보를 필터링 하는 경우에, 상기 특징추출필터는,
Figure 112016016607999-pat00003
로 획득될 수 있고, 여기서, i는 라벨이고,
Figure 112016016607999-pat00004
는 특징추출필터이고,
Figure 112016016607999-pat00005
는 배경뇌파의 공분산이고,
Figure 112016016607999-pat00006
는 목적뇌파의 공분산으로 제공될 수 있다. 이에 따르면, 시공간필터(spatio-temporal filter)를 사용하여 더 정확한 뇌파측정이 가능한 모델링을 구축할 수 있다.
상기 장치에 있어서, 기존에 측정된 기존배경뇌파와 현재 측정된 현재배경뇌파의 차이값을 산출하는 배경뇌파 차이값 산출부; 상기 특징추출필터와, 상기 현재배경뇌파와 상기 분류기를 이용하여 분류기 바이어스를 예측하는 분류기 바이어스 예측부; 및 상기 분류기 바이어스 예측부에서 예측되는 분류기 바이어스 예측값을 이용하여, 상기 분류기를 교정하는 분류기 교정부가 더 포함될 수 있다. 이에 따르면, 뇌파측정의 정확성을 한층 더 높일 수 있다.
상기 배경뇌파 차이값 산출부는, 상기 기존배경뇌파와 상기 현재배경뇌파의 차이값을
Figure 112016016607999-pat00007
로 획득하고, 여기서,
Figure 112016016607999-pat00008
는 상기 기존배경뇌파의 공분산이고,
Figure 112016016607999-pat00009
는 상기 현재배경뇌파의 공분산이고, I는 단위행렬이고,
Figure 112016016607999-pat00010
는 요소 간의 대칭 KL 거리로 제공될 수 있다. 이에 따르면, 상기 현재배경뇌파와 상기 기존배경뇌파의 차이점을 반영하여 더 정확하게 뇌파를 분류할 수 있다.
상기 분류기 바이어스 예측부는, 상기 특징추출필터에 상기 현재배경뇌파를 정사영함으로써 얻어지는 상기 특징추출필터에서 예상되는 예상 전이값을, 상기 분류기에 대입하여 상기 분류기 바이어스 예측값을 산출할 수 있다. 이에 따르면, 바이어스 값을 정확하게 예측할 수 있다. 여기서, 상기 분류기 교정부에서는, 상기 분류기 바이어스 예측값을 상기 기존배경뇌파와 상기 현재배경뇌파의 차이값으로 스케일링하여, 분류기의 오프셋 값을 천이시킬 수 있다. 이에 따르면, 뇌파측정 시점의 차이값을 보정하여 더 정확하게 바이어스를 예측할 수 있다.
신속하고 정확하게 뇌파를 분류하기 위하여, 배경뇌파의 영향은 최소화하고, 목적뇌파의 차이점은 최대화하는 특징추출필터를 훈련하는 것; 및 상기 특징추출필터로 상기 목적뇌파를 필터링하여 얻은 특징벡터를 이용하여, 상기 목적뇌파를 분류하는 분류기를 훈련하는 것이 포함되는 브레인 컴퓨터 인터페이스를 위한 방법이 개시된다.
상기 방법에서, 상기 특징추출필터의 훈련 및 상기 분류기의 훈련에 사용되는 상기 배경뇌파는, 세션별로 새로 측정하여 뇌파 분류의 신뢰성을 향상시킬 수 있다. 또한, 상기 세션은 한 번을 제외하고는, 상기 배경뇌파만을 새로이 측정하고, 상기 목적뇌파는 세션별로 새로이 측정되지 않고, 저장되어 있는 정보를 활용할 수 있다. 이에 따르면, 매번 추가적인 목적뇌파의 측정이 없이 기존의 목적뇌파를 재활용하여 실험결과를 신속하게 알 수 있어서, 산업적인 적용을 빨리 할 수 있을 뿐만 아니라, 연구자들도 신속하게 실험결과를 알 수 있다.
상기 방법에서, 상기 분류기는, 기존배경뇌파와 현재배경뇌파의 차이값을 이용하여 교정될 수 있다. 또한, 상기 분류기는, 상기 특징추출필터와 현재배경뇌파의 겹치는 부분을 보정하는 값을 인자로 하여 교정될 수 있다. 또한, 상기 분류기는, 오프셋 값이 교정될 수 있다. 이에 따르면, 더 정확한 뇌파의 분류가 가능한 효과가 있다.
본 발명에 따르,면 매번 추가적인 목적뇌파의 측정없이 배경뇌파만 새로이 측정하고 기존의 목적뇌파를 재활용함으로써, 신속하고 정확하게 뇌파를 의미하는 것을 알아낼 수 있어서, 응급한 상황에 대해서도 바로 적응이 가능하고, 피검자의 다양한 내외의 요인에 의해서도 영향을 받지 않고 뇌파가 의미하는 것을 알아낼 수 있다. 나아가서, BCI와 관련되는 실험을 더욱 신속하게 수행할 수 있어서, BCI 기술분야의 발전속도를 더욱 높일 수 있는 효과를 얻을 수 있다.
도 1은 제 1 실시예에 따른 브레인 컴퓨터 인터페이스를 위한 장치의 구성도.
도 2는 제 1 실시예에 따른 브레인 컴퓨터 인터페이스를 위한 방법을 설명하는 흐름도.
도 3은 제 2 실시예에 따른 브레인 컴퓨터 인터페이스를 위한 장치의 구성도.
도 4는 제 2 실시예에 따른 브레인 컴퓨터 인터페이스를 위한 방법을 설명하는 흐름도.
도 5는 실험을 수행한 결과를 설명하는 도표.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하에 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
<제 1 실시예>
도 1은 제 1 실시예에 따른 브레인 컴퓨터 인터페이스를 위한 장치의 구성도이다.
도 1을 참조하면, 두뇌에 적어도 설치되어 뇌파를 측정하는 뇌파 측정기(1), 상기 뇌파 측정기(1)에서 측정된 뇌파 중 중요한 부분의 뇌파를 추출하는 등의 전처리를 수행하는 전처리부(2)와, 배경뇌파의 영향을 최소화하고, 목적뇌파의 차이점은 최대화하는 특징추출필터를 훈련하는 특정추출필터 훈련기(3)와, 상기 특징추출필터 훈련기(3)에서 획득되는 상기 특징추출필터를 이용하여 분류기(classfier)를 훈련하는 분류기 훈련기(4)와, 실험이 수행되는 현재 시각에 획득된 뇌파, 즉 목적뇌파를 상기 분류기 훈련기(4)에서 얻어진 분류기를 이용하여 분류하는 뇌파분류기(5)가 포함될 수 있다.
상기 뇌파측정기(1), 상기 전처리부(2), 상기 훈련기(3), 상기 분류기 훈련기(4)를 이용하여, 분류기를 획득하는 과정은 30분 내지 1시간으로 충분한 결과를 얻을 수 있다. 따라서, 상기 분류기를 이용하는 뇌파 분류기(5)는 피검자에 대한 뇌파의 분류 결과를 바로 얻어낼 수 있다. 이는 병원에 내원 한 인지능력은 있으나 동작능력이 없는 사지 마지 환자에 대한 브레인 컴퓨터 인터페이스를 길어도 한 시간 내에 바로 수행할 수 있는 것을 의미한다.
상기 뇌파 측정기(1)는, 공간(두뇌의 서로 다른 다양한 곳에 설치되는 전극을 지칭할 수 있다)과 시간(시간에 따라서 서로 다르게 검출되는 뇌파의 양상을 지칭할 수 있다)과 주파수(뇌파에 포함되는 서로 다른 주파수를 의미할 수 있다)를 측정할 수 있다. 상기 뇌파 측정기(1)는 일반적으로 다수의 전극이 설치되고 두개골의 외부에 착용하는 장치로 이해할 수 있다. 물론, 두개골의 내부에 장착되는 경우에는 더 정확한 결과를 얻어낼 수 있을 것이다.
상기 전처리부(2)는, 상기 뇌파 측정기(1)에서 측정한 전체 데이터 중에서, 대략적으로 알려져 있는 뇌파를 추출하는 과정을 거친다. 예를 들어, 운동신경(MI)을 생각하는 것 중에서, 오른손과 왼손을 피검자의 대상으로 하는 경우에는, 특정한 하나 이상의 전극이 측정한 뇌파를, 8-10Hz의 주파수대역을, 실험 시작후 0.5~2초 사이에 측정한 신호를 추출할 수 있다. 물론, 피검자가 다른 신경을 생각하는 경우에는 다른 전극(공간적, spatial), 다른 주파수 및 시간(시간적, temporal)의 신호를 추출할 수 있다.
상기 특징추출필터 훈련기(3)의 작용을 더 상세하게 설명한다.
상기 배경뇌파(background noise information)는 피검자가 아무 생각을 하지 않는 때에 추출될 수 있는 뇌파이다. 상기 특징뇌파(feature information)는 피검자가 목적하는 생각을 할 때 추출될 수 있는 뇌파이다.
상기 배경뇌파는 상기 특징추출필터를 사용하는 경우에도 추출될 수 있고, 따라서 상기 특징추출필터에 의해서 추출될 수 있는 상기 특징뇌파에 섞여 있을 수 있다. 결국 상기 특징뇌파에 노이즈가 섞여서 함께 측정되는 것으로서, 실험 시에 피검자가 어떠한 목적(오른손 또는 왼손을 움직이는 것을 생각할 수 있다)을 생각할 때 측정되는 뇌파로서, 노이즈가 섞여 있는 뇌파를 목적뇌파라고 지칭할 수 있다. 상기 특징추출필터 훈련기(3)는 상기 배경뇌파의 영향을 최소화하면서 목적뇌파의 차이점을 극대화하는 과정으로 수행될 수 있다.
상기 특징추출필터 훈련기(3)의 작용은, 피검자에 대하여 아무 생각을 하지 않도록 하고 측정하는 배경뇌파와, 미검자가 목적하는 생각을 하고 측정하는 목적뇌파를 이용하여 훈련할 수 있다. 충분한 데이터의 추출을 위하여 상기 배경뇌파와 상기 목적뇌파의 정보는 수십 회 반복적으로 수행할 수 있다. 이때 상기 배경뇌파와 상기 목적뇌파의 수집은 상기 뇌파 측정기(1)에 의해서 연속하여 측정될 수 있다. 상기 배경뇌파의 측정은 대략 수분 이내의 짧은 시간에 측정될 수 있고, 상기 목적뇌파는 정확한 정보획득을 위하여 수십 분의 시간에 측정될 수 있다.
이러한 과정으로 훈련된 상기 특징추출필터에 따르면, 상기 목적뇌파 중에서도 상기 배경뇌파의 영향은 최소화되고 상기 목적뇌파의 차이점은 최대화됨으로써, 특징뇌파를 정확하게 알아내고 결국 피검자와 더욱 정확하게 통신을 수행할 수 있다.
상기 전처리부(2) 및 상기 특징추출필터 훈련기(3)는, 뇌파의 공간정보(spatial information)과 시간정보(temporal information)를 선택하여 사용할 수 있다. 이는 상기 목적뇌파에 따라서 뇌파의 양상이 달라지기 때문이다. 예를 들어, 다수의 전극 중에서 어느 전극으로부터 획득된 공간정보를 선택하여 사용할 수 있고, 어느 전극이 언제 측정한 정보를 사용할 수 있고, 어느 주파수 대역의 정보를 사용할 것인지를 결정할 수 있다. 즉, 상기 특징추출필터는, 공간정보필터(spatial filter)로 제공될 수도 있고, 시간정보필터(temporal filter)로 제공될 수도 있고, 시공간정보필터(spatial temporal filter)로 제공될 수도 있고, 경우에 따라서, 시간정보 중에서도 주파수와 시간이 서로 분리되는 정보를 사용할 수도 있다. 이는 브레인 컴퓨터 인터페이스에서 알아내고자 하는 생각정보, 즉, 피검자에게 요구하는 것에 의존할 수 있다.
상기 분류기 훈련기(4)는, 상기 목적뇌파를 상기 특정추출필터를 이용하여 필터링하여 특징벡터를 만들고, 상기 특징벡터를 이용하여 분류기를 훈련시키는 과정을 수행할 수 있다. 상기 훈련하는 방법은 초월평면을 사용하는 FLDA(Fisher's Linear Discriminant Analysis), 또는 SVM(Support Vector Machine) 등을 사용할 수 있다.
상기 뇌파분류기(5)는, 상기 분류기 훈련기(4)로부터 제공되는 분류기를 동작시켜서, 피검자로부터 입력된 목적뇌파와 피검자의 생각을 서로 연결시킬 수 있다.
상기 브레인 컴퓨터 인터페이스에서는 당일에 한 시간 정도의 시간이 비교적 정확하게 피검자의 생각을 알아낼 수 있다.
도 2는 제 1 실시예에 따른 브레인 컴퓨터 인터페이스를 위한 방법을 설명하는 흐름도이다. 도 2를 참조함으로써, 도 1의 브레인 컴퓨터 인터페이스를 위한 장치의 구체적인 실시형태도 정확하게 이해할 수 있을 것이다.
상기 뇌파측정기(1)를 이용하여 피검자의 뇌파를 측정한다. 이때에는, 상기 목적뇌파와 상기 배경뇌파를 모두 측정할 수 있다(S1). 측정된 뇌파는 상기 전처리부(2)에 의해서 대략적인 시간정보 및 공간정보가 전처리되어 엄정한 분석이 필요한 뇌파정보만을 추출할 수 있다(S2).
이후에는 상기 배경뇌파의 영향은 최소화되고, 분류대상뇌파, 즉 목적뇌파 간의 차이가 최대화되도록 뇌파를 추출할 수 있는 특징추출필터를 훈련한다(S3). 상기 목적뇌파에는 상기 특징뇌파와 노이즈가 함께 있고, 상기 특징뇌파는 상기 운동신경을 예로 들면, 오른손과 왼손을 각각 생각하게 하고, 어느 쪽을 생각하는 뇌파인지를 구분할 수 있는 뇌파일 수 있다. 이하에서는 상기 특징뇌파는, 피검자가 오른손 왼손을 움직이는 생각을 하는 것을 예로 들어 설명한다.
상기 특징추출필터을 알아내는 과정(S3)을 더 상세하게 설명한다.
먼저, 상기 특징추출필터는 상기 배경뇌파의 영향을 최소화하고 상기 목적뇌파 간의 차이를 최대화하는 것임을 제시한 바가 있다. 이는 수학식 1로 표시할 수 있다.
Figure 112016016607999-pat00011
여기서, i는 라벨로서, 오른손을 생각할 때에는 1이라 하고 왼손을 생각할 때에는 2라고 라벨을 붙일 수 있다. wi는 상기 특징추출필터의 웨이트(가중치)로서, 공간별-즉, 전극별-로 달라지는 값이다. 상기 웨이트는 사용하지 않고자 하는 뇌파신호에 대해서는 0을 가하거나 약하게 사용하고 하는 뇌파에 대해서는 작은 가중치를 가하는 등의 작용을 수행할 수 있다. 상기 C는 상기 목적뇌파의 공분산이다. 상기
Figure 112016016607999-pat00012
에서 하첨자 c는 여집합의 의미를 나타내므로 {i}c는 i를 제외하는 라벨의 공분산을 나타낸다. 상기 Ξ는 상기 배경뇌파의 공분산이다.
상기 수학식 1에 따르면, 상기 특징추출필터를 최적화하여 훈련할 때, 상기 목적뇌파 간의 차이점은 최대화시키고(수학식 1의 앞쪽 항), 상기 배경뇌파와 특징추출필터의 공통점은 최소화하는 것으로(수학식 1의 뒷쪽 항) 이해할 수 있다.
상기 배경뇌파와 상기 특징추출필터의 공통점이 최소화한다는 것은, 특징추출필터가 배경뇌파는 추출하지 않도록 하는 것이다. 상세하게는, 뇌파를 측정하는 전극 위치에 따라서 2차원 평면으로 펼쳐 놓은 형상에서 볼 때, 가중치 값이 배경뇌파와 특징추출필터의 패턴이 서로 겹치지 않도록 하는 것으로 이해할 수 있다.
상기 수학식 1은 풀기가 어려우므로, 수학식 2로 다시 모델링할 수 있다.
Figure 112016016607999-pat00013
상기 수학식 2는, 상기 수학식 1의 뒷쪽 항을 상기 수학식 1의 앞쪽 항의 분모로 넣고, 이로써, 상기 수학식 1의 앞쪽 항의 분모가 최소가 됨으로써, 상기 수학식 1의 앞쪽 항이 최대가 되도록 모델링하였다. 실시예 외에도 다양한 최적화 기법이 제공될 수도 있을 것이다. 상기 수학식 2에서 ξ는 소정의 매개값으로 이해할 수 있다.
상기 수학식 2는 고유벡터문제로서, 일반화된 고유벡터문제인 수학식 3으로 등가변환될 수 있다.
Figure 112016016607999-pat00014
상기 수학식 3은 라벨마다, 즉 오른손, 왼손, 각각에 대하여 최적화할 수 있다. 수학식 3에 의해서 상기 특징추출필터가 훈련되어 제공될 수 있다.
위의 수학식 1 내지 수학식 3은 공간적 정보, 특 뇌파를 측정하는 전극에 대해서만 필터링 하는 공간필터(spatial filter)를 적용하는 경우에 대하여 설명하였다. 그러나 이에 제한되지 않고 시공간 필터를 적용하는 경우로 확장할 수 있다.
공간필터를 사용하는 경우에 적용되는 수학식 2의 모델링은 수학식 4로 나타낼 수 있다.
Figure 112016016607999-pat00015
여기서,
Figure 112016016607999-pat00016
는 시공간 정보를 모두 활용하는 특징추출필터이고,
Figure 112016016607999-pat00017
는 시공간 정보를 모두 활용하는 배경뇌파의 공분산이고,
Figure 112016016607999-pat00018
는 시공간 정보를 모두 활용하는 목적뇌파의 공분산이다. 이 경우에도 왼손과 오른손을 분류하는 것이기 때문에, 라벨은 1과 2 두 가지 경우가 있다.
상기 수학식 4는 고유벡터문제로서, 일반화된 고유벡터문제인 수학식 5로 등가변환될 수 있다.
Figure 112016016607999-pat00019
상기 수학식 5를 풀면 시공간 정보를 모두 활용하는 특징추출필터를 훈련시킬 수 있다.
상기 특징추출필터 훈련단계(S3)에서 제공되는 특징추출필터를 이용하여, 목적뇌파의 특징을 추출하여 특징뇌파의 특징벡터를 만들고, 상기 특징벡터를 이용하여 분류기를 훈련시킨다(S4). 여기서, 분류기를 훈련하는 알고리즘은 초월평면을 사용하는 FLDA, 또는 SVM 등을 이용할 수 있다.
상기되는 과정에 있어서, 뇌파측정단계(S1)의 수행 시간을 대략 30분 정도 수행하고, 컴퓨터를 이용하여 그 외의 단계를 간단히 수행함으로써, 대략 30분~1시간 정도의 시간을 수행하여 분류기를 제작할 수 있다.
상기 분류기 훈련의 결과 분류기가 제공되면, 현재 시각에서 실시간으로 피검자의 뇌파를 측정하고 통신을 수행할 수 있다(S5).
제 1 실시예에 따르면, 피검자의 뇌파를 1시간에 이르는 시간을 이용함으로서 브레인 컴퓨터 인터페이스의 동작을 수행할 수 있다. 또한, 현재 상태의 배경뇌파의 영향을 최소화하는 특징추출필터를 제공함으로써, 현재 시점에서 피검자에게 최적인 특징추출필터를 이용하여 브레인 컴퓨터 인터페이스의 정확도를 더욱 향상시킬 수 있다.
<제 2 실시예>
본 발명의 제 2 실시예는 제 1 실시예와 많은 부분에서 동일하지만, 피검자가 다수의 세션(session)별로 뇌파를 측정할 수 있는 경우에, 실시간으로 더 정확한 분류기를 얻도록 하는 것에 그 일 특징이 있다. 여기서, 상기 세션은 배경뇌파가 달라질 수 있는 상황별로 적어도 상기 배경뇌파를 새로이 측정하는 것을 의미한다. 예를 들어 상기 세션은 하루에 한 번씩 측정될 수 있다. 제 1 실시예와 중복되는 부분은 제 1 실시예의 설명이 적용되는 것으로 하고 구체적인 설명을 생략한다.
도 3은 제 2 실시예에 따른 브레인 컴퓨터 인터페이스를 위한 장치의 구성도이다.
도 3을 참조하면, 두뇌에 적어도 설치되어 뇌파를 측정하는 뇌파 측정기(11), 상기 뇌파 측정기(11)에서 측정된 뇌파 중 중요한 부분의 뇌파를 추출하는 등의 전처리를 수행하는 전처리부(12)와, 배경뇌파의 영향을 최소화하고, 목적뇌파 간의 차이는 최대화하는 특징추출필터를 훈련하는 특정추출필터 훈련기(13)와, 상기 특징추출필터를 이용하여 분류기(classfier)를 훈련하는 분류기 훈련기(14)와, 검사가 수행되는 현재 시각에 획득된 뇌파를 상기 분류기 훈련기(14)에서 얻어진 분류기를 이용하여 뇌파를 분류하는 뇌파분류기(15)가 포함될 수 있다.
이에 더해서, 상기 뇌파측정기(11)에서 측정된 뇌파가 저장되는 데이터 베이스(16), 상기 전처리부(11)에서 처리되는 세션이 다른 두 개의 배경뇌파-현재의 세션과 이전의 세션 두 개의 배경뇌파일 수 있다-를 사용하여 현재 시각에서의 배경뇌파의 차이값을 구하는 배경뇌파 차이값 산출부(17), 상기 특징추출필터 훈련기(13)에서 추출되는 특징추출필터와 상기 현재 시각에서의 배경뇌파와 상기 분류기 훈련기(14)에서 추출되는 분류기를 이용하여 분류기 바이어스를 예측하는 분류기 바이어스 예측부(18), 및 상기 배경뇌파 차이값 산출부(17)에 출력되는 배경뇌파의 차이값, 및 상기 분류기 바이어스 예측부(18)에서 출력되는 분류기 바이어스 예측값을 이용하여 분류기를 교정하는 분류기 교정부(19)가 더 포함된다.
상기되는 장치에 따르면, 현재의 배경뇌파와 과거의 배경뇌파와의 차이값을 이용하는 것, 상기 특징추출필터에 추출되는 정보에도 배경뇌파가 섞여 있을 수 있는 것을 활용하여, 분류기를 더 정확하게 교정할 수 있다.
한편, 상기 데이터 베이스(16)에는 상기 배경뇌파와 상기 목적뇌파가 저장될 수 있다. 상기 배경뇌파와 상기 목적뇌파는 세션마다 측정되어 보관될 수 있다. 상기 배경뇌파는 세션마다 서로 달리 저장될 수 있고, 상기 목적뇌파는 세션마다 달라지지 않고 어느 한 세션에서 획득된 목적뇌파가 세션별로 공통하여 사용될 수 있다. 이는 상기 목적뇌파는 어느 한 세션에서 다수의 측정을 통하여 변화가 없이 정확한 값을 획득할 수 있기 때문이다.
도 4는 제 2 실시예에 따른 브레인 컴퓨터 인터페이스를 위한 방법을 설명하는 흐름도이다. 도 4를 참조함으로써, 도 3의 브레인 컴퓨터 인터페이스를 위한 장치의 구체적인 실시형태도 정확하게 이해할 수 있을 것이다.
도 4를 참조하면, 분류대상뇌파인 목적뇌파를 측정한다(S31). 이후에는 배경뇌파를 측정한다(S32). 현재 시점에서 측정된 상기 배경뇌파와 상기 목적뇌파는 데이터 베이스에 저장된다(S37). 상기 세션이 반복됨에 따라서 배경뇌파와 목적뇌파는 축적되어 데이터 베이스(16)에 저장될 수 있다. 상기 목적뇌파는 하나가 아니라도 좋고, 피검자의 시간이 허용할 때에 세션별로 수행되어 데이터 베이스에 그 분류결과와 함께 저장될 수 있다. 다만, 배경뇌파는 세션마다 반드시 수행되어 상기 데이터 베이스에 저장된다.
상기 데이터 베이스에 저장되는 뇌파 중에서 특징뇌파를 잘 분류해 낸 때의 기존배경뇌파와, 현재의 배경뇌파인 현재배경뇌파를 전처리한다(S33).
이후에, 상기 현재배경뇌파의 영향은 최소화되고 분류대상인 목적뇌파-여기서 상기 목적뇌파는 기존배경뇌파를 측정할 때 획득된 세션의 목적뇌파를 이용할 수 있다-사이의 차이는 최대화 되도록 특징추출필터를 훈련한다(S34). 이후에는 상기 특징추출필터를 이용하여 목적뇌파를 필터링하여 특징뇌파의 특징벡터를 추출하여 분류기를 훈련한다(S35). 이로써, 목적뇌파를 측정한 경우이거나 측정하지 않은 경우이거나 분류기를 더 정확하게 교정할 수 있다. 물론, 첫번째 반복 단계에서는 분류대상뇌파가 없으므로 현재의 분류대상뇌파를 목적뇌파로 사용할 수도 있다.
상기 전처리과정(S33), 상기 특징추출필터훈련과정(S34), 및 상기 분류기훈련과정(S35)에 대하여 부족한 부분은 상기 제 1 실시예의 설명과 동일한 설명이 적용될 수 있다.
상기 분류기가 획득된 다음에는, 세션별 배경뇌파의 차이, 특징추출필터의 불완전성을 개선하기 위하여 분류기 바이어스를 예측하고 이를 이용하여 분류기를 교정한다(S36).
상기 분류기 교정과정(S36)을 더 상세하게 설명한다.
먼저, 상기 배경뇌파 간의 차이값을 보정하는 것에 대하여 설명한다. 이를 위하여, 상기 현재배경뇌파와 상기 기존배경뇌파-이 값은 데이터 베이스 추출단계(S38)에서 추출된 값을 이용할 수 있다-와의 차이값을 정규화한 값으로 구한다.
예를 들면, 어느 데이터 집단에 있어서, 데이터 분포 간의 거리를 구하기 위하여 KL 거리(kullback-Leilber distance)를 이용한다. 구체적으로는, 상기 두 배경뇌파 사이의 KL거리를 분자로 하고, 상기 두 배경뇌파 각각과 단위행렬 사이의 KL거리를 분모로 하는 수학식 6을 제안할 수 있다.
Figure 112016016607999-pat00020
여기서,
Figure 112016016607999-pat00021
는 상기 기존배경뇌파의 공분산이고,
Figure 112016016607999-pat00022
는 상기 현재배경뇌파의 공분산이고, I는 단위행렬이고,
Figure 112016016607999-pat00023
는 요소 간의 대칭 KL 거리를 나타낸다.
상기 수학식 6에 따르면, 정규화한 값으로서 상기 현재배경뇌파와 상기 기존배경뇌파와의 차이값을 알아낼 수 있다. 물론 상기 현재배경뇌파와 상기 기존배경뇌파와의 차이값을 알아내는 방법은 KL 거리가 아닌 다른 방법을 이용할 수도 있다. 상기 현재배경뇌파와 상기 기존배경뇌파와의 차이값은 분류기의 바이어스 예측값을 스케일링하는 값으로서 뒤에 사용될 수 있다.
상기 특징추출필터의 부정확성, 즉, 바이어스되는 것을 보정하는 것에 대하여 설명한다. 먼저, 상기 특징추출필터의 획득단계(S34)에서 획득된 특징추출필터에 상기 현재배경뇌파를 정사영하여 각 상기 특징추출필터에서 예상되는 예상전이값을 구한다. 상기 예상전이값은 수학식 7로 주어질 수 있다.
Figure 112016016607999-pat00024
상기 수학식 7은, 상기 특징추출필터(wi)를 통과하여 추출된 정보가 상기 현재배경뇌파와 겹치는 부분이 있을 수 있으므로 이를 보정하는 값을 의미할 수 있다. 만약 전혀 겹치는 것이 없다면 영으로 산출될 수 있다. 로그값을 취하는 의미는 분류기의 훈련단계(S35)에서 훈련의 과정 중에 로그스케일을 이용하기 때문에 추가적으로 수행될 수 있다.
상기 전이예상값은 각 특징추출필터마다 제공될 수 있고, 이를 모아서 벡터Φ로 표현할 수 있고, 분류기 바이어스 예측값은 최종적으로 수학식 8로 표시할 수 있다.
Figure 112016016607999-pat00025
여기서, ε은 분류기의 바이어스 예측값이고,
Figure 112016016607999-pat00026
는 상기 분류기의 훈련단계(S35)에서 FLDA방법-일 예시에 지나지 않는다-으로 획득된 분류기의 기울기 값이고,
Figure 112016016607999-pat00027
는 상기 분류기의 훈련단계(S35)에서 FLDA방법으로 획득된 분류기가 기준축을 통과하는 교점값으로 이해할 수 있다. 상기 방법에 의해서 분류기의 바이어스 예측값이 산출될 수 있다. 상기 수학식 8도 일 예시에 지나지 않는다.
마지막으로, 상기 분류기의 바이어스 예측값(ε)을 상기 현재배경뇌파와 상기 기존배경뇌파와의 차이값(S)으로 스케일링한 다음에 분류기를 교정한다. 상기 분류기의 바이어스 예측값(ε)을 상기 현재배경뇌파와 상기 기존배경뇌파와의 차이값(S)으로 스케일링하는 것은, 상기 분류기의 바이어스 예측값(ε)은 상기 현재배경뇌파를 이용하여 예측된 것이고(수학식 7참조), 상기 목적뇌파는 상기 기존배경뇌파를 측정할 때의 뇌파이기 때문이다. 이는 상기 목적뇌파를 세션마다 측정하는 것은 많은 시간이 걸리므로, 피검자의 편의를 도모하고, 목적뇌파는 시간에 따라서 크게 변경하지 않기 때문이다.
수학식 9는 분류기를 교정하는 것을 표현하였다.
Figure 112016016607999-pat00028
상기 수학식 9를 참조하면, 분류기에서 축과의 교점값-이는 오프셋 값이라고 할 수 있다-이 Sε만큼 변경된 것을 확인할 수 있다.
상기 분류기의 교정과정(S36)은 세션별로 계속 수행될 수 있다(S39). 세션별로 계속해서 수행한 분류기의 교정은 분류기의 정확도를 높일 수 있다. 따라서, 피검자는 배경뇌파만 측정하면, 언제든지 정확하게 동작하는 분류기를 얻을 수 있다.
다른 세션으로 상기 분류기를 개선하는 것이 아니라면, 분류대상뇌파를 새로이 측정하는 것인지를 판단하여(S40), 분류대상뇌파를 측정하여 분류기 교정단계(S36)에서 교정된 분류기를 이용하여 뇌파를 분류할 수 있다(S41).
도 5는 실험을 수행한 결과를 설명하는 도표이다.
도 5를 참조하면, 상기 공통공간필터(CSP:common spatial pattern)를 이용하는 방식(첫번째 칼럼)과, Blankertz B, Kawanabe M, Tomioka R, Hohlefeld F U, Nikulin V and Muller K-R 2008 Invariant common spatial patterns: alleviating nonstationarities in brain computer interfacing Adv . Neural Inform. Process. Syst. 20 113-2에 소개되는 불변공통공간필터(iCSP: invariant common spatial pattern)를 이용하는 방식(두번째 칼럼)과, 상기 불변공간필터를 이용함과 동시에 배경뇌파를 최소화시키는 본 발명의 일 실시예를 이용하는 방식(세번째 칼럼)과, Samek W, Vidaurre C, Muller K-R and Kawanabe M 2012 Stationary common spatial patterns for brain omputer interfacing J. Neural Eng . 9 026013에 소개되는 정적공통공간필터(sCSP: statinary common spatial pattern)을 이용하는 방식(네번째 칼럼)과, 정규화된시공간필터(RSTF:regularized spatiotemporal filter)를 이용하는 방식(다섯번째 칼럼)과, 정규화된시공간필터(RSTF:regularized spatiotemporal filter)를 이용함과 동시에 배경뇌파를 최소화시키는(제 1 실시예) 본 발명의 일 실시예를 이용하는 방식(여섯번째 칼럼)과, 정규화된시공간필터(RSTF:regularized spatiotemporal filter)를 이용함과 동시에 배경뇌파를 최소화시키고(제 1 실시예) 분류기를 교정하는(제 2 실시예) 본 발명의 일 실시예를 이용하는 방식(일곱번째 칼럼)의 세션별 실험결과를 비교하여 나타낸다.
실험에 따르면, 배경뇌파를 최소화하는 방식 및/또는 분류기의 바이어스를 교정하는 방식이 적용되는 분류기가, 최대한 성공적으로 브레인 컴퓨터 인터페이스의 역할을 수행할 수 있는 것을 알 수 있다.
본 발명의 실시예는 다른 실시예를 더 포함할 수 있다. 예를 들어, 분류기의 바이어스 예측값은 다른 산술식으로도 제공될 수 있을 것이다. 또한, 목적뇌파를 다수회 반복하여 획득하고 저장함으로써, 더 좋은 목적뇌파를 획득할 수 있으므로 더 좋은 분류기를 얻을 수 있다.
본 발명에 따르면, 배경뇌파만을 사용하여 데이터 재활용성을 높임으로써, 정확하고, 간단하고, 신속하게 작용을 수행하는 브레인 컴퓨터 인터페이스를 위한 장치 및 방법을 얻을 수 있다. 또한, 산업계는 물론이고 학계에서도 본 발명의 사상을 적용함으로써 더욱 신속하게 실험을 수행할 수 있으므로, 그 적용이 크게 기대된다고 할 수 있다.
3: 특징추출필터 훈련기
4: 분류기 훈련기

Claims (17)

  1. 일정 기간 동안 배경 뇌파 및 목적 뇌파를 복수회 측정하는 뇌파 측정기;
    상기 뇌파 측정기에서 측정된 상기 배경뇌파의 영향은 최소화하고, 복수의 목적뇌파간의 차이점은 최대화하는 특징추출필터를 훈련하는 특징추출필터 훈련기; 및
    상기 특징추출필터로 상기 목적뇌파를 필터링하여 얻은 특징벡터를 이용하여, 상기 목적뇌파를 분류하는 분류기를 훈련하는 분류기 훈련기가 포함되고,
    상기 특징추출필터는 가중치 값을 이용하여 측정된 배경 뇌파를 최소화하고, 복수의 목적 뇌파간의 차이점을 극대화하여 배경뇌파를 추출하지 않는 브레인 컴퓨터 인터페이스를 위한 장치.
  2. 제 1 항에 있어서,
    상기 배경뇌파와 상기 목적뇌파를 전처리하는 전처리기; 및
    상기 뇌파측정기에서 측정되는 임의의 목적뇌파를 상기 분류기를 통하여 분류하는 뇌파분류기를 더 포함하는 브레인 컴퓨터 인터페이스를 위한 장치.
  3. 제 1 항에 있어서,
    상기 특징추출필터는 공간정보, 주파수정보, 및 시간정보 중에서 적어도 하나를 필터링하는 브레인 컴퓨터 인터페이스를 위한 장치.
  4. 제 1 항에 있어서,
    상기 특징추출필터가 공간정보를 필터링하는 경우에, 상기 특징추출필터는,
    Figure 112016016607999-pat00029
    로 획득될 수 있고,
    여기서, i는 라벨이고, wi는 상기 특징추출필터이고, C는 상기 목적뇌파의 공분산이이고, Ξ는 상기 배경뇌파의 공분산인 브레인 컴퓨터 인터페이스를 위한 장치.
  5. 제 4 항에 있어서,
    상기 특징추출필터는,
    Figure 112016016607999-pat00030
    로 모델링되고,
    ξ는 소정의 매개값인 브레인 컴퓨터 인터페이스를 위한 장치.
  6. 제 1 항에 있어서,
    상기 특징추출필터가 시공간정보를 필터링 하는 경우에, 상기 특징추출필터는,
    Figure 112016016607999-pat00031
    로 획득될 수 있고,
    여기서, i는 라벨이고,
    Figure 112016016607999-pat00032
    는 특징추출필터이고,
    Figure 112016016607999-pat00033
    는 배경뇌파의 공분산이고,
    Figure 112016016607999-pat00034
    는 목적뇌파의 공분산인 브레인 컴퓨터 인터페이스를 위한 장치.
  7. 제 1 항에 있어서,
    기존에 측정된 기존배경뇌파와 현재 측정된 현재배경뇌파의 차이값을 산출하는 배경뇌파 차이값 산출부;
    상기 특징추출필터와, 상기 현재배경뇌파와 상기 분류기를 이용하여 분류기 바이어스를 예측하는 분류기 바이어스 예측부; 및
    상기 분류기 바이어스 예측부에서 예측되는 분류기 바이어스 예측값을 이용하여, 상기 분류기를 교정하는 분류기 교정부가 더 포함되는 브레인 컴퓨터 인터페이스를 위한 장치.
  8. 제 7 항에 있어서,
    상기 배경뇌파 차이값 산출부는, 상기 기존배경뇌파와 상기 현재배경뇌파의 차이값을
    Figure 112016016607999-pat00035
    로 획득하고,
    여기서,
    Figure 112016016607999-pat00036
    는 상기 기존배경뇌파의 공분산이고,
    Figure 112016016607999-pat00037
    는 상기 현재배경뇌파의 공분산이고, I는 단위행렬이고,
    Figure 112016016607999-pat00038
    는 요소 간의 대칭 KL 거리인 브레인 컴퓨터 인터페이스를 위한 장치.
  9. 제 7 항에 있어서,
    상기 분류기 바이어스 예측부는, 상기 특징추출필터에 상기 현재배경뇌파를 정사영함으로써 얻어지는 상기 특징추출필터에서 예상되는 예상 전이값을, 상기 분류기에 대입하여 상기 분류기 바이어스 예측값을 산출하는 브레인 컴퓨터 인터페이스를 위한 장치.
  10. 제 9 항에 있어서,
    상기 분류기 교정부에서는, 상기 분류기 바이어스 예측값을 상기 기존배경뇌파와 상기 현재배경뇌파의 차이값으로 스케일링하여, 분류기의 오프셋 값을 천이시키는 브레인 컴퓨터 인터페이스를 위한 장치.
  11. 일정 기간 동안 배경 뇌파 및 목적 뇌파를 복수회 측정 하는 단계;
    상기 측정된 배경뇌파의 영향은 최소화하고, 상기 측정된 복수의 목적뇌파간의 차이점은 최대화하는 특징추출필터를 훈련하는 단계; 및
    상기 특징추출필터로 상기 목적뇌파를 필터링하여 얻은 특징벡터를 이용하여, 상기 목적뇌파를 분류하는 분류기를 훈련하는 단계를 포함하고,
    상기 일정 기간 동안 배경 뇌파 및 목적 뇌파를 복수회 측정하는 단계는
    상기 배경뇌파는 세션별로 각각 측정하고, 상기 목적 뇌파는 한 세션에서만 측정하는 단계를 포함하는
    브레인 컴퓨터 인터페이스를 위한 방법.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 세션은 한 번을 제외하고는, 상기 배경뇌파만을 새로이 측정하는 브레인 컴퓨터 인터페이스를 위한 방법.
  14. 제 11 항에 있어서,
    상기 목적뇌파는 세션별로 새로이 측정되지 않고, 저장되어 있는 정보를 활용하는 브레인 컴퓨터 인터페이스를 위한 방법.
  15. 제 11 항에 있어서,
    상기 분류기는, 기존배경뇌파와 현재배경뇌파의 차이값을 이용하여 교정되는 브레인 컴퓨터 인터페이스를 위한 방법.
  16. 제 11 항에 있어서,
    상기 분류기는, 상기 특징추출필터와 현재배경뇌파의 겹치는 부분을 보정하는 값을 인자로 하여 교정되는 브레인 컴퓨터 인터페이스를 위한 방법.
  17. 제 11 항에 있어서,
    상기 분류기는, 오프셋 값이 교정되는 브레인 컴퓨터 인터페이스를 위한 방법.
KR1020160019607A 2016-02-19 2016-02-19 브레인 컴퓨터 인터페이스를 위한 장치 및 방법 KR101741739B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160019607A KR101741739B1 (ko) 2016-02-19 2016-02-19 브레인 컴퓨터 인터페이스를 위한 장치 및 방법
US15/362,818 US10413204B2 (en) 2016-02-19 2016-11-29 Apparatus and method for brain computer interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160019607A KR101741739B1 (ko) 2016-02-19 2016-02-19 브레인 컴퓨터 인터페이스를 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101741739B1 true KR101741739B1 (ko) 2017-05-31

Family

ID=59052422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160019607A KR101741739B1 (ko) 2016-02-19 2016-02-19 브레인 컴퓨터 인터페이스를 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US10413204B2 (ko)
KR (1) KR101741739B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030612A (ko) * 2017-09-14 2019-03-22 고려대학교 산학협력단 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법
KR20190030611A (ko) * 2017-09-14 2019-03-22 고려대학교 산학협력단 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법
KR20190134338A (ko) * 2018-05-25 2019-12-04 고려대학교 산학협력단 전극별 주파수 가중치 필터를 이용한 csp 기반의 운동심상 분류 장치 및 그 방법
CN111191509A (zh) * 2019-11-28 2020-05-22 燕山大学 基于scsp-lda的脑电信号特征提取与分类方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111954290B (zh) * 2018-03-30 2023-04-18 Oppo广东移动通信有限公司 电子装置、功率调整方法及相关产品
WO2020032239A1 (ja) * 2018-08-09 2020-02-13 株式会社ジオクリエイツ 情報出力装置、設計支援システム、情報出力方法及び情報出力プログラム
CN110123313B (zh) * 2019-04-17 2022-02-08 中国科学院深圳先进技术研究院 一种自训练脑机接口系统及相关训练方法
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN113536882B (zh) * 2021-03-08 2023-04-07 东北电力大学 一种多类运动想象脑电信号特征提取及分类方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101553256B1 (ko) * 2014-03-06 2015-09-15 광주과학기술원 Bci 시스템의 신뢰성 향상 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101553256B1 (ko) * 2014-03-06 2015-09-15 광주과학기술원 Bci 시스템의 신뢰성 향상 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030612A (ko) * 2017-09-14 2019-03-22 고려대학교 산학협력단 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법
KR20190030611A (ko) * 2017-09-14 2019-03-22 고려대학교 산학협력단 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법
KR102143910B1 (ko) * 2017-09-14 2020-08-12 고려대학교 산학협력단 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법
KR102143900B1 (ko) * 2017-09-14 2020-08-12 고려대학교 산학협력단 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법
KR20190134338A (ko) * 2018-05-25 2019-12-04 고려대학교 산학협력단 전극별 주파수 가중치 필터를 이용한 csp 기반의 운동심상 분류 장치 및 그 방법
KR102187580B1 (ko) * 2018-05-25 2020-12-07 고려대학교 산학협력단 전극별 주파수 가중치 필터를 이용한 csp 기반의 운동심상 분류 장치 및 그 방법
CN111191509A (zh) * 2019-11-28 2020-05-22 燕山大学 基于scsp-lda的脑电信号特征提取与分类方法
CN111191509B (zh) * 2019-11-28 2023-04-18 燕山大学 基于scsp-lda的脑电信号特征提取与分类方法

Also Published As

Publication number Publication date
US10413204B2 (en) 2019-09-17
US20170238831A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
KR101741739B1 (ko) 브레인 컴퓨터 인터페이스를 위한 장치 및 방법
EP3617815B1 (en) Work support device, work support method, and work support program
Kang et al. An efficient detection of epileptic seizure by differentiation and spectral analysis of electroencephalograms
Klug et al. The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data
EP3617965A1 (en) Performance measurement device, performance measurement method and performance measurement program
US20200074361A1 (en) Performance measurement device, performance measurement method and performance measurement program
WO2021075548A1 (ja) 脳状態推定装置、コンピュータプログラム、脳状態推定方法、脳機能の検査システムおよび方法
CA3091762A1 (en) Systems and methods for detection and correction of abnormal movements
CN115376694B (zh) 一种肢体功能障碍的多模态自适应评估系统及方法
CN115329818A (zh) 基于vr的多模态融合注意力评估方法、系统及存储介质
Sharma et al. On the use of temporal and spectral central moments of forearm surface EMG for finger gesture classification
Nunes et al. Automatic classification and severity estimation of ataxia from finger tapping videos
CN114129169A (zh) 一种生物电信号数据识别方法、系统、介质和设备
Hurtado-Rincon et al. Motor imagery classification using feature relevance analysis: An Emotiv-based BCI system
CN110801227B (zh) 基于可穿戴设备的立体色块障碍测试的方法和系统
Joch et al. Inference statistical analysis of continuous data based on confidence bands—Traditional and new approaches
CN113128585A (zh) 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
Aram et al. Model-based estimation of intra-cortical connectivity using electrophysiological data
CN113143275B (zh) 一种样本与特征质量联合量化评估的脑电疲劳检测方法
US11701042B2 (en) Signal processing apparatus and signal processing method
CN113100736A (zh) 脑血流自主神经障碍评估装置、系统及存储介质
JP2021087761A (ja) 信号分離装置、プログラムおよび信号分離方法
Ziegler et al. Computational models for near-real-time performance predictions based on physiological measures of workload
KR20160022578A (ko) 뇌파검사 장치
Cimr et al. Enhancing EEG signal analysis with geometry invariants for multichannel fusion

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant