KR20110085952A - 적응형 뇌-컴퓨터 인터페이스 장치 - Google Patents

적응형 뇌-컴퓨터 인터페이스 장치 Download PDF

Info

Publication number
KR20110085952A
KR20110085952A KR1020110055735A KR20110055735A KR20110085952A KR 20110085952 A KR20110085952 A KR 20110085952A KR 1020110055735 A KR1020110055735 A KR 1020110055735A KR 20110055735 A KR20110055735 A KR 20110055735A KR 20110085952 A KR20110085952 A KR 20110085952A
Authority
KR
South Korea
Prior art keywords
stimulus
stimulation
computer interface
user
brain
Prior art date
Application number
KR1020110055735A
Other languages
English (en)
Other versions
KR101149002B1 (ko
Inventor
김기응
김진형
박재영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110055735A priority Critical patent/KR101149002B1/ko
Publication of KR20110085952A publication Critical patent/KR20110085952A/ko
Application granted granted Critical
Publication of KR101149002B1 publication Critical patent/KR101149002B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 적응형 뇌-컴퓨터 인터페이스 장치에 관한 것으로, 해결하고자 하는 기술적 과제는 최대한 빠른 시간 안에 정확하게 사용자가 원하는 명령어를 찾아낼 수 있도록 상황에 맞추어 적응적으로 자극의 순서를 결정할 수 있는 적응형 뇌-컴퓨터 인터페이스 장치를 제공하는데 있다.
이를 위해 본 발명에 따른 적응형 뇌-컴퓨터 인터페이스 장치는 자극을 생성하고 사용자에게 자극을 가하는 자극 생성 장치와, 상기 자극에 의해 발생되는 사용자의 뇌파 신호를 기록하는 신호 수집 장치와, 상기 뇌파 신호로부터 상기 자극에 대한 P300의 특질을 추출하는 전처리 장치와, 상기 전처리 장치의 추출 신호로부터 상기 P300의 존재 여부를 판단하는 해석 장치 및 상기 해석 장치의 관측으로부터 현재 상태를 추론하고 상기 현재 상태에 대한 최적 자극을 선택하여 상기 자극 생성 장치의 자극 순서를 결정하는 자극 순서 결정 장치를 포함하는 것을 특징으로 한다.

Description

적응형 뇌-컴퓨터 인터페이스 장치{ADAPTIVE BRAIN-COMPUTER INTERFACE DEVICE}
본 발명은 적응형 뇌-컴퓨터 인터페이스 장치에 관한 것으로, 단위 시간당 입력할 수 있는 명령어 및 메시지의 수를 향상시킨 적응형 뇌-컴퓨터 인터페이스 장치에 관한 것이다.
일반적으로 뇌-컴퓨터 인터페이스는 물리적인 행동을 사용하지 않고 뇌의 활동을 사용하여 외부 장치에 명령어 및 메시지를 내리는 장치를 말하며, 특히 신체장애자들의 의사 표현 및 장치 제어에 큰 도움을 줄 수 있다.
이러한 뇌-컴퓨터 인터페이스를 구성함에 있어, 뇌에 직접적으로 전극을 삽입하여 뇌의 활동을 측정하는 침습형 방법과 두개골 외부에서 관측되는 뇌파를 이용하여 뇌의 활동을 측정하는 비침습형 방법이 사용된다.
비침습형 방법을 이용하여 측정되는 뇌파(Electroencephalogram; EEG)는 뇌의 뉴런들에 의해 발생하는 전기적 신호이다.
이러한 전기적 신호는 뇌파를 측정하는 전극 주위에 존재하는, 수천에서 수백만 뉴런들의 동시적인 전기 활동의 합을 나타낸다.
사용자가 집중하고 있는 체성(體性) 자극이 주어지면 뇌파에는 해당 자극에 따른 사건 연계 전위(Event-Related Potentials; ERPs)가 발생하게 된다.
P300은 자극이 주어진 이후 약 300ms 이후에 발생하는 사건 연계 전위에서의 + 전위로 향하는 피크를 말하며, P300은 뇌-컴퓨터 인터페이스를 구성함에 있어 신뢰할 수 있는 뇌의 활동으로 알려져 있다.
이러한 P300을 이용하여 뇌-컴퓨터를 구성하기 위해 활발히 연구되어 온 실시 예는 P300 speller로 뇌파를 이용하여 키보드 입력을 하기 위한 장치이다.
P300 speller에서는 6x6 행렬에 문자가 배열되어 있고, 사용자는 이 36개의 문자 중 자신이 입력하고자 하는 문자를 주시한다. 각 행과 열의 문자들이 임의의(random) 순서로 짧은 시간 동안 밝아졌다가 어두워지는 형태의 자극이 사용자에게 주어진다.
이러한 자극이 주어지는 상황에서 사용자가 응시하고 있는 문자에 자극이 주어지게 되면 사건 연계 전위가 뇌파에 나타나게 되고, 자극이 주어진 약 300ms 이후에는 뇌파에 P300이 발생한다.
뇌-컴퓨터 인터페이스는 이러한 P300 신호를 인식하여 사용자가 응시하고 있는 문자를 찾아낼 수 있게 된다. 즉, 어떤 자극에 대응되는 뇌의 신호에 P300이 존재한다면, 사용자가 해당 자극에 대응되는 문자를 입력하기 원한다고 해석할 수 있고, P300이 검출되지 않는다면, 사용자가 해당 자극에 대응되는 문자의 입력을 원하지 않는다고 해석할 수 있다.
또한, P300 speller에서 행렬의 크기를 조절하여 입력할 수 있는 문자의 수를 변화시킬 수 있으며, 문자를 명령어로 대체하여 휠체어와 같은 장치의 제어에 적용할 수도 있다.
도 4는 종래의 적응형 뇌-컴퓨터 인터페이스 장치의 일 구성도이다.
한편, P300을 기반으로 하는 뇌-컴퓨터 인터페이스 장치의 전형적인 구조는 도 4에 도시된 바와 같다.
자극 생성 장치(10)는 사용자가 원하는 조건에서 P300이 발생할 수 있도록 자극을 생성하는 장치이며, 신호 수집 장치(20)는 주어지는 자극에 대한 사용자의 뇌파를 기록하는 장치이다. 또한, 전처리 장치(30)는 주어진 뇌파 신호로부터 P300의 추출과 같은 전처리를 하게 되고, 해석 장치(40)는 전처리 장치로 부터 주어진 추출된 신호에 P300이 존재하는지 여부를 판단하며, 뇌-컴퓨터 인터페이스에 연결된 외부 장치(50)에 명령을 내리는 역할을 한다.
상기와 같은 종래의 뇌-컴퓨터 인터페이스 장치는 사용자가 입력하고자 하는 명령어를 찾아내기 위하여, 모든 종류의 자극에 대하여 동일한 횟수의 자극을 사용자에게 주게 되고, 사용자에게 각 종류의 자극을 주는 순서가 임의적(random)으로 정해진다.
상기와 같이, 모든 종류의 자극에 대하여 동일한 횟수의 자극을 주는 것은 불필요한 과정이며, 자극을 주는 순서를 임의적으로 정하는 것 또한 뇌-컴퓨터 인터페이스의 성능 향상에 한계를 가져온다.
예를 들어 P300 speller에 있어서, 현재까지 주어진 자극과 그에 대해 수집된 뇌파 신호를 사용하여, 첫 번째 행에 사용자의 의도가 존재할 가능성이 매우 낮은 상황일 경우 첫 번째 행에 다시 자극을 주어야 할 이유는 없다.
또한 두 번째 열과, 세 번째 열에 사용자의 의도가 존재할 가능성이 높은 상황이라면, 이 두 열에 자극을 반복적으로 주어 불확실성을 줄이는 것이 더 좋은 방법이 될 것이다.
즉 사용자에게 주는 자극의 순서를 효과적으로 결정할 수 있다면, 적은 횟수의 자극만으로도 사용자의 의도를 파악할 수 있다.
본 발명은 상기한 바와 같은 문제를 해결하기 위해 안출된 것으로, 최대한 빠른 시간 안에 정확하게 사용자가 원하는 명령어를 찾아낼 수 있도록 상황에 맞추어 적응적으로 자극의 순서를 결정할 수 있는 적응형 뇌-컴퓨터 인터페이스 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은, 단위 시간당 많은 수의 명령어 및 메시지를 파악하여 신체 장애인이나 손, 발의 활용이 어려운 상황에서도 외부 장치 제어에 적용할 수 있는 적응형 뇌-컴퓨터 인터페이스 장치를 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위해 본 발명에 따른 적응형 뇌-컴퓨터 인터페이스 장치는 자극을 생성하고 사용자에게 자극을 가하는 자극 생성 장치와, 상기 자극에 의해 발생되는 사용자의 뇌파 신호를 기록하는 신호 수집 장치와, 상기 뇌파 신호로부터 상기 자극에 대한 P300의 특질을 추출하는 전처리 장치와, 상기 전처리 장치의 추출 신호로부터 상기 P300의 존재 여부를 판단하는 해석 장치 및 상기 해석 장치의 관측으로부터 현재 상태를 추론하고 상기 현재 상태에 대한 최적 자극을 선택하여 상기 자극 생성 장치의 자극 순서를 결정하는 자극 순서 결정 장치를 포함하는 것을 특징으로 한다.
또한, 상기 적응형 뇌-컴퓨터 인터페이스 장치는 부분 관찰 마르코프 의사 결정 모델(POMDP)이 적용되어 최적 행동 정책을 결정할 수 있다.
또한, 상기 자극 순서 결정 장치는 사용자에게 주어진 이전의 자극과 각각의 자극에 대응되는 관측으로부터 현재 상태에 대한 확률 분포를 추론하는 신뢰 상태 갱신부 및 상기 신뢰 상태 갱신부의 신뢰 상태에 대응되는 최적 자극을 선택하여 수행하고, 외부 장치에 명령어 또는 메시지를 전달하는 최적 자극 선택부를 포함할 수 있다.
또한, 상기 적응형 뇌-컴퓨터 인터페이스 장치는 지연 관측(delayed observation) POMDP가 적용되어 최적 행동 정책을 결정할 수 있다.
또한, 상기 적응형 뇌-컴퓨터 인터페이스 장치는 중복 자극으로 인한 눈 멈(repetition blindness) 현상이 발생하는 시간 이내에 수행된 행동을 제외한 행동만으로 최적 행동 정책을 결정할 수 있다.
또한, 상기 최적 행동 정책은 하기의 수학식으로 정의된 가치 함수에 의해 계산될 수 있다.
Figure pat00001
(여기서, A는 행동의 집합, A'는 500ms 이내에 수행된 행동의 집합)
또한, 상기 전처리 장치는 뇌파 신호의 평균을 구하여 잡음을 제거하거나, spatial filter algorithm, Mexican hat wavelet 등의 P300 추출 알고리즘을 사용할 수 있다.
또한, 상기 해석 장치는 Fisher's linear discriminant, stepwise linear discriminant analysis, support vector machine 등의 분류 알고리즘을 사용하는 P300 분류자(classifier)로 이루어질 수 있다.
상기한 바와 같이 본 발명에 따른 적응형 뇌-컴퓨터 인터페이스 장치에 의하면, 최대한 빠른 시간 안에 정확하게 사용자가 원하는 명령어를 찾아낼 수 있도록 상황에 맞추어 적응적으로 자극의 순서를 결정할 수 있는 효과가 있다.
또한, 단위 시간당 많은 수의 명령어 및 메시지를 파악하여 신체 장애인이나 손, 발의 활용이 어려운 상황에서도 외부 장치 제어에 적용할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 적응형 뇌-컴퓨터 인터페이스 장치의 일 구성도.
도 2는 본 발명의 일 실시예에 따른 적응형 뇌-컴퓨터 인터페이스 장치의 다른 구성도.
도 3a는 [2x2] 행렬에서의 success rate의 실험 결과를 나타내는 도.
도 3b는 [2x3] 행렬에서의 success rate의 실험 결과를 나타내는 도.
도 4는 종래의 적응형 뇌-컴퓨터 인터페이스 장치의 일 구성도.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.
도 1은 본 발명의 일 실시예에 따른 적응형 뇌-컴퓨터 인터페이스 장치의 일 구성도이다.
본 발명의 일 실시예에 따른 적응형 뇌-컴퓨터 인터페이스 장치는 도 1에 도시된 바와 같이, 자극 생성 장치(100)와, 신호 수집 장치(200)와, 전처리 장치(300)와, 해석 장치(400) 및 자극 순서 결정 장치(500)를 포함한다.
상기 자극 생성 장치(100)는 자극을 생성하여 사용자에게 자극을 가하는 장치이다.
구체적으로, 상기 자극 생성 장치(100)는 사용자가 원하는 조건에서 P300, 즉, 자극이 주어진 이후 약 300ms 이후에 발생하는 사건 연계 전위의 + 방향의 피크가 발생할 수 있도록 사용자에게 각 명령어에 해당되는 자극을 생성하여 자극을 주는 장치이다.
상기 자극 생성 장치(100)에서 자극을 주는 방법은 일반적인 P300 speller 시스템을 따른다.
즉, 사용자는 선택하려는 문자를 응시하고, 행렬의 문자들은 한번에 한 문자씩 250ms 동안 깜빡인다. 이때, 250ms 중 앞의 125ms 동안은 문자가 밝아지고, 나머지 125ms 동안은 문자가 어두워진다.
사용자가 의도하는 하나의 문자를 찾아내는 작업을 test라고 할 때, 연속된 두 test 사이에는 2.5초의 휴지 기간이 존재할 수 있다.
상기 신호 수집 장치(200)는 상기 자극에 의해 발생되는 사용자의 뇌파 신호를 기록하는 장치이다.
상기 뇌파 신호(EEG signal)는 Biopac MP 150 system을 통해 16개의 채널로부터 1kHz로 수집할 수 있다.
P300은 자극을 준 이후 300ms 이후에 발생하므로, 한번의 깜빡이는 자극에 대응되는 EEG 신호는 자극을 준 이후 200ms 부터 450ms 까지의 data로 구성될 수 있다.
상기 전처리 장치(300)는 상기 뇌파 신호로부터 상기 자극에 대한 P300의 특질을 추출하는 장치이다.
상기 뇌파 신호는 여러 가지 원인으로부터 발생하는 뇌의 활동 상태를 모두 포함하고 있기 때문에 상기 P300은 다른 원인으로부터 발생한 뇌파 신호에 의해 직접적으로 잘 드러나지 않는다. 즉, 뇌파 신호에 잡음이 많이 포함되므로 P300의 직접적 측정에는 무리가 따른다.
이를 해결하기 위해 기계 학습(Machine Learning)의 여러 가지 기법들이 사용될 수 있다.
필터를 사용하여 P300의 검출이 수월하도록 정제된 뇌파를 구하는 것을 P300 특질 추출(P300 feature extraction)이라고 하며, 이를 위하여 뇌파의 평균을 구함으로서 잡음을 제거하거나, spatialfilter algorithm, Mexican hat wavelet와 같은 P300 추출 알고리즘을 사용하여 잡음을 제거할 수 있다.
상기 해석 장치(400)는 상기 전처리 장치(100)의 추출 신호로부터 상기 P300의 존재 여부를 판단하는 장치이다.
상기 해석 장치(400)는 P300 분류자(classifier)로 이루어질 수 있는데, 상기 P300 분류자(classifier)는 Fisher's linear discriminant, stepwise linear discriminant analysis(SWLDA), support vector Machin(SVM) 일 수 있다.
상기 전처리 장치(Preprocessor,300)와 분류자(classifier)를 생성하기 위하여, 우선 target, 즉, 사용자가 응시하는 문자에 자극이 주어지는 경우와, non-target, 즉, 사용자가 응시하지 않는 문자에 자극이 주어지는 경우의 EEG 신호들로 이루어진 training data를 수집할 수 있다.
원시 EEG 신호들에는 많은 잡음이 포함되어 있기 때문에, EEG 신호들은 6차 Butterworth 필터를 통해 band-pass filtering(0.5~30Hz)이 이루어질 수 있고, 100Hz로 down-sampling 될 수 있다.
상기와 같이 수집된 EEG 신호로부터 특질(feature)을 추출하기 위하여 spatial projection algorithm을 사용할 수 있다.
이 알고리즘은 target과 non-target에 대응되는 EEG 신호를 최대한으로 구별할 수 있도록, 각 채널들로부터 수집된 EEG 신호를, 의미상 하나의 가상 채널로부터 수집된 신호로 변환하는 filter들을 계산한다.
한편, 전처리 장치(Preprocessor,300)로부터 추출된 특질(feature)이 P300이 존재하는 target인지의 여부를 판단하기 위하여 분류자(classifier)로 LIBLINEAR package를 사용할 수 있고, binary output 대신 0~1 사이의 실수를 얻기 위하여 L2-regularized logistic regression을 사용할 수 있다.
이때, 상기 실수는 해당 특질(feature)이 target일 확률을 의미하며, 상기 분류자(classifier)의 parameter들은 training data로부터 5-fold cross-validation을 통해 결정될 수 있다.
상기 자극 순서 결정 장치(500)는 상기 해석 장치(400)의 관측으로부터 현재 상태를 추론하고, 상기 현재 상태에 대한 최적 자극을 선택하여 상기 자극 생성 장치(100)의 자극 순서를 결정하는 장치이다.
일반적으로, 부분 관찰 마르코프 의사 결정 모델(partially observable Markov decision process,POMDP)은 부분적으로 관찰 가능한 문제에서의 일반적인 의사 결정 프레임워크이다.
이는 불확실성이 존재하는 실제 문제들에 적합한 모델이고, 실제 세계에 대한 정확한 모델을 가정하며, 주어진 모델에서의 최적 행동 정책을 찾는다.
상기 POMDP는 <S,A,Z,b0,T,O,R,γ>의 8개 요소로 정의된다.
S는 상태의 집합, A는 행동의 집합, Z는 관찰의 집합, b0는 초기 신뢰 상태로 b0(s)는 초기 환경의 상태가 s일 확률을 나타낸다.
또한, T는 상태 전이 확률로 T(s,a,s')는 행동 a를 통해 상태 s에서 s'로 전이될 확률을 나타내고, O는 관측 확률로, O(s,a,z)는 행동 a를 통해 상태 s에 도달하여 관측 z를 관측할 확률을 나타낸다.
더불어, R은 보상 함수로 R(s,a)는 상태 s에서 행동 a를 취했을 때 얻는 보상을 나타내며, γ는 할인율로 0과 1사이의 실수 값을 가진다.
행동 주체는 현재의 환경 상태를 직접적으로 알 수 없고, 대신 관찰만을 얻을 수 있다. 따라서 행동 주체는 현재까지의 모든 행동과 그에 대응되는 관측을 통해 현재의 환경 상태에 대한 확률 분포를 유지한다. 이와 같은 것을 신뢰 상태(belief state)라고 하며, bt(s)의 경우, 시간 t에서의 상태가 s일 확률을 나타낸다.
시간 t에서의 신뢰 상태, 즉, bt에서 행동 at를 수행하고 관측 zt +1을 얻었을 때, 다음 시간에 대한 신뢰 상태인, bt +1 = τ(bt,at,zt +1)는 Bayes rule에 의하여, 하기의 [수학식 1]과 같이 계산된다.
Figure pat00002
여기서 P(zt +1│bt,at)는
Figure pat00003
이 되도록 하기 위한 정규화 상수이다.
행동 정책은 행동 주체가 수행할 행동을 결정하며, 이는 신뢰 상태에서 행동으로의 대응관계로 표현된다.
모든 행동 정책은 대응되는 가치 함수(value function)을 가지고 있으며, 이것은 주어진 신뢰 상태로부터 해당 행동 정책에 따라 무한히 행동을 수행하였을 때 얻을 수 있는 할인된 보상 함수의 기대값을 나타낸다.
*따라서, POMDP를 푼다는 것은 각각의 신뢰 상태에서 최대의 가치를 얻을 수 있는 행동 정책을 계산하는 것이다.
임의의 신뢰 상태에서 얻을 수 있는 최대의 가치는 하기의 [수학식 2]와 같이 재귀적으로 계산된다.
Figure pat00004
또한, 주어진 최적 가치 함수에 대응되는 최적 행동 정책은 하기의 [수학식 3]과 같이 계산된다.
Figure pat00005
실제로 최적 행동 정책을 계산하는 것은 너무 오랜 시간이 걸리게 되어 불가능하므로, Point-Based Value Iteration과 같은 최적 행동 정책 근사 알고리즘들이 사용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 적응형 뇌-컴퓨터 인터페이스 장치의 구성도이다.
상기 자극 순서 결정 장치(500)는 부분 관찰 마르코프 의사 결정 모델(POMDP)이 적용되어 최적 행동 정책을 결정할 수 있다.
이 경우에, 주어진 뇌-컴퓨터 인터페이스의 환경을 POMDP로 모델링하고, 주어진 POMDP 모델로부터 최적 행동 정책을 계산하여야 한다. 이후, 상기 POMDP 모델과 해당 POMDP 모델의 최적 행동 정책을 이용하여 도 2에 도시된 바와 같이, 신뢰 상태 갱신부(510)와 최적 자극 선택부(520)를 구성할 수 있다.
상기 최적 행동 정책은 뇌-컴퓨터 인터페이스에서의 최적 행동 순서와 동일하며, 이는 관측에 잡음이 많이 끼어 있는 상황에서 최대의 정확도로 최대한 빠른 시간 안에 사용자가 의도하는 명령어를 파악할 수 있는 자극의 순서를 결정한다.
상기 신뢰 상태 갱신부(510)는 사용자에게 주어진 이전의 자극과 각각의 자극에 대응되는 관측으로부터 일반적인 POMDP에서의 신뢰 상태 갱신 방법을 이용하여 현재 상태에 대한 확률 분포를 추론할 수 있다.
즉, 상기 신뢰 상태 갱신부(510)는 각 명령어에 대해 현재 사용자가 입력하기를 원하는가에 대한 확률 분포를 추론하는 부분이다.
상기 최적 자극 선택부(520)는 상기 신뢰 상태 갱신부(510)의 신뢰 상태에 대응되는 최적 자극을 선택하여 수행하고, 외부 장치(600)에 명령어 또는 메시지를 전달할 수 있다.
즉, 상기 최적 자극 선택부(520)는 미리 계산되어진 최적 행동 정책 또는 근사 최적 행동 정책을 통해 현재의 신뢰 상태에 대응되는 행동을 선택하여 수행한다.
상술한 바와 같이, 뇌-컴퓨터 인터페이스의 환경을 POMDP로 모델링하였을 때, 해당 모델은 최대한 적은 횟수의 자극으로 정확하게 사용자가 의도하는 명령어를 찾아내는 최적 행동 정책을 구할 수 있어야 한다.
이것은 POMDP 분야에서의 호랑이 문제(tiger problem)와 매우 유사하며, 호랑이 문제에서 문의 개수가 뇌-컴퓨터 인터페이스에서의 명령어 개수만큼 확장된 형태로 생각할 수 있다.
N을 명령어의 개수라고 할 때, 각 명령어들을 POMDP에서의 각 상태(N개의 상태)로 구성할 수 있고, 사용자에게 각 명령어에 해당되는 자극을 주거나, 각 명령어를 선택하는 것을 행동(2*N개의 행동)으로 구성할 수 있으며, 분류자(classifier)로부터 나오는 실수를 연속적인 관찰로 구성하거나, 이산화(discretization)하여 각각을 관찰(K개의 관찰)로 구성할 수 있다.
또한, 자극을 주는 행동에 대해 낮은 보상을 설정할 수 있고, 사용자가 주시하고 있는 명령어를 선택하는 행동을 취할 경우 높은 보상을 설정할 수 있으며, 사용자가 주시하고 있지 않은 명령어를 선택하는 행동에 대해 매우 낮은 보상을 설정할 수 있다.
또한, 상태 전이함수는 자극을 주는 행동에 대해서는 이전의 상태와 동일하고, 사용자가 의도하는 명령어라고 선택하는 행동에 대해서는 모든 문자에 대해 동일한 확률로 상태 전이가 일어나도록 할 수 있다.
또한, 관찰함수의 경우 뇌파에 많은 잡음이 포함되어 있기 때문에 실제의 뇌-컴퓨터 인터페이스를 동작하는 환경과 동일하게 모델링하는 것은 불가능하지만 POMDP가 적용되지 않은 기존의 비침습형 뇌-컴퓨터 인터페이스로부터 사전 실험을 통해 데이터를 수집하여, 베타 분포, 지수 분포 혹은 임의의 확률 분포로 맞춤(fitting)하여 사용할 수 있다.
더불어, 할인율은 0에서 1사이의 실수로 행동 주체가 적절히 행동하도록 조절할 수 있고, 초기 신뢰 상태는 확률 분포로, 초기 환경 상태에 맞추어 적절히 조절할 수 있다.
한편, POMDP에서의 상태는 현재 사용자가 선택하기 원하는 명령어로 생각할 수 있으나, 뇌-컴퓨터 인터페이스는 이러한 상태를 직접적으로 알지 못한다.
따라서, 사용자에게 주어진 자극들과 각각의 자극에 대응되는 관측으로부터 사용자가 어떠한 명령어를 입력하고자 하는지를 각 상태에 대한 확률 분포로, 즉 신뢰 상태로 추론해야 한다.
뇌-컴퓨터 인터페이스가 사용자에게 하나의 자극을 주었을 때 해당 자극이 사용자가 입력하기 원하는 명령어에 대한 자극일 경우, 주어지는 관측은 사용자가 입력하기 원하는 명령어에 대한 자극이 주어졌을 때 빈번하게 발생하는 관측일 확률이 높아진다.
반대로 주어진 자극이 사용자가 입력하기를 원하는 명령어에 대한 자극이 아닐 경우, 주어지는 관측은 사용자가 입력하기 원하는 명령어에 대한 자극이 주어졌을 때 빈번하게 발생하는 관측이 아닐 확률이 높아진다.
즉, 하나의 자극을 주는 행동과 그에 대응되는 관측 값으로부터, 각 자극에 대응되는 명령어가 사용자가 원하는 명령어일 확률을 POMDP에서의 신뢰 상태로 추론할 수 있게 되고, 특정한 명령어가 사용자가 원하는 명령어일 확률이 비교적 높을 경우에는 뇌-컴퓨터 인터페이스가 해당 명령어에 대한 자극을 더욱 발생시킴으로써, 해당 명령어가 사용자가 원하는 명령어인지의 여부를 판별할 수 있다.
이후, 특정한 명령어가 사용자가 원하는 명령어일 확률이 어느 수준 이상으로 높아지게 되면, 자극을 주는 행동을 취하는 것 보다, 해당 명령어를 선택함으로서, 주어진 POMDP 모델로부터 얻을 수 있는 가치의 기대값을 최대화하도록 행동하게 된다.
한편, 상술된 POMDP 모델로부터 최적 행동 정책을 계산하는 것은 기존에 존재하는 최적 행동 정책 계산 알고리즘들을 사용하여 구할 수 있다.
그러나, 일반적으로 POMDP의 최적 행동 정책을 결정하는 문제는 PSPACE-Complete로 알려져 있으며, 상태, 행동 및 관찰의 수가 많은 문제에 대해서는 정확한 행동 정책을 계산하는데 있어 너무 오랜 시간이 걸리게 되므로 실제로는 계산할 수 없다. 이를 해결하기 위하여 Point-Based Value Iteration, Heuristic Search Value Iteration 등과 같은 최적 행동 정책 근사 알고리즘들이 사용될 수 있다.
이러한 근사 알고리즘을 이용할 경우 적당한 크기의 POMDP 모델에 대하여 근사된 최적 행동 정책을 충분히 계산할 수 있다.
한편, 상기 자극 순서 결정 장치(500)는 지연 관측(delayed observation) POMDP가 적용되어 최적 행동 정책을 결정할 수 있다.
기본적인 POMDP는 하나의 행동을 수행한 이후, 그에 대한 관측이 다음 행동을 수행하기 이전에 주어진다고 가정할 수 있으나, 실제 뇌-컴퓨터 인터페이스에서는 이러한 가정이 성립하지 않을 수 있다.
예를 들어, 250ms 간격으로 자극을 사용자에게 줄 경우에 있어, 첫 번째 자극에 대응되는 관측으로서 사용될 뇌파의 길이는 250ms를 넘을 수도 있다. 특히 P300을 사용하는 뇌-컴퓨터 인터페이스에서는 사용자에게 자극을 준 이후 300ms가 지나야 P300이 검출될 수 있으므로, 첫 번째 자극에 대한 관측은 최소한 두 번째 자극이 주어진 이후에야 얻을 수 있다.
이를 지연 관측이라고 하며, 이 제약 조건은 실제 POMDP 모델 과정에는 영향이 전혀 없지만, 해당 POMDP 모델의 최적 행동 정책을 계산하는 과정에서 문제가 발생할 수 있다. 이러한 제약 조건은 상기 지연 관측 POMDP(POMDP with delayed observations)를 사용하여 해결될 수 있다.
또한, 상기 자극 순서 결정 장치(500)는 중복 자극으로 인한 눈 멈(repetition blindness) 현상이 발생하는 시간 이내에 수행된 행동을 제외한 행동만으로 최적 행동 정책을 결정할 수 있다.
중복 자극으로 인한 눈 멈 현상(repetition blindness)은, 예를 들어 사용자가 의도하는 명령어가 " A " 라고 할 때, " A " 에 대응되는 자극을 사용자에게 준 이후, 500ms 이내에 다시 사용자에게 " A " 에 대응되는 자극을 주게 되면 두 번째 자극에 대한 뇌파에서는 P300이 발생하지 않는다.
이를 해결하는 간단한 방법은 500ms 이내에 사용자에게 주었던 자극은 다시 주지 않는 것이다.
이 또한 실제 POMDP를 모델링하는데 있어서는 영향이 없지만, 해당 POMDP 모델의 최적 행동 정책을 계산하는 과정에서 문제가 발생한다. 이를 해결하는 방법은 를 A를 행동의 집합, A'를 500ms 이내에 수행된 행동의 집합이라고 할 때, 하기의 [수학식 4]와 같은 가치 함수를 정의함으로서 계산할 수 있다.
Figure pat00006
이하 본 발명의 일 실시예에 따른 적응형 뇌-컴퓨터 인터페이스 장치를 이용한 실험예를 설명한다.
하기의 <실험예>에서는 신체 및 정신적 이상이 없는 9명을 통해 실험을 진행하였고, Baseline의 경우 자극을 주는 순서가 임의적인 것을 제외하고는 본 발명과 동일하며, PWSA는 POMDP가 적용된 장치를 나타낸다.
상기 Baseline과 PWSA의 공정한 비교를 위하여, baseline의 경우 이전 2개의 자극과는 다른 자극들 중에서 임의로 자극을 선택하여 수행함으로써 눈 멈 현상(repetition blindness)을 해결하였다.
<실험예>
우선 [2x2] 행렬에 대해 관측 확률이 서로 다른 9개의 POMDP 모델을, [2x3] 행렬에 대해 서로 다른 11개의 모델을 작성하고 해당 모델의 행동 정책을 실험 이전에 계산하였다.
본 실험에서는 피실험자 개개인마다의 전처리 장치(preprocessor)와 분류자(classifier)를 생성하기 위하여 training data를 먼저 수집하였다.
이후 [2x2]와 [2x3] 행렬에 대하여 각각 baseline과 PWSA의 실험을 수행하였다. PWSA의 경우 해당 피실험자에 대한 관측의 분포와 가장 유사한 POMDP 모델을 찾고 해당 모델의 행동 정책을 사용하여 자극의 순서를 결정하였다.
평가 항목으로 Success rate와 bit rate에 대해서 baseline과 PWSA를 비교하였다. 이때, 정확도는 주어진 자극의 횟수에 대한 사용자의 의도를 맞춘 비율로 정의되며, Bit rate의 경우 단위 시간당 전송된 정보의 양을 나타낸다.
실제로는 9명의 실험을 진행하였으나, 그 중 2명의 경우 관측 확률이 미리 만들어 놓은 POMDP 모델과 차이가 매우 커 실험 결과에서 제외하였다.
도 3a는 [2x2] 행렬에서의 success rate의 실험 결과를 나타내는 도이고, 도 3b는 [2x3] 행렬에서의 success rate의 실험 결과를 나타내는 도이다.
도 3a 및 도 3b에 도시된 바와 같이, PWSA의 성공 확률이 baseline보다 임의의 자극횟수에 대해 더 높음을 알 수 있고, 정확도의 차이가 행렬의 크기가 커질수록 더 커짐을 알 수 있다. 또한 PWSA의 경우 더욱 빠른 속도로 높은 정확도에 수렴하는 것을 알 수 있다.
한편, bit rate의 실험 결과는 하기의 표 1에 나타난 바와 같다.
[2x2] Matrix

[2x3] Matrix

Baseline
10.065 (96.4%)
8.052 (92.9%)

PWSA
24.368 (98.2%)
21.367 (97.6%)
[표 1]에 나타난 바와 같이, [2x2] 행렬의 경우 PWSA는 98.2% 정확도로 24.368 bits/min의 bit rate를 나타내었고, [2x3] 행렬의 경우 97.6%의 정확도로 21.367 bits/min의 bit rate를 나타내었다.
각각의 행렬에 대해 baseline은 최대 96.4%와 92.9%의 정확도를 나타내었으며, 해당 정확도에 대한 bit rate는 10.065 bits/min과 8.052 bits/min에 불과하였다.
이상과 같이 본 발명에 따른 적응형 뇌-컴퓨터 인터페이스 장치를 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
100,10:자극 생성 장치 200,20:신호 수집 장치
300,30:전처리 장치 400,40:해석 장치
410:분류자 500:자극 순서 결정 장치
510:신뢰 상태 갱신부 520:최적 자극 선택부
600,50:외부 장치

Claims (8)

  1. 자극을 생성하고, 사용자에게 자극을 가하는 자극 생성 장치;
    상기 자극에 의해 발생되는 사용자의 뇌파 신호를 기록하는 신호 수집 장치;
    상기 뇌파 신호로부터 상기 자극에 대한 P300의 특질을 추출하는 전처리 장치;
    상기 전처리 장치의 추출 신호로부터 상기 P300의 존재 여부를 판단하는 해석 장치; 및
    상기 해석 장치의 관측으로부터 현재 상태를 추론하고, 상기 현재 상태에 대한 최적 자극을 선택하여 상기 자극 생성 장치의 자극 순서를 결정하는 자극 순서 결정 장치를 포함하는 것을 특징으로 하는 적응형 뇌-컴퓨터 인터페이스 장치.
  2. 제 1항에 있어서,
    상기 자극 순서 결정 장치는 부분 관찰 마르코프 의사 결정 모델(POMDP)이 적용되어 최적 행동 정책을 결정하는 것을 특징으로 하는 적응형 뇌-컴퓨터 인터페이스 장치.
  3. 제 2항에 있어서,
    상기 자극 순서 결정 장치는,
    사용자에게 주어진 이전의 자극과 각각의 자극에 대응되는 관측으로부터 현재 상태에 대한 확률 분포를 추론하는 신뢰 상태 갱신부; 및
    상기 신뢰 상태 갱신부의 신뢰 상태에 대응되는 최적 자극을 선택하여 수행하고, 외부 장치에 명령어 또는 메시지를 전달하는 최적 자극 선택부를 포함하는 것을 특징으로 하는 적응형 뇌-컴퓨터 인터페이스 장치.
  4. 제 1항에 있어서,
    상기 자극 순서 결정 장치는 지연 관측(delayed observation) POMDP가 적용되어 최적 행동 정책을 결정하는 것을 특징으로 하는 적응형 뇌-컴퓨터 인터페이스 장치.
  5. 제 1항에 있어서,
    상기 자극 순서 결정 장치는 중복 자극으로 인한 눈 멈(repetition blindness) 현상이 발생하는 시간 이내에 수행된 행동을 제외한 행동만으로 최적 행동 정책을 결정하는 것을 특징으로 하는 적응형 뇌-컴퓨터 인터페이스 장치.
  6. 제 5항에 있어서,
    상기 최적 행동 정책은,
    하기의 수학식으로 정의된 가치 함수에 의해 계산되는 것을 특징으로 하는 적응형 뇌-컴퓨터 인터페이스 장치.
    Figure pat00007

    (여기서, A는 행동의 집합, A'는 500ms 이내에 수행된 행동의 집합)
  7. 제 1항에 있어서,
    상기 전처리 장치는,
    뇌파 신호의 평균을 구하여 잡음을 제거하거나, spatial filter algorithm, Mexican hat wavelet 등의 P300 추출 알고리즘을 사용하는 것을 특징으로 하는 적응형 뇌-컴퓨터 인터페이스 장치.
  8. 제 1항에 있어서,
    상기 해석 장치는,
    Fisher's linear discriminant, stepwise linear discriminant analysis, support vector machine 등의 분류 알고리즘을 사용하는 P300 분류자(classifier)로 이루어지는 것을 특징으로 하는 적응형 뇌-컴퓨터 인터페이스 장치.
KR1020110055735A 2011-06-09 2011-06-09 적응형 뇌-컴퓨터 인터페이스 장치 KR101149002B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110055735A KR101149002B1 (ko) 2011-06-09 2011-06-09 적응형 뇌-컴퓨터 인터페이스 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110055735A KR101149002B1 (ko) 2011-06-09 2011-06-09 적응형 뇌-컴퓨터 인터페이스 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020090129786A Division KR20110072730A (ko) 2009-12-23 2009-12-23 적응형 뇌-컴퓨터 인터페이스 장치

Publications (2)

Publication Number Publication Date
KR20110085952A true KR20110085952A (ko) 2011-07-27
KR101149002B1 KR101149002B1 (ko) 2012-05-23

Family

ID=44922610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110055735A KR101149002B1 (ko) 2011-06-09 2011-06-09 적응형 뇌-컴퓨터 인터페이스 장치

Country Status (1)

Country Link
KR (1) KR101149002B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526498B1 (ko) * 2013-08-31 2015-06-09 연세대학교 산학협력단 운동의도 평가를 위한 자극반응 행동운동 유발전위 측정방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951081B (zh) * 2017-03-18 2019-12-17 福州大学 一种基于p300的脑控话语发声器的实现方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100743967B1 (ko) 2006-04-13 2007-07-30 이순혁 유발 전위를 이용한 두뇌 분석/계발 장치
KR20080039808A (ko) * 2006-11-01 2008-05-07 강만희 피험자 반응 분석 장치, 방법 및 적성 검사 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526498B1 (ko) * 2013-08-31 2015-06-09 연세대학교 산학협력단 운동의도 평가를 위한 자극반응 행동운동 유발전위 측정방법

Also Published As

Publication number Publication date
KR101149002B1 (ko) 2012-05-23

Similar Documents

Publication Publication Date Title
KR20110072730A (ko) 적응형 뇌-컴퓨터 인터페이스 장치
US11972049B2 (en) Brain-computer interface with high-speed eye tracking features
Tangermann et al. Review of the BCI competition IV
Lotte et al. Electroencephalography (EEG)-based brain-computer interfaces
JP2024075573A (ja) 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳－コンピュータインタフェース
KR20150076167A (ko) 감각 및 인지 프로파일링을 위한 시스템 및 방법
EP2111156A1 (en) A system and method for processing brain signals in a bci system
CN109976525B (zh) 一种用户界面交互方法、装置及计算机设备
Shukla et al. Performance improvement of P300-based home appliances control classification using convolution neural network
Kumar et al. A framework for a real time intelligent and interactive Brain Computer Interface
Zou et al. EEG feature extraction and pattern classification based on motor imagery in brain-computer interface
Orhan RSVP Keyboard™: An EEG Based BCI Typing System with Context Information Fusion
Xiaoxiao et al. Electroencephalogram based communication system for locked in state person using mentally spelled tasks with optimized network model
Chen et al. Effects of visual attention on tactile P300 BCI
Kim et al. Decoding electroencephalographic signals for direction in brain-computer interface using echo state network and Gaussian readouts
Wang et al. Guan
KR101149002B1 (ko) 적응형 뇌-컴퓨터 인터페이스 장치
Chugh et al. Hybrid Brain–Computer Interface Spellers: A Walkthrough Recent Advances in Signal Processing Methods and Challenges
WO2020111962A1 (ru) Система для коммуникации пользователей без использования мышечных движений и речи
Alsuradi et al. Trial-based classification of haptic tasks based on eeg data
Sairam et al. Smartphone and wheelchair control for bedridden and semi-paralyzed people using brain-control interface (BCI)
Oikonomou et al. Sparse Bayesian Learning for Multiclass Classification with Application to SSVEP-BCI.
Penaloza et al. BMI-based learning system for appliance control automation
Vasiljevas Human-assistive interface model of physiological computing systems
Martišius Data acquisition and signal processing methods for brain–computer interfaces

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee