KR20190062174A - 뇌-컴퓨터 인터페이스 기반 뇌신호 분류 결과 제공 장치 및 방법 - Google Patents

뇌-컴퓨터 인터페이스 기반 뇌신호 분류 결과 제공 장치 및 방법 Download PDF

Info

Publication number
KR20190062174A
KR20190062174A KR1020180130213A KR20180130213A KR20190062174A KR 20190062174 A KR20190062174 A KR 20190062174A KR 1020180130213 A KR1020180130213 A KR 1020180130213A KR 20180130213 A KR20180130213 A KR 20180130213A KR 20190062174 A KR20190062174 A KR 20190062174A
Authority
KR
South Korea
Prior art keywords
brain
brain signal
score
classification
classification result
Prior art date
Application number
KR1020180130213A
Other languages
English (en)
Inventor
이성환
방지선
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20190062174A publication Critical patent/KR20190062174A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

뇌신호의 공통 패턴을 제공하는 BCI(Brain computer interface)기반 컴퓨팅 장치는 상기 공통 패턴 제공 프로그램이 저장된 메모리, 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 상기 프로그램의 실행에 따라, 각 사용자들의 뇌신호에 대하여 전처리를 수행하고, 상기 전처리된 뇌신호의 특징을 추출하여 데이터베이스에 저장하고, 상기 각 뇌신호의 특징과 상기 특징에 기초하여 각 동작상상을 분류하는 분류기 파라미터에 의하여 정의되는 복수의 뇌신호 특징 패턴을 생성하고, 상기 뇌신호 특징 패턴들로부터 전체 사용자들에 대하여 각 동작상상별로 공통적으로 존재하는 패턴인 뇌신호 공통 패턴을 추출한다.

Description

뇌-컴퓨터 인터페이스 기반 뇌신호 분류 결과 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING CLASSIFICATION RESULTS FROM BRAIN SIGNALS BASED ON BRAIN-COMPUTER INTERFACE}
본 발명은 뇌-컴퓨터 인터페이스 기반 뇌신호 분류 결과 제공 장치 및 방법에 관한 것이다.
뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)란 피검체의 뇌에서 발생하는 다양한 형태의 신호를 이용하여 직접적인 신체의 움직임 없이 외부 기기를 제어할 수 있도록 하는 기술이다. 이러한 BCI 기술은 다양한 종류의 패러다임에 따라 유발되는 뇌파를 이용한다. 패러다임에 따른 뇌파 유발 방법에는 특정 외부 자극이 뇌에 투영되어 발현되는 비자발적 방법이나 사용자가 특정 신체 부위를 집중하거나 움직임을 의도(또는 상상)하는 자발적 방법으로 나눌 수 있다.
사용자의 의도에 따라 다양한 기기를 제어하기 위해서는 외부의 자극 없이 발현 가능한 자발적인 뇌 신호를 생성하는 것이 중요하다. 자발적 뇌파는 대표적으로 특정 신체 부위를 움직일 때의 느낌을 상상하는 동작상상 (Motor Imagery, MI)이 연구되고 있다.
동작 상상(Motor Imagery, MI)의 경우, 사람이 특정 움직임을 상상할 때 이를 관장하는 뇌 영역에서 사건 관련 탈동기화(Event-Related Desynchronization, ERD) 및 사건 관련 동기화(vent-Related Synchronization, ERS) 신호가 발생하며, 해당 성분을 검출하는 것이 가능하다. 예를 들어, 왼손을 움직이는 동작상상을 수행할 경우 뇌의 우반구 영역에서 ERD/ERS가, 오른손을 움직이는 동작상상을 수행할 경우 뇌의 좌반구 영역에서 해당 신호가 관측된다.
동작상상 기반의 BCI는 ERD/ERS 성분의 분석을 통해 사용자의 의도(사용자가 상상하고 있는 동작상상의 신체 부위)를 인식하고 그에 대응하는 명령어를 수행하는 형태로 동작한다. 뇌-컴퓨터 인터페이스의 성능을 높이기 위해서는 사용자로부터 획득한 뇌신호로부터 특징벡터를 구성하기 위한 중요한 정보들(시간, 채널(공간), 주파수 영역)을 찾아내어 인식 성능을 높이고 결과를 분석하는 것이 매우 중요하다.
최근에는 딥러닝 기술이 BCI에서 뇌파를 분류하는데 있어 높은 성능을 보이고 있다. 하지만 뇌파는 사람이 해석할 수 없는 형태로 출력되기 때문에, 사용자는 뇌파를 이용한 기기의 제어를 신뢰하기 어렵다. 특히 딥러닝 기반의 비선형 학습 모델 같은 경우 분류 결과에 대해서, 어떠한 요인이 해당 결과를 도출해 냈는지 해석이 불가능하므로 실생활에 적용하기 어려운 문제가 있다.
이와 관련하여 선행기술 대한민국 특허등록 제 10-1553256호(발명의 명칭: BCI 시스템의 신뢰성 향상 방법)는 사용자가 능동적으로 발현시킬 수 있는 뇌신호 분석을 통해 생각하는 것만으로 다양한 기기제어를 수행하는 방법에 대하여 개시하고 있다.
이와 같은 기존의 발명들은 분류 과정의 불투명성으로 인해 신뢰도가 떨어진다는 한계점이 존재한다. BCI 기술을 실생활에 활용하기 위해서는 보다 신뢰성이 높은 기술이 필요하지만 기존의 발명들에서는 뇌파신호의 분류 결과에 대한 해석을 제공하는 방법이 존재하지 않는다. 동작상상 뇌파신호 분류에 있어, 분류기의 분류의 성능이 높은 경우에도, 뇌파에 따른 요인이 아닌 눈 움직임 잡음이나 외부 진동 및 소음 자극 같은 다른 요인에 의한 것일 가능성이 존재한다. 이와 같은 경우, 실제 기기를 제어함에 있어 뇌파신호가 아닌 신호가 영향을 미쳐, 잘못된 결과를 초래할 수 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 신뢰할 수 있는 뇌-컴퓨터 인터페이스 기술을 위해 딥러닝 모델의 분류 결과와 함께 신경생리학적인 해석을 제공해주는 뇌-컴퓨터 인터페이스 기반 뇌신호 분류 결과 제공 장치 및 방법을 제공하고자 한다.
보다 상세하게는 딥러닝 모델을 분류기로 이용하여 동작상상과 같은 뇌신호에 대한 분류 결과를 제공해 주고, 뇌의 여러 특징 정보들(시간/공간/주파수 등) 중에 분류 결과에 영향을 끼친 영역을 찾아내어 이 영역을 인간의 신경생리학적인 특성과 연관시켜 시스템을 사용하는 사용자에게 제공해 주고, 정확하지 않은 해석 결과가 발생했을 경우 시스템이 오작동하는 것을 방지함으로써, 신뢰할 수 있는 딥러닝 기반의 뇌-컴퓨터 인터페이스 기술을 제공할 수 있는 장치 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 BCI(Brain computer interface)기반 뇌신호 분류 결과 제공 장치는 뇌신호 분류 결과 제공 프로그램이 저장된 메모리, 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되, 프로세서는 프로그램의 실행에 따라, 사용자로부터 측정된 뇌신호의 특징 정보를 포함하도록 데이터를 전처리하고, 전처리된 데이터를 딥러닝 기반의 분류기에 입력하고, 각 동작상상에 대한 분류 점수 및 분류 결과를 출력하고, 분류 점수 및 분류 결과에 기초하여 역전파를 통해 기여도 점수를 산출한다.
또한, 본 발명의 제 2 측면에 따른 BCI(Brain computer interface)기반 뇌신호 분류 결과 제공 방법은 사용자로부터 측정된 뇌신호의 특징 정보를 포함하도록 데이터를 전처리하는 단계, 전처리된 데이터를 딥러닝 기반의 분류기에 입력하는 단계, 각 동작상상에 대한 분류 점수 및 분류 결과를 출력하고, 분류 점수 및 분류 결과에 기초하여 역전파를 통해 기여도 점수를 산출하는 단계를 포함한다.
전술한 과제 해결 수단에 따르면, 뇌의 어떤 부분이 영향을 미치는지를 알아내어 신뢰도를 높일 수 있으며, 분류 결과와 함께 분류가 도출된 이유를 각 채널별 기여도를 통해 정량적으로 표현하여 줌으로써 사용자가 분류 결과가 도출된 이유를 확인하고 기기의 분류 결과를 신뢰할 수 있는 수단을 제공할 수 있다.
그리고 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 의도인식을 위한 뇌신호의 분류 결과를 해석할 수 있어, 기존 BCI 시스템의 분류기 모델의 분류 결과에 대한 해석을 제공하지 않는다는 한계를 해결할 수 있다. 즉, 사용자의 뇌파 신호가 어느 뇌 영역에서 활성화되는지, 또는 어떤 주파수 영역에서 유의미한 뇌신호를 생성해내는지에 대한 정보를 시각화하여 사용자에게 제공함으로써, 뇌신호 분류 결과에 대한 실시간 해석을 가능하게 하며, 부적합한 뇌신호가 입력되었을 시 기기를 작동하지 않게 하여 시스템에 대한 신뢰도를 보장한다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 뇌신호 분류 결과를 시각화된 뇌 이미지를 통해 어느 뇌 영역이 활성화되는지 보여주고 부적합한 뇌신호가 입력되었을 시 뇌신호를 새로 입력받게 하거나 명령어를 블락하여 오작동을 방지함으로써 신뢰도 높은 뇌파 분석 시스템을 제공한다. 특히 실시간으로 기여도 점수가 계산되므로 사용자에게 실시간으로 딥러닝 분류 결과에 대한 시각화된 뇌 영상 이미지를 제공할 수 있다.
예를 들면, 실제 동작상상 기반의 BCI 기반 기기를 사용할 경우, 사용자마다 시스템 사용 시 성능의 차이가 발생할 수 있다. 그런데 기존의 시스템은 분류 성능을 실시간으로 보여주기는 하지만 '맞다'와 '틀리다'의 이진 분류만을 제공하기 때문에 현재 사용자 자신이 얼마나 적합한 뇌신호를 생성하고 있는 것인지 확인할 수 없다는 어려움이 존재한다. 또한 '맞다'와 '틀리다'의 이진 분류 이외에도 기기가 분류 결과를 도출해 낸 이유를 알 수 없기 때문에 기기를 신뢰하기가 어렵다. 본 발명에서는 분류 결과와 함께 기여도를 나타내는 시각화된 뇌영상 이미지를 제공함으로써, 사용자가 얼마나 적합한 뇌신호를 생성하고 있는지 표현하며, 부적합한 뇌신호가 발생했을 시 기기를 작동하지 않고 사용자로부터 뇌신호를 다시 입력 받음으로써 시스템에 대한 신뢰도를 보장한다.
더불어, 본 발명은 재활 환자의 뇌 운동 기능 향상, 마비 환자의 외부 기기 제어(로봇팔, 휠체어 등), 또한 일반인들을 위한 다양한 게임 어플리케이션(증강 현실, 아바타 제어 등)에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 뇌신호 분류 결과 제공 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 네트워크를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 뇌신호 분류 결과 제공 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 세 개의 채널 및 분류 점수에 기초하여 대상체의 동작을 제어하는 방법을 설명하기 위한 순서도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 기여도 점수에 기초하여 세 개의 채널에 대응하는 뇌 지도의 위치 및 분류 점수를 시각화한 사용자 인터페이스를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "뇌신호 분류 결과 제공 장치"는 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), LTE(Long Term Evolution) 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, “네트워크”는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
또한, 이하에서 언급되는 “움직임 의도(motor imagery)”는 동작 상상, 움직임 상상 등으로 지칭될 수 있다.
이하, 도면을 참조하여, 본 발명의 일 실시예에 대하여 구체적으로 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 뇌신호 분류 결과 제공 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예 따른 BCI(Brain computer interface)기반 뇌신호 분류 결과 제공 장치(10)는 뇌신호 분류 결과 제공 프로그램이 저장된 메모리, 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되, 프로세서는 프로그램의 실행에 따라, 사용자(1)로부터 측정된 뇌신호의 특징 정보를 포함하도록 데이터를 전처리하고, 전처리된 데이터를 딥러닝 기반의 분류기에 입력하고, 각 동작상상에 대한 분류 점수 및 분류 결과를 출력하고, 분류 점수 및 분류 결과에 기초하여 역전파를 통해 기여도 점수를 산출할 수 있다.
이를 통해, 사용자의 뇌신호를 입력받아 보다 정확히 사용자의 의도를 파악할 수 있으며, 결과에 대한 해석도 가능하게 하여 오인식된 뇌신호에 대해서는 기기를 작동하지 않도록 하여, 보다 신뢰도 높은 뇌파 분석 시스템을 제공할 수 있다.
구체적으로, 뇌신호 분류 결과 제공 장치(10)는 뇌신호 측정부(110), 뇌신호 분류 결과 제공 프로그램이 저장된 메모리 및 프로그램(또는 애플리케이션)을 수행하는 프로세서를 포함하여 구성될 수 있다. 여기서 프로세서는 메모리에 저장된 프로그램의 실행에 따라 다양한 기능을 수행할 수 있는데, 각 기능에 따라 프로세서에 포함되는 세부 모듈들을 전처리부(120), 분류부(130), 해석부(140), 출력부(150)로 나타낼 수 있다.
여기서, 뇌신호는 랜덤하게 복수회 출력되는 특정 동작상상에 대하여 사용자의 두피에 접촉하거나 두피에 인접한 복수의 전극을 통해 측정된 EEG(electroencephalography) 신호일 수 있다.
뇌신호 측정부(110)는 EEG 측정 장비와 연결되어 사용자가 특정 동작 상상을 수행했을 때 두피에서 발생하는 뇌신호를 측정한다. 이때, 뇌신호 측정부(110)는 모니터에서 발생하는 큐 (예: 여러 방향의 화살표)에 의해 특정 클래스의 동작 상상을 수행하며 이 과정을 수차례 반복함으로써 뇌신호를 측정할 수 있다. 즉, 동작 상상 수행시 발생하는 뇌신호를 기록할 수 있다.
또한 뇌신호 분류 결과 제공 장치(10)는 BCI 기판 컴퓨팅 장치로서, 뇌신호 분류 결과 제공 장치(10)에 접속한 사용자 단말에 대하여 뇌신호 분류 결과를 제공하는 서버로서 기능할 수 있다.
메모리는 뇌신호 분류 결과 제공 프로그램이 저장된다. 이때, 메모리는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
프로세서는 사용자(1)로부터 측정된 뇌신호의 특징 정보를 포함하도록 데이터를 전처리하는 경우, 뇌신호에 대하여 각 동작상상과 관련된 각 주파수 대역으로 필터링하고, 필터링된 뇌신호의 차원을 축소시키고, 축소된 뇌신호에 대하여 시간축과 공간축에 대한 상관관계도를 산출하여 뇌신호의 특징 정보를 추출한다.
예시적으로, 전처리부(120)는 뇌신호 측정부(110)로부터 입력된 뇌신호에서 유의미한 정보를 보존하고 분류부(130)에 적합한 형태로 입력하기 위해(즉, 뇌의 주파수적 정보를 획득하기 위해) 주파수 필터링을 수행하고, 필터링된 뇌신호에 대해 차원축소 과정을 거친 후 차원 축소된 뇌신호에서 시간축과 공간축에 대한 상관관계도를 산출할 수 있다.
예를 들어, 프로세서는 n개의 명령어(전, 후, 좌, 우)와 같은 각 개별 동작 상상별로 클래스를 구분하여 뇌신호의 특징을 추출한다. 이를 위해, 개별 동작 상상과 연관된 특정 주파수 범위를 설정하고, 이 주파수 범위에 따라 각 뇌신호를 필터링하는 형태로 뇌신호에 대한 전처리를 수행할 수 있다.
프로세서는 전처리된 데이터를 딥러닝 기반의 분류기에 입력하고, 각 동작상상에 대한 분류 점수 및 분류 결과를 출력하고, 분류 점수 및 분류 결과에 기초하여 역전파를 통해 기여도 점수를 산출한다. 여기서, 분류기(classifier)는 사용자(1)로부터 수신된 뇌신호로부터 사용자(1)의 움직임 의도를 결정하기 위해 기계 학습되는 적어도 하나의 프로그램(또는 적어도 하나의 인스트럭션 세트)일 수 있다. 또한, 분류 점수는 분류기로부터 출력된 분류 결과에 대한 신호 정확도를 의미한다.
예시적으로, 분류부(130)는 각 클래스별로 전처리된 뇌신호를 이용하여 분류기를 학습하고 분류 점수와 분류 결과를 출력할 수 있다. 즉, 클래스별로 전처리된 뇌신호를 이용하여 분류기를 학습하고, 학습된 분류기를 통하여 분류 점수와 분류 결과를 출력할 수 있다. 해석부(140)는 분류기로부터 출력된 분류 점수 및 분류 결과를 토대로 역전파를 통해 기여도 점수를 계산할 수 있다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 네트워크를 도시한 도면이다.
예시적으로, 도 2를 참조하면 딥러닝 네트워크는 특정 클래스의 동작상상과 연관된 복수의 입력노드를 갖는 입력층, 동작상상의 분류결과를 나타내는 복수의 출력노드를 갖는 출력층 및 입력층과 출력층 사이에서 동작상상 및 분류결과에 대한 처리요소를 갖는 복수의 은닉노드를 갖는 은닉층을 포함할 수 있다.
이때, 프로세서는 딥러닝 네트워크의 가중치에 따라 역전파하여 기여도 점수를 산출할 수 있으며, 딥러닝 네트워크에서 각 층에 포함되는 노드의 기여도 합이 모든 층에서 동일하다는 전제하에 산출한다. 기여도 점수를 산출하는 방법은 수학식 1 내지 3을 참조하여 후술하도록 한다.
프로세서는 산출된 기여도 점수 중 점수가 높은 세 개의 채널에 대응하는 미리 특정된 뇌 지도의 위치를 출력한다. 일 예로, 출력부(150)는 해석부(140)에 의해 해석된 결과(즉, 기여도 점수가 높은 세 개의 채널)를 뇌 영상 이미지(즉, 뇌 지도)에 매핑(mapping) 함으로써, 뇌의 어느 영역(뇌의 특징 정보)에서 유의미한 특징이 발현되었는지를 사용자 인터페이스를 통해 사용자에게 시각적으로 제공할 수 있다. 다른 예로, 출력부(150)는 분류부(130)에 의해 산출된 분류 점수를 사용자 인터페이스를 통해 출력할 수 있다.
여기서, 미리 특정된 뇌 지도는 뇌의 특징 정보 중에서 각 채널(공간)과 연관된 위치 정보를 뇌 영상 이미지의 각 영역(즉, 위치)에 매핑하여 나타낸 것을 의미한다.
이하에서는 분류 점수 및 분류 결과에 기초하여 딥러닝 네트워크의 가중치에 따라 역전파하여 기여도 점수를 산출하는 방법을 상세히 설명하도록 한다.
먼저, BCI를 사용하기 위해 동작상상 뇌신호를 획득한다. 획득한 뇌신호에서 유의미한 정보를 가진 정보를 추출하기 위해 전처리 과정을 거친다. 전처리 과정을 거친 뇌파는 딥러닝 기반의 분류기를 통해 학습된다. 이 과정에서 뇌신호는 대상체 제어 등을 위해 n개의 명령어(전, 후, 좌, 우) 등으로 분류되며 분류 점수도 함께 출력된다. 분류기를 통해 출력된 분류 점수는 다시 딥러닝 네트워크를 역전파하며 기여도 점수가 계산된다.
기여도 점수는, 네트워크의 마지막 층에서의 최종 분류 결과를 f(x)라고 했을 때 딥러닝 네트워크에서 각 층에 포함되는 노드의 기여도 합은 모든 층에서 동일하다는 전제를 바탕으로 아래의 수학식 1과 같이 계산된다.
<수학식 1>
Figure pat00001
구체적으로, 기여도 점수는 아래의 수학식 2와 같이 뇌신호가 입력된 첫 번째 층까지 네트워크의 가중치에 따라 역전파하여 계산된다.
<수학식 2>
Figure pat00002
식에서 xg l는 l층에서의 입력을 의미하며, xh l는 출력을 의미하고, wgh는 xg l와 xh l를 연결하는 가중치를 의미하며, bh는 가중치를 의미한다. 하나의 층에서 다른 층으로의 맵핑은 relu함수에 의해 사영된다. relu 함수는 relu(t)=max(0,t)와 같이 정의된다. 기여도 점수를 구하는 규칙은 모든 층에서 동일하게 적용되어, 각 층이 이전 층의 관련성 점수를 공유하게 된다. 이를 일반식으로 표현하면 수학식 3과 같이 표현된다.
<수학식 3>
Figure pat00003
첫 번째 층까지 계산된 기여도 점수가 시각화된 뇌 영상 이미지로 출력된다.
뇌 영상 이미지는 뇌 지도에 표시되어 어느 채널이 분류에 영향을 많이 미쳤는지를 표시해준다. 이를 통해 BCI를 이용한 기기의 동작에 대한 이유를 사람이 이해 가능한 방식으로 제시할 수 있다.
또한, 프로세서는 세 개의 채널 및 분류 점수에 기초하여 대상체의 동작을 제어하되, 뇌 지도에 출력된 세 개의 채널의 위치가 일치하고, 분류 점수가 임계 점수 이상인 경우, 대상체의 동작을 수행하는 것이고, 뇌 지도에 출력된 세 개의 채널의 위치가 분산되거나, 분류 점수가 임계 점수 이하인 경우, 대상체의 동작을 수행하지 않는 것일 수 있다.
이하에서는 도 3 내지 도4를 참조하여 본 발명의 일 실시예에 따른 뇌신호 분류 결과 제공 방법을 설명하도록 한다. 상술한 도 1 및 도2에 도시된 구성 중 동일한 기능을 수행하는 구성의 경우 설명을 생략하기로 한다.
도 3은 본 발명의 일 실시예에 따른 뇌신호 분류 결과 제공 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 세 개의 채널 및 분류 점수에 기초하여 대상체의 동작을 제어하는 방법을 설명하기 위한 순서도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 BCI(Brain computer interface)기반 뇌신호 분류 결과 제공 방법은 사용자로부터 실시간으로 측정된 뇌신호를 회득하는 단계(S110), 사용자로부터 측정된 뇌신호의 특징 정보를 포함하도록 데이터를 전처리하는 단계(S120), 전처리된 데이터를 딥러닝 기반의 분류기에 입력하는 단계(S130), 각 동작상상에 대한 분류 점수 및 분류 결과를 출력하고, 분류 점수 및 분류 결과에 기초하여 역전파를 통해 기여도 점수를 산출하는 단계(S140)를 포함한다.
데이터를 전처리하는 단계(S120)는 뇌신호에 대하여 각 동작상상과 관련된 각 주파수 대역으로 필터링하는 단계, 필터링된 뇌신호의 차원을 축소시키는 단계 및 축소된 뇌신호에 대하여 시간축과 공간축에 대한 상관관계도를 산출하여 뇌신호의 특징 정보를 추출하는 단계를 포함할 수 있다.
기여도 점수를 산출하는 단계(S140)는 딥러닝 네트워크의 가중치에 따라 역전파하여 산출하는 단계를 포함한다. 이때, 딥러닝 네트워크는 특정 클래스의 동작상상과 연관된 복수의 입력노드를 갖는 입력층, 동작상상의 분류결과를 나타내는 복수의 출력노드를 갖는 출력층 및 입력층과 출력층 사이에서 동작상상 및 분류결과에 대한 처리요소를 갖는 복수의 은닉노드를 갖는 은닉층을 포함하는 것이며, 딥러닝 네트워크에서 각 층에 포함되는 노드의 기여도 합이 모든 층에서 동일하다는 전제하에 기여도 점수가 산출될 수 있다.
또한, 본 발명의 일 실시예에 따른 BCI기반 뇌신호 분류 결과 제공 방법은 기여도 점수에 의한 해설 결과를 시각화하는 단계로서, 산출된 기여도 점수 중 점수가 높은 세 개의 채널에 관한 위치 정보를 미리 특정된 뇌 지도 상에 출력하는 단계(S150)를 포함한다.
도 4를 참조하면, 출력하는 단계(S150)는 세 개의 채널 및 분류 점수에 기초하여 대상체의 동작을 제어하는 단계(S151)를 포함할 수 있다. 일 예로, 뇌 지도에 출력된 세 개의 채널의 위치가 일치하고(S141), 분류 점수가 임계 점수 이상인 경우(S142), 대상체의 동작을 수행한다. 다른 예로, 뇌 지도에 출력된 세 개의 채널의 위치가 분산되거나(S141), 분류 점수가 임계 점수 이하인 경우(S142), 대상체의 동작을 수행하지 않는다.
예를 들어, 기여도 점수가 높은 세 개의 채널의 위치가 모두 뇌 지도상에서 분류된 방향(예시적으로, 좌반구, 우반구 등)과 일치하고, 분류기로부터 출력된 분류 점수가 임계 점수(바람직하게, 70%) 이상인 경우에는 대상체를 분류된 방향(예시적으로, 오른쪽, 왼쪽 등)으로 이동시킬 수 있다. 반면, 세 개의 채널의 위치가 뇌 지도상에서 분산되어 일치하지 않거나, 분류 점수가 임계 점수 이하인 경우에는 대상체를 이동시키지 않고, 사용자로부터 뇌신호를 다시 입력 받을 수 있다(S110).
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 기여도 점수에 기초하여 세 개의 채널에 대응하는 뇌 지도의 위치 및 분류 점수를 시각화한 사용자 인터페이스를 도시한 도면이다.
예시적으로, 도 5a를 참조하면, 사용자 인터페이스(155)에는 기여도 점수가 높은 세 개의 채널이 뇌 지도 상에서 모두 좌반구에 위치한 것이 나타나고, 신호 정확도(분류 점수)는 87.1%로 임계 점수(70%) 이상인 것으로 나타나고, 오른쪽 방향의 화살표에 식별 가능하게 표시될 수 있다. 즉, 사용자의 특정 동작 상상(오른쪽 방향의 이동)에 대하여, 뇌 지도를 통해 뇌의 영역 중 어느 부분이 분류 결과에 가장 높은 기여를 했는지 시각적으로 제공하여 BCI 기반의 동작에 대한 사용자의 이해를 도울 수 있다.
일 예로, 도 5b를 참조하면, 사용자 인터페이스(155)에는 기여도 점수가 높은 세 개의 채널의 분포가 뇌 지도 상에서 분산되어 나타나고, 신호 정확도(분류 점수)는 74.3%로 임계 점수(70%) 이상인 것으로 나타난다. 다른 예로, 도 5c를 참조하면, 사용자 인터페이스(155)에는 기여도 점수가 높은 세 개의 채널이 뇌 지도 상에서 모두 좌반구에 위치한 것이 나타나고, 신호 정확도(분류 점수)는 68.4%로 임계 점수(70%) 이하인 것으로 나타난다. 즉, 채널의 위치 및 분류 점수 중 적어도 하나가 기준에 못 미치는 경우, 부정확한 뇌 신호가 발생한 것으로 판단하여 대상체를 작동하지 않고 사용자로부터 뇌 신호를 다시 입력 받음으로써, 신뢰도 높은 BCI시스템을 제공한다. 더불어 명령의 오류에 대하여 색(녹색 또는 빨간색 등)으로 식별 가능하도록 도식화하여 BCI 시스템의 편의성을 향상할 수 있다.
본 발명의 일 실시예에 따른 뇌신호 분류 결과 제공 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 뇌신호 분류 결과 제공 장치 110: 뇌 신호 측정부
120: 전처리부 130: 분류부
140: 해석부 150: 출력부

Claims (13)

  1. BCI(Brain computer interface)기반 뇌신호 분류 결과 제공 장치에 있어서,
    뇌신호 분류 결과 제공 프로그램이 저장된 메모리, 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램의 실행에 따라,
    사용자로부터 측정된 뇌신호의 특징 정보를 포함하도록 데이터를 전처리하고, 상기 전처리된 데이터를 딥러닝 기반의 분류기에 입력하고, 각 동작상상에 대한 분류 점수 및 분류 결과를 출력하고, 상기 분류 점수 및 분류 결과에 기초하여 역전파를 통해 기여도 점수를 산출하는 것인,
    뇌신호 분류 결과 제공 장치.
  2. 제 1 항에 있어서,
    상기 뇌신호는 랜덤하게 복수회 출력되는 특정 동작상상에 대하여 사용자의 두피에 접촉하거나 두피에 인접한 복수의 전극을 통해 측정된 EEG(electroencephalography) 신호인 것인,
    뇌신호 분류 결과 제공 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는
    상기 뇌신호에 대하여 상기 각 동작상상과 관련된 각 주파수 대역으로 필터링하고, 상기 필터링된 뇌신호의 차원을 축소시키고, 상기 축소된 뇌신호에 대하여 시간축과 공간축에 대한 상관관계도를 산출하여 상기 뇌신호의 특징 정보를 추출하는 것인,
    뇌신호 분류 결과 제공 장치.
  4. 제 1 항에 있어서,
    상기 기여도 점수는
    딥러닝 네트워크의 가중치에 따라 역전파하여 산출되며,
    상기 딥러닝 네트워크는
    특정 클래스의 동작상상과 연관된 복수의 입력노드를 갖는 입력층;
    상기 동작상상의 분류결과를 나타내는 복수의 출력노드를 갖는 출력층; 및
    상기 입력층과 상기 출력층 사이에서 상기 동작상상 및 상기 분류결과에 대한 처리요소를 갖는 복수의 은닉노드를 갖는 은닉층을 포함하는 것이고,
    상기 딥러닝 네트워크에서 각 층에 포함되는 노드의 기여도 합이 모든 층에서 동일하다는 전제하에 산출되는 것인,
    뇌신호 분류 결과 제공 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는
    상기 산출된 기여도 점수 중 점수가 높은 세 개의 채널에 관한 위치 정보를 미리 특정된 뇌 지도 상에 출력하는 것인,
    뇌신호 분류 결과 제공 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는
    상기 세 개의 채널 및 상기 분류 점수에 기초하여 대상체의 동작을 제어하되,
    상기 뇌 지도에 출력된 상기 세 개의 채널의 위치가 일치하고, 상기 분류 점수가 임계 점수 이상인 경우, 상기 대상체의 동작을 수행하는 것이고,
    상기 뇌 지도에 출력된 상기 세 개의 채널의 위치가 분산되거나, 상기 분류 점수가 임계 점수 이하인 경우, 상기 대상체의 동작을 수행하지 않는 것인,
    뇌신호 분류 결과 제공 장치.
  7. BCI(Brain computer interface)기반 뇌신호 분류 결과 제공 방법에 있어서,
    사용자로부터 측정된 뇌신호의 특징 정보를 포함하도록 데이터를 전처리하는 단계,
    상기 전처리된 데이터를 딥러닝 기반의 분류기에 입력하는 단계,
    각 동작상상에 대한 분류 점수 및 분류 결과를 출력하고, 상기 분류 점수 및 분류 결과에 기초하여 역전파를 통해 기여도 점수를 산출하는 단계를 포함하는,
    뇌신호 분류 결과 제공 방법.
  8. 제 7 항에 있어서,
    상기 뇌신호는 랜덤하게 복수회 출력되는 특정 동작상상에 대하여 사용자의 두피에 접촉하거나 두피에 인접한 복수의 전극을 통해 측정된 EEG(electroencephalography) 신호인 것인,
    뇌신호 분류 결과 제공 방법.
  9. 제 7 항에 있어서,
    상기 데이터를 전처리하는 단계는,
    상기 뇌신호에 대하여 상기 각 동작상상과 관련된 각 주파수 대역으로 필터링하는 단계,
    상기 필터링된 뇌신호의 차원을 축소시키는 단계, 및
    상기 축소된 뇌신호에 대하여 시간축과 공간축에 대한 상관관계도를 산출하여 상기 뇌신호의 특징 정보를 추출하는 단계를 포함하는 것인,
    뇌신호 분류 결과 제공 방법.
  10. 제 7 항에 있어서,
    상기 기여도 점수를 산출하는 단계는
    딥러닝 네트워크의 가중치에 따라 역전파하여 산출하는 단계를 포함하며,
    상기 딥러닝 네트워크는
    특정 클래스의 동작상상과 연관된 복수의 입력노드를 갖는 입력층;
    상기 동작상상의 분류결과를 나타내는 복수의 출력노드를 갖는 출력층; 및
    상기 입력층과 상기 출력층 사이에서 상기 동작상상 및 상기 분류결과에 대한 처리요소를 갖는 복수의 은닉노드를 갖는 은닉층을 포함하는 것이고,
    상기 딥러닝 네트워크에서 각 층에 포함되는 노드의 기여도 합이 모든 층에서 동일하다는 전제하에 산출되는 것인,
    뇌신호 분류 결과 제공 방법.
  11. 제 7 항에 있어서,
    상기 산출된 기여도 점수 중 점수가 높은 세 개의 채널에 관한 위치 정보를 미리 특정된 뇌 지도 상에 출력하는 단계를 더 포함하는 것인,
    뇌신호 분류 결과 제공 방법.
  12. 제 11 항에 있어서,
    상기 출력하는 단계는,
    상기 세 개의 채널 및 상기 분류 점수에 기초하여 대상체의 동작을 제어하는 단계를 포함하되,
    상기 뇌 지도에 출력된 상기 세 개의 채널의 위치가 일치하고, 상기 분류 점수가 임계 점수 이상인 경우, 상기 대상체의 동작을 수행하는 것이고,
    상기 뇌 지도에 출력된 상기 세 개의 채널의 위치가 분산되거나, 상기 분류 점수가 임계 점수 이하인 경우, 상기 대상체의 동작을 수행하지 않는 것인,
    뇌신호 분류 결과 제공 방법.
  13. 제 7 항 내지 제 12 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020180130213A 2017-11-27 2018-10-29 뇌-컴퓨터 인터페이스 기반 뇌신호 분류 결과 제공 장치 및 방법 KR20190062174A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170159204 2017-11-27
KR20170159204 2017-11-27

Publications (1)

Publication Number Publication Date
KR20190062174A true KR20190062174A (ko) 2019-06-05

Family

ID=66844625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180130213A KR20190062174A (ko) 2017-11-27 2018-10-29 뇌-컴퓨터 인터페이스 기반 뇌신호 분류 결과 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20190062174A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210043862A (ko) 2019-10-14 2021-04-22 연세대학교 산학협력단 특징정보 생성 장치, 방법 및 이를 포함하는 생체 신호 변환 장치
WO2021107309A1 (ko) * 2019-11-29 2021-06-03 서울대학교병원 뇌파 분석과 관련된 관심 구간을 뇌파 신호에서 레이블링하는 방법 및 이를 수행하는 뇌파 분석 시스템
CN113655884A (zh) * 2021-08-17 2021-11-16 河北师范大学 设备控制方法、终端及系统
KR20230113424A (ko) 2022-01-21 2023-07-31 금오공과대학교 산학협력단 딥러닝을 이용한 뇌파 인식 스마트 휠체어 제어장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210043862A (ko) 2019-10-14 2021-04-22 연세대학교 산학협력단 특징정보 생성 장치, 방법 및 이를 포함하는 생체 신호 변환 장치
WO2021107309A1 (ko) * 2019-11-29 2021-06-03 서울대학교병원 뇌파 분석과 관련된 관심 구간을 뇌파 신호에서 레이블링하는 방법 및 이를 수행하는 뇌파 분석 시스템
CN113655884A (zh) * 2021-08-17 2021-11-16 河北师范大学 设备控制方法、终端及系统
KR20230113424A (ko) 2022-01-21 2023-07-31 금오공과대학교 산학협력단 딥러닝을 이용한 뇌파 인식 스마트 휠체어 제어장치

Similar Documents

Publication Publication Date Title
CN111317468B (zh) 脑电信号分类方法、装置、计算机设备和存储介质
KR20190062174A (ko) 뇌-컴퓨터 인터페이스 기반 뇌신호 분류 결과 제공 장치 및 방법
US11627903B2 (en) Method for diagnosing cognitive disorder, and computer program
Lin et al. EEG-based learning system for online motion sickness level estimation in a dynamic vehicle environment
KR102165592B1 (ko) 주의력결핍 과잉행동장애 치료를 위한 가상현실 콘텐츠 시스템 및 가상현실 콘텐츠를 제공하는 방법
Series et al. The “silent” surround of V1 receptive fields: theory and experiments
Zhang et al. Spatiotemporal sparse Bayesian learning with applications to compressed sensing of multichannel physiological signals
Asensio-Cubero et al. Multiresolution analysis over graphs for a motor imagery based online BCI game
Dor-Ziderman et al. Prediction-based neural mechanisms for shielding the self from existential threat
KR101970700B1 (ko) 뇌 신호 기반 기기 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법
KR102120112B1 (ko) 인공지능에 기반한 외사시환자 재활훈련 가상현실 시스템, 방법 및 컴퓨터-판독가능매체
Halme et al. Comparing features for classification of MEG responses to motor imagery
Sharma et al. Modeling observer stress for typical real environments
Matsumiya Multiple representations of the body schema for the same body part
Nagarajan et al. Relevance-based channel selection in motor imagery brain–computer interface
Ahkami et al. Adding tactile feedback and changing ISI to improve BCI systems’ robustness: An error-related potential study
Korkmaz et al. A novel probabilistic and 3D column P300 stimulus presentation paradigm for EEG-based spelling systems
Piña-Ramirez et al. Scenario screen: A dynamic and context dependent P300 stimulator screen aimed at wheelchair navigation control
Wang et al. Causality analysis of fMRI data based on the directed information theory framework
Griffith et al. System identification methods for dynamic models of brain activity
Abhishek et al. Stress analysis of a computer game player using electroencephalogram
Khalaf et al. EEG-fTCD hybrid brain–computer interface using template matching and wavelet decomposition
Parsons et al. Neurogaming-based classification of player experience using consumer-grade electroencephalography
Do et al. Estimating the cognitive load in physical spatial navigation
Vourvopoulos et al. Brain–computer interfacing with interactive systems—case study 2

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application