KR102143900B1 - 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법 - Google Patents

사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR102143900B1
KR102143900B1 KR1020180106723A KR20180106723A KR102143900B1 KR 102143900 B1 KR102143900 B1 KR 102143900B1 KR 1020180106723 A KR1020180106723 A KR 1020180106723A KR 20180106723 A KR20180106723 A KR 20180106723A KR 102143900 B1 KR102143900 B1 KR 102143900B1
Authority
KR
South Korea
Prior art keywords
information
brain
feature
user
eeg
Prior art date
Application number
KR1020180106723A
Other languages
English (en)
Other versions
KR20190030612A (ko
Inventor
이성환
권오연
이민호
방지선
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20190030612A publication Critical patent/KR20190030612A/ko
Application granted granted Critical
Publication of KR102143900B1 publication Critical patent/KR102143900B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A61B5/04012—
    • A61B5/0478—
    • A61B5/048—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Power Engineering (AREA)
  • Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법에 관한 것으로서, -컴퓨터 인터페이스(Brain Computer Interface, BCI) 시스템에 의해 수행되는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법에 있어서, a) 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 상기 획득된 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 상기 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장하는 단계; b) 새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 상기 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하는 단계; c) 상기 BCI 데이터베이스에 저장된 레퍼런스 특징 정보와 상기 대상 특징 정보를 비교하여, 상기 레퍼런스 특징 정보 중에서 상기 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택하는 단계; 및 d) 상기 선택된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 새로운 사용자에게 적용하는 단계를 포함하되, 상기 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함하는 것이다.

Description

사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법{SYSTEM FOR PROVIDING SUBJECT-INDEPENDENT BRAIN-COMPUTER INTERFACE AND METHOD THEREOF}
본 발명은 대용량의 BCI 데이터베이스를 통해 새로운 사용자의 뇌신호 특징 패턴과 유사한 뇌신호 특징 패턴을 추출함으로써 반복적인 뇌 신호 측정 과정이 필요없는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법에 관한 것이다.
뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)는 인간의 뇌와 기계간의 연결을 통하여, 직접적인 신체의 움직임 없이 외부기기를 제어하는 인터페이스 체계이다. BCI는 신체를 움직일 수 없는 환자, 신체의 움직임이 어려움이 있는 환자와 같은 사람들을 위해 생활 보조 도구로 활용할 수 있을 뿐 아니라 재활 목적을 위하여 사용 될 수 있다. 이에 더하여, BCI는 환자 대상만이 아닌 일반인들의 뇌 신호 정보를 바탕으로 엔터테인먼트 산업, 집중력 향상 도구, 드론 제어, 운동 어플리케이션 등 다양한 용도로 이용 될 수 있다.
BCI에서 뇌 신호를 측정하는 방법은 크게 두 가지로 나뉜다. 뇌의 두개골을 열어 뇌파를 취득하는 침습적인 방법과 뇌의 두개골 밖에서 뇌파를 취득하는 비침습적인 방법으로 나뉜다. 침습적 방법으로 주로 이용이 되는 것은 피질뇌파(Electrocorticography, ECoG) 방법으로 두개골 위에 전극을 삽입하여 뇌파를 측정한다. 침습적 방법은 비침습적 방법에서 보다 정확하고 깨끗한 신호를 취득할 수 있으나, 뇌파를 계측하기 위한 전극을 신체 내에 삽입해야 한다는 한계점을 가지고 있다. 비침습적 방법으로는 뇌의 활동에 따른 전기적 신호를 계측하는 뇌전도(Electroencephalography, EEG)가 널리 알려져 있으며, 이 외에 뇌파의 자기적 신호를 계측하는 뇌자도(Magnetoencephalography, MEG), 혈중 산소포화도의 변화를 측정하는 기능적 자기공명영상(functional Magnetic Resonance Imaging, fMRI) 또는 근적외선 분광장치(Near-infrared Spectroscopy, NIRS) 등이 알려져 있다.
BCI 기술은 외부자극 혹은 자발적으로 유발되는 뇌 신호를 계측한다. 이때, 외부 자극은 시각이나 청각 등과 같은 외부에서 주어지는 특정 신호가 뇌에 반영되는 비자발적 방법이나 움직임을 상상하여 뇌에 반영되는 자발적 방법으로 나눌 수 있다.
외부 자극에 의해 유발되는 비자발적 뇌파 특징으로는 대표적으로 안정-상태 시각 유발 전위(Steady-State Visual Evoked Potential, SSVEP)와 사건 관련 전위(Evnet-Related Potential, ERP)를 들 수 있다. SSVEP는 사용자가 특정 주파수로 깜빡이는 시각 자극을 응시할 때, 해당 특정 주파수가 뇌의 후두엽에 유발되도록 하는 방법이고, ERP는 사용자가 특정 자극을 반복적으로 집중하여 응시 할 때, 해당 자극에 대한 반응이 뇌의 후두엽에 유발 되도록 하는 방법이다. 이와는 달리, 외부 자극 없이 사용자가 집중하거나 움직임을 상상할 때 자발적으로 발현되는 뇌파 특징으로는 SensoriMotor Rhythm(SMR)이 있다. SMR은 뇌의 체성감각운동 피질에서 사용자가 특정 부위의 움직임을 상상하는 동작상상(Motor Imagery, MI)을 할 때, 뇌의 좌측 그리고 우측 부분에서 신호의 변화가 일어나고, 이 때 특정 주파수 영역에서 신호의 변화가 발생하는 것을 관찰 할 수 있다. 주로, 8~12Hz(Mu rhythm) 18~25Hz(Beta rhythm)에서 주파수 영역에서 신호가 감소하는 현상을 볼 수 있는데 이를 Event-Related Desynchronization (ERD)라 부른다.
위와 같은 뇌로부터 취득된 뇌 신호는 크게 5가지의 신호 처리과정으로 구성된다. 도 1은 종래 기술에 따른 뇌-컴퓨터 인터페이스 시스템의 신호 처리 동작을 설명하는 순서도이다.
도 1을 참고하면, 뇌-컴퓨터 인터페이스 시스템의 신호 처리 과정은 적어도 하나 이상의 패러다임으로부터 뇌 신호를 수집하는 뇌신호 추출 단계(S10), 추출된 뇌신호를 전처리하는 뇌신호 전처리 단계(S20), 전처리된 뇌 신호로부터 유의미한 뇌신호 정보를 추출하는 특징 추출 단계(S30), 추출된 특징 정보를 바탕으로 뇌신호가 어떤 클래스인지 분류 혹은 예측하는 분류기 생성 단계(S40), 그리고 사용자가 분류 또는 예측된 결과를 인지하는 성능 평가 단계(s50)로 구성이 된다.
종래의 BCI 시스템은 뇌신호 추출 단계에서 캘리브레이션 과정을 수행한다. 이는, BCI시스템이 특징을 추출하기 위해서는 사용자의 기본적인 뇌파 특징 패턴 혹은 분류기 파라미터 값을 찾아내는 과정이 필요하기 때문이다.
이러한 캘리브레이션 과정은 사용자가 이전에 뇌 신호를 계측한 경험이 있는 경우라도, 측정 시점에서의 전극 저항, 전극 위치 변화, 사용자의 뇌 신호의 상태 변화 등을 고려하여 매번 수행된다. 이와 같은 캘리브레이션 과정은 필수적으로 수행되나, 보다 실용적이며 경제적인 BCI 시스템의 사용을 위해서 최소화될 필요가 있다.
동작 상상 패러다임의 경우, 안정적인 BCI 시스템을 구축하기 위해 BCI 사용자가 매번 20분 정도 각 클래스를 수행하며, 동작 상상과 관련된 뇌파를 취득하고 각 클래스에 적응시킨다.
이와 관련하여, 최근에는 캘리브레이션 시간을 줄이기 위하여 대규모 뇌 신호 데이터베이스를 바탕으로 모든 사용자에서 발현되는 공통 특징을 추출하는 방법이 제안되었으며, 캘리브레이션을 필요로 하지 않는 사용자-독립적 BCI 시스템이 연구되고 있다.
그러나, 기존의 데이터베이스를 사용하여 공통 특징을 만드는데 있어서 단순하게 모든 사용자의 정보를 하나의 모델(뇌파 특징 혹은 패턴)로 통합함으로써 사전 지식을 형성하기 때문에, 각기 다른 특징들을 지닌 사람들로부터 모든 사람에게 적용 가능한 공통된 특징을 형성하는 것은 어려울 뿐 아니라, 이 공통된 특징을 새로운 사용자에게 적용하더라도 공통된 특징이 사용자에게 적합하지 않은 특징일 가능성이 높다는 점에서 한계가 있다.
한국등록특허 제 10-1389015 호 (발명의 명칭: 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템)
본 발명의 일 실시예는 복수의 사용자로부터 획득한 뇌 신호의 특징 패턴 정보를 이용하여 BCI데이터베이스를 구축하고, 이 BCI 데이터베이스에서 새로운 사용자의 뇌 신호와 유사한 정보를 가지는 뇌 신호의 특징 패턴 정보를 선택한 후 선택된 뇌신호의 특징 패턴 정보에 대응되는 사전 전이 학습 정보를 이용하여 분류기를 학습할 수 있는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법을 제공하고자 한다.
다만, 본 발명의 일 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일측면에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법은, 뇌-컴퓨터 인터페이스(Brain Computer Interface, BCI) 시스템에 의해 수행되는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법에 있어서, a) 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 상기 획득된 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 상기 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장하는 단계; b) 새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 상기 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하는 단계; c) 상기 BCI 데이터베이스에 저장된 레퍼런스 특징 정보와 상기 대상 특징 정보를 비교하여, 상기 레퍼런스 특징 정보 중에서 상기 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택하는 단계; 및 d) 상기 선택된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 새로운 사용자에게 적용하는 단계를 포함하되, 상기 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함하는 것이다.
본 발명의 일측면에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템은, 사용자로부터 획득한 뇌신호를 이용하여 외부 기기를 제어하기 위한 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템에 있어서, 사용자 독립적 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)를 제공하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 상기 획득된 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 상기 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장하며, 새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 상기 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하며, 상기 BCI 데이터베이스에 저장된 레퍼런스 특징 정보와 상기 대상 특징 정보를 비교하여, 상기 레퍼런스 특징 정보 중에서 상기 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택하고, 상기 선택된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 새로운 사용자에게 적용하되, 상기 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함하는 것이다.
전술한 본 발명의 과제 해결 수단에 의하면, 사용자는 뇌 신호 전극 부착 후 즉각적으로 BCI 시스템을 이용할 수 있고, 사용자가 BCI 시스템을 사용하기 전 매번 뇌 신호를 측정해야 하는 번거로움을 제거함으로써 BCI 기술의 대중화 및 실용성을 크게 향상 시킬 수 있다.
따라서, 본 발명은 사용자에게 적합한 뇌신호의 특징 패턴 정보를 BCI 데이터베이스에서 선별하여 적용함으로써 기존의 캘리브레이션 과정이 필요 없어지고, BCI 시스템의 준비과정에 소요되는 시간이 줄어들어 장애인 또는 정상인에 무관하게 외부의 자극 없이 쉽게 BCI 시스템에 접근하여 자신의 뇌 신호를 발현하여 엔터테인먼트, 교육, 재활 등과 관련한 외부 기기를 제어할 수 있다.
도 1은 종래 기술에 따른 뇌-컴퓨터 인터페이스 시스템의 신호 처리 동작을 설명하는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스를 제공하는 뇌-컴퓨터 인터페이스 시스템의 구성을 설명하는 도면이다.
도 3은 도 2의 프로세서의 구성을 설명하는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 설명하는 순서도이다.
도 5는 도 4의 유사성 판단 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 구현하는 주파수-공간 특징 재현 알고리즘의 수행 과정을 설명하는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서전체에서, 어떤 부분이 다른 부분과 "연결"되어있다고 할 때, 이는 "직접적으로 연결"되어있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템의 구성을 설명하는 도면이다.
도 2를 참고하면, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템(100)은, 메모리(110), 프로세서(120) 및 데이터베이스(130)를 포함한다.
메모리(110)는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(120)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(110)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(120)는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 제공하는 전체 과정을 제어한다. 프로세서(120)가 수행하는 각 단계에 대해서는 도 3 및 도 4를 참조하여 후술하기로 한다.
여기서, 프로세서(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(130)는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 수행하면서 누적되는 데이터가 저장된다. 특히, 데이터베이스(130)는 복수의 사용자로부터 획득한 뇌신호의 특징 패턴 정보를 이용하여 다양한 특징 패턴을 포함하고 있는 레퍼런스 특징 정보를 저장하는 대용량의 BCI 데이터베이스일 수 있다.
한편, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템(100)은 상기한 구성 외에도 뇌 신호 수집이나 외부 기기의 제어 신호 출력을 위한 통신 인터페이스 수단, 신호 처리에 대한 과정 및 결과를 출력하는 디스플레이 수단 등을 더 포함할 수 있다.
도 3은 도 2의 프로세서의 구성을 설명하는 블록도이다.
도 3을 참고하면, 프로세서(120)는 정보 관리부(121), 정보 추출부(122), 유사성 판단부(123), 정보 적용부(124) 및 제어부(125)를 포함한다.
정보 관리부(121)는 대용량의 레퍼런스 특징 정보를 생성하여 저장한다. 즉, 복수의 사용자로부터 획득한 뇌 신호를 이용하여 특징 패턴 정보를 추출하고, 사용자별 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 생성하여 BCI 데이터베이스에 저장한다.
정보 추출부(122)는 새로운 사용자의 접근이 감지되면 기설정된 휴식 시간 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출한다.
유사성 판단부(123)는 BCI 데이터베이스의 레퍼런스 특징 정보와 새로운 사용자의 대상 특징 정보를 비교하여 유사성을 판단한다.
정보 적용부(124)는 유사성 판단부(123)에서 새로운 사용자의 대상 특징 정보와 유사하다고 판단된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 새로운 사용자에게 적용한다.
제어부(125)는 정보 적용부(124)를 통해 선택된 뇌파 특징 정보와 분류기 정보를 새로운 사용자에게 적용하고, 실시간 새로운 사용자로부터 계측되는 뇌 신호를 분류하여, 외부 기기를 제어하기 위한 제어 정보를 제공한다.
도 4는 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 설명하는 순서도이고, 도 5는 도 4의 유사성 판단 과정을 설명하는 도면이다.
도 4 및 도 5를 참고하면, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법은, 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 복수의 사용자의 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장한다(S410).
이때, 패러다임은 SSVEP, MI, ERP 등이 실험 환경이 될 수 있고, BCI 시스템은 오른손, 왼손 및 발의 동작 상상(MI)을 분류하는 클래스(즉, 분류기)뿐만 아니라 SSVEP, ERP등의 각 패러다임의 패턴을 분류하는 분류기를 구비한 것으로 가정한다.
BCI 시스템은 새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간(예를 들면, 약 1분 정도) 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출한다(S420). 이때, 대상 특징 정보는 사용자가 휴식을 취하는 동안 취득한 뇌파를 전처리 과정 및 특징 추출 과정을 통해 뇌파 특징 정보를 추출한 것으로서, 추출된 뇌파 특징 정보는 뇌파 평균 및 공분산 중 적어도 하나 이상의 값을 포함한다.
기존의 BCI 시스템은 20분 정도 실험을 수행하여 사용자의 뇌 신호를 취득하였으나, 본 발명의 일 실시예에 따른 BCI 시스템은 약 1분 정도의 휴식 시간 동안에 측정된 휴지기 뇌 신호만을 이용한다. 따라서 BCI 시스템을 이용하는 사용자는 뇌신호 추출 과정을 보다 편리하고 빠르게 진행할 수 있다.
BCI 시스템은, 도 5에 도시된 바와 같이, 새로운 사용자로부터 획득한 대상 특징 정보와 BCI 데이터베이스에 저장된 레퍼런스 특징 정보 간의 상호 유사성을 판단하여, 레퍼런스 특징 정보 중에서 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택한다(S430).
BCI 시스템은 대상 특징 정보와 레퍼런스 특징 정보의 유사성을 판단한 기준으로 거리 정보를 이용할 수 있다. 예를 들면, BCI 데이터베이스 내 레퍼런스 특징 정보의 뇌파 특징(예들 들면 평균 및 공분산 중 적어도 하나의 값)과 대상 특징 정보의 뇌파 특징(예를 들면, 평균 및 공분산 중 적어도 하나의 값) 간의 평균 거리, 공분산 값의 변화도 등이 이용될 수 있다.
보다 구체적으로, 대상 특징 정보와 레퍼런스 특징 정보의 각 뇌파 특징 간의 거리 정보는 각 특징 분포의 중심점 간의 유클리드 거리(Euclidean distance)일 수 있으며, 또는 쿨백-라이블러 발산(Kullback-Leibler divergence) 기법에 기반하여 산출된 양 특징 분포 간의 확률적 거리일 수 있다.
이를 통해, 본 발명의 일 실시예에 따른 BCI 시스템은BCI 데이터베이스에서 새로운 사용자의 뇌 신호의 특징과 가장 유사한 뇌 신호의 특징을 추출하며, 해당 뇌 신호 특징에 대응하여 사전에 형성되어 있는 사전 전이 학습 정보(뇌파 특징 혹은 패턴)를 곧바로 새로운 사용자에게 적용함으로써(S440), 캘리브레이션 과정을 제거할 수 있다. 이때, 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함한다.
BCI 시스템은 BCI 데이터베이스에서 선택된 뇌파 특징 또는 분류기 정보를 새로운 사용자에게 적용하여 외부의 기기를 제어할 수 있는 제어 정보를 제공한다(S450).
도 6은 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 구현하는 주파수-공간 특징 재현 알고리즘의 수행 과정을 설명하는 도면이다.
먼저, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 구현하기 위한 주파수-공간 특징 재현 알고리즘의 사전 입력 정보는 다음과 같다.
소스 도메인의 학습 데이터 집합은 {X, Y} 이고, 전체 시도 횟수(D)에서 단일 시도 뇌파들(EEG)의 집합을
Figure 112018088885853-pat00001
이며, M채널과 T 샘플포인트들을 가지는 단일 시도 뇌파는
Figure 112018088885853-pat00002
이고,
Figure 112018088885853-pat00003
에서 클래스 라벨 매칭은
Figure 112018088885853-pat00004
이다. 그리고, K는 주파수 필터 뱅크의 수, m은 공간 패턴 학습 알고리즘에서 공간 패턴의 반수(half number), P는 선택된 공간 필터 뱅크의 수, L은 CNN 레이어의 수이다.
다음, 도 6을 참고하면, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 구현하기 위한 주파수-공간 특징 재현 알고리즘은 다양한 패러다임 중 MI패러다임을 기반으로 사용자 독립적 뇌-컴퓨터 인터페이스를 제공하고, 크게 입력 정보 생성 과정(S510), 특징 재현 과정(S520) 및 특징 융합 및 분류 과정(S530)으로 이루어진다.
입력 정보 생성 과정(S510) 은 10-20 국제 전극 배치법(10-20 International Nomenclature) 에 따른 MI에서 일반적으로 많이 사용되는 20개의 운동 영역의 뇌파 채널 데이터를 이용하여 사용자의 뇌신호를 수집한다. 여기서, 10-20 국제 전극 배치법은 EEG(Electroencephalogram) 테스트 혹은 실험 시 두부에 배치되는 전극들의 배치 형상으로 국제적으로 잘 알려진 배치법이다.
주파수-공간 특징 재현 알고리즘은 MI에서 많이 사용되는 8~30㎐, 11~20㎐를 포함한 다수의 주파수 필터 뱅크(bk)를 정의하고, MI 패러다임에서 뇌파 수행 태스크를 위한 시작 신호를 인지한 시점부터 기설정된 측정 시간(예를 들면, 1초 ~ 3.5초) 동안의 뇌 신호만을 선택적으로 추출한다.
그리고, 주파수-공간 특징 재현 알고리즘은 측정한 모든 사용자(또는 피험자)의 뇌신호를 연결한다. 즉, 모든 단일 시도 뇌파(
Figure 112018088885853-pat00005
)를 연결하면,
Figure 112018088885853-pat00006
이 된다. 여기서, N은 학습 피험자들의 수이다.
주파수-공간 특징 재현 알고리즘은 통합된 뇌파 샘플에 대해 주파수 필터링을 거쳐 수학식 1과 같이 필터링된 뇌파 신호(Ek)를 추출한다.
[수학식 1]
Figure 112018088885853-pat00007
수학식 1에서 Ek는
Figure 112018088885853-pat00008
이다.
주파수-공간 특징 재현 알고리즘은 필터링된 뇌파 신호(Ek)에 공통 공간 패턴(Common Spatial Pattern, CSP) 알고리즘을 적용하여 수학식 2와 같이 공간적 필터(Wk)를 구하고, 공간적 필터(Wk)와 필터링된 뇌파 신호(Ek) 간의 행렬 연산을 수행한 후 로그-분산 값을 취하여 수학식 3 및 수학식 4과 같이 특징 벡터(Vk)를 추출한다.
[수학식 2]
Figure 112018088885853-pat00009
[수학식 3]
Figure 112018088885853-pat00010
[수학식 4]
Figure 112018088885853-pat00011
수학식 3에서,
Figure 112018088885853-pat00012
,
Figure 112018088885853-pat00013
는 Wk에서 첫 번째 m과 마지막 m 컬럼 벡터들이다.
한편, 공간적 특성을 고려하기 위해 공간 필터링 기법인 Common Spatial Pattern(CSP)는 서로 다른 두 클래스에 대하여 클래스 간 분산 차이를 극대화하는 공간 필터를 설계하는 알고리즘으로, 두 클래스 동작 상상 EEG에 대해 분산 차이를 극대화 시킨다.
주파수-공간 특징 재현 알고리즘은 추출된 특징 벡터(Vk)로부터 상호간 정보량(MI)을 계산하여 기존의 주파수 필터 뱅크(bk)를 MI 값이 큰 순서대로 재정렬하여 주파수 필터 뱅크(bp)를 산출한다.
주파수-공간 특징 재현 알고리즘은 재정렬된 주파수 필터 뱅크(bp)로부터 추출된 공간적 필터(Wp)와 재배열된 공간적 필터(Ep)간의 행렬 연산을 통해 구한 신호값에 공분산을 하여 수학식 5와 같은 주파수-공간 입력 정보(Cp)를 생성한다.
[수학식 5]
Figure 112018088885853-pat00014
,
Figure 112018088885853-pat00015
특징 재현 과정(S520) 은 각 주파수 필터 뱅크(bp)로부터 생성된 주파수-공간 입력 정보(Cp)가 CNN을 통해 개별적으로 학습되어 L개의 레이어로 이루어진 컨벌루션 레이어에서 수학식 6과 같이 컨벌루션 특징(Gp)를 형성한다.
[수학식 6]
Figure 112018088885853-pat00016
특징 융합 및 분류 과정(S530)은 L번째 컨벌루션 레이어에서 컨벌루션 특징들(Gp)이 1차원 벡터 형태로 축소되고, 축소된 p개의 1차원 특징 벡터들이 연결 융합 레이어(Concatention Fusion Layer)에서 수학식 7과 같이 하나의 통합 벡터(Sconcat)로 합쳐진다.
[수학식 7]
Figure 112018088885853-pat00017
특징 융합 및 분류 과정(S530)에서는 통합 벡터(Sconcat)를 완전 연결 레이어(fully-connected layer)를 통해 총 N개의 클래스 결과를 출력하고, 수학식 8과 같이 소프트맥스 분류기를 통해 N개의 클래스 결과 중 큰 값으로 클래스를 판별한다.
[수학식 8]
Figure 112018088885853-pat00018
,
Figure 112018088885853-pat00019
,
Figure 112018088885853-pat00020
이와 같이, 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법은, 사용자가 BCI 시스템을 사용하기 전 매번 뇌 신호를 측정해야 하는 번거로움을 제거함으로써 BCI 기술의 대중화 및 실용성을 크게 향상 시킬 수 있다.
이상에서 설명한 본 발명의 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 조사 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
또한, 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수도 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템
110 : 메모리
120 : 프로세서
120 : 데이터베이스

Claims (16)

  1. 뇌-컴퓨터 인터페이스(Brain Computer Interface, BCI) 시스템에 의해 수행되고, 복수의 사용자가 사용할 수 있는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법에 있어서,
    a) 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 상기 획득된 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 상기 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장하는 단계;
    b) 새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간 동안 상기 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 상기 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하는 단계;
    c) 상기 BCI 데이터베이스에 저장된 레퍼런스 특징 정보와 상기 대상 특징 정보를 비교하여, 상기 레퍼런스 특징 정보 중에서 상기 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택하는 단계; 및
    d) 상기 선택된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 상기 새로운 사용자에게 적용하는 단계를 포함하되,
    상기 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  2. 제1항에 있어서,
    상기 b) 단계에서 상기 휴식 시간(t2)은 상기 a) 단계에서 뇌 신호 획득시 소요되는 시간(t1)에 비해 짧은 시간(t2 <t1)으로 설정하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  3. 제1항에 있어서,
    상기 b) 단계는,
    상기 휴지기 뇌 신호에 대한 전처리 과정 및 특징 추출 과정을 통해 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하되,
    상기 대상 특징 정보는 뇌파의 평균 및 공분산을 포함하는 뇌파 특징인 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  4. 제1항에 있어서,
    상기 c) 단계는, 상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보에 기반하여 상기 레퍼런스 특징 정보와 대상 특징 정보의 뇌 신호들 사이의 유사성을 판단하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  5. 제4항에 있어서,
    상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보는, 상기 레퍼런스 특징 정보 내의 뇌파 특징과 대상 특징 정보의 뇌파 특징의 각 특징 분포의 중심점 간의 유클리드 거리(Euclidean distance) 정보 또는 공분 값의 변화 정보 중 어느 하나인 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  6. 제4항에 있어서,
    상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보는, 상기 레퍼런스 특징 정보 내의 뇌파 특징과 대상 특징 정보의 뇌파 특징의 각 특징 분포 간의 상대적인 거리를 쿨백-라이블러 발산(Kullback-Leibler divergence) 기법에 기반하여 확률적으로 계산한 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  7. 제1항에 있어서,
    상기 d) 단계는,
    상기 뇌파 특징 정보와 분류기 정보를 포함하는 사전 전이 학습 정보를 상기 새로운 사용자에게 적용하여 분류기를 학습하고, 학습된 분류기를 이용하여 상기 새로운 사용자로부터 실시간 뇌신호를 분류하여 외부 기기를 제어하기 위한 제어 정보를 생성하는 단계를 더 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  8. 제1항에 있어서,
    상기 a) 단계는,
    a-1) 복수의 사용자로부터 획득한 뇌파들을 합쳐 뇌파 샘플을 생성한 후 상기 뇌파 샘플에 대한 주파수 필터링 및 공간 필터링을 통해 특징 벡터를 추출하고, 상기 특징 벡터로부터 상호간 정보량(Mutual Information, MI)을 토대로 각 주파수 정보마다 주파수-공간 입력 정보를 생성하는 단계;
    a-2) 상기 주파수-공간 입력 정보를 CNN(Convolution Neural Network) 특징 재현 알고리즘을 통해 개별적으로 학습하여 컨벌루션 레이어(convolution layer) 를 통해 컨벌루션 특징을 형성하는 단계; 및
    a-3) 상기 컨벌루션 특징을 저차원의 특징 벡터로 차원을 축소하고, 상기 축소된 저차원의 특징 벡터들을 통합 벡터로 합친 후 상기 통합 벡터가 완전 연결 레이어(fully-connected layer)을 통해 총 N개의 클래스 결과를 출력한 후 분류기를 통해 분류하는 단계를 더 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  9. 제8항에 있어서,
    상기 a-1) 단계는,
    기설정된 전극 배치법에 따른 복수 개의 뇌파 채널 데이터를 이용하여 사용자의 뇌신호를 수집하는 단계;
    각 패러다임에서 사용되는 주파수 범위를 이용하여 다수의 주파수 필터 뱅크(bk)를 정의하는 단계;
    적어도 하나 이상의 패러다임에서 뇌파 수행 태스크를 위한 시작 신호를 인지한 시점부터 기설정된 측정 시간 동안의 뇌 신호만을 선택적으로 추출하는 단계;
    복수의 사용자로부터 획득한 뇌파를 연결하여 통합하고, 상기 통합된 뇌파 샘플을 주파수 필터링을 거쳐 필터링된 뇌파 신호(Ek)를 추출하는 단계;
    상기 필터링된 뇌파 신호(Ek)에 공통 공간 패턴(Common Spatial Pattern, CSP) 알고리즘을 적용하여 공간적 필터(Wk)를 구하고, 상기 공간적 필터(Wk)와 필터링된 뇌파 신호(Ek) 간의 행렬 연산을 수행한 후 로그-분산 값을 취하여 특징 벡터(Vk)를 추출하는 단계;
    상기 추출된 특징 벡터(Vk)로부터 상호간 정보량(MI)을 계산하여 상기 주파수 필터 뱅크(bk)를 MI 값이 큰 순서대로 재정렬하여 주파수 필터 뱅크(bp)를 산출하는 단계; 및
    상기 재정렬된 주파수 필터 뱅크(bp)로부터 추출된 공간적 필터(Wp)와 재배열된 공간적 필터(Ep)간의 행렬 연산을 통해 구한 신호값에 공분산을 하여 주파수-공간 입력 정보(Cp)를 생성하는 단계를 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  10. 제9항에 있어서,
    상기 a-2) 단계는,
    각 주파수 필터 뱅크(bp)로부터 생성된 주파수-공간 입력 정보(Cp)가 CNN을 통해 개별적으로 학습되어 L개의 레이어로 이루어진 컨벌루션 레이어에서 컨벌루션 특징(Gp)를 형성하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  11. 제10항에 있어서,
    상기 a-3) 단계는,
    L번째 컨벌루션 레이어에서 컨벌루션 특징들(Gp)이 저차원 벡터 형태로 축소되는 단계;
    상기 축소된 p개의 저차원 특징 벡터들이 연결 융합 레이어(Concatention Fusion Layer)에서 하나의 통합 벡터(Sconcat)로 통합되는 단계; 및
    상기 통합 벡터(Sconcat)를 완전 연결 레이어(fully-connected layer)를 통해 총 N개의 클래스 결과를 출력하는 단계; 및
    상기 분류기를 통해 상기 N개의 클래스 결과 중 큰 값으로 클래스를 판별하는 단계를 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
  12. 사용자로부터 획득한 뇌신호를 이용하여 외부 기기를 제어하되, 복수의 사용자가 사용할 수 있는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템에 있어서,
    사용자 독립적 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)를 제공하기 위한 프로그램이 기록된 메모리; 및
    상기 프로그램을 실행하기 위한 프로세서를 포함하며,
    상기 프로세서는, 상기 프로그램의 실행에 의해, 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 상기 획득된 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 상기 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장하며,
    새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간 동안 상기 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 상기 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하며,
    상기 BCI 데이터베이스에 저장된 레퍼런스 특징 정보와 상기 대상 특징 정보를 비교하여, 상기 레퍼런스 특징 정보 중에서 상기 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택하고,
    상기 선택된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 상기 새로운 사용자에게 적용하되,
    상기 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
  13. 제12항에 있어서,
    상기 프로세서는, 상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보에 기반하여 상기 레퍼런스 특징 정보와 대상 특징 정보의 뇌 신호들 사이의 유사성을 판단하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
  14. 제13항에 있어서,
    상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보는, 상기 레퍼런스 특징 정보 내의 뇌파 특징과 대상 특징 정보의 뇌파 특징의 각 특징 분포의 중심점 간의 유클리드 거리(Euclidean distance) 정보 또는 공분 값의 변화 정보 중 어느 하나인 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
  15. 제13항에 있어서,
    상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보는, 상기 레퍼런스 특징 정보 내의 뇌파 특징과 대상 특징 정보의 뇌파 특징의 각 특징 분포 간의 상대적인 거리를 쿨백-라이블러 발산(Kullback-Leibler divergence) 기법에 기반하여 확률적으로 계산한 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
  16. 제12항에 있어서,
    상기 프로세서는, 상기 뇌파 특징 정보와 분류기 정보를 포함하는 사전 전이 학습 정보를 상기 새로운 사용자에게 적용하여 분류기를 학습하고, 학습된 분류기를 이용하여 상기 새로운 사용자로부터 실시간 뇌신호를 분류하여 외부 기기를 제어하기 위한 제어 정보를 생성하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
KR1020180106723A 2017-09-14 2018-09-06 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법 KR102143900B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170117940 2017-09-14
KR20170117940 2017-09-14

Publications (2)

Publication Number Publication Date
KR20190030612A KR20190030612A (ko) 2019-03-22
KR102143900B1 true KR102143900B1 (ko) 2020-08-12

Family

ID=65949595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106723A KR102143900B1 (ko) 2017-09-14 2018-09-06 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102143900B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021002993A1 (en) * 2019-07-02 2021-01-07 Hrl Laboratories, Llc System and method for continual decoding of brain states to multi-degree-of-freedom control signals in hands free devices
KR102370627B1 (ko) * 2019-09-20 2022-03-07 고려대학교 산학협력단 심층신경망 기반 의식 상태 판단 장치 및 방법
KR102635606B1 (ko) * 2019-11-21 2024-02-13 고려대학교 산학협력단 거리 학습을 이용한 사용자간 유사도 반영 특징 추출 기반의 사용자 독립적 뇌-컴퓨터 인터페이스 장치 및 이를 이용한 태스크 분류 방법
CN110974219A (zh) * 2019-12-20 2020-04-10 北京脑陆科技有限公司 一种基于侵入式bci的人脑意念识别系统
WO2021141332A1 (ko) * 2020-01-06 2021-07-15 삼성전자(주) 전자장치 및 그 제어방법
CN111772629B (zh) * 2020-06-08 2023-03-24 北京航天自动控制研究所 一种脑认知技能移植的方法
KR102322817B1 (ko) * 2020-09-10 2021-11-08 한국항공대학교산학협력단 도플러 레이다 및 음성 센서를 이용한 cnn 기반의 hmi 시스템, hmi 시스템의 센서 데이터 처리 장치 및 그 동작 방법
KR102294131B1 (ko) * 2020-12-28 2021-08-27 주식회사 라젠 인공지능 기반 뇌파 측정 및 분석을 이용한 다중관제 시스템
CN113467609A (zh) * 2021-05-28 2021-10-01 北京脑陆科技有限公司 脑机接口bci设备的架构方法、装置、终端及介质
CN113298030B (zh) * 2021-06-16 2022-08-02 福州大学 轻量级隐私保护外包脑电信号特征提取方法
KR20230007139A (ko) 2021-07-05 2023-01-12 현대자동차주식회사 Ssvep 기반의 자극 검출 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101538916B1 (ko) * 2014-09-26 2015-07-24 (주)와이브레인 Eeg 데이터를 이용하여 사용자 특성의 변화를 예측하는 방법
KR101719546B1 (ko) * 2015-10-08 2017-03-27 세종대학교산학협력단 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법 및 그 시스템
KR101741739B1 (ko) * 2016-02-19 2017-05-31 광주과학기술원 브레인 컴퓨터 인터페이스를 위한 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101205892B1 (ko) * 2010-08-24 2012-11-28 연세대학교 원주산학협력단 뇌파 신호로부터 2차원 공간-주파수 ｅｒｄ／ｅｒｓ 패턴을 생성하는 방법, 이 2차원 공간-주파수 ｅｒｄ／ｅｒｓ 패턴을 이용한 인간 의도를 분류하는 방법 및 이 분류 방법으로 분류된 뇌파 신호를 입력신호로 사용하는 뇌-컴퓨터 인터페이스 장치
KR101389015B1 (ko) 2012-06-19 2014-04-24 서울대학교산학협력단 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101538916B1 (ko) * 2014-09-26 2015-07-24 (주)와이브레인 Eeg 데이터를 이용하여 사용자 특성의 변화를 예측하는 방법
KR101719546B1 (ko) * 2015-10-08 2017-03-27 세종대학교산학협력단 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법 및 그 시스템
KR101741739B1 (ko) * 2016-02-19 2017-05-31 광주과학기술원 브레인 컴퓨터 인터페이스를 위한 장치 및 방법

Also Published As

Publication number Publication date
KR20190030612A (ko) 2019-03-22

Similar Documents

Publication Publication Date Title
KR102143900B1 (ko) 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법
US4736751A (en) Brain wave source network location scanning method and system
KR101703547B1 (ko) 기능적 근적외선 분광법의 뇌활성도 측정에 따른 유효 채널 추출 방법 및 장치
Yang et al. Subject-specific channel selection using time information for motor imagery brain–computer interfaces
Hsu Application of quantum-behaved particle swarm optimization to motor imagery EEG classification
KR102143910B1 (ko) 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법
KR101939363B1 (ko) 사용환경에 적응적인 뇌-컴퓨터 인터페이스 장치 및 그 장치의 동작 방법
Jolly et al. Universal EEG encoder for learning diverse intelligent tasks
Yi et al. A novel method for constructing EEG large-scale cortical dynamical functional network connectivity (dFNC): WTCS
Rivet et al. Impact of spatial filters during sensor selection in a visual P300 brain-computer interface
WO2016113717A1 (en) A novel system and method for person identification and personality assessment based on eeg signal
Szachewicz Classification of motor imagery for brain-computer interfaces
Nunez et al. A tutorial on fitting joint models of M/EEG and behavior to understand cognition
Michalopoulos et al. Classification of EEG single trial microstates using local global graphs and discrete hidden Markov models
Chenane et al. EEG Signal Classification for BCI based on Neural Network
KR102635606B1 (ko) 거리 학습을 이용한 사용자간 유사도 반영 특징 추출 기반의 사용자 독립적 뇌-컴퓨터 인터페이스 장치 및 이를 이용한 태스크 분류 방법
Asensio-Cubero et al. A study on temporal segmentation strategies for extracting common spatial patterns for brain computer interfacing
Ahmad et al. QR decomposition based recursive least square adaptation of autoregressive EEG features
Fouad et al. Attempts towards the first brain-computer interface system in INAYA Medical College
WO2020218013A1 (ja) 情報処理装置、判定方法、および判定プログラム
Estermann Evaluation of Low-Cost EEG Hardware in a Motor Imagery Based Brain Computer Interface
KR20150128018A (ko) 뇌-컴퓨터 인터페이스 시스템 기반의 인지 뉴로 피드백 방법
Anupama et al. k-NN based object recognition system using brain computer interface
Grover et al. Brain-Computer Interface: Deep Learning Based classification of User Specific movement States from EEG data
Saha et al. Efficient event related oscillatory pattern classification for EEG based BCI utilizing spatial brain dynamics

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right