KR20190030612A - System for providing subject-independent brain-computer interface and method thereof - Google Patents

System for providing subject-independent brain-computer interface and method thereof Download PDF

Info

Publication number
KR20190030612A
KR20190030612A KR1020180106723A KR20180106723A KR20190030612A KR 20190030612 A KR20190030612 A KR 20190030612A KR 1020180106723 A KR1020180106723 A KR 1020180106723A KR 20180106723 A KR20180106723 A KR 20180106723A KR 20190030612 A KR20190030612 A KR 20190030612A
Authority
KR
South Korea
Prior art keywords
information
feature
brain
eeg
user
Prior art date
Application number
KR1020180106723A
Other languages
Korean (ko)
Other versions
KR102143900B1 (en
Inventor
이성환
권오연
이민호
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20190030612A publication Critical patent/KR20190030612A/en
Application granted granted Critical
Publication of KR102143900B1 publication Critical patent/KR102143900B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A61B5/04012
    • A61B5/0478
    • A61B5/048
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

The present invention relates to a user-independent brain-computer interface (BCI) providing system and a method thereof. The method is executed by a BCI system for providing a user-independent BCI. The method includes the steps of: (a) obtaining brain signals through one or more paradigms from multiple users and using the obtained brain signals to extract the characteristic pattern information of brain signals of each user and storing reference characteristic information including the same in a BCI database; (b) obtaining idle period brain signals of a new user during a preset resting time when the approach of the new user is sensed and extracting the characteristic pattern information from the idle period brain signals to compute target characteristic information; (c) comparing the reference characteristic information stored in the BCI interface with the target characteristic information in order to select the characteristic pattern information of the brain signals having a characteristic pattern most similar to the characteristic pattern information of the target characteristic information in the reference characteristic information; and (d) applying pre-transition learning information formed in advance to correspond to the characteristic pattern information of the selected brain signals to the new user. The pre-transition learning information includes the brain wave characteristic information including the average, covariance, and deviation of brain waves as well as spectral power for each frequency band and classifier information for classifying the brain wave pattern.

Description

사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법{SYSTEM FOR PROVIDING SUBJECT-INDEPENDENT BRAIN-COMPUTER INTERFACE AND METHOD THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a system and a method for providing a user-

본 발명은 대용량의 BCI 데이터베이스를 통해 새로운 사용자의 뇌신호 특징 패턴과 유사한 뇌신호 특징 패턴을 추출함으로써 반복적인 뇌 신호 측정 과정이 필요없는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for providing a user-independent brain-computer interface that does not require a repetitive brain signal measurement process by extracting a brain signal feature pattern similar to a brain signal feature pattern of a new user through a large-capacity BCI database.

뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)는 인간의 뇌와 기계간의 연결을 통하여, 직접적인 신체의 움직임 없이 외부기기를 제어하는 인터페이스 체계이다. BCI는 신체를 움직일 수 없는 환자, 신체의 움직임이 어려움이 있는 환자와 같은 사람들을 위해 생활 보조 도구로 활용할 수 있을 뿐 아니라 재활 목적을 위하여 사용 될 수 있다. 이에 더하여, BCI는 환자 대상만이 아닌 일반인들의 뇌 신호 정보를 바탕으로 엔터테인먼트 산업, 집중력 향상 도구, 드론 제어, 운동 어플리케이션 등 다양한 용도로 이용 될 수 있다. The Brain-Computer Interface (BCI) is an interface system that controls external devices without direct body movement through the connection between the human brain and the machine. BCI can be used for rehabilitation purposes as well as being a life support tool for people who can not move the body or patients who have difficulty moving the body. In addition, BCI can be used for a variety of purposes such as the entertainment industry, concentration-enhancing tools, drones control, and exercise applications based on the brain signal information of the general public, not only the patient.

BCI에서 뇌 신호를 측정하는 방법은 크게 두 가지로 나뉜다. 뇌의 두개골을 열어 뇌파를 취득하는 침습적인 방법과 뇌의 두개골 밖에서 뇌파를 취득하는 비침습적인 방법으로 나뉜다. 침습적 방법으로 주로 이용이 되는 것은 피질뇌파(Electrocorticography, ECoG) 방법으로 두개골 위에 전극을 삽입하여 뇌파를 측정한다. 침습적 방법은 비침습적 방법에서 보다 정확하고 깨끗한 신호를 취득할 수 있으나, 뇌파를 계측하기 위한 전극을 신체 내에 삽입해야 한다는 한계점을 가지고 있다. 비침습적 방법으로는 뇌의 활동에 따른 전기적 신호를 계측하는 뇌전도(Electroencephalography, EEG)가 널리 알려져 있으며, 이 외에 뇌파의 자기적 신호를 계측하는 뇌자도(Magnetoencephalography, MEG), 혈중 산소포화도의 변화를 측정하는 기능적 자기공명영상(functional Magnetic Resonance Imaging, fMRI) 또는 근적외선 분광장치(Near-infrared Spectroscopy, NIRS) 등이 알려져 있다.There are two main methods of measuring brain signals in BCI. It is divided into an invasive method of opening the skull of the brain to acquire brain waves and a non-invasive method of acquiring brain waves outside the brain's skull. Electrocorticography (ECoG) is a method that is commonly used as an invasive method. Electrodes are placed on the skull to measure brain waves. The invasive method can acquire a more accurate and clean signal in a noninvasive method, but it has a limit in that an electrode for measuring brain waves must be inserted into the body. Electroencephalography (EEG), which measures electrical signals according to the activity of the brain, is widely known as a non-invasive method. In addition, changes in brain oxygen saturation (Magnetoencephalography, MEG) Functional magnetic resonance imaging (fMRI) or near-infrared spectroscopy (NIRS) are known.

BCI 기술은 외부자극 혹은 자발적으로 유발되는 뇌 신호를 계측한다. 이때, 외부 자극은 시각이나 청각 등과 같은 외부에서 주어지는 특정 신호가 뇌에 반영되는 비자발적 방법이나 움직임을 상상하여 뇌에 반영되는 자발적 방법으로 나눌 수 있다.  BCI technology measures external stimuli or spontaneous brain signals. At this time, the external stimulus can be divided into an involuntary method in which a specific signal given from the outside such as vision or hearing is reflected to the brain, or a voluntary method in which the brain reflects the motion.

외부 자극에 의해 유발되는 비자발적 뇌파 특징으로는 대표적으로 안정-상태 시각 유발 전위(Steady-State Visual Evoked Potential, SSVEP)와 사건 관련 전위(Evnet-Related Potential, ERP)를 들 수 있다. SSVEP는 사용자가 특정 주파수로 깜빡이는 시각 자극을 응시할 때, 해당 특정 주파수가 뇌의 후두엽에 유발되도록 하는 방법이고, ERP는 사용자가 특정 자극을 반복적으로 집중하여 응시 할 때, 해당 자극에 대한 반응이 뇌의 후두엽에 유발 되도록 하는 방법이다. 이와는 달리, 외부 자극 없이 사용자가 집중하거나 움직임을 상상할 때 자발적으로 발현되는 뇌파 특징으로는 SensoriMotor Rhythm(SMR)이 있다. SMR은 뇌의 체성감각운동 피질에서 사용자가 특정 부위의 움직임을 상상하는 동작상상(Motor Imagery, MI)을 할 때, 뇌의 좌측 그리고 우측 부분에서 신호의 변화가 일어나고, 이 때 특정 주파수 영역에서 신호의 변화가 발생하는 것을 관찰 할 수 있다. 주로, 8~12Hz(Mu rhythm) 18~25Hz(Beta rhythm)에서 주파수 영역에서 신호가 감소하는 현상을 볼 수 있는데 이를 Event-Related Desynchronization (ERD)라 부른다. The characteristics of involuntary EEGs induced by external stimuli include Steady-State Visual Evoked Potential (SSVEP) and Evnet-Related Potential (ERP). SSVEP is a method that allows a user to stimulate a specific frequency when the user strobes a visual stimulus that blinks at a specific frequency. The ERP is a response to a stimulus when the user repeatedly focuses on the stimulus It is a method to be induced in the occipital lobe of the brain. On the other hand, Sensory Motor Rhythm (SMR) is a feature of the brain wave that is spontaneously expressed when the user concentrates or imagines motion without external stimulus. In the SMR, when the user performs a motor imagery (MI) in which the user imagines the movement of a specific part in the somatosensory motor cortex, the signal changes in the left and right parts of the brain, Can be observed. It can be seen that the signal decreases in the frequency domain mainly at 8 ~ 12Hz (Mu rhythm) 18 ~ 25Hz (Beta rhythm), which is called Event-Related Desynchronization (ERD).

위와 같은 뇌로부터 취득된 뇌 신호는 크게 5가지의 신호 처리과정으로 구성된다. 도 1은 종래 기술에 따른 뇌-컴퓨터 인터페이스 시스템의 신호 처리 동작을 설명하는 순서도이다.  The brain signal acquired from the brain consists of five signal processing processes. 1 is a flowchart illustrating signal processing operations of a conventional brain-computer interface system.

도 1을 참고하면, 뇌-컴퓨터 인터페이스 시스템의 신호 처리 과정은 적어도 하나 이상의 패러다임으로부터 뇌 신호를 수집하는 뇌신호 추출 단계(S10), 추출된 뇌신호를 전처리하는 뇌신호 전처리 단계(S20), 전처리된 뇌 신호로부터 유의미한 뇌신호 정보를 추출하는 특징 추출 단계(S30), 추출된 특징 정보를 바탕으로 뇌신호가 어떤 클래스인지 분류 혹은 예측하는 분류기 생성 단계(S40), 그리고 사용자가 분류 또는 예측된 결과를 인지하는 성능 평가 단계(s50)로 구성이 된다. 1, the signal processing process of the brain-computer interface system includes a brain signal extracting step S10 for collecting brain signals from at least one paradigm, a brain signal preprocessing step for preprocessing the extracted brain signals S20, A classifier generation step (S40) for classifying or predicting a class of a brain signal based on the extracted feature information, and a classifying step (S40) for classifying or predicting a result of the user And a performance evaluation step (s50) of recognizing the performance of the system.

종래의 BCI 시스템은 뇌신호 추출 단계에서 캘리브레이션 과정을 수행한다. 이는, BCI시스템이 특징을 추출하기 위해서는 사용자의 기본적인 뇌파 특징 패턴 혹은 분류기 파라미터 값을 찾아내는 과정이 필요하기 때문이다. The conventional BCI system performs a calibration process in the brain signal extraction step. This is because, in order to extract the feature of the BCI system, it is necessary to find the basic EEG feature pattern or classifier parameter value of the user.

이러한 캘리브레이션 과정은 사용자가 이전에 뇌 신호를 계측한 경험이 있는 경우라도, 측정 시점에서의 전극 저항, 전극 위치 변화, 사용자의 뇌 신호의 상태 변화 등을 고려하여 매번 수행된다. 이와 같은 캘리브레이션 과정은 필수적으로 수행되나, 보다 실용적이며 경제적인 BCI 시스템의 사용을 위해서 최소화될 필요가 있다. This calibration process is performed each time considering the electrode resistance at the time of measurement, the change of the electrode position, the change of the state of the user's brain signal, etc. even if the user has previously measured the brain signal. Such a calibration process is essential, but needs to be minimized for the use of a more practical and economical BCI system.

동작 상상 패러다임의 경우, 안정적인 BCI 시스템을 구축하기 위해 BCI 사용자가 매번 20분 정도 각 클래스를 수행하며, 동작 상상과 관련된 뇌파를 취득하고 각 클래스에 적응시킨다. In the case of the behavioral paradigm, the BCI user executes each class for about 20 minutes each time to build a stable BCI system, acquires brain waves related to the operation imagination, and adapts them to each class.

이와 관련하여, 최근에는 캘리브레이션 시간을 줄이기 위하여 대규모 뇌 신호 데이터베이스를 바탕으로 모든 사용자에서 발현되는 공통 특징을 추출하는 방법이 제안되었으며, 캘리브레이션을 필요로 하지 않는 사용자-독립적 BCI 시스템이 연구되고 있다. Recently, in order to reduce the calibration time, a method of extracting common features expressed by all users based on a large brain signal database has been proposed, and a user-independent BCI system which does not require calibration has been studied.

그러나, 기존의 데이터베이스를 사용하여 공통 특징을 만드는데 있어서 단순하게 모든 사용자의 정보를 하나의 모델(뇌파 특징 혹은 패턴)로 통합함으로써 사전 지식을 형성하기 때문에, 각기 다른 특징들을 지닌 사람들로부터 모든 사람에게 적용 가능한 공통된 특징을 형성하는 것은 어려울 뿐 아니라, 이 공통된 특징을 새로운 사용자에게 적용하더라도 공통된 특징이 사용자에게 적합하지 않은 특징일 가능성이 높다는 점에서 한계가 있다. However, since the existing knowledge base is formed by integrating all users' information into one model (EEG feature or pattern) simply by using the existing database, it is applied to all persons having different characteristics It is difficult to form a common feature as much as possible and there is a limitation in that even if the common feature is applied to a new user, it is highly likely that the common feature is a feature that is not suitable for the user.

한국등록특허 제 10-1389015 호 (발명의 명칭: 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템)Korean Patent No. 10-1389015 (entitled " Electroencephalogram Analysis System Using Amplitude Modulated Steady State Visual Induced Potential Visual Stimulation "

본 발명의 일 실시예는 복수의 사용자로부터 획득한 뇌 신호의 특징 패턴 정보를 이용하여 BCI데이터베이스를 구축하고, 이 BCI 데이터베이스에서 새로운 사용자의 뇌 신호와 유사한 정보를 가지는 뇌 신호의 특징 패턴 정보를 선택한 후 선택된 뇌신호의 특징 패턴 정보에 대응되는 사전 전이 학습 정보를 이용하여 분류기를 학습할 수 있는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법을 제공하고자 한다.In one embodiment of the present invention, a BCI database is constructed using feature pattern information of brain signals acquired from a plurality of users, and feature pattern information of a brain signal having information similar to a brain signal of a new user is selected And to provide a user-independent brain-computer interface providing system and method capable of learning a classifier using pre-transition learning information corresponding to feature pattern information of a selected brain signal.

다만, 본 발명의 일 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.It is to be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일측면에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법은, 뇌-컴퓨터 인터페이스(Brain Computer Interface, BCI) 시스템에 의해 수행되는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법에 있어서, a) 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 상기 획득된 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 상기 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장하는 단계; b) 새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 상기 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하는 단계; c) 상기 BCI 데이터베이스에 저장된 레퍼런스 특징 정보와 상기 대상 특징 정보를 비교하여, 상기 레퍼런스 특징 정보 중에서 상기 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택하는 단계; 및 d) 상기 선택된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 새로운 사용자에게 적용하는 단계를 포함하되, 상기 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함하는 것이다. According to an aspect of the present invention, there is provided a method for providing a user-independent brain-computer interface, the method comprising: providing a user-independent brain-computer interface implemented by a brain-computer interface (BCI) A method for providing an interface, comprising the steps of: a) obtaining a brain signal from at least one or more paradigms from a plurality of users, extracting feature pattern information of a brain signal for each user using the obtained brain signal, Storing reference feature information including pattern information in a BCI database; b) acquiring a resting brain signal for a new user during a predetermined rest period when the access of a new user is detected, and extracting the characteristic pattern information from the resting brain signal to calculate subject characteristic information; c) comparing the reference feature information stored in the BCI database with the target feature information, and selecting feature pattern information of a brain signal having a feature pattern most similar to the feature pattern information of the target feature information among the reference feature information; And d) applying pre-transition learning information formed in advance corresponding to the feature pattern information of the selected brain signal to a new user, wherein the pre-transition learning information includes at least one of a mean, a covariance, a deviation, a spectral power , And classifier information for classifying the EEG pattern.

본 발명의 일측면에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템은, 사용자로부터 획득한 뇌신호를 이용하여 외부 기기를 제어하기 위한 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템에 있어서, 사용자 독립적 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)를 제공하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 상기 획득된 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 상기 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장하며, 새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 상기 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하며, 상기 BCI 데이터베이스에 저장된 레퍼런스 특징 정보와 상기 대상 특징 정보를 비교하여, 상기 레퍼런스 특징 정보 중에서 상기 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택하고, 상기 선택된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 새로운 사용자에게 적용하되, 상기 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함하는 것이다. A system for providing a user-independent brain-computer interface for controlling an external device using a brain signal acquired from a user, the system comprising: a user-independent brain-computer interface Brain-Computer Interface, BCI); And a processor for executing the program, wherein the processor obtains a brain signal from at least one or more paradigms from a plurality of users by executing the program, And the reference feature information including the feature pattern information of the brain signal for each user is stored in the BCI database. If a new user's approach is detected, Extracts feature pattern information from the resting brain signal, calculates target feature information, compares reference feature information stored in the BCI database with the target feature information, and extracts features of the target feature information from the reference feature information The most similar feature to the pattern information And applying the pre-transition learning information formed in advance corresponding to the feature pattern information of the selected brain signal to the new user, wherein the pre-transition learning information includes at least one of a mean, a covariance, a deviation , EEG feature information including spectral power per frequency band, and classifier information for classifying EEG patterns.

전술한 본 발명의 과제 해결 수단에 의하면, 사용자는 뇌 신호 전극 부착 후 즉각적으로 BCI 시스템을 이용할 수 있고, 사용자가 BCI 시스템을 사용하기 전 매번 뇌 신호를 측정해야 하는 번거로움을 제거함으로써 BCI 기술의 대중화 및 실용성을 크게 향상 시킬 수 있다. According to the present invention, the user can immediately use the BCI system after attaching the brain signal electrodes, thereby eliminating the need for the user to measure the brain signal every time before using the BCI system. It is possible to greatly improve popularization and practicality.

따라서, 본 발명은 사용자에게 적합한 뇌신호의 특징 패턴 정보를 BCI 데이터베이스에서 선별하여 적용함으로써 기존의 캘리브레이션 과정이 필요 없어지고, BCI 시스템의 준비과정에 소요되는 시간이 줄어들어 장애인 또는 정상인에 무관하게 외부의 자극 없이 쉽게 BCI 시스템에 접근하여 자신의 뇌 신호를 발현하여 엔터테인먼트, 교육, 재활 등과 관련한 외부 기기를 제어할 수 있다.Therefore, according to the present invention, the characteristic pattern information of the brain signal suitable for the user is selectively applied to the BCI database, thereby eliminating the existing calibration process and reducing the time required for preparation of the BCI system, It can easily access the BCI system without stimulation and express external brain signals to control external devices related to entertainment, education, and rehabilitation.

도 1은 종래 기술에 따른 뇌-컴퓨터 인터페이스 시스템의 신호 처리 동작을 설명하는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스를 제공하는 뇌-컴퓨터 인터페이스 시스템의 구성을 설명하는 도면이다.
도 3은 도 2의 프로세서의 구성을 설명하는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 설명하는 순서도이다.
도 5는 도 4의 유사성 판단 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 구현하는 주파수-공간 특징 재현 알고리즘의 수행 과정을 설명하는 도면이다.
1 is a flowchart illustrating signal processing operations of a conventional brain-computer interface system.
2 is a diagram illustrating a configuration of a brain-computer interface system that provides a user-independent brain-computer interface according to an embodiment of the present invention.
3 is a block diagram illustrating the configuration of the processor of Fig.
4 is a flowchart illustrating a method of providing a user-independent brain-computer interface according to an embodiment of the present invention.
5 is a diagram for explaining the similarity determination process of FIG.
6 is a diagram illustrating a process of performing a frequency-space feature reconstruction algorithm for implementing a method for providing a user-independent brain-computer interface according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서전체에서, 어떤 부분이 다른 부분과 "연결"되어있다고 할 때, 이는 "직접적으로 연결"되어있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, parts, or combinations thereof.

본 명세서에 있어서 '부(部)'란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.In this specification, the term " part " means a unit realized by hardware or software, a unit realized by using both, and one unit may be realized by using two or more hardware, The above units may be realized by one hardware.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템의 구성을 설명하는 도면이다.2 is a diagram illustrating a configuration of a system for providing a user-independent brain-computer interface according to an embodiment of the present invention.

도 2를 참고하면, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템(100)은, 메모리(110), 프로세서(120) 및 데이터베이스(130)를 포함한다.2, a system 100 for providing a user-independent brain-computer interface includes a memory 110, a processor 120, and a database 130.

메모리(110)는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(120)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(110)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The memory 110 records a program for performing a method of providing a user-independent brain-computer interface. In addition, the processor 120 performs a function of temporarily or permanently storing data to be processed. Herein, the memory 110 may include volatile storage media or non-volatile storage media, but the scope of the present invention is not limited thereto.

프로세서(120)는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 제공하는 전체 과정을 제어한다. 프로세서(120)가 수행하는 각 단계에 대해서는 도 3 및 도 4를 참조하여 후술하기로 한다.The processor 120 controls the entire process of providing a user-independent brain-computer interface providing method. Each step performed by the processor 120 will be described later with reference to FIG. 3 and FIG.

여기서, 프로세서(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the processor 120 may include any kind of device capable of processing data, such as a processor. Herein, the term " processor " may refer to a data processing apparatus embedded in hardware, for example, having a circuit physically structured to perform a function represented by a code or an instruction contained in the program. As an example of the data processing apparatus built in hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC) circuit, and a field programmable gate array (FPGA), but the scope of the present invention is not limited thereto.

데이터베이스(130)는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 수행하면서 누적되는 데이터가 저장된다. 특히, 데이터베이스(130)는 복수의 사용자로부터 획득한 뇌신호의 특징 패턴 정보를 이용하여 다양한 특징 패턴을 포함하고 있는 레퍼런스 특징 정보를 저장하는 대용량의 BCI 데이터베이스일 수 있다. The database 130 stores accumulated data while performing a method of providing a user-independent brain-computer interface. In particular, the database 130 may be a large-capacity BCI database that stores reference feature information including various feature patterns by using feature pattern information of brain signals acquired from a plurality of users.

한편, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템(100)은 상기한 구성 외에도 뇌 신호 수집이나 외부 기기의 제어 신호 출력을 위한 통신 인터페이스 수단, 신호 처리에 대한 과정 및 결과를 출력하는 디스플레이 수단 등을 더 포함할 수 있다. In addition, the user-independent brain-computer interface providing system 100 further includes communication interface means for collecting brain signals or outputting control signals of external devices, a process for signal processing, and a display means for outputting results can do.

도 3은 도 2의 프로세서의 구성을 설명하는 블록도이다.3 is a block diagram illustrating the configuration of the processor of Fig.

도 3을 참고하면, 프로세서(120)는 정보 관리부(121), 정보 추출부(122), 유사성 판단부(123), 정보 적용부(124) 및 제어부(125)를 포함한다.Referring to FIG. 3, the processor 120 includes an information management unit 121, an information extraction unit 122, a similarity determination unit 123, an information application unit 124, and a control unit 125.

정보 관리부(121)는 대용량의 레퍼런스 특징 정보를 생성하여 저장한다. 즉, 복수의 사용자로부터 획득한 뇌 신호를 이용하여 특징 패턴 정보를 추출하고, 사용자별 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 생성하여 BCI 데이터베이스에 저장한다. The information management unit 121 generates and stores a large amount of reference feature information. That is, feature pattern information is extracted using brain signals acquired from a plurality of users, reference feature information including feature pattern information for each user is generated and stored in the BCI database.

정보 추출부(122)는 새로운 사용자의 접근이 감지되면 기설정된 휴식 시간 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출한다. The information extracting unit 122 acquires a resting brain signal for a new user during a predetermined rest period when a new user's approach is detected, and extracts the feature pattern information from the resting brain signal to calculate the feature information.

유사성 판단부(123)는 BCI 데이터베이스의 레퍼런스 특징 정보와 새로운 사용자의 대상 특징 정보를 비교하여 유사성을 판단한다.The similarity determination unit 123 compares the reference feature information of the BCI database and the target feature information of the new user to determine similarity.

정보 적용부(124)는 유사성 판단부(123)에서 새로운 사용자의 대상 특징 정보와 유사하다고 판단된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 새로운 사용자에게 적용한다. The information application unit 124 applies the dictionary transition learning information formed in advance in correspondence with the feature pattern information of the brain signal determined to be similar to the feature information of the new user in the similarity determination unit 123 to the new user.

제어부(125)는 정보 적용부(124)를 통해 선택된 뇌파 특징 정보와 분류기 정보를 새로운 사용자에게 적용하고, 실시간 새로운 사용자로부터 계측되는 뇌 신호를 분류하여, 외부 기기를 제어하기 위한 제어 정보를 제공한다. The control unit 125 applies the selected EEG feature information and classifier information to the new user through the information application unit 124, classifies the brain signals measured from the real time new user, and provides control information for controlling the external device .

도 4는 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 설명하는 순서도이고, 도 5는 도 4의 유사성 판단 과정을 설명하는 도면이다. FIG. 4 is a flowchart illustrating a method for providing a user-independent brain-computer interface according to an embodiment of the present invention, and FIG. 5 is a view for explaining the similarity determination process of FIG.

도 4 및 도 5를 참고하면, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법은, 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 복수의 사용자의 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장한다(S410). 4 and 5, a method for providing a user-independent brain-computer interface includes acquiring brain signals from a plurality of users through at least one paradigm, and using the brain signals of a plurality of users, After extracting the pattern information, the reference feature information including the feature pattern information of the brain signal for each user is stored in the BCI database (S410).

이때, 패러다임은 SSVEP, MI, ERP 등이 실험 환경이 될 수 있고, BCI 시스템은 오른손, 왼손 및 발의 동작 상상(MI)을 분류하는 클래스(즉, 분류기)뿐만 아니라 SSVEP, ERP등의 각 패러다임의 패턴을 분류하는 분류기를 구비한 것으로 가정한다. In this case, the paradigm can be the experimental environment such as SSVEP, MI, ERP, etc., and the BCI system includes not only class (classifier) classifying the motion imagination (MI) of the right hand, left hand and foot but also paradigms such as SSVEP and ERP It is assumed that a classifier for classifying patterns is provided.

BCI 시스템은 새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간(예를 들면, 약 1분 정도) 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출한다(S420). 이때, 대상 특징 정보는 사용자가 휴식을 취하는 동안 취득한 뇌파를 전처리 과정 및 특징 추출 과정을 통해 뇌파 특징 정보를 추출한 것으로서, 추출된 뇌파 특징 정보는 뇌파 평균 및 공분산 중 적어도 하나 이상의 값을 포함한다. The BCI system acquires a resting brain signal for a new user for a predetermined rest period (for example, about one minute) when a new user's approach is detected, extracts feature pattern information from a resting brain signal, (S420). At this time, the target feature information is obtained by extracting the EEG feature information through the preprocessing process and the feature extraction process on the EEG acquired while the user rests, and the extracted EEG feature information includes at least one of the mean EEG and the covariance.

기존의 BCI 시스템은 20분 정도 실험을 수행하여 사용자의 뇌 신호를 취득하였으나, 본 발명의 일 실시예에 따른 BCI 시스템은 약 1분 정도의 휴식 시간 동안에 측정된 휴지기 뇌 신호만을 이용한다. 따라서 BCI 시스템을 이용하는 사용자는 뇌신호 추출 과정을 보다 편리하고 빠르게 진행할 수 있다. In the conventional BCI system, the user's brain signal is obtained by performing the experiment for about 20 minutes. However, the BCI system according to the embodiment of the present invention uses only the resting brain signal measured during the break time of about 1 minute. Therefore, the user using the BCI system can perform the brain signal extraction process more conveniently and quickly.

BCI 시스템은, 도 5에 도시된 바와 같이, 새로운 사용자로부터 획득한 대상 특징 정보와 BCI 데이터베이스에 저장된 레퍼런스 특징 정보 간의 상호 유사성을 판단하여, 레퍼런스 특징 정보 중에서 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택한다(S430).5, the BCI system judges the mutual similarity between the target feature information acquired from the new user and the reference feature information stored in the BCI database, and selects the most similar feature from the reference feature information to the feature pattern information of the target feature information Characteristic pattern information of the brain signal having the pattern is selected (S430).

BCI 시스템은 대상 특징 정보와 레퍼런스 특징 정보의 유사성을 판단한 기준으로 거리 정보를 이용할 수 있다. 예를 들면, BCI 데이터베이스 내 레퍼런스 특징 정보의 뇌파 특징(예들 들면 평균 및 공분산 중 적어도 하나의 값)과 대상 특징 정보의 뇌파 특징(예를 들면, 평균 및 공분산 중 적어도 하나의 값) 간의 평균 거리, 공분산 값의 변화도 등이 이용될 수 있다. The BCI system can use the distance information as a criterion for determining the similarity between the object feature information and the reference feature information. For example, the average distance between the EEG characteristics (e.g., at least one of the mean and the covariance) of the reference feature information in the BCI database and the EEG characteristics (e.g., at least one of the mean and covariance) of the feature information, The degree of change of the covariance value, and the like can be used.

보다 구체적으로, 대상 특징 정보와 레퍼런스 특징 정보의 각 뇌파 특징 간의 거리 정보는 각 특징 분포의 중심점 간의 유클리드 거리(Euclidean distance)일 수 있으며, 또는 쿨백-라이블러 발산(Kullback-Leibler divergence) 기법에 기반하여 산출된 양 특징 분포 간의 확률적 거리일 수 있다. More specifically, the distance information between the EEG characteristics of the object feature information and the reference feature information may be an Euclidean distance between the center points of each feature distribution, or may be based on a Kullback-Leibler divergence technique Lt; RTI ID = 0.0 > feature distribution. ≪ / RTI >

이를 통해, 본 발명의 일 실시예에 따른 BCI 시스템은BCI 데이터베이스에서 새로운 사용자의 뇌 신호의 특징과 가장 유사한 뇌 신호의 특징을 추출하며, 해당 뇌 신호 특징에 대응하여 사전에 형성되어 있는 사전 전이 학습 정보(뇌파 특징 혹은 패턴)를 곧바로 새로운 사용자에게 적용함으로써(S440), 캘리브레이션 과정을 제거할 수 있다. 이때, 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함한다. Accordingly, the BCI system according to an embodiment of the present invention extracts characteristics of a brain signal most similar to a feature of a brain signal of a new user in the BCI database, By applying the information (brain wave feature or pattern) directly to the new user (S440), the calibration process can be eliminated. At this time, the pre-transition learning information includes brain wave feature information including mean, covariance, deviation, spectral power per frequency band and classifier information for classifying EEG patterns.

BCI 시스템은 BCI 데이터베이스에서 선택된 뇌파 특징 또는 분류기 정보를 새로운 사용자에게 적용하여 외부의 기기를 제어할 수 있는 제어 정보를 제공한다(S450).The BCI system provides control information for controlling an external device by applying the EEG feature or classifier information selected in the BCI database to a new user (S450).

도 6은 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 구현하는 주파수-공간 특징 재현 알고리즘의 수행 과정을 설명하는 도면이다.6 is a diagram illustrating a process of performing a frequency-space feature reconstruction algorithm for implementing a method for providing a user-independent brain-computer interface according to an embodiment of the present invention.

먼저, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 구현하기 위한 주파수-공간 특징 재현 알고리즘의 사전 입력 정보는 다음과 같다. First, the pre-input information of the frequency-space feature reconstruction algorithm for implementing the user-independent brain-computer interface providing method is as follows.

소스 도메인의 학습 데이터 집합은 {X, Y} 이고, 전체 시도 횟수(D)에서 단일 시도 뇌파들(EEG)의 집합을

Figure pat00001
이며, M채널과 T 샘플포인트들을 가지는 단일 시도 뇌파는
Figure pat00002
이고,
Figure pat00003
에서 클래스 라벨 매칭은
Figure pat00004
이다. 그리고, K는 주파수 필터 뱅크의 수, m은 공간 패턴 학습 알고리즘에서 공간 패턴의 반수(half number), P는 선택된 공간 필터 뱅크의 수, L은 CNN 레이어의 수이다. The set of training data in the source domain is {X, Y} and the set of single trial EEGs in total trial number (D)
Figure pat00001
, And a single attempted EEG with M channels and T sample points
Figure pat00002
ego,
Figure pat00003
Class label matching in
Figure pat00004
to be. K is the number of frequency filter banks, m is a half number of spatial patterns in the spatial pattern learning algorithm, P is the number of selected spatial filter banks, and L is the number of CNN layers.

다음, 도 6을 참고하면, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법을 구현하기 위한 주파수-공간 특징 재현 알고리즘은 다양한 패러다임 중 MI패러다임을 기반으로 사용자 독립적 뇌-컴퓨터 인터페이스를 제공하고, 크게 입력 정보 생성 과정(S510), 특징 재현 과정(S520) 및 특징 융합 및 분류 과정(S530)으로 이루어진다.6, a frequency-space feature reconstruction algorithm for implementing a method for providing a user-independent brain-computer interface provides a user-independent brain-computer interface based on MI paradigm among various paradigms, (S510), a feature reconstruction process (S520), and a feature fusion and classification process (S530).

입력 정보 생성 과정(S510) 은 10-20 국제 전극 배치법(10-20 International Nomenclature) 에 따른 MI에서 일반적으로 많이 사용되는 20개의 운동 영역의 뇌파 채널 데이터를 이용하여 사용자의 뇌신호를 수집한다. 여기서, 10-20 국제 전극 배치법은 EEG(Electroencephalogram) 테스트 혹은 실험 시 두부에 배치되는 전극들의 배치 형상으로 국제적으로 잘 알려진 배치법이다. The input information generating process (S510) collects the user's brain signals using 20 motion field EEG channels commonly used in MI according to the 10-20 International Nomenclature (10-20 International Nomenclature). Here, the 10-20 International Electrode Arrangement is an internationally well-known arrangement for the arrangement of electrodes placed on the head during EEG (Electroencephalogram) test or experiment.

주파수-공간 특징 재현 알고리즘은 MI에서 많이 사용되는 8~30㎐, 11~20㎐를 포함한 다수의 주파수 필터 뱅크(bk)를 정의하고, MI 패러다임에서 뇌파 수행 태스크를 위한 시작 신호를 인지한 시점부터 기설정된 측정 시간(예를 들면, 1초 ~ 3.5초) 동안의 뇌 신호만을 선택적으로 추출한다. Frequency-space features reproduction algorithm if the time of defining a plurality of frequency filter bank (b k), including 8 ~ 30㎐, 11 ~ 20㎐ commonly used in the MI, MI and at the paradigm a start signal for performing the task EEG (For example, 1 second to 3.5 seconds) from a predetermined measurement time.

그리고, 주파수-공간 특징 재현 알고리즘은 측정한 모든 사용자(또는 피험자)의 뇌신호를 연결한다. 즉, 모든 단일 시도 뇌파(

Figure pat00005
)를 연결하면,
Figure pat00006
이 된다. 여기서, N은 학습 피험자들의 수이다.Then, the frequency-space feature reconstruction algorithm connects the brain signals of all users (or subjects) measured. In other words,
Figure pat00005
),
Figure pat00006
. Where N is the number of study subjects.

주파수-공간 특징 재현 알고리즘은 통합된 뇌파 샘플에 대해 주파수 필터링을 거쳐 수학식 1과 같이 필터링된 뇌파 신호(Ek)를 추출한다. The frequency-spatial feature reconstruction algorithm performs frequency filtering on the integrated EEG samples and extracts filtered EEG signals (E k ) as shown in Equation (1).

[수학식 1][Equation 1]

Figure pat00007
Figure pat00007

수학식 1에서 Ek

Figure pat00008
이다. In Equation (1), E k
Figure pat00008
to be.

주파수-공간 특징 재현 알고리즘은 필터링된 뇌파 신호(Ek)에 공통 공간 패턴(Common Spatial Pattern, CSP) 알고리즘을 적용하여 수학식 2와 같이 공간적 필터(Wk)를 구하고, 공간적 필터(Wk)와 필터링된 뇌파 신호(Ek) 간의 행렬 연산을 수행한 후 로그-분산 값을 취하여 수학식 3 및 수학식 4과 같이 특징 벡터(Vk)를 추출한다.Frequency-space features reproduction algorithm common spatial pattern (Common Spatial Pattern, CSP) applying an algorithm to obtain the spatial filter (W k) as in equation (2), a spatial filter (W k) for the filtered EEG signal (E k) And a filtered EEG signal (E k ), and then takes a log-variance value and extracts a feature vector (V k ) as shown in Equations (3) and (4).

[수학식 2]&Quot; (2) "

Figure pat00009
Figure pat00009

[수학식 3]&Quot; (3) "

Figure pat00010
Figure pat00010

[수학식 4]&Quot; (4) "

Figure pat00011
Figure pat00011

수학식 3에서,

Figure pat00012
,
Figure pat00013
는 Wk에서 첫 번째 m과 마지막 m 컬럼 벡터들이다. In Equation (3)
Figure pat00012
,
Figure pat00013
Is the first m and last m column vectors in W k .

한편, 공간적 특성을 고려하기 위해 공간 필터링 기법인 Common Spatial Pattern(CSP)는 서로 다른 두 클래스에 대하여 클래스 간 분산 차이를 극대화하는 공간 필터를 설계하는 알고리즘으로, 두 클래스 동작 상상 EEG에 대해 분산 차이를 극대화 시킨다. In order to consider spatial characteristics, Common Spatial Pattern (CSP), which is a spatial filtering technique, is an algorithm for designing a spatial filter that maximizes dispersion between classes for two different classes. Maximize.

주파수-공간 특징 재현 알고리즘은 추출된 특징 벡터(Vk)로부터 상호간 정보량(MI)을 계산하여 기존의 주파수 필터 뱅크(bk)를 MI 값이 큰 순서대로 재정렬하여 주파수 필터 뱅크(bp)를 산출한다. Frequency-spatial features reproduction algorithm is the extracted feature vector (V k) frequency filter bank (b p) and rearranged in the MI value is greater sequence existing frequency filter bank (b k) to calculate the mutual information amount (MI) from .

주파수-공간 특징 재현 알고리즘은 재정렬된 주파수 필터 뱅크(bp)로부터 추출된 공간적 필터(Wp)와 재배열된 공간적 필터(Ep)간의 행렬 연산을 통해 구한 신호값에 공분산을 하여 수학식 5와 같은 주파수-공간 입력 정보(Cp)를 생성한다. The frequency-space feature reconstruction algorithm performs covariance on the signal values obtained through the matrix operation between the spatial filter (W p ) extracted from the reordered frequency filter bank (b p ) and the rearranged spatial filter (E p ) To generate frequency-space input information (C p ).

[수학식 5]&Quot; (5) "

Figure pat00014
,
Figure pat00015
Figure pat00014
,
Figure pat00015

특징 재현 과정(S520) 은 각 주파수 필터 뱅크(bp)로부터 생성된 주파수-공간 입력 정보(Cp)가 CNN을 통해 개별적으로 학습되어 L개의 레이어로 이루어진 컨벌루션 레이어에서 수학식 6과 같이 컨벌루션 특징(Gp)를 형성한다.In the feature reproduction process S520, the frequency-space input information C p generated from each frequency filter bank b p is individually learned through the CNN, and the convolution layer (G p ).

[수학식 6]&Quot; (6) "

Figure pat00016
Figure pat00016

특징 융합 및 분류 과정(S530)은 L번째 컨벌루션 레이어에서 컨벌루션 특징들(Gp)이 1차원 벡터 형태로 축소되고, 축소된 p개의 1차원 특징 벡터들이 연결 융합 레이어(Concatention Fusion Layer)에서 수학식 7과 같이 하나의 통합 벡터(Sconcat)로 합쳐진다.In the feature fusion and classification process S530, the convolutional features G p in the L-th convolution layer are reduced to a one-dimensional vector form, and the reduced p 1-dimensional feature vectors are transformed into concatenated F- 7 as a single integrated vector (S concat ).

[수학식 7]&Quot; (7) "

Figure pat00017
Figure pat00017

특징 융합 및 분류 과정(S530)에서는 통합 벡터(Sconcat)를 완전 연결 레이어(fully-connected layer)를 통해 총 N개의 클래스 결과를 출력하고, 수학식 8과 같이 소프트맥스 분류기를 통해 N개의 클래스 결과 중 큰 값으로 클래스를 판별한다. In the feature fusion and classification process (S530), a total of N class results are output through a fully-connected layer to the concatenated vector S concat and N class results are obtained through a soft max classifier as shown in Equation (8) Determine the class with a larger value.

[수학식 8]&Quot; (8) "

Figure pat00018
,
Figure pat00019
,
Figure pat00020
Figure pat00018
,
Figure pat00019
,
Figure pat00020

이와 같이, 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법은, 사용자가 BCI 시스템을 사용하기 전 매번 뇌 신호를 측정해야 하는 번거로움을 제거함으로써 BCI 기술의 대중화 및 실용성을 크게 향상 시킬 수 있다. As described above, the method of providing a user-independent brain-computer interface according to an embodiment of the present invention greatly improves the popularization and practicality of BCI technology by eliminating the hassle of measuring the brain signal every time before the user uses the BCI system .

이상에서 설명한 본 발명의 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. The method of providing a user-independent brain-computer interface according to an embodiment of the present invention described above may be implemented in the form of a recording medium including instructions executable by a computer such as a program module executed by a computer. Such a recording medium includes a computer-readable medium, which may be any available medium that can be accessed by a computer, and includes both volatile and non-volatile media, both removable and non-removable media. The computer-readable medium may also include computer storage media, which may be volatile and non-volatile, implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data , Both removable and non-removable media.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 조사 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

또한, 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수도 있다.Furthermore, while the methods and systems of the present invention have been described in terms of specific embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .

100: 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템
110 : 메모리
120 : 프로세서
120 : 데이터베이스
100: User-independent brain-computer interface providing system
110: Memory
120: Processor
120: Database

Claims (16)

뇌-컴퓨터 인터페이스(Brain Computer Interface, BCI) 시스템에 의해 수행되는 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법에 있어서,
a) 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 상기 획득된 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 상기 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장하는 단계;
b) 새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 상기 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하는 단계;
c) 상기 BCI 데이터베이스에 저장된 레퍼런스 특징 정보와 상기 대상 특징 정보를 비교하여, 상기 레퍼런스 특징 정보 중에서 상기 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택하는 단계; 및
d) 상기 선택된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 새로운 사용자에게 적용하는 단계를 포함하되,
상기 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
A method of providing a user-independent brain-computer interface performed by a Brain-Computer Interface (BCI) system,
a) obtaining a brain signal from at least one or more paradigms from a plurality of users, extracting feature pattern information of a brain signal for each user by using the obtained brain signal, Storing feature information in a BCI database;
b) acquiring a resting brain signal for a new user during a predetermined rest period when the access of a new user is detected, and extracting the characteristic pattern information from the resting brain signal to calculate subject characteristic information;
c) comparing the reference feature information stored in the BCI database with the target feature information, and selecting the feature pattern information of the brain signal having the feature pattern most similar to the feature pattern information of the target feature information among the reference feature information; And
d) applying pre-transition learning information previously formed corresponding to the feature pattern information of the selected brain signal to a new user,
Wherein the pre-transition learning information includes EEG feature information including EEG covariance, covariance, variance, spectral power per frequency band, and classifier information for classifying EEG patterns.
제1항에 있어서,
상기 b) 단계에서 상기 휴식 시간(t2)은 상기 a) 단계에서 뇌 신호 획득시 소요되는 시간(t1)에 비해 짧은 시간(t2 <t1)으로 설정하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
The method according to claim 1,
Wherein the resting time (t2) in the step b) is set to a short time (t2 <t1) compared to the time (t1) required for acquiring the brain signal in the step a) .
제1항에 있어서,
상기 b) 단계는,
상기 휴지기 뇌 신호에 대한 전처리 과정 및 특징 추출 과정을 통해 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하되,
상기 대상 특징 정보는 뇌파의 평균 및 공분산을 포함하는 뇌파 특징인 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
The method according to claim 1,
The step b)
Extracting feature pattern information through a preprocessing process and a feature extraction process for the resting brain signal to calculate target feature information,
Wherein the object feature information is an EEG characteristic including an average and covariance of brain waves.
제1항에 있어서,
상기 c) 단계는, 상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보에 기반하여 상기 레퍼런스 특징 정보와 대상 특징 정보의 뇌 신호들 사이의 유사성을 판단하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
The method according to claim 1,
Wherein the step c) determines similarity between the reference feature information and the brain signal of the feature information based on the distance information between the reference feature information and the object feature information.
제4항에 있어서,
상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보는, 상기 레퍼런스 특징 정보 내의 뇌파 특징과 대상 특징 정보의 뇌파 특징의 각 특징 분포의 중심점 간의 유클리드 거리(Euclidean distance) 정보 또는 공분 값의 변화 정보 중 어느 하나인 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
5. The method of claim 4,
The distance information between the reference feature information and the object feature information may be any one of the Euclidean distance information or the change information of the joint value between the EEG feature in the reference feature information and the center point of each feature distribution of the EEG feature of the object feature information Wherein the computer-readable medium is a user-independent brain-computer interface.
제4항에 있어서,
상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보는, 상기 레퍼런스 특징 정보 내의 뇌파 특징과 대상 특징 정보의 뇌파 특징의 각 특징 분포 간의 상대적인 거리를 쿨백-라이블러 발산(Kullback-Leibler divergence) 기법에 기반하여 확률적으로 계산한 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
5. The method of claim 4,
The distance information between the reference feature information and the object feature information is obtained by dividing the relative distance between the EEG feature in the reference feature information and each feature distribution of the EEG feature of the object feature information by a Kullback- Leibler divergence technique A method for providing a user-independent brain-computer interface, said method being probabilistic.
제1항에 있어서,
상기 d) 단계는,
상기 뇌파 특징 정보와 분류기 정보를 포함하는 사전 전이 학습 정보를 새로운 사용자에게 적용하여 분류기를 학습하고, 학습된 분류기를 이용하여 새로운 사용자로부터 실시간 뇌신호를 분류하여 외부 기기를 제어하기 위한 제어 정보를 생성하는 단계를 더 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
The method according to claim 1,
The step d)
Learning of the classifier by applying the pre-transition learning information including the EEG feature information and the classifier information to a new user, classifying the real-time brain signal from the new user using the learned classifier, and generating control information for controlling the external device The method further comprising the steps of:
제1항에 있어서,
상기 a) 단계는,
a-1) 복수의 사용자로부터 획득한 뇌파들을 합쳐 뇌파 샘플을 생성한 후 상기 뇌파 샘플에 대한 주파수 필터링 및 공간 필터링을 통해 특징 벡터를 추출하고, 상기 특징 벡터로부터 상호간 정보량(Mutual Information, MI)을 토대로 각 주파수 정보마다 주파수-공간 입력 정보를 생성하는 단계;
a-2) 상기 주파수-공간 입력 정보를 CNN(Convolution Neural Network) 특징 재현 알고리즘을 통해 개별적으로 학습하여 컨벌루션 레이어(convolution layer) 를 통해 컨벌루션 특징을 형성하는 단계; 및
a-3) 상기 컨벌루션 특징을 저차원의 특징 벡터로 차원을 축소하고, 상기 축소된 저차원의 특징 벡터들을 통합 벡터로 합친 후 상기 통합 벡터가 완전 연결 레이어(fully-connected layer)을 통해 총 N개의 클래스 결과를 출력한 후 분류기를 통해 분류하는 단계를 더 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
The method according to claim 1,
The step a)
a-1) generating EEG samples by combining brain waves acquired from a plurality of users, extracting feature vectors from the EEG samples through frequency filtering and spatial filtering, and extracting mutual information (MI) from the feature vectors Generating frequency-space input information for each frequency information based on the frequency-space input information;
a-2) individually learning the frequency-space input information through a CNN (Convolution Neural Network) characteristic reconstruction algorithm to form a convolution feature through a convolution layer; And
a-3) reducing the dimension of the convolution feature to a low-dimensional feature vector, combining the reduced low-dimensional feature vectors into an integrator vector, Classifying the results of the class into a classifier. &Lt; Desc / Clms Page number 19 &gt;
제8항에 있어서,
상기 a-1) 단계는,
기설정된 전극 배치법에 따른 복수 개의 뇌파 채널 데이터를 이용하여 사용자의 뇌신호를 수집하는 단계;
각 패러다임에서 사용되는 주파수 범위를 이용하여 다수의 주파수 필터 뱅크(bk)를 정의하는 단계;
적어도 하나 이상의 패러다임에서 뇌파 수행 태스크를 위한 시작 신호를 인지한 시점부터 기설정된 측정 시간 동안의 뇌 신호만을 선택적으로 추출하는 단계;
복수의 사용자로부터 획득한 뇌파를 연결하여 통합하고, 상기 통합된 뇌파 샘플을 주파수 필터링을 거쳐 필터링된 뇌파 신호(Ek)를 추출하는 단계;
상기 필터링된 뇌파 신호(Ek)에 공통 공간 패턴(Common Spatial Pattern, CSP) 알고리즘을 적용하여 공간적 필터(Wk)를 구하고, 상기 공간적 필터(Wk)와 필터링된 뇌파 신호(Ek) 간의 행렬 연산을 수행한 후 로그-분산 값을 취하여 특징 벡터(Vk)를 추출하는 단계;
상기 추출된 특징 벡터(Vk)로부터 상호간 정보량(MI)을 계산하여 상기 주파수 필터 뱅크(bk)를 MI 값이 큰 순서대로 재정렬하여 주파수 필터 뱅크(bp)를 산출하는 단계; 및
상기 재정렬된 주파수 필터 뱅크(bp)로부터 추출된 공간적 필터(Wp)와 재배열된 공간적 필터(Ep)간의 행렬 연산을 통해 구한 신호값에 공분산을 하여 주파수-공간 입력 정보(Cp)를 생성하는 단계를 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
9. The method of claim 8,
The step (a-1)
Collecting a brain signal of a user using a plurality of EEG channel data according to a predetermined electrode arrangement method;
Defining a plurality of frequency filter banks ( bk ) using a frequency range used in each paradigm;
Selectively extracting only a brain signal for a predetermined measurement time from a time when a start signal for an EEG task is recognized in at least one paradigm;
Integrating and integrating EEG acquired from a plurality of users, extracting filtered EEG signals (E k ) through frequency filtering of the integrated EEG samples;
The common spatial pattern on the filtered EEG signal (E k) (Common Spatial Pattern , CSP) by applying the spatial filter algorithm (W k) to obtain the spatial filter (W k) and the filtered EEG signal (E k) between Extracting a feature vector (V k ) by taking a log-variance value after performing a matrix operation;
Calculating a mutual information amount MI from the extracted feature vector V k and calculating the frequency filter bank b p by rearranging the frequency filter banks b k in the order of MI in ascending order; And
Area type information (C p) - the reorder the frequency filter bank (b p) a spatial filter (W p) and the frequency to the covariance for the signal value obtained through matrix calculation between the rearranged spatial filter (E p) extracted from The computer-readable medium having computer-executable instructions for performing the method.
제9항에 있어서,
상기 a-2) 단계는,
각 주파수 필터 뱅크(bp)로부터 생성된 주파수-공간 입력 정보(Cp)가 CNN을 통해 개별적으로 학습되어 L개의 레이어로 이루어진 컨벌루션 레이어에서 컨벌루션 특징(Gp)를 형성하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
10. The method of claim 9,
The step a-2)
Wherein the frequency-space input information (C p ) generated from each frequency filter bank (b p ) is learned separately via CNN to form a convolution feature (G p ) in a convolution layer of L layers A method for providing a brain-computer interface.
제10항에 있어서,
상기 a-3) 단계는,
L번째 컨벌루션 레이어에서 컨벌루션 특징들(Gp)이 저차원 벡터 형태로 축소되는 단계;
상기 축소된 p개의 저차원 특징 벡터들이 연결 융합 레이어(Concatention Fusion Layer)에서 하나의 통합 벡터(Sconcat)로 통합되는 단계; 및
상기 통합 벡터(Sconcat)를 완전 연결 레이어(fully-connected layer)를 통해 총 N개의 클래스 결과를 출력하는 단계; 및
상기 분류기를 통해 상기 N개의 클래스 결과 중 큰 값으로 클래스를 판별하는 단계를 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 방법.
11. The method of claim 10,
The a-3)
Reducing the convolutional features (G p ) in the Lth convolution layer to a low dimensional vector form;
Integrating the reduced p low dimensional feature vectors into a single integrated vector (S concat ) in a concatenation fusion layer; And
Outputting a total of N class results through the fully-connected layer to the integrated vector S concat ; And
And classifying the class with a larger value of the N class results through the classifier.
사용자로부터 획득한 뇌신호를 이용하여 외부 기기를 제어하기 위한 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템에 있어서,
사용자 독립적 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)를 제공하기 위한 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하기 위한 프로세서를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 의해, 복수의 사용자로부터 적어도 하나 이상의 패러다임을 통해 뇌 신호를 획득하고, 상기 획득된 뇌 신호를 이용하여 사용자별 뇌신호의 특징 패턴 정보를 추출한 후 상기 사용자별 뇌신호의 특징 패턴 정보를 포함하는 레퍼런스 특징 정보를 BCI 데이터베이스에 저장하며,
새로운 사용자의 접근이 감지되면, 기설정된 휴식 시간 동안 새로운 사용자에 대한 휴지기 뇌 신호를 획득하고, 상기 휴지기 뇌 신호에서 특징 패턴 정보를 추출하여 대상 특징 정보를 산출하며,
상기 BCI 데이터베이스에 저장된 레퍼런스 특징 정보와 상기 대상 특징 정보를 비교하여, 상기 레퍼런스 특징 정보 중에서 상기 대상 특징 정보의 특징 패턴 정보와 가장 유사한 특징 패턴을 가지는 뇌신호의 특징 패턴 정보를 선택하고,
상기 선택된 뇌신호의 특징 패턴 정보에 대응하여 사전에 형성된 사전 전이 학습 정보를 새로운 사용자에게 적용하되,
상기 사전 전이 학습 정보는 뇌파의 평균, 공분산, 편차, 주파수대역별 스펙트럼 파워를 포함한 뇌파 특징 정보와, 뇌파 패턴을 분류하기 위한 분류기 정보를 포함하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
A system for providing a user-independent brain-computer interface for controlling an external device using a brain signal acquired from a user,
A memory in which a program for providing a user-independent brain-computer interface (BCI) is recorded; And
And a processor for executing the program,
Wherein the processor obtains a brain signal from at least one or more paradigms from a plurality of users by executing the program, extracts feature pattern information of a brain signal for each user by using the obtained brain signal, The reference feature information including the feature pattern information of the signal is stored in the BCI database,
Acquiring a resting brain signal for a new user during a predetermined rest period, extracting feature pattern information from the resting brain signal to calculate subject feature information,
Comparing the reference feature information stored in the BCI database with the object feature information to select feature pattern information of a brain signal having a feature pattern most similar to the feature pattern information of the object feature information among the reference feature information,
Applying the pre-transition learning information formed in advance corresponding to the feature pattern information of the selected brain signal to a new user,
Wherein the pre-transition learning information includes brain wave feature information including mean, covariance, deviation, spectral power per frequency band, and classifier information for classifying brain wave patterns.
제12항에 있어서,
상기 프로세서는, 상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보에 기반하여 상기 레퍼런스 특징 정보와 대상 특징 정보의 뇌 신호들 사이의 유사성을 판단하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
13. The method of claim 12,
Wherein the processor determines the similarity between the reference feature information and the brain signals of the object feature information based on the distance information between the reference feature information and the object feature information.
제13항에 있어서,
상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보는, 상기 레퍼런스 특징 정보 내의 뇌파 특징과 대상 특징 정보의 뇌파 특징의 각 특징 분포의 중심점 간의 유클리드 거리(Euclidean distance) 정보 또는 공분 값의 변화 정보 중 어느 하나인 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
14. The method of claim 13,
The distance information between the reference feature information and the object feature information may be any one of the Euclidean distance information or the change information of the joint value between the EEG feature in the reference feature information and the center point of each feature distribution of the EEG feature of the object feature information Wherein the computer-readable medium is a user-independent brain-computer interface providing system.
제13항에 있어서,
상기 레퍼런스 특징 정보와 대상 특징 정보의 거리 정보는, 상기 레퍼런스 특징 정보 내의 뇌파 특징과 대상 특징 정보의 뇌파 특징의 각 특징 분포 간의 상대적인 거리를 쿨백-라이블러 발산(Kullback-Leibler divergence) 기법에 기반하여 확률적으로 계산한 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
14. The method of claim 13,
The distance information between the reference feature information and the object feature information is obtained by dividing the relative distance between the EEG feature in the reference feature information and each feature distribution of the EEG feature of the object feature information by a Kullback- Leibler divergence technique A user-independent brain-computer interface providing system that is probabilistically calculated.
제12항에 있어서,
상기 프로세서는, 상기 뇌파 특징 정보와 분류기 정보를 포함하는 사전 전이 학습 정보를 새로운 사용자에게 적용하여 분류기를 학습하고, 학습된 분류기를 이용하여 새로운 사용자로부터 실시간 뇌신호를 분류하여 외부 기기를 제어하기 위한 제어 정보를 생성하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템.
13. The method of claim 12,
Wherein the processor is configured to learn the classifier by applying the pre-transition learning information including the EEG feature information and the classifier information to a new user, classify the real-time brain signal from the new user using the classifier, Wherein the control information is generated by a user.
KR1020180106723A 2017-09-14 2018-09-06 System for providing subject-independent brain-computer interface and method thereof KR102143900B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170117940 2017-09-14
KR1020170117940 2017-09-14

Publications (2)

Publication Number Publication Date
KR20190030612A true KR20190030612A (en) 2019-03-22
KR102143900B1 KR102143900B1 (en) 2020-08-12

Family

ID=65949595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106723A KR102143900B1 (en) 2017-09-14 2018-09-06 System for providing subject-independent brain-computer interface and method thereof

Country Status (1)

Country Link
KR (1) KR102143900B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110974219A (en) * 2019-12-20 2020-04-10 北京脑陆科技有限公司 Human brain idea recognition system based on invasive BCI
CN111772629A (en) * 2020-06-08 2020-10-16 北京航天自动控制研究所 Brain cognitive skill transplantation method
WO2021002993A1 (en) * 2019-07-02 2021-01-07 Hrl Laboratories, Llc System and method for continual decoding of brain states to multi-degree-of-freedom control signals in hands free devices
KR20210034458A (en) * 2019-09-20 2021-03-30 고려대학교 산학협력단 Deep neural network based conscious state determination device and method
KR20210062565A (en) * 2019-11-21 2021-05-31 고려대학교 산학협력단 Brain-computer interface apparatus based on feature extraction reflecting similarity between users using distance learning and task classification method using the same
WO2021141332A1 (en) * 2020-01-06 2021-07-15 삼성전자(주) Electronic device and control method therefor
CN113298030A (en) * 2021-06-16 2021-08-24 福州大学 Lightweight privacy protection outsourcing electroencephalogram signal feature extraction method
KR102294131B1 (en) * 2020-12-28 2021-08-27 주식회사 라젠 Multiple Control System Using EEG Measurement and Analysis Based on Artificial Intelligence
CN113467609A (en) * 2021-05-28 2021-10-01 北京脑陆科技有限公司 Architecture method, device, terminal and medium of brain-computer interface BCI (brain computer interface) equipment
KR102322817B1 (en) * 2020-09-10 2021-11-08 한국항공대학교산학협력단 Convolutional neural network based human machine interface system using doppler radar and voice sensor, device for processing sensor data of the human machine interface system, method for operating the sames
US11520405B1 (en) 2021-07-05 2022-12-06 Hyundai Motor Company SSVEP-based stimulus detection device and method thereof
CN117547286A (en) * 2023-12-29 2024-02-13 中国人民解放军东部战区总医院 Electroencephalogram signal data analysis management system based on intelligent repair material

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018963A (en) * 2010-08-24 2012-03-06 연세대학교 산학협력단 Method for producing two-dimensional spatiospectral erd/ers patterns from electroencephalogram, method for classifying mental tasks based on the two-dimensional spatiospectral patterns and brain-computer interface system using classified electroencephalogram by the classifying method as input signal
KR101389015B1 (en) 2012-06-19 2014-04-24 서울대학교산학협력단 Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus
KR101538916B1 (en) * 2014-09-26 2015-07-24 (주)와이브레인 Method for predicting change of user characteristics using egg data
KR101719546B1 (en) * 2015-10-08 2017-03-27 세종대학교산학협력단 Real-time emotion recognition interface using multiple physiological signals of eeg and ecg
KR101741739B1 (en) * 2016-02-19 2017-05-31 광주과학기술원 Apparatus and method for brain computer interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018963A (en) * 2010-08-24 2012-03-06 연세대학교 산학협력단 Method for producing two-dimensional spatiospectral erd/ers patterns from electroencephalogram, method for classifying mental tasks based on the two-dimensional spatiospectral patterns and brain-computer interface system using classified electroencephalogram by the classifying method as input signal
KR101389015B1 (en) 2012-06-19 2014-04-24 서울대학교산학협력단 Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus
KR101538916B1 (en) * 2014-09-26 2015-07-24 (주)와이브레인 Method for predicting change of user characteristics using egg data
KR101719546B1 (en) * 2015-10-08 2017-03-27 세종대학교산학협력단 Real-time emotion recognition interface using multiple physiological signals of eeg and ecg
KR101741739B1 (en) * 2016-02-19 2017-05-31 광주과학기술원 Apparatus and method for brain computer interface

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023046B2 (en) 2019-07-02 2021-06-01 Hrl Laboratories, Llc System and method for continual decoding of brain states to multi-degree-of-freedom control signals in hands free devices
WO2021002993A1 (en) * 2019-07-02 2021-01-07 Hrl Laboratories, Llc System and method for continual decoding of brain states to multi-degree-of-freedom control signals in hands free devices
KR20210034458A (en) * 2019-09-20 2021-03-30 고려대학교 산학협력단 Deep neural network based conscious state determination device and method
KR20210062565A (en) * 2019-11-21 2021-05-31 고려대학교 산학협력단 Brain-computer interface apparatus based on feature extraction reflecting similarity between users using distance learning and task classification method using the same
CN110974219A (en) * 2019-12-20 2020-04-10 北京脑陆科技有限公司 Human brain idea recognition system based on invasive BCI
WO2021141332A1 (en) * 2020-01-06 2021-07-15 삼성전자(주) Electronic device and control method therefor
CN111772629A (en) * 2020-06-08 2020-10-16 北京航天自动控制研究所 Brain cognitive skill transplantation method
CN111772629B (en) * 2020-06-08 2023-03-24 北京航天自动控制研究所 Brain cognitive skill transplanting method
KR102322817B1 (en) * 2020-09-10 2021-11-08 한국항공대학교산학협력단 Convolutional neural network based human machine interface system using doppler radar and voice sensor, device for processing sensor data of the human machine interface system, method for operating the sames
KR102294131B1 (en) * 2020-12-28 2021-08-27 주식회사 라젠 Multiple Control System Using EEG Measurement and Analysis Based on Artificial Intelligence
CN113467609A (en) * 2021-05-28 2021-10-01 北京脑陆科技有限公司 Architecture method, device, terminal and medium of brain-computer interface BCI (brain computer interface) equipment
CN113298030A (en) * 2021-06-16 2021-08-24 福州大学 Lightweight privacy protection outsourcing electroencephalogram signal feature extraction method
CN113298030B (en) * 2021-06-16 2022-08-02 福州大学 Lightweight privacy protection outsourcing electroencephalogram signal feature extraction method
US11520405B1 (en) 2021-07-05 2022-12-06 Hyundai Motor Company SSVEP-based stimulus detection device and method thereof
CN117547286A (en) * 2023-12-29 2024-02-13 中国人民解放军东部战区总医院 Electroencephalogram signal data analysis management system based on intelligent repair material

Also Published As

Publication number Publication date
KR102143900B1 (en) 2020-08-12

Similar Documents

Publication Publication Date Title
KR102143900B1 (en) System for providing subject-independent brain-computer interface and method thereof
US4736751A (en) Brain wave source network location scanning method and system
Schomer et al. Niedermeyer's electroencephalography: basic principles, clinical applications, and related fields
Oweiss Statistical signal processing for neuroscience and neurotechnology
US20190073030A1 (en) Brain computer interface (bci) apparatus and method of generating control signal by bci apparatus
Busse et al. Representation of concurrent stimuli by population activity in visual cortex
US20070179396A1 (en) Method and System for Detecting and Classifying Facial Muscle Movements
Hsu Single-trial motor imagery classification using asymmetry ratio, phase relation, wavelet-based fractal, and their selected combination
Kierkels et al. A model-based objective evaluation of eye movement correction in EEG recordings
KR101703547B1 (en) Method and apparatus for estimating effective channel of functional near-infrared spectroscopy
Yang et al. Subject-specific channel selection using time information for motor imagery brain–computer interfaces
BRPI1100261A2 (en) BRAIN-COMPUTER INTERFACE PROCESS AND DEVICE
KR102143910B1 (en) Method for integrated signal processing of bci system
JP7373555B2 (en) Quantification of motor function using EEG signals
WO2016075324A1 (en) Scoring method based on improved signals analysis
KR101939363B1 (en) Brain-computer interface apparatus adaptable to use environment and method of operating thereof
CN113274037B (en) Method, system and equipment for generating dynamic brain function network
Rivet et al. Impact of spatial filters during sensor selection in a visual P300 brain-computer interface
KR102635606B1 (en) Brain-computer interface apparatus based on feature extraction reflecting similarity between users using distance learning and task classification method using the same
Chenane et al. EEG Signal Classification for BCI based on Neural Network
Maiorana et al. EEG-based biometric recognition using EigenBrains
Plechawska-Wojcik et al. Construction of neural nets in brain-computer interface for robot arm steering
Fouad et al. Attempts towards the first brain-computer interface system in INAYA Medical College
Alonso et al. Spatial Filter comparison for a Brain Computer Interface
Zak et al. Analysis Of EEG Signal For Using In Biometrical Classification.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right