KR20210062565A - Brain-computer interface apparatus based on feature extraction reflecting similarity between users using distance learning and task classification method using the same - Google Patents
Brain-computer interface apparatus based on feature extraction reflecting similarity between users using distance learning and task classification method using the same Download PDFInfo
- Publication number
- KR20210062565A KR20210062565A KR1020200153347A KR20200153347A KR20210062565A KR 20210062565 A KR20210062565 A KR 20210062565A KR 1020200153347 A KR1020200153347 A KR 1020200153347A KR 20200153347 A KR20200153347 A KR 20200153347A KR 20210062565 A KR20210062565 A KR 20210062565A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- user
- task
- brain
- network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000000605 extraction Methods 0.000 title description 4
- 210000004556 brain Anatomy 0.000 claims abstract description 96
- 230000006870 function Effects 0.000 claims abstract description 60
- 238000013528 artificial neural network Methods 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 39
- 230000007423 decrease Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 2
- 238000000537 electroencephalography Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 238000002566 electrocorticography Methods 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 210000000869 occipital lobe Anatomy 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
본 발명은 메트릭 학습(metric learinin)을 이용하여 구축한 태스크 분류 학습 모델을 포함하는 사용자 독립적 뇌-컴퓨터 인터페이스 장치 및 이를 이용한 태스크 분류 방법에 관한 것이다.The present invention relates to a user-independent brain-computer interface device including a task classification learning model constructed using metric learinin, and a task classification method using the same.
뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI) 장치는 인간의 뇌와 기계간의 연결을 통하여, 직접적인 신체의 움직임 없이 외부기기를 제어하는 인터페이스 장치이다. The Brain-Computer Interface (BCI) device is an interface device that controls external devices without direct body movement through the connection between the human brain and the machine.
BCI는 신체를 움직일 수 없는 환자, 신체의 움직임에 어려움이 있는 환자와 같은 사람들을 위해 생활 보조 도구 또는 재활 도구로 사용 될 수 있다. 또한, BCI는 환자뿐만 아니라 일반인들을 위한 엔터테인먼트 서비스 제공 장치, 집중력 향상 도구, 드론 제어, 운동 어플리케이션 등 다양한 용도로 이용될 수 있다. BCI can be used as a living aid or rehabilitation tool for people such as patients who are unable to move the body or patients with difficulty in moving the body. In addition, BCI can be used for various purposes, such as an entertainment service providing device for not only patients but also the general public, tools for improving concentration, drone control, and exercise applications.
이와 같은 BCI에서 뇌 신호를 측정하는 방법은 크게 두 가지로 나뉜다. 뇌의 두개골을 열어 뇌파를 취득하는 침습적인 방법과 뇌의 두개골 밖에서 뇌파를 취득하는 비침습적인 방법으로 나뉜다. 침습적 방법의 일 예로는 피질뇌파(Electrocorticography, ECoG) 방법으로 두개골 위에 전극을 삽입하여 뇌파를 측정하는 방법이 알려져 있다. 비침습적 방법보다 정확하고 깨끗한 신호를 취득할 수 있지만 실제로 수술을 진행하여 뇌파의 전극을 삽입해야 한다는 한계점을 가지고 있다. 비침습적 방법으로 가장 많이 이용이 되는 뇌 신호는 뇌의 활동에 따른 전기적 신호를 이용하는 뇌전도(Electroencephalography, EEG)이다. 그 외 비침습적 방법으로, 자기적 신호를 이용하는 뇌자도(Magnetoencephalography, MEG), 혈중 산소포화도의 변화를 이용하는 기능적 자기공명영상(functional Magnetic Resonance Imaging, fMRI) 또는 근적외선 분광장치(Near-infrared Spectroscopy, NIRS) 등 여러 방식을 통해 얻을 수 있다.There are two methods of measuring brain signals in BCI. It is divided into an invasive method of acquiring EEG by opening the skull of the brain and a non-invasive method of acquiring EEG from outside the skull of the brain. As an example of an invasive method, a method of measuring an EEG by inserting an electrode on the skull is known using a cortical EEG (Electrocorticography, ECoG) method. Although it can acquire more accurate and clear signals than non-invasive methods, it has a limitation in that it is necessary to actually perform surgery and insert an EEG electrode. The most widely used brain signal as a non-invasive method is electroencephalography (EEG), which uses electrical signals according to brain activity. Other non-invasive methods include Magnetoencephalography (MEG) using magnetic signals, functional Magnetic Resonance Imaging (fMRI) using changes in blood oxygen saturation, or near-infrared spectroscopy (NIRS). ) Can be obtained through several methods.
BCI 기술은 외부자극 혹은 자발적으로 유발되는 뇌 신호를 이용한다. 외부 자극은 시각이나 청각 등과 같은 외부에서 주어지는 특정 신호가 뇌에 반영되는 비자발적 방법이나 움직임을 상상하여 뇌에 반영되는 자발적 방법으로 나눌 수 있다. 외부 자극에 의해 유발되는 비자발적 뇌파 특징으로는 대표적으로 안정-상태 시각 유발 전위(Steady-State Visual Evoked Potential, SSVEP)와 사건 관련 전위(Evnet-Related Potential, ERP)를 들 수 있다. SSVEP는 사용자가 특정 주파수로 깜빡이는 시각 자극을 응시할 때, 해당 특정 주파수가 뇌의 후두엽에(뇌의 뒷편)유발되도록 하는 방법이고, ERP는 사용자가 특정 자극을 반복적으로 집중하여 응시 할 때, 해당 자극에 대한 반응이 뇌의 후두엽에 유발 되도록 하는 방법이다. 이와 달리, 외부 자극 없이 사용자가 집중하거나 움직임을 상상할 때 자발적으로 발현되는 뇌파 특징으로는 감각 운동 리듬(SensoriMotor Rhythm, SMR)이 있다. SMR은 뇌의 체성감각운동 피질에서 사용자가 특정 부위의 움직임을 상상하는 동작상상(Motor Imagery, MI)을 할 때, 뇌의 좌측 그리고 우측 부분에서 신호의 변화가 일어나고, 이 때 특정 주파수 영역에서 신호의 변화가 발생하는 것을 관찰할 수 있다. 주로, 8~12Hz(Mu rhythm), 18~25Hz(Beta rhythm)의 주파수 영역에서 신호가 감소하는 현상을 볼 수 있는데 이를 사건 관련 탈동기화(Event-Related Desynchronization, ERD)라 부른다. 한편, 뇌 신호를 이용하여 사용자의 의도를 분류하는 BCI 기술은 SSVEP, ERP, MI, 음성 상상과 같이 서로 다른 패러다임 기법을 사용하여 사용자의 의도를 분류할 수 있다. BCI technology uses external stimuli or spontaneous brain signals. External stimuli can be divided into involuntary methods in which specific signals, such as sight or hearing, are reflected in the brain, or spontaneous methods that are reflected in the brain by imagining movements. Representative characteristics of involuntary EEG induced by external stimuli include Steady-State Visual Evoked Potential (SSVEP) and Evnet-Related Potential (ERP). SSVEP is a method of causing a specific frequency to be triggered in the occipital lobe of the brain (backside of the brain) when a user gazes at a visual stimulus that blinks at a specific frequency. It is a way to trigger a response to the stimulus in the occipital lobe of the brain. On the contrary, when a user concentrates or imagines movement without external stimuli, an EEG characteristic that is spontaneously expressed is a sensory motor rhythm (SMR). SMR is a signal change in the left and right parts of the brain when the user imagines the movement of a specific part in the somatosensory motor cortex of the brain (Motor Imagery, MI). It can be observed that a change of occurs. Mainly, it can be seen that the signal decreases in the frequency domain of 8~12Hz (Mu rhythm) and 18~25Hz (Beta rhythm), which is called Event-Related Desynchronization (ERD). Meanwhile, the BCI technology that classifies the user's intention using brain signals can classify the user's intention using different paradigm techniques such as SSVEP, ERP, MI, and voice imagination.
위와 같은 뇌로부터 취득된 뇌 신호는 크게 5가지의 과정을 거쳐 사용자 의도를 분류하도록 한다. 즉, 1)뇌 신호를 수집하는 데이터 수집 단계, 2)측정된 데이터를 전처리하는 신호 처리 단계, 3) 뇌 신호로부터 유의미한 데이터를 뽑아내는 특징 추출 단계, 4) 데이터로부터 얻어진 정보를 기반으로 결정 경계를 나누는 분류기 학습 단계, 그리고 5) 주어진 결과를 사용자에게 전달하는 피드백 단계로 이루어진다. 이와 같은 뇌 신호 처리 단계를 거친 후 외부 기기를 제어하는 인터페이스 체계를 구축하며, 위의 단계 중 2,3,4 단계는 기계학습 알고리즘을 통해 구현하는 기술이 연구되고 있다. The brain signals acquired from the brain as described above are classified into the user's intention through five major processes. That is, 1) a data collection step for collecting brain signals, 2) a signal processing step for pre-processing the measured data, 3) a feature extraction step for extracting meaningful data from the brain signals, and 4) a decision boundary based on the information obtained from the data. It consists of a classifier learning step that divides by, and 5) a feedback step that delivers the given result to the user. After undergoing such a brain signal processing step, an interface system for controlling an external device is established, and a technology that implements
이와 같은 종래 기술에 따르면, 새로운 사용자가 BCI시스템을 이용하기 위해 약 30분 가량 소요되는 캘리브레이션 과정을 필수적으로 거치게 된다. 캘리브레이션은 분류모델 학습에 필요한 일정량의 사용자별 뇌 신호를 수집하는 측정단계 및 사용자별 뇌신호 분류 모델 학습 과정을 포함한다. 이는 뇌파의 특징 및 패턴이 사용자마다 달라지기 때문에 분류 모델이 새로운 사용자에 적합한 파라미터를 추정하는 과정이 필요하기 때문이다. 이러한 캘리브레이션 과정은 기존에 뇌 신호를 측정한 경력이 있는 사용자의 경우라도 시간의 변화에 따라 뇌 신호의 비정상성에 의해 그 특징이 변화하고, 뇌 신호 측정 장비가 매실험마다 조금씩 불일치하는 점을 고려한 것이다. 실용적인 BCI 시스템을 위하여 이러한 캘리브레이션을 위한 뇌 신호 측정 과정은 단축 또는 제거될 필요가 있다.According to such a conventional technique, a calibration process that takes about 30 minutes for a new user to use the BCI system is essentially required. The calibration includes a measurement step of collecting a certain amount of brain signals for each user necessary for learning a classification model and a learning process for a brain signal classification model for each user. This is because the characteristics and patterns of brain waves vary from user to user, so a process of estimating a parameter suitable for a new user is required by the classification model. This calibration process takes into account the fact that even in the case of users who have previously measured brain signals, their characteristics change due to abnormalities of brain signals as time changes, and the brain signal measurement equipment is slightly inconsistent with each experiment. . For a practical BCI system, the brain signal measurement process for this calibration needs to be shortened or eliminated.
위의 문제를 해결하기 위해 기존에 제안된 사용자 독립적 뇌-컴퓨터 인터페이스 기술로는 강력한 정규화가 적용된 분류기를 통해 소량의 캘리브레이션 데이터를 이용하여 캘리브레이션을 단축하는 방법이 알려져 있다. 또한, 기 구축한 사용자 전체 데이터 풀(pool)을 이용한 분류기 학습을 통해 사용자들 전체에서 공통되고, 일반화된 특징만을 추출하는 방법도 알려져 있다. 전자의 경우 캘리브레이션 과정을 완전히 제거하지 못하며, 소량의 데이터를 반드시 필요로 하고, 새로운 모델을 학습하기 위한 시간까지 필요하다는 단점이 있다. 후자의 기술들은 어느 정도 일반화된 성능을 보장할 수 있으나, 사용자 풀 내부의 상관관계와 사용자 개별적으로 가지는 고유의 특징을 손실하여 특정 사용자에게서 극도로 낮은 성능을 보일 수 있다. As a user-independent brain-computer interface technology previously proposed to solve the above problem, a method of shortening calibration by using a small amount of calibration data through a classifier to which a strong normalization is applied is known. In addition, a method of extracting only generalized features that are common to all users through learning a classifier using a pre-built user-wide data pool is also known. In the former case, there is a disadvantage that the calibration process cannot be completely eliminated, a small amount of data is required, and even time to learn a new model is required. The latter techniques can guarantee generalized performance to some extent, but they can show extremely low performance for a specific user by losing the correlation inside the user pool and the unique characteristics of each user.
본 발명은 기계학습의 한 범주에 속하는 메트릭 학습(metric learning)을 기반으로 하여 사용자 데이터 풀에서 사용자 개별의 정보를 활용해 인공 신경망 네트워크의 특징 추출부가 사용자 간의 유사도를 고려한 특징을 추출 하도록 하고, 이를 통해 사용자 독립적 뇌-컴퓨터 인터페이스 시스템의 분류 성능을 개선한다. The present invention allows a feature extraction unit of an artificial neural network network to extract features in consideration of similarity between users by using individual information from a user data pool based on metric learning belonging to a category of machine learning. It improves the classification performance of the user-independent brain-computer interface system.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 캘리브레이션 과정을 생략하면서도 뇌-컴퓨터 인터페이스 시스템의 분류 성능을 유지할 수 있는 사용자 독립적 뇌-컴퓨터 인터페이스 장치를 제공하는 것이다.The present invention is to solve the above-described problem, and to provide a user-independent brain-computer interface device capable of maintaining classification performance of a brain-computer interface system while omitting a calibration process.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.
본 발명의 일 실시예에 따르는, 사용자 독립적 뇌-컴퓨터 인터페이스 장치에서 사용되는 뇌 신호의 태스크 분류 학습 모델을 구축하는 방법은 뇌 신호 획득을 위한 패러다임 별로, 분류하고자 하는 움직임 상상 클래스를 나타내는 태스크 레이블에 사용자별 식별 번호를 추가하여 사용자 레이블 데이터를 생성하는 단계; 상기 사용자 레이블 데이터로부터 랜덤하게 추출된 앵커 데이터, 상기 앵커 데이터와 동일한 사용자 레이블을 갖는 데이터로 구성된 긍정 데이터 및 상기 앵커 데이터와 상이한 사용자 레이블을 갖는 데이터로 구성된 부정 데이터를 기초로 인공 신경망 네트워크를 구축하고, 상기 각 인공 신경망 네트워크 구축 과정에서, 앵커 데이터의 특징 벡터와 긍정 데이터의 특징 벡터간의 거리는 감소하고, 앵커 데이터의 특징 벡터와 부정 데이터의 특징 벡터간의 거리는 증가하도록 하는 유사도 손실 함수를 이용하여 메트릭 학습을 수행하는 단계; 및 상기 인공 신경망 네트워크의 가중치를 이용하여 분류 네트워크를 구축하는 단계를 포함하되, 상기 분류 네트워크의 태스크 분류 결과를 측정하는 태스크 분류 손실함수와 상기 유사도 손실 함수를 합산한 통합 손실 함수의 값이 최솟값이 되도록 한다.According to an embodiment of the present invention, a method of constructing a learning model for task classification of brain signals used in a user-independent brain-computer interface device is provided in a task label indicating a movement imaginary class to be classified for each paradigm for acquiring a brain signal. Generating user label data by adding an identification number for each user; An artificial neural network network is constructed based on anchor data randomly extracted from the user label data, positive data composed of data having the same user label as the anchor data, and negative data composed of data having a user label different from the anchor data. , In the process of building each artificial neural network, metric learning using a similarity loss function that decreases the distance between the feature vector of the anchor data and the feature vector of the positive data, and increases the distance between the feature vector of the anchor data and the feature vector of the negative data. Performing; And constructing a classification network using the weights of the artificial neural network, wherein a value of a task classification loss function for measuring a task classification result of the classification network and an integrated loss function obtained by summing the similarity loss function is a minimum value. Make it possible.
본 발명의 다른 실시예에 따르는, 사용자 독립적 뇌-컴퓨터 인터페이스 장치에서 사용되는 뇌 신호의 태스크 분류 학습 모델을 이용하여 뇌 신호의 태스크를 분류하는 방법은, 복수의 패러다임 중 어느 한 패러다임에 따라 획득한 뇌 신호 데이터를 상기 뇌 신호의 태스크 분류 학습 모델에 입력하여, 상기 뇌 신호 데이터의 태스크를 분류하는 단계를 포함하되, 상기 태스크 분류 학습 모델은 뇌 신호 획득을 위한 패러다임 별로, 분류하고자 하는 움직임 상상 클래스를 나타내는 태스크 레이블에 사용자별 식별 번호를 추가하여 사용자 레이블 데이터를 생성하는 단계; 상기 사용자 레이블 데이터로부터 랜덤하게 추출된 앵커 데이터, 상기 앵커 데이터와 동일한 사용자 레이블을 갖는 데이터로 구성된 긍정 데이터 및 상기 앵커 데이터와 상이한 사용자 레이블을 갖는 데이터로 구성된 부정 데이터를 기초로 인공 신경망 네트워크를 구축하고, 상기 각 인공 신경망 네트워크 구축 과정에서, 앵커 데이터의 특징 벡터와 긍정 데이터의 특징 벡터간의 거리는 감소하고, 앵커 데이터의 특징 벡터와 부정 데이터의 특징 벡터간의 거리는 증가하도록 하는 유사도 손실 함수를 이용하여 메트릭 학습을 수행하는 단계; 및 상기 인공 신경망 네트워크의 가중치를 이용하여 분류 네트워크를 구축하되, 상기 분류 네트워크의 태스크 분류 결과를 측정하는 태스크 분류 손실함수와 상기 유사도 손실 함수를 합산한 통합 손실 함수의 값이 최솟값이 되도록 하는 단계를 수행하여 구축된 것이고, 상기 뇌 신호 데이터의 태스크를 분류하는 단계는 상기 인공 신경망 네트워크 및 상기 분류 네트워크에 상기 뇌 신호 데이터를 입력하여 태스크를 분류한다.According to another embodiment of the present invention, a method of classifying a task of a brain signal using a learning model for classifying a task of a brain signal used in a user-independent brain-computer interface device is obtained according to any one of a plurality of paradigms. And classifying a task of the brain signal data by inputting brain signal data into a task classification learning model of the brain signal, wherein the task classification learning model is a movement imaginary class to be classified according to a paradigm for acquiring a brain signal. Generating user label data by adding an identification number for each user to a task label indicating a; An artificial neural network network is constructed based on anchor data randomly extracted from the user label data, positive data composed of data having the same user label as the anchor data, and negative data composed of data having a user label different from the anchor data. , In the process of building each artificial neural network, metric learning using a similarity loss function that decreases the distance between the feature vector of the anchor data and the feature vector of the positive data, and increases the distance between the feature vector of the anchor data and the feature vector of the negative data. Performing; And constructing a classification network using the weights of the artificial neural network, wherein a value of an integrated loss function obtained by summing the task classification loss function measuring the task classification result of the classification network and the similarity loss function becomes a minimum value. It is constructed by performing and classifying the task of the brain signal data to classify the task by inputting the brain signal data to the artificial neural network and the classification network.
본 발명의 다른 실시예에 따르는 사용자 독립적 뇌-컴퓨터 인터페이스 장치는 메트릭 학습에 기반하여 구축된 뇌 신호의 태스크 분류 학습 모델을 이용하여 사용자의 뇌 신호로부터 태스크를 분류하는 프로그램이 저장된 메모리; 및 상기 프로그램을 수행하는 프로세서를 포함하며, 상기 뇌 신호의 태스크 분류 학습 모델은 뇌 신호 획득을 위한 패러다임 별로, 분류하고자 하는 움직임 상상 클래스를 나타내는 태스크 레이블에 사용자별 식별 번호를 추가하여 사용자 레이블 데이터를 생성하고, 상기 사용자 레이블 데이터로부터 랜덤하게 추출된 앵커 데이터, 상기 앵커 데이터와 동일한 사용자 레이블을 갖는 데이터로 구성된 긍정 데이터 및, 상기 앵커 데이터와 상이한 사용자 레이블을 갖는 데이터로 구성된 부정 데이터를 기초로 인공 신경망 네트워크를 구축하고, 상기 각 인공 신경망 네트워크 구축 과정에서, 앵커 데이터의 특징 벡터와 긍정 데이터의 특징 벡터간의 거리는 감소하고, 앵커 데이터의 특징 벡터와 부정 데이터의 특징 벡터간의 거리는 증가하도록 하는 유사도 손실 함수를 이용하여 메트릭 학습을 수행하고, 상기 인공 신경망 네트워크의 가중치를 이용하여 분류 네트워크를 구축하되, 상기 분류 네트워크의 태스크 분류 결과를 측정하는 태스크 분류 손실함수와 상기 유사도 손실 함수를 합산한 통합 손실 함수의 값이 최솟값이 되도록 하는 단계를 수행하여 구축된 것이고, 상기 프로그램은 상기 뇌 신호의 태스크 분류 학습 모델의 상기 인공 신경망 네트워크 및 상기 분류 네트워크에 상기 뇌 신호 데이터를 입력하여 태스크를 분류하는 것이다.A user-independent brain-computer interface device according to another embodiment of the present invention includes a memory storing a program for classifying tasks from brain signals of a user using a task classification learning model of brain signals constructed based on metric learning; And a processor that executes the program, wherein the brain signal task classification learning model adds user-specific identification numbers to a task label representing a movement imaginary class to be classified according to a paradigm for acquiring a brain signal, thereby providing user label data. An artificial neural network based on negative data composed of generated and randomly extracted anchor data from the user label data, positive data composed of data having the same user label as the anchor data, and data having a user label different from the anchor data A similarity loss function is used to construct a network, and to increase the distance between the feature vector of the anchor data and the feature vector of the positive data, and increase the distance between the feature vector of the anchor data and the feature vector of the negative data in the process of building each artificial neural network. The value of the integrated loss function obtained by summing the similarity loss function and the task classification loss function measuring the task classification result of the classification network while performing metric learning using and constructing a classification network using the weight of the artificial neural network network It is constructed by performing the step of making this minimum value, and the program classifies a task by inputting the brain signal data to the artificial neural network network and the classification network of the task classification learning model of the brain signal.
전술한 본 발명의 과제 해결 수단에 따라, 본 발명은 복수의 사용자로 이루어진 대용량의 뇌 신호 데이터베이스로부터 인공 신경망 네트워크가 복수의 사용자 간의 거리함수, 즉 메트릭을 학습하도록 함으로써, 새로운 사용자의 뇌 신호를 기존 사용자들의 뇌 신호로 학습한 특징 공간에서 분류 할 수 있도록 한다. 이를 통해 기존의 뇌-컴퓨터 인터페이스 시스템 사용시 필요한 초기 캘리브레이션을 제거함으로서, 각각의 사용자가 독립적으로 사용 가능한 사용자 독립적 뇌-컴퓨터 인터페이스를 제공할 수 있어, 사용자 편의성을 향상시킬 수 있다.In accordance with the above-described problem solving means of the present invention, the present invention allows the artificial neural network network to learn a distance function, that is, a metric, between a plurality of users from a large-capacity brain signal database consisting of a plurality of users. It allows users to classify them in the learned feature space with brain signals. Through this, by removing the initial calibration required when using the existing brain-computer interface system, it is possible to provide a user-independent brain-computer interface that each user can independently use, thereby improving user convenience.
도 1은 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 장치를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 뇌 신호의 태스크 분류 학습 모델 구축 과정과 이를 기반으로 뇌 신호의 태스크를 분류 과정을 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 레이블 데이터 생성과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 인공 신경망 네트워크 구축 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공 신경망 네트워크 구축 결과를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 구축된 태스크 분류 학습 모델을 이용하여 태스크 분류를 수행하는 과정을 도시한 것이다.1 illustrates a user-independent brain-computer interface device according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a process of constructing a learning model for task classification of brain signals and a process of classifying a task of brain signals based on this according to an embodiment of the present invention.
3 is a diagram illustrating a process of generating user label data according to an embodiment of the present invention.
4 is a diagram illustrating a process of building an artificial neural network network according to an embodiment of the present invention.
5 is a diagram illustrating a result of building an artificial neural network according to an embodiment of the present invention.
6 illustrates a process of performing task classification using a task classification learning model constructed according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" with another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In the present specification, the term "unit" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized by using two or more hardware, or two or more units may be realized by one piece of hardware. Meanwhile,'~ unit' is not meant to be limited to software or hardware, and'~ unit' may be configured to be in an addressable storage medium or configured to reproduce one or more processors. Thus, as an example,'~ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. Components and functions provided in the'~ units' may be combined into a smaller number of elements and'~ units', or may be further separated into additional elements and'~ units'. In addition, components and'~ units' may be implemented to play one or more CPUs in a device or a security multimedia card.
이하에서 언급되는 "뇌-컴퓨터 인터페이스 장치"는 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 각종 이동 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. The "brain-computer interface device" mentioned below may be implemented as a computer or portable terminal capable of accessing a server or other terminal through a network. Here, the computer includes, for example, a notebook equipped with a web browser, a desktop, a laptop, and the like, and the portable terminal is, for example, a wireless communication device that guarantees portability and mobility. , Various types of handheld-based wireless communication devices such as various mobile communication-based terminals, smart phones, and tablet PCs may be included. In addition, "network" refers to a wired network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN), or a mobile radio communication network or satellite It can be implemented with any type of wireless network such as a communication network.
본 발명에서 사용되는 메트릭 학습은 데이터간의 유사도 혹은 거리를 학습 측정 할 수 있는 함수를 학습하는 알고리즘이다. 메트릭 학습은 같은 범주에 속하거나 유사한 데이터에서 추출된 특징간의 거리를 가깝다고 판단하게 하고, 다른 범주에 속하거나 비유사한 데이터에서 추출된 특징간의 거리를 멀다고 판단하는 함수를 학습한다. 딥러닝의 범주에서 메트릭 학습을 확장하면, 딥 네트워크가 사전정의한 거리함수를 이용해 특징 벡터간의 거리를 비교할 때 상술한 메트릭 학습의 목적에 부합하는 특징을 추출하도록 네트워크의 가중치를 학습하는 알고리즘을 포함한다. 이때 네트워크가 추출한 특징간 거리비교 함수로는 일반적으로 유클리드 거리함수가 사용된다. 뇌 신호의 관점에서 보면 유사한 사용자간 뇌 신호로부터 추출한 특징이 특징 공간(feature) 상에서 가까이 있고, 비유사한 사용자간 특징은 멀리 존재하도록 특징을 추출하는 것을 목적으로 하는 함수 혹은 네트워크를 학습하는 기계학습 기술을 의미한다.The metric learning used in the present invention is an algorithm for learning a function capable of learning and measuring the similarity or distance between data. The metric learning makes it possible to judge the distance between features that belong to the same category or extracted from similar data as close, and learn a function that determines that the distance between features that belong to different categories or from dissimilar data is far. When metric learning is expanded in the category of deep learning, when the deep network compares the distances between feature vectors using a predefined distance function, it includes an algorithm that learns the weights of the network to extract features that meet the purpose of metric learning. . In this case, the Euclidean distance function is generally used as the distance comparison function between features extracted by the network. In terms of brain signals, a machine learning technology that learns a function or network that aims to extract features so that features extracted from brain signals between similar users are near in a feature space and features between users that are dissimilar are far away. Means.
이하, 본 발명의 일 실시예에 대하여 구체적으로 설명하도록 한다. Hereinafter, an embodiment of the present invention will be described in detail.
도 1은 본 발명의 일 실시예에 따른 사용자 독립적 뇌-컴퓨터 인터페이스 장치를 도시한 것이다.1 illustrates a user-independent brain-computer interface device according to an embodiment of the present invention.
뇌-컴퓨터 인터페이스 장치(100)는 메모리(110), 프로세서(120), 통신모듈(130), 데이터베이스(140)을 포함한다. 또한, 뇌-컴퓨터 인터페이스 장치(100)는 뇌파 측정 장치(200)와의 접속을 통해 뇌신호를 수신할 수 있다. 이때, 뇌파 측정 장치(200)는 SSVEP, ERP, MI와 같이각 패러다임 별로 상이한 것이 사용될 수 있다.The brain-
메모리(110)는 메트릭 학습(metric learning)에 기반하여 구축된 뇌 신호의 태스크 분류 학습 모델을 이용하여 사용자의 뇌 신호로부터 태스크를 분류하는 프로그램이저장된다.The
이때, 뇌 신호의 태스크 분류 학습 모델은 뇌 신호 획득을 위한 패러다임 별로, 분류하고자 하는 움직임 상상 클래스를 나타내는 태스크 레이블에 사용자별 식별 번호를 추가하여 사용자 레이블 데이터를 생성하고, 상기 사용자 레이블 데이터로부터 랜덤하게 추출된 앵커 데이터, 상기 앵커 데이터와 동일한 사용자 레이블을 갖는 데이터로 구성된 긍정 데이터 및, 상기 앵커 데이터와 상이한 사용자 레이블을 갖는 데이터로 구성된 부정 데이터를 기초로 인공 신경망 네트워크를 구축하고, 상기 각 인공 신경망 네트워크 구축 과정에서, 앵커 데이터의 특징 벡터와 긍정 데이터의 특징 벡터간의 거리는 감소하고, 앵커 데이터의 특징 벡터와 부정 데이터의 특징 벡터간의 거리는 증가하도록 하는 유사도 손실 함수를 이용하여 메트릭 학습을 수행하고, 상기 인공 신경망 네트워크의 가중치를 이용하여 분류 네트워크를 구축하되, 상기 분류 네트워크의 태스크 분류 결과를 측정하는 태스크 분류 손실함수와 상기 유사도 손실 함수를 합산한 통합 손실 함수의 값이 최솟값이 되도록 하는 단계를 수행하여 구축된 것이다.At this time, the brain signal task classification learning model generates user label data by adding an identification number for each user to a task label representing a movement imaginary class to be classified for each paradigm for acquiring a brain signal, and randomly from the user label data. An artificial neural network network is constructed based on the extracted anchor data, positive data composed of data having the same user label as the anchor data, and negative data composed of data having a user label different from the anchor data, and each artificial neural network network In the construction process, metric learning is performed using a similarity loss function that decreases the distance between the feature vector of the anchor data and the feature vector of the positive data, and increases the distance between the feature vector of the anchor data and the feature vector of the negative data. Constructing a classification network using the weights of the neural network, but performing the step of making the task classification loss function that measures the task classification result of the classification network and the integrated loss function obtained by summing the similarity loss function become the minimum value. It was done.
이 태스크 분류 프로그램은 뇌 신호의 태스크 분류 학습 모델의 인공 신경망 네트워크 및 분류 네트워크에 뇌 신호 데이터를 입력하여 태스크를 분류한다.This task classification program classifies tasks by inputting brain signal data into an artificial neural network network and classification network of a task classification learning model of brain signals.
또한, 메모리(110)는 프로세서(120)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(110)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 메모리(110)는 프로세서(120)의 처리 및 제어를 위한 운영체제 등 별도의 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.In addition, the
프로세서(120)는 메모리(110)에 프로그램을 실행하여, 학습 모델 구축 과정과 태스크 분류 과정 등을 수행한다. The
여기서, 프로세서(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the
통신모듈(130)은 통신망과 연동하여 뇌파 측정 장치(200)로 송수신되는 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 여기서, 통신 모듈(130)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The
데이터베이스(140)는 각 사용자들의 뇌 신호 데이터, 그리고 이로부터 획득한 대용량 훈련 데이터를 저장한다. 또한, 데이터베이스(140)에는 각각의 패러다임 별로, 분류하고자 하는 움직임 상상 클래스를 나타내는 태스크 레이블에 사용자별 식별 번호를 추가하여 생성한 사용자 레이블 데이터가 저장된다.The
도 2는 본 발명의 일 실시예에 따른 뇌 신호의 태스크 분류 학습 모델 구축 과정과 이를 기반으로 뇌 신호의 태스크를 분류 과정을 도시한 순서도이다.FIG. 2 is a flowchart illustrating a process of constructing a learning model for task classification of brain signals and a process of classifying a task of brain signals based on this according to an embodiment of the present invention.
먼저, 사용자 독립적 뇌-컴퓨터 인터페이스 장치(100)는 뇌파 측정 장치(200)로부터 뇌 신호를 수신한다. 이때, 수신하는 뇌 신호는 패러다임 별로 상이할 수 있다.First, the user-independent brain-
다음으로, 각각의 패러다임 별로, 분류하고자 하는 움직임 상상 클래스를 나타내는 태스크 레이블에 사용자별 식별 번호를 추가하여 사용자 레이블 데이터를 생성한다.Next, for each paradigm, user label data is generated by adding an identification number for each user to a task label representing a movement imaginary class to be classified.
도 3은 본 발명의 일 실시예에 따른 사용자 레이블 데이터 생성과정을 설명하기 위한 도면이다.3 is a diagram illustrating a process of generating user label data according to an embodiment of the present invention.
복수의 사용자로부터 획득한 대용량 훈련 데이터에 속한 서로 다른 사용자들의 뇌파는 사용자들이 공통된 일부 특징을 공유하고 있다고 가정하며, 이러한 특징은 대다수의 사용자에서 일반적으로 나타나는 특징과 소규모 사용자 그룹만이 가지는 특징으로 나뉜다고 가정한다. The brain waves of different users belonging to the large-capacity training data acquired from multiple users assume that users share some common features, and these features are divided into features that are common to most users and features that only a small user group has. I assume.
본 발명에서는 사용자간 유사도 메트릭 학습을 위해 훈련 데이터셋에 사용자 식별 정보를 추가적으로 포함시킨다. 기존의 데이터는 태스크 정보만을 레이블로 가지고 있으며, 이때 태스크 정보는 데이터 구축시 할당된 패러다임(MI, SSVEP, ERP 등)별 분류 하고자 하는 뇌 신호 속의 의도에 해당하는 클래스 레이블을 포함한다. 본 발명에서는 태스크 레이블에 사용자별 고유의 식별 정보를 추가하여 사용자 레이블 데이터를 생성한다.In the present invention, user identification information is additionally included in the training dataset for learning the similarity metric between users. Existing data has only task information as a label, and in this case, the task information includes a class label corresponding to the intention in the brain signal to be classified by the allocated paradigm (MI, SSVEP, ERP, etc.) when constructing the data. In the present invention, user label data is generated by adding user-specific identification information to a task label.
종래의 경우, MI 패러다임의 오른손, 왼손, 발, 혀 움직임 상상 클래스 정보를 포함하는 태스크 레이블 만을 사용하였다. 본 발명에서는 사용자별 식별 번호를 추가하여, 도시된 바와 같이, 2클래스 분류 데이터를 10명의 사용자에게서 취득한 경우, 각 사용자가 2개씩(태스크의 개수)의 레이블을 할당받아 총 20개로 분류가 가능한 사용자 레이블이 생성된다. In the conventional case, only task labels including information on the class information of the right hand, left hand, foot, and tongue movement of the MI paradigm were used. In the present invention, by adding an identification number for each user, as shown, when two-class classification data are acquired from 10 users, each user is assigned two labels (the number of tasks) and can be classified into a total of 20 users. The label is created.
이러한, 사용자 레이블 생성과정에서, 동일 사용자의 서로 다른 세션에서 획득된 뇌 신호는 뇌 신호의 비정상성을 고려하여 서로 다른 사용자 식별 정보를 부여하여, 서로 다른 사용자 레이블로 할당 할 수 있다. 또한 사용자 별로 비정상성의 정도가 다르기 때문에 사용자 종속적 분류기를 이용한 사전 평가 단계를 거쳐 세션 변화에 독립적 사용이 가능한 사용자의 경우 동일한 사용자 레이블로 할당할 수 있다.In the process of generating a user label, brain signals acquired in different sessions of the same user may be assigned to different user labels by giving different user identification information in consideration of abnormality of the brain signal. In addition, since the degree of abnormality is different for each user, users who can independently use session changes through a pre-evaluation step using a user-dependent classifier can be assigned the same user label.
다시 도 2를 참조하면, 메트릭 학습에 기반한 인공 신경망 네트워크를 구축한다(S230).Referring back to FIG. 2, an artificial neural network network based on metric learning is constructed (S230).
도 4는 본 발명의 일 실시예에 따른 인공 신경망 네트워크 구축 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예에 따른 인공 신경망 네트워크 구축 결과를 설명하기 위한 도면이다.4 is a diagram for explaining a process of building an artificial neural network according to an embodiment of the present invention, and FIG. 5 is a diagram for explaining a result of building an artificial neural network according to an embodiment of the present invention.
우선, 사용자 레이블 데이터로부터 앵커 데이터, 긍정 데이터, 부정 데이터를 각각 추출한다. 앵커 데이터는 사용자 레이블 데이터로부터 랜덤하게 추출된 것으로서, 기준 데이터로서의 역할을 수행하며, 태스크의 분류 대상이 되는 것이다.First, anchor data, positive data, and negative data are respectively extracted from user label data. Anchor data is randomly extracted from user label data, plays a role as reference data, and is a subject of task classification.
긍정 데이터는 앵커 데이터와 동일한 사용자 레이블을 갖는 데이터로 구성된 것이다. 예를 들면, 앵커 데이터와 동일한 사용자 식별 번호를 갖는 것이거나, 앵커 데이터와 동일한 태스크 레이블을 갖되 시점이 상이한 태스크 레이블을 갖는 것일 수 있다. 이러한 경우, 앵커 데이터와 긍정 데이터의 유사성이 높이므로 각 특징 벡터 간의 거리는 가까워 질 수 있다.The positive data is composed of data having the same user label as the anchor data. For example, it may have the same user identification number as the anchor data, or may have the same task label as the anchor data, but have a different task label at a time point. In this case, since the similarity between the anchor data and the positive data increases, the distance between each feature vector may become close.
부정 데이터는 앵커 데이터와 상이한 사용자 레이블을 갖는 데이터로 구성된 것이다. 예를 들면, 사용자 식별 번호가 다른 사용자 레이블 데이털 부정 데이터에 포함시킨다. 이러한 경우, 앵커 데이터와 부정 데이터의 유사성이 낮아지므로 각 특징 벡터 간의 거리는 증가할 수 있다.The negative data is composed of data having a user label different from the anchor data. For example, the user identification number is included in the other user label data illegal data. In this case, since the similarity between the anchor data and the negative data decreases, the distance between each feature vector may increase.
본 발명에서는 앵커 데이터를 기초로 앵커 데이터의 특징을 추출하여 인공 신경망 네트워크를 구축하고, 긍정 데이터를 기초로 긍정 데이터의 특징을 추출하여 상기 인공 신경망 네트워크를 구축하고, 앵커 데이터와 상이한 사용자 레이블을 갖는 데이터로 구성된 부정 데이터를 기초로 부정 데이터의 특징을 추출하여 상기 인공 신경망 네트워크를 구축한다. 이때, 인공 신경망 네트워크로는 DNN(Deep Neural Network), CNN(Convoultion Neural Network), RNN(Recurrent Neural Network) 등이 사용될 수 있다. 그리고, 학습 모델 구축과정에서 인공 신경망 네트워크 간에 가중치가 공유될 수 있다.In the present invention, the artificial neural network network is constructed by extracting the features of the anchor data based on the anchor data, and the artificial neural network network is constructed by extracting the features of the positive data based on the positive data. The artificial neural network network is constructed by extracting features of the negative data based on the negative data composed of the data. In this case, as the artificial neural network network, a deep neural network (DNN), a convoultion neural network (CNN), a recurrent neural network (RNN), or the like may be used. In addition, in the process of building a learning model, weights may be shared among artificial neural networks.
그리고, 앵커 데이터, 긍정 데이터, 부정 데이터를 순차적으로 입력하여 인공 신경망 네트워크를 구축하는 과정에서 앵커 데이터의 특징 벡터와 긍정 데이터의 특징 벡터간의 거리(Dpositive)는 감소하고, 앵커 데이터의 특징 벡터와 부정 데이터의 특징 벡터간의 거리(Dnegative)는 증가하도록 하는 유사도 손실 함수(Lsimilarity)를 이용하여 메트릭 학습을 수행한다.And, in the process of constructing an artificial neural network network by sequentially inputting anchor data, positive data, and negative data, the distance (D positive ) between the feature vector of the anchor data and the feature vector of the positive data decreases, and the feature vector of the anchor data and the Metric learning is performed using a similarity loss function (L similarity ) that increases the distance (D negative ) between the feature vectors of the negative data.
이때, 유사도 손실함수는 아래와 같이 수학식 1에 의해 정의된다.At this time, the similarity loss function is defined by
[수학식 1][Equation 1]
사용자 정의 매개변수는 입력 데이터의 특성에 따라 조절될 수 있다.User-defined parameters can be adjusted according to the characteristics of the input data.
수학식 1은 
이와 같은 메트릭 학습 과정을 거치게 되면, 도 5에 도시된 바와 같이, 메트릭 학습 후 특징 공간에서 동일 사용자(같은 식별 번호로 표시됨)에서 추출된 특징이 서로 가깝게 분포하는 것을 확인할 수 있다. 점선은 사용자 고유의 특징이 더 잘 보존된 사용자들의 특징 추출 결과를 의미하고, 실선은 유사한 특징을 공유하기 때문에 특징 공간에서 가깝게 분포하는 사용자들을 의미한다.After passing through such a metric learning process, as illustrated in FIG. 5, it can be seen that features extracted from the same user (indicated by the same identification number) in the feature space after metric learning are distributed close to each other. The dotted line means the result of feature extraction of users whose unique features are better preserved, and the solid line means users who are closely distributed in the feature space because they share similar features.
다음으로, 인공 신경망 네트워크의 가중치를 이용하여 분류 네트워크를 구축한다(S240).Next, a classification network is constructed using the weights of the artificial neural network (S240).
분류 네트워크는 새롭게 입력된 뇌 신호를 입력되면, 해당 뇌 신호가 나타내는 태스크를 분류하는 기능을 수행한다. 이를 위해, 인공 신경망 네트워크에 구축된 가중치를 분류 네트워크에 입력하여 분류 네트워크를 구축한다.When a newly input brain signal is input, the classification network performs a function of classifying tasks represented by the corresponding brain signal. To this end, a classification network is constructed by inputting the weights built in the artificial neural network into the classification network.
이때, 분류 네트워크의 태스크 분류 결과를 측정하는 태스크 분류 손실함수를 정의한다. 태스크 분류 손실함수(Ltask)는 수학식 2와 같이 정의될 수 있다.In this case, a task classification loss function that measures the task classification result of the classification network is defined. The task classification loss function (L task ) may be defined as in
[수학식 2][Equation 2]
이때, ti 와 si 는 C에서의 각 클래스(i)를 위한 참값(groundtruth)과 CNN 점수를 각각 나타냄At this time, t i and s i represent the groundtruth and CNN scores for each class (i) in C, respectively.
태스크 분류 손실함수(Ltask)로는 크로스엔트로피(cross entropy), 평균 제곱 오차(MSE: Mean Squared Error) 등의 손실 함수가 이용될 수 있으며 본 발명이 이에 한정되지는 않는다.Loss functions such as cross entropy and mean squared error (MSE) may be used as the task classification loss function L task, but the present invention is not limited thereto.
최종적으로는, 수학식 3과 같이 유사도 손실 함수에 태스크 분류 손실함수을 합산한 통합 손실 함수(L)의 값이 최솟값을 갖도록 하는 제약조건을 반영하여, 분류 모델의 성능을 조절한다. 예를 들어, 사용자 정의 매개변수에 따라 태스크 분류 손실 함수의 비율이 상대적으로 더 커지면, 분류기 성능 향상과 빠른 학습을 기대할 수 있다.Finally, as shown in
[수학식 3][Equation 3]
여기 까지의 단계(S210~S240)을 수행함에 따라, 본 발명에 따른 태스크 분류 학습 모델을 구축할 수 있다.By performing the steps S210 to S240 up to this point, a task classification learning model according to the present invention can be constructed.
여기에 더하여, 이와 같이 구축된 태스크 분류 학습 모델을 이용하여, 태스크 분류를 추가적으로 수행할 수 있다(S250).In addition, task classification may be additionally performed using the task classification learning model constructed as described above (S250).
도 6은 본 발명의 일 실시예에 따라 구축된 태스크 분류 학습 모델을 이용하여 태스크 분류를 수행하는 과정을 도시한 것이다.6 illustrates a process of performing task classification using a task classification learning model constructed according to an embodiment of the present invention.
즉, 앞선 과정에서 구축된 인공 신경망 네트워크(610) 및 분류 네트워크(620)에 뇌 신호 데이터를 입력하여 태스크를 분류한다.That is, the task is classified by inputting brain signal data to the artificial
이때, 인공 신경망 네트워크(610)는 도 4의 과정을 통해 구축한 인공 신경망 네트워크(410)의 가중치가 저장된 것이고, 분류 네트워크(620)는 도 4의 과정을 통해 구축한 분류 네트워크의 가중치가 저장된 것이다.In this case, the artificial
인공 신경망 네트워크(610)는 뇌 신호가 입력되면 뇌신호와 가중치를 곱하여, 사용자간 유사도 정보를 고려한 특징을 추출한 후 분류 네트워크(620)를 통해 분류한다.When a brain signal is input, the artificial
이와 같은 분류 결과는 사용자 독립적 뇌-컴퓨터 인터페이스 장치를 통해 출력되며, 뇌-컴퓨터 인터페이스 장치에 접속된 외부 장치의 동작을 제어하는데 활용될 수 있다.The classification result is output through a user-independent brain-computer interface device, and may be used to control the operation of an external device connected to the brain-computer interface device.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Further, the computer-readable medium may include a computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Although the methods and systems of the present invention have been described in connection with specific embodiments, some or all of their components or operations may be implemented using a computer system having a general-purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.
100: 뇌-컴퓨터 인터페이스 장치
110: 메모리
120: 프로세서
130: 통신모듈
140: DB
200: 뇌파 측정 장치100: brain-computer interface device
110: memory
120: processor
130: communication module
140: DB
200: EEG measurement device
Claims (8)
뇌 신호 획득을 위한 패러다임 별로, 분류하고자 하는 움직임 상상 클래스를 나타내는 태스크 레이블에 사용자별 식별 번호를 추가하여 사용자 레이블 데이터를 생성하는 단계;
상기 사용자 레이블 데이터로부터 랜덤하게 추출된 앵커 데이터, 상기 앵커 데이터와 동일한 사용자 레이블을 갖는 데이터로 구성된 긍정 데이터 및 상기 앵커 데이터와 상이한 사용자 레이블을 갖는 데이터로 구성된 부정 데이터를 기초로 인공 신경망 네트워크를 구축하고, 상기 각 인공 신경망 네트워크 구축 과정에서, 앵커 데이터의 특징 벡터와 긍정 데이터의 특징 벡터간의 거리는 감소하고, 앵커 데이터의 특징 벡터와 부정 데이터의 특징 벡터간의 거리는 증가하도록 하는 유사도 손실 함수를 이용하여 메트릭 학습을 수행하는 단계; 및
상기 인공 신경망 네트워크의 가중치를 이용하여 분류 네트워크를 구축하는 단계를 포함하되,
상기 분류 네트워크의 태스크 분류 결과를 측정하는 태스크 분류 손실함수와 상기 유사도 손실 함수를 합산한 통합 손실 함수의 값이 최솟값이 되도록 하는 것인, 뇌 신호의 태스크 분류 학습 모델을 구축하는 방법.In a method of constructing a learning model for task classification of brain signals used in a user-independent brain-computer interface device,
Generating user label data by adding an identification number for each user to a task label representing a movement imaginary class to be classified for each paradigm for acquiring a brain signal;
An artificial neural network network is constructed based on anchor data randomly extracted from the user label data, positive data composed of data having the same user label as the anchor data, and negative data composed of data having a user label different from the anchor data. , In the process of building each artificial neural network, metric learning using a similarity loss function that decreases the distance between the feature vector of the anchor data and the feature vector of the positive data, and increases the distance between the feature vector of the anchor data and the feature vector of the negative data. Performing; And
Including the step of building a classification network by using the weight of the artificial neural network,
A method of constructing a brain signal task classification learning model, wherein a value of a task classification loss function for measuring a task classification result of the classification network and an integrated loss function obtained by summing the similarity loss function becomes a minimum value.
상기 사용자 레이블 데이터를 생성하는 단계는
동일 사용자의 서로 다른 세션에서 획득된 뇌 신호는 서로 다른 사용자 식별 정보를 부여하여 서로 다른 사용자 레이블 데이터로 생성하는 것인, 뇌 신호의 태스크 분류 학습 모델을 구축하는 방법.The method of claim 1,
Generating the user label data comprises:
Brain signals acquired in different sessions of the same user are generated as different user label data by giving different user identification information.
상기 태스크 분류 손실 함수에 곱해지는 제 1 가중치 및 상기 유사도 손실 함수에 곱해지는 제 2 가중치를 조절함에 따라 상기 태스크 분류 학습 모델의 성능이 조절되는 것인, 뇌 신호의 태스크 분류 학습 모델을 구축하는 방법.The method of claim 1,
A method of constructing a brain signal task classification learning model, wherein performance of the task classification learning model is adjusted by adjusting a first weight multiplied by the task classification loss function and a second weight multiplied by the similarity loss function .
복수의 패러다임 중 어느 한 패러다임에 따라 획득한 뇌 신호 데이터를 상기 뇌 신호의 태스크 분류 학습 모델에 입력하여, 상기 뇌 신호 데이터의 태스크를 분류하는 단계를 포함하되,
상기 태스크 분류 학습 모델은
뇌 신호 획득을 위한 패러다임 별로, 분류하고자 하는 움직임 상상 클래스를 나타내는 태스크 레이블에 사용자별 식별 번호를 추가하여 사용자 레이블 데이터를 생성하는 단계;
상기 사용자 레이블 데이터로부터 랜덤하게 추출된 앵커 데이터, 상기 앵커 데이터와 동일한 사용자 레이블을 갖는 데이터로 구성된 긍정 데이터 및 상기 앵커 데이터와 상이한 사용자 레이블을 갖는 데이터로 구성된 부정 데이터를 기초로 인공 신경망 네트워크를 구축하고, 상기 각 인공 신경망 네트워크 구축 과정에서, 앵커 데이터의 특징 벡터와 긍정 데이터의 특징 벡터간의 거리는 감소하고, 앵커 데이터의 특징 벡터와 부정 데이터의 특징 벡터간의 거리는 증가하도록 하는 유사도 손실 함수를 이용하여 메트릭 학습을 수행하는 단계; 및
상기 인공 신경망 네트워크의 가중치를 이용하여 분류 네트워크를 구축하되, 상기 분류 네트워크의 태스크 분류 결과를 측정하는 태스크 분류 손실함수와 상기 유사도 손실 함수를 합산한 통합 손실 함수의 값이 최솟값이 되도록 하는 단계를 수행하여 구축된 것이고,
상기 뇌 신호 데이터의 태스크를 분류하는 단계는
상기 인공 신경망 네트워크 및 상기 분류 네트워크에 상기 뇌 신호 데이터를 입력하여 태스크를 분류하는 것인, 뇌 신호의 태스크를 분류하는 방법.In a method of classifying a task of a brain signal using a task classification learning model of a brain signal used in a user-independent brain-computer interface device,
Including the step of classifying the task of the brain signal data by inputting the brain signal data acquired according to any one of a plurality of paradigms into the task classification learning model of the brain signal,
The task classification learning model is
Generating user label data by adding an identification number for each user to a task label representing a movement imaginary class to be classified for each paradigm for acquiring a brain signal;
An artificial neural network network is constructed based on anchor data randomly extracted from the user label data, positive data composed of data having the same user label as the anchor data, and negative data composed of data having a user label different from the anchor data. , In the process of building each artificial neural network, metric learning using a similarity loss function that decreases the distance between the feature vector of the anchor data and the feature vector of the positive data, and increases the distance between the feature vector of the anchor data and the feature vector of the negative data. Performing; And
Constructing a classification network using the weights of the artificial neural network, but performing the step of making the value of the integrated loss function obtained by summing the task classification loss function measuring the task classification result of the classification network and the similarity loss function become the minimum value. It was built,
Classifying the task of the brain signal data
The method of classifying a task of a brain signal by inputting the brain signal data to the artificial neural network network and the classification network.
상기 사용자 레이블 데이터를 생성하는 단계는
동일 사용자의 서로 다른 세션에서 획득된 뇌 신호는 서로 다른 사용자 식별 정보를 부여하여 서로 다른 사용자 레이블 데이터로 생성하는 것인, 뇌 신호의 태스크를 분류하는 방법.The method of claim 4,
Generating the user label data comprises:
Brain signals acquired in different sessions of the same user are generated as different user label data by giving different user identification information.
상기 태스크 분류 손실 함수에 곱해지는 제 1 가중치 및 상기 유사도 손실 함수에 곱해지는 제 2 가중치를 조절함에 따라 상기 태스크 분류 학습 모델의 성능이 조절되는 것인, 뇌 신호의 태스크를 분류하는 방법.The method of claim 4,
The performance of the task classification learning model is adjusted by adjusting a first weight multiplied by the task classification loss function and a second weight multiplied by the similarity loss function.
메트릭 학습(metric learning)에 기반하여 구축된 뇌 신호의 태스크 분류 학습 모델을 이용하여 사용자의 뇌 신호로부터 태스크를 분류하는 프로그램이 저장된 메모리; 및
상기 프로그램을 수행하는 프로세서를 포함하며,
상기 뇌 신호의 태스크 분류 학습 모델은 뇌 신호 획득을 위한 패러다임 별로, 분류하고자 하는 움직임 상상 클래스를 나타내는 태스크 레이블에 사용자별 식별 번호를 추가하여 사용자 레이블 데이터를 생성하고, 상기 사용자 레이블 데이터로부터 랜덤하게 추출된 앵커 데이터, 상기 앵커 데이터와 동일한 사용자 레이블을 갖는 데이터로 구성된 긍정 데이터 및, 상기 앵커 데이터와 상이한 사용자 레이블을 갖는 데이터로 구성된 부정 데이터를 기초로 인공 신경망 네트워크를 구축하고, 상기 각 인공 신경망 네트워크 구축 과정에서, 앵커 데이터의 특징 벡터와 긍정 데이터의 특징 벡터간의 거리는 감소하고, 앵커 데이터의 특징 벡터와 부정 데이터의 특징 벡터간의 거리는 증가하도록 하는 유사도 손실 함수를 이용하여 메트릭 학습을 수행하고, 상기 인공 신경망 네트워크의 가중치를 이용하여 분류 네트워크를 구축하되, 상기 분류 네트워크의 태스크 분류 결과를 측정하는 태스크 분류 손실함수와 상기 유사도 손실 함수를 합산한 통합 손실 함수의 값이 최솟값이 되도록 하는 단계를 수행하여 구축된 것이고,
상기 프로그램은 상기 뇌 신호의 태스크 분류 학습 모델의 상기 인공 신경망 네트워크 및 상기 분류 네트워크에 상기 뇌 신호 데이터를 입력하여 태스크를 분류하는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 장치. In the user-independent brain-computer interface device,
A memory storing a program for classifying tasks from brain signals of a user using a task classification learning model of brain signals constructed based on metric learning; And
And a processor that executes the program,
The brain signal task classification learning model generates user label data by adding an identification number for each user to a task label representing a movement imaginary class to be classified according to a paradigm for acquiring a brain signal, and randomly extracts from the user label data. An artificial neural network network is constructed based on the anchor data, positive data composed of data having the same user label as the anchor data, and negative data composed of data having a user label different from the anchor data, and constructing each artificial neural network network In the process, metric learning is performed using a similarity loss function that decreases the distance between the feature vector of the anchor data and the feature vector of the positive data and increases the distance between the feature vector of the anchor data and the feature vector of the negative data, and the artificial neural network The classification network is constructed using the weight of the network, but the task classification loss function that measures the task classification result of the classification network and the integrated loss function obtained by summing the similarity loss function are set to the minimum. Will,
The program classifies a task by inputting the brain signal data to the artificial neural network network and the classification network of the task classification learning model of the brain signal.
상기 태스크 분류 손실 함수에 곱해지는 제 1 가중치 및 상기 유사도 손실 함수에 곱해지는 제 2 가중치를 조절함에 따라 상기 태스크 분류 학습 모델의 성능이 조절되는 것인, 사용자 독립적 뇌-컴퓨터 인터페이스 장치.The method of claim 7,
The performance of the task classification learning model is adjusted by adjusting a first weight multiplied by the task classification loss function and a second weight multiplied by the similarity loss function.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190150647 | 2019-11-21 | ||
| KR20190150647 | 2019-11-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210062565A true KR20210062565A (en) | 2021-05-31 |
| KR102635606B1 KR102635606B1 (en) | 2024-02-13 |
Family
ID=76150453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200153347A KR102635606B1 (en) | 2019-11-21 | 2020-11-17 | Brain-computer interface apparatus based on feature extraction reflecting similarity between users using distance learning and task classification method using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102635606B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116360598A (en) * | 2023-03-30 | 2023-06-30 | 无锡超体生命科技有限公司 | Motor imagery motion control method and system based on brain waves |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101553256B1 (en) | 2014-03-06 | 2015-09-15 | 광주과학기술원 | Method for Enhancing Reliability of BCI System |
| US20170228641A1 (en) * | 2016-02-04 | 2017-08-10 | Nec Laboratories America, Inc. | Distance metric learning with n-pair loss |
| US9983670B2 (en) * | 2012-09-14 | 2018-05-29 | Interaxon Inc. | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data |
| KR20190028235A (en) * | 2017-09-08 | 2019-03-18 | 삼성전자주식회사 | Method and device for learning neural network for recognizing class |
| KR20190029083A (en) * | 2017-09-11 | 2019-03-20 | 삼성전자주식회사 | Apparatus and Method for learning a neural network |
| KR20190030612A (en) * | 2017-09-14 | 2019-03-22 | 고려대학교 산학협력단 | System for providing subject-independent brain-computer interface and method thereof |
| KR20190056009A (en) * | 2017-11-16 | 2019-05-24 | 삼성전자주식회사 | Apparatus and method related to metric learning based data classification |
-
2020
- 2020-11-17 KR KR1020200153347A patent/KR102635606B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9983670B2 (en) * | 2012-09-14 | 2018-05-29 | Interaxon Inc. | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data |
| KR101553256B1 (en) | 2014-03-06 | 2015-09-15 | 광주과학기술원 | Method for Enhancing Reliability of BCI System |
| US20170228641A1 (en) * | 2016-02-04 | 2017-08-10 | Nec Laboratories America, Inc. | Distance metric learning with n-pair loss |
| KR20190028235A (en) * | 2017-09-08 | 2019-03-18 | 삼성전자주식회사 | Method and device for learning neural network for recognizing class |
| KR20190029083A (en) * | 2017-09-11 | 2019-03-20 | 삼성전자주식회사 | Apparatus and Method for learning a neural network |
| KR20190030612A (en) * | 2017-09-14 | 2019-03-22 | 고려대학교 산학협력단 | System for providing subject-independent brain-computer interface and method thereof |
| KR20190056009A (en) * | 2017-11-16 | 2019-05-24 | 삼성전자주식회사 | Apparatus and method related to metric learning based data classification |
Non-Patent Citations (1)
| Title |
|---|
| Tabar and Halici. "A novel deep learning approach for classification of EEG motor imagery signals." Journal of neural engineering 14.1 (2016): 016003.* * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116360598A (en) * | 2023-03-30 | 2023-06-30 | 无锡超体生命科技有限公司 | Motor imagery motion control method and system based on brain waves |
| CN116360598B (en) * | 2023-03-30 | 2024-03-26 | 无锡超体生命科技有限公司 | Motor imagery motion control method and system based on brain waves |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102635606B1 (en) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Thomas et al. | Deep learning-based classification for brain-computer interfaces | |
| Altaheri et al. | Deep learning techniques for classification of electroencephalogram (EEG) motor imagery (MI) signals: A review | |
| Gui et al. | A survey on brain biometrics | |
| Cao et al. | Extraction of SSVEPs-based inherent fuzzy entropy using a wearable headband EEG in migraine patients | |
| KR102143900B1 (en) | System for providing subject-independent brain-computer interface and method thereof | |
| Lenhardt et al. | An adaptive P300-based online brain–computer interface | |
| US9357938B2 (en) | Method and system for motor rehabilitation | |
| Zhang et al. | Bayesian learning for spatial filtering in an EEG-based brain–computer interface | |
| Jolly et al. | Universal EEG encoder for learning diverse intelligent tasks | |
| Lan et al. | Channel selection and feature projection for cognitive load estimation using ambulatory EEG | |
| Asghar et al. | Review on electromyography based intention for upper limb control using pattern recognition for human-machine interaction | |
| Serdar Bascil et al. | Multi-channel EEG signal feature extraction and pattern recognition on horizontal mental imagination task of 1-D cursor movement for brain computer interface | |
| Piciucco et al. | Biometric recognition using wearable devices in real-life settings | |
| Stergiadis et al. | Which BSS method separates better the EEG Signals? A comparison of five different algorithms | |
| Guo et al. | EEG classification by filter band component regularized common spatial pattern for motor imagery | |
| US20230328417A1 (en) | Secure identification methods and systems | |
| Athif et al. | WaveCSP: a robust motor imagery classifier for consumer EEG devices | |
| Anwar et al. | Event Related Potential (ERP) based lie detection using a wearable EEG headset | |
| CN111387936A (en) | Sleep stage identification method, device and equipment | |
| Peterson et al. | Generalized sparse discriminant analysis for event-related potential classification | |
| Rashid et al. | Wink based facial expression classification using machine learning approach | |
| KR20190030611A (en) | Method for integrated signal processing of bci system | |
| Martinez-Leon et al. | Feature Selection Applying Statistical and Neurofuzzy Methods to EEG‐Based BCI | |
| Wu et al. | Towards enhanced EEG-based authentication with motor imagery brain-computer interface | |
| KR102635606B1 (en) | Brain-computer interface apparatus based on feature extraction reflecting similarity between users using distance learning and task classification method using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |