KR20180036503A - Apparatus and method of brain-computer interface for device controlling based on brain signal - Google Patents
Apparatus and method of brain-computer interface for device controlling based on brain signal Download PDFInfo
- Publication number
- KR20180036503A KR20180036503A KR1020170036206A KR20170036206A KR20180036503A KR 20180036503 A KR20180036503 A KR 20180036503A KR 1020170036206 A KR1020170036206 A KR 1020170036206A KR 20170036206 A KR20170036206 A KR 20170036206A KR 20180036503 A KR20180036503 A KR 20180036503A
- Authority
- KR
- South Korea
- Prior art keywords
- brain signal
- brain
- classifier
- user
- signal data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G06N3/0445—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 뇌 신호 기반 기기의 제어를 위한 뇌-컴퓨터 인터페이스 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for a brain-computer interface for controlling a brain signal-based device.
뇌-컴퓨터 인터페이스(brain-computer interface; BCI) 장치는 사용자의 뇌 신호 분석을 통해 다양한 다른 기기를 제어할 수 있는 장치이다. 뇌-컴퓨터 인터페이스 장치는 사용자가 생각하는 것만으로 의도적으로 발현되는 특정 패턴의 뇌 신호를 분석하여 기기를 제어할 수 있다. 그러므로 뇌-컴퓨터 인터페이스 장치는 일반인들을 위한 편의 기기에 활용하거나, 루게릭병이나 척수손상과 같은 중증장애로 인해 신체의 움직임이 자유롭지 못한 장애인들의 생활보조 기기로서 활용될 수 있다. A brain-computer interface (BCI) device is a device that can control various other devices through analysis of a user's brain signal. The brain-computer interface device can control the device by analyzing a specific pattern of brain signals intentionally expressed only by the user's thought. Therefore, the brain-computer interface device can be utilized as a convenience device for the general public, or as a living assistance device for people with disabilities who are not free from physical movement due to severe disabilities such as Lou Gehrig's disease or spinal cord injury.
사용자의 의도에 따라 다양한 기기를 제어하기 위해서는 외부의 자극 없이 자발적인 뇌 신호를 생성하는 것이 중요하다. 이러한 자발적인 뇌 신호는 복잡한 숫자 계산이나 무작위의 단어 상상, 지도 상상 등을 포함할 수 있다. 최근에는 특정 신체 부위를 움직일 때의 느낌을 상상하는 동작상상 (motor Imagery; MI) 방법 기반의 뇌-컴퓨터 인터페이스 장치가 발전하고 있다. In order to control various devices according to user's intention, it is important to generate spontaneous brain signals without external stimulation. These spontaneous brain signals can include complex numerical calculations, random word imaginings, and map imagery. In recent years, a brain-computer interface device based on the motor-imagery (MI) method has been developed which imagines the feeling of moving a specific body part.
사용자가 특정 신체 부위의 움직이는 느낌을 상상하는 동작상상을 수행할 경우 뇌-컴퓨터 인터페이스 장치는 해당 신체 부위를 관장하는 뇌 영역에서 발생하는 ERD/ERS(event-related synchronization/event-related desynchronization) 패턴을 검출할 수 있다. 예를 들어, 사용자가 왼손을 움직이는 동작상상을 수행할 경우 뇌의 우반구의 특정 영역에서 ERD/ERS패턴이 발생될 수 있다. 또한, 해당 사용자가 오른손을 움직이는 동작상상을 수행할 경우 뇌의 좌반구의 특정 영역에서 ERD/ERS 패턴이 발생된다. When the user performs an action imagining a moving feeling of a specific body part, the brain-computer interface device generates an event-related synchronization / event-related desynchronization (ERD / ERS) pattern in the brain region Can be detected. For example, an ERD / ERS pattern may be generated in a specific region of the right hemisphere of the brain when a user implements an operation that moves the left hand. In addition, when the user implements the motion imagination of moving the right hand, an ERD / ERS pattern is generated in a specific region of the left hemisphere of the brain.
이때, ERD/ERS 패턴에 포함된 ERS 성분은 신호의 분산 값이 증가하는 형태를 보이며, ERD 성분은 ERS 성분과 반대로 신호의 분산 값이 감소하는 형태를 보인다. 사용자가 동작상상을 수행하는 동안에는 ERD 성분이 발생하며, 동작상상 이후에 ERS 성분이 발현될 수 있다. 그러므로 뇌-컴퓨터 인터페이스 장치는 ERD 성분이 뚜렷하게 측정될 경우 보다 높은 성능으로 동작할 수 있다.In this case, the ERS component included in the ERD / ERS pattern has a shape in which the variance value of the signal is increased, and the ERD component has a shape in which the variance value of the signal is decreased as opposed to the ERS component. The ERD component is generated while the user is imagining the operation, and the ERS component can be expressed after the operation imagination. Therefore, the brain-computer interface device can operate at higher performance when the ERD component is measured clearly.
특히, 실생활에서 다양한 외부 기기의 자연스러운 제어를 위해, 뇌-컴퓨터 인터페이스 장치는 최소 3개 이상의 명령어를 생성할 수 있는 방법이 필요하다. 그러나 종래의 뇌-컴퓨터 인터페이스 장치는 명령어의 수가 2개 이상이 되면 뇌 신호의 분류 정확도가 급격하게 감소한다. In particular, for real-time control of various external devices, a brain-computer interface device needs a method capable of generating at least three instructions. However, in the conventional brain-computer interface device, when the number of instructions is two or more, the classification accuracy of the brain signal is drastically reduced.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 다중 클래스의 분류를 위하여 생성된 분류기 앙상블 및 뉴로피드백 기술에 기초하여 사용자의 뇌 신호로부터 사용자의 의도를 판단하고, 이를 통하여 뇌 신호 기반 장치의 제어를 수행하기 위한 뇌-컴퓨터 인터페이스 장치 및 방법을 제공한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the conventional art, and it is an object of the present invention to determine a user's intention from a user's brain signal based on a classifier ensemble and a neuro- Computer interface apparatus and method for performing control of a brain-computer interface.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 뇌-컴퓨터 인터페이스 장치는 뇌 신호 기반 제어 프로그램이 저장된 메모리, 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 프로그램의 실행에 따라, 실시간으로 수신되는 뇌 신호 데이터 및 뇌 신호 분류기에 기초하여 뇌 신호 데이터에 대응하는 사용자의 의도를 판단한다. 그리고 뇌 신호 분류기는, 사용자로부터 기수집된 뇌 신호 데이터에 기초하여 생성된 복수의 분류기를 포함하는 분류기 앙상블이며, 실시간으로 수신되는 뇌 신호 데이터를 입력으로 통과시켜 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단한다. As a technical means for achieving the above technical object, a brain-computer interface device according to the first aspect of the present invention includes a memory for storing a brain signal-based control program, and a processor for executing a program stored in the memory. At this time, the processor judges the intention of the user corresponding to the brain signal data based on the brain signal data and the brain signal classifier received in real time according to the execution of the program. The brain signal classifier is a classifier ensemble that includes a plurality of classifiers generated based on brain signal data collected from a user. The brain signal classifier receives real-time brain signal data as input, It is judged whether it is one.
또한, 본 발명의 제 2 측면에 따른 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호의 분류 방법은 실시간으로 수신되는 사용자의 뇌 신호 데이터 및 뇌 신호 분류기에 기초하여 뇌 신호 데이터에 대응하는 사용자의 의도를 판단하는 단계를 포함한다. 이때, 뇌 신호 분류기는, 사용자로부터 기수집된 뇌 신호 데이터에 기초하여 생성된 복수의 분류기를 포함하는 분류기 앙상블이며, 실시간으로 수신되는 뇌 신호 데이터를 입력으로 통과시켜 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단한다.According to a second aspect of the present invention, there is provided a method for classifying brain signals in a brain-computer interface device, comprising the steps of: determining a user's intention corresponding to brain signal data based on brain signal data of a user and a brain signal classifier . At this time, the brain signal classifier is a classifier ensemble that includes a plurality of classifiers generated based on brain signal data collected from a user, and transmits brain signal data received in real time as an input, It is judged which one of them.
또한, 본 발명의 제 3 측면에 따른 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호 분류기 생성 방법은 기수집된 뇌 신호 데이터에 기초하여 복수의 분류기를 생성하는 단계; 생성된 복수의 분류기에 기초하여 복수의 분류기 앙상블을 생성하는 단계; 기수집된 뇌 신호 데이터에 기초하여 생성된 의사 온라인 환경에 대하여 복수의 분류기 앙상블의 정확도를 산출하는 단계; 및 산출된 복수의 분류기 앙상블의 정확도에 기초하여 뇌 신호 분류기를 선택하는 단계를 포함한다. 이때, 기수집된 뇌 신호 데이터는 복수의 움직임 각각에 대응하는 복수의 뇌 신호 데이터를 포함한다. 그리고 각 분류기 앙상블은 전체 분류기 중 선택된 복수의 분류기가 포함되도록 생성된다. According to a third aspect of the present invention, there is provided a method of generating a brain signal classifier in a brain-computer interface device, comprising: generating a plurality of classifiers based on collected brain signal data; Generating a plurality of classifier ensembles based on the generated plurality of classifiers; Calculating accuracy of a plurality of classifier ensembles for a pseudo on-line environment generated based on collected brain signal data; And selecting the brain signal classifier based on the accuracy of the calculated plurality of classifier ensembles. At this time, the collected brain signal data includes a plurality of brain signal data corresponding to each of a plurality of motions. Each classifier ensemble is generated so as to include a plurality of classifiers selected from all classifiers.
본 발명은 다중 클래스의 분류를 지원하는 분류기 앙상블을 통하여 사용자가 원하는 3개 이상의 움직임을 감지할 수 있다. 또한, 본 발명은 사용자가 뇌-컴퓨터 인터페이스 장치의 정확도를 향상시킬 수 있도록 뉴로피드백 훈련을 제공할 수 있다. 그러므로 본 발명은 실생활에서 복수의 명령어를 지원하는 기기에 적합한 뇌-컴퓨터 인터페이스 장치를 제공할 수 있다.The present invention can detect three or more motions desired by a user through a classifier ensemble supporting multiple classifications. In addition, the present invention can provide neurofeedback training so that the user can improve the accuracy of the brain-computer interface device. Therefore, the present invention can provide a brain-computer interface device suitable for a device that supports a plurality of commands in real life.
또한, 본 발명은 재활 환자의 뇌 운동 기능 향상 및 마비 환자의 로봇 팔, 휠체어 등에 대한 기기 제어를 지원할 수 있다. 본 발명은 일반인의 증강 현실 및 게임 내의 아바타 제어와 같은 다양한 게임에 적용할 수 있다.In addition, the present invention can improve the brain motor function of the rehabilitation patient and control the device for the robot arm, wheelchair, etc. of the paralyzed patient. The present invention can be applied to various games such as an augmented reality of a general public and an avatar control within a game.
도 1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 뇌 신호 기반 제어 프로그램의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 분류기 앙상블의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호의 분류 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치에서의 뇌 신호 분류기 생성 방법의 순서도이다.1 is a block diagram of a brain-computer interface device according to an embodiment of the present invention.
2 is a block diagram of a brain signal based control program according to an embodiment of the present invention.
3 is an illustration of a classifier ensemble according to an embodiment of the present invention.
4 is a flowchart of a method of classifying brain signals in a brain-computer interface apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a method of generating a brain signal classifier in a brain-computer interface apparatus according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when a part is referred to as "including " an element, it does not exclude other elements unless specifically stated otherwise.
다음은 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)를 설명한다.Next, a brain-
도 1은 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)의 블록도이다.1 is a block diagram of a brain-
뇌-컴퓨터 인터페이스 장치(100)는 사용자(200)의 뇌 신호를 수신하여 해당 사용자(200)의 의도를 판단할 수 있다. 그리고 뇌-컴퓨터 인터페이스 장치(100)는 사용자(200)의 의도에 기초하여 뇌-컴퓨터 인터페이스 기반 기기를 제어할 수 있다. 이때, 뇌-컴퓨터 인터페이스 기반 기기는 신체를 움직이지 못하는 사용자(200)의 휠체어 등의 생활 보조 기기일 수 있다. 또는, 뇌-컴퓨터 인터페이스 기반 기기는 스마트 홈을 위한 사물 인터넷 기기일 수 있으나, 이에 한정된 것은 아니다.The brain-
뇌-컴퓨터 인터페이스 장치(100)는 뇌 신호 측정 유닛(110), 디스플레이 유닛(120), 메모리(130) 및 프로세서(140)를 포함한다.The brain-
뇌 신호 측정 유닛(110)은 사용자(200)의 머리에 부착하며 사용자(200)의 동작에 따른 뇌파(electroencephalogram; EEG)와 같은 뇌 신호를 측정할 수 있다. 예를 들어, 뇌 신호는 10-20 시스템에 기초하여 미리 정해진 복수의 영역으로부터 수집된 것일 수 있다.The brain
디스플레이 유닛(120)은 뇌 신호에 기초하여 뇌-컴퓨터 인터페이스 장치(100)를 통하여 탐지된 해당 사용자(200)의 현재 의도를 표시한다. 또한, 디스플레이 유닛(120)은 해당 사용자(200)가 뉴로피드백(neuro-feedback) 기반 훈련을 수행하기 위한 인식 결과를 표시할 수 있다.The
이때, 의도는 해당 사용자(200)가 생각한 신체의 움직임 또는 해당 사용자(200)가 생각한 행동이 될 수 있다. 의도는 해당 사용자(200)가 사용하는 기기의 명령어일 수 있으나, 이에 한정된 것은 아니다. 또한, 뇌-컴퓨터 인터페이스 장치(100)가 인식할 수 있는 의도는 적어도 3개 이상이 될 수 있다.At this time, the intention may be the movement of the body thought by the
예를 들어, 사용자(200)의 의도는 '휴식', '왼손 움직임', '오른손 움직임' 및 '발 움직임'이 될 수 있다. 또는, 사용자(200)의 의도는 '휴식', '전진 이동', '왼쪽 이동' 및 '오른쪽 이동'이 될 수 있다. 이때, '휴식'은 해당 사용자(200)가 움직임을 하지 않는 상태를 의미한다.For example, the intention of the
메모리(130)는 뇌 신호 기반 제어 프로그램이 저장된다. 이때, 메모리(130)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.The
프로세서(140)는 메모리(130)에 저장된 뇌 신호 기반 제어 프로그램에 기초하여 실시간으로 수신되는 사용자(200)의 뇌 신호로부터 현재 사용자(200)의 의도를 탐지한다. 사용자(200)의 의도를 탐지하는 상세한 과정은 도 2를 참조하여 설명한다.The
도 2는 본 발명의 일 실시예에 따른 뇌 신호 기반 제어 프로그램의 블록도이다. 2 is a block diagram of a brain signal based control program according to an embodiment of the present invention.
뇌 신호 기반 제어 프로그램은 뇌 신경 기반 제어 모듈(220) 및 분류기 학습 모듈(230)을 포함한다. The brain signal-based control program includes a brain-nerve-based
뇌 신경 기반 제어 모듈(220)은 실시간 뇌 신호 데이터로부터 해당 사용자(200)의 의도를 판단할 수 있다. 또한, 뇌 신경 기반 제어 모듈(220)은 판단된 사용자(200)의 의도를 통하여, 해당 사용자(200)의 뉴로피드백 훈련을 수행할 수 있다. 이때, 뇌 신경 기반 제어 모듈(220)은 세부 모듈로 뇌 신호 측정 모듈(221), 뇌 신호 전처리 모듈(222), 의도 판단 모듈(223) 및 뉴로피드백 훈련 모듈(224)을 포함한다.Based
분류기 학습 모듈(230)은 사용자 맞춤형 뇌 신호 분류기(240)를 생성할 수 있다. 이때, 분류기 학습 모듈(230)은 세부 모듈로 전처리 모듈(231), 분류기 생성 모듈(232), 분류기 앙상블 모듈(233) 및 분류기 앙상블 평가 모듈(234)을 포함할 수 있다.The
프로세서(140)는 뇌 신경 기반 제어 모듈(220) 및 기 생성된 뇌 신호 분류기(240)를 통하여 사용자(200)로부터 측정되는 실시간 뇌 신호 데이터로부터 해당 사용자(200)의 의도를 판단할 수 있다. 이때, 기 생성된 뇌 신호 분류기(240)는 프로세서(140)가 분류기 학습 모듈(230)을 통하여 생성한 것일 수 있다.The
구체적으로 프로세서(140)는 분류기 생성을 위하여 기수집된 학습 뇌 신호 데이터를 이용하여 뇌 신호 분류기(240)를 생성할 수 있다.Specifically, the
이때, 학습 뇌 신호 데이터는 해당 사용자(200)로부터 수회 이상 수집된 휴지 상태의 뇌 신호 및 활성 상태의 뇌 신호일 수 있다. 또한, 학습 뇌 신호 데이터는 해당 사용자(200)의 머리에 부착된 뇌 신경 유닛을 통하여 복수의 위치에 대하여 수집된 데이터일 수 있다.At this time, the learned brain signal data may be a dormant brain signal and an active brain signal collected from the
휴지 상태의 뇌 신호는 해당 사용자(200)가 아무것도 하지 않은 상태의 뇌 신호이다. 프로세서(140)는 뇌 신호 측정 유닛(110)을 통하여, 해당 사용자(200)의 휴지 상태의 뇌 신호를 수집할 수 있다. 프로세서(140)는 수집된 휴지 상태의 뇌 신호에 '휴식'을 매칭하여 학습 뇌 신호 데이터로 생성할 수 있다.A dormant brain signal is a brain signal in which the
또한, 활성 상태의 뇌 신호는 해당 사용자(200)가 복수의 움직임을 수행하는 경우에 대한 뇌 신호이다. 프로세서(140)는 뇌 신호 측정 유닛(110)을 통하여, 해당 사용자(200)의 활성 상태의 뇌 신호를 수집할 수 있다.In addition, the active brain signal is a brain signal for when the
이때, 프로세서(140)는 미리 정해진 움직임 중 특정 움직임을 선택하여, 디스플레이 모듈을 통하여 해당 사용자(200)에게 특정 움직임을 상상하도록 요청할 수 있다. 그리고 프로세서(140)는 해당 사용자(200)의 활성 상태의 뇌 신호를 수집할 수 있다. 프로세서(140)는 이렇게 수집된 활성 상태의 뇌 신호와 프로세서(140)가 요청한 해당 움직임을 매칭하여 학습 뇌 신호 데이터로 생성할 수 있다.At this time, the
또는, 프로세서(140)는 사용자(200)에게 특정 움직임을 상상하면 이에 대응하는 뇌 신호를 수집할 수 있다. 그리고 프로세서(140)는 사용자(200)가 입력 모듈을 통하여 해당 움직임의 종류를 입력하도록 요청할 수 있다. 프로세서(140)는 사용자(200)가 입력한 움직임과 수집된 뇌 신호를 매칭하여 학습 뇌 신호 데이터를 생성할 수 있다. Alternatively, the
예를 들어, 프로세서(140)는 '왼손 움직임'으로부터 뇌의 우반구의 특정 영역의 신호 변화에 대응하는 뇌 신호를 수집할 수 있다. 그리고 프로세서(140)는 '오른손 움직임'으로부터 뇌의 좌반구의 특정 영역의 변화에 대응하는 신호 변화에 대응하는 뇌 신호를 수집할 수 있다. 이때, 우반구의 특정 영역은 10-20 시스템에서 'C3'가 될 수 있으며, 좌반구의 특정 영역은 'C4'가 될 수 있다.For example, the
그리고 프로세서(140)는 사용자(200)로부터 '왼손 움직임'에 대응하는 뇌 신호를 수집하면, 해당 뇌 신호와 '왼손 움직임'을 매칭하여 저장할 수 있다. 또한, 프로세서(140)는 사용자(200)로부터 '오른손 움직임'에 대응하는 뇌 신호를 수집하면, 해당 뇌 신호와 '오른손 움직임'을 매칭하여 저장할 수 있다.When the
사용자(200)로부터 수신된 휴지 상태 및 활성 상태의 뇌 신호를 이용하여 학습 뇌 신호 데이터가 생성되면, 프로세서(140)는 전처리 모듈(231)을 통하여 학습 뇌 신호 데이터에 대한 전처리를 수행하고 ERD/ERS 패턴을 특징(feature)으로 추출할 수 있다. 이때, ERD는 사용자(200)가 특정 움직임을 상상하며 발생할 수 있는 μ파 및 β파의 억제 현상을 의미하며, ERS는 사용자(200)가 특정 움직임을 상상하며 발생할 수 있는 μ파 및 β파의 활성화 현상을 의미한다.When the learning brain signal data is generated using the dormant and active brain signals received from the
프로세서(140)는 전처리 모듈(231)을 통하여 학습 뇌 신호 데이터와 매칭되는 복수의 움직임에 기초하여 데이터를 분류할 수 있다. 그리고 프로세서(140)는 각 움직임에 대한 데이터에 대한 주파수를 분석하여, ERD/ERS 패턴을 추출할 수 있다. 예를 들어, 프로세서(140)는 주파수 필터링을 통하여 뇌 신호 데이터로부터 μ파 및 β파를 분리할 수 있다. 이때, 주파수 필터링은 μ파를 위한 필터링(8-12 Hz) 및 β파를 위한 필터링(26-30Hz)일 수 있다.The
예를 들어, 프로세서(140)는 미리 정해진 주파수 내의 영역에 대한 분석을 수행할 수 있다. 이때, 미리 정해진 주파수는 추출하고자 하는 움직임에 대응하는 주파수가 될 수 있다. 추출하고자 하는 움직임이 집중력과 관련된 것이라면, 미리 정해진 주파수는 4 - 35Hz가 될 수 있다. For example, the
그리고 프로세서(140)는 필터링 이후 신호의 형태에 기초하여 필터링을 수행하는 주파수 및 필터링 방법을 선택할 수 있다. 이때, 고주파 잡신호를 제거하고자 하는 경우, 프로세서(140)는 저역 통과 필터(low-pass filter)를 선택할 수 있다. 또한, 특정 주파수 영역만 선택되도록 하는 경우, 프로세서(140)는 대역 통과 필터(band-pass filter)를 선택할 수 있으며, 특정 주파수만 제거하고자 하는 경우 프로세서(140)는 대역 저지 필터(band-stop filter)를 선택할 수 있다. 또한, 필터링 이후 통과 대역의 신호의 물결 성분이 없어야하며, 경계가 모호해도 되는 경우에는 버터워스 필터(butterworth filter)를 선택하며, 통과 대역의 경계가 날카로워야 하며 물결 성분이 있어도 되는 경우에는 체비세프 필터(Chebyshev filter)를 선택할 수 있으나, 이에 한정된 것은 아니다. The
선택된 필터에 기초하여 필터링을 수행한 이후, 프로세서(140)는 필터링된 뇌 신호 데이터의 파워에 기초하여 특징 벡터를 추출할 수 있다. 이때, 주파수의 파워는 해당 주파수에 대한 로그 값 및 분산 값이 포함되도록 산출될 수 있다.After performing filtering based on the selected filter, the
예를 들어, 프로세서(140)는 고속 푸리에 변환(fast Fourier transform; FFT)에 기초하여 파워 스펙트럼 분석을 수행할 수 있다. 그리고 프로세서(140)는 측정된 뇌 신호 데이터 상의 특정 주파수의 신호 성분이 어느 정도의 비중을 차지하고 있는지를 정량적으로 분석할 수 있다. 이때, 비중은 활성화된 상태에 대응하는 것으로, 정수 형으로 표현될 수 있다. 또한, 비중을 산출하게 되는 주파수 대역 및 해당 주파수 대역의 간격은 뇌 신호 데이터의 표본율과 길이에 따라 결정되는 것일 수 있다.For example, the
또한, 프로세서(140)는 각 움직임에 기초하여 추출된 특징 벡터에 기초하여 ERD/ERS 패턴이 미리 정해진 값 이상인 움직임을 선택할 수 있다. 그리고 프로세서(140)는 학습 뇌 신호 데이터에서 선택된 움직임에 대응하는 데이터를 제외한 다른 데이터를 제거할 수 있다. 이때, 선택되는 움직임의 개수는 학습 뇌 신호 데이터를 수집할 때의 움직임 개수와 동일하거나 적을 수 있다. 또한, 선택되는 움직임의 개수는 적어도 3개 이상일 수 있다.In addition, the
한편, 프로세서(140)는 전처리 모듈(231)을 통하여 학습 뇌 신호 데이터에 대한 전처리가 완료되면, 분류기 생성 모듈(232)을 통하여 복수의 분류기(classify)를 생성할 수 있다. 이때, 분류기 생성 모듈(232)은 복수의 분류 알고리즘(classification algorithm)에 기초하여 분류기를 생성할 수 있다. Meanwhile, when the preprocessing of the learning brain signal data is completed through the
구체적으로 프로세서(140)는 학습 뇌 신호 데이터가 생성시 해당 사용자(200)의 움직임을 클래스(class)로 설정하고, 각 클래스를 분류하기 위한 복수의 분류기를 생성할 수 있다.Specifically, the
또한, 복수의 분류 알고리즘은 이진 분류 알고리즘(binary classification algorithm) 및 OVR(one-versus-rest) 분류 알고리즘이 될 수 있으나, 이에 한정된 것은 아니다. In addition, the plurality of classification algorithms may be, but not limited to, a binary classification algorithm and an OVR (one-versus-rest) classification algorithm.
이때, 이진 분류 알고리즘은 두 클래스에 대하여 분류를 수행하는 분류기를 생성하기 위한 알고리즘이다. 즉, 이진 분류 알고리즘을 통하여 생성된 분류기는 분류기에 입력되는 데이터가 분류기를 생성할 때 미리 정해진 두 개의 클래스 중 어느 클래스에 해당하는 지를 판단할 수 있다. In this case, the binary classification algorithm is an algorithm for generating a classifier for classifying two classes. That is, the classifier generated through the binary classification algorithm can determine which class of the two predetermined classes corresponds when the data input to the classifier generates the classifier.
또한, OVR 분류 알고리즘은 특정 클래스 여부를 판단하는 분류기를 생성하기 위한 알고리즘이다. 즉, OVR 분류 알고리즘은 분류기에 입력되는 데이터가 특정 클래스인지 여부를 판단할 수 있다. 이때, OVR 분류 알고리즘은 일종의 단일 클래스 분류 알고리즘(one-class classification algorithm)일 수 있다. OVR 분류 알고리즘은 앞에서 설명한 이진 분류 알고리즘과 동일할 수도 있으며, 상이할 수도 있다.In addition, the OVR classification algorithm is an algorithm for generating a classifier for judging whether or not a class is a specific class. That is, the OVR classification algorithm can determine whether the data input to the classifier is a specific class. At this time, the OVR classification algorithm may be a kind of one-class classification algorithm. The OVR classification algorithm may be the same as or different from the binary classification algorithm described above.
예를 들어, 학습 뇌 신호 데이터에 대응하는 해당 사용자(200)의 움직임이 '휴식', '왼손 움직임', '오른손 움직임' 및 '발 움직임'인 경우, 클래스는 모두 4개로 설정 될 수 있다. 이때, 제 1 클래스는 '휴식'이 되며, 제 2 클래스는 '왼손 움직임', 제 3 클래스는 '오른손 움직임' 및 제 4 클래스는 '발 움직임'이 될 수 있다. For example, when the movement of the
그리고 프로세서(140)는 이진 분류 알고리즘에 기초하여 각 클래스 간의 조합에 대한 분류기를 생성할 수 있다. 프로세서(140)는 학습 뇌 신호 데이터 중 각 클래스 조합에 해당하는 데이터를 추출하고, 이를 이용하여 분류기를 생성할 수 있다.The
예를 들어, 프로세서(140)는 이진 분류 알고리즘에 기초하여, 제 1 클래스 및 제 2 클래스를 분류할 수 있는 제 1 분류기를 생성할 수 있다. 또한, 프로세서(140)는 같은 방법으로 제 1 클래스 및 제 3 클래스를 분류하는 제 2 분류기, 제 1 클래스 및 제 4 클래스를 분류하는 제 3 분류기를 생성할 수 있다. 또한, 프로세서(140)는 제 2 클래스 및 제 3 클래스를 분류하는 제 4 분류기, 제 2 클래스 및 제 4 클래스를 분류하는 제 5 분류기 및 제 3 클래스 및 제 4 클래스를 분류하는 제 6 분류기를 생성할 수 있다. For example, the
프로세서(140)는 학습 뇌 신호 데이터에서 해당 분류기를 통하여 판단하고 싶은 특정 클래스의 데이터 및 나머지 데이터를 구분하고, OVR 알고리즘에 기초하여 분류기를 생성할 수 있다.The
예를 들어, 프로세서(140)는 제 1 클래스의 데이터와 나머지 제 2 클래스, 제 3 클래스 및 제 4 클래스의 데이터를 구분하여, 제 1 클래스 여부를 판단하기 위한 OVR 분류기인 제 7 분류기를 생성할 수 있다. 동일한 방법으로 프로세서(140)는 제 2 클래스 여부를 판단하기 위한 제 8 분류기, 제 3 클래스 여부를 판단하기 위한 제 9 분류기 및 제 4 클래스 여부를 판단하기 위한 제 10 분류기를 생성할 수 있다. For example, the
앞에서 설명한 바와 같이, 프로세서(140)는 분류기 생성 모듈(232)을 통하여 복수의 분류기를 생성할 수 있다. 그리고 프로세서(140)는 분류기 앙상블 모듈(233)을 통하여, 복수의 분류기 앙상블을 생성할 수 있다. 이때, 분류기 앙상블은 복수의 분류기의 조합일 수 있다. 분류기 앙상블은 도 3을 참조하여 설명한다. As described above, the
도 3은 본 발명의 일 실시예에 따른 분류기 앙상블의 예시도이다. 3 is an illustration of a classifier ensemble according to an embodiment of the present invention.
프로세서(140)는 제 6 분류기 및 제 7 분류기, 제 9 분류기가 포함되도록 제 1 분류기 앙상블을 생성할 수 있다. 또한, 프로세서(140)는 입력되는 뇌 신호 데이터가 제 7 분류기, 제 9 분류기 및 제 6 분류기 순으로 직렬로 통과하도록 분류기 앙상블을 생성할 수 있다.The
그러므로 특정 뇌 신호 데이터가 입력되면 프로세서(140)는 먼저 제 7 분류기에 기초하여 제 1 클래스에 해당하는지 여부를 판단할 수 있다. 만약, 해당 뇌 신호 데이터가 제 1 클래스에 해당하는 경우, 프로세서(140)는 사용자(200)의 의도를 제 1 클래스에 대응하는 움직임인 '휴식'으로 판단할 수 있다.Therefore, when specific brain signal data is input, the
만약, 해당 뇌 신호 데이터가 제 1 클래스에 해당하지 않는 경우, 프로세서(140)는 다시 제 9 분류기에 뇌 신호 데이터를 입력할 수 있다. 그리고 프로세서(140)는 제 9 분류기에 기초하여, 해당 뇌 신호 데이터가 제 2 클래스에 해당하는지 여부를 판단할 수 있다. 해당 뇌 신호 데이터가 제 2 클래스에 해당하는 경우, 사용자(200)의 의도를 '왼손 움직임'으로 판단할 수 있다.If the brain signal data does not correspond to the first class, the
만약, 해당 뇌 신호 데이터가 제 2 클래스에 해당하지 않는 경우, 프로세서(140)는 다시 제 6 분류기로 해당 뇌 신호 데이터를 입력할 수 있다. 이때, 제 6 분류기는 해당 뇌 신호 데이터가 제 3 클래스인지 제 4 클래스인지를 판단하는 분류기이다. 그러므로 프로세서(140)는 제 6 분류기의 결과에 따라, 사용자(200)의 의도를 '오른손 움직임' 또는 '발 움직임'으로 판단할 수 있다.If the brain signal data does not correspond to the second class, the
이와 같이, 분류기 앙상블은 복수의 분류기의 조합을 통하여 생성될 수 있다. 그러므로 프로세서(140)는 분류기 앙상블 모듈(233)을 통하여 기 생성된 복수의 분류기 중 일부를 선택하여 분류기의 조합을 분류기 앙상블로 생성할 수 있다.As such, the classifier ensemble may be generated through a combination of a plurality of classifiers. Therefore, the
그리고 프로세서(140)는 분류기 앙상블 평가 모듈(234)에 기초하여 복수의 분류기 앙상블 중 최적의 분류기 앙상블을 선택할 수 있다.The
분류기 앙상블 평가 모듈(234)은 의사 온라인(pseudo-online) 환경에서의 각 분류기 앙상블의 정확도를 산출할 수 있도록 구축될 수 있다. 이때, 의사 온라인 환경은 기수집된 뇌 신경 데이터를 이용하여 생성한 가상의 온라인 환경이다. 의사 온라인 환경은 실제 사용자(200)의 데이터를 실시간으로 수집하는 것과 유사하게 기수집된 뇌 신경 데이터를 시뮬레이션 할 수 있도록 구축된 것일 수 있다.The classifier
프로세서(140)는 분류기 앙상블 평가 모듈(234)에 기초하여 기수집된 뇌 신경 데이터를 뇌 신호 측정 유닛(110)을 통하여 수집되는 데이터와 유사한 형태로 시뮬레이션하여 각 분류기 앙상블에 대한 정확도를 산출할 수 있다. 이때, 정확도는 기수집된 뇌 신경 데이터에 매칭되어 저장된 움직임과 해당 분류기 앙상블의 분류 결과가 일치하는지 여부에 기초하여 산출될 수 있다.The
그리고 프로세서(140)는 정확도가 가장 높은 분류기 앙상블을 최적의 분류기 앙상블로 선택할 수 있다. 프로세서(140)는 최적의 분류기 앙상블을 선택되면 이를 뇌 신호 분류기(240)로 저장할 수 있다.The
한편, 프로세서(140)는 뇌 신호 분류기(240)가 생성된 이후, 생성된 뇌 신호 분류기(240) 및 뇌 신경 기반 제어 모듈(220)에 기초하여 해당 사용자(200)의 의도를 판단할 수 있다.The
구체적으로 프로세서(140)는 뇌 신호 측정 모듈(221)을 통하여 뇌 신경 측정 유닛으로부터 사용자(200)의 실시간 뇌 신호 데이터(210)를 수신할 수 있다.Specifically, the
그리고 프로세서(140)는 뇌 신호 전처리 모듈(222)을 통하여 실시간 뇌 신호 데이터(210)를 전처리할 수 있다. 이때, 뇌 신호 전처리 모듈(222)을 통한 전처리 방법은 전처리 모듈(231)을 통한 전처리 방법과 동일할 수 있다.The
또한, 프로세서(140)는 의도 판단 모듈(223)을 통하여 복수의 움직임 중 해당 실시간 뇌 신호 데이터에 대응하는 움직임을 선택할 수 있다.In addition, the
구체적으로 프로세서(140)는 뇌 신호 분류기(240)에 기초하여 입력된 실시간 뇌 신호 데이터(210)에 대한 각 움직임의 출력 값을 산출할 수 있다. 이때, 각 움직임의 출력 값은 해당 실시간 뇌 신호 데이터에 대한 각 움직임의 확률 또는 점수가 될 수 있다. 프로세서(140)는 확률 또는 점수가 가장 큰 값을 가진 움직임을 해당 실시간 뇌 신호 데이터(210)에 대응하는 움직임으로 선택할 수 있다.Specifically, the
또는, 각 움직임의 출력 값은 해당 실시간 뇌 신호 데이터(210)에 대한 각 움직임의 매칭 여부가 될 수 있다. 프로세서(140)는 복수의 움직임 중 출력 값이 매칭으로 판단된 움직임을 선택할 수 있다.Alternatively, the output value of each motion may be the matching of each motion to the corresponding real-time
그리고 프로세서(140)는 판단된 움직임을 해당 사용자(200)에게 전달할 수 있다. 또는, 프로세서(140)는 연결된 뇌-컴퓨터 인터페이스 기반 기기가 해당 사용자(200)의 의도에 대응하는 움직임을 수행하도록 뇌-컴퓨터 인터페이스 기반 기기로 전달할 수 있다.The
또한, 사용자(200)의 요청에 따라 프로세서(140)는 뉴로피드백 훈련 모듈(224)을 통하여 해당 사용자(200)의 뉴로피드백 훈련을 수행할 수 있다.The
구체적으로 프로세서(140)는 뉴로피드백 훈련 모듈(224)을 통하여 뇌 신호 분류기(240)의 출력 값 및 판단된 사용자(200)의 의도를 포함하는 인식 결과를 생성할 수 있다. 그리고 프로세서(140)는 디스플레이 유닛(120)에 해당 인식 결과가 표시할 수 있다. Specifically, the
예를 들어, 프로세서(140)는 사용자(200)로부터 제 1 실시간 뇌 신호 데이터를 수신할 수 있다. 그리고 프로세서(140)는 제 1 실시간 뇌 신호 데이터에 대응하는 뇌 신호 분류기(240)의 출력 값을 산출할 수 있다. 이때, 뇌 신호 분류기(240)에 의해 산출된 '휴식'의 출력 값이 54%이고, '왼손 움직임'의 출력 값이 42%이고, '오른쪽 움직임'의 출력 값이 3%이고, '발 움직임'의 출력 값이 1%일 수 있다. 프로세서(140)는 출력 값이 가장 큰 '휴식'을 해당 사용자(200)의 의도 판단할 수 있다. 그리고 프로세서(140)는 사용자(200)의 뉴로피드백 훈련을 위하여, 각 움직임의 출력 값 및 최종적으로 판단된 의도가 포함되는 제 1 인식 결과를 생성할 수 있다. 프로세서(140)는 디스플레이 유닛(120)을 통하여 제 1 인식 결과를 표시할 수 있다.For example, the
사용자(200)는 제 1 실시간 뇌 신호 데이터를 생성할 때 상상한 움직임과 제 1 인식 결과를 비교할 수 있다. 만약 해당 사용자(200)가 상상한 움직임이 '왼손 움직임'인 경우, 사용자(200)는 인식 결과 중 '왼손 움직임'의 출력 값이 커질 수 있도록 제 2 실시간 뇌 신호 데이터를 다시 생성하여 전달할 수 있다.The
만약, 사용자(200)가 새로 생성한 제 2 실시간 뇌 신호 데이터를 전달하면, 프로세서(140)는 제 2 실시간 뇌 신호 데이터에 대응하는 뇌 신호 분류기(240)의 출력 값을 산출할 수 있다. 이때, '휴식'의 출력 값이 35%이고, '왼손 움직임'의 출력 값이 62%이고, '오른쪽 움직임'의 출력 값이 1%이고, '발 움직임'의 출력 값이 2%일 수 있다. 그러므로 프로세서(140)는 출력 값이 가장 큰 '왼손 움직임'을 해당 사용자(200)의 의도 판단할 수 있다. 프로세서(140)는 각 움직임의 출력 값 및 최종적으로 판단된 의도가 포함되는 제 2 인식 결과를 생성할 수 있다. 그리고 프로세서(140)는 디스플레이 모듈을 통하여 제 2 인식 결과를 표시할 수 있다. 이때, 제 2 인식 결과는 제 1 인식 결과가 포함되도록 생성될 수 있다.If the
사용자(200)는 디스플레이 유닛(120)을 통하여 제 2 인식 결과를 확인할 수 있다. 그리고 사용자(200)는 추가적인 뉴로피드백 훈련을 수행하고자 하는 경우 위 과정을 반복 수행할 수 있다.The
이때, 프로세서(140)는 뇌 신호 분류기(240)의 출력 값 및 판단된 사용자(200)의 의도를 포함하는 인식 결과와 함께 뇌 신호 데이터를 시각화하여 표시할 수 있다. 이때, 시각화된 뇌 신호 데이터는 실시간 뇌 신호 데이터(210) 및 뇌 신호 분류기(240)를 생성할 때 수집된 뇌 신호 데이터가 포함될 수 있으나, 이에 한정된 것은 아니다. At this time, the
이러한 과정을 통하여, 사용자(200)는 뉴로피드백 훈련 상태를 확인할 수 있다. 그리고 사용자(200)는 스스로를 교정하여 뇌-컴퓨터 인터페이스 장치(100)의 정확도를 향상시킬 수 있다. Through this process, the
다음은 도 4를 참조하여 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)에서의 뇌 신호의 분류 방법을 설명한다. Next, a method of classifying brain signals in the brain-
도 4는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)에서의 뇌 신호의 분류 방법의 순서도이다. 4 is a flowchart of a method of classifying brain signals in the brain-
뇌-컴퓨터 인터페이스 장치(100)는 실시간으로 수신되는 뇌 신호 및 뇌 신호 분류기(240)에 기초하여 뇌 신호에 대응하는 사용자(200)의 의도를 판단한다(S500). 이때, 뇌 신호 분류기(240)는 사용자(200)로부터 기수집된 뇌 신호에 기초하여 생성된 것 복수의 분류기를 포함하며, 뇌 신호를 입력으로 통과시켜 사용자(200)의 의도가 복수의 움직임 중 어느 하나인지를 판단한다. The brain-
그리고 뇌-컴퓨터 인터페이스 장치(100)는 각 움직임에 대한 뇌 신호 분류기(240)의 출력 값 및 판단된 사용자(200)의 의도를 디스플레이 모듈에 표시하여 판단된 의도를 사용자(200)에게 전달할 수 있다(S510). The brain-
또는, 뇌-컴퓨터 인터페이스 장치(100)는 판단된 의도를 연결된 뇌-컴퓨터 인터페이스 기반 기기가 수행하도록 뇌-컴퓨터 인터페이스 기반 기기로 전달할 수 있다. Alternatively, the brain-
다음은 도 5를 참조하여 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)에서의 뇌 신호 분류기(240) 생성 방법을 설명한다. Next, a method of generating the
도 5는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스 장치(100)에서의 뇌 신호 분류기(240) 생성 방법의 순서도이다. 5 is a flowchart of a method of generating a
뇌-컴퓨터 인터페이스 장치(100)는 기수집된 뇌 신호에 기초하여 복수의 분류기를 생성한다(S600). 이때, 기수집된 뇌 신호는 사용자(200)에 대한 휴지 상태의 뇌 신호 및 사용자(200)에 대한 활성화 상태의 뇌 신호를 포함한다. 그리고 기수집된 뇌 신호는 사용자(200)에 대한 활성 상태의 뇌 신호는 복수의 움직임에 대응되도록 생성된다. The brain-
뇌-컴퓨터 인터페이스 장치(100)는 복수의 분류기에 기초하여 복수의 분류기 앙상블을 생성한다(S610). 이때, 각 분류기 앙상블은 전체 분류기 중 선택된 복수의 분류기가 포함되도록 생성된다. The brain-
뇌-컴퓨터 인터페이스 장치(100)는 기수집된 뇌 신호에 기초하여 생성된 의사 온라인 환경에 대한 복수의 분류기 앙상블의 정확도를 산출한다(S620).The brain-
그리고 뇌-컴퓨터 인터페이스 장치(100)는 복수의 분류기 앙상블 중 정확도가 가장 큰 분류기 앙상블을 뇌 신호 분류기(240)로 선택한다(S630).Then, the brain-
본 발명의 일 실시예에 따른 뇌 신호 기반 기기의 제어를 위한 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 다중 클래스의 분류를 지원하는 분류기 앙상블을 통하여 사용자(200)가 원하는 3개 이상의 움직임을 감지할 수 있다. 또한, 뇌 신호 기반 기기의 제어를 위한 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 사용자(200)가 뇌-컴퓨터 인터페이스 장치(100)의 정확도를 향상시킬 수 있도록 뉴로피드백 훈련을 제공할 수 있다. 그러므로 뇌 신호 기반 기기의 제어를 위한 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 실생활에서 복수의 명령어를 지원하는 기기에 적합한 뇌-컴퓨터 인터페이스 장치(100)를 제공할 수 있다.The brain-
또한, 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 재활 환자의 뇌 운동 기능 향상 및 마비 환자의 로봇 팔, 휠체어 등에 대한 기기 제어를 지원할 수 있다. 또한, 뇌-컴퓨터 인터페이스 장치(100) 및 방법은 일반인의 증강 현실 및 게임 내의 아바타 제어와 같은 다양한 게임에 적용할 수 있다. In addition, the brain-
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. One embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. The computer-readable medium may also include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.While the methods and systems of the present invention have been described in connection with specific embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
100: 뇌-컴퓨터 인터페이스 장치
110: 뇌 신호 측정 유닛
120: 디스플레이 유닛
130: 메모리
140: 프로세서100: Brain-computer interface device
110: brain signal measuring unit
120: Display unit
130: memory
140: Processor
Claims (14)
뇌 신호 기반 제어 프로그램이 저장된 메모리, 및
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램의 실행에 따라, 실시간으로 수신되는 뇌 신호 데이터 및 뇌 신호 분류기에 기초하여 상기 뇌 신호 데이터에 대응하는 사용자의 의도를 판단하되,
상기 뇌 신호 분류기는,
상기 사용자로부터 기수집된 뇌 신호 데이터에 기초하여 생성된 복수의 분류기를 포함하는 분류기 앙상블이며,
상기 실시간으로 수신되는 뇌 신호 데이터를 입력으로 통과시켜 상기 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단하는 것인, 뇌-컴퓨터 인터페이스 장치.A brain-computer interface device,
A memory in which a brain signal based control program is stored, and
And a processor for executing a program stored in the memory,
Wherein the processor determines a user's intention corresponding to the brain signal data based on brain signal data and a brain signal classifier received in real time in accordance with execution of the program,
Wherein the brain signal classifier comprises:
A classifier ensemble comprising a plurality of classifiers generated based on brain signal data collected from the user,
Wherein the controller determines whether the intention of the user is one of a plurality of motions by passing the brain signal data received in real time through the input.
상기 프로세서는 상기 기수집된 뇌 신호 데이터에 기초하여 복수의 분류기를 생성하고, 상기 복수의 분류기에 기초하여 복수의 분류기 앙상블을 생성하며, 상기 기수집된 뇌 신호 데이터에 기초하여 생성된 의사 온라인 환경에 대한 상기 복수의 분류기 앙상블의 정확도를 산출하고, 상기 산출된 복수의 분류기 앙상블의 정확도에 기초하여 상기 뇌 신호 분류기를 선택하되,
상기 기수집된 뇌 신호 데이터는 각 움직임에 대응하는 복수의 뇌 신호 데이터를 포함하고,
각 분류기 앙상블은 전체 분류기 중 선택된 복수의 분류기가 포함되도록 생성된 것인, 뇌-컴퓨터 인터페이스 장치.The method according to claim 1,
The processor generates a plurality of classifiers based on the collected brain signal data, generates a plurality of classifier ensembles based on the plurality of classifiers, generates a plurality of classifier ensembles based on the collected brain signal data, And the brain signal classifier based on the calculated accuracy of the plurality of classifier ensembles, wherein the accuracy of the plurality of classifier ensembles is determined based on the accuracy of the plurality of classifier ensembles,
Wherein the acquired brain signal data includes a plurality of brain signal data corresponding to each movement,
Wherein each classifier ensemble is generated to include a plurality of classifiers selected from among all classifiers.
상기 기수집된 뇌 신호 데이터는 휴지 상태의 뇌 신호 데이터 및 활성 상태의 뇌 신호 데이터를 포함하고,
상기 활성 상태의 뇌 신호 데이터는 상기 복수의 움직임에 대응되도록 생성된 것인, 뇌-컴퓨터 인터페이스 장치.3. The method of claim 2,
The collected brain signal data includes dormant brain signal data and active brain signal data,
Wherein the active brain signal data is generated to correspond to the plurality of motions.
상기 프로세서는 상기 복수의 분류기 앙상블 중 산출된 정확도가 가장 큰 분류기 앙상블을 상기 뇌 신호 분류기로 선택하는, 뇌-컴퓨터 인터페이스 장치.3. The method of claim 2,
Wherein the processor selects the classifier ensemble having the largest calculated accuracy among the plurality of classifier ensembles as the brain signal classifier.
상기 복수의 분류기는 각각 이진 분류 알고리즘 또는 OVR(one-versus-rest) 분류 알고리즘에 기초하여 생성된 것인, 뇌-컴퓨터 인터페이스 장치.3. The method of claim 2,
Wherein the plurality of classifiers are each generated based on a binary classification algorithm or an OVR (one-versus-rest) classification algorithm.
상기 사용자에 대한 뇌 신호 데이터를 수집하는 뇌 신호 측정 유닛을 더 포함하고,
상기 프로세서는 상기 뇌 신호 측정 유닛으로부터 상기 뇌 신호 데이터를 수신하는 것인, 뇌-컴퓨터 인터페이스 장치.The method of claim 1, wherein
Further comprising a brain signal measurement unit for collecting brain signal data for the user,
Wherein the processor receives the brain signal data from the brain signal measurement unit.
상기 프로세서는 뇌-컴퓨터 인터페이스 기반 기기가 상기 사용자의 의도에 대응하는 기능을 수행하도록 상기 사용자의 의도를 상기 뇌-컴퓨터 인터페이스 기반 기기로 전달하는, 뇌-컴퓨터 인터페이스 장치.The method according to claim 1,
Wherein the processor communicates the intention of the user to the brain-computer interface based device so that the brain-computer interface based device performs a function corresponding to the intention of the user.
디스플레이 유닛을 더 포함하되,
상기 프로세서는 상기 디스플레이 모듈을 통하여 각 움직임에 대한 상기 뇌 신호 분류기의 출력 값 및 상기 사용자의 의도를 표시하여 상기 사용자의 의도를 상기 사용자에게 전달하는, 뇌-컴퓨터 인터페이스 장치.The method according to claim 1,
Further comprising a display unit,
Wherein the processor displays an output value of the brain signal classifier for each movement and an intention of the user through the display module and delivers the intention of the user to the user.
상기 복수의 움직임은 적어도 4개 이상인, 뇌-컴퓨터 인터페이스 장치.The method according to claim 1,
Wherein the plurality of motions are at least four or more.
실시간으로 수신되는 사용자의 뇌 신호 데이터 및 뇌 신호 분류기에 기초하여 상기 뇌 신호 데이터에 대응하는 상기 사용자의 의도를 판단하는 단계를 포함하되,
상기 뇌 신호 분류기는,
상기 사용자로부터 기수집된 뇌 신호 데이터에 기초하여 생성된 복수의 분류기를 포함하는 분류기 앙상블이며,
상기 실시간으로 수신되는 뇌 신호 데이터를 입력으로 통과시켜 상기 사용자의 의도가 복수의 움직임 중 어느 하나인지를 판단하는 것인, 뇌 신호의 분류 방법.A method for classifying brain signals in a brain-computer interface device,
Determining the intention of the user corresponding to the brain signal data based on the brain signal data of the user received in real time and the brain signal classifier,
Wherein the brain signal classifier comprises:
A classifier ensemble comprising a plurality of classifiers generated based on brain signal data collected from the user,
And the brain signal data received in real time is input to determine whether the user's intention is one of a plurality of motions.
상기 사용자의 의도를 판단하는 단계 이후에, 각 움직임에 대한 상기 뇌 신호 분류기의 출력 값 및 상기 사용자의 의도를 디스플레이 모듈에 표시하여 상기 사용자의 의도를 상기 사용자에게 전달하는 단계를 더 포함하는, 뇌 신호의 분류 방법.11. The method of claim 10,
Further comprising the step of displaying the output value of the brain signal classifier for each movement and the user's intention on the display module after the step of determining the intention of the user and transmitting the intention of the user to the user, A method of classifying signals.
상기 사용자의 의도를 판단하는 단계 이후에, 뇌-컴퓨터 인터페이스 기반 기기가 상기 사용자의 의도에 대응하는 기능을 수행하도록 상기 사용자의 의도를 상기 뇌-컴퓨터 인터페이스 기반 기기로 전달하는 단계를 더 포함하는, 뇌 신호의 분류 방법.11. The method of claim 10,
The method of claim 1, further comprising, after determining the intention of the user, forwarding the intention of the user to the brain-computer interface based device so that the brain-computer interface based device performs a function corresponding to the intention of the user. Classification of brain signals.
기수집된 뇌 신호 데이터에 기초하여 복수의 분류기를 생성하는 단계;
상기 생성된 복수의 분류기에 기초하여 복수의 분류기 앙상블을 생성하는 단계;
상기 기수집된 뇌 신호 데이터에 기초하여 생성된 의사 온라인 환경에 대하여 상기 복수의 분류기 앙상블의 정확도를 산출하는 단계; 및
상기 산출된 복수의 분류기 앙상블의 정확도에 기초하여 상기 뇌 신호 분류기를 선택하는 단계를 포함하되,
상기 기수집된 뇌 신호 데이터는 복수의 움직임 각각에 대응하는 복수의 뇌 신호 데이터를 포함하고,
각 분류기 앙상블은 전체 분류기 중 선택된 복수의 분류기가 포함되도록 생성된 것인, 뇌 신호 분류기 생성 방법.A method for generating a brain signal classifier in a brain-computer interface apparatus,
Generating a plurality of classifiers based on the collected brain signal data;
Generating a plurality of classifier ensembles based on the generated plurality of classifiers;
Calculating an accuracy of the plurality of classifier ensembles with respect to a pseudo on-line environment generated based on the collected brain signal data; And
And selecting the brain signal classifier based on the calculated accuracy of the classifier ensemble,
Wherein the acquired brain signal data includes a plurality of brain signal data corresponding to each of a plurality of motions,
Wherein each classifier ensemble is generated to include a plurality of classifiers selected from among all classifiers.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160126945 | 2016-09-30 | ||
KR20160126945 | 2016-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180036503A true KR20180036503A (en) | 2018-04-09 |
KR101970700B1 KR101970700B1 (en) | 2019-04-19 |
Family
ID=61978108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170036206A KR101970700B1 (en) | 2016-09-30 | 2017-03-22 | Apparatus and method of brain-computer interface for device controlling based on brain signal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101970700B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110955330A (en) * | 2019-11-22 | 2020-04-03 | 燕山大学 | Complex object control-based high-arousal-degree electroencephalogram intention distinguishing method |
KR20200049287A (en) * | 2018-10-31 | 2020-05-08 | 울산과학기술원 | Method and device of predicting user's decision |
KR20200075153A (en) * | 2018-12-13 | 2020-06-26 | 성균관대학교산학협력단 | Methods and apparatuses for recognizing user intention based on brain wave |
KR20210021879A (en) * | 2019-08-19 | 2021-03-02 | 금오공과대학교 산학협력단 | The method and apparatus for user intention point detection based on multiple brain signals for brain-computer interface system |
KR20210022944A (en) | 2019-08-21 | 2021-03-04 | 한국과학기술연구원 | Biosignal-based avatar control system and method |
KR20230047772A (en) * | 2021-10-01 | 2023-04-10 | 서울대학교산학협력단 | Apparatus and method for composing music based on brain-computer interface with the theory of music |
CN116400800A (en) * | 2023-03-13 | 2023-07-07 | 中国医学科学院北京协和医院 | ALS patient human-computer interaction system and method based on brain-computer interface and artificial intelligence algorithm |
WO2023182604A1 (en) * | 2022-03-24 | 2023-09-28 | 서울대학교산학협력단 | Bci-based music inference method and device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120059273A1 (en) * | 2010-09-03 | 2012-03-08 | Faculdades Catolicas, a nonprofit association, Maintainer of the Pontificia Universidade Cotolica | Process and device for brain computer interface |
KR101205892B1 (en) | 2010-08-24 | 2012-11-28 | 연세대학교 원주산학협력단 | Method for producing two-dimensional spatiospectral erd/ers patterns from electroencephalogram, method for classifying mental tasks based on the two-dimensional spatiospectral patterns and brain-computer interface system using classified electroencephalogram by the classifying method as input signal |
US20140316230A1 (en) * | 2013-04-22 | 2014-10-23 | Personal Neuro Devices Inc. | Methods and devices for brain activity monitoring supporting mental state development and training |
-
2017
- 2017-03-22 KR KR1020170036206A patent/KR101970700B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101205892B1 (en) | 2010-08-24 | 2012-11-28 | 연세대학교 원주산학협력단 | Method for producing two-dimensional spatiospectral erd/ers patterns from electroencephalogram, method for classifying mental tasks based on the two-dimensional spatiospectral patterns and brain-computer interface system using classified electroencephalogram by the classifying method as input signal |
US20120059273A1 (en) * | 2010-09-03 | 2012-03-08 | Faculdades Catolicas, a nonprofit association, Maintainer of the Pontificia Universidade Cotolica | Process and device for brain computer interface |
US20140316230A1 (en) * | 2013-04-22 | 2014-10-23 | Personal Neuro Devices Inc. | Methods and devices for brain activity monitoring supporting mental state development and training |
Non-Patent Citations (2)
Title |
---|
Ahangi, Amir, et al. "Multiple classifier system for EEG signal classification with application to brain-computer interfaces." Neural Computing and Applications 23.5, 2013.* * |
Lotte, Fabien, et al. "A review of classification algorithms for EEG-based brain-computer interfaces." Journal of neural engineering 4.2, 2007. * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200049287A (en) * | 2018-10-31 | 2020-05-08 | 울산과학기술원 | Method and device of predicting user's decision |
KR20200075153A (en) * | 2018-12-13 | 2020-06-26 | 성균관대학교산학협력단 | Methods and apparatuses for recognizing user intention based on brain wave |
KR20210021879A (en) * | 2019-08-19 | 2021-03-02 | 금오공과대학교 산학협력단 | The method and apparatus for user intention point detection based on multiple brain signals for brain-computer interface system |
KR20210022944A (en) | 2019-08-21 | 2021-03-04 | 한국과학기술연구원 | Biosignal-based avatar control system and method |
US11609632B2 (en) | 2019-08-21 | 2023-03-21 | Korea Institute Of Science And Technology | Biosignal-based avatar control system and method |
CN110955330A (en) * | 2019-11-22 | 2020-04-03 | 燕山大学 | Complex object control-based high-arousal-degree electroencephalogram intention distinguishing method |
KR20230047772A (en) * | 2021-10-01 | 2023-04-10 | 서울대학교산학협력단 | Apparatus and method for composing music based on brain-computer interface with the theory of music |
WO2023182604A1 (en) * | 2022-03-24 | 2023-09-28 | 서울대학교산학협력단 | Bci-based music inference method and device |
CN116400800A (en) * | 2023-03-13 | 2023-07-07 | 中国医学科学院北京协和医院 | ALS patient human-computer interaction system and method based on brain-computer interface and artificial intelligence algorithm |
CN116400800B (en) * | 2023-03-13 | 2024-01-02 | 中国医学科学院北京协和医院 | ALS patient human-computer interaction system and method based on brain-computer interface and artificial intelligence algorithm |
Also Published As
Publication number | Publication date |
---|---|
KR101970700B1 (en) | 2019-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101970700B1 (en) | Apparatus and method of brain-computer interface for device controlling based on brain signal | |
US11627903B2 (en) | Method for diagnosing cognitive disorder, and computer program | |
Lotte et al. | Electroencephalography (EEG)-based brain-computer interfaces | |
US11834052B2 (en) | Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program | |
KR102143900B1 (en) | System for providing subject-independent brain-computer interface and method thereof | |
KR101656739B1 (en) | Method and apparatus for control of wearable gait robot based on eeg | |
US20200074380A1 (en) | Work support device, work support method, and work support program | |
Tavakolan et al. | Classifying three imaginary states of the same upper extremity using time-domain features | |
CN111712192A (en) | Brain-computer interface with adaptation for high speed, accurate and intuitive user interaction | |
JP2009521246A (en) | Detection of mental state and dialogue using it | |
KR101842750B1 (en) | Realtime simulator for brainwaves training and interface device using realtime simulator | |
US10045730B2 (en) | Methods and systems for rapid screening of mild traumatic brain injury | |
SG172262A1 (en) | Device and method for generating a representation of a subject's attention level | |
Vourvopoulos et al. | Robot navigation using brain-computer interfaces | |
WO2007030869A1 (en) | Method and system for detecting and classifying mental states | |
US11210961B2 (en) | Systems and methods for neural pathways creation/reinforcement by neural detection with virtual feedback | |
KR20180028888A (en) | Brain-computer interface apparatus adaptable to use environment and method of operating thereof | |
CN115329818A (en) | Multi-modal fusion attention assessment method, system and storage medium based on VR | |
Ouyang et al. | Electroencephelograph based brain machine interface for controlling a robotic arm | |
Baig et al. | Analyzing novice and expert user’s cognitive load in using a multi-modal interface system | |
KR102282101B1 (en) | Method and system for determining state of object using functional near-infrared spectroscopy | |
KR20180028884A (en) | Device and method for providing common pattern of plurality of brain signal | |
Aspiotis et al. | Active touch classification using EEG signals | |
Abhishek et al. | Stress analysis of a computer game player using electroencephalogram | |
Cecotti et al. | Suboptimal sensor subset evaluation in a p300 brain-computer interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |