KR101939369B1 - Apparatus and method for context recognizable brain-machine interface - Google Patents
Apparatus and method for context recognizable brain-machine interface Download PDFInfo
- Publication number
- KR101939369B1 KR101939369B1 KR1020170057479A KR20170057479A KR101939369B1 KR 101939369 B1 KR101939369 B1 KR 101939369B1 KR 1020170057479 A KR1020170057479 A KR 1020170057479A KR 20170057479 A KR20170057479 A KR 20170057479A KR 101939369 B1 KR101939369 B1 KR 101939369B1
- Authority
- KR
- South Korea
- Prior art keywords
- intention
- eeg signal
- recognition model
- measurement object
- brain
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000005259 measurement Methods 0.000 claims abstract description 44
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims abstract description 11
- 230000004397 blinking Effects 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims description 46
- 210000004556 brain Anatomy 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000638 stimulation Effects 0.000 description 6
- 230000000763 evoking effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A61B5/04012—
-
- A61B5/0476—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- G06F17/2765—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Psychiatry (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 뇌파 신호에 기초하여 측정 대상의 의도를 인지하는 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 그리고, 프로세서는 프로그램을 실행에 따라, 각각 고유의 주파수로 점멸하는 복수의 점멸 시각 자극의 배열 중 연상하는 음절의 모양에 해당하는 점멸 시각 자극의 위치에 주의 집중한 측정 대상의 뇌파 신호를 인식하고, 인식된 뇌파 신호로부터 복수의 특성을 추출하고, 추출된 복수의 특성 및 기생성된 의도 인식 모델에 기초하여 측정 대상의 의도를 검출한다. 이때, 의도는 하나 이상의 음절을 포함하는 단어, 구, 절 및 문장 중 어느 하나이고, 상기 각 음절 별 특성을 시간 순차적으로 배열하는 의도 인식 모델은 기계학습 알고리즘 및 복수의 기정의된 의도와 대응되도록 수집된 순차적 뇌파 신호에 기초하여 생성된 것이다.The present invention includes a processor for executing a program stored in a memory and a memory in which a program for recognizing an intention of an object to be measured based on an EEG signal is stored. Then, the processor recognizes the EEG signal of the measurement subject to be focused on the position of the blinking time stimulus corresponding to the shape of the remained syllable among the arrangement of the plurality of blinking time stimuli that flickers at the respective frequency , Extracts a plurality of characteristics from the recognized EEG signal, and detects the intention of the measurement object based on the extracted plurality of characteristics and the generated intention recognition model. Wherein the intention is any one of words, phrases, clauses, and sentences including one or more syllables, and the intention recognition model, which arranges the characteristics of each syllable in a time sequential manner, corresponds to a machine learning algorithm and a plurality of predefined intentions And are generated based on the collected sequential EEG signals.
Description
본 발명은 문맥 인식형 뇌-기계 인터페이스 장치 및 방법에 관한 것이다.The present invention relates to context-aware brain-mechanical interface devices and methods.
뇌파 신호의 인지적 속성(cognitive property)에 따른 매개 변수들을 분석하여 뇌와 기계 간 인터페이스를 처리하는 기술들이 개발되고 있다. 예를 들어, 이러한 기술에는 뇌-기계 인터페이스(Brain-machine interface; BMI) 또는 뇌-컴퓨터 인터페이스(Brain-Computer interface; BCI)가 있다. 뇌-기계 인터페이스 또는 뇌-컴퓨터 인터페이스는 뇌파 신호를 이용하여 사람의 의도(intention)에 맞게 기계 또는 컴퓨터를 제어할 수 있다.Techniques have been developed to process brain-to-machine interface by analyzing parameters according to cognitive properties of EEG signals. For example, such techniques include a brain-machine interface (BMI) or a brain-computer interface (BCI). A brain-machine interface or a brain-computer interface can control a machine or a computer according to a person's intention using an EEG signal.
일반적으로, 뇌파 신호를 기계와의 인터페이스 제어 신호로 사용할 경우, 제시된 자극에 관련된 뇌파 신호를 반복적으로 측정하여 단위 뇌파 조각들의 평균 뇌파 전위를 산출한다. 이처럼, 제시된 자극이나 사건과 관련되어 평균값에서 누적되어 나타나는 뇌전위를 '사건 관련 전위(ERP: event-related potential)'라고 한다. 이와 같은, 뇌파의 시간축 분석에 의해 얻어진 성분으로는 '정상 상태 시각 유발 전위(Steady State Visual Evoked Potential, SSVEP)'가 있다. SSVEP 성분은 반복적인 시각 자극에 반응하는 뇌파를 이용한 뇌파 신호이다. 예를 들어, 사람이 점멸(flickering) 자극을 보고 있으면 그 자극의 점멸 주파수와 동일한 주파수를 가진 뇌파가 물리적으로 유도된다.Generally, when the EEG signal is used as an interface control signal with the machine, the EEG signal related to the proposed stimulus is repeatedly measured to calculate the average EEG potential of the EEG segments. In this way, the cumulative electroencephalogram (EEG) associated with the presented stimulus or event is called the event-related potential (ERP). The component obtained by the time-axis analysis of EEG is 'Steady State Visual Evoked Potential (SSVEP)'. The SSVEP component is an EEG signal that responds to repetitive visual stimuli. For example, if a person is watching a flickering stimulus, an EEG having the same frequency as the flicker frequency of the stimulus is physically induced.
이와 관련하여, 한국등록특허 공보 제10-1585150호 (발명의 명칭: 뇌 연결성에 기반한 멀티모드 뇌-컴퓨터 인터페이스 시스템) 기술이 개시되어 있다.In this regard, Korean Patent Registration No. 10-1585150 (entitled " Multimode Brain-Computer Interface System Based on Brain Connectivity) " is disclosed.
본 발명의 일 실시예는, 뇌와 기계 간의 인터페이스에 기초하여 측정 대상의 의도를 인식할 수 있는 문맥 인식 기반의 뇌-기계 인터페이스 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is to provide a context-aware brain-machine interface apparatus and method capable of recognizing an intent of a measurement object based on an interface between a brain and a machine.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 문맥 인식형 뇌-기계 인터페이스 장치는, 측정 대상의 뇌파 신호에 기초하여 상기 측정 대상의 의도를 인지하는 프로그램이 저장된 메모리, 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행에 따라, 상기 측정 대상의 뇌파 신호를 인식하고, 상기 인식된 뇌파 신호로부터 기설정된 복수의 특성을 추출하고, 상기 추출된 복수의 특성 및 기생성된 의도 인식 모델에 기초하여 상기 측정 대상의 의도를 검출한다. 또한, 상기 의도는 하나 이상의 음절을 포함하는 단어, 구, 절 및 문장 중 어느 하나이고, 상기 의도 인식 모델은 기설정된 기계학습 알고리즘 및 라벨링된 복수의 의도 별로 대응되도록 수집된 뇌파 신호에 기초하여 생성된 것이다. According to an aspect of the present invention, there is provided a context-aware brain-mechanical interface device including a memory for storing a program for recognizing an intention of a measurement object based on an EEG signal of a measurement object, And a processor for executing the program stored in the memory. At this time, the processor recognizes the EEG signal of the measurement subject by executing the program, extracts a plurality of predetermined characteristics from the recognized EEG signal, and outputs the extracted plurality of characteristics and the generated intention recognition model The intention of the measurement object is detected. Also, the intention may be one of words, phrases, clauses, and sentences including one or more syllables, and the intention recognition model may be generated based on a brain wave signal collected to correspond to a predetermined machine learning algorithm and a plurality of labeled intents .
또한, 본 발명의 제 2 측면에 따른 뇌-기계 인터페이스 장치에서의 문맥 인식 방법은, 측정 대상의 뇌파 신호를 인식하는 단계; 상기 인식된 뇌파 신호로부터 기설정된 복수의 특성을 추출하는 단계; 및 상기 추출된 복수의 특성 및 기생성된 의도 인식 모델에 기초하여 상기 측정 대상의 의도를 검출하는 단계를 포함한다. 이때, 상기 의도는 하나 이상의 음절을 포함하는 단어, 구, 절 및 문장 중 어느 하나이고, 상기 의도 인식 모델은 기설정된 기계학습 알고리즘 및 라벨링된 복수의 의도 별로 대응되도록 수집된 뇌파 신호에 기초하여 생성된 것이다.According to a second aspect of the present invention, there is provided a method of recognizing a context in a brain-mechanical interface device, comprising: recognizing an EEG signal to be measured; Extracting a plurality of predetermined characteristics from the recognized EEG signal; And detecting the intention of the measurement object based on the extracted plurality of characteristics and the generated intention recognition model. Here, the intention may be one of words, phrases, clauses, and sentences including one or more syllables, and the intention recognition model may be generated based on an EEG signal collected so as to correspond to a predetermined machine learning algorithm and a plurality of labeled intents .
본 발명은 딥러닝 등의 기계학습 알고리즘에 기초하여, 측정 대상의 뇌파 신호로부터 해당 측정 대상이 연상한 하나 이상의 음절을 포함하는 단어, 구, 절 및 문장 등을 포함하는 문맥에 기반하여 측정 대상의 의도를 검출 및 판단할 수 있다.The present invention is based on a machine learning algorithm such as a deep learning, and based on a context including words, phrases, phrases and sentences including one or more syllables reminiscent of a subject to be measured from an EEG signal to be measured, The intention can be detected and judged.
도 1은 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 시각 자극에 대한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 의도 인식 모델에 대응하는 토폴로지의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치에서의 문맥 인식 방법의 순서도이다.1 is a block diagram of a brain-mechanical interface system in accordance with an embodiment of the present invention.
2 is an exemplary diagram of visual stimulation according to an embodiment of the present invention.
3 is an exemplary diagram of a topology corresponding to an intention recognition model according to an embodiment of the present invention.
4 is a flowchart of a context recognition method in a brain-mechanical interface apparatus according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when a part is referred to as "including " an element, it does not exclude other elements unless specifically stated otherwise.
이하, 도면을 참조하여 본 발명의 일 실시예에 따른 문맥 인식형 뇌-기계 인터페이스 장치 및 그 방법을 설명한다. Hereinafter, a context-aware brain-machine interface apparatus and method according to an embodiment of the present invention will be described with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 시스템(100)의 블록도이다. 1 is a block diagram of a brain-
뇌-기계 인터페이스 시스템(100)은, 뇌파 측정기(150)를 통하여 수집된 측정 대상의 뇌파 신호에 기초하여, 문맥 인식형 뇌-기계 인터페이스 장치(110)를 통해 해당 측정 대상의 의도를 판단할 수 있다. 이때, 뇌-기계 인터페이스 장치(110)는 측정 대상의 뇌파 신호를 측정하기 위한 뇌파 측정기(150)를 내장하거나, 외부에 배치된 뇌파 측정기(150)와 연결될 수 있다.The brain-
뇌파 측정기(150)는 측정 대상의 머리 상의 복수의 영역(예: 전두엽 위치)으로부터 뇌파 신호를 측정할 수 있다. 그리고 뇌파 측정기(150)는 측정된 뇌파 신호를 뇌-기계 인터페이스 장치(110)로 전달한다.The
뇌-기계 인터페이스 장치(110)는 디스플레이 모듈(120), 메모리(130) 및 프로세서(140)를 포함한다.The brain-
디스플레이 모듈(120)은 각각 설정된 주파수로 점멸(flickering)하는 복수의 시각 자극이 포함된 자극 배열을 디스플레이 한다. 이때, 각 시각 자극은 서로 상이한 주파수로 점멸하며, 측정 대상의 뇌파 신호 중 정상 상태 시각 유발 전위(SSVEP)를 유도한다. 측정 대상이 이러한 시각 자극을 주시할 경우, 측정 대상의 의도(예: 문자 또는 문장 등)에 대응하는 주의 집중 지역(즉, 주시 영역)에 해당하는 점멸 시각 자극의 주파수 속성을 포함하는 뇌파 신호(즉, SSVEP)가 유도된다.The
디스플레이 모듈(120)은 복수의 색상이 특정 시간마다 교번되도록 설정된 시각 자극을 출력할 수 있다. 이를 통해, 측정 대상으로부터 측정된 뇌파 신호에 포함된 어절(즉, 단어 및 문장 등) 상의 연속된 음절을 시간 순차적으로 인식할 수 있다. 이때, 디스플레이 모듈(120)은 기설정된 시간 단위(예: 1초 단위)로 시각 자극들 전체의 색을 변경하여 표시할 수 있다. 예를 들어, 제 1 및 제 2 색의 시각 자극을 교번하여 출력할 경우 제 1 색은 흰색이며 제 2 색은 노란색이 될 수 있으며, 이러한 시각 자극의 색상의 종류 및 개수는 이에 한정된 것은 아니다. 이를 통해, 측정 대상자는 의도를 음절 단위로 연상할 수 있도록 기설정된 시간 단위를 인지할 수 있어, 자신의 의도에 포함된 음절을 각각 단위 시간 동안 생각하며 시각 자극 상의 해당 위치를 주의 집중할 수 있다.The
도 2는 본 발명의 일 실시예에 따른 시각 자극에 대한 예시도이다. 2 is an exemplary diagram of visual stimulation according to an embodiment of the present invention.
도 2를 참조하면, 디스플레이 모듈(120)은 예를 들어, 5 x 5로 시각 자극을 배열하여 표시할 수 있다. 이러한 디스플레이 모듈(120)이 표시하는 시각 자극의 개수 및 배열의 형태는 도 2에 한정되지 않으며, 다양한 글자 모양에 대응하도록 구현될 수 있다. 예를 들어, 정확한 의도 판단을 위하여 배열 상의 시각 자극의 개수 및 배열 크기 등은 더 증대될 수 있다.Referring to FIG. 2, the
각 시각 자극은 미리 정해진 주파수에 따라 서로 상이한 주파수로 점멸할 수 있다. 예를 들어, 도 2에서 f1의 주파수는 5Hz, f2의 주파수는 6Hz, f3의 주파수는 7Hz 등으로 설정될 수 있으며, 이처럼 총 25개의 서로 상이한 주파수가 시각 자극으로 제공될 수 있다. 이러한 시각 자극 별 주파수는 주파수 상호 간에 공진 주파수는 제외되도록 설정할 수 있다.Each visual stimulus may blink at a different frequency according to a predetermined frequency. For example, in Fig. 2, the frequency of f1 may be set to 5 Hz, the frequency of f2 to 6 Hz, the frequency of f3 to 7 Hz, and so on, a total of 25 different frequencies may be provided as visual stimuli. The frequency of each visual stimulus can be set so that the resonance frequency is excluded from each other.
메모리(130)는 측정 대상으로부터 측정된 뇌파 신호에 기초하여 측정 대상의 의도를 인지하는 프로그램이 저장된다. 이때, 프로그램은 기계학습을 통해 문맥 인식이 가능한 의도 인식 모델에 기반하여 측정 대상의 의도를 인지하는 알고리즘이 포함될 수 있다.The
프로세서(140)는 메모리(130)에 저장된 프로그램을 실행한다.The
이때, 프로세서(140)는 프로그램의 실행에 따라, 디스플레이 모듈(120)을 통해 측정 대상의 복수의 의도에 따른 뇌파 신호를 유도하는 시각 자극을 표시한다. 이때, 측정 대상의 의도는 하나 이상의 음절을 포함하는 단어, 구, 절 및 문장 등일 수 있다. 예를 들어, 의도는 "안녕하세요", "사랑합니다", "감사합니다", "행복합니다" 및 "시원합니다" 등과 같이 소정의 의미를 갖는 텍스트가 될 수 있다. 또한, 의도는 "KBS1", "KBS2", "MBC" 및 "SBS" 등의 TV 채널과 같은 제어 명령에 대응하는 정보가 될 수 있으나, 이에 한정된 것은 아니다.At this time, the
그리고 프로세서(140)는 측정 대상의 의도에 포함된 각 음절의 글자 모양에 해당하는 시각 자극에 의해 유도된 뇌파 신호를 순차적으로 수집한다. 즉, 수집된 뇌파 신호는, 전체 시각 자극 중에서 해당 글자 모양에 따른 위치의 시각 자극의 주파수들이 유발하는 '정상 상태 시각 유발 전위(SSVEP)'의 조합이다. 이러한, 뇌파 신호로부터 추출되는 특성은 각 시각 자극에 대응하는 주파수에 대한 파워 스펙트럼(power spectrum) 값일 수 있으나, 이에 한정된 것은 아니다. 참고로 파워 스펙트럼 값은 FFT(fast Fourier transform) 값일 수 있다.The
구체적으로, 프로세서(140)는 디스플레이 모듈(120)을 통해 각각 설정된 주파수로 점멸하는 시각 자극들이 표시되도록 제어한다. 이때, 프로세서(140)는 기설정된 시간 단위(즉, 측정 대상이 하나의 음절을 연상하도록 설정된 단위 시간)에 기초하여 디스플레이 모듈(120)을 통한 시각 자극의 출력을 제어할 수 있다. 그리고 프로세서(140)는 뇌파 측정기(150)를 통해 측정된, 디스플레이 모듈(120)을 통해 표시된 시각 자극을 주시하는 측정 대상의 뇌파 신호를 수신한다.Specifically, the
이때, 측정 대상은 디스플레이 모듈(120)을 통해 표시된 시각 자극을 주시하며 자신의 의도에 포함된 음절을 순차적으로 각각 기설정된 시간 단위 동안 연상한다. 즉, 도 2를 참조할 경우, 사용자의 의도와는 무관하게 각 시각 자극이 25개 주파수로 점멸하는 상태에서, 사용자가 "가"라는 의도에 따른 음절을 기설정된 단위 시간 동안 생각하면서 25개 시각 자극 중 해당 음절의 모양에 따른 위치에 주의 집중(attention)할 수 있다. 이와 동시에 측정된 사용자의 뇌파에는 해당 의도에 따른 시각 자극의 주파수 속성이 내포된다. 즉, 측정된 뇌파 신호에는 f1, f2, f3, f8, f13, f17, f21, f4, f9, f14, f19, f24, f15에 대응하는 주파수 속성이 내포될 수 있다. 참고로, 도 2에서는 설명의 편의상 측정 대상이 주의 집중하고 있는 시각 자극의 위치를 설명하기 위해 f1, f2, f3, f8, f13, f17, f21, f4, f9, f14, f19, f24, f15에 대응하는 시각 자극을 별도 표시한 것일 뿐이며, 이들 일부 시각 자극이 전체 시각 자극들 중에서 별개로 구분되도록 점멸되는 것을 의미하는 것은 아니다. 또한, 뇌파 신호에 포함된 의도 별 특성의 종류는 주파수 속성에 한정되지 않는다.At this time, the measurement subject looks at the visual stimuli displayed through the
프로세서(140)는, 측정 대상이 복수의 음절을 포함하는 단어, 구, 절 또는 문장 등을 의도할 경우 음절 단위로 시각 자극을 응시 집중하게 하기 위하여, 음절 단위로 주의 집중을 줄 수 있는 단위 시간(예: 1초/음절)를 설정하여 기설정된 출력 장치(미도시)를 통해 알림 처리할 수 있다. 즉, 프로세서(140)는 디스플레이 모듈(120)을 통해 복수의 시각 자극이 둘 이상의 상이한 색상이 단위 시간마다 교번하도록 표시할 수 있다. 또한, 프로세서(140)는 별도의 출력 장치(스피커 등)을 통해 단위 시간의 경과 시점을 알릴 수 있으며, 단위 시간 경과 알림 방식은 이에 한정되지 않는다.When the measurement object is intended to be a word, a phrase, a section or a sentence including a plurality of syllables, the
프로세서(140)는 하나의 의도에 대하여 복수의 뇌파 신호를 수집할 수 있다. 이때, 프로세서(140)는 수집된 복수의 뇌파 신호 중 일부를 학습 데이터(training data)로 생성하고, 다른 일부를 테스트 데이터(testing data)로 생성할 수 있다. 구체적으로, 프로세서(140)는 학습 데이터를 기설정된 기계학습을 통해 학습하여 의도 인식 모델을 모델링하며, 이러한 선행 기계학습을 통해 의도 인식 모델이 수립된 이후 실시간으로 수집된 뇌파 신호는 테스트 데이터로 사용하여 측정 대상의 의도를 파악(decoding)할 수 있다.
구체적으로, 프로세서(140)는 라벨링된 측정 대상의 의도(예, 순차적으로 인식되는 음절이 이루는 단어 및 이 단어가 순차적으로 인식되는 문장 등)에 대응하는 뇌파 신호가 수집되면, 수집된 뇌파 신호 및 딥러닝(deep learning)과 같은 기계학습(machine learning) 알고리즘에 기초하여 의도 인식 모델을 생성할 수 있다. 이때, 프로세서(140)는 수집된 뇌파 신호로부터 기설정된 특성(feature)을 추출하고, 추출된 특성을 기계학습을 위한 학습 데이터로서 사용할 수 있다. 프로세서(140)는 특징 추출(feature extraction) 기법에 기초하여 수집된 뇌파 신호 중 일부를 선택할 수 있으나, 이에 한정된 것은 아니다.Specifically, when the brain wave signal corresponding to the intention of the labeled measurement object (e.g., a word formed by sequentially recognized syllables and a sentence in which the words are sequentially recognized, etc.) is collected, An intention recognition model can be generated based on a machine learning algorithm such as deep learning. At this time, the
도 3은 본 발명의 일 실시예에 따른 의도 인식 모델에 대응하는 토폴로지의 예시도이다. 3 is an exemplary diagram of a topology corresponding to an intention recognition model according to an embodiment of the present invention.
프로세서(140)는 라벨링된 복수의 의도 및 측정 대상의 뇌파 신호로부터 추출된 특성에 기초하여 의도 인식 모델에 대응하는 토폴로지를 생성할 수 있다. 이때, 프로세서(140)는 뇌파의 특징이 의도 인식 모델의 입력층(input layer)에 대응되고, 복수의 의도가 출력층(output layer)에 대응되도록 토폴로지를 생성할 수 있다. 그리고 프로세서(140)는 복수의 은닉층이 포함되도록 토폴로지를 생성할 수 있다.The
프로세서(140)는 생성된 의도 인식 모델에 대응하는 토폴로지 및 학습 데이터에 기초하여 의도 인식 모델을 기계학습한다.The
이때, 프로세서(140)는 딥러닝 기반 기계학습 알고리즘(예를 들어, LSTM(long short-term memory) RNN(recurrent neural network)에 기초하여 의도 인식 모델을 생성할 수 있다. 참고로, LSTM은 시간적으로 지나간 데이터에 대한 약한 비중을 고려할 수 있는 방법으로 연속성이 존재하는 데이터에 적합하며, RNN은 신호에 시간적인 의존성이 있는 데이터에 적합한 방법이다. 즉, LSTM RNN은 순차적으로 생성되는 뇌파 신호를 처리하는 뇌와 기계 간의 인터페이스에 적합한 방법이다. 추가 실시예로, 프로세서(140)는 집중 메커니즘(attention mechanism), 강화학습(reinforcement learning) 및 외부 메모리 네트워크(external memory network) 방법 중 어느 하나에 기초하여 의도 인식 모델을 생성할 수 있으나, 이에 한정된 것은 아니다.At this time, the
또한, 프로세서(140)는 의도 인식 모델의 학습이 완료되면, 테스트 데이터를 통하여 의도 인식 모델을 평가할 수 있다. Further, when the learning of the intention recognition model is completed, the
한편, 프로세서(140)는 의도 인식 모델의 생성이 완료되면, 해당 의도 인식 모델을 통하여 측정 대상의 뇌파 신호로부터 측정 대상자의 의도를 인식 및 판단한다.Meanwhile, when the generation of the intention recognition model is completed, the
구체적으로, 프로세서(140)는 뇌파 측정기(150)를 통하여 측정 대상으로부터 뇌파 신호를 인식한다.Specifically, the
그리고 프로세서(140)는 인식된 뇌파 신호로부터 기설정된 복수의 특성을 추출한다. 이때, 추출되는 특성은 의도 인식 모델을 생성하기 위하여 추출된 특성과 동일한 종류의 특성일 수 있다.The
또한, 프로세서(140)는 추출된 복수의 특징을 학습된 의도 인식 모델에 통과시켜 측정 대상의 의도를 검출한다. 이때, 인식된 뇌파 신호로부터 추출된 복수의 특성은, 단위 시간에 기초하여 음절 단위로 시간 순차적으로 배열될 수 있다.In addition, the
다음은 도 4를 참조하여, 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(110)에서의 문맥 인식 방법을 설명한다.Next, a context recognition method in the brain-
도 4는 본 발명의 일 실시예에 따른 뇌-기계 인터페이스 장치(110)에서의 문맥 인식 방법의 순서도이다.4 is a flowchart of a context recognition method in a brain-
뇌-기계 인터페이스 장치(110)가 디스플레이 모듈(120)을 통해 측정 대상의 뇌파(즉, SSVEP)를 유도하는 시각 자극을 표시한 상태에서(S400), 측정 대상은 의도에 따른 하나 이상의 음절 별로 미리 정의된 시간(즉, 기설정된 단위 시간) 동안 글자 모양에 위치적으로 대응하는 점멸 시각 자극에 주의 집중한다.In a state in which the brain-
이러한 상태에서, 뇌-기계 인터페이스 장치(110)는 측정 대상의 뇌파 신호를 인식한다(S410).In this state, the brain-
이때, 뇌-기계 인터페이스 장치(110)는 측정 대상의 의도에 따른 음절의 모양에 해당하는 뇌파 신호(즉, 시각 자극 중 측정 대상에 의해 주의 집중된 위치의 점멸 주파수가 유발하는 SSVEP의 조합이 내포된 뇌파 신호)를 인식할 수 있다.At this time, the brain-
그런 다음, 뇌-기계 인터페이스 장치(110)는 인식된 뇌파 신호로부터 기설정된 복수의 특성을 추출한다(S420).Then, the brain-
이때, 뇌-기계 인터페이스 장치(110)는 인식된 뇌파 신호 상에 내포된 각 음절에 대한 특성들을 순차적으로 추출하여 배열할 수 있다. 또한, 기설정된 특성으로서 주파수 성분을 추출할 수 있다.At this time, the brain-
다음으로, 뇌-기계 인터페이스 장치(110)는 인식된 뇌파 신호로부터 추출된 복수의 특성 및 기생성된 의도 인식 모델에 기초하여 측정 대상의 의도를 검출한다(S430).Next, the brain-
이때, 의도는 하나 이상의 음절을 포함하는 단어, 구, 절 및 문장 중 어느 하나일 수 있다. 그리고 의도 인식 모델은, 딥러닝 기반의 기계학습 알고리즘 및 라벨링된 복수의 의도에 대응하여 수집된 뇌파 신호에 기초하여 생성된 것일 수 있다. 즉, 뇌-기계 인터페이스 장치(110)는 측정 대상으로부터 기정의된 의도 별로 대응하는 복수의 뇌파 신호를 수집하고, 수집된 뇌파 신호 및 딥러닝 기반 기계학습 알고리즘에 기초하여 의도 인식 모델을 생성할 수 있다.At this time, the intention may be any one of words, phrases, clauses, and sentences including one or more syllables. And the intention recognition model may be generated based on a deep learning based machine learning algorithm and an EEG signal collected corresponding to a plurality of labeled intents. That is, the brain-
이처럼, 본 발명의 일 실시예에 따른 문맥 인식 기반의 뇌-기계 인터페이스 장치(110) 및 방법은, 기계학습(예, 딥러닝) 알고리즘에 기초하여 측정 대상의 뇌파 신호로부터 해당 측정 대상이 연상한 하나 이상의 음절로 구성된 단어, 구, 절 또는 문장 등을 포함하는 의도를 판단할 수 있다.As described above, the context-aware brain-
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. One embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. The computer-readable medium may also include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.While the methods and systems of the present invention have been described in connection with specific embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
100: 뇌-기계 인터페이스 시스템
110: 뇌-기계 인터페이스 장치
120: 디스플레이 모듈
130: 메모리
140: 프로세서
150: 뇌파 측정기100: Brain-machine interface system
110: Brain-machine interface device
120: Display module
130: memory
140: Processor
150: Electroencephalograph
Claims (10)
디스플레이 모듈;
측정 대상의 뇌파 신호에 기초하여 상기 측정 대상의 의도를 인지하는 프로그램이 저장된 메모리, 및
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행에 따라, 상기 측정 대상의 뇌파 신호를 인식하고, 상기 인식된 뇌파 신호로부터 기설정된 복수의 특성을 추출하고, 상기 추출된 복수의 특성 및 기생성된 의도 인식 모델에 기초하여 상기 측정 대상의 의도를 검출하되,
각각 고유의 주파수로 점멸하는 복수의 시각 자극들을 포함하는 배열을 상기 디스플레이 모듈을 통해 표시하고, 상기 복수의 시각 자극들 중 상기 의도에 포함된 하나 이상의 음절의 모양에 대응하는 시각 자극의 위치를 상기 음절 별로 기설정된 단위 시간 동안 주의 집중한 상기 측정 대상의 뇌파 신호를 인식하고, 상기 인식한 뇌파 신호를 음절 단위로 상기 특성을 추출하고, 상기 각 음절 별 특성을 시간 순차적으로 배열하여 상기 의도 인식 모델에 기초하여 상기 의도를 검출하며,
상기 의도는 하나 이상의 음절을 포함하는 단어, 구, 절 및 문장 중 어느 하나이고,
상기 의도 인식 모델은 기설정된 기계학습 알고리즘 및 라벨링된 복수의 의도 별로 대응되도록 수집된 뇌파 신호에 기초하여 생성된 것인, 뇌-기계 인터페이스 장치.
A context-aware brain-mechanical interface device,
A display module;
A memory for storing a program for recognizing an intention of the measurement object based on an EEG signal of a measurement object;
And a processor for executing a program stored in the memory,
Wherein the processor is configured to recognize the EEG signal of the measurement subject by executing the program, to extract a plurality of predetermined characteristics from the recognized EEG signal, and to generate the EEG signal based on the extracted plurality of characteristics and the pre- Detecting an intention of the measurement object,
Wherein the display module displays an array including a plurality of visual stimuli that blink at respective unique frequencies through the display module and displays a position of a visual stimulus corresponding to a shape of one or more syllables included in the intention of the plurality of visual stimuli Recognizing the EEG signal of the measurement subject that has been conscious for a predetermined unit time for each syllable, extracting the characteristics of the EEG signal in units of syllables, arranging the characteristics of each syllable in time sequence, Detecting the intention based on the received intention,
The intention is any one of words, phrases, phrases and sentences including one or more syllables,
Wherein the intention recognition model is generated based on a predetermined machine learning algorithm and an EEG signal collected so as to correspond to each of a plurality of labeled intentions.
상기 프로세서는,
상기 측정 대상으로부터 복수의 기정의된 의도에 각각 대응하는 뇌파 신호를 수집하고,
상기 수집된 뇌파 신호 및 딥러닝에 기반한 기계학습 알고리즘에 기초하여 상기 의도 인식 모델을 생성하는, 뇌-기계 인터페이스 장치.
The method according to claim 1,
The processor comprising:
Collecting an EEG signal corresponding to a plurality of predetermined intentions from the measurement object,
And generates the intention recognition model based on the collected EEG signal and a machine learning algorithm based on deep learning.
상기 복수의 시각 자극들은 각각 상이한 주파수로 점멸되되, 서로 상이한 둘 이상의 색상으로 상기 단위 시간마다 교번하여 점멸되는 것인, 뇌-기계 인터페이스 장치.
The method according to claim 1,
Wherein the plurality of visual stimuli are flickered at different frequencies, and are alternately blinking in units of two or more colors different from each other.
상기 프로세서는,
상기 복수의 기정의된 의도에 각각 대응하는 뇌파 신호로부터 상기 기설정된 복수의 특성을 추출하고,
상기 추출된 특성에 대응하는 입력층 및 상기 복수의 기정의된 의도에 대응하는 출력층이 포함되도록 상기 의도 인식 모델에 대응하는 토폴로지를 생성하고,
상기 추출된 특성 및 상기 의도 인식 모델에 대응하는 토폴로지에 기초하여 상기 의도 인식 모델을 학습하는, 뇌-기계 인터페이스 장치.
3. The method of claim 2,
The processor comprising:
Extracting the predetermined plurality of characteristics from the EEG signals corresponding to the plurality of predefined intentions,
Generating a topology corresponding to the intention recognition model such that an input layer corresponding to the extracted characteristics and an output layer corresponding to the plurality of predetermined intentions are included,
And learns the intention recognition model based on the extracted characteristics and a topology corresponding to the intention recognition model.
상기 딥러닝 기반 기계학습 알고리즘은 LSTM(long short-term memory) RNN(recurrent neural network)에 기초한 것인, 뇌-기계 인터페이스 장치.
3. The method of claim 2,
Wherein the deep learning-based machine learning algorithm is based on a long short-term memory (LSTM) recurrent neural network (RNN).
측정 대상의 머리에 기설정된 복수의 영역으로부터 뇌파 신호를 측정하는 뇌파 측정기를 더 포함하고,
상기 프로세서는 상기 뇌파 측정기를 통하여 수집된 상기 측정 대상의 뇌파 신호를 수신하여 인식하는 것인, 뇌-기계 인터페이스 장치.
The method according to claim 1,
Further comprising an electroencephalogram measurer for measuring an electroencephalogram signal from a plurality of regions preset in the head of the measurement subject,
Wherein the processor receives and recognizes the brain wave signal of the measurement object collected through the brain wave measuring device.
각각 고유의 주파수로 점멸하는 복수의 시각 자극들을 포함하는 배열을 디스플레이 모듈을 통해 표시하는 단계;
측정 대상의 뇌파 신호를 인식하되, 상기 복수의 시각 자극들 중 하나 이상의 음절의 모양에 대응하는 시각 자극의 위치를 상기 음절 별로 기설정된 단위 시간 동안 주의 집중한 상기 측정 대상의 뇌파 신호를 인식하는 단계;
상기 인식된 뇌파 신호로부터 기설정된 복수의 특성을 추출하는 단계; 및
상기 추출된 복수의 특성 및 기생성된 의도 인식 모델에 기초하여 상기 측정 대상의 의도를 검출하는 단계를 포함하되,
상기 측정 대상의 의도를 검출하는 단계는, 상기 인식한 뇌파 신호를 음절 단위로 상기 특성을 추출하고, 상기 각 음절 별 특성을 시간 순차적으로 배열하여 상기 의도 인식 모델에 기초하여 상기 의도를 검출하며,
상기 의도는 상기 하나 이상의 음절을 포함하는 단어, 구, 절 및 문장 중 어느 하나이고,
상기 의도 인식 모델은 기설정된 기계학습 알고리즘 및 라벨링된 복수의 의도 별로 대응되도록 수집된 뇌파 신호에 기초하여 생성된 것인, 문맥 인식형 뇌-기계 인터페이스 장치의 문맥 인식 방법.
A context-aware method of a context-aware brain-mechanical interface device,
Displaying through the display module an array comprising a plurality of visual stimuli that each flash at a unique frequency;
Recognizing an EEG signal of a subject to be measured and recognizing an EEG signal of the subject to be measured in which the position of a visual stimulus corresponding to the shape of one or more syllables of the plurality of visual stimuli is attention- ;
Extracting a plurality of predetermined characteristics from the recognized EEG signal; And
Detecting an intention of the measurement object based on the extracted plurality of characteristics and the generated intention recognition model,
Wherein the step of detecting the intention of the measurement object comprises the steps of extracting the characteristics of the recognized EEG signal in units of syllables and arranging the characteristics of each syllable in time sequence to detect the intention based on the intention recognition model,
Wherein the intention is one of words, phrases, paragraphs and sentences including the one or more syllables,
Wherein the intention recognition model is generated based on a predetermined machine learning algorithm and an EEG signal collected so as to correspond to each of a plurality of labeled intentions.
상기 측정 대상의 의도를 검출하는 단계 이전에,
상기 측정 대상으로부터 복수의 기정의된 의도에 각각 대응하는 뇌파 신호를 수집하는 단계; 및
상기 수집된 뇌파 신호 및 딥러닝에 기반한 기계학습 알고리즘에 기초하여 상기 의도 인식 모델을 생성하는 단계를 더 포함하는, 문맥 인식형 뇌-기계 인터페이스 장치의 문맥 인식 방법.
8. The method of claim 7,
Before the step of detecting the intention of the measurement object,
Collecting an EEG signal corresponding to a plurality of predetermined intentions from the measurement object; And
Further comprising generating the intention recognition model based on the collected EEG signal and a machine learning algorithm based on deep learning.
상기 복수의 시각 자극들은 각각 상이한 주파수로 점멸되되, 서로 상이한 둘 이상의 색상으로 상기 단위 시간마다 교번하여 점멸되는 것인, 문맥 인식형 뇌-기계 인터페이스 장치의 문맥 인식 방법.
8. The method of claim 7,
Wherein the plurality of visual stimuli are flickered at different frequencies and are alternately blinked in units of two or more colors different from each other.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170057479A KR101939369B1 (en) | 2017-05-08 | 2017-05-08 | Apparatus and method for context recognizable brain-machine interface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170057479A KR101939369B1 (en) | 2017-05-08 | 2017-05-08 | Apparatus and method for context recognizable brain-machine interface |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180123365A KR20180123365A (en) | 2018-11-16 |
KR101939369B1 true KR101939369B1 (en) | 2019-01-16 |
Family
ID=64565165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170057479A KR101939369B1 (en) | 2017-05-08 | 2017-05-08 | Apparatus and method for context recognizable brain-machine interface |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101939369B1 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102257371B1 (en) * | 2018-11-07 | 2021-05-31 | 고려대학교 산학협력단 | Brain-computer interface system and method for decoding user’s conversation intention using the same |
KR102476675B1 (en) * | 2020-02-13 | 2022-12-13 | 고려대학교 산학협력단 | Method and server for smart home control based on interactive brain-computer interface |
KR102557024B1 (en) * | 2020-10-22 | 2023-07-17 | 조선대학교산학협력단 | Device and Method for Multi-functional Brain Computer Interface(BCI) |
KR102610810B1 (en) * | 2021-11-30 | 2023-12-13 | 주식회사 포엔 | An artificial intelligence system decoding the user's thoughts |
CN115277665B (en) * | 2022-08-08 | 2024-06-11 | 北京视友科技有限责任公司 | Brain-computer interface system based on Internet |
CN116360602B (en) * | 2023-05-16 | 2023-08-18 | 中国第一汽车股份有限公司 | Brain-computer interface function improvement and test method, device, equipment and medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101431203B1 (en) | 2013-04-16 | 2014-08-18 | 고려대학교 산학협력단 | Brain-machine interface apparatus and method for recognizing human intention using brain wave |
KR101724939B1 (en) * | 2015-10-28 | 2017-04-07 | 한양대학교 산학협력단 | System and method for predicting intention of user using brain wave |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170013092A (en) * | 2015-07-27 | 2017-02-06 | 고려대학교 산학협력단 | Eeg-based brain-machine interface apparatus and method for recognizing human intention using line stimuli on the display |
-
2017
- 2017-05-08 KR KR1020170057479A patent/KR101939369B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101431203B1 (en) | 2013-04-16 | 2014-08-18 | 고려대학교 산학협력단 | Brain-machine interface apparatus and method for recognizing human intention using brain wave |
KR101724939B1 (en) * | 2015-10-28 | 2017-04-07 | 한양대학교 산학협력단 | System and method for predicting intention of user using brain wave |
Also Published As
Publication number | Publication date |
---|---|
KR20180123365A (en) | 2018-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101939369B1 (en) | Apparatus and method for context recognizable brain-machine interface | |
US12042288B2 (en) | Systems and methods for assessing and improving sustained attention | |
Hirshfield et al. | Brain measurement for usability testing and adaptive interfaces: an example of uncovering syntactic workload with functional near infrared spectroscopy | |
KR101247748B1 (en) | Apparatus for analysing focus and nonfocus states and method therof | |
Pollreisz et al. | A simple algorithm for emotion recognition, using physiological signals of a smart watch | |
US20170150907A1 (en) | Method and system for quantitative assessment of visual motor response | |
EP2094159B1 (en) | System and method for detecting a specific cognitive-emotional state in a subject | |
US20130096397A1 (en) | Sensitivity evaluation system, sensitivity evaluation method, and program | |
US20160103487A1 (en) | Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals | |
US20120100514A1 (en) | Method and system for training of perceptual skills using neurofeedback | |
Gunawardhane et al. | Non invasive human stress detection using key stroke dynamics and pattern variations | |
KR20140029332A (en) | Method and apparatus for providing service security using biological signal | |
CN114246589B (en) | Memory cognition capability assessment method and system | |
Zhang et al. | The effects of probe similarity on retrieval and comparison processes in associative recognition | |
CA3013267A1 (en) | Method and system for quantitative assessment of visual motor response | |
Nie et al. | ERP profiles for face and word recognition are based on their status in semantic memory not their stimulus category | |
KR101768106B1 (en) | Apparatus and method for speller based on brain-computer interface | |
Aurup et al. | Pair-wise preference comparisons using alpha-peak frequencies | |
JP4788956B2 (en) | Brain activity analysis method and apparatus | |
JP2022045493A (en) | Signal processing apparatus, signal processing method, and signal processing program | |
KR20170013092A (en) | Eeg-based brain-machine interface apparatus and method for recognizing human intention using line stimuli on the display | |
Cecotti et al. | Suboptimal sensor subset evaluation in a p300 brain-computer interface | |
US11402908B2 (en) | Apparatus and method for selecting item using brain wave | |
Liang et al. | How Linguistic and Nonlinguistic Vocalizations Shape the Perception of Emotional Faces—An EEG Study | |
KR20120114802A (en) | System for managing studying model of emotion-based and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |