KR102522349B1 - Brain-computer interface apparatus and operating method of determining intention of user based on brain activity according to attention level - Google Patents
Brain-computer interface apparatus and operating method of determining intention of user based on brain activity according to attention level Download PDFInfo
- Publication number
- KR102522349B1 KR102522349B1 KR1020200142177A KR20200142177A KR102522349B1 KR 102522349 B1 KR102522349 B1 KR 102522349B1 KR 1020200142177 A KR1020200142177 A KR 1020200142177A KR 20200142177 A KR20200142177 A KR 20200142177A KR 102522349 B1 KR102522349 B1 KR 102522349B1
- Authority
- KR
- South Korea
- Prior art keywords
- concentration
- user
- eeg
- frequency power
- brain
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 발명은 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 동작 의도를 고 신뢰도로 판단하는 기술적 사상에 관한 것으로, 보다 구체적으로, 특정 동작에 대한 운동 상상(motor imagery)을 수행하고 있는 사용자의 뇌파 신호의 파형의 특성을 분석하여 집중 상태의 뇌파 신호의 특징점을 추출하고, 집중 상태의 뇌파 신호의 특징점을 기계학습하여 사용자 의도 분류와 관련된 분류 성능을 향상시키는 기술에 관한 것으로, 본 발명의 일실시예에 따른 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치는 사용자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 주파수 계수를 결정하고, 상기 결정된 주파수 계수를 이용하여 집중 상태 또는 비 집중 상태로 상기 사용자의 집중도를 결정하는 집중도 결정부 및 상기 집중 상태에 해당하는 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 상기 구축된 의도 판단 모델을 이용하여 상기 사용자의 의도를 결정하는 뇌파 처리부를 포함할 수 있다.The present invention relates to a technical concept of determining a user's motion intention with high reliability based on brain activity according to a concentration level, and more specifically, to an EEG signal of a user performing motor imagery for a specific motion. It relates to a technique for extracting feature points of an EEG signal in a focused state by analyzing the characteristics of a waveform of EEG signal in a focused state, and improving classification performance related to user intention classification by machine learning the feature point of the EEG signal in a focused state. The brain computer interface device for determining the user's intention based on the brain activity according to the concentration level according to the concentration level determines the frequency coefficient using the frequency power of the EEG signal measured from the user, and uses the determined frequency coefficient to determine the concentration state or Concentration determination unit for determining the level of concentration of the user in a non-concentration state, machine learning of an EEG signal corresponding to the concentration state, and an intention determination model constructed, and determination of the user's intention using the constructed intention determination model An EEG processor may be included.
Description
본 발명은 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 동작 의도를 고 신뢰도로 판단하는 기술적 사상에 관한 것으로, 보다 구체적으로, 특정 동작에 대한 운동 상상(motor imagery)을 수행하고 있는 사용자의 뇌파 신호의 파형의 특성을 분석하여 집중 상태의 뇌파 신호의 특징점을 추출하고, 집중 상태의 뇌파 신호의 특징점을 기계학습하여 사용자 의도 분류와 관련된 분류 성능을 향상시키는 기술에 관한 것 이다.The present invention relates to a technical concept of determining a user's motion intention with high reliability based on brain activity according to a concentration level, and more specifically, to an EEG signal of a user performing motor imagery for a specific motion. It relates to a technique for extracting feature points of an EEG signal in a focused state by analyzing the characteristics of a waveform and improving classification performance related to user intention classification by machine learning the feature points of an EEG signal in a focused state.
최근에 활발하게 개발되고 있는 뇌 컴퓨터 인터페이스(brain-computer interface, BCI)는 외부의 자극으로 인한 뇌파 변화를 이용하는 인터페이스와 사용자의 내재적인 변화 및 동작 상상에 의한 뇌파 변화를 이용하는 인터페이스를 포함하고 있다. A brain-computer interface (BCI), which is being actively developed recently, includes an interface using brain wave changes caused by external stimuli and an interface using brain wave changes caused by a user's intrinsic change and motion imagination.
뇌 컴퓨터 인터페이스는 새로운 커뮤니케이션(communication) 기술로서 두뇌와 컴퓨터 사이의 직접적인 연결을 목표로 한다.Brain-computer interfaces are new communication technologies that aim to establish a direct connection between the brain and the computer.
뇌 컴퓨터 인터페이스는 뇌전도(electroencephalogram, EEG) 신호를 측정하는 기술을 이용할 수 있다.The brain computer interface may use a technique for measuring an electroencephalogram (EEG) signal.
뇌전도 신호는 뇌의 활동에 따라 뇌의 피질에서 나타나는 전기적인 현상을 측정하는 방식을 이용하여 측정된 신호를 지칭한다.An electroencephalogram signal refers to a signal measured using a method of measuring electrical phenomena appearing in the cortex of the brain according to brain activity.
뇌전도 신호를 측정하는 방식으로 침습적인 방법과 비 침습적인 방법으로 나누어 볼 수 있다.It can be divided into an invasive method and a non-invasive method as a method of measuring the EEG signal.
뇌전도 신호의 경우 대표적인 비 침습적인 방법으로, 전극을 두피 위에 위치하여 뇌의 활동을 측정하는 방식이 존재한다.In the case of an electroencephalogram signal, as a representative non-invasive method, there is a method of measuring brain activity by placing electrodes on the scalp.
뇌전도 신호는 낮은 신호 잡음비(Signal to noise ratio, SNR)을 가지는 단점을 가지고 있지만, 시간 도메인의 해상도가 높고 값이 싸다는 장점을 가지고 있다.The EEG signal has the disadvantage of having a low signal-to-noise ratio (SNR), but has the advantage of high resolution in the time domain and low cost.
뇌전도 신호의 특성상 눈 깜박임, 움직임, 외부 소음 등에 의해 신호의 오염이 쉽고 측정된 신호의 크기가 작기 때문에 뇌파 신호를 이용한 뇌 컴퓨터 인터페이스 기술은 아직도 어려움이 존재한다.Due to the nature of the EEG signal, the signal is easily contaminated by eye blinking, movement, external noise, etc., and the size of the measured signal is small, so brain computer interface technology using the EEG signal still has difficulties.
예를 들어, 뇌전도 신호는 측정 대상자의 눈 깜박임 또는 외부로부터의 소음에 의해 측정 대상자로부터의 측정된 뇌전도 신호의 데이터가 변경될 수 있다.For example, the data of the measured electroencephalogram signal from the measurement subject may be changed by blinking of the eyes of the measurement subject or noise from the outside.
따라서, 뇌전도 신호를 이용하여 고 신뢰도의 뇌 컴퓨터 인터페이스 기술을 제공하는데 어려움이 따를 수 있다.Therefore, it may be difficult to provide a highly reliable brain computer interface technology using an electroencephalogram signal.
동작 상상 기반 뇌 컴퓨터 인터페이스 기술을 개발하기 위해 시간 도메인(temporal domain), 주파수 도메인(spectral domain) 및 공간 도메인(spatial domain) 영역으로 구분되어 연구가 활발히 이루어지고 있다.In order to develop motion image-based brain computer interface technology, research is being actively conducted by dividing into temporal domain, frequency domain, and spatial domain.
최근 발전된 심층 학습(deep learning, DL) 기술로 인해 뇌파를 분석하는 기술의 정확도 향상이 이루어지고 있지만 심층 학습 특성 상 특정 도메인만을 이용한 연구가 진행되고 있다.Recently developed deep learning (DL) technology has improved the accuracy of EEG analysis technology, but due to the nature of deep learning, research using only specific domains is being conducted.
따라서, 다양한 도메인의 특징을 융합함으로써 성능을 향상시키고, 다양한 도메인에 특화된 새로운 심층 학습 모델에 대한 설계가 필요한 실정이다. Therefore, it is necessary to design a new deep learning model that improves performance by fusing features of various domains and is specialized for various domains.
본 발명은 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a brain computer interface device and method for determining a user's intention based on brain activity according to a concentration level.
본 발명은 사용자의 뇌파 신호의 주파수 파워를 이용하여 사용자의 집중도를 집중 상태 또는 비 집중 상태로 결정하고, 집중 상태로 결정된 뇌파 신호의 특징점을 기계학습하여 사용자의 의도를 판단하기 위한 의도 판단 모델의 분류 성능을 향상시키는 것을 목적으로 한다.The present invention determines the user's concentration as a focused state or a non-concentrated state by using the frequency power of the user's brain wave signal, and uses an intention judgment model for determining the user's intention by machine learning the feature points of the brain wave signal determined as the focused state. It aims to improve classification performance.
본 발명은 사용자의 집중도가 비 집중 상태로 결정될 경우, 사용자에게 집중력 피드백을 제공함에 따라 사용자의 집중을 유도하여 다양한 환경에서 사용자의 의도 판단 성능을 향상시키는 것을 목적으로 한다.An object of the present invention is to improve the performance of determining the user's intention in various environments by inducing the user's concentration by providing concentration feedback to the user when the user's concentration level is determined to be in a non-concentration state.
본 발명은 사용자의 뇌파 신호를 반복적으로 측정하고, 반복적으로 측정된 복수의 뇌파 신호의 주파수 파워에 대한 복수의 주파수 계수를 산출하고, 산출된 복수의 주파수 계수에 대한 평균 값을 도출하여 사용자에게 최적화된 집중도 판단 임계값을 제공하는 것을 목적으로 한다.The present invention is optimized for the user by repeatedly measuring the user's EEG signal, calculating a plurality of frequency coefficients for the frequency power of a plurality of repeatedly measured EEG signals, and deriving an average value for the calculated plurality of frequency coefficients. Its purpose is to provide a threshold value for determining concentration.
본 발명은 사용자에게 최적화된 집중도 판단 임계값을 제공함에 따라 사용자의 집중도에 대한 분류 정확도를 향상시키는 것을 목적으로 한다.An object of the present invention is to improve classification accuracy for a user's concentration level by providing a concentration level determination threshold optimized for the user.
본 발명은 사용자에게 최적화된 집중도 판단 임계값에 기반하여 집중 상태로 결정된 뇌파 신호를 선택적으로 측정하는 것을 목적으로 한다.An object of the present invention is to selectively measure an EEG signal determined as a concentration state based on a concentration level determination threshold optimized for a user.
본 발명의 일실시예에 따르면 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치는 사용자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 주파수 계수를 결정하고, 상기 결정된 주파수 계수를 이용하여 집중 상태 또는 비 집중 상태로 상기 사용자의 집중도를 결정하는 집중도 결정부 및 상기 집중 상태에 해당하는 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 상기 구축된 의도 판단 모델을 이용하여 상기 사용자의 의도를 결정하는 뇌파 처리부를 포함할 수 있다.According to an embodiment of the present invention, a brain computer interface device for determining a user's intention based on brain activity according to a concentration level determines a frequency coefficient using frequency power of an EEG signal measured from the user, and determines the frequency coefficient. Concentration determination unit for determining the concentration level of the user in a focused state or non-concentrated state using a concentration level determination unit and an intention determination model by machine learning of an EEG signal corresponding to the concentration state, and an intention determination model is constructed using the built intention determination model. It may include an EEG processor that determines the user's intention.
본 발명의 일실시예에 따르면 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치는 상기 사용자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 상기 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정하는 뇌파 측정부를 더 포함할 수 있다.According to one embodiment of the present invention, a brain computer interface device for determining a user's intention based on brain activity according to a concentration level is applied to each of the plurality of regions by using a plurality of measuring electrodes attached to the plurality of regions of the user. It may further include an EEG measuring unit for measuring a plurality of EEG signals for the EEG.
상기 복수의 뇌파 신호는 상기 복수의 부위에 따라 서로 다른 주파수 파워를 나타낼 수 있다.The plurality of EEG signals may represent different frequency powers according to the plurality of regions.
상기 뇌파 측정부는 상기 복수의 부위 중 전두엽 부위(frontal region)로부터 제1 뇌파 신호를 측정하고, 상기 복수의 부위 중 두정엽 부위(parietal region)로부터 제2 뇌파 신호를 측정하며, 상기 복수의 부위 중 중앙 부위(central region)로부터 제3 뇌파 신호를 측정할 수 있다.The EEG measurement unit measures a first EEG signal from a frontal region among the plurality of regions, measures a second EEG signal from a parietal region among the plurality of regions, and measures a central region among the plurality of regions. A third EEG signal may be measured from a central region.
상기 집중도 결정부는 상기 제2 뇌파 신호의 제2 주파수 파워와 상기 제3 뇌파 신호의 제3 주파수 파워의 합에 대한 상기 제1 뇌파 신호의 제1 주파수 파워의 비율에 기반하여 상기 주파수 계수를 결정할 수 있다.The concentration determiner may determine the frequency coefficient based on a ratio of the first frequency power of the first EEG signal to the sum of the second frequency power of the second EEG signal and the third frequency power of the third EEG signal. there is.
상기 집중도 결정부는 상기 제1 주파수 파워, 상기 제2 주파수 파워 및 상기 제3 주파수 파워가 반복적으로 측정될 경우, 상기 반복적으로 측정된 제1 주파수 파워, 제2 주파수 파워 및 제3 주파수 파워와 관련된 주파수 계수를 반복적으로 결정하고, 상기 반복적으로 결정된 주파수 계수의 평균 값을 집중도 판단 임계값으로 결정할 수 있다.The concentration determining unit, when the first frequency power, the second frequency power, and the third frequency power are repeatedly measured, frequencies related to the repeatedly measured first frequency power, second frequency power, and third frequency power. Coefficients may be repeatedly determined, and an average value of the iteratively determined frequency coefficients may be determined as a concentration determination threshold.
상기 집중도 결정부는 상기 집중도 판단 임계값과 상기 주파수 계수를 비교하여 집중 상태 또는 비 집중 상태로 상기 사용자의 집중도를 결정할 수 있다.The concentration determination unit may compare the concentration determination threshold with the frequency coefficient to determine the concentration of the user in a concentration state or a non-concentration state.
상기 뇌파 측정부는 상기 복수의 뇌파 신호를 측정할 시, 상기 집중도 판단 임계값에 기반하여 상기 집중 상태에 해당하는 뇌파 신호를 선택적으로 측정할 수 있다.When measuring the plurality of EEG signals, the EEG measurer may selectively measure EEG signals corresponding to the concentration state based on the concentration determination threshold.
본 발명의 일실시예에 따르면 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치는 상기 사용자에게 상기 비 집중 상태와 관련된 집중력 피드백을 제공하는 집중 피드백부를 더 포함할 수 있다.According to one embodiment of the present invention, the brain computer interface device for determining the user's intention based on the brain activity according to the concentration level may further include a concentration feedback unit providing the user with concentration feedback related to the non-concentration state. .
본 발명의 일실시예에 따르면 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치의 동작 방법은 집중도 결정부에서, 사용자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 주파수 계수를 결정하고, 상기 결정된 주파수 계수를 이용하여 집중 상태 또는 비 집중 상태로 상기 사용자의 집중도를 결정하는 단계 및 뇌파 처리부에서, 상기 집중 상태에 해당하는 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 상기 구축된 의도 판단 모델을 이용하여 상기 사용자의 의도를 결정하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a method of operating a brain computer interface device for determining a user's intention based on brain activity according to a concentration level is a frequency coefficient using the frequency power of an EEG signal measured from a user in a concentration determination unit. Determining the degree of concentration of the user in a focused state or a non-concentrated state using the determined frequency coefficient, and in an EEG processing unit, machine learning of the EEG signal corresponding to the focused state to build an intention determination model, and determining the user's intention using the constructed intention determination model.
본 발명의 일실시예에 따르면 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치의 동작 방법은 뇌파 측정부에서, 상기 사용자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 상기 복수의 부위 중 전두엽 부위(frontal region)로부터 제1 뇌파 신호를 측정하고, 상기 복수의 부위 중 두정엽 부위(parietal region)로부터 제2 뇌파 신호를 측정하며, 상기 복수의 부위 중 중앙 부위(central region)로부터 제3 뇌파 신호를 측정하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, a method of operating a brain computer interface device for determining a user's intention based on brain activity according to a concentration level includes a plurality of measuring electrodes attached to a plurality of parts of the user in an EEG measuring unit. A first EEG signal is measured from a frontal region among the plurality of regions, a second EEG signal is measured from a parietal region among the plurality of regions, and a central region among the plurality of regions ( The method may further include measuring a third EEG signal from the central region.
상기 사용자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 주파수 계수를 결정하는 단계는, 상기 제2 뇌파 신호의 제2 주파수 파워와 상기 제3 뇌파 신호의 제3 주파수 파워의 합에 대한 상기 제1 뇌파 신호의 제1 주파수 파워의 비율에 기반하여 상기 주파수 계수를 결정하는 단계를 포함할 수 있다.The step of determining a frequency coefficient using the frequency power of the EEG signal measured from the user may include the first EEG for the sum of the second frequency power of the second EEG signal and the third frequency power of the third EEG signal. and determining the frequency coefficient based on a ratio of the first frequency power of the signal.
본 발명의 일실시예에 따르면 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치의 동작 방법은 집중 피드백부에서, 상기 사용자에게 상기 비 집중 상태와 관련된 집중력 피드백을 제공하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, a method of operating a brain computer interface device for determining a user's intention based on brain activity according to a concentration level includes providing concentration feedback related to the non-concentration state to the user in a concentration feedback unit. Further steps may be included.
본 발명은 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공할 수 있다.The present invention may provide a brain computer interface device and operation method for determining a user's intention based on brain activity according to a concentration level.
본 발명은 사용자의 뇌파 신호의 주파수 파워를 이용하여 사용자의 집중도를 집중 상태 또는 비 집중 상태로 결정하고, 집중 상태로 결정된 뇌파 신호의 특징점을 기계학습하여 사용자의 의도를 판단하기 위한 의도 판단 모델의 분류 성능을 향상시킬 수 있다.The present invention determines the user's concentration as a focused state or a non-concentrated state by using the frequency power of the user's brain wave signal, and uses an intention judgment model for determining the user's intention by machine learning the feature points of the brain wave signal determined as the focused state. It can improve classification performance.
본 발명은 사용자의 집중도가 비 집중 상태로 결정될 경우, 사용자에게 집중력 피드백을 제공함에 따라 사용자의 집중을 유도하여 다양한 환경에서 사용자의 의도 판단 성능을 향상시킬 수 있다.According to the present invention, when the user's concentration level is determined to be in a non-concentration state, the user's intention determination performance can be improved in various environments by inducing the user's concentration by providing a concentration feedback to the user.
본 발명은 사용자의 뇌파 신호를 반복적으로 측정하고, 반복적으로 측정된 복수의 뇌파 신호의 주파수 파워에 대한 복수의 주파수 계수를 산출하고, 산출된 복수의 주파수 계수에 대한 평균 값을 도출하여 사용자에게 최적화된 집중도 판단 임계값을 제공할 수 있다.The present invention is optimized for the user by repeatedly measuring the user's EEG signal, calculating a plurality of frequency coefficients for the frequency power of a plurality of repeatedly measured EEG signals, and deriving an average value for the calculated plurality of frequency coefficients. A concentration determination threshold may be provided.
본 발명은 사용자에게 최적화된 집중도 판단 임계값을 제공함에 따라 사용자의 집중도에 대한 분류 정확도를 향상시킬 수 있다.According to the present invention, it is possible to improve classification accuracy for a user's concentration level by providing a concentration level determination threshold optimized for the user.
본 발명은 사용자에게 최적화된 집중도 판단 임계값에 기반하여 집중 상태로 결정된 뇌파 신호를 선택적으로 측정할 수 있다.The present invention may selectively measure an EEG signal determined as a concentration state based on a concentration level determination threshold optimized for a user.
도 1은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 사용자로부터 뇌파를 측정하여 주파수 계수를 산출하는 실시예를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 사용자로부터 뇌파를 측정하여 뇌파 신호의 특징점을 추출하는 실시예를 설명하는 도면이다.
도 4a 내지 도 4c는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 반복적으로 뇌파 신호를 측정하여 집중도 판단 임계값을 결정하는 실시예를 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 분류 정확도와 종래 기술의 분류 정확도를 비교 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법을 설명하는 도면이다.1 is a diagram illustrating a brain computer interface device according to an embodiment of the present invention.
2 is a diagram for explaining an embodiment in which a brain computer interface device according to an embodiment of the present invention measures brain waves from a user and calculates a frequency coefficient.
3 is a diagram for explaining an embodiment in which a brain computer interface device according to an embodiment of the present invention measures brain waves from a user and extracts feature points of brain wave signals.
4A to 4C are diagrams for explaining an embodiment in which a brain computer interface device according to an embodiment of the present invention repeatedly measures an EEG signal to determine a concentration level determination threshold.
5 is a diagram illustrating a comparison between the classification accuracy of the brain computer interface device according to an embodiment of the present invention and the classification accuracy of the prior art.
6 is a diagram illustrating an operating method of a brain computer interface device according to an embodiment of the present invention.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.Hereinafter, various embodiments of this document will be described with reference to the accompanying drawings.
실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.Examples and terms used therein are not intended to limit the technology described in this document to specific embodiments, and should be understood to include various modifications, equivalents, and/or substitutes of the embodiments.
하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of various embodiments, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the invention, the detailed description will be omitted.
그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, terms to be described below are terms defined in consideration of functions in various embodiments, and may vary according to intentions or customs of users or operators. Therefore, the definition should be made based on the contents throughout this specification.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.In connection with the description of the drawings, like reference numerals may be used for like elements.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.Singular expressions may include plural expressions unless the context clearly dictates otherwise.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.In this document, expressions such as "A or B" or "at least one of A and/or B" may include all possible combinations of the items listed together.
"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.Expressions such as "first," "second," "first," or "second," may modify the corresponding components regardless of order or importance, and are used to distinguish one component from another. It is used only and does not limit the corresponding components.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.When a (e.g., first) element is referred to as being "(functionally or communicatively) coupled to" or "connected to" another (e.g., second) element, that element refers to the other (e.g., second) element. It may be directly connected to the component or connected through another component (eg, a third component).
본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.In this specification, "configured to (or configured to)" means "suitable for," "having the ability to," "changed to" depending on the situation, for example, hardware or software ," can be used interchangeably with "made to," "capable of," or "designed to."
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.In some contexts, the expression "device configured to" can mean that the device is "capable of" in conjunction with other devices or components.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.For example, the phrase "a processor configured (or configured) to perform A, B, and C" may include a dedicated processor (eg, embedded processor) to perform the operation, or by executing one or more software programs stored in a memory device. , may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.Also, the term 'or' means 'inclusive or' rather than 'exclusive or'.
즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.That is, unless otherwise stated or clear from the context, the expression 'x employs a or b' means any one of the natural inclusive permutations.
이하 사용되는 '..부', '..기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Terms such as '..unit' and '..group' used below refer to a unit that processes at least one function or operation, and may be implemented by hardware or software, or a combination of hardware and software.
도 1은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치를 설명하는 도면이다.1 is a diagram illustrating a brain computer interface device according to an embodiment of the present invention.
도 1은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 구성 요소를 예시한다.1 illustrates components of a brain computer interface device according to an embodiment of the present invention.
도 1을 참고하면, 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치(100)는 뇌파 측정부(110), 집중도 결정부(120), 집중 피드백부(130) 및 뇌파 처리부(140)를 포함한다.Referring to FIG. 1 , a brain
일례로, 뇌 컴퓨터 인터페이스 장치(100)는 사용자의 두뇌와 컴퓨터 사이의 직접적인 연결하고, 사용자의 두뇌로부터 뇌파 신호를 측정하여 사용자가 상상한 동작(motor imagery)을 사용자의 의도로 분석하는 장치일 수 있다.For example, the brain
즉, 뇌 컴퓨터 인터페이스 장치(100)는 사용자의 집중 상태에 따른 뇌 활성도와 관련된 집중 레벨에 기반하여 사용자의 의도를 판단할 수 있다.That is, the brain
본 발명의 일실시예에 따르면 뇌파 측정부(110)는 사용자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정할 수 있다.According to an embodiment of the present invention, the
예를 들어, 뇌파 신호는 뇌전도(electroencephalogram, EGG) 신호를 포함할 수 있다.For example, the brain wave signal may include an electroencephalogram (EGG) signal.
일례로, 뇌파 측정부(110)는 복수의 부위 중 전두엽 부위(frontal region)로부터 제1 뇌파 신호를 측정하고, 복수의 부위 중 두정엽 부위(parietal region)로부터 제2 뇌파 신호를 측정하며, 복수의 부위 중 중앙 부위(central region)로부터 제3 뇌파 신호를 측정할 수 있다.For example, the
예를 들어, 복수의 뇌파 신호는 복수의 부위에 따라 서로 다른 주파수 파워를 나타낼 수 있다.For example, a plurality of EEG signals may indicate different frequency powers according to a plurality of regions.
일례로, 뇌파 측정부(110)는 복수의 부위에 대하여 일정한 시간 간격을 두고 반복적으로 측정하여 복수의 뇌파 신호를 획득할 수 있다.For example, the
본 발명의 일실시예에 따른 뇌파 측정부(110)가 복수의 부위에 대하여 서로 다른 주파수 파워를 갖는 복수의 뇌파 신호를 측정하는 실시예는 도 2 및 도 3을 이용하여 보충 설명한다.An embodiment in which the
본 발명의 일실시예에 따르면 집중도 결정부(120)는 사용자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 사용자의 집중도와 관련된 주파수 계수를 결정하고, 결정된 주파수 계수를 이용하여 측정된 뇌파 신호에 대한 사용자의 집중도를 집중 상태 또는 비 집중 상태로 결정할 수 있다.According to an embodiment of the present invention, the
즉, 집중도 결정부(120)는 뇌파 신호의 주파수 파워를 이용하여 주파수 계수를 결정하고, 주파수 계수를 이용하여 집중 상태 또는 비 집중 상태로 사용자의 집중도를 결정할 수 있다.That is, the
예를 들어, 집중 상태의 뇌파 신호를 고주의 신호로 지칭할 수 있고, 비 집중 상태의 뇌파 신호를 저주의 신호로 지칭할 수 있다.For example, an EEG signal in a focused state may be referred to as a high pitch signal, and an EEG signal in a non-concentrated state may be referred to as a low pitch signal.
또한, 고주의 신호는 집중 레벨이 높은 레벨로 결정될 수 있고, 저주의 신호는 집중 레벨이 낮은 레벨로 결정될 수 있다.In addition, the high intensity signal may be determined to have a high concentration level, and the low intensity signal may be determined to have a low concentration level.
일례로, 집중도 결정부(120)는 제2 뇌파 신호의 제2 주파수 파워와 상기 제3 뇌파 신호의 제3 주파수 파워의 합에 대한 제1 뇌파 신호의 제1 주파수 파워의 비율에 기반하여 주파수 계수를 결정할 수 있다.For example, the
즉, 집중도 결정부(120)는 사용자 두뇌의 전두엽 부위(frontal region), 두정엽 부위(parietal region) 및 중앙 부위(central region)로부터 측정된 뇌파 신호들이 서로 다른 주파수 파워를 갖는 특징을 이용하여 사용자의 집중도를 결정하기 위한 주파수 계수를 결정할 수 있다.That is, the
본 발명의 일실시예에 따르면 집중도 결정부(120)는 제1 주파수 파워, 제2 주파수 파워 및 제3 주파수 파워가 반복적으로 측정될 경우, 반복적으로 측정된 제1 주파수 파워, 제2 주파수 파워 및 제3 주파수 파워와 관련된 주파수 계수를 반복적으로 결정하고, 반복적으로 결정된 주파수 계수의 평균 값을 집중도 판단 임계값으로 결정할 수 있다.According to an embodiment of the present invention, when the first frequency power, the second frequency power, and the third frequency power are repeatedly measured, the
즉, 집중도 결정부(120)는 반복적으로 측정된 뇌파 신호에 대하여 반복적으로 주파수 계수를 결정하고, 반복적 결정에 따라 결정된 복수의 주파수 계수의 평균 값을 집중도 판단 임계값으로 결정할 수 있다.That is, the
따라서, 본 발명은 사용자의 뇌파 신호를 반복적으로 측정하고, 반복적으로 측정된 복수의 뇌파 신호의 주파수 파워에 대한 복수의 주파수 계수를 산출하고, 산출된 복수의 주파수 계수에 대한 평균 값을 도출하여 사용자에게 최적화된 집중도 판단 임계값을 제공할 수 있다.Therefore, the present invention repeatedly measures the user's EEG signal, calculates a plurality of frequency coefficients for the frequency power of a plurality of repeatedly measured EEG signals, and derives an average value for the calculated plurality of frequency coefficients, It is possible to provide an optimized concentration determination threshold.
본 발명의 일실시예에 따르면 집중도 결정부(120)는 집중도 판단 임계값과 사용자의 집중도와 관련된 주파수 계수를 비교하여 측정된 뇌파 신호에 대한 사용자의 집중도를 집중 상태와 비 집중 상태 중 어느 하나의 상태로 결정할 수 있다. 여기서, 사용자의 집중도와 관련된 주파수 계수는 현재 측정된 뇌파 신호를 이용하여 결정된 주파수 계수를 지칭할 수 있다.According to an embodiment of the present invention, the
따라서, 집중도 결정부(120)는 집중도 판단 임계값과 주파수 계수를 비교하여 집중 상태 또는 비 집중 상태로 사용자의 집중도를 결정할 수 있다.Accordingly, the
한편, 뇌파 측정부(110)는 집중도 판단 임계값을 이용하여 현재 측정된 뇌파 신호가 집중 상태에 해당하는 뇌파 신호인지 비 집중 상태에 해당하는 뇌파 신호인지 선별 가능함에 따라 복수의 뇌파 신호를 측정할 시, 집중도 판단 임계값에 기반하여 집중 상태에 해당하는 뇌파 신호를 선택적으로 측정할 수 있다.On the other hand, the
따라서, 본 발명은 사용자에게 최적화된 집중도 판단 임계값을 제공함에 따라 사용자의 집중도에 대한 분류 정확도를 향상시킬 수 있다.Accordingly, the present invention can improve the classification accuracy of the user's concentration level by providing the concentration level determination threshold optimized for the user.
또한, 본 발명은 사용자에게 최적화된 집중도 판단 임계값에 기반하여 집중 상태로 결정된 뇌파 신호를 선택적으로 측정할 수 있다.In addition, the present invention may selectively measure an EEG signal determined as a concentration state based on a concentration level determination threshold optimized for a user.
본 발명의 일실시예에 따르면 집중 피드백부(130)는 사용자에게 비 집중 상태와 관련된 집중력 피드백을 제공할 수 있다.According to an embodiment of the present invention, the
일례로, 집중 피드백부(130)는 집중도 결정부(120)가 현재 측정된 뇌파 신호가 비 집중 상태의 뇌파 신호로 결정할 경우, 사용자의 집중력을 환기하기 위해 집중력 피드백을 제공할 수 있다.For example, the
예를 들어, 집중 피드백부(130)는 사용자의 집중을 유도하는 안내 정보를 텍스트, 소리, 조도 변화 및 전기 자극 중 어느 하나로 제공함에 따라 사용자에게 비 집중 상태와 관련된 집중력 피드백을 제공할 수 있다.For example, the
따라서, 본 발명은 사용자의 집중도가 비 집중 상태로 결정될 경우, 사용자에게 집중력 피드백을 제공함에 따라 사용자의 집중을 유도하여 다양한 환경에서 사용자의 의도 판단 성능을 향상시킬 수 있다.Accordingly, when the user's concentration level is determined to be non-concentrated, according to the present invention, the user's intention determination performance can be improved in various environments by inducing the user's concentration by providing concentration feedback to the user.
본 발명의 일실시예에 따르면 뇌파 처리부(140)는 집중 상태에 해당하는 뇌파 신호를 기계학습하여 사용자의 의도(intention)를 판단하기 위한 의도 판단 모델을 구축하고, 구축된 의도 판단 모델을 이용하여 사용자의 의도를 결정할 수 있다.According to an embodiment of the present invention, the brain
즉, 뇌파 처리부(140)는 집중 상태에 해당하는 신뢰도 높은 뇌파 신호만을 선별적으로 기계학습하여 사용자의 의도를 판단하기 위한 의도 판단 모델을 구축할 수 있다.That is, the
따라서, 본 발명은 사용자의 뇌파 신호의 주파수 파워를 이용하여 사용자의 집중도를 집중 상태 또는 비 집중 상태로 결정하고, 집중 상태로 결정된 뇌파 신호의 특징점을 기계학습하여 사용자의 의도를 판단하기 위한 의도 판단 모델의 분류 성능을 향상시킬 수 있다.Therefore, the present invention determines the user's concentration as a focused state or a non-concentrated state by using the frequency power of the user's EEG signal, and determines the user's intention by machine learning the characteristic points of the EEG signal determined as the focused state. It can improve the classification performance of the model.
본 발명의 일실시예에 따르면 뇌파 처리부(140)는 뇌파 신호의 공통 공간 패턴(common spatial pattern, CSP)을 이용하여 의도 판단 모델을 구축하기 위한 특징점을 추출할 수 있다.According to an embodiment of the present invention, the
일례로, 뇌파 처리부(140)는 집중 상태에 해당하는 뇌파 신호를 공통 공간 패턴(common spatial pattern, CSP) 필터에 적용하여 복수의 뇌파 분석 결과를 추출하고, 추출된 복수의 뇌파 분석 결과 중 차이가 큰 순서로 행렬 데이터를 생성하며, 생성된 행렬 데이터에 대해서 공간적으로 서로 분류된 특징점을 의도 판단 모델을 구축하기 위한 특징점으로 추출할 수 있다.For example, the brain
뇌파 처리부(140)의 특징점을 추출하는 구성은 도 3을 이용하여 보충 설명하도록 한다.The configuration of extracting feature points of the brain
본 발명의 일실시예에 따르면 뇌파 처리부(140)는 추출된 특징점을 선형(linear) 서포트 벡터 머신(support vector machine, SVM), 다항식(poly) 서포트 벡터 머신(support vector machine, SVM), RBF(radial basis function) 서포트 벡터 머신(support vector machine, SVM) 및 시그모이드(sigmoid) 서포트 벡터 머신(support vector machine, SVM) 중 어느 하나의 서포트 벡터 머신을 이용하여 기계학습함에 따라 의도 판단 모델을 구축할 수 있다.According to one embodiment of the present invention, the
본 발명의 일실시예에 따르면 뇌파 처리부(140)는 집중 레벨이 높은 뇌파 신호만을 선택적으로 기계학습하여 의도 판단 모델을 구축한다.According to an embodiment of the present invention, the
또한, 뇌파 처리부(140)는 집중 레벨이 높은 뇌파 신호만을 선택적으로 기계학습하여 의도 판단 모델을 업데이트한다.In addition, the
따라서, 본 발명은 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치 및 동작 방법을 제공할 수 있다.Accordingly, the present invention can provide a brain computer interface device and method for determining a user's intention based on brain activity according to a concentration level.
도 2는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 사용자로부터 뇌파를 측정하여 주파수 계수를 산출하는 실시예를 설명하는 도면이다.2 is a diagram for explaining an embodiment in which a brain computer interface device according to an embodiment of the present invention measures brain waves from a user and calculates a frequency coefficient.
도 2를 참고하면, 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치는 복수의 측정 전극을 포함하고, 복수의 측정 전극은 측정 대상인 사용자의 두뇌 외부에 복수의 부위에 부착되고, 복수의 측정 전극은 사용자로부터 복수의 뇌파 신호를 측정한다.Referring to FIG. 2 , the brain computer interface device according to an embodiment of the present invention includes a plurality of measuring electrodes, the plurality of measuring electrodes are attached to a plurality of parts outside the brain of a user to be measured, and the plurality of measuring electrodes measures a plurality of EEG signals from the user.
예를 들어, 복수의 측정 전극에 의해 측정되는 복수의 뇌파 신호는 전두엽 부위(200)로부터 측정되는 제1 뇌파 신호, 두정엽 부위(210)로부터 측정되는 제2 뇌파 신호 및 중앙 부위(220)로부터 측정되는 제3 뇌파 신호를 포함할 수 있다.For example, the plurality of EEG signals measured by the plurality of measuring electrodes include a first EEG signal measured from the
예를 들어 중앙 부위(220)는 측두엽(temporal lobe) 및 후두엽(occipital lobe)을 포함할 수 있다.For example, the
본 발명의 일실시예에 따르면 제1 뇌파 신호는 θ 밴드의 주파수 파워를 갖을 수 있고, 제2 뇌파 신호는 α 밴드의 주파수 파워를 갖을 수 있으며, 제3 뇌파 신호는 β 밴드의 주파수 파워를 갖을 수 있다.According to an embodiment of the present invention, the first EEG signal may have a frequency power of the θ band, the second EEG signal may have a frequency power of an α band, and the third EEG signal may have a frequency power of a β band. can
보다 구체적으로, 제1 뇌파 신호는 4 Hz 내지 8 Hz의 주파수 파워를 갖을 수 있고, 제2 뇌파 신호는 8 Hz 내지 12 Hz의 주파수 파워를 갖을 수 있으며, 제3 뇌파 신호는 8 Hz 내지 30 Hz의 주파수 파워를 갖을 수 있다. More specifically, the first EEG signal may have a frequency power of 4 Hz to 8 Hz, the second EEG signal may have a frequency power of 8 Hz to 12 Hz, and the third EEG signal may have a frequency power of 8 Hz to 30 Hz. It may have a frequency power of
일례로, 뇌 컴퓨터 인터페이스 장치는 각 뇌파 신호의 주파수에서 나타내는 주파수 파워를 이용하여 집중도를 나타내는 주파수 계수(coefficient F)를 하기 수학식 1을 이용하여 결정할 수 있다.As an example, the brain computer interface device may determine a frequency coefficient (coefficient F) representing the degree of concentration by using
[수학식 1][Equation 1]
수학식 1에서, Pθ는 전두엽 부위 뇌파 신호의 주파수 파워를 나타낼 수 있고, Pα는 두정엽 부위 뇌파 신호의 주파수 파워를 나타낼 수 있으며, Pβ는 중앙 부위 뇌파 신호의 주파수 파워를 나타낼 수 있다.In
본 발명의 일실시예에 따르면 뇌 컴퓨터 인터페이스 장치는 두정엽 부위 뇌파 신호의 주파수 파워와 중앙 부위 뇌파 신호의 주파수 파워의 합에 대한 전두엽 부위 뇌파 신호의 비율을 주파수 계수로 결정할 수 있다.According to an embodiment of the present invention, the brain computer interface device may determine the ratio of the frontal lobe EEG signal to the sum of the frequency power of the parietal EEG signal and the frequency power of the central EEG signal as a frequency coefficient.
또한, 뇌 컴퓨터 인터페이스 장치는 반복적으로 측정된 뇌파 신호에 대하여 반복적으로 주파수 계수를 결정하고, 반복적으로 결정된 주파수 계수의 평균 값을 산출하여 집중도 판단 임계값을 결정할 수 있다.In addition, the brain computer interface device may repeatedly determine frequency coefficients for repeatedly measured EEG signals and calculate an average value of the repeatedly determined frequency coefficients to determine a concentration determination threshold.
도 3은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 사용자로부터 뇌파를 측정하여 뇌파 신호의 특징점을 추출하는 실시예를 설명하는 도면이다.3 is a diagram for explaining an embodiment in which a brain computer interface device according to an embodiment of the present invention measures brain waves from a user and extracts feature points of brain wave signals.
도 3을 참고하면, 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치는 사용자(300)의 두뇌 상에 복수의 부위에 복수의 측정 전극을 부착하고, 복수의 측정 지점(301 내지 322)에서 뇌파 신호를 측정하고, 기준 지점(Ref.)에 기준 전극을 부착하고, 접지 지점(GND)에 접지 전극을 부착한다.Referring to FIG. 3 , the brain computer interface device according to an embodiment of the present invention attaches a plurality of measuring electrodes to a plurality of parts on the brain of a
일례로, 뇌 컴퓨터 인터페이스 장치는 복수의 측정 지점(301 내지 322)으로부터 250 Hz 샘플링 속도로 뇌파 신호를 수집한다.As an example, the brain computer interface device collects EEG signals at a sampling rate of 250 Hz from the plurality of
본 발명의 일실시예에 따르면 뇌 컴퓨터 인터페이스 장치는 개방형 액세스 뇌파 신호의 데이터 세트를 4 Hz 내지 30 Hz의 대역으로 필터링하고 공통 평균 기준을 적용한다.According to one embodiment of the present invention, the brain computer interface device filters a data set of open access EEG signals into a band of 4 Hz to 30 Hz and applies a common average criterion.
일례로, 뇌 컴퓨터 인터페이스 장치는 측정 지점(301) 내지 측정 지점(306)에서 제1 뇌파 신호를 측정하고, 측정 지점(307) 내지 측정 지점(318)에서 제3 뇌파 신호를 측정하며, 측정 지점(319) 내지 측정 지점(322)에서 제2 뇌파 신호를 측정할 수 있다.For example, the brain computer interface device measures the first EEG signal at
본 발명의 일실시예에 따르면 제1 뇌파 신호는 θ 밴드의 주파수 파워를 갖을 수 있고, 제2 뇌파 신호는 α 밴드의 주파수 파워를 갖을 수 있으며, 제3 뇌파 신호는 β 밴드의 주파수 파워를 갖을 수 있다.According to an embodiment of the present invention, the first EEG signal may have a frequency power of the θ band, the second EEG signal may have a frequency power of an α band, and the third EEG signal may have a frequency power of a β band. can
일례로, 뇌 컴퓨터 인터페이스 장치는 측정 지점(301) 내지 측정 지점(322)에서 측정된 제1 뇌파 신호 내지 제3 뇌파 신호의 주파수 계수가 집중도 판단 임계값보다 큰 집중 상태의 뇌파 신호일 경우, 해당 뇌파 신호를 공통 공간 패턴 필터에 적용하여 뇌파 신호의 특징점을 추출할 수 있다.For example, when the brain computer interface device is an EEG signal in a concentration state in which the frequency coefficient of the first to third EEG signals measured at the
본 발명의 일실시예에 따라 뇌 컴퓨터 인터페이스 장치가 N개의 전극에서 T개의 Sample을 측정하였다고 가정하였을 때 한번의 측정을 했을 때 NxT의 행렬을 생성할 수 있다.According to one embodiment of the present invention, assuming that the brain computer interface device measures T samples from N electrodes, an NxT matrix can be generated when one measurement is performed.
또한, 뇌 컴퓨터 인터페이스 장치는 NN가지 태스크(Task)를 진행하였을 때 X개의 태스크(Task)를 진행할 때 나타나는 NxT의 행렬의 공분산을 산출할 수 있다.In addition, the brain computer interface device may calculate the covariance of an NxT matrix that appears when X tasks are performed when NN tasks are performed.
예를 들어, 하나씩의 태스크(Task)를 진행하였을 때 공분산은 하기 수학식 2가 될 수 있다.For example, when one task is performed, the covariance may be
[수학식 2][Equation 2]
수학식 2에서, C는 공분산을 나타낼 수 있고, S'은 NxT의 행렬을 나타낼 수 있다.In
이렇게, 공분산(C)를 구하면 NxN개의 행렬이 도출되고, 이렇게 된 공분산(C)과 관련된 측정 횟수가 n개로 나타날 수 있다.In this way, when the covariance (C) is obtained, NxN matrices are derived, and the number of measurements related to the covariance (C) thus obtained can be represented as n.
뇌 컴퓨터 인터페이스 장치는 X개의 태스크(Task)를 진행 하였으므로 X1번째 태스크(Task)에 대한 공분산(C1) 평균, X2번째 태스크(Task)에 대한 공분산(C2)의 평균을 반복적으로 계산하여, Xi번째에 대한 공분산(Ci)를 산출할 수 있다.Since the brain computer interface device has performed X tasks, it repeatedly calculates the average of the covariance (C1) for the X 1st task and the average of the covariance (C2) for the X 2nd task, The covariance (Ci) for the X i th can be calculated.
뇌 컴퓨터 인터페이스 장치는 이렇게 구해진 공분산의 평균을 모두 더하고, 공분산 평균의 합(Csum)을 하기 수학식 3으로 변환시켜서 백색화 변환행렬 Q를 생성할 수 있다.The brain computer interface device may generate a whitening transformation matrix Q by adding all the averages of the covariances obtained in this way and converting the sum (Csum) of the averages of the covariances into Equation 3 below.
[수학식 3][Equation 3]
수학식 3에서, Q는 백색화 변환행렬을 나타낼 수 있고, U는 고유벡터를 나타낼 수 있으며, λ는 고유값을 나타낼 수 있다.In Equation 3, Q may represent a whitening transformation matrix, U may represent an eigenvector, and λ may represent an eigenvalue.
뇌 컴퓨터 인터페이스 장치는 수학식 3을 이용하여 계산된 백색화 변환행렬 Q는 각 클라스 평균 공분상 행렬이 동일한 고유벡터를 가지도록 한다.In the brain computer interface device, the whitening transformation matrix Q calculated using Equation 3 causes each class mean covariance matrix to have the same eigenvector.
따라서, 이 백색화 행렬을 적용하여 서로 다른 공분산을 가지도록 하려면 수학식 4가 도출되야 한다.Therefore, in order to have different covariances by applying this whitening matrix,
[수학식 4][Equation 4]
수학식 4에서, S는 NxT의 행렬을 나타낼 수 있고, Q는 공분산을 나타낼 수 있으며, Cl은 공분산 평균의 합을 나타낼 수 있다.In
여기서 클래스가 2개가 된다면 수학식 5가 도출 될 수 있다.Here, if there are two classes,
[수학식 5][Equation 5]
수학식 5에서, S1은 제1 클래스의 NxT의 행렬을 나타낼 수 있고, B는 고유 벡터 변환 변수를 나타낼 수 있으며, S2는 제2 클래스의 NxT의 행렬을 나타낼 수 있다.In
뇌 컴퓨터 인터페이스 장치는 이렇게 얻어진 S1과 S2를 이용하여 얻을 수 있는 CSP 필터의 가중치(W)와 동일한 백색화 변환 행렬(Q)을 획득하고, 가중치(W)와 원신호 NxT의 신호를 곱해주면 CSP 필터를 거친 특징점(Z)를 산출할 수 있다.The brain computer interface device acquires a whitening transformation matrix (Q) equal to the weight (W) of the CSP filter obtained using S1 and S2 obtained in this way, and multiplies the weight (W) by the signal of the original signal NxT. A feature point (Z) that has passed through the filter can be calculated.
본 발명의 일실시예에 따르면 뇌 컴퓨터 인터페이스 장치는 CSP 필터를 거친 신호에 대한 NxT개의 결과를 뽑아낼 수 있고, 뽑아진 결과를 바탕으로 둘의 차이가 가장 큰 것을 순서대로 만든 후, 뽑힌 특징을 8x8의 하나의 블록에 나열한다.According to one embodiment of the present invention, the brain computer interface device can extract NxT results for a signal that has passed through the CSP filter, and after making the difference between the two in order based on the extracted results, the selected features are Arrange them in one block of 8x8.
다음으로, 뇌 컴퓨터 인터페이스 장치는 복수의 태스크(Task)에 대해서 공간적으로 서로 분류된 특징점을 뽑아 이산적인 순간의 뇌파의 특징을 추출할 수 있고, 추출된 특징점을 이용하여 RBF-SVM에 적용하여 사용자의 의도를 분류할 수 있다.Next, the brain computer interface device can extract features of brain waves of discrete moments by extracting feature points spatially classified from each other for a plurality of tasks, and applying the extracted feature points to RBF-SVM to provide information to the user. intentions can be classified.
일례로, 뇌 컴퓨터 인터페이스 장치는 두 클래스의 데이터를 분산으로 구별하고 CSP 필터를 통해 두 클래스 간 차이를 최대화할 수 있다.For example, the brain computer interface device can discriminate two classes of data by variance and maximize the difference between the two classes through a CSP filter.
도 4a 내지 도 4c는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 반복적으로 뇌파 신호를 측정하여 집중도 판단 임계값을 결정하는 실시예를 설명하는 도면이다.4A to 4C are diagrams for explaining an embodiment in which a brain computer interface device according to an embodiment of the present invention repeatedly measures an EEG signal to determine a concentration level determination threshold.
도 4a 내지 도 4c는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치가 복수의 사용자로부터 반복적으로 뇌파 신호를 측정하여 각 사용자에 따른 집중도 판단 임계값을 결정하는 실시예를 설명한다.4A to 4C describe an embodiment in which the brain computer interface device according to an embodiment of the present invention repeatedly measures EEG signals from a plurality of users and determines a concentration level determination threshold for each user.
도 4a 내지 도 4c에 도시된 그래프들의 가로축은 주파수 계수(Coefficient F)를 나타낼 수 있고, 세로축은 뇌파 신호 측정 횟수(No. of trials)를 나타낼 수 있다.In the graphs shown in FIGS. 4A to 4C , a horizontal axis may represent a frequency coefficient (Coefficient F), and a vertical axis may represent the number of EEG signal measurements (No. of trials).
도 4a의 그래프(400), 그래프(401) 및 그래프(402)를 참고하면, 점선은 주파수 계수의 평균값을 나타내고, 점선의 좌측은 비 집중 상태의 신호 분포를 나타내며, 점선의 우측은 집중 상태의 신호 분포를 나타내고, 포물선은 비 집중 상태의 신호 및 집중 상태의 신호의 분산을 나타낼 수 있다.Referring to
그래프(400)에 해당하는 사용자의 집중도 판단 임계값은 0.19일 수 있고, 그래프(401)에 해당하는 사용자의 집중도 판단 임계값은 0.22일 수 있으며, 그래프(402)에 해당하는 사용자의 집중도 판단 임계값은 0.18일 수 있다.The user's concentration level determination threshold corresponding to the
도 4b의 그래프(403), 그래프(404) 및 그래프(405)를 참고하면, 점선은 주파수 계수의 평균값을 나타내고, 점선의 좌측은 비 집중 상태의 신호 분포를 나타내며, 점선의 우측은 집중 상태의 신호 분포를 나타내고, 포물선은 비 집중 상태의 신호 및 집중 상태의 신호의 분산을 나타낼 수 있다.Referring to
그래프(403)에 해당하는 사용자의 집중도 판단 임계값은 0.24일 수 있고, 그래프(404)에 해당하는 사용자의 집중도 판단 임계값은 0.21일 수 있으며, 그래프(405)에 해당하는 사용자의 집중도 판단 임계값은 0.06일 수 있다.The user's concentration determination threshold corresponding to the
도 4c의 그래프(406), 그래프(407) 및 그래프(408)를 참고하면, 점선은 주파수 계수의 평균값을 나타내고, 점선의 좌측은 비 집중 상태의 신호 분포를 나타내며, 점선의 우측은 집중 상태의 신호 분포를 나타내고, 포물선은 비 집중 상태의 신호 및 집중 상태의 신호의 분산을 나타낼 수 있다.Referring to
그래프(406)에 해당하는 사용자의 집중도 판단 임계값은 0.29일 수 있고, 그래프(407)에 해당하는 사용자의 집중도 판단 임계값은 0.16일 수 있으며, 그래프(408)에 해당하는 사용자의 집중도 판단 임계값은 0.52일 수 있다.The user's concentration determination threshold corresponding to the
도 4a 내지 도 4c를 참고하면, 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치는 기존 획일화된 집중도 판단 임계값을 적용하여 사용자의 집중 상태를 판단하는 것이 아니라 각 사용자에게 적합한 집중도 판단 임계값을 제공하여 집중도 판단에 대한 오차를 감소시킬 수 있다.4A to 4C, the brain computer interface device according to an embodiment of the present invention does not determine the concentration state of the user by applying the existing standardized concentration determination threshold, but the concentration determination threshold suitable for each user It is possible to reduce the error for concentration determination by providing.
도 4a 내지 도 4c에서 뇌파 신호 측정 횟수에 따른 실험 과정은 사용자가 오른손과 왼손의 쥐고 펴는 상상하는 동작과 같은 특정 움직임 상상을 동일하게 다수의 사용자가 상상하는 과정에서 반복적으로 측정되는 실험 과정을 포함할 수 있다.In FIGS. 4A to 4C, the experimental process according to the number of EEG signal measurements includes an experimental process that is repeatedly measured in the process of imagining a specific movement, such as a user imagining holding and stretching the right and left hands, by the same number of users. can do.
또한, 실험과정은 알람이 발생하고, 사용자가 특정 동작을 상상하고, 휴식하는 과정을 시계열적으로 반복하는 과정을 포함할 수 있다.In addition, the experiment process may include a process in which an alarm is generated, a user imagines a specific motion, and a process of resting is repeated time-sequentially.
또한, 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치는 집중도 판단 임계값을 넘는 집중 상태의 뇌파 신호만을 선별하여 의도 판단 모델의 학습을 수행한다.In addition, the brain computer interface device according to an embodiment of the present invention selects only EEG signals in a concentration state exceeding the concentration level determination threshold to perform learning of the intention determination model.
한편, 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치는 집중도 판단 임계값을 넘지 않는 비 집중 상태의 뇌파 신호는 의도 판단 모델의 학습에 적용하지 않는다.Meanwhile, in the brain computer interface device according to an embodiment of the present invention, an EEG signal in a non-concentration state that does not exceed the concentration level determination threshold is not applied to the learning of the intention determination model.
도 5는 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 분류 정확도와 종래 기술의 분류 정확도를 비교 설명하는 도면이다.5 is a diagram illustrating a comparison between the classification accuracy of the brain computer interface device according to an embodiment of the present invention and the classification accuracy of the prior art.
도 5를 참고하면, 그래프(500)는 종래 기술에 따른 제1 모델과 본 발명에 따른 제2 모델의 분류 정확도를 비교한다.Referring to FIG. 5 , a
종래 기술에 따른 제1 모델은 측정된 뇌파 신호를 모두 학습한 모델일 수 있고, 본 발명의 일실시예에 따른 제2 모델은 측정된 뇌파 신호 중 집중 상태의 뇌파 신호만을 선별적으로 학습한 의도 판단 모델일 수 있다.The first model according to the prior art may be a model that has learned all of the measured EEG signals, and the second model according to an embodiment of the present invention is intended to selectively learn only EEG signals in a focused state among the measured EEG signals. It can be a judgment model.
본 발명의 일실시예에 따른 제2 모델은 집중 상태의 뇌파 신호에 대하여 공통 공간 패턴을 이용하여 추출된 특징점을 학습한 모델로 제1 모델에 대비하여 상대적으로 향상된 분류 정확도를 나타낼 수 있다.The second model according to an embodiment of the present invention is a model obtained by learning feature points extracted using a common spatial pattern for EEG signals in a focused state, and may exhibit relatively improved classification accuracy compared to the first model.
다시 말해, 학습되지 않고 새롭게 측정된 뇌파 신호를 제1 모델 또는 제2 모델에 적용하여 사용자의 의도를 분류할 경우, 제1 모델에 대비하여 제2 모델의 분류 성능이 우수할 수 있다.In other words, when the user's intention is classified by applying the newly measured EEG signal to the first model or the second model, the classification performance of the second model may be superior to that of the first model.
그래프(500)의 제1 모델의 분류 정확도와 제2 모델의 분류 정확도를 Wilcoxon 순위 합계 테스트에 기반하여 비교하면 제1 모델에 대비하여 약 0.037 높아서, 제2 모델의 성능이 향상된 것을 확인할 수 있다.When the classification accuracy of the first model and the classification accuracy of the second model in the
따라서, 본 발명은 사용자의 뇌파 신호의 주파수 파워를 이용하여 사용자의 집중도를 집중 상태 또는 비 집중 상태로 결정하고, 집중 상태로 결정된 뇌파 신호의 특징점을 기계학습하여 사용자의 의도를 판단하기 위한 의도 판단 모델의 분류 성능을 향상시킬 수 있다.Therefore, the present invention determines the user's concentration as a focused state or a non-concentrated state by using the frequency power of the user's EEG signal, and determines the user's intention by machine learning the characteristic points of the EEG signal determined as the focused state. It can improve the classification performance of the model.
도 6은 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법을 설명하는 도면이다.6 is a diagram illustrating an operating method of a brain computer interface device according to an embodiment of the present invention.
도 6은 본 발명의 일실시예에 따른 집중 레벨에 따른 뇌 활성도에 기반하여 사용자의 의도를 판단하는 뇌 컴퓨터 인터페이스 장치의 동작 방법을 예시한다.6 illustrates a method of operating a brain computer interface device for determining a user's intention based on brain activity according to an concentration level according to an embodiment of the present invention.
도 6을 참고하면, 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 단계(601)에서 뇌파 신호를 측정한다.Referring to FIG. 6 , in a method of operating a brain computer interface device according to an embodiment of the present invention, an EEG signal is measured in
즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 사용자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 복수의 부위 중 전두엽 부위(frontal region)로부터 제1 뇌파 신호를 측정하고, 복수의 부위 중 두정엽 부위(parietal region)로부터 제2 뇌파 신호를 측정하며, 복수의 부위 중 중앙 부위(central region)로부터 제3 뇌파 신호를 측정할 수 있다.That is, the operation method of the brain computer interface device measures a first EEG signal from a frontal region among a plurality of regions using a plurality of measuring electrodes attached to a plurality of regions of a user, and a parietal region among a plurality of regions. A second EEG signal may be measured from a parietal region, and a third EEG signal may be measured from a central region among a plurality of regions.
또한, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 반복적으로 사용자의 뇌파 신호를 측정할 수 있다.In addition, the operating method of the brain computer interface device may repeatedly measure the user's EEG signal.
단계(602)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 뇌파 신호를 이용하여 주파수 계수를 결정한다.In
즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 사용자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 사용자의 집중도와 관련된 주파수 계수를 결정할 수 있다.That is, the operating method of the brain computer interface device may determine a frequency coefficient related to the concentration of the user by using the frequency power of the EEG signal measured from the user.
구체적으로, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 제2 뇌파 신호의 제2 주파수 파워와 제3 뇌파 신호의 제3 주파수 파워의 합에 대한 제1 뇌파 신호의 제1 주파수 파워의 비율에 기반하여 주파수 계수를 결정할 수 있다.Specifically, the operating method of the brain computer interface device is a frequency coefficient based on the ratio of the first frequency power of the first brain wave signal to the sum of the second frequency power of the second brain wave signal and the third frequency power of the third brain wave signal. can decide
단계(603)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 주파수 계수를 이용하여 사용자의 집중도를 결정한다.In
즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 단계(602)에서 결정된 주파수 계수를 이용하여 측정된 뇌파 신호에 대한 사용자의 집중도를 집중 상태 또는 비 집중 상태로 결정할 수 있다.That is, the operating method of the brain computer interface device may determine the user's concentration on the measured EEG signal as a concentration state or a non-concentration state using the frequency coefficient determined in
예를 들어, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 측정된 뇌파 신호의 주파수 계수와 반복 측정을 통해 결정된 집중도 판단 임계값을 비교하여 사용자의 집중도를 집중 상태 또는 비 집중 상태로 결정할 수 있다.For example, the operating method of the brain computer interface device may compare the frequency coefficient of the measured EEG signal with a concentration determination threshold determined through repeated measurement to determine the concentration level of the user as a concentration state or a non-concentration state.
단계(604)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 단계(603)에서의 집중도 결정 결과에 기반하여 집중 상태일 경우 단계(606)으로 진행하고, 비 집중 상태일 경우 단계(605)로 진행한다.In
단계(605)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 사용자에게 집중력 피드백을 제공한다.In
즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 사용자에게 비 집중 상태와 관련된 집중력 피드백을 제공함에 따라 사용자의 집중을 유도하여 다양한 환경 변화에 따른 뇌파 측정 성능 및 모델 학습 성능을 유지할 수 있다.That is, the operating method of the brain computer interface device induces the user's concentration by providing the user with concentration feedback related to the non-concentration state, thereby maintaining EEG measurement performance and model learning performance according to various environmental changes.
단계(606)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 집중 상태의 뇌파 신호를 기계 학습하여 의도 판단 모델을 구축한다.In
즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 집중 상태에 해당하는 뇌파 신호를 기계학습하여 사용자의 의도(intention)를 판단하기 위한 의도 판단 모델을 구축한다.That is, in the method of operating the brain computer interface device, an intention determination model for determining a user's intention is built by machine learning of an EEG signal corresponding to a state of concentration.
예를 들어, 의도 판단 모델을 구축하는 것은 의도 판단 모델의 성능을 개선하는 기계 학습 과정을 포함할 수 있다.For example, building an intent determination model may include a machine learning process for improving the performance of the intent determination model.
즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 집중 상태에 해당하는 뇌파 신호를 기계학습하여 의도 판단 모델의 판단 성능을 향상시킬 수 있다.That is, the operating method of the brain computer interface device may improve the judgment performance of the intention judgment model by machine learning the EEG signal corresponding to the concentration state.
단계(607)에서 본 발명의 일실시예에 따른 뇌 컴퓨터 인터페이스 장치의 동작 방법은 단계(606)에서 구축된 의도 판단 모델을 이용하여 사용자의 의도를 결정한다.In
즉, 뇌 컴퓨터 인터페이스 장치의 동작 방법은 현재 측정된 뇌파 신호에서 사용자가 동작하려는 의도를 단계(606)에서 구축된 의도 판단 모델을 이용하여 결정할 수 있다.That is, the operating method of the brain computer interface device may determine the user's intention to operate in the currently measured EEG signal using the intention determination model built in
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
100: 뇌 컴퓨터 인터페이스 장치 110: 뇌파 측정부
120: 집중도 결정부 130: 집중 피드백부
140: 뇌파 처리부 100: brain computer interface device 110: brain wave measuring unit
120: concentration determination unit 130: concentration feedback unit
140: EEG processing unit
Claims (12)
사용자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 상기 복수의 부위 각각에 대한 복수의 뇌파 신호를 측정하는 뇌파 측정부;
상기 사용자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 주파수 계수를 결정하고, 상기 결정된 주파수 계수를 이용하여 집중 상태 또는 비 집중 상태로 상기 사용자의 집중도를 결정하는 집중도 결정부; 및
상기 집중 상태에 해당하는 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 상기 구축된 의도 판단 모델을 이용하여 상기 사용자의 의도를 결정하는 뇌파 처리부를 포함하고,
상기 복수의 뇌파 신호는 상기 복수의 부위에 따라 서로 다른 주파수 파워를 나타내며,
상기 뇌파 측정부는 상기 복수의 부위 중 전두엽 부위(frontal region)로부터 제1 뇌파 신호를 측정하고, 상기 복수의 부위 중 두정엽 부위(parietal region)로부터 제2 뇌파 신호를 측정하며, 상기 복수의 부위 중 중앙 부위(central region)로부터 제3 뇌파 신호를 측정하고,
상기 집중도 결정부는 상기 제2 뇌파 신호의 제2 주파수 파워와 상기 제3 뇌파 신호의 제3 주파수 파워의 합에 대한 상기 제1 뇌파 신호의 제1 주파수 파워의 비율에 기반하여 상기 주파수 계수를 결정하고, 상기 제1 주파수 파워, 상기 제2 주파수 파워 및 상기 제3 주파수 파워가 반복적으로 측정될 경우, 상기 반복적으로 측정된 제1 주파수 파워, 제2 주파수 파워 및 제3 주파수 파워와 관련된 주파수 계수를 반복적으로 결정하고, 상기 반복적으로 결정된 주파수 계수의 평균 값을 집중도 판단 임계값으로 결정하는 것을 특징으로 하는
뇌 컴퓨터 인터페이스 장치.A brain computer interface device for determining a user's intention based on brain activity according to a concentration level,
an EEG measurement unit measuring a plurality of EEG signals for each of a plurality of regions using a plurality of measurement electrodes attached to a plurality of regions of the user;
a concentration determination unit which determines a frequency coefficient by using the frequency power of the EEG signal measured from the user, and determines the concentration of the user in a focused state or a non-concentrated state using the determined frequency coefficient; and
An EEG processing unit configured to construct an intention determination model by machine learning an EEG signal corresponding to the concentration state, and to determine the user's intention using the constructed intention determination model;
The plurality of EEG signals represent different frequency powers according to the plurality of regions,
The EEG measurement unit measures a first EEG signal from a frontal region among the plurality of regions, measures a second EEG signal from a parietal region among the plurality of regions, and measures a central region among the plurality of regions. Measuring a third EEG signal from a central region;
The concentration determining unit determines the frequency coefficient based on a ratio of a first frequency power of the first EEG signal to a sum of a second frequency power of the second EEG signal and a third frequency power of the third EEG signal, and , When the first frequency power, the second frequency power, and the third frequency power are repeatedly measured, frequency coefficients related to the repeatedly measured first frequency power, second frequency power, and third frequency power are repeatedly measured. And determining the average value of the iteratively determined frequency coefficients as the concentration determination threshold
brain computer interface device.
상기 집중도 결정부는
상기 집중도 판단 임계값과 상기 주파수 계수를 비교하여 집중 상태 또는 비 집중 상태로 상기 사용자의 집중도를 결정하는 것을 특징으로 하는
뇌 컴퓨터 인터페이스 장치.According to claim 1,
The concentration determination unit
Characterized in that determining the concentration of the user in a concentrated state or a non-concentrated state by comparing the concentration determination threshold and the frequency coefficient
brain computer interface device.
상기 뇌파 측정부는
상기 복수의 뇌파 신호를 측정할 시, 상기 집중도 판단 임계값에 기반하여 상기 집중 상태에 해당하는 뇌파 신호를 선택적으로 측정하는 것을 특징으로 하는
뇌 컴퓨터 인터페이스 장치.According to claim 6,
The brain wave measuring unit
Characterized in that when measuring the plurality of EEG signals, selectively measuring EEG signals corresponding to the concentration state based on the concentration determination threshold
brain computer interface device.
상기 사용자에게 상기 비 집중 상태와 관련된 집중력 피드백을 제공하는 집중 피드백부를 더 포함하는
뇌 컴퓨터 인터페이스 장치.According to claim 1,
Further comprising a concentration feedback unit providing concentration feedback related to the non-concentration state to the user
brain computer interface device.
뇌파 측정부에서, 상기 사용자의 복수의 부위에 부착된 복수의 측정 전극을 이용하여 상기 복수의 부위 중 전두엽 부위(frontal region)로부터 제1 뇌파 신호를 측정하고, 상기 복수의 부위 중 두정엽 부위(parietal region)로부터 제2 뇌파 신호를 측정하며, 상기 복수의 부위 중 중앙 부위(central region)로부터 제3 뇌파 신호를 측정하는 단계;
집중도 결정부에서, 상기 사용자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 주파수 계수를 결정하고, 상기 결정된 주파수 계수를 이용하여 집중 상태 또는 비 집중 상태로 상기 사용자의 집중도를 결정하는 단계; 및
뇌파 처리부에서, 상기 집중 상태에 해당하는 뇌파 신호를 기계학습하여 의도 판단 모델을 구축하고, 상기 구축된 의도 판단 모델을 이용하여 상기 사용자의 의도를 결정하는 단계를 포함하고,
상기 복수의 뇌파 신호는 상기 복수의 부위에 따라 서로 다른 주파수 파워를 나타내며,
상기 사용자로부터 측정된 뇌파 신호의 주파수 파워를 이용하여 주파수 계수를 결정하고, 상기 결정된 주파수 계수를 이용하여 집중 상태 또는 비 집중 상태로 상기 사용자의 집중도를 결정하는 단계는,
상기 제2 뇌파 신호의 제2 주파수 파워와 상기 제3 뇌파 신호의 제3 주파수 파워의 합에 대한 상기 제1 뇌파 신호의 제1 주파수 파워의 비율에 기반하여 상기 주파수 계수를 결정하는 단계; 및
상기 제1 주파수 파워, 상기 제2 주파수 파워 및 상기 제3 주파수 파워가 반복적으로 측정될 경우, 상기 반복적으로 측정된 제1 주파수 파워, 제2 주파수 파워 및 제3 주파수 파워와 관련된 주파수 계수를 반복적으로 결정하고, 상기 반복적으로 결정된 주파수 계수의 평균 값을 집중도 판단 임계값으로 결정하는 단계를 포함하는 것을 특징으로 하는
뇌 컴퓨터 인터페이스 장치의 동작 방법.A method of operating a brain computer interface device for determining a user's intention based on brain activity according to a concentration level,
In the EEG measuring unit, a first EEG signal is measured from a frontal region among the plurality of regions using a plurality of measuring electrodes attached to a plurality of regions of the user, and a parietal region among the plurality of regions measuring a second EEG signal from a region, and measuring a third EEG signal from a central region among the plurality of regions;
determining, in a concentration determination unit, a frequency coefficient by using the frequency power of the EEG signal measured from the user, and determining the concentration of the user in a focused state or a non-concentrated state using the determined frequency coefficient; and
In an brain wave processing unit, machine learning of the brain wave signal corresponding to the concentration state to build an intention determination model, and determining the user's intention using the built intention determination model;
The plurality of EEG signals represent different frequency powers according to the plurality of regions,
Determining a frequency coefficient using the frequency power of the EEG signal measured from the user, and determining the concentration of the user in a focused state or a non-concentrated state using the determined frequency coefficient,
determining the frequency coefficient based on a ratio of a first frequency power of the first brain wave signal to a sum of a second frequency power of the second brain wave signal and a third frequency power of the third brain wave signal; and
When the first frequency power, the second frequency power, and the third frequency power are repeatedly measured, frequency coefficients related to the repeatedly measured first frequency power, second frequency power, and third frequency power are repeatedly measured. And determining the average value of the iteratively determined frequency coefficients as the concentration determination threshold.
A method of operating a brain computer interface device.
집중 피드백부에서, 상기 사용자에게 상기 비 집중 상태와 관련된 집중력 피드백을 제공하는 단계를 더 포함하는 것을 특징으로 하는
뇌 컴퓨터 인터페이스 장치의 동작 방법.According to claim 9,
In a concentration feedback unit, providing the user with concentration feedback related to the non-concentration state, characterized in that it further comprises
A method of operating a brain computer interface device.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200071771 | 2020-06-12 | ||
| KR20200071771 | 2020-06-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210154694A KR20210154694A (en) | 2021-12-21 |
| KR102522349B1 true KR102522349B1 (en) | 2023-04-18 |
Family
ID=79165730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200142177A KR102522349B1 (en) | 2020-06-12 | 2020-10-29 | Brain-computer interface apparatus and operating method of determining intention of user based on brain activity according to attention level |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102522349B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102660938B1 (en) | 2021-11-11 | 2024-04-25 | 주식회사 엘지에너지솔루션 | Lithium secondary battery |
| CN114366101B (en) * | 2021-12-31 | 2024-05-03 | 西安臻泰智能科技有限公司 | Motor imagery electroencephalogram signal classification method, device, equipment and storage medium |
| CN114721514B (en) * | 2022-03-22 | 2024-08-23 | 北京理工大学 | Geometric model selection intention distinguishing method and system based on electroencephalogram signals |
| CN117331442A (en) * | 2023-10-16 | 2024-01-02 | 廊坊市珍圭谷科技有限公司 | Multi-person cooperative control device based on brain wave signals |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101975050B1 (en) * | 2018-12-20 | 2019-05-03 | (주)마인더스 | Analysis Method of Activation Degree of Frontal Lobe Using Controlling Apparatus for Electric Device Using Braninwave |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101272811B1 (en) * | 2011-08-03 | 2013-06-10 | 동국대학교 산학협력단 | System and method for interface |
| KR101527273B1 (en) * | 2013-03-26 | 2015-06-09 | 세종대학교산학협력단 | Method and Apparatus for Brainwave Detection Device Attached onto Frontal Lobe and Concentration Analysis Method based on Brainwave |
| KR101685523B1 (en) | 2015-10-14 | 2016-12-14 | 세종대학교산학협력단 | Nui/nux of virtual monitor concept using concentration indicator and user's physical features |
| KR101724939B1 (en) | 2015-10-28 | 2017-04-07 | 한양대학교 산학협력단 | System and method for predicting intention of user using brain wave |
| KR20160095652A (en) * | 2016-07-26 | 2016-08-11 | 한양대학교 에리카산학협력단 | Controlling method for it device using brain wave |
| KR102269587B1 (en) | 2018-11-06 | 2021-06-24 | 고려대학교 산학협력단 | Brain-computer interface systems and method for analysing brain wave signals expressed by motor imagery |
-
2020
- 2020-10-29 KR KR1020200142177A patent/KR102522349B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101975050B1 (en) * | 2018-12-20 | 2019-05-03 | (주)마인더스 | Analysis Method of Activation Degree of Frontal Lobe Using Controlling Apparatus for Electric Device Using Braninwave |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210154694A (en) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102522349B1 (en) | Brain-computer interface apparatus and operating method of determining intention of user based on brain activity according to attention level | |
| KR102036955B1 (en) | Method for recognizing subtle facial expression using deep learning based analysis of micro facial dynamics and apparatus therefor | |
| CN113693613B (en) | Electroencephalogram signal classification method, electroencephalogram signal classification device, computer equipment and storage medium | |
| KR101293446B1 (en) | Electroencephalography Classification Method for Movement Imagination and Apparatus Thereof | |
| Zheng et al. | Transfer components between subjects for EEG-based emotion recognition | |
| KR101939363B1 (en) | Brain-computer interface apparatus adaptable to use environment and method of operating thereof | |
| KR20150028661A (en) | Analysis method of user intention recognition for brain computer interface | |
| KR20120125948A (en) | Apparatus of brain-computer interface, and classification method thereof | |
| US20210386351A1 (en) | Brain-computer interface apparatus for minimizing signal correction process between users using clustering technology based on brain activity and method of operating the same | |
| KR101068017B1 (en) | Method of analysing composite common spatial pattern for brain computer interface and method of analysing electroencephalogram using the same | |
| KR20200056952A (en) | Device and method for optimal channel selection using correlation and filter-bank common spatial pattern features in brain-computer interface | |
| Avvaru et al. | Effective brain connectivity extraction by frequency-domain convergent cross-mapping (FDCCM) and its application in Parkinson's disease classification | |
| Barachant et al. | A brain-switch using riemannian geometry | |
| KR102522342B1 (en) | Brain-computer interface apparatus and operating method of reducing burden of individual calibration process by clustering subjects based on brain activation | |
| KR102340544B1 (en) | Device and method for motor imagery classification using time domain parameter and correlation coefficients | |
| KR102347688B1 (en) | Device method for correlation coefficient based cognitive task classification using demixing eeg channel pair | |
| KR102152785B1 (en) | Apparatus and method for classifying motor imagery based on local channel region analysis using common spatial pattern | |
| KR102094488B1 (en) | Apparatus and method for user authentication using facial emg by measuring changes of facial expression of hmd user | |
| CN114358090B (en) | Motor imagery electroencephalogram signal classification method based on PSD and CSP | |
| KR102187580B1 (en) | Motor Imagery Classification Apparatus and Method thereof based on CSP Method using Frequency Weight Filter for each Electrode | |
| CN114638253B (en) | Identification system and method based on emotion electroencephalogram feature fusion optimization mechanism | |
| KR20210154759A (en) | Brain-computer interface apparatus and operating method of selecting customized measurement channel by considering user intention | |
| CN115317002A (en) | Method and apparatus for determining the microstate of an electroencephalogram | |
| KR102382324B1 (en) | Apparatus and method for classifying neural waveforms | |
| Li et al. | EEG Detection and Prediction of Freezing of Gait in Parkinson's Disease Based on Spatiotemporal Coherent Modes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |