KR101518575B1 - Analysis method of user intention recognition for brain computer interface - Google Patents

Analysis method of user intention recognition for brain computer interface Download PDF

Info

Publication number
KR101518575B1
KR101518575B1 KR1020130107586A KR20130107586A KR101518575B1 KR 101518575 B1 KR101518575 B1 KR 101518575B1 KR 1020130107586 A KR1020130107586 A KR 1020130107586A KR 20130107586 A KR20130107586 A KR 20130107586A KR 101518575 B1 KR101518575 B1 KR 101518575B1
Authority
KR
South Korea
Prior art keywords
user
frequency
eeg
intention
intention recognition
Prior art date
Application number
KR1020130107586A
Other languages
Korean (ko)
Other versions
KR20150028661A (en
Inventor
신동규
신동일
황구연
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020130107586A priority Critical patent/KR101518575B1/en
Publication of KR20150028661A publication Critical patent/KR20150028661A/en
Application granted granted Critical
Publication of KR101518575B1 publication Critical patent/KR101518575B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

BCI를 위한 사용자 의도인지 분석 방법이 개시된다. 사용자 의도인지 분석 방법은, 사용자의 뇌파 데이터를 주파수 신호로 변환한 후 상기 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하는 단계; 및 상기 주파수 영역의 뇌파 데이터에서 상기 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 상기 사용자의 의도인지(intention recognition)를 검출하는 단계를 포함할 수 있다.A user intent awareness analysis method for BCI is disclosed. The user's intentional cognitive analysis method comprises the steps of: converting user's brain wave data into a frequency signal and classifying a frequency region related to a kinesthetic sensation according to a band of the converted frequency signal; And detecting intention recognition of the user by analyzing characteristics of the user in the frequency domain based on the motor imagery of the user.

Figure R1020130107586
Figure R1020130107586

Description

BCI를 위한 사용자 의도인지 분석 방법{ANALYSIS METHOD OF USER INTENTION RECOGNITION FOR BRAIN COMPUTER INTERFACE}METHOD OF USER INTENTION RECOGNITION FOR BRAIN COMPUTER INTERFACE < RTI ID = 0.0 >

본 발명의 실시예들은 사람의 뇌파를 이용하여 전자 기기를 제어하는 기술에 관한 것이다.Embodiments of the present invention relate to techniques for controlling electronic devices using human brain waves.

뇌는 인간 활동의 전 영역을 총괄하는 중심 기관(control center)으로 대뇌정보기능이 대뇌피질에서 신경에 의해 발현된다고 인식하여 인지, 사고 등의 역동적인 지식 활동과 다양한 감성, 행동과 고차원적인 정신세계까지도 담당하는 것으로 알려져 있다.The brain is a control center that oversees the whole area of human activity. It recognizes that cerebral information function is expressed by neurons in the cerebral cortex, and it is composed of dynamic knowledge activities such as cognition and thinking, various senses, It is also known to be responsible for even.

EEG(electroencephalogram)는 대뇌피질내의 신경세포의 전기적 활동을 두피에 부착한 전극을 통하여 기록한 것으로, 뇌파는 1∼50 Hz의 주파수와 약 10∼200μV의 진폭을 가지며 1929년 독일의 생리학자 한스 베르거(Hans Berger)에 의해 처음으로 시도되었다. 이 전기적 활동성은 후에 EEG라 명명하였고, EEG가 실험자의 정신적 상태에 따라 변한다는 것을 보였다.Electroencephalogram (EEG) was recorded through an electrode attached to the scalp. Electroencephalogram (EEG) was recorded through an electrode attached to the scalp. The EEG had a frequency of 1 to 50 Hz and an amplitude of about 10 to 200 μV. The physiologist Hansberger Hans Berger). This electrical activity was later referred to as EEG and showed that the EEG changes with the mental state of the experimenter.

뇌파상의 변화를 주는 요인은 개인차, 연령, 의식상태의 변화, 정신활동 및 지각자극, 신체의 생리변화 등이 있다. 뇌는 부위별로 그 기능이 세분화되어 있으며 의식 상태와 정신활동에 따라 뇌파가 수시로 변하여 특정한 패턴을 가지고 있다. 예를 들어, α(Alpha)파가 많이 발생하는 경우는 편한 상태나, 눈을 감았을 때, 집중을 할 때 혹은 창의 적인 사고를 할 때 이며, β(Beta)파가 많이 발생하는 경우는 각성상태, 의식적인 생동을 할 때, 불안하고 긴장을 할 때, 일반적인 작업을 하고 있는 상태이다. 또한, θ(Theta)파가 많이 발생할 경우는 졸리거나, 깊은 명상 시 발생한다고 한다. 그리고, δ(Delta)파는 정상인인 경우 각성 상태에 나타나면 뇌종양, 뇌염 등의 병적 요인의 있다고도 볼 수 있으며 수면 시 많이 발생한다고 알려져 있다.The factors that cause changes in EEG include individual differences, age, changes in conscious state, mental activity and perception stimulation, and physiological changes in the body. The brain is subdivided by its functions and has a specific pattern due to changes in brain waves from time to time depending on the state of consciousness and mental activity. For example, when a large number of alpha (alpha) waves occur, it is in a comfortable state, when eyes are closed, when concentrating or when thinking creatively, and when a large number of beta (beta) waves occur, When you are in a state, a conscious lifestyle, anxiety and tension, you are doing a normal job. In addition, when θ (Theta) waves occur, it is said to occur when sleepiness or deep meditation occurs. In addition, it is known that δ (Delta) waves occur in a state of arousal when they are normal persons, and it is known that there are pathological factors such as brain tumor and encephalitis.

신체 일부를 움직일 때 나타나는 뇌파의 변화가 움직임을 상상하는 것만으로도 비슷하게 나타난다는 것에 기초하며 감각운동리듬(Sensorimotor Rhythms(SMR) 혹은 움직임 상상(Motor Imagery)이라고도 불린다. 주로 뇌 피질 상에서 관장하는 영역이 비교적 멀리 있는 왼손, 오른손, 발 혹은 혀의 움직임 상상을 사용한다.It is based on the fact that the changes in the brain waves that appear when moving a part of the body are similar to those of imagining movement, and it is also called Sensorimotor Rhythms (SMR) or Motor Imagery. Use the imaginary movement of the relatively far left hand, right hand, foot or tongue.

한편, 최근 인간의 판단이나 감정을 알아보기 위하여, 인간의 뇌파에 대한 연구가 활발히 진행되고 있다. 구체적으로, 뇌파는 사용자의 눈 주변 근육의 움직임뿐 아니라 인간의 판단, 감정까지 반영한다. 그리하여, 뇌파를 측정하고, 측정된 뇌파를 데이터화 한 후, 다시 인간의 뇌파를 측정하면, 측정된 뇌파를 통해 인간의 판단이나 감정을 알 수 있게 된다. 최근에는 인간의 뇌파만으로 문자를 입력하는 실험에 성공하기도 하였으며, 다른 예로 한국공개특허 제10-2013-0005753호에는 사용자의 뇌파 정보에 대응하는 제어 신호를 생성하여 이에 따라 디스플레이 장치를 제어하는 기술이 개시되어 있다.On the other hand, in recent years, studies on human brain waves have been actively carried out in order to understand human judgment and emotion. Specifically, the brain waves reflect not only the motion of the muscles around the user's eyes but also human judgment and emotion. Thus, when the brain waves are measured, the measured brain waves are digitized, and then the human brain waves are measured again, the measured brain waves can be used to determine human judgment and emotion. In recent years, an experiment has been successful in inputting characters using only human brain waves. In another example, Korean Patent Laid-Open No. 10-2013-0005753 discloses a technique for generating a control signal corresponding to user's brain wave information and controlling the display device accordingly Lt; / RTI >

본 발명이 이루고자 하는 기술적 과제는 사용자의 뇌파를 전기적인 신호로 변환한 EEG(Electroencephalogram)를 이용하여 사용자의 의도인지 파악을 바탕으로 전자기기를 제어하는데 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to control an electronic device based on an intention of a user by using an EEG (Electroencephalogram) obtained by converting a user's brain wave into an electrical signal.

본 발명의 실시예에 따르면, 사용자 의도인지 분석 방법은, EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터를 획득하는 단계; 및 상기 사용자의 의도인지(intention recognition)를 판단하기 위해 상기 사용자의 움직임 상상(motor imagery)에 따라 증가하는 신호 패턴인 ERS(event-related synchronization)가 나타내는 주파수 영역을 검출하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a user's intent perception analysis method includes: obtaining user's brain wave data measured from an EEG (electroencephalogram) measurement device; And detecting a frequency region indicated by an event-related synchronization (ERS) which is a signal pattern increasing according to a user's motor imagery to determine intention recognition of the user .

본 발명의 실시예에 따르면, 사용자 의도인지 분석 방법은, 사용자의 뇌파 데이터를 주파수 신호로 변환한 후 상기 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하는 단계; 및 상기 주파수 영역의 뇌파 데이터에서 상기 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 상기 사용자의 의도인지(intention recognition)를 검출하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a user's intent perception analysis method includes: converting a user's brain wave data into a frequency signal and classifying a frequency region related to a kinesthetic sensation according to a band of the converted frequency signal; And detecting intention recognition of the user by analyzing characteristics of the user in the frequency domain based on the motor imagery of the user.

일 측면에 따르면, 상기 뇌파 데이터는 상기 사용자에게 부착된 14개 채널의 전극을 통해 측정된 뇌파 신호일 수 있다.According to an aspect, the EEG data may be an EEG signal measured through electrodes of 14 channels attached to the user.

다른 측면에 따르면, 상기 뇌파 데이터는 128SPS(2048㎐)의 샘플링 레이트(sampling rate)를 적용하여 측정된 뇌파 신호일 수 있다.According to another aspect, the brain wave data may be an EEG signal measured by applying a sampling rate of 128SPS (2048 Hz).

또 다른 측면에 따르면, 상기 전극은 국제 표준법인 10-20법(ten-twenty electrode system)에 의거하여 두피의 14개 부위에 부착될 수 있다.According to another aspect, the electrode may be attached to 14 sites of the scalp according to the international standard 10-20 method.

또 다른 측면에 따르면, 상기 운동 감각과 관련된 주파수 영역을 분류하는 단계는, 뇌파의 뮤리듬(μ) 영역인 8-12㎐ 영역을 분류할 수 있다.According to another aspect, the step of classifying the frequency region related to the kinesthetic sensation may classify the 8-12 Hz region, which is the mu rhythm (μ) region of EEG.

또 다른 측면에 따르면, 상기 운동 감각과 관련된 주파수 영역을 분류하는 단계는, DNF(digital notch filter) 또는 BPF(band pass filter)를 이용하여 뇌파의 뮤리듬(μ) 영역인 8-12㎐ 영역을 분류할 수 있다.According to another aspect of the present invention, the step of classifying the frequency region related to the kinesthetic sensation includes a step of classifying the frequency region of 8-12 Hz, which is a mu rhythm (μ) region of EEG using a digital notch filter (DNF) or a band pass filter Can be classified.

또 다른 측면에 따르면, 상기 사용자의 의도인지를 검출하는 단계는, 뇌의 운동 감각 피질 영역에서 발생하는 뮤리듬(μ) 영역에서 증가하는 신호의 패턴인 ERS(event-related synchronization)를 검출함으로써 상기 사용자의 의도인지를 확인할 수 있다.According to another aspect of the present invention, the step of detecting the intention of the user includes detecting an event-related synchronization (ERS), which is a pattern of signals increasing in a mu rhythm (mu) region occurring in a kinematic sensory cortex region of the brain, It is possible to confirm whether or not the user is intent.

또 다른 측면에 따르면, 상기 사용자의 의도인지를 검출하는 단계는, 상기 뇌파 데이터 중 뇌의 운동 감각 피질 영역에서 발생하는 뮤리듬(μ) 영역의 뇌파 데이터를 STFT(Short-Time Fourier Transform)를 통해 시간 영역에 대한 푸리에 변환을 수행하는 단계; 및 PSO(Particle Swarm Optimization) 알고리즘을 사용하여 상기 뮤리듬(μ) 영역의 평균 진폭에서 최대 진폭을 가진 최적점(optimal point)의 주파수를 찾는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of detecting the intention of the user includes the steps of: detecting EEG data in a mu rhythm area occurring in a kinetic sensory cortex region of the brain among the EEG data through STFT (Short-Time Fourier Transform) Performing a Fourier transform on the time domain; And using a Particle Swarm Optimization (PSO) algorithm to find a frequency of an optimal point having a maximum amplitude at an average amplitude of the mu rhythm ([mu]) region.

또 다른 측면에 따르면, 상기 시간 영역에 대한 푸리에 변환을 수행하는 단계는, 상기 사용자의 움직임 상상 시 상기 뮤리듬(μ) 영역에서 증가하는 신호의 패턴인 ERS(event-related synchronization)를 검출하기 위해 수학식 1을 이용하여 상기 ERS의 파워 스펙트럼(power spectrum)을 구할 수 있다.According to another aspect, performing the Fourier transform on the time domain comprises: detecting an event-related synchronization (ERS), which is a pattern of signals increasing in the mu rhythm area, The power spectrum of the ERS can be obtained using Equation (1).

수학식 1:Equation 1:

Figure 112013081933990-pat00001
Figure 112013081933990-pat00001

(여기서, P는 파워를 나타내고, j는 시간을 나타내고, fk는 주파수를 나타내며,

Figure 112013081933990-pat00002
는 fk 주파수에서의 r0에서 r0+m 시간의 평균 파워를 나타낸다.)(Wherein, P represents the power, j denotes the amount of time, f k denotes a frequency,
Figure 112013081933990-pat00002
Represents the average power of r 0 to r 0 + m times at frequency f k ).

또 다른 측면에 따르면, 사용자 의도인지 분석 방법은, 상기 의도인지에 대한 검출 결과를 상기 사용자가 확인 가능하도록 표시하는 단계를 더 포함할 수 있다.According to another aspect, the user's intention recognition analysis method may further include displaying the detection result of the intention recognition so that the user can confirm the intention recognition result.

또 다른 측면에 따르면, 사용자 의도인지 분석 방법은, 상기 운동 감각과 관련된 주파수 영역을 분류하는 단계와, 상기 사용자의 의도인지를 검출하는 단계를 반복 수행하는 단계를 더 포함할 수 있다.According to another aspect, the user's intent awareness analysis method may further include the step of classifying the frequency region related to the kinesthetic sense and the step of detecting the intent of the user.

본 발명의 실시예에 따르면, 사용자 의도인지 분석 장치는, 사용자의 뇌파 데이터를 주파수 신호로 변환한 후 상기 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하는 식별부; 및 상기 주파수 영역의 뇌파 데이터에서 상기 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 상기 사용자의 의도인지(intention recognition)를 검출하는 검출부를 포함할 수 있다.According to an embodiment of the present invention, the user's intent perception analyzing apparatus includes an identification unit for converting user's brain wave data into a frequency signal and classifying a frequency region related to a kinesthetic sensation according to a band of the converted frequency signal; And a detection unit for detecting intention recognition of the user by analyzing characteristics of the user in the frequency domain based on the motor imagery of the user.

본 발명의 실시예들에 따르면, 사용자의 획득된 뇌파의 분류 및 분석이 용이하고 뇌파의 정량화를 통해 신호의 정확도를 높일 수 있다는 장점이 있다.According to the embodiments of the present invention, it is easy to classify and analyze the acquired EEG, and it is possible to increase the accuracy of the signal by quantifying the EEG.

본 발명의 실시예들에 따르면, 사용자의 의도인지 파악을 바탕으로 별도의 소프트웨어와 결합하여 게임을 비롯한 교육분야의 컨텐츠에 적용할 수 있다는 장점이 있다.According to the embodiments of the present invention, it is possible to apply the present invention to contents in the educational field including games in combination with other software based on the intention of the user.

도 1은 본 발명의 일 실시예에 있어서, STFT와 PSO를 이용한 사용자 의도인지 분석 방법을 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 있어서, EEG 측정 장치의 전극 부착 위치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 있어서, FC5와 FC6의 파워 스펙트럼 결과를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 있어서, 오른손과 왼손의 움직임 상상에 대하여 FC5와 FC6의 결과값에 따른 ERS 현상을 나타낸 결과를 도시한 것이다.
도 5는 본 발명의 일 실시예에 있어서, PSO의 결과를 도시한 것이다.
도 6은 본 발명의 일 실시예에 있어서, 움직임 상상 EEG 신호 기반 BCI 시스템 구조를 도시한 것이다.
도 7은 본 발명의 일 실시예에 있어서, STFT와 PSO를 이용한 사용자 의도인지 분석 장치의 내부 구성을 도시한 블럭도이다.
FIG. 1 is a flowchart illustrating a user's intent perception analysis method using an STFT and a PSO in an embodiment of the present invention.
2 is a view for explaining an electrode attaching position of an EEG measuring apparatus according to an embodiment of the present invention.
Fig. 3 is a diagram showing the power spectrum results of FC5 and FC6 in one embodiment of the present invention. Fig.
FIG. 4 shows the results of the ERS phenomenon according to the results of FC5 and FC6 with respect to the motion image of the right hand and the left hand, according to an embodiment of the present invention.
Figure 5 shows the results of a PSO in one embodiment of the present invention.
6 illustrates a BCI system structure based on a motion imaginary EEG signal in an embodiment of the present invention.
7 is a block diagram illustrating an internal configuration of a user's intent perception analysis apparatus using STFT and PSO in an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when a part is referred to as "including " an element, it does not exclude other elements unless specifically stated otherwise.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 실시예에서는 BCI(Brain Computer Interface)를 위한 사용자 의도인지 분석 방법에 관한 것으로, 뇌파를 측정하고 측정된 뇌파에서 정확한 의도인지 분류 기술과, 개개인 마다 다른 주파수 영역에서 나타나는 ERS(Event-Related Synchronization)의 특징을 가장 많이 발현되는 주파수 영역을 정의하기 위한 방법 및 솔루션을 제공한다.The present invention relates to a user's intention recognition method for BCI (Brain Computer Interface), which includes an accurate intent cognition classification technique in measured brain waves and an Event-Related Synchronization (ERS) The present invention provides a method and a solution for defining a frequency region in which a characteristic of a frequency band is most expressed.

본 발명은 사람의 뇌파를 전기적인 신호로 변환한 EEG를 이용하여 전자기기를 제어하는 것이 목적이다. 이를 위해 측정된 뇌파에서 사용자의 정확한 의도인지를 분류하기 위한 분류기술이 필요로 한다. 또한, 개개인 마다 다른 주파수 영역에서 나타나는 ERS의 특징을 가장 많이 발현되는 주파수 영역을 정의해야 한다. 따라서, 본 발명에서는 상술한 의도인지 분류기술과 주파수 영역을 정의하기 위한 방법 및 솔루션을 제공한다.An object of the present invention is to control an electronic device using an EEG in which a human brain wave is converted into an electrical signal. To do this, a classification technique is needed to classify the user's exact intention in the measured EEG. In addition, it is necessary to define the frequency region in which the characteristics of the ERS appearing in different frequency regions are expressed most individually. Therefore, the present invention provides a method and solution for defining the frequency domain and the intention recognition classification technique described above.

설명에 앞서 용어를 정의하면, BCI는 인간의 두뇌와 컴퓨터를 직접 연결해 뇌파를 통해 컴퓨터를 제어하는 인터페이스 기술로 정의되며, 넓게는 HCI(Human Computer Interface)기술에 속한다. 또한, 뇌파를 통해 휠체어나 로봇과 같은 기계를 조작할 수도 있기 때문에, BCI 기술은 BMI(Brain Machine Interface)라고 불리기도 한다. BCI 기술의 구현은 뇌파 자극을 인식(Acquisition)하는 장치를 통해 뇌파를 측정한 후, 신호화 과정(Signal Processing)을 거쳐 뇌파를 분석해 입출력 장치에 명령을 내리는 과정을 거치게 된다.BCI is defined as an interface technology that directly connects a human brain with a computer to control the computer through brain waves. It is widely known as HCI (Human Computer Interface) technology. In addition, BCI technology is sometimes referred to as BMI (Brain Machine Interface) because brain waves can manipulate machines such as wheelchairs and robots. The implementation of BCI technology involves measuring brain waves through a device that recognizes EEG stimuli, analyzing EEG through signal processing, and then issuing commands to input / output devices.

시각적 자극으로 왼손이나 오른손 움직임을 상상하는 동안 피험자의 μ 리듬 영역에서는 활동이 쇠약해지거나 차단되는 현상 혹은 억제되는 현상이 나타나며, 이러한 현상을 ERD(Event-Related desynchronization)라고 한다. 주로 μ 리듬과 β 리듬 영역 중 국소적으로 β 에서 발생하게 된다. ERS는 ERD와 상반된 특징을 가지고 있으며 EEG의 진폭이 증가하게 되는 현상을 말한다.In visual rhythm, while imagining left-handed or right-handed movements, activity in the rhythm area of the subject is weakened or blocked, or suppressed, and this phenomenon is referred to as event-related desynchronization (ERD). Mainly occurs in β in the μ rhythm and β rhythm region. ERS is a phenomenon that is opposite to that of ERD and increases the amplitude of the EEG.

STFT(Short-Time Fourier Transform)은 시간-주파수 해석을 위한 가장 간단한 방법으로 짧게 쪼개진 시간 영역에서 원하는 부분에 대한 푸리에 변환을 수행하고 기간 축을 기준 삼아 주파수 분포를 도시해 나가는 방법이다. STFT를 통해 주파수 영역의 해석과 시간 영역의 해석을 표현할 수 있다.STFT (Short-Time Fourier Transform) is the simplest method for time-frequency analysis. It performs Fourier transform on a desired part in a short time domain and shows the frequency distribution based on the time axis. STFT can be used to express frequency domain analysis and time domain analysis.

PSO(Particle Swarm Optimization)는 확률론적 최적화 기법으로, 집단을 이루는 구성 요소들의 사회성을 기반으로 최적화를 수행한다. 여기서, 개체들(particle)은 탐색 공간 내에서 최적의 장소로 이동하며 각 개체들의 위치는 두 개의 최적의 값을 업데이트 하면서 새로운 위치의 값을 갖게 된다는 것에 기초한다. 초기 불규칙한 해들의 모임으로 시작하지만 각 잠재적인 해들이 다시 랜덤한 속도와 이전 잠재적인 해들의 결합으로 구성된다는 측면에서 다르며, 최적의 위치정보를 가지는 개체를 pbest라고 하며, pbest의 모든 개체 중 가장 최적의 위치정보를 나타내는 개체를 gbest라 한다.PSO (Particle Swarm Optimization) is a probabilistic optimization technique that performs optimization based on the sociability of groups of components. Here, the particles are moved to the optimal location in the search space, and the position of each entity is based on the updating of the two optimal values to obtain the value of the new location. It begins with a group of initial irregular solutions, but differs in that each potential solution consists of a combination of random velocity and previous potential solutions. An object with optimal location information is called pbest, and the most optimal Is an object representing the position information of the object.

도 1은 본 발명의 일 실시예에 있어서, 사용자 의도인지 분석을 위해 STFT와 PSO를 이용하여 주파수 대역에서의 최대 진폭과 시간을 선택하는 과정을 도시한 순서도이다.FIG. 1 is a flowchart illustrating a process of selecting a maximum amplitude and a time in a frequency band using a STFT and a PSO in order to analyze a user's intention recognition according to an exemplary embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 일 실시예에 따른 사용자 의도인지 분석 방법은 뇌파 획득 단계(110), 필터링 적용 단계(120), STFT 적용 단계(130), 자극 제시 단계(140), PSO 적용 단계(150), 사용자 의도인지 분류 단계(160)를 포함할 수 있다. 일 실시예에 따른 사용자 의도인지 분석 방법은 이하에서 설명하게 될 사용자 의도인지 분석 장치에 의해 각각의 단계가 수행될 수 있다.Referring to FIG. 1, a user's intent perception analysis method according to an exemplary embodiment includes an EEG acquisition step 110, a filtering application step 120, an STFT application step 130, a stimulus presentation step 140, a PSO application step 150 , And a user's intent recognition categorization step 160. The user intent perception analysis method according to one embodiment can be performed by each step of the user intent perception analysis apparatus to be described below.

먼저, 뇌파 획득 단계(110)에서 사용자 의도인지 분석 장치는 EEG 측정 장치(예컨대, Emotiv사의 EPOC 장치)로부터 실제 측정된 로우 EEG 신호(raw EEG signal)를 획득할 수 있다. 그리고, 사용자 의도인지 분석 장치는 획득한 뇌파 데이터에서 노이즈를 제거하거나 미약한 뇌파 데이터를 증폭함으로써 뇌파 데이터에 대한 전처리 과정을 수행할 수 있다.First, in the EEG acquisition step 110, the user's intent awareness analyzing apparatus can acquire an actually measured raw EEG signal from an EEG measurement apparatus (e.g., Emotiv's EPOC apparatus). Then, the user's intent perception analyzing apparatus can perform a preprocessing process on EEG data by removing noise from the acquired EEG data or amplifying weak EEG data.

본 실시예에서는 128SPS(2048㎐)의 샘플링 레이트(sampling rate)를 가지는 14채널의 전극을 10-20 전극 위치법에 따라 사용자에게 부착하여 사용자의 실제 뇌파 데이터를 획득할 수 있다. 필요 이상의 샘플링 레이트는 처리할 데이터의 비대화를 초래하여 처리 속도 저하의 문제가 발생하며 실시간 구동에 있어서 많은 제약 사항으로 작용될 수 있다. 이에, 본 실시예에서는 뇌파 분석에 필요한 최소 필요 샘플링 수인 128SPS가 바람직하며, 이에 한정되는 것은 아니고 뇌파계에서 정의하기에 따라서 일정 범위(128±αSPS) 내에서 얼마든지 변경 가능하다.In this embodiment, 14-channel electrodes having a sampling rate of 128SPS (2048 Hz) can be attached to a user in accordance with the 10-20 electrode position method to acquire real brain wave data of a user. A sampling rate higher than necessary causes an increase in the data to be processed, resulting in a problem of lowering the processing speed and can be a limitation in real time driving. In this embodiment, 128SPS, which is the minimum necessary sampling number required for EEG analysis, is preferable. However, it is not limited to 128SPS, and it can be changed within a certain range (128 +?

도 2는 본 발명의 일 실시예에 있어서, EEG 측정 장치의 전극 부착 위치를 설명하기 위한 도면이다. 사용자의 두뇌에 전극을 부착하여 뇌파 데이터를 측정하게 되며, 이때 뇌파를 측정하기 위한 전극 부착 위치는 도 2에 도시한 바와 같이 국제 표준법인 10-20 전극 시스템에 의거하여 두피의 14개 부위(AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4)를 선택적으로 결정할 수 있다.2 is a view for explaining an electrode attaching position of an EEG measuring apparatus according to an embodiment of the present invention. The electrodes are attached to the user's brain to measure EEG data. At this time, as shown in FIG. 2, the positions of the electrodes for measuring the EEG are determined based on 14-20 parts of the scalp (AF3 , F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4.

다시 도 1에서, 필터링 적용 단계(120)에서 사용자 의도인지 분석 장치는 획득한 뇌파 데이터에서 뮤리듬(μ) 영역인 8-12㎐ 영역을 분류할 수 있다. 이때, 사용자 의도인지 분석 장치는 DNF(digital notch filter) 또는 BPF(band pass filter)를 이용하여 필요한 영역을 분류할 수 있다. 뇌파에서의 운동 감각에 따른 특징은 주로 8-30㎐의 주파수 영역에서 나타난다. 본 발명에서 8-12㎐영역을 사용하는 이유는 PSO를 넓은 주파수 영역에 적용할 경우 극댓값(local maximum)에 빠질 확률이 높고, 뇌의 운동 감각 피질 영역에서 발생하는 뮤리듬(μ, 8-12㎐) 영역만을 사용하더라도 움직임 상상에 대한 분류가 가능하기 때문이다.Referring again to FIG. 1, in the filtering application step 120, the user's intention recognition analyzing apparatus can classify the 8-12 Hz region, which is a mu rhythm (μ) region, in the obtained EEG data. At this time, the user's intentional cognitive analysis apparatus can classify a necessary area using a DNF (digital notch filter) or a BPF (band pass filter). The characteristics according to kinesthetic sensation in EEG appear mainly in the frequency range of 8-30 Hz. The reason for using the 8-12 Hz region in the present invention is that when PSO is applied to a wide frequency region, the probability of falling into a local maximum is high and mu rhythms (μ, 8-12 ㎐), it is possible to classify motion imagery.

STFT 적용 단계(130)에서 사용자 의도인지 분석 장치는 8-12㎐ 영역의 뇌파 데이터를 짧게 쪼개진 시간 영역에 대한 푸리에 변환을 수행할 수 있다.In the STFT application step 130, the user's intent perception apparatus can perform Fourier transform on the time domain in which the EEG data in the 8-12 Hz region is briefly cleaved.

즉, 사용자 의도인지 분석 장치는 전처리된 뇌파 데이터를 기 설정된 알고리즘에 입력하여 주파수 신호로 변환하고, 변환된 주파수 영역에 따라 원하는 부분의 뇌파를 분류할 수 있다.That is, the user's intent perception analyzing apparatus inputs the preprocessed EEG data into a preset algorithm, converts the EEG data into frequency signals, and classifies the desired EEG according to the converted frequency domain.

이어, 자극 제시 단계(140)에서 사용자 의도인지 분석 장치는 STFT를 통해 상기 변환된 뇌파 데이터에 대한 시간-주파수 해석을 수행할 수 있다. 이때, STFT는 해밍 윈도우(hamming window)를 사용할 수 있으며, 각 주파수 영역에서 ERS를 검출하기 위해 수학식 1을 사용하여 ERS의 파워 스펙트럼(power spectrum)을 구할 수 있다.Then, in the stimulus presenting step 140, the user's intent perception apparatus can perform time-frequency analysis on the converted EEG data through STFT. In this case, the STFT can use a hamming window, and the power spectrum of the ERS can be obtained using Equation 1 to detect ERS in each frequency region.

Figure 112013081933990-pat00003
Figure 112013081933990-pat00003

여기서, P는 파워를 나타내고, j는 시간을 나타내고, fk는 주파수를 나타내며,

Figure 112013081933990-pat00004
는 fk 주파수에서의 r0에서 r0+m 시간의 평균 파워를 나타낸다.Here, P represents the power, j denotes the amount of time, f k denotes a frequency,
Figure 112013081933990-pat00004
Represents the average power of r 0 to r 0 + m time at f k frequency.

도 3은 FC5와 FC6의 파워 스펙트럼 결과를 나타내는 도면이다.3 is a diagram showing the power spectrum results of FC5 and FC6.

요컨대, ERS는 다음과 같은 순서로 구할 수 있다.In short, ERS can be obtained in the following order.

1. 로우 EEG 신호를 수집한다(Sampling rate 2048㎐).1. Collect the low EEG signal (Sampling rate 2048 Hz).

2. μ 영역의 주파수 성분의 데이터를 BPF(band pass filter)(8-12㎐)를 사용하여 추출한다.2. Extract the data of the frequency component of μ field using BPF (band pass filter) (8-12 Hz).

3. 모든 단계(Trial)에 대하여 평균을 구한다.(큐를 시작으로 4초 동안의 움직임 상상을 수행하며, 1-2초는 휴식을 가진다.)3. Calculate averages for all trials (perform a 4-second motion imagination starting with the cue, and 1-2 seconds have a rest).

4. 평균값을 수학식 2에 대입하여 j 시간의 파워 Pj를 구한 후, 그 해를 수학식 3에 대입하여 최종적인 ERS 값을 계산한다4. Substitute the average value into the equation (2) to obtain the power P j of the time j , and then substitute the solution into the equation (3) to calculate the final ERS value

Figure 112013081933990-pat00005
Figure 112013081933990-pat00005

Figure 112013081933990-pat00006
Figure 112013081933990-pat00006

도 4는 오른손과 왼손의 움직임 상상에 대하여 FC5와 FC6의 결과값에 따른 ERS 현상을 나타낸 결과를 도시한 것이다.FIG. 4 shows the results of the ERS phenomenon according to the results of FC5 and FC6 with respect to the motion image of the right hand and the left hand.

다시 도 1에서, PSO 적용 단계(150)에서 사용자 의도인지 분석 장치는 ERS에 해당되는 리듬 영역에 PSO알고리즘을 사용하여 개체(particle)과 군(swarm)이 결합된 최적점(optimal point)을 찾는다. 이때, 최적점은 움직임 상상 시 증가되는 진폭이며, Fitness value는

Figure 112013081933990-pat00007
로 최대 파워와 시간 주파수이다. 도 5는 PSO 적용 단계(150)에서 얻어진 PSO의 결과를 도시한 것이다.Referring again to FIG. 1, in the PSO applying step 150, the user's intent perception apparatus searches for an optimal point in which a particle and a swarm are combined using a PSO algorithm in a rhythm region corresponding to the ERS . In this case, the optimal point is the amplitude that is increased when the motion is imagined, and the fitness value
Figure 112013081933990-pat00007
As is the maximum power and time frequency. FIG. 5 shows the result of the PSO obtained in the PSO application step 150. FIG.

따라서, 본 실시예에서는 뇌파 데이터의 분석을 위해 STFT를 이용하여 주파수 영역에서의 해석 방법을 제시하고 확률론적 최적화 기법으로 최적화를 수행할 수 있다.Therefore, in this embodiment, an analysis method in the frequency domain using the STFT for the analysis of brain wave data can be presented, and the optimization can be performed by the probabilistic optimization technique.

마지막으로, 도 1에서 사용자 의도인지 분류 단계(160)에서 사용자 의도인지 분석 장치는 뇌파 데이터의 분석을 통해 특징점을 통한 의도인지를 판단할 수 있다. 이때, 사용자 의도인지 분석 장치는 8-12㎐ 주파수 영역의 평균 진폭에서 최대 진폭을 찾아 ERS가 가장 많이 발생하는 주파수를 확인할 수 있다. 이때, 개체 위치(particle position)와 속도(velocity)가 같은 경우 수학식 4를 통해 업데이트 시켜준다.Finally, in FIG. 1, the user's intent recognition categorization apparatus 160 can determine whether the user's intention is through the feature point by analyzing EEG data. At this time, the user's intent awareness analyzing apparatus finds the maximum amplitude at the average amplitude in the 8-12 Hz frequency region and can identify the frequency at which the ERS is most generated. At this time, when the particle position and the velocity are the same, an update is made using Equation (4).

Figure 112013081933990-pat00008
Figure 112013081933990-pat00008

사용자 의도인지 분류 단계(160)에서 검출된 의도인지의 결과는 사용자가 확인 가능하도록 표시 수단을 통해 표시될 수 있다.The result of the intention recognition detected in the user's intention recognition step 160 may be displayed through the display means so that the user can confirm the result.

의도인지의 결과는 실시간으로 변하게 되므로, 사용자 의도인지 분류 단계(160) 이후 다시 사용자의 뇌파 데이터를 획득하는 단계(110)부터 상기한 과정들을 반복 수행한다.Since the result of the intention recognition is changed in real time, the process is repeated from the step 110 of acquiring the user's brain wave data again after the user's intention recognition classification step 160. [

사용자 의도인지 분석 장치는 뇌의 운동 감각 피질 영역에서 발생하는 뮤리듬(μ) 영역에서 증가하는 신호의 패턴인 ERS를 STFT와 PSO를 이용하여 검출할 수 있다. 다시 말해, 사용자 의도인지 분석 장치는 ERS가 가장 많이 발현되고 전압이 큰 주파수를 검출하기 위해 8-12㎐ 주파수 영역의 EEG 평균에서 PSO를 이용하여 가장 큰 진폭을 가지는 주파수를 확인한 후, 해당 주파수를 사용하여 각 채널에서 움직임 상상 시 나타나는 ERS의 특징을 PSO를 이용하여 찾을 수 있으며, 개개인 마다 다른 주파수 영역에서 나타나는 ERS의 특징을 가장 많이 발현되는 주파수 영역으로 고정하여 분석함으로써 사용자의 의도인지를 정확히 판단할 수 있다.The user's intention cognitive analyzer can detect the ERS, which is a pattern of signals increasing in the mu rhythm (μ) region occurring in the kinesthetic sensory cortex region of the brain, using STFT and PSO. In other words, the user's intention cognitive analyzer uses the PSO in the EEG average of 8-12 Hz to detect the frequency with the largest amplitude and detects the frequency with the highest frequency, It is possible to find the characteristics of ERS which appear in motion imagination in each channel by using PSO. By analyzing the characteristics of ERS appearing in different frequency regions for each individual by fixing it to the most frequently expressed frequency region, can do.

상기한 사용자 의도인지 분석 방법을 적용한 BCI 시스템의 기본적인 구조는 도 6과 같다.The basic structure of the BCI system to which the above-described user's intention recognition analysis method is applied is shown in FIG.

도 6에 도시한 바와 같이, 교정 단계(Calibration Phase)에서는 수집된 EEG에서 잡음을 제거하거나 미약한 EEG를 증폭하기 위한 신호 처리 전처리 과정(preprocessing), 및 EEG를 분류할 때의 인식률을 높이기 위해 전처리 과정을 거친 데이터를 중요하거나 혹은 중요하지 않은 부분으로 구분하기 위한 특징 추출 과정(feature extraction)과 분류 학습 과정(classifier training)을 거치게 된다. 마지막으로, 피드백 단계(feedback phase)에서는 특징 추출 단계에서 얻은 특징들이 어떤 집단에 속하는지 분류를 하기 위한 특징 분류 과정(classifier)을 거쳐 분류된 데이터를 이용하여 여러 전자기 장치를 컨트롤 할 수 있다.As shown in FIG. 6, in the calibration phase, a signal processing preprocessing process for removing noise from the collected EEG or amplifying a weak EEG, and a preprocessing process for enhancing the recognition rate when classifying the EEG And feature extraction and classifier training to classify the processed data as important or unimportant parts. Finally, in the feedback phase, various electromagnetic devices can be controlled using data classified through a classifier to classify which group the features obtained in the feature extraction step belong to.

본 발명에 따른 사용자 의도인지 분석 방법은 도 1 내지 도 6을 통해 설명한 상세 내용을 바탕으로 적어도 둘 이상의 동작들을 포함할 수 있다. 이때, 둘 이상의 동작이 조합될 수 있고, 동작들의 순서나 위치가 변경될 수 있다.The user's intent perception analysis method according to the present invention may include at least two operations based on the details described with reference to FIG. 1 through FIG. At this time, two or more operations can be combined, and the order or position of operations can be changed.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에서는 사용자의 대뇌피질에서 측정된 뇌파 데이터를 전처리를 통해 정제하는 단계; 정제된 뇌파 데이터를 주파수 신호로 변환한 후 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하는 단계; 및 주파수 영역의 뇌파 데이터에서 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 사용자의 의도인지를 검출하는 단계를 포함하는 프로그램이 기록되는 컴퓨터 판독 가능 매체를 포함할 수 있다.The methods according to embodiments of the present invention may be implemented in the form of a program instruction that can be executed through various computer systems and recorded in a computer-readable medium. Particularly, in this embodiment, the EEG data measured in the cerebral cortex of the user is purified through a preprocessing step; Classifying the frequency domain related to the kinesthetic sensation according to the band of the converted frequency signal after converting the purified brain wave data into a frequency signal; And analyzing characteristics of the user's motor imagery in the frequency domain EEG data to detect the intention of the user.

도 7은 본 발명의 일 실시예에 있어서, STFT와 PSO를 이용한 사용자 의도인지 분석 장치의 내부 구성을 도시한 블록도이다. 도 7에 도시한 바와 같이, 일 실시예에 따른 사용자 의도인지 분석 장치는 전처리부(710), 식별부(720), 검출부(730), 및 표시부(740)를 포함하여 구성될 수 있다. 일 실시예에 따른 사용자 의도인지 분석 장치는 도 1 내지 도 6을 통해 설명한 사용자 의도인지 분석 방법의 상세 내용을 바탕으로 구성 요소가 보다 단축되거나 추가의 구성 요소들이 더 포함될 수 있다.FIG. 7 is a block diagram illustrating an internal configuration of a user's intent perception analysis apparatus using an STFT and a PSO in an embodiment of the present invention. Referring to FIG. 7, the user's intent awareness analyzing apparatus according to an embodiment may include a pre-processing unit 710, an identification unit 720, a detection unit 730, and a display unit 740. The user's intent awareness analyzing apparatus according to an embodiment may further shorten the elements or further include additional elements based on the details of the user's intent perception analysis method described with reference to FIG. 1 through FIG.

전처리부(710)는 EEG 측정 장치로부터 측정된 사용자의 뇌파 데이터를 획득한 후 획득한 뇌파 데이터에서 노이즈를 제거하거나 미약한 뇌파 데이터를 증폭함으로써 뇌파 데이터에 대한 전처리 과정을 수행할 수 있다. 이때, 뇌파를 측정하기 위한 전극 부착 위치는 국제 표준법인 10-20 전극 시스템에 의거하여 두피의 14개 부위(AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4)를 선택적으로 결정할 수 있다.The preprocessing unit 710 may perform preprocessing on EEG data by removing noise from the EEG data acquired after acquiring the measured EEG data from the EEG measuring apparatus or amplifying weak EEG data. At this time, the positions of the electrodes for measuring the EEG were determined based on the 14-20 regions (AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4) can be selectively determined.

식별부(720)는 전처리 된 뇌파 데이터를 기 설정된 알고리즘에 입력하여 뇌파 데이터를 주파수 신호로 변환하고, 변환된 주파수 영역에 따라 뇌파를 분류하는 역할을 수행한다. 식별부(720)는 획득한 뇌파 데이터에서 뮤리듬(μ) 영역인 8-12㎐ 영역을 분류할 수 있다. 이때, 식별부(720)는 DNF(digital notch filter) 또는 BPF(band pass filter)를 이용하여 필요한 영역을 분류할 수 있다.The identification unit 720 inputs the pre-processed EEG data into a predetermined algorithm, converts EEG data into frequency signals, and performs classification of EEG according to the converted frequency domain. The identification unit 720 can classify the 8-12 Hz region, which is the mu rhythm (mu) region, in the obtained EEG data. At this time, the identifying unit 720 can classify the required area using a digital notch filter (DNF) or a band pass filter (BPF).

검출부(730)는 분류된 뇌파 데이터의 분석을 통해 특징점을 통한 의도인지를 판단하는 역할을 수행한다. 먼저, 검출부(730)는 STFT를 통해 상기 변환된 뇌파 데이터에 대한 시간-주파수 해석을 수행할 수 있다. 이때, STFT는 해밍 윈도우(hamming window)를 사용할 수 있으며, 각 주파수 영역에서 ERS를 검출하기 위해 상기 수학식 1을 사용하여 ERS의 파워 스펙트럼(power spectrum)을 구할 수 있다. 그리고, 검출부(730)는 ERS에 해당되는 리듬 영역에 PSO알고리즘을 사용하여 개체(particle)과 군(swarm)이 결합된 최적점(optimal point)을 찾을 수 있다. 이때, 최적점은 움직임 상상 시 증가되는 진폭이며, Fitness value는

Figure 112013081933990-pat00009
로 최대 파워와 시간 주파수이다. 다시 말해, 검출부(730)는 8-12㎐ 주파수 영역의 평균 진폭에서 최대 진폭을 찾아 ERS가 가장 많이 발생하는 주파수를 확인할 수 있다.The detection unit 730 determines the intention through the feature points through analysis of the classified EEG data. First, the detection unit 730 may perform a time-frequency analysis on the converted EEG data through STFT. In this case, the STFT can use a hamming window, and the power spectrum of the ERS can be obtained using Equation (1) to detect ERS in each frequency region. The detector 730 may use the PSO algorithm in the rhythm region corresponding to the ERS to find an optimal point in which particles and swarms are combined. In this case, the optimal point is the amplitude that is increased when the motion is imagined, and the fitness value
Figure 112013081933990-pat00009
As is the maximum power and time frequency. In other words, the detector 730 finds the maximum amplitude at the average amplitude in the 8-12 Hz frequency region and can identify the frequency at which the ERS is most generated.

표시부(740)는 검출부(730)를 통해 검출된 사용자의 의도인지를 표시할 수 있다. 검출된 의도인지의 결과는 실시간으로 변하게 되므로 사용자 의도인지 분류 이후 다시 사용자의 뇌파 데이터를 획득하는 과정부터 상기한 과정들을 반복 수행하면서 사용자의 의도인지에 대한 실시간 검출 결과를 사용자가 확인 가능하도록 표시부(740)를 통해 표시해줄 수 있다.The display unit 740 can display the intention of the user detected through the detection unit 730. Since the result of detection of the intention is changed in real time, the process of repeating the above processes is repeated from the process of acquiring the user's brain wave data again after the user's intention recognition classification, so that the user can confirm the result of real- 740).

상기한 구성에 따르면, 사용자 의도인지 분석 장치는 뇌의 운동 감각 피질 영역에서 발생하는 뮤리듬(μ) 영역에서 증가하는 신호의 패턴인 ERS를 STFT와 PSO를 이용하여 검출할 수 있다. 다시 말해, 사용자 의도인지 분석 장치는 ERS가 가장 많이 발현되고 전압이 큰 주파수를 검출하기 위해 8-12㎐ 주파수 영역의 EEG 평균에서 PSO를 이용하여 가장 큰 진폭을 가지는 주파수를 확인한 후, 해당 주파수를 사용하여 각 채널에서 움직임 상상 시 나타나는 ERS의 특징을 PSO를 이용하여 찾을 수 있으며, 개개인 마다 다른 주파수 영역에서 나타나는 ERS의 특징을 가장 많이 발현되는 주파수 영역으로 고정하여 분석함으로써 사용자의 의도인지를 정확히 판단할 수 있다.According to the above configuration, the user's intent perception analyzing apparatus can detect the ERS, which is a pattern of signals increasing in the mu rhythm (mu) region occurring in the kinesthetic sensory cortex region of the brain, using STFT and PSO. In other words, the user's intention cognitive analyzer uses the PSO in the EEG average of 8-12 Hz to detect the frequency with the largest amplitude and detects the frequency with the highest frequency, It is possible to find the characteristics of ERS which appear in motion imagination in each channel by using PSO. By analyzing the characteristics of ERS appearing in different frequency regions for each individual by fixing it to the most frequently expressed frequency region, can do.

이와 같이, 본 발명의 실시예들에 따르면, 사용자의 획득된 뇌파의 분류 및 분석이 용이하고 뇌파의 정량화를 통해 신호의 정확도를 높일 수 있다는 장점이 있다. 또한, 본 발명의 실시예들에 따르면, 사용자의 의도인지 파악을 바탕으로 별도의 소프트웨어와 결합하여 게임을 비롯한 교육분야의 컨텐츠에 적용할 수 있다는 장점이 있다.As described above, according to the embodiments of the present invention, it is easy to classify and analyze the obtained EEG, and it is possible to increase the accuracy of the signal through quantification of brain waves. In addition, according to embodiments of the present invention, it is possible to apply the present invention to contents in the education field including games in combination with other software based on the intention of the user.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

710: 전처리부
720: 식별부
730: 검출부
740: 표시부
710:
720:
730:
740:

Claims (25)

삭제delete 사용자 의도인지 분석 방법에 있어서,
상기 사용자 의도인지 분석 방법은 전처리부, 식별부, 검출부, 표시부를 포함하는 사용자 의도인지 분석 장치에 의해 실행되며,
상기 전처리부에서, EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터를 획득하는 단계;
상기 식별부에서, 상기 뇌파 데이터를 주파수 신호로 변환한 후 상기 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하는 단계;
상기 검출부에서, 상기 주파수 영역의 뇌파 데이터에서 상기 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 상기 사용자의 의도인지(intention recognition)를 검출하는 단계; 및
상기 표시부에서, 상기 의도인지에 대한 검출 결과를 상기 사용자가 확인 가능하도록 표시하는 단계
를 포함하고,
상기 뇌파 데이터는 128SPS(2048㎐)의 샘플링 레이트(sampling rate)를 가지는 14개 채널의 전극을 상기 사용자에게 부착하여 측정된 뇌파 신호이며,
상기 전극은 국제 표준법인 10-20법(ten-twenty electrode system)에 의거하여 두피의 14개 부위인 AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4에 부착되고,
상기 운동 감각과 관련된 주파수 영역을 분류하는 단계는,
DNF(digital notch filter)를 이용하여 뇌파의 뮤리듬(μ) 영역을 분류하고,
상기 사용자의 뇌파 데이터를 획득하는 단계와, 상기 운동 감각과 관련된 주파수 영역을 분류하는 단계와, 상기 사용자의 의도인지를 검출하는 단계와, 상기 의도인지에 대한 검출 결과를 표시하는 단계를 반복 수행하는 것
을 특징으로 하는 사용자 의도인지 분석 방법.
In a user's intention recognition method,
The user's intention recognition analysis method is executed by a user's intention recognition analysis apparatus including a pre-processing unit, an identification unit, a detection unit, and a display unit,
Acquiring brain wave data of a user measured by an EEG (electroencephalogram) measuring device in the preprocessing unit;
Converting the brain wave data into a frequency signal and classifying a frequency region related to a kinesthetic sensation according to a band of the converted frequency signal;
Detecting intention recognition of the user by analyzing a feature appearing in the frequency domain based on motor imagery of the user in the detection unit; And
Displaying on the display unit a result of detection of the intention that the user can confirm
Lt; / RTI >
The brain wave data is an EEG signal measured by attaching 14 channels of electrodes having a sampling rate of 128SPS (2048 Hz) to the user,
F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, and F4 of the scalp according to an international standard 10-20 method. F8, AF4,
Wherein classifying the frequency domain associated with the kinesthetic sensation comprises:
We classify the mu rhythm (μ) region of EEG using DNF (digital notch filter)
The method comprising the steps of: acquiring brain wave data of the user; classifying the frequency region related to the kinesthetic sensation; detecting the intention of the user; and displaying the detection result of the intention recognition that
And a user's intention recognition method.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제2항에 있어서,
상기 사용자의 의도인지를 검출하는 단계는,
뇌의 운동 감각 피질 영역에서 발생하는 뮤리듬(μ) 영역에서 증가하는 신호의 패턴인 ERS(event-related synchronization)를 검출함으로써 상기 사용자의 의도인지를 확인하는 것
을 특징으로 하는 사용자 의도인지 분석 방법.
3. The method of claim 2,
Wherein the step of detecting the intention of the user comprises:
Checking the user's intention by detecting an event-related synchronization (ERS) which is a pattern of signals increasing in a mu rhythm (mu) region occurring in the kinesthetic sensory cortex region of the brain
And a user's intention recognition method.
제2항에 있어서,
상기 사용자의 의도인지를 검출하는 단계는,
상기 뇌파 데이터 중 뇌의 운동 감각 피질 영역에서 발생하는 뮤리듬(μ) 영역의 뇌파 데이터를 STFT(Short-Time Fourier Transform)를 통해 시간 영역에 대한 푸리에 변환을 수행하는 단계; 및
PSO(Particle Swarm Optimization) 알고리즘을 사용하여 상기 뮤리듬(μ) 영역의 평균 진폭에서 최대 진폭을 가진 최적점(optimal point)의 주파수를 찾는 단계
를 포함하는 사용자 의도인지 분석 방법.
3. The method of claim 2,
Wherein the step of detecting the intention of the user comprises:
Performing Fourier transform on time-domain through short-time Fourier transform (STFT) of brain wave data of a mu rhythm (mu) region occurring in a kinetic sensory cortex region of the brain among the brain wave data; And
A step of finding a frequency of an optimal point having a maximum amplitude in an average amplitude of the mu rhythm area using a PSO (Particle Swarm Optimization) algorithm
A user's intention recognition method.
제10항에 있어서,
상기 시간 영역에 대한 푸리에 변환을 수행하는 단계는,
상기 사용자의 움직임 상상 시 상기 뮤리듬(μ) 영역에서 증가하는 신호의 패턴인 ERS(event-related synchronization)를 검출하기 위해 수학식 1을 이용하여 상기 ERS의 파워 스펙트럼(power spectrum)을 구하는 것
을 특징으로 하는 사용자 의도인지 분석 방법.
수학식 1:
Figure 112013081933990-pat00010

(여기서, P는 파워를 나타내고, j는 시간을 나타내고, fk는 주파수를 나타내며,
Figure 112013081933990-pat00011
는 fk 주파수에서의 r0에서 r0+m 시간의 평균 파워를 나타낸다.)
11. The method of claim 10,
Wherein performing the Fourier transform on the time domain comprises:
(1) to obtain the power spectrum of the ERS in order to detect event-related synchronization (ERS) which is a pattern of signals increasing in the mu rhythm
And a user's intention recognition method.
Equation 1:
Figure 112013081933990-pat00010

(Wherein, P represents the power, j denotes the amount of time, f k denotes a frequency,
Figure 112013081933990-pat00011
Represents the average power of r 0 to r 0 + m times at frequency f k ).
삭제delete 삭제delete 컴퓨터 시스템이 BCI(brain computer interface)를 위해 사용자의 의도인지(intention recognition)를 분석하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
상기 명령은,
EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터를 획득하는 단계;
상기 뇌파 데이터를 사용자의 뇌파 데이터를 주파수 신호로 변환한 후 상기 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하는 단계;
상기 주파수 영역의 뇌파 데이터에서 상기 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 상기 사용자의 의도인지를 검출하는 단계; 및
상기 의도인지에 대한 검출 결과를 상기 사용자가 확인 가능하도록 표시하는 단계
를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
상기 뇌파 데이터는 128SPS(2048㎐)의 샘플링 레이트(sampling rate)를 가지는 14개 채널의 전극을 상기 사용자에게 부착하여 측정된 뇌파 신호이며,
상기 전극은 국제 표준법인 10-20법(ten-twenty electrode system)에 의거하여 두피의 14개 부위인 AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4에 부착되고,
상기 운동 감각과 관련된 주파수 영역을 분류하는 단계는,
DNF(digital notch filter)를 이용하여 뇌파의 뮤리듬(μ) 영역을 분류하고,
상기 사용자의 뇌파 데이터를 획득하는 단계와, 상기 운동 감각과 관련된 주파수 영역을 분류하는 단계와, 상기 사용자의 의도인지를 검출하는 단계와, 상기 의도인지에 대한 검출 결과를 표시하는 단계를 반복 수행하는 것
을 특징으로 하는, 컴퓨터 판독가능 저장 매체.
A computer readable medium comprising instructions that control a computer system to analyze a user's intention recognition for a brain computer interface (BCI)
The command includes:
Acquiring brain wave data of a user measured from an EEG (electroencephalogram) measuring device;
Transforming brain wave data of the user into a frequency signal and classifying a frequency region related to a kinesthetic sensation according to a band of the converted frequency signal;
Analyzing features appearing in the user's motional imagery in the EEG brain wave data to detect the intention of the user; And
Displaying the detection result of the intention recognition so that the user can confirm
The method comprising: controlling the computer system by a method comprising:
The brain wave data is an EEG signal measured by attaching 14 channels of electrodes having a sampling rate of 128SPS (2048 Hz) to the user,
F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, and F4 of the scalp according to an international standard 10-20 method. F8, AF4,
Wherein classifying the frequency domain associated with the kinesthetic sensation comprises:
We classify the mu rhythm (μ) region of EEG using DNF (digital notch filter)
The method comprising the steps of: acquiring brain wave data of the user; classifying the frequency region related to the kinesthetic sensation; detecting the intention of the user; and displaying the detection result of the intention recognition that
Gt; computer-readable < / RTI >
EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터를 획득하는 전처리부;
상기 뇌파 데이터를 주파수 신호로 변환한 후 상기 변환된 주파수 신호의 대역에 따라 운동 감각과 관련된 주파수 영역을 분류하는 식별부;
상기 주파수 영역의 뇌파 데이터에서 상기 사용자의 움직임 상상(motor imagery)에 따라 나타나는 특징을 분석하여 상기 사용자의 의도인지(intention recognition)를 검출하는 검출부; 및
상기 의도인지에 대한 검출 결과를 상기 사용자가 확인 가능하도록 표시하는 표시부
를 포함하고,
상기 뇌파 데이터는 128SPS(2048㎐)의 샘플링 레이트(sampling rate)를 가지는 14개 채널의 전극을 상기 사용자에게 부착하여 측정된 뇌파 신호이며,
상기 전극은 국제 표준법인 10-20법(ten-twenty electrode system)에 의거하여 두피의 14개 부위인 AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4에 부착되고,
상기 식별부는,
DNF(digital notch filter)를 이용하여 뇌파의 뮤리듬(μ) 영역을 분류하고,
상기 사용자의 뇌파 데이터를 획득하는 과정과, 상기 운동 감각과 관련된 주파수 영역을 분류하는 과정과, 상기 사용자의 의도인지를 검출하는 과정과, 상기 의도인지에 대한 검출 결과를 표시하는 과정을 반복 수행하는 것
을 특징으로 하는 사용자 의도인지 분석 장치.
A preprocessor for acquiring EEG data measured by an EEG (electroencephalogram) measuring device;
An identification unit for converting the brain wave data into a frequency signal and classifying a frequency region related to a kinesthetic sensation according to a band of the converted frequency signal;
A detector for detecting an intention recognition of the user by analyzing a feature appearing in the frequency domain based on motor imagery of the user; And
A display unit for displaying the detection result of the intention recognition so that the user can confirm the detection result;
Lt; / RTI >
The brain wave data is an EEG signal measured by attaching 14 channels of electrodes having a sampling rate of 128SPS (2048 Hz) to the user,
F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, and F4 of the scalp according to an international standard 10-20 method. F8, AF4,
Wherein,
We classify the mu rhythm (μ) region of EEG using DNF (digital notch filter)
A step of classifying frequency regions related to the kinesthetic sense; a step of detecting intent perception of the user; and a step of displaying a result of detection of intent perception that
The user's intention recognition device comprising:
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제15항에 있어서,
상기 검출부는,
뇌의 운동 감각 피질 영역에서 발생하는 뮤리듬(μ) 영역에서 증가하는 신호의 패턴인 ERS(event-related synchronization)를 검출함으로써 상기 사용자의 의도인지를 확인하는 것
을 특징으로 하는 사용자 의도인지 분석 장치.
16. The method of claim 15,
Wherein:
Checking the user's intention by detecting an event-related synchronization (ERS) which is a pattern of signals increasing in a mu rhythm (mu) region occurring in the kinesthetic sensory cortex region of the brain
The user's intention recognition device comprising:
제15항에 있어서,
상기 검출부는,
상기 뇌파 데이터 중 뇌의 운동 감각 피질 영역에서 발생하는 뮤리듬(μ) 영역의 뇌파 데이터를 STFT(Short-Time Fourier Transform)를 통해 시간 영역에 대한 푸리에 변환을 수행한 후, PSO(Particle Swarm Optimization) 알고리즘을 사용하여 상기 뮤리듬(μ) 영역의 평균 진폭에서 최대 진폭을 가진 최적점(optimal point)의 주파수를 찾는 것
을 특징으로 하는 사용자 의도인지 분석 장치.
16. The method of claim 15,
Wherein:
The brain wave data of the mu rhythm area occurring in the kinetic sensory cortex region of the brain are subjected to Fourier transform for the time domain through STFT (Short Time Fourier Transform), then PSO (Particle Swarm Optimization) Algorithm to find the frequency of the optimal point with the maximum amplitude in the average amplitude of the mu rhythm (μ) region
The user's intention recognition device comprising:
제23항에 있어서,
상기 검출부는,
상기 사용자의 움직임 상상 시 상기 뮤리듬(μ) 영역에서 증가하는 신호의 패턴인 ERS(event-related synchronization)를 검출하기 위해 수학식 1을 이용하여 상기 ERS의 파워 스펙트럼(power spectrum)을 구하는 것
을 특징으로 하는 사용자 의도인지 분석 장치.
수학식 1:
Figure 112013081933990-pat00012

(여기서, P는 파워를 나타내고, j는 시간을 나타내고, fk는 주파수를 나타내며,
Figure 112013081933990-pat00013
는 fk 주파수에서의 r0에서 r0+m 시간의 평균 파워를 나타낸다.)
24. The method of claim 23,
Wherein:
(1) to obtain the power spectrum of the ERS in order to detect event-related synchronization (ERS) which is a pattern of signals increasing in the mu rhythm
The user's intention recognition device comprising:
Equation 1:
Figure 112013081933990-pat00012

(Wherein, P represents the power, j denotes the amount of time, f k denotes a frequency,
Figure 112013081933990-pat00013
Represents the average power of r 0 to r 0 + m times at frequency f k ).
삭제delete
KR1020130107586A 2013-09-06 2013-09-06 Analysis method of user intention recognition for brain computer interface KR101518575B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130107586A KR101518575B1 (en) 2013-09-06 2013-09-06 Analysis method of user intention recognition for brain computer interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130107586A KR101518575B1 (en) 2013-09-06 2013-09-06 Analysis method of user intention recognition for brain computer interface

Publications (2)

Publication Number Publication Date
KR20150028661A KR20150028661A (en) 2015-03-16
KR101518575B1 true KR101518575B1 (en) 2015-05-07

Family

ID=53023485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130107586A KR101518575B1 (en) 2013-09-06 2013-09-06 Analysis method of user intention recognition for brain computer interface

Country Status (1)

Country Link
KR (1) KR101518575B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113451A (en) 2017-04-06 2018-10-16 고려대학교 산학협력단 Prefrontal based cognitive brain-machine interfacing apparatus and method thereof
US10890972B2 (en) 2017-04-06 2021-01-12 Korea University Research And Business Foundation Prefrontal-based cognitive brain-machine interfacing apparatus and method thereof
KR102270046B1 (en) * 2020-02-18 2021-06-25 고려대학교 산학협력단 Brain-machine interface based intention determination device and method using virtual environment
US11269413B2 (en) 2018-11-07 2022-03-08 Korea University Research And Business Foundation Brain-computer interface system and method for decoding user's conversation intention using the same

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101714708B1 (en) * 2015-12-01 2017-03-09 고려대학교 산학협력단 Brain-computer interface apparatus using movement-related cortical potential and method thereof
KR101879408B1 (en) * 2016-09-09 2018-07-18 고려대학교 산학협력단 Apparatus and method for determining optimal frequency area in brain computer interfacing
CN107016355A (en) * 2017-03-20 2017-08-04 天津大学 A kind of double-deck classifying identification method of low false triggering rate Mental imagery
KR102014176B1 (en) * 2017-04-11 2019-08-26 재단법인대구경북과학기술원 Brain training simulation system based on behavior modeling
CN107300969A (en) * 2017-05-02 2017-10-27 昆明理工大学 A kind of MP4 player devices and its control method based on Mental imagery
KR102111970B1 (en) * 2018-04-17 2020-05-18 연세대학교 원주산학협력단 Polygraph apparatus for evaluate a degree of disability and control method thereof
CN111265212A (en) * 2019-12-23 2020-06-12 北京无线电测量研究所 Motor imagery electroencephalogram signal classification method and closed-loop training test interaction system
KR102522391B1 (en) * 2021-06-21 2023-04-17 고려대학교 산학협력단 User authentication apparatus and method using brainwave according to imagined speech
CN114143193B (en) * 2021-12-07 2024-02-20 天翼物联科技有限公司 Network configuration method, device, computer equipment and storage medium
KR102548507B1 (en) * 2022-10-25 2023-06-28 주식회사 프레임 Apparatus and method for providing user interface of game content using brain wave data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김용훈 외 4인, ‘맞춤형 BCI 시스템을 위한 STFT와 PSO를 이용한 ERS 특징 추출’, Journal of Korean Institute of Intelligent Systems, Vol. 22, No. 4, August, 2012.

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113451A (en) 2017-04-06 2018-10-16 고려대학교 산학협력단 Prefrontal based cognitive brain-machine interfacing apparatus and method thereof
US10890972B2 (en) 2017-04-06 2021-01-12 Korea University Research And Business Foundation Prefrontal-based cognitive brain-machine interfacing apparatus and method thereof
US11269413B2 (en) 2018-11-07 2022-03-08 Korea University Research And Business Foundation Brain-computer interface system and method for decoding user's conversation intention using the same
US11687157B2 (en) 2018-11-07 2023-06-27 Korea University Research And Business Foundation Brain-computer interface system and method for recognizing conversation intention of user using the same
KR102270046B1 (en) * 2020-02-18 2021-06-25 고려대학교 산학협력단 Brain-machine interface based intention determination device and method using virtual environment
US11914773B2 (en) 2020-02-18 2024-02-27 Korea University Research And Business Foundation Brain-machine interface based intention determination device and method using virtual environment

Also Published As

Publication number Publication date
KR20150028661A (en) 2015-03-16

Similar Documents

Publication Publication Date Title
KR101518575B1 (en) Analysis method of user intention recognition for brain computer interface
Teng et al. EEG-based detection of driver emergency braking intention for brain-controlled vehicles
Krishna et al. An efficient mixture model approach in brain-machine interface systems for extracting the psychological status of mentally impaired persons using EEG signals
Liu et al. Real-time fractal-based valence level recognition from EEG
Chuang et al. Independent component ensemble of EEG for brain–computer interface
JP2018521830A (en) Method and system for monitoring and improving attention deficits
KR101842750B1 (en) Realtime simulator for brainwaves training and interface device using realtime simulator
KR101535352B1 (en) Measurement of depression depth with frontal lobe brain waves
Mustafa et al. Comparison between KNN and ANN classification in brain balancing application via spectrogram image
KR101081369B1 (en) Apparatus and method for feature extraction of bio signal
KR101699623B1 (en) Game application system for improving the symmetry of the left/light brain activity
Kim et al. Wedea: A new eeg-based framework for emotion recognition
Alex et al. Discrimination of genuine and acted emotional expressions using EEG signal and machine learning
Hosseini et al. Emotional stress recognition using a new fusion link between electroencephalogram and peripheral signals
KR20150029969A (en) Sensibility classification method using brain wave
KR101498812B1 (en) Insomnia tests and derived indicators using eeg
KR101527273B1 (en) Method and Apparatus for Brainwave Detection Device Attached onto Frontal Lobe and Concentration Analysis Method based on Brainwave
Wang et al. Tinnitus EEG classification based on multi-frequency bands
Zammouri et al. Brain waves-based index for workload estimation and mental effort engagement recognition
Gondesen et al. Eeg-based biometrics
JP6834318B2 (en) Stress evaluation device and method
Sulaiman et al. Offline LabVIEW-Based EEG Signals Analysis to Detect Vehicle Driver Microsleep
Chakraborty et al. A survey on Internet-of-Thing applications using electroencephalogram
Vargic et al. Human computer interaction using BCI based on sensorimotor rhythm
Arslan et al. Subject-dependent and subject-independent classification of mental arithmetic and silent reading tasks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190329

Year of fee payment: 5