KR20150029969A - Sensibility classification method using brain wave - Google Patents

Sensibility classification method using brain wave Download PDF

Info

Publication number
KR20150029969A
KR20150029969A KR20130109081A KR20130109081A KR20150029969A KR 20150029969 A KR20150029969 A KR 20150029969A KR 20130109081 A KR20130109081 A KR 20130109081A KR 20130109081 A KR20130109081 A KR 20130109081A KR 20150029969 A KR20150029969 A KR 20150029969A
Authority
KR
South Korea
Prior art keywords
emotional state
eeg
classifying
brain wave
extracting
Prior art date
Application number
KR20130109081A
Other languages
Korean (ko)
Inventor
신동규
신동일
황구연
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR20130109081A priority Critical patent/KR20150029969A/en
Publication of KR20150029969A publication Critical patent/KR20150029969A/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

The purpose of the present invention is to provide an emotion evaluation algorithm, which classifies four emotional states, such as relaxation, joy, sadness, and anger, to evaluate human emotions more accurately using brainwaves. A method for classifying emotional states using brainwave measurement is disclosed. The method for classifying emotional states comprises the steps of: extracting feature parameters indicating emotion from a user′s brainwave data measured from an electroencephalogram (EEG) measurement device; and classifying the user′s emotional states by classifying patterns of the brainwave data using the extracted feature parameters.

Description

뇌파 측정을 이용한 감성상태 분류 방법{SENSIBILITY CLASSIFICATION METHOD USING BRAIN WAVE}[0001] SENSITIVITY CLASSIFICATION METHOD USING BRAIN WAVE [0002]

본 발명의 실시예들은 뇌파를 이용하여 인간의 감성을 분류하는 기술에 관한 것이다.Embodiments of the present invention relate to techniques for classifying human emotions using brain waves.

감성공학이란, 인간의 감성을 정략적으로 측정, 평가, 산출하는 것을 뜻하며 연구 대상이 인간의 감성이므로 생체 시스템에 관한 본질의 이해와 더불어 감성에 대한 정량적/정성적 분석이 필요하다. 또한, 인간이 느끼는 많은 감성적 자극과 이로부터 발생되는 생리적 신호들을 정확하게 분석하는 것도 매우 중요하다. 그러나, 국내외의 많은 연구자들이 이에 대한 연구 결과들을 발표하고 있으나, 인간의 감성을 정확하게 표현할 수 있는 뚜렷한 생리적 지표를 제시하지 못하고 있는 실정이다. 이는 생체 시스템의 복잡성, 비선형성 등을 고려해 볼 때, 간단히 해결할 수 있는 문제가 아니기 때문이다.Emotional engineering refers to the measurement, evaluation, and calculation of human emotions in a quantitative manner, and it is necessary to quantitatively / qualitatively analyze emotions in addition to the understanding of the essence of the biological system, since the subject is human emotions. It is also important to accurately analyze the many emotional stimuli felt by humans and the physiological signals that emerge from them. However, many researchers at home and abroad are presenting the results of this research, but they have not been able to present a clear physiological index that can accurately express human emotion. This is not a problem that can be easily solved in consideration of the complexity and nonlinearity of the biological system.

인간의 감성에 대한 평가 방법에서는 크게 생체 신호를 수집하여 그것을 분석하여 평가하는 객관적인 감성 평가 방법과 설문지를 가지고 조사하여 그것으로 평가하는 주관적 평가 방법으로 구분할 수 있으며, 좀더 정확한 평가 결과를 얻기 위해서 두 가지 방법을 함께 이용하는 경우도 있다.The evaluation method of human emotion can be roughly divided into an objective emotional evaluation method of collecting bio-signals and analyzing and evaluating them, and a subjective evaluation method of evaluating with a questionnaire. In order to obtain a more accurate evaluation result, There are also cases where the method is used together.

인간의 감성을 연구할 때에는 자율신경계에 의한 신호보다는 뇌파를 많이 이용하고 있는데, 이는 뇌파가 두뇌 활동에 대한 정보를 가장 많이 포함하고 있다고 알려져 있기 때문이다.In studying human emotions, we use brain waves more than signals by autonomic nervous system, because brain waves are known to contain the most information about brain activity.

예컨대, 한국공개특허 제10-2007-0087787호에서는 인간의 뇌파, 심전도, 혈압, 피부전도도, 호흡 등과 같은 생체신호를 바탕으로 인간의 감성상태를 실시간으로 분류하는 기술이 개시되어 있다.For example, Korean Patent Laid-Open No. 10-2007-0087787 discloses a technique of classifying human emotional states in real time based on biological signals such as human brain waves, electrocardiogram, blood pressure, skin conductivity, respiration, and the like.

그러나, 뇌파는 다양한 뇌의 활동으로 인하여 매우 복잡하며, 성격, 성별 등에 따른 개인차는 물론이고 동일인일지라도 건강, 기분, 주위 환경 등 여러 가지 조건에 따라 신호의 특성은 급격히 변할 수 있다. 그러므로 이렇게 복잡한 뇌파 신호에서 원하는 정보를 정확하게 얻어내기에는 큰 어려움이 따르고, 이것이 뇌파를 이용한 감성공학 연구에서는 큰 장애물로 남아있다.However, brain waves are very complicated due to various brain activities, and the characteristics of signals can be drastically changed depending on various conditions such as health, mood, and environment even in the same person as well as individual differences according to personality and sex. Therefore, it is difficult to accurately obtain the desired information from such a complex EEG signal, and this is a great obstacle in research on emotion engineering using EEG.

본 발명은 상술한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 뇌파를 이용한 인간의 감성을 보다 정확하게 평가하기 위한 방법으로 안정(relaxation), 기쁨(joy), 슬픔(sadness), 분노(anger) 의 4가지 감성상태를 분류하는 감성 평가 알고리즘을 제공하는데 있다.Disclosure of Invention Technical Problem [8] The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a method for more accurately evaluating emotions of a human using EEG, including relaxation, joy, sadness, And anger are classified into four emotion states.

본 발명의 실시예에 따르면, 감성상태 분류 방법은, EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터에서 감성을 나타내는 특징 파라미터를 추출하는 단계; 및 상기 특징 파라미터를 이용하여 상기 뇌파 데이터의 패턴을 분류함에 따라 상기 사용자의 감성상태를 분류하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided a method of classifying emotion states, comprising: extracting a feature parameter representing emotion from user's brain wave data measured from an EEG (electroencephalogram) measuring apparatus; And classifying the emotional state of the user by classifying the pattern of the brain wave data using the feature parameter.

일 측면에 따르면, 상기 뇌파 데이터는 16개 채널의 전극을 이용하여 측정될 수 있다.According to one aspect, the EEG data can be measured using 16 channels of electrodes.

다른 측면에 따르면, 상기 전극은 국제 표준법인 10-20법(ten-twenty electrode system)에 의거하여 두피의 16개 부위에 부착될 수 있다.According to another aspect, the electrode may be attached to 16 portions of the scalp according to the ten-twenty electrode system of the international standard.

또 다른 측면에 따르면, 감성상태 분류 방법은, 상기 특징 파라미터를 추출하기 이전에, 상기 뇌파 데이터에 포함된 잡음을 제거하는 전처리 단계를 더 포함할 수 있다.According to another aspect, the emotion state classification method may further include a preprocessing step of removing noise included in the brain wave data before extracting the feature parameter.

또 다른 측면에 따르면, 감성상태 분류 방법은, 상기 특징 파라미터를 추출하기 이전에, 상기 뇌파 데이터에서 눈 깜빡임에 의한 잡음 신호를 제거하는 전처리 단계를 더 포함할 수 있다.According to another aspect, the emotion state classification method may further include a preprocessing step of removing a noise signal due to blinking in the EEG data before extracting the feature parameter.

또 다른 측면에 따르면, 상기 전처리 단계는, 상기 잡음 신호를 구별하기 위한 문턱 값(threshold)을 설정하는 단계; 상기 뇌파 데이터를 절대값으로 바꾼 후 각 포인트에서의 기울기를 이용하여 눈 깜빡임 부분의 피크(peak) 값을 검출하는 단계; 상기 피크 값이 상기 문턱 값보다 크면 상기 잡음 신호로 판단하는 단계를 포함할 수 있다.According to another aspect of the present invention, the pre-processing includes: setting a threshold for distinguishing the noise signal; Detecting a peak value of an eye blinking portion by using an inclination at each point after changing the brain wave data to an absolute value; And determining the noise signal as the noise signal if the peak value is greater than the threshold value.

또 다른 측면에 따르면, 상기 문턱 값을 설정하는 단계는, 상기 뇌파 데이터의 전체 길이에 대한 평균 값을 계산한 후 상기 평균 값에 일정 배수가 곱해진 값을 상기 문턱 값으로 설정할 수 있다.According to another aspect of the present invention, the step of setting the threshold value may set a value obtained by calculating an average value of the total length of the brain wave data and then multiplying the average value by a certain multiple.

또 다른 측면에 따르면, 감성상태 분류 방법은, 상기 특징 파라미터를 추출하기 이전에, 상기 뇌파 데이터에서 감성과 관련된 정보가 포함되는 주파수 성분을 필터링 하는 전처리 단계를 더 포함할 수 있다.According to another aspect, the emotional state classification method may further include a preprocessing step of filtering a frequency component including information related to emotion in the EEG data before extracting the feature parameter.

또 다른 측면에 따르면, 상기 전처리 단계는, 고역통과필터(high pass filter)를 이용하여 상기 뇌파 데이터에서 직류 오프셋(offset)을 제거하고 저역통과필터(low pass filter)를 이용하여 상기 뇌파 데이터에서 고주파 잡음을 제거할 수 있다.According to another aspect of the present invention, the preprocessing step includes the steps of removing a DC offset from the EEG data using a high pass filter, generating a high frequency signal from the EEG data using a low pass filter, Noise can be removed.

또 다른 측면에 따르면, 상기 특징 파라미터를 추출하는 단계는, 선형예측분석(linear predictive analysis)을 통해 상기 뇌파 데이터의 선형예측기계수(linear predictor coefficient)를 상기 특징 파라미터로서 추출할 수 있다.According to another aspect of the present invention, the extracting of the feature parameter may extract a linear predictor coefficient of the brain wave data as the feature parameter through a linear predictive analysis.

또 다른 측면에 따르면, 상기 선형예측기계수는 현재 신호를 이전 신호들의 선형결합으로 예측된 샘플간의 예측 오차를 최소제곱기준(least squares criterion)에 적용하여 구할 수 있다.According to another aspect, the number of linear prediction machines can be obtained by applying a prediction error between samples predicted by linear combination of previous signals to a current signal to a least squares criterion.

또 다른 측면에 따르면, 상기 예측 오차는 수학식 1을 이용하여 구할 수 있다.According to another aspect, the prediction error can be calculated using Equation (1).

수학식 1: Equation 1:

Figure pat00001
Figure pat00001

(여기서, e(n)은 예측 오차를 나타내고, s(n)은 현재 신호 샘플을 나타내며,

Figure pat00002
은 예측된 샘플로서
Figure pat00003
(이때, -ai(i=1, 2, …, M)가 선형예측기계수를 나타낸다.)와 같다.)(Where n (n) represents a prediction error, s (n) represents a current signal sample,
Figure pat00002
Lt; RTI ID = 0.0 >
Figure pat00003
(Here, -a i (i = 1, 2, ..., M) represents the number of linear prediction machines.)

또 다른 측면에 따르면, 상기 특징 파라미터를 추출하는 단계는, 상기 뇌파 데이터의 대역별 상호상관계수(cross-correlation coefficient)를 상기 특징 파라미터로서 추출할 수 있다.According to another aspect of the present invention, the step of extracting the feature parameter may extract a cross-correlation coefficient for each band of the brain wave data as the feature parameter.

또 다른 측면에 따르면, 상기 상호상관계수는 수학식 2에 의해 구해질 수 있다.According to another aspect, the cross-correlation coefficient may be obtained by Equation (2).

수학식 2:Equation 2:

Figure pat00004
Figure pat00004

(여기서, C(a:jk)는 a 주파수 대역에서 j와 k번째 전극 간의 상호상관계수를 나타내고, Xj(fn)은 j번째 전극에서 주파수 n에서의 주파수 스펙트럼을 나타낸다.)Where C (a: jk) represents the cross-correlation coefficient between j and k electrodes in a frequency band, and X j (f n ) represents the frequency spectrum at frequency n at j th electrode.

또 다른 측면에 따르면, 상기 특징 파라미터를 추출하는 단계는, FFT(Fast Fourier Transform) 스펙트럼 또는 AR(Auto-Regressive) 스펙트럼의 주파수 대역 중에서 θ(Theta) 파와 α(Alpha) 파 및 β(beta) 파에 해당되는 대역별 상호상관계수를 각각 추출할 수 있다.According to another aspect of the present invention, the step of extracting the characteristic parameter comprises the steps of extracting the feature parameter from the frequency spectrum of an FFT (Fast Fourier Transform) spectrum or an AR (Auto-Regressive) Can be extracted for each band.

또 다른 측면에 따르면, 상기 사용자의 감성상태를 분류하는 단계는, 상기 특징 파라미터로 구성된 다층신경회로망(multilayer perceptron)을 이용하여 상기 뇌파 데이터의 패턴을 분류할 수 있다.According to another aspect of the present invention, the classifying the emotional state of the user may classify the pattern of the brain wave data using a multilayer perceptron composed of the feature parameters.

또 다른 측면에 따르면, 상기 사용자의 감성상태를 분류하는 단계는, 여러 사람의 감성에 대한 뇌파를 학습시켜 구성된 가중치 템플릿(weight templates) 중에서 상기 사용자의 뇌파 데이터와 가장 근사한 뇌파의 템플릿을 선택하는 단계; 및 상기 다층신경회로망에 상기 선택된 템플릿의 가중치로 읽어들인 후 상기 다층신경회로망의 출력을 분석하여 상기 뇌파 데이터의 패턴을 분류하는 단계를 포함할 수 있다.According to another aspect, the step of classifying the emotional state of the user includes: selecting a template of an EEG wave closest to the user's brain wave data among weight templates configured by learning EEG on emotions of a plurality of users; ; And classifying the pattern of the EEG data by analyzing the outputs of the multi-layer neural network after reading the weighted values of the selected template into the multi-layer neural network.

또 다른 측면에 따르면, 상기 다층신경회로망의 출력을 분석하여 상기 뇌파 데이터의 패턴을 분류하는 단계는, 상기 다층신경회로망의 출력 중 가장 큰 값과 두 번째로 큰 값을 가지고 상기 사용자의 감성상태를 판단할 수 있다.According to another aspect of the present invention, the step of classifying the patterns of the EEG data by analyzing the outputs of the multi-layer neural network may include calculating the emotional state of the user with the largest value and the second largest value among the outputs of the multi- It can be judged.

본 발명의 실시예에 따르면, 감성상태 분류 장치는, EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터에서 감성을 나타내는 특징 파라미터를 추출하는 추출부; 및 상기 특징 파라미터를 이용하여 상기 뇌파 데이터의 패턴을 분류함에 따라 상기 사용자의 감성상태를 분류하는 분류부를 포함할 수 있다.According to the embodiment of the present invention, the emotional state classifying apparatus comprises: an extracting unit for extracting a feature parameter indicating emotion from user's brain wave data measured from an EEG (electroencephalogram) measuring apparatus; And a classifier for classifying the emotional state of the user according to classifying the pattern of the brain wave data using the feature parameter.

본 발명의 실시예에 따르면, 뇌파의 특징 파라미터를 추출하여 뇌파의 분류 및 분석이 용이하고 신경회로망의 출력을 감성별 지표로 보고 이들의 결과를 부정감성과 긍정감성으로 구분하여 정리함으로써 뇌파의 특징에 가장 적합한 감성평가를 할 수 있다는 장점이 있다.According to the embodiment of the present invention, it is easy to classify and analyze brain waves by extracting characteristic parameters of brain waves, and the output of the neural network is regarded as an indicator for each emotion, and the results are classified into negative emotion and positive emotion, It is possible to perform the most appropriate sensitivity evaluation.

본 발명의 실시예에 따르면, 불특정 다수의 사람에 대한 감성평가에 적용할 수 있다는 장점이 있다.According to the embodiment of the present invention, there is an advantage that it can be applied to the sensitivity evaluation for an unspecified number of people.

도 1은 본 발명의 일 실시예에 있어서, 뇌파 측정을 이용한 감성상태 분류 방법을 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 있어서, 뇌파 측정을 위한 전극 부착 위치를 도시한 것이다.
도 3은 본 발명의 일 실시예에 있어서, 뇌파 신호에 대한 전처리 과정을 도시한 블럭도이다.
도 4는 본 발명의 일 실시예에 있어서, 눈 깜빡임 제거 전(상)과 후(하)의 뇌파 파형을 도시한 것이다.
도 5는 본 발명의 일 실시예에 있어서, 다층신경회로망을 이용하여 감성을 평가하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 있어서, 뇌파 측정을 이용한 감성상태 분류 장치의 내부 구성을 도시한 블럭도이다.
1 is a flowchart illustrating an emotional state classification method using EEG measurement according to an exemplary embodiment of the present invention.
2 illustrates an electrode attachment position for EEG measurement according to an embodiment of the present invention.
3 is a block diagram illustrating a preprocessing process for an EEG signal according to an embodiment of the present invention.
FIG. 4 shows an EEG waveform before (upper) and after (lower) eye blink removal in an embodiment of the present invention. FIG.
5 is a diagram for explaining a process of evaluating emotion using a multi-layer neural network in an embodiment of the present invention.
6 is a block diagram illustrating an internal configuration of an emotion state classifying apparatus using EEG measurement according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 실시예들은 뇌파 측정을 이용한 감성상태 분류 방법에 관한 것으로, 더욱 상세하게는 뇌파를 취득하고 눈 깜빡임에 대한 전처리와 특징 파라미터 추출 과정을 거쳐 다층신경회로망을 이용하여 감성을 분류할 수 있다.The present invention relates to a method of classifying emotional states using EEG, and more particularly, it is possible to classify emotions using a multi-layer neural network through acquiring brain waves, pre-processing for blinking and extracting feature parameters.

도 1은 본 발명의 일 실시예에 있어서, 뇌파 측정을 이용한 감성상태 분류 방법을 도시한 순서도이다.1 is a flowchart illustrating an emotional state classification method using EEG measurement according to an exemplary embodiment of the present invention.

일 실시예에 따른 감성상태 분류 방법은 뇌파 신호를 취득하여 전처리 과정과 특징 추출 패턴분류를 통해 사용자의 감성상태를 효과적으로 파악하기 위한 방법으로서, 도 6을 통해 설명하게 될 감성상태 분류 장치에 의해 각각의 단계가 수행될 수 있다.The emotional state classification method according to an exemplary embodiment is a method for effectively acquiring an emotion state of a user through a preprocessing process and a feature extraction pattern classification by acquiring an EEG signal, May be performed.

도 1을 참고하면, 일 실시예에 따른 감성상태 분류 방법은 뇌파(EEG signal) 취득 단계(S100), 전처리(preprocessing) 단계(S200), 파라미터 추출(feature extraction) 단계(S300), 패턴 분류(selection of well-matched template) 단계(S400), 가중치 부여(weight templates) 단계(S500), 감성 평가(sensibility evaluation) 단계(S600)를 포함할 수 있다.Referring to FIG. 1, the emotional state classification method according to an exemplary embodiment includes an EEG signal acquisition step S100, a preprocessing step S200, a feature extraction step S300, a selection of well-matched template step S400, a weight templates step S500, and a sensibility evaluation step S600.

먼저, 뇌파 취득 단계(S100)에서 감성상태 분류 장치는 EEG 측정 장치로부터 측정된 뇌파 신호인 EEG 신호를 취득할 수 있다. 이때, 감성상태 분류 장치는 16 채널의 전극을 통해 측정된 사용자의 뇌파 신호를 취득할 수 있다.First, in the brain wave acquisition step (S100), the emotion state classification apparatus can acquire an EEG signal, which is an EEG signal measured from the EEG measurement apparatus. At this time, the emotion state classification apparatus can acquire the user's brain wave signal measured through the 16-channel electrode.

도 2는 본 발명의 일 실시예에 있어서, 뇌파 측정을 위한 전극 부착 위치를 도시한 것이다.2 illustrates an electrode attachment position for EEG measurement according to an embodiment of the present invention.

감성상태 분류 장치는 사용자의 두뇌에 전극을 부착하여 전극을 통해 측정된 뇌파 데이터를 취득하게 되며, 이때 뇌파를 측정하기 위한 전극 부착 위치는 도 2에 도시한 바와 같이 국제 표준법인 10-20 전극 시스템에 의거하여 두피의 16개 부위(Fp1, Fp2, F3, F4, C3, C4, P3, P4, O1, O2, F7, F8, T3, T4, T5, T6)로 선택될 수 있다.The emotional state classifier attaches an electrode to the brain of the user to acquire EEG data measured through the electrode. At this time, the electrode attaching position for measuring EEG is 10-20 electrode system (Fp1, Fp2, F3, F4, C3, C4, P3, P4, O1, O2, F7, F8, T3, T4, T5 and T6) of the scalp.

다시 도 1을 참조하면, 전처리 단계(S200)에서 감성상태 분류 장치는 뇌파 취득 단계(S100)에서 취득한 뇌파 신호의 정제를 위해 뇌파 신호에 포함된 잡음을 제거할 수 있다.Referring again to FIG. 1, in the pre-processing step S200, the emotional state classifier may remove noise included in the brain wave signal for purifying the brain wave signal acquired in the brain wave acquisition step S100.

뇌파 신호는 수십 μV 정도의 작은 전압의 미약한 신호로서 외부의 잡음과 아티팩트(artifact)에 매우 민감하며 보통은 잡음이 많이 포함되어 있다. 때문에, 뇌파 신호는 소정의 전처리 과정을 거쳐 정제되어야만 분석이 가능하다.The EEG signal is a weak signal of a few tens of microvolts, very sensitive to external noise and artifacts, and usually contains a lot of noise. Therefore, the EEG signal can be analyzed only after it is purified through a predetermined pretreatment process.

아래 표 1은 각 뇌파에 따른 주파수 값 및 의식 상태를 나타낸다.Table 1 below shows frequency values and conscious state according to each EEG.

뇌파명Electroencephalogram 주파수 범위Frequency range 특징Characteristic δ(Delta) 파delta wave 0∼4Hz0 to 4 Hz 수면상태Sleep state θ(Theta) 파θ (Theta) wave 4∼8Hz4 to 8 Hz 졸리거나 명상인 상태Sleepy or meditative α(Alpha) 파alpha (alpha) wave 8∼12Hz8-12Hz 긴장이완상태Relaxed state SMR 파SMR wave 12∼15Hz12 to 15 Hz 주의집중상태Attention state Mid-β파Mid-β wave 15∼20Hz15-20 Hz 활동상태Activity status High-β파High-β wave 20∼30Hz20-30Hz 긴장 흥분 또는 스트레스 상태Stress excited or stressed γ(Gamma) 파γ (Gamma) wave 30∼50Hz30 to 50 Hz 불안, 흥분, 스트레스가 강한 상태Anxiety, excitement, stressful state

도 3은 본 발명의 일 실시예에 있어서, 뇌파 신호에 대한 전처리 과정을 도시한 블럭도이다.3 is a block diagram illustrating a preprocessing process for an EEG signal according to an embodiment of the present invention.

파라미터 추출 단계(S300) 이전에, 전처리 단계(S200)에서는 도 3에 도시한 바와 같이 전처리 절차로서 눈 깜빡임 제거 과정(S201)와 디지털 필터링 과정(S202)을 거치게 된다.Prior to the parameter extracting step S300, the preprocessing step S200 includes a blinking removal process S201 and a digital filtering process S202 as a preprocessing procedure, as shown in FIG.

눈 깜빡임 제거 과정(S201):Eye Flicker Removal Process (S201):

(1) 뇌파 신호에서 가장 큰 아티팩트인 눈 깜박임 제거를 위해서는 먼저 눈 깜박임 신호와 순수 뇌파를 구별해 내기 위한 문턱 값(threshold)을 설정한다. 이때, 문턱 값은 읽어 들인 데이터의 전체 길이에 걸쳐서 그것의 평균을 계산한 다음 그 평균값에 4배를 곱한 값으로 정해질 수 있다.(1) In order to remove eye flicker, which is the largest artifact in an EEG signal, a threshold is set to discriminate a blink signal from a pure EEG. At this time, the threshold value can be determined by calculating its average over the entire length of the read data, and then multiplying the average value by 4 times.

(2) 눈 깜박임 부분을 찾기 위해서 먼저 눈 깜박임 부분의 피크 값을 검출한다. 이를 위하여, 읽어 들인 데이터를 절대값으로 바꾼 후, 각각의 포인트에서 기울기 부호를 검색하여 현재 포인트를 기준으로 뒤로 2 포인트에서의 기울기가 +, 앞으로 2 포인트에서의 기울기가 -인 지점을 찾는다.(2) First, to find the blinking part of the eye, the peak value of the blinking part of the eye is detected. To do this, change the read data to an absolute value, and then search the slope code at each point to find a slope at two points backward with respect to the current point +, and a slope at two points ahead of the current point.

(3) 해당 지점의 피크가 순수 뇌파의 피크인지 아니면 눈깜박임 신호의 피크인지를 구별하기 위해서 그 피크 값을 문턱 값과 비교한다. 만약에 그 지점에서의 피크 값이 문턱 값보다 크다면 눈 깜빡임 신호로 간주한다. 이때, 눈 깜박임 신호가 끝나는 지점을 찾기 위해서는 눈 깜박임 피크 지점에서부터 부호가 두 번 바뀌는 지점을 찾는다. 이 위치를 눈 깜박임의 끝으로 볼 수 있지만, 뒷부분에 남아 있는 성분의 영향을 고려하여 일정 구간을 더 건너뛴 지점을 새로운 뇌파 처리를 위한 시작점으로 설정할 수 있다.(3) The peak value is compared with the threshold value to distinguish whether the peak of the point is pure EEG or a peak of the eye flicker signal. If the peak value at that point is greater than the threshold value, it is regarded as an eye flicker signal. At this time, to find the point where the blink signal ends, find the point where the sign changes twice from the blink peak point. This position can be seen as the end of the blinking of the eye, but considering the influence of the remaining components on the back, we can set the point where we skipped a certain section as the starting point for new EEG processing.

도 4는 뇌파 신호에 대하여 눈 깜빡임 제거 전(상)과 후(하)의 파형을 도시한 것이다. 상기한 눈 깜빡임 제거 과정(S201)을 통해 도 4에 도시한 바와 같이 뇌파 신호에서 눈 깜박임 신호를 제거한 순수 뇌파 파형을 얻을 수 있다.FIG. 4 shows the waveforms before and after the blinking elimination with respect to the EEG signal. As shown in FIG. 4, a pure EEG waveform obtained by removing an eye blink signal from an EEG signal can be obtained through the eye flicker removal process (S201).

디지털 필터링 과정(S202):Digital filtering process (S202):

감성상태 분류 장치는 뇌파에서 감성과 관련된 정보가 보통 30Hz 이하의 성분에 포함되어 있으므로 뇌파 신호에서 특정 파라미터 추출을 위해 30Hz 이하의 주파수 성분을 필터링 한다. 직류 옵셋(offset)을 제거하기 위하여 4Hz의 차단 주파수를 갖는 고역통과필터(high pass filter, HPF)를 4차 IIR 필터(infinite impulse response filter) 형태로 구성하고, 고주파 잡음을 제거하기 위하여 차단주파수 30Hz의 저역통과필터(low pass filter, LPF)를 4차 IIR 필터로 구성함으로써 4~30Hz 구간의 주파수 성분만을 필터링 할 수 있다.The emotion state classification apparatus filters the frequency components below 30 Hz to extract specific parameters from the EEG signal since the information related to emotion in the EEG is included in the components below 30 Hz. To remove the DC offset, a high pass filter (HPF) with a cutoff frequency of 4 Hz was constructed in the form of a quadratic IIR filter (infinite impulse response filter). In order to remove high frequency noise, Pass filter (LPF) of the 4th-order IIR filter, it is possible to filter only the frequency components of 4 to 30 Hz.

상기한 바와 같이, 눈 깜빡임 제거 과정(S201)와 디지털 필터링 과정(S202)의 전처리가 끝난 뇌파 신호를 이용하여 특징 파라미터 추출을 위한 과정(S300)으로 들어간다.As described above, the process for extracting the feature parameters (S300) is performed using the pre-processed EEG signals of the eye flicker removing process S201 and the digital filtering process S202.

다시 도 1을 참조하면, 파라미터 추출 단계(S300)에서 감성상태 분류 장치는 사용자의 뇌파 신호에서 감성을 나타내는 특징 파라미터를 추출할 수 있다.Referring again to FIG. 1, in the parameter extracting step (S300), the emotional state classifier can extract a feature parameter indicating emotion from a user's brain wave signal.

일 예로, 감성상태 분류 장치는 감성의 파라미터로서 뇌파 신호의 선형예측기계수(linear predictor coefficient)를 추출할 수 있다.For example, the emotion state classifier can extract a linear predictor coefficient of an EEG signal as a parameter of emotion.

FFT(Fast Fourier Transform)는 신호 처리의 많은 분야에서 활용되고 있고, 뇌파 신호의 경우에도 주요 분석 수단으로 이용되며, 감성이나 감정의 연구에서도 역시 많이 이용된다. 그러나, FFT는 측엽(side lobe)의 영향과 스펙트럼 누설(spectral leakage)이 커서 이것이 감성 연구와 같은 정밀한 분석에서는 단점이 될 수도 있다.FFT (Fast Fourier Transform) is used in many fields of signal processing, and it is also used as a main analysis means in the case of EEG signals, and also in research on emotion or emotion. However, the influence of side lobe and spectral leakage is large in FFT, which may be a disadvantage in fine analysis such as emotional research.

본 실시예에서는 신호의 특성을 표현하기 위해 신호를 분석하는 방법에는 또한 선형예측분석(linear predictive analysis)과 같이 신호의 전달 과정을 하나의 시스템으로 보고, 그것의 역시스템의 전달함수 계수인 선형예측기계수를 추출하여 이를 특성으로 활용하기로 한다.In this embodiment, a method of analyzing a signal for expressing a signal characteristic also includes a method in which a signal transmission process such as a linear predictive analysis is regarded as one system, and a linear prediction The number of machines is extracted and used as characteristics.

선형예측기계수는 현재 신호를 이전 신호들의 선형결합으로 나타낸 예측된 샘플간의 오차를 최소제곱기준(least squares criterion)을 적용하여 선형예측분석을 통해 구해진다. 현재 신호 샘플을 s(n), 예측된 샘플을

Figure pat00005
이라 하면, 예측 오차(prediction error) e(n)은 수학식 1과 같이 정의할 수 있다.The number of linear prediction machines is obtained by linear prediction analysis applying the least squares criterion to the error between the predicted samples, in which the current signal is represented by a linear combination of previous signals. The current signal sample is denoted by s (n), the predicted sample is denoted by s
Figure pat00005
, The prediction error e (n) can be defined as Equation (1).

Figure pat00006
Figure pat00006

여기서, 예측 샘플

Figure pat00007
은 수학식 2와 같다.Here,
Figure pat00007
(2) "

Figure pat00008
Figure pat00008

이때, -ai(i=1, 2, …, M)가 선형예측기계수이다.Here, -a i (i = 1, 2, ..., M) is the number of linear prediction machines.

선형예측분석을 위하여 6차의 Burg 알고리즘을 이용할 수 있다. 선형예측기제수를 직접 특정 파라미터로 이용하거나, 다른 예로서 AR(Auto-Regressive) 스펙트럼의 대역별 상호상관계수를 추출하여 이를 감성의 특징 파라미터로서 이용할 수 있다. 이때, AR 스펙트럼 SAR(ω)은 수학식 3에 의해 구해진다.The 6th order Burg algorithm can be used for linear prediction analysis. The linear predictor divisor can be directly used as a specific parameter or, as another example, the cross-correlation coefficient of the band of the AR (Auto-Regressive) spectrum can be extracted and used as a characteristic parameter of the emotion. At this time, the AR spectrum S AR (?) Is obtained by the equation (3).

Figure pat00009
Figure pat00009

뇌파의 대역별 상호상관계수는 a 대역에서 j와 k번째 전극 간의 상호상관계수를 예로 나타내면 수학식 4와 같다.The cross-correlation coefficient of each band of EEG is expressed by Equation (4) as an example of the cross-correlation coefficient between j and k electrodes in a band.

Figure pat00010
Figure pat00010

여기서, Xj(fn)은 j번째 전극에서 주파수 n에서의 주파수 스펙트럼을 나타낸다. 특징 파라미터로 사용할 상호상관계수는 FFT 스펙트럼이나 AR 스펙트럼의 주파수 대역 중에서 θ파(5-8 Hz), α파(8-13Hz), β파(l3-20Hz)의 대역별 상호상관계수를 각각 추출할 수 있다.Here, X j (f n ) represents the frequency spectrum at the frequency n at the j-th electrode. The cross-correlation coefficients to be used as the feature parameters are obtained by extracting the cross-correlation coefficients of the θ-wave (5-8 Hz), α-wave (8-13 Hz) and β-wave (13-20 Hz) among the frequency bands of the FFT spectrum and the AR spectrum can do.

다시 도 1을 참조하면, 패턴 분류 단계(S400)에서 감성상태 분류 장치는 파라미터 추출 단계(S300)에서 추출된 선형예측기계수 또는 상호상관계수를 이용하여 뇌파 신호의 감성을 분류할 수 있다.Referring again to FIG. 1, in the pattern classification step S400, the emotional state classification apparatus can classify the emotion of an EEG signal using the number of linear prediction machines or the cross correlation coefficient extracted in the parameter extraction step S300.

본 실시예에서는 4가지 감성인 안정(relaxation), 기쁨(joy), 슬픔(sadness), 분노(anger)의 뇌파를 이용한 감성 평가를 위해 뇌파 특징 분석 및 파라미터 추출법을 구현하여 동일한 시점의 데이터를 이용하여 패턴 분류를 통해 변별력을 비교한 후 이를 긍정감성과 부정감성으로 분류할 수 있는 감성 평가 기법을 이용할 수 있다.In this embodiment, brain wave characteristic analysis and parameter extraction method are implemented for the emotion evaluation using four emotions such as relaxation, joy, sadness, and anger. And then compare the discrimination power with the pattern classification, and then use the emotion evaluation technique to classify it as positive emotion and negative emotion.

패턴 분류를 위한 접근 방법은 유사도 측정(similarity measure), 거리 측정법(distance measure), 신경 회로망(perceptron), 퍼지 이론(fuzzy theory) 등의 방법을 이용할 수 있으며, 본 실시예에서는 성능이 우수한 다층신경회로망(multilayer perceptron)을 이용할 수 있다.The approach for pattern classification may be a similarity measure, a distance measure, a perceptron, a fuzzy theory, etc. In this embodiment, the multi- A multilayer perceptron can be used.

도 5는 본 발명의 일 실시예에 있어서, 다층신경회로망을 이용하여 감성을 평가하는 과정을 설명하기 위한 도면이다.5 is a diagram for explaining a process of evaluating emotion using a multi-layer neural network in an embodiment of the present invention.

신경회로망의 입력층(input layer)의 노드(node) 수는 특징 파라미터 추출법에 따라 다르다. 선형예측기계수를 이용할 경우에는 6(차)×10(채널)=60개가 되고, 주파수 대역별 상호상관계수를 이용할 때는 10채널 중 2개를 선택하는 조합에 대하여 3개의 뇌파 대역(θ, α, β)을 이용하므로 10C2×3(bands)=135개가 된다. 은닉층(hidden layer)의 노드는 선형예측기계수의 경우에는 60개, 상호상관계수의 경우에는 100개를 이용할 수 있고, 출력층(output layer)은 4개의 노드를 갖게 된다. 이와 같이 구성된 회로망은 일반적인 오차 역전파(error backpropagation) 학습 알고리즘으로 학습시킬 수 있다.The number of nodes in the input layer of the neural network depends on the feature parameter extraction method. When using the number of linear prediction machines, 6 (difference) × 10 (channel) = 60, and when using the cross-correlation coefficient for each frequency band, three EEG bands (θ, α , β), so 10C2 × 3 (bands) = 135. The number of nodes in the hidden layer is 60 in the case of the number of linear prediction machines and 100 in the case of the cross correlation coefficient, and the output layer has four nodes. The network thus constructed can be trained by a general error backpropagation learning algorithm.

뇌파는 개인차는 물론 동일한 사람도 시점, 기분, 기온 등 여러 가지 주변 환경과 심리 상태에 따라 거의 다른 뇌파처럼 특성이 변하므로 하나의 기준 템플릿만으로는 패턴 인식이 거의 불가능할 것이다. 따라서, 많은 사람의 뇌파 템플릿을 구성하여 입력되는 테스트 데이터와 가장 근사한 템플릿을 읽어 들여 패턴을 분류하는 방식의 감성인식 기법을 제안한다.The pattern of the EEG is almost impossible to be recognized by only one reference template because the characteristics of the EEG varies according to various environments and psychological states such as the viewpoint, mood, and temperature, as well as individual differences. Therefore, we propose an emotional recognition method that constructs EEG templates of many people and classifies the patterns by reading the template that is closest to the input test data.

이를 위하여, 가중치 부여 단계(S500)에서 감성상태 분류 장치는 여러 사람의 뇌파에 대하여 가중치 템플릿(weight templates)에 따른 성격 그룹 템플릿을 구성할 수 있다. 일 예로, 감성상태 분류 장치는 여러 명의 피검자의 4감성에 대한 뇌파를 학습시켜 생성된 신경회로망의 가중치(weights)를 템플릿 데이터베이스에 저장할 수 있다.For this, in the weighting step (S500), the emotional state classifier may construct a personality group template according to weight templates for several human brain waves. For example, the emotional state classifier may store the weights of neural networks generated by learning EEG on four emotions of a plurality of subjects in a template database.

이에, 패턴 분류 단계(S400)에서 감성평가 테스트를 할 때 안정 상태의 전두엽 뇌파를 이용하여 템플릿 데이터베이스에서 가장 유사한 뇌파의 템플릿을 선택하여 신경회로망에 가중치로 읽어 들인 후, 신경회로망의 출력을 분석하여 패턴을 분류할 수 있다. 그러나, 이러한 방식은 가장 초기 안정 상태의 뇌파를 기준으로 가장 근사한 뇌파의 가중치 템플릿을 선택하므로 안정 상태의 뇌파로 치우치는 현상이 발생할 수 있다.In the pattern classification step (S400), the most similar EEG template is selected from the template database using the stable frontal EEG, and is read as a weight to the neural network, and the output of the neural network is analyzed Patterns can be classified. However, this method selects a weight template of the nearest EEG based on the earliest steady state EEG, so that a bias phenomenon may occur due to a stable EEG.

이를 보완하기 위해, 최종 단계인 감성 평가 단계(S600)에서 감성상태 분류 장치는 신경회로망 출력의 가장 큰 값과 두 번째 큰 값을 가지고 최종 감성 분류 결과를 결정할 수 있다. 즉, 안정 상태의 뇌파를 테스트할 때에는 가장 큰 값이 해당 노드에서 나타나야 인식된 것으로 판단하고, 그 외의 감성(기쁨, 슬픔, 분노)은 해당 노드가 가장 큰 값으로 나타날 때만 인식된 결과로 보는 것이 아니라 두 번째 큰 값이 해당 감성의 노드에 나타나고, 이때의 최고 값을 갖는 노드가 안정에 해당하는 노드로 나타난 경우에 한해서는 제대로 인식된 것으로 판단할 수 있다.In order to compensate for this, the emotion state classifier in the final stage of sensibility evaluation (S600) can determine the final emotion classification result with the largest value and the second largest value of the neural network output. In other words, when testing a stable EEG, it is judged that the largest value appears at the corresponding node, and other emotions (joy, sadness, anger) are recognized only when the corresponding node exhibits the largest value However, it can be judged that the second highest value appears in the node of the emotion, and the node with the highest value at this time is recognized as stable node.

따라서, 본 발명에 따른 감성상태 분류 방법은 뇌파 신호의 선형예측기계수를 추출하여 감성의 특징 파라미터로 사용하고 다층신경회로망과 다중 템플릿 방법을 기반으로 성격 그룹 템플릿을 이용한 감성 평가 알고리즘을 통해 감성을 분류할 수 있다.Therefore, the emotional state classification method according to the present invention extracts the number of linear prediction machines of EEG signals and uses them as feature parameters of the emotion, and emotion is evaluated through the emotion evaluation algorithm using the multi-layer neural network and the multi- Can be classified.

본 발명에 따른 감성상태 분류 방법은 도 1 내지 도 5를 통해 설명한 상세 내용을 바탕으로 적어도 둘 이상의 동작들을 포함할 수 있다. 이때, 둘 이상의 동작이 조합될 수 있고, 동작들의 순서나 위치가 변경될 수 있다.The emotional state classification method according to the present invention may include at least two operations based on the details described with reference to Figs. At this time, two or more operations can be combined, and the order or position of operations can be changed.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에서는 EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터에서 감성을 나타내는 특징 파라미터를 추출하는 단계; 및 상기 특징 파라미터를 이용하여 상기 뇌파 데이터의 패턴을 분류함에 따라 상기 사용자의 감성상태를 분류하는 단계를 포함하는 프로그램이 기록되는 컴퓨터 판독 가능 매체를 포함할 수 있다.The methods according to embodiments of the present invention may be implemented in the form of a program instruction that can be executed through various computer systems and recorded in a computer-readable medium. In particular, in this embodiment, extracting a feature parameter indicating emotion from user's brain wave data measured from an EEG (electroencephalogram) measuring device; And classifying the emotional state of the user according to classifying the pattern of the brain wave data using the feature parameter.

도 6은 본 발명의 일 실시예에 있어서, 뇌파 측정을 이용한 감성상태 분류 장치의 내부 구성을 도시한 블럭도이다. 도 6에 도시한 바와 같이, 일 실시예에 따른 감성상태 분류 장치는 전처리부(610), 추출부(620), 및 분류부(630)를 포함하여 구성될 수 있다. 일 실시예에 따른 감성상태 분류 장치는 도 1 내지 도 5를 통해 설명한 감성상태 분류 방법의 상세 내용을 바탕으로 구성 요소가 보다 단축되거나 추가의 구성 요소들이 더 포함될 수 있다.6 is a block diagram illustrating an internal configuration of an emotion state classifying apparatus using EEG measurement according to an embodiment of the present invention. As shown in FIG. 6, the emotion state classifying apparatus according to one embodiment may include a preprocessing unit 610, an extracting unit 620, and a classifying unit 630. The emotion state classifying apparatus according to one embodiment may further include components or may further include additional components based on the details of the emotion state classifying method described with reference to Figs. 1 to 5.

전처리부(610)는 EEG 측정 장치로부터 측정된 뇌파 신호인 EEG 신호를 정제하기 위해 뇌파 신호에 포함된 잡음을 제거할 수 있다. 이때, 뇌파 신호는 16개 채널(Fp1, Fp2, F3, F4, C3, C4, P3, P4, O1, O2, F7, F8, T3, T4, T5, T6)의 전극을 통해 취득할 수 있다.The preprocessor 610 may remove the noise included in the EEG signal to refine the EEG signal, which is the EEG signal measured from the EEG measurement device. At this time, the EEG signal can be acquired through the electrodes of 16 channels (Fp1, Fp2, F3, F4, C3, C4, P3, P4, O1, O2, F7, F8, T3, T4, T5 and T6).

일 예로, 전처리부(610)는 뇌파 신호에서 가장 큰 아티팩트인 눈 깜박임 신호를 제거할 수 있다. 이때, 전처리부(610)는 읽어 들인 뇌파 데이터를 절대값으로 바꾼 후, 각각의 포인트에서 기울기 부호를 검색하여 현재 포인트를 기준으로 뒤로 2 포인트에서의 기울기가 +, 앞으로 2 포인트에서의 기울기가 -인 지점을 찾음으로써 눈 깜빡임 부분의 피크 값을 검출할 수 있으며, 해당 지점의 피크가 순수 뇌파의 피크인지 아니면 눈깜박임 신호의 피크인지를 구별하기 위해서 그 피크 값을 기 설정된 문턱 값과 비교하여 만약에 그 지점에서의 피크 값이 문턱 값보다 크다면 눈 깜빡임 신호로 간주한다.For example, the preprocessor 610 may remove the blinking signal, which is the largest artifact in the EEG signal. At this time, the preprocessing unit 610 changes the read EEG data to an absolute value, and then searches for the slope code at each point, and calculates a slope at two points backward from the current point, The peak value of the eye blinking portion can be detected by comparing the peak value of the eye blinking portion with the predetermined threshold value to distinguish whether the peak of the blinking portion is a pure EEG peak or a blinking eye peak, If the peak value at that point is greater than the threshold value, it is regarded as an eye flicker signal.

다른 예로, 전처리부(610)는 뇌파 신호에서 특정 파라미터 추출을 위해 디지털 필터링을 통해 30Hz 이하의 주파수 성분을 필터링 할 수 있다. 이를 위하여, 직류 옵셋(offset)을 제거하기 위하여 4Hz의 차단 주파수를 갖는 고역통과필터(high pass filter, HPF)를 4차 IIR 필터(infinite impulse response filter) 형태로 구성하고, 고주파 잡음을 제거하기 위하여 차단주파수 30Hz의 저역통과필터(low pass filter, LPF)를 4차 IIR 필터로 구성함으로써 4~30Hz 구간의 주파수 성분만을 필터링 할 수 있다.As another example, the preprocessing unit 610 may filter the frequency components of 30 Hz or less through digital filtering to extract a specific parameter from an EEG signal. For this purpose, a high pass filter (HPF) with a cutoff frequency of 4 Hz is constructed in the form of a quadratic IIR filter (infinite impulse response filter) to remove the DC offset, By configuring a low pass filter (LPF) with a cut-off frequency of 30 Hz as a fourth-order IIR filter, it is possible to filter only frequency components in the 4 to 30 Hz range.

추출부(620)는 정제된 뇌파 신호에서 감성을 나타내는 특징 파라미터를 추출할 수 있다. 일 예로, 추출부(620)는 선형예측분석을 통해 뇌파의 선형예측기계수를 감성의 특징 파라미터로서 추출할 수 있다. 선형예측기계수는 현재 신호를 이전 신호들의 선형결합으로 나타낸 예측된 샘플간의 오차를 최소제곱기준(least squares criterion)을 적용하여 선형예측분석을 통해 구해진다. 다른 예로, 추출부(620)는 뇌파의 대역별 상호상관계수를 감성의 특징 파라미터로서 추출할 수 있다. 이때, 추출부(620)는 FFT 스펙트럼 또는 AR 스펙트럼의 주파수 대역 중에서 θ파와 α파 및 β파에 해당되는 대역별 상호상관계수를 각각 추출하여 이를 특징 파라미터로 이용할 수 있다.The extracting unit 620 may extract a feature parameter indicating emotion from the refined EEG signal. For example, the extractor 620 can extract the number of linear prediction machines of EEG as a feature parameter of emotion through linear prediction analysis. The number of linear prediction machines is obtained by linear prediction analysis applying the least squares criterion to the error between the predicted samples, in which the current signal is represented by a linear combination of previous signals. As another example, the extractor 620 may extract the cross-correlation coefficient of each EEG band as a feature parameter of emotion. At this time, the extracting unit 620 may extract the cross-correlation coefficients of the bands corresponding to the? Wave and the? And? Waves among the frequency bands of the FFT spectrum or the AR spectrum, respectively, and use the extracted cross-correlation coefficients as the characteristic parameters.

분류부(630)는 선형예측기계수 또는 상호상관계수를 이용한 다층신경회로망을 기반으로 뇌파 신호의 감성을 분류할 수 있다. 이때, 신경회로망의 입력층은 선형예측기계수를 이용할 경우 6(차)×10(채널)=60개가 되고, 주파수 대역별 상호상관계수를 이용할 때에는 10채널 중 2개를 선택하는 조합에 대하여 3개의 뇌파 대역(θ, α, β)을 이용하므로 10C2×3(bands)=135개가 된다. 은닉층의 노드는 선형예측기계수의 경우 60개, 상호상관계수의 경우 100개를 이용할 수 있고, 출력층은 분류하고자 하는 감성에 따라 4개의 노드를 갖게 된다.The classifier 630 can classify the emotion of an EEG signal based on a multilayer neural network using a linear prediction machine number or a cross correlation coefficient. In this case, the input layer of the neural network becomes 6 (difference) × 10 (channel) = 60 when the number of linear prediction machines is used, and when using the cross-correlation coefficient by frequency band, (Bands) = 135 because of the use of the EEG bands ([theta], [alpha], and [beta]). The nodes of the hidden layer can use 60 nodes in the case of the number of linear prediction machines and 100 nodes in the case of the cross correlation coefficients, and the output layer has four nodes according to the sensitivity to be classified.

분류부(630)는 여러 사람의 뇌파에 대하여 성격 그룹 템플릿을 구성하기 위하여 여러 명의 피검자의 4감성에 대한 뇌파를 학습시켜 생성된 신경회로망의 가중치를 템플릿 데이터베이스에 저장할 수 있다. 이후, 분류부(630)는 감성평가 테스트를 할 때 안정 상태의 전두엽 뇌파를 이용하여 템플릿 데이터베이스에서 가장 유사한 뇌파의 템플릿을 선택하여 신경회로망에 가중치로 읽어 들인 후, 신경회로망의 출력을 분석하여 패턴을 분류할 수 있다.The classification unit 630 may store the weights of neural networks generated by learning brain waves of four emotions of several subjects to construct a personality group template for the brain waves of various persons in the template database. Then, the classification unit 630 selects the most similar EEG template in the template database using the stable frontal EEG when the emotion evaluation test is performed, and reads the weighted value as a weight to the neural network, Can be classified.

분류부(630)는 가장 초기 안정 상태의 뇌파를 기준으로 가장 근사한 뇌파의 가중치 템플릿을 선택할 경우 안정 상태의 뇌파로 치우치는 현상을 보완하기 위해 신경회로망 출력의 가장 큰 값과 두 번째 큰 값을 가지고 최종 감성 분류 결과를 결정할 수 있다. 즉, 안정 상태의 뇌파를 테스트할 때에는 가장 큰 값이 해당 노드에서 나타나야 인식된 것으로 판단하고, 그 외의 감성(기쁨, 슬픔, 분노)은 해당 노드가 가장 큰 값으로 나타날 때만 인식된 결과로 보는 것이 아니라 두 번째 큰 값이 해당 감성의 노드에 나타나고, 이때의 최고 값을 갖는 노드가 안정에 해당하는 노드로 나타난 경우에 한해서는 제대로 인식된 것으로 판단할 수 있다.In order to compensate the bias phenomenon of the stable state EEG when selecting the weight template of the closest EEG based on the earliest stable EEG based on the earliest stable EEG, the classifier 630 calculates the maximum value and the second largest value of the neural network output, The sensitivity classification result can be determined. In other words, when testing a stable EEG, it is judged that the largest value appears at the corresponding node, and other emotions (joy, sadness, anger) are recognized only when the corresponding node exhibits the largest value However, it can be judged that the second highest value appears in the node of the emotion, and the node with the highest value at this time is recognized as stable node.

상기한 구성에 따르면, 뇌파 측정을 이용한 감성상태 분류 장치는 뇌파 신호를 취득하여 전처리 과정과 특징 추출 패턴분류를 통해 다층신경회로망과 다중 템플릿을 기반으로 사용자의 감성상태를 효과적으로 파악할 수 있다.According to the above configuration, the emotional state classifying apparatus using EEG can acquire EEG signals and can effectively grasp the emotional state of the user based on the multi-layer neural network and the multiple templates through the preprocessing process and feature extraction pattern classification.

이와 같이, 본 발명의 실시예에 따르면, 뇌파의 특징 파라미터를 추출하여 뇌파의 분류 및 분석이 용이하고 신경회로망의 출력을 감성별 지표로 보고 이들의 결과를 부정감성과 긍정감성으로 구분하여 정리함으로써 뇌파의 특징에 가장 적합한 감성평가를 할 수 있다는 장점이 있다. 또한, 본 발명의 실시예에 따르면, 불특정 다수의 사람에 대한 감성평가에 적용할 수 있다는 장점이 있다.As described above, according to the embodiment of the present invention, it is easy to classify and analyze brain waves by extracting the characteristic parameters of the EEG, and the output of the neural network is regarded as an indicator for each emotion, and the results thereof are classified into the negative emotion and the positive emotion It has the advantage of being able to perform emotional evaluation which is best suited to the characteristics of EEG. Further, according to the embodiment of the present invention, there is an advantage that it can be applied to the sensitivity evaluation for an unspecified number of people.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

610: 전처리부
620: 추출부
630: 분류부
610:
620:
630:

Claims (29)

EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터에서 감성을 나타내는 특징 파라미터를 추출하는 단계; 및
상기 특징 파라미터를 이용하여 상기 뇌파 데이터의 패턴을 분류함에 따라 상기 사용자의 감성상태를 분류하는 단계
를 포함하는 감성상태 분류 방법.
Extracting a feature parameter indicating emotion from user's brain wave data measured from an EEG (electroencephalogram) measuring device; And
Classifying the emotional state of the user according to classifying the pattern of the brain wave data using the feature parameter
Wherein the emotional state classification method comprises:
제1항에 있어서,
상기 뇌파 데이터는 16개 채널의 전극을 이용하여 측정되는 것
을 특징으로 하는 감성상태 분류 방법.
The method according to claim 1,
The EEG data are measured using electrodes of 16 channels
Wherein the emotional state classification method comprises the steps of:
제2항에 있어서,
상기 전극은 국제 표준법인 10-20법(ten-twenty electrode system)에 의거하여 두피의 16개 부위에 부착되는 것
을 특징으로 하는 감성상태 분류 방법.
3. The method of claim 2,
The electrode is attached to 16 portions of the scalp according to the international standard 10-20 method (ten-twenty electrode system)
Wherein the emotional state classification method comprises the steps of:
제1항에 있어서,
상기 특징 파라미터를 추출하기 이전에, 상기 뇌파 데이터에 포함된 잡음을 제거하는 전처리 단계
를 더 포함하는 감성상태 분류 방법.
The method according to claim 1,
A pre-processing step of removing noise included in the brain wave data before extracting the feature parameter
Further comprising the steps of:
제1항에 있어서,
상기 특징 파라미터를 추출하기 이전에, 상기 뇌파 데이터에서 눈 깜빡임에 의한 잡음 신호를 제거하는 전처리 단계
를 더 포함하는 감성상태 분류 방법.
The method according to claim 1,
A pre-processing step of removing a noise signal due to blinking in the brain wave data before extracting the feature parameter
Further comprising the steps of:
제5항에 있어서,
상기 전처리 단계는,
상기 잡음 신호를 구별하기 위한 문턱 값(threshold)을 설정하는 단계;
상기 뇌파 데이터를 절대값으로 바꾼 후 각 포인트에서의 기울기를 이용하여 눈 깜빡임 부분의 피크(peak) 값을 검출하는 단계;
상기 피크 값이 상기 문턱 값보다 크면 상기 잡음 신호로 판단하는 단계
를 포함하는 감성상태 분류 방법.
6. The method of claim 5,
The pre-
Setting a threshold for distinguishing the noise signal;
Detecting a peak value of an eye blinking portion by using an inclination at each point after changing the brain wave data to an absolute value;
Determining the noise signal as the noise signal if the peak value is greater than the threshold value
Wherein the emotional state classification method comprises:
제6항에 있어서,
상기 문턱 값을 설정하는 단계는,
상기 뇌파 데이터의 전체 길이에 대한 평균 값을 계산한 후 상기 평균 값에 일정 배수가 곱해진 값을 상기 문턱 값으로 설정하는 것
을 특징으로 하는 감성상태 분류 방법.
The method according to claim 6,
Wherein the step of setting the threshold value comprises:
Calculating a mean value of the total length of the EEG data, and then multiplying the mean value by a certain multiple to set the threshold value
Wherein the emotional state classification method comprises the steps of:
제1항에 있어서,
상기 특징 파라미터를 추출하기 이전에, 상기 뇌파 데이터에서 감성과 관련된 정보가 포함되는 주파수 성분을 필터링 하는 전처리 단계
를 더 포함하는 감성상태 분류 방법.
The method according to claim 1,
A pre-processing step of filtering a frequency component including information related to emotion in the EEG data before extracting the feature parameter,
Further comprising the steps of:
제8항에 있어서,
상기 전처리 단계는,
고역통과필터(high pass filter)를 이용하여 상기 뇌파 데이터에서 직류 오프셋(offset)을 제거하고 저역통과필터(low pass filter)를 이용하여 상기 뇌파 데이터에서 고주파 잡음을 제거하는 것
을 특징으로 하는 감성상태 분류 방법.
9. The method of claim 8,
The pre-
Removing high frequency noise from the brain wave data by removing a DC offset from the EEG data using a high pass filter and using a low pass filter
Wherein the emotional state classification method comprises the steps of:
제1항에 있어서,
상기 특징 파라미터를 추출하는 단계는,
선형예측분석(linear predictive analysis)을 통해 상기 뇌파 데이터의 선형예측기계수(linear predictor coefficient)를 상기 특징 파라미터로서 추출하는 것
을 특징으로 하는 감성상태 분류 방법.
The method according to claim 1,
Wherein the extracting of the feature parameter comprises:
Extracting a linear predictor coefficient of the brain wave data as the feature parameter through a linear predictive analysis
Wherein the emotional state classification method comprises the steps of:
제10항에 있어서,
상기 선형예측기계수는 현재 신호를 이전 신호들의 선형결합으로 예측된 샘플간의 예측 오차를 최소제곱기준(least squares criterion)에 적용하여 구하는 것
을 특징으로 하는 감성상태 분류 방법.
11. The method of claim 10,
The number of linear prediction machines is obtained by applying a prediction error between samples predicted by the linear combination of previous signals to a current signal to a least squares criterion
Wherein the emotional state classification method comprises the steps of:
제11항에 있어서,
상기 예측 오차는 수학식 1을 이용하여 구하는 것
을 특징으로 하는 감성상태 분류 방법.
수학식 1:
Figure pat00011

(여기서, e(n)은 예측 오차를 나타내고, s(n)은 현재 신호 샘플을 나타내며,
Figure pat00012
은 예측된 샘플로서
Figure pat00013
(이때,-ai(i=1, 2, …, M)가 선형예측기계수를 나타낸다.)와 같다.)
12. The method of claim 11,
The prediction error is obtained by using Equation (1)
Wherein the emotional state classification method comprises the steps of:
Equation 1:
Figure pat00011

(Where n (n) represents a prediction error, s (n) represents a current signal sample,
Figure pat00012
Lt; RTI ID = 0.0 >
Figure pat00013
(Here, -a i (i = 1, 2, ..., M) represents the number of linear prediction machines.)
제1항에 있어서,
상기 특징 파라미터를 추출하는 단계는,
상기 뇌파 데이터의 대역별 상호상관계수(cross-correlation coefficient)를 상기 특징 파라미터로서 추출하는 것
을 특징으로 하는 감성상태 분류 방법.
The method according to claim 1,
Wherein the extracting of the feature parameter comprises:
Extracting a cross-correlation coefficient for each band of the EEG data as the feature parameter
Wherein the emotional state classification method comprises the steps of:
제13항에 있어서,
상기 상호상관계수는 수학식 2에 의해 구해지는 것
을 특징으로 하는 감성상태 분류 방법.
수학식 2:
Figure pat00014

(여기서, C(a:jk)는 a 주파수 대역에서 j와 k번째 전극 간의 상호상관계수를 나타내고, Xj(fn)은 j번째 전극에서 주파수 n에서의 주파수 스펙트럼을 나타낸다.)
14. The method of claim 13,
The cross-correlation coefficient is calculated by Equation (2)
Wherein the emotional state classification method comprises the steps of:
Equation 2:
Figure pat00014

Where C (a: jk) represents the cross-correlation coefficient between j and k electrodes in a frequency band, and X j (f n ) represents the frequency spectrum at frequency n at j th electrode.
제13항에 있어서,
상기 특징 파라미터를 추출하는 단계는,
FFT(Fast Fourier Transform) 스펙트럼 또는 AR(Auto-Regressive) 스펙트럼의 주파수 대역 중에서 θ(Theta) 파와 α(Alpha) 파 및 β(beta) 파에 해당되는 대역별 상호상관계수를 각각 추출하는 것
을 특징으로 하는 감성상태 분류 방법.
14. The method of claim 13,
Wherein the extracting of the feature parameter comprises:
(Theta) wave and the alpha (alpha) and beta (beta) waves among the frequency bands of the Fast Fourier Transform (FFT) spectrum or the AR (Auto-Regressive) spectrum
Wherein the emotional state classification method comprises the steps of:
제1항에 있어서,
상기 사용자의 감성상태를 분류하는 단계는,
상기 특징 파라미터로 구성된 다층신경회로망(multilayer perceptron)을 이용하여 상기 뇌파 데이터의 패턴을 분류하는 것
을 특징으로 하는 감성상태 분류 방법.
The method according to claim 1,
Wherein classifying the emotional state of the user comprises:
Classifying the pattern of the EEG data using a multilayer perceptron composed of the feature parameters
Wherein the emotional state classification method comprises the steps of:
제16항에 있어서,
상기 사용자의 감성상태를 분류하는 단계는,
여러 사람의 감성에 대한 뇌파를 학습시켜 구성된 가중치 템플릿(weight templates) 중에서 상기 사용자의 뇌파 데이터와 가장 근사한 뇌파의 템플릿을 선택하는 단계; 및
상기 다층신경회로망에 상기 선택된 템플릿의 가중치로 읽어들인 후 상기 다층신경회로망의 출력을 분석하여 상기 뇌파 데이터의 패턴을 분류하는 단계
를 포함하는 감성상태 분류 방법.
17. The method of claim 16,
Wherein classifying the emotional state of the user comprises:
Selecting a template of an EEG wave closest to the user's brain wave data among weight templates configured by learning an EEG wave for sensitivity of several persons; And
Classifying the pattern of the EEG data by analyzing the output of the multi-layer neural network after reading the weight of the selected template into the multi-layer neural network
Wherein the emotional state classification method comprises:
제17항에 있어서,
상기 다층신경회로망의 출력을 분석하여 상기 뇌파 데이터의 패턴을 분류하는 단계는,
상기 다층신경회로망의 출력 중 가장 큰 값과 두 번째로 큰 값을 가지고 상기 사용자의 감성상태를 판단하는 것
을 특징으로 하는 감성상태 분류 방법.
18. The method of claim 17,
Wherein the classifying the pattern of the EEG data by analyzing the outputs of the multi-
Determining the emotional state of the user with the largest value and the second largest value among the outputs of the multi-layer neural network
Wherein the emotional state classification method comprises the steps of:
컴퓨터 시스템이 뇌파 측정을 통해 감성상태를 분류하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
상기 명령은,
EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터에서 감성을 나타내는 특징 파라미터를 추출하는 단계; 및
상기 특징 파라미터를 이용하여 상기 뇌파 데이터의 패턴을 분류함에 따라 상기 사용자의 감성상태를 분류하는 단계
를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 저장 매체.
15. A computer readable medium comprising instructions for controlling a computer system to classify emotional states through brain wave measurements,
The command includes:
Extracting a feature parameter indicating emotion from user's brain wave data measured from an EEG (electroencephalogram) measuring device; And
Classifying the emotional state of the user according to classifying the pattern of the brain wave data using the feature parameter
≪ / RTI > wherein said computer system is controllable by said computer system.
EEG(electroencephalogram) 측정 장치로부터 측정된 사용자의 뇌파 데이터에서 감성을 나타내는 특징 파라미터를 추출하는 추출부; 및
상기 특징 파라미터를 이용하여 상기 뇌파 데이터의 패턴을 분류함에 따라 상기 사용자의 감성상태를 분류하는 분류부
를 포함하는 감성상태 분류 장치.
An extracting unit for extracting a feature parameter indicating emotion from user's brain wave data measured from an EEG (electroencephalogram) measuring apparatus; And
And a classifying unit for classifying the emotional state of the user according to classifying the pattern of the brain wave data using the feature parameter,
And an emotional state classifying device.
제20항에 있어서,
상기 특징 파라미터를 추출하기 이전에, 상기 뇌파 데이터에 포함된 잡음을 제거하는 전처리부
를 더 포함하는 감성상태 분류 장치.
21. The method of claim 20,
Processing unit for removing noise included in the brain wave data before extracting the feature parameter,
Further comprising:
제20항에 있어서,
상기 특징 파라미터를 추출하기 이전에, 상기 뇌파 데이터에서 눈 깜빡임에 의한 잡음 신호를 제거하는 전처리부를 더 포함하고,
상기 전처리부는,
상기 잡음 신호를 구별하기 위한 문턱 값(threshold)을 설정하고, 상기 뇌파 데이터를 절대값으로 바꾼 후 각 포인트에서의 기울기를 이용하여 눈 깜빡임 부분의 피크(peak) 값을 검출하고, 상기 피크 값이 상기 문턱 값보다 크면 상기 잡음 신호로 판단하는 것
을 특징으로 하는 감성상태 분류 장치.
21. The method of claim 20,
Further comprising a preprocessing unit for removing a noise signal due to blinking in the brain wave data before extracting the feature parameter,
The pre-
A threshold value for discriminating the noise signal is set, a peak value of an eye blinking part is detected using an inclination at each point after changing the brain wave data to an absolute value, and the peak value If the noise signal is larger than the threshold value, it is determined to be the noise signal
Wherein the emotional state classifying device comprises:
제20항에 있어서,
상기 특징 파라미터를 추출하기 이전에, 상기 뇌파 데이터에서 감성과 관련된 정보가 포함되는 주파수 성분을 필터링 하는 전처리부를 더 포함하고,
상기 전처리부는,
고역통과필터(high pass filter)를 이용하여 상기 뇌파 데이터에서 직류 오프셋(offset)을 제거하고 저역통과필터(low pass filter)를 이용하여 상기 뇌파 데이터에서 고주파 잡음을 제거하는 것
을 특징으로 하는 감성상태 분류 장치.
21. The method of claim 20,
Further comprising a preprocessor for filtering a frequency component including information related to emotion in the brain wave data before extracting the feature parameter,
The pre-
Removing high frequency noise from the brain wave data by removing a DC offset from the EEG data using a high pass filter and using a low pass filter
Wherein the emotional state classifying device comprises:
제20항에 있어서,
상기 추출부는,
선형예측분석(linear predictive analysis)을 통해 상기 뇌파 데이터의 선형예측기계수(linear predictor coefficient)를 상기 특징 파라미터로서 추출하는 것
을 특징으로 하는 감성상태 분류 장치.
21. The method of claim 20,
The extracting unit extracts,
Extracting a linear predictor coefficient of the brain wave data as the feature parameter through a linear predictive analysis
Wherein the emotional state classifying device comprises:
제24항에 있어서,
상기 선형예측기계수는 현재 신호를 이전 신호들의 선형결합으로 예측된 샘플간의 예측 오차를 최소제곱기준(least squares criterion)에 적용하여 구하는 것
을 특징으로 하는 감성상태 분류 장치.
25. The method of claim 24,
The number of linear prediction machines is obtained by applying a prediction error between samples predicted by the linear combination of previous signals to a current signal to a least squares criterion
Wherein the emotional state classifying device comprises:
제20항에 있어서,
상기 추출부는,
상기 뇌파 데이터의 대역별 상호상관계수(cross-correlation coefficient)를 상기 특징 파라미터로서 추출하는 것
을 특징으로 하는 감성상태 분류 장치.
21. The method of claim 20,
The extracting unit extracts,
Extracting a cross-correlation coefficient for each band of the EEG data as the feature parameter
Wherein the emotional state classifying device comprises:
제26항에 있어서,
상기 추출부는,
FFT(Fast Fourier Transform) 스펙트럼 또는 AR(Auto-Regressive) 스펙트럼의 주파수 대역 중에서 θ(Theta) 파와 α(Alpha) 파 및 β(beta) 파에 해당되는 대역별 상호상관계수를 각각 추출하는 것
을 특징으로 하는 감성상태 분류 장치.
27. The method of claim 26,
The extracting unit extracts,
(Theta) wave and the alpha (alpha) and beta (beta) waves among the frequency bands of the Fast Fourier Transform (FFT) spectrum or the AR (Auto-Regressive) spectrum
Wherein the emotional state classifying device comprises:
제20항에 있어서,
상기 분류부는,
상기 특징 파라미터로 구성된 다층신경회로망(multilayer perceptron)을 이용하여 상기 뇌파 데이터의 패턴을 분류하는 것
을 특징으로 하는 감성상태 분류 장치.
21. The method of claim 20,
Wherein,
Classifying the pattern of the EEG data using a multilayer perceptron composed of the feature parameters
Wherein the emotional state classifying device comprises:
제28항에 있어서,
상기 분류부는,
여러 사람의 감성에 대한 뇌파를 학습시켜 구성된 가중치 템플릿(weight templates) 중에서 상기 사용자의 뇌파 데이터와 가장 근사한 뇌파의 템플릿을 선택한 후, 상기 다층신경회로망에 상기 선택된 템플릿의 가중치로 읽어들인 후 상기 다층신경회로망의 출력을 분석하여 상기 뇌파 데이터의 패턴을 분류하는 것
을 특징으로 하는 감성상태 분류 장치.
29. The method of claim 28,
Wherein,
Selecting a template of an EEG wave closest to the user's brain wave data among weight templates configured by learning brain waves of emotions of various people, reading the brain wave data with weight of the selected template into the multi-layer neural network, Classifying the pattern of the EEG data by analyzing the output of the network
Wherein the emotional state classifying device comprises:
KR20130109081A 2013-09-11 2013-09-11 Sensibility classification method using brain wave KR20150029969A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130109081A KR20150029969A (en) 2013-09-11 2013-09-11 Sensibility classification method using brain wave

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130109081A KR20150029969A (en) 2013-09-11 2013-09-11 Sensibility classification method using brain wave

Publications (1)

Publication Number Publication Date
KR20150029969A true KR20150029969A (en) 2015-03-19

Family

ID=53024186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130109081A KR20150029969A (en) 2013-09-11 2013-09-11 Sensibility classification method using brain wave

Country Status (1)

Country Link
KR (1) KR20150029969A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640788B1 (en) * 2015-08-13 2016-07-29 국방과학연구소 Detection method of concentration state and non-concentration state using brain signal and terminal thereof
KR101684996B1 (en) * 2015-07-20 2016-12-13 주식회사 소소 Method for minimizing difference between personal
KR101719546B1 (en) * 2015-10-08 2017-03-27 세종대학교산학협력단 Real-time emotion recognition interface using multiple physiological signals of eeg and ecg
CN107256332A (en) * 2017-05-24 2017-10-17 上海交通大学 The electric experimental evaluation system and method for brain based on eye movement data
CN111134692A (en) * 2019-11-15 2020-05-12 北方工业大学 Method for generating electroencephalogram signal multi-dimensional characteristic picture sequence
KR20210058496A (en) 2019-11-14 2021-05-24 재단법인대구경북과학기술원 Apparatus and method for analyzing correlation between cognitive information and visual information
CN112842356A (en) * 2019-11-26 2021-05-28 阿里健康信息技术有限公司 Data processing method, device, equipment and system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101684996B1 (en) * 2015-07-20 2016-12-13 주식회사 소소 Method for minimizing difference between personal
KR101640788B1 (en) * 2015-08-13 2016-07-29 국방과학연구소 Detection method of concentration state and non-concentration state using brain signal and terminal thereof
KR101719546B1 (en) * 2015-10-08 2017-03-27 세종대학교산학협력단 Real-time emotion recognition interface using multiple physiological signals of eeg and ecg
CN107256332A (en) * 2017-05-24 2017-10-17 上海交通大学 The electric experimental evaluation system and method for brain based on eye movement data
KR20210058496A (en) 2019-11-14 2021-05-24 재단법인대구경북과학기술원 Apparatus and method for analyzing correlation between cognitive information and visual information
CN111134692A (en) * 2019-11-15 2020-05-12 北方工业大学 Method for generating electroencephalogram signal multi-dimensional characteristic picture sequence
CN112842356A (en) * 2019-11-26 2021-05-28 阿里健康信息技术有限公司 Data processing method, device, equipment and system
CN112842356B (en) * 2019-11-26 2024-03-26 阿里健康信息技术有限公司 Data processing method, device, equipment and system

Similar Documents

Publication Publication Date Title
Karthikeyan et al. Detection of human stress using short-term ECG and HRV signals
CN107788970B (en) Mental load assessment method based on multi-physiological parameter method fusion
Montesinos et al. Multi-modal acute stress recognition using off-the-shelf wearable devices
Kalas et al. Stress detection and reduction using EEG signals
KR20150029969A (en) Sensibility classification method using brain wave
KR101535352B1 (en) Measurement of depression depth with frontal lobe brain waves
JP2006095266A (en) Sensitive state judging method
JP2006095266A5 (en)
Gruszczyńska et al. Epilepsy identification based on EEG signal using RQA method
Ganapathy et al. Emotion recognition using electrodermal activity signals and multiscale deep convolutional neural network
KR101842750B1 (en) Realtime simulator for brainwaves training and interface device using realtime simulator
Kim et al. Wedea: A new eeg-based framework for emotion recognition
Samima et al. EEG-based mental workload estimation
Çetin et al. The detection of normal and epileptic EEG signals using ANN methods with matlab-based GUI
Patil et al. A method for detection and reduction of stress using EEG
CN113208613B (en) Multi-mode BCI (binary coded decimal) timing optimization method based on FHLS (FHLS) feature selection
CN111671445A (en) Consciousness disturbance degree analysis method
Jaiswal et al. Assessment of cognitive load from bio-potentials measured using wearable endosomatic device
JP3933568B2 (en) Brain function measuring device
Vesselenyi et al. Vehicle driver drowsiness monitoring and warning system
Martins et al. A Comparison of Machine Learning Techniques for the Detection of Type-4 PhotoParoxysmal Responses in Electroencephalographic Signals
Zhang EEG signals feature extraction and artificial neural networks classification for the diagnosis of schizophrenia
Pineda et al. Use of complex networks for the automatic detection and the diagnosis of Alzheimer’s disease
Kumar et al. Mental Fatigue Quantification by Physiological and Neurophysiological Techniques: An Overview
Peya et al. ASD detection using Higuchi’s fractal dimension from EEG

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment