KR101133845B1 - Method for creating brainwave signal database - Google Patents
Method for creating brainwave signal database Download PDFInfo
- Publication number
- KR101133845B1 KR101133845B1 KR1020100101843A KR20100101843A KR101133845B1 KR 101133845 B1 KR101133845 B1 KR 101133845B1 KR 1020100101843 A KR1020100101843 A KR 1020100101843A KR 20100101843 A KR20100101843 A KR 20100101843A KR 101133845 B1 KR101133845 B1 KR 101133845B1
- Authority
- KR
- South Korea
- Prior art keywords
- database
- emotion
- eeg
- information
- eeg signal
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2230/00—Measuring physiological parameters of the user
- A63B2230/08—Measuring physiological parameters of the user other bio-electrical signals
- A63B2230/10—Measuring physiological parameters of the user other bio-electrical signals electroencephalographic signals
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Psychology (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
뇌파 신호 데이터베이스 생성 장치에 의해서 수행되는 뇌파 신호 데이터베이스 생성 방법에 관한 것으로, 보다 구체적으로는 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 데이터베이스를 생성하기 위한 방법, 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 데이터베이스를 생성하기 위한 방법, 특정 감정에 대한 뇌파 신호를 포함하는 기존 데이터베이스를 이용해서 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 데이터베이스를 생성하기 위한 방법, 및 특정 감정에 대한 뇌파 신호를 포함하는 기존 데이터베이스를 이용해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 데이터베이스를 생성하기 위한 방법에 관한 것이다.A method for generating an EEG signal database performed by an EEG signal database generating device, and more specifically, a method for generating a database including an EEG signal including an emotion information and a facial expression information for a specific emotion, and a natural method according to a specific emotion. Embedding facial expression information and removing emotion information on facial expressions Method for creating a database containing EEG signals, including facial expression information on natural facial expressions and emotions based on specific emotions using existing database containing EEG signals for specific emotions A method for generating a database including the removed EEG signal, and using the existing database including the EEG signal for a specific emotion, generating a database including the emotion information including the expression information and the expression information removal EEG signal for the specific emotion. Present invention relates to a method.
뇌파 신호를 이용한 피험자의 감성을 분석하는 방법에 대한 기술은 이미 다양한 학제적 연구 및 상용화 인터페이스로 개발되고 있는 실정이나 뇌파 신호를 포함하는 데이터베이스 구축 방법에 따라 인식성능이 유동적이라는 제약사항이 존재한다. 따라서, 인식 성능의 향상을 위해서는 원하는 감정정보 또는 표정정보를 포함하는 뇌파 신호로 구성된 순수한 뇌파 데이터베이스를 구축할 수 있는 방법이 필요하다.The technique of analyzing the emotion of a subject using EEG signals has a limitation that the recognition performance is flexible according to the situation in which various interdisciplinary studies and commercialization interfaces are being developed or the database construction method including EEG signals. Therefore, in order to improve recognition performance, a method for building a pure EEG database composed of EEG signals including desired emotion information or facial expression information is needed.
본 발명은 사람이 감정을 느낄 때 뇌파의 변화를 분석함에 있어, 감정이 유발된 상태에서의 뇌파에 유입될 수 있는 기타 변화들을 별도의 데이터베이스를 구축하여 차감함으로써 감정에 따른 순수한 뇌파 정보만을 취득하는 방법을 제시하고, 둘 이상의 데이터베이스를 통해 감정에 대한 순수한 뇌파 데이터베이스를 구축하여 기존의 감정 뇌파 데이터베이스에 대한 신뢰도 향상 및 감정인식의 성능향상을 도모하는 것을 그 목적으로 한다.In the present invention, when analyzing a change in EEG when a person feels an emotion, by subtracting other changes that may be introduced into the EEG in the emotion-induced state by constructing a separate database, only pure EEG information according to the emotion is acquired. The purpose of this study is to establish a pure EEG database on emotions through two or more databases, and to improve the reliability and performance of emotion recognition on the existing EEG databases.
본 발명의 일 실시예에 있어서, 본 발명에 따른 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 제1 데이터베이스를 생성하기 위해 뇌파 신호 데이터베이스 생성 장치에 의해서 수행되는 뇌파 신호 데이터베이스 생성 방법은 상술한 목적을 달성하기 위해서, 상기 장치가 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제2 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제1 단계; 상기 장치가 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제3 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제2 단계; 상기 장치가 제2 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제3 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제2 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제3 단계; 및 상기 장치가 제3 단계에서 산출된 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 이용해서 제1 데이터베이스를 생성하는 제4 단계를 포함한다. In one embodiment of the present invention, an EEG signal database generation method performed by the EEG signal database generating device to generate a first database including the EEG signal including the emotion information and facial expression information removal for a specific emotion according to the present invention In order to achieve the above object, the apparatus calculates a power spectrum of each EEG signal contained in a second database of the EEG signals generated on the premise of an intentional expression of a specific emotion-induced state. Stage 1; A second step of calculating, by the device, an average power spectrum of an EEG signal included in a third database of EEG signals generated on the premise of an intentional expression without a specific emotion; The device subtracts from the power spectrum of each EEG signal contained in the second database from the average power spectrum of the EEG signal included in the third database, thereby giving an emotion for a particular emotion for each EEG signal included in the second database Calculating an EEG signal including information and removing facial expression information; And a fourth step in which the device generates a first database using the emotion information including and facial expression information removal EEG signals for the specific emotion calculated in the third step.
본 발명의 다른 실시예에 있어서, 본 발명에 따른 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 제1 데이터베이스를 생성하기 위해 뇌파 신호 데이터베이스 생성 장치에 의해서 수행되는 뇌파 신호 데이터베이스 생성 방법은 상술한 목적을 달성하기 위해서, 상기 장치가 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제22 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제1 단계; 상기 장치가 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제23 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제2 단계; 상기 장치가 특정 감정이 유발된 상태의 자연스러운 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제24 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제3 단계; 상기 장치가 제22 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제23 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제22 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제4 단계; 상기 장치가 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제5 단계; 상기 장치가 제24 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제24 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 산출하는 제6 단계; 및 상기 장치가 제6 단계에서 산출된 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 이용해서 제21 데이터베이스를 생성하는 제7 단계를 포함한다. In another embodiment of the present invention, an EEG performed by the EEG signal database generating device to generate a first database including the facial expression information and the emotion information removal EEG signal for the natural expression according to the specific emotion according to the present invention In order to achieve the above object, a signal database generation method includes a power spectrum of each EEG signal included in a twenty-second database in which the EEG signal is generated based on an intentional expression of a state in which a specific emotion is induced. Calculating a first step; A second step of calculating, by the device, an average power spectrum of an EEG signal included in a twenty-third database of EEG signals generated on the premise of an intentional expression in a state in which a specific emotion is not induced; A third step of the device calculating a power spectrum of each EEG signal included in a twenty-fourth database of EEG signals generated on the premise of a natural expression of a specific emotion-induced state; The apparatus subtracts the power spectrum of each EEG signal contained in the twenty-second database from the average power spectrum of the EEG signal included in the twenty-third database, thereby giving an emotion for a particular emotion for each EEG signal included in the twenty-second database Calculating an EEG signal including information and removing facial expression information; A fifth step of the device calculating an average power spectrum of the EEG signal including the emotion information and removing facial expression information; The apparatus subtracts the average power spectrum of the emotion inclusion and facial expression information removal brain wave signal from the power spectrum of each brain wave signal included in the twenty-fourth database, thereby applying a specific emotion to each of the brain wave signals included in the twenty-fourth database. Calculating an EEG signal including facial expression information and emotion information removal; And a seventh step in which the device generates a twenty-first database by using the expression information including the facial expression information and the emotion information removal brain wave signal calculated in the sixth step.
본 발명의 다른 실시예에 있어서, 본 발명에 따른 특정 감정에 대한 뇌파 신호를 포함하는 제1 데이터베이스를 이용해서 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 제2 데이터베이스를 생성하기 위해 뇌파 신호 데이터베이스 생성 장치에 의해서 수행되는 뇌파 신호 데이터베이스 생성 방법은 상술한 목적을 달성하기 위해서, 상기 장치가 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제33 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제1 단계; 상기 장치가 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제34 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제2 단계; 상기 장치가 제33 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제34 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제33 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제3 단계; 상기 장치가 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제4 단계; 상기 장치가 제31 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제5 단계; 상기 장치가 제31 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제31 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 산출하는 제6 단계; 및 상기 장치가 제6 단계에서 산출된 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 이용해서 제32 데이터베이스를 생성하는 제7 단계를 포함한다.In another embodiment of the present invention, using a first database including the EEG signal for a specific emotion according to the present invention, a second including the facial expression information and emotion information removal EEG signal for the natural expression according to the specific emotion The EEG signal database generation method performed by the EEG signal database generation device to generate the database is to achieve the above-mentioned object, the EEG signal database generated on the premise that the device is intentional expression of a specific emotion-induced state Calculating a power spectrum of each brain wave signal included in the 33rd database; A second step of calculating, by the device, an average power spectrum of an EEG signal included in a thirty-fourth database of EEG signals generated on the premise of an intentional expression in a state in which a specific emotion is not induced; The apparatus subtracts the power spectrum of each EEG signal contained in the thirty-third database from the average power spectrum of the EEG signal included in the thirty-fourth database, thereby giving an emotion for a particular emotion for each EEG signal included in the thirty-third database Calculating an EEG signal including information and removing facial expression information; A fourth step of the device calculating an average power spectrum of the EEG signal including the emotion information and removing facial expression information; A fifth step of the device calculating a power spectrum of each EEG signal included in a thirty-first database; The apparatus subtracts the average power spectrum of the emotion information including and facial expression information removal brain wave signals from the power spectrum of each brain wave signal included in the thirty-first database, thereby applying a specific emotion to each brain wave signal included in the thirty-first database. Calculating an EEG signal including facial expression information and emotion information removal; And a seventh step in which the device generates a thirty-second database by using the expression information including the emotion information and the emotion information removal brain wave signal calculated in the sixth step.
본 발명의 다른 실시예에 있어서, 본 발명에 따른 특정 감정에 대한 뇌파 신호를 포함하는 제1 데이터베이스를 이용해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 제2 데이터베이스를 생성하기 위해 뇌파 신호 데이터베이스 생성 장치에 의해서 수행되는 뇌파 신호 데이터베이스 생성 방법은 상술한 목적을 달성하기 위해서, 상기 장치가 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제43 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제1 단계; 상기 장치가 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제44 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제2 단계; 상기 장치가 특정 감정이 유발된 상태의 자연스러운 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제45 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제3 단계; 상기 장치가 제43 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제44 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제43 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제4 단계; 상기 장치가 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제5 단계; 상기 장치가 제45 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제45 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 산출하는 제6 단계; 및 상기 장치가 상기 표정정보포함 및 감정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제7 단계; 상기 장치가 제41 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제8 단계; 상기 장치가 제41 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 표정정보포함 및 감정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제41 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제9 단계; 및 상기 장치가 제9 단계에서 산출된 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 이용해서 제42 데이터베이스를 생성하는 제10 단계 포함한다.In another embodiment of the present invention, using a first database including an EEG signal for a specific emotion according to the present invention, generating a second database including the emotion information and facial expression information removal EEG signal for the specific emotion The EEG signal database generating method performed by the EEG signal database generating device in order to achieve the above-mentioned object, is a 43rd database of the EEG signals generated on the premise that the device is intentional expression of a specific emotion-induced state Calculating a power spectrum of each EEG signal included in the database; A second step of calculating, by the device, an average power spectrum of an EEG signal included in a 44th database of EEG signals generated on the premise of an intentional expression without a specific emotion; A third step of calculating, by the device, a power spectrum of each EEG signal included in a forty-fifty database databaseing the EEG signals generated on the premise of a natural expression of a specific emotion-induced state; The apparatus subtracts the power spectrum of each EEG signal included in the 43rd database from the average power spectrum of the EEG signal included in the 44th database, thereby giving an emotion for a particular emotion for each EEG signal included in the 43rd database Calculating an EEG signal including information and removing facial expression information; A fifth step of the device calculating an average power spectrum of the EEG signal including the emotion information and removing facial expression information; The apparatus subtracts the average power spectrum of the emotion information including and facial expression information removal brain wave signals from the power spectrum of each brain wave signal included in the 45th database, thereby applying a specific emotion to each brain wave signal included in the 45th database. Calculating an EEG signal including facial expression information and emotion information removal; And calculating, by the device, an average power spectrum of the EEG signal including the facial expression information and the emotional information removal signal. An eighth step of the device calculating a power spectrum of each EEG signal included in the forty-first database; The apparatus subtracts the average power spectrum of the facial expression including and emotion information removing EEG signals from the power spectrum of each EEG signal included in the 41st database, thereby applying a specific emotion to each EEG signal included in the 41st database. Calculating an EEG signal including emotion information and removing facial expression information for the ninth step; And a tenth step in which the device generates a forty-second database using the emotion information including and facial expression information removal brain wave signals for the specific emotion calculated in the ninth step.
본 발명에 의해서 사용자가 얻고자 하는 정보에 대한 순수한 뇌파 신호의 취득이 가능해 짐에 따라 뇌파를 이용한 인식 연구의 데이터베이스에 대한 신뢰도 향상 및 인식 성능 향상이 가능해 진다. According to the present invention, it is possible to acquire pure EEG signals for information desired by a user, thereby improving reliability and recognition performance of a database of recognition studies using EEG.
또한, 본 발명으로부터 얻어지는 감정이입에 따른 피험자의 표정 변화에 대한 순수한 뇌파 데이터베이스는 기존의 감정에 따른 뇌파 변화를 분석하는데 사용가능하다. 피험자의 감정에 대한 뇌파를 측정할 때 피험자의 표정 변화에 대한 뇌파정보를 차감해서 순수한 감정에 대한 뇌파 정보를 획득함으로써, 가공 전의 데이터베이스를 이용하는 것보다 인식성능을 향상시킬 수 있다.In addition, the pure EEG database of the subject's facial expression change by empathy obtained from the present invention can be used to analyze the EEG change according to the existing emotion. When measuring EEG of a subject's emotion, the EEG information of pure emotion is obtained by subtracting EEG information of the subject's facial expression change, thereby improving the recognition performance than using a database before processing.
또한, 본 발명에서 제시하는 방법을 통해 얻어지는 감정이 유발됨에 따른 피험자들의 자연스러운 표정 변화에 대한 데이터베이스를 구축함으로써 피험자들의 공통적 변화에 대한 분석이 가능해지고 감정 뇌파 데이터베이스를 구축함에 있어 표정변화에 대한 공통적 특징을 차감하여 피험자들의 감정에 대한 신뢰도 높은 뇌파 데이터베이스를 취득할 수 있다. In addition, by constructing a database of natural facial expression changes of the subjects caused by the emotions obtained through the method proposed in the present invention, it is possible to analyze the common changes of the subjects, and the common characteristics of the facial expression changes in constructing the EEG database. The EEG database can be obtained by subtracting the reliable EEG database.
또한, 본 발명에 의하면 기존에 연구된 뇌파 데이터베이스에 대한 전처리 방법 중 눈깜빡임이나 근육의 움직임에 따라 발생되는 잡파를 제거하기 위해 델타파 대역을 제거하는 방법에서 발생되는 델타파 대역에 존재하는 다른 정보에 대한 손실을 막을 수 있다는 장점을 가진다.In addition, according to the present invention, other information existing in the delta wave band generated in the method of removing the delta wave band in order to remove the miscellaneous wave generated by blinking or muscle movement among pretreatment methods for the EEG database previously studied. It has the advantage that it can prevent the loss.
또한, 본 발명에 있어서 데이터베이스 간 차감 시 N초(예컨대, 1초) 단위로 분리한 데이터를 이용하여 주파수축에서 분석함으로써 전체신호를 주파수축에서 분석할 때 손실되는 시간적인 변화 정보를 포함하여 분석함으로써 감정이 유발됨에 따른 피험자의 변화 상태를 지속적으로 분석할 수 있다는 장점이 있다.In addition, in the present invention, by analyzing the frequency axis using data separated in units of N seconds (for example, 1 second) when deducting between databases, the analysis includes the temporal change information lost when the entire signal is analyzed on the frequency axis. By doing so, there is an advantage in that it is possible to continuously analyze the change state of the subject as the emotion is induced.
또한, 본 발명에 의해 수행된 스펙트럼 상에 나타나는 표정변화에 대한 정보와 감정변화에 대한 정보의 분리를 통해서 본 발명에서 얻고자 하는 감정에 대한 순수한 뇌파 데이터베이스와 자연스러운 표정에 대한 순수한 뇌파 데이터베이스를 구축하는 것이 가능하다. In addition, through the separation of the information on the expression change and the emotion change appearing on the spectrum performed by the present invention to build a pure EEG database for the emotion and the pure EEG database for natural expression It is possible.
또한, 본 발명을 통해 얻어진 감정 및 표정에 대한 순수한 뇌파 데이터베이스를 이용해서, 인간이 느끼는 감정에 대한 뇌파 분석이 가능해 지고 이를 통해 피험자의 감정을 인식하여 피험자가 느끼는 감정에 따른 사용자 맞춤형 서비스를 제공하는 것이 가능하다.In addition, using a pure EEG database for the emotions and expressions obtained through the present invention, it becomes possible to analyze the EEG of the emotions that humans feel, thereby recognizing the emotions of the subjects to provide a customized service according to the feelings of the subjects It is possible.
도 1은 본 발명의 일 실시예에 따라서, 감정에 대한 순수한 뇌파 데이터베이스 구축 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라서, 감정에 따른 자연스러운 표정 변화에 대한 순수한 뇌파 데이터베이스 구축 방법을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 의도적인 표정유발에 사용되는 영상물들의 예를 도시한 도면이다.
도 4는 본 발명에 따른 감정유발에 사용되는 영상물들의 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라서, 데이터베이스 간에 스펙트럼 차감법을 적용하는 과정을 개략적으로 도시한 도면이다.
도 6은 본 발명에 따라서, 기존의 뇌파 데이터베이스로부터 감정에 대한 순수한 뇌파 신호를 포함하는 데이터베이스와 자연스러운 표정에 대한 순수한 뇌파정보를 포함하는 데이터베이스를 생성하는 방법을 설명하기 위한 개략도이다.
도 7은 본 발명의 일 실시예에 따라서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 데이터베이스(제1 데이터베이스)를 생성하기 위한 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따라서 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 데이터베이스(제21 데이터베이스)를 생성하기 위한 방법의 흐름도이다.
도 9는 본 발명의 일 실시예에 따라서 특정 감정에 대한 뇌파 신호를 포함하는 기존 데이터베이스(제31 데이터베이스)를 이용해서 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 데이터베이스(제32 데이터베이스)를 생성하기 위한 방법의 흐름도이다.
도 10은 본 발명의 일 실시예에 따라서 특정 감정에 대한 뇌파 신호를 포함하는 기존 데이터베이스(제41 데이터베이스)를 이용해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 데이터베이스(제42 데이터베이스)를 생성하기 위한 방법의 흐름도이다.1 is a view for explaining a method for establishing a pure EEG database for emotion according to an embodiment of the present invention.
2 is a diagram for explaining a method for constructing a pure EEG database for a natural facial expression change according to an emotion according to an embodiment of the present invention.
3 is a diagram illustrating examples of images used for intentional facial expression according to the present invention.
4 is a diagram illustrating examples of images used for inducing emotion according to the present invention.
5 is a diagram schematically illustrating a process of applying a spectral subtraction method between databases according to an embodiment of the present invention.
6 is a schematic diagram illustrating a method for generating a database including a pure EEG signal for emotion and a database containing pure EEG information for a natural expression according to the present invention.
7 is a flowchart of a method for generating a database (first database) including the EEG signal including the emotion information and facial expression information removal for a specific emotion according to an embodiment of the present invention.
8 is a flowchart of a method for generating a database (twenty-first database) including facial information including the facial expression information and the emotional information removing EEG signal according to one embodiment of the present invention.
FIG. 9 includes the expression information including the facial expression information and the emotion information removal EEG signal for a natural expression according to a specific emotion using an existing database (31st database) including the EEG signal for a specific emotion according to an embodiment of the present invention. A flowchart of a method for creating a database (a thirty-second database).
FIG. 10 is a database including emotion information including a specific emotion and facial expression information removal brain wave signal using a conventional database (41st database) including an EEG signal for a specific emotion according to an embodiment of the present invention. Database).
본 발명은 피험자의 서로 다른 유형의 뇌파 데이터베이스(Database; DB)를 측정하고 데이터베이스 간 스펙트럼 차감법을 통하여 감정이나 의도(명령어), 표정 등의 정보에 대한 순수한 뇌파 신호를 획득하고 활용하는 방법에 대한 내용이다. 두 가지 이상의 정보가 혼합되어 있는 뇌파 신호에서 제거하고자 하는 정보에 대한 뇌파 신호의 평균 스펙트럼을 차감함으로써 얻고자 하는 정보의 순수한 뇌파 데이터베이스를 구축하는 방법과 이를 활용하는 방안이다.The present invention relates to a method for measuring and analyzing the different types of EEG databases of subjects and obtaining and utilizing pure EEG signals for information such as emotions, intentions (instructions), and facial expressions through spectral subtraction between databases. It is content. It is a method to build a pure EEG database of information to be obtained by subtracting the average spectrum of the EEG signal for the information to be removed from the EEG signal mixed with two or more information and a method of using the same.
순수한 감정에 대한 뇌파 신호를 얻는 것을 예를 들어 설명할 때 피험자에게 각 감정을 표현하는 표정 그림을 제시하여 중립상태에서 의도적인 표정에 대한 뇌파 데이터베이스를 구축하고, 감정 자극용 영상을 제시함으로써 피험자의 감정을 유발하여 감정이 유발된 상태에서의 의도적인 표정에 대한 뇌파 데이터베이스를 측정한다. 감정이 유발된 상태에서의 의도적 표정에 대한 뇌파 신호에는 표정과 감정의 정보가 혼입되어 있으므로, 중립상태에서 표정 정보만 포함한 뇌파 신호의 정보를 차감함으로써 감정에 대한 순수한 뇌파 신호를 얻게 된다. When explaining, for example, the acquisition of EEG signals for pure emotions, the subjects are presented with facial expressions that express each emotion, constructing an EEG database for intentional expressions in a neutral state, and presenting images for emotional stimulation. Emotions are measured to measure EEG databases of intentional expressions in the state of emotions. Since the EEG signal for the intentional expression in the emotion-induced state is mixed with the information of the expression and emotion, pure EEG signal for the emotion is obtained by subtracting the information of the EEG signal including the expression information in the neutral state.
피험자가 감정이 유발됨에 따라 나타나는 자연스러운 표정 변화에 대한 뇌파 정보를 얻길 원할 경우엔 감정 유발 후 자연스러운 표정 변화에 대한 뇌파 데이터베이스를 구축하여 구축한 데이터베이스에서 감정에 대한 순수한 뇌파 정보를 차감함으로써 감정에 따른 표정 변화에 대한 순수한 뇌파 신호를 취득이 가능하다.If the subject wants to obtain EEG information on the natural facial expression changes that occur as the emotion is induced, the EEG database is constructed by subtracting pure EEG information on the emotional expression from the database built by constructing an EEG database on the natural facial expression after the emotion is induced. It is possible to acquire pure EEG signals for change.
본 발명을 통하여 사용자가 얻고자 하는 정보에 대한 순수한 뇌파 신호의 취득이 가능해지므로 뇌파를 이용한 인식 연구의 데이터베이스에 대한 신뢰도 향상 및 인식 성능 향상이 가능해 진다. 나아가, 여러 피험자에게서 얻어진 감정 데이터베이스와 표정 데이터베이스에서 얻어지는 공통적 특징을 이용하여 실시간 감정 및 표정인식이 가능해 진다. The present invention enables the acquisition of pure EEG signals for information desired by a user, thereby improving the reliability and recognition performance of the database of recognition studies using EEG. Furthermore, real-time emotion and facial expression recognition can be realized by using common features obtained from emotion databases and facial expression databases obtained from various subjects.
본 명세서에서 사용되는 용어와 관련하여, "감정에 대한 순수한 뇌파"라는 것은 감정에 대한 감정정보포함 및 표정정보제거 뇌파, 즉 감정에 대한 감정정보를 포함하고 표정정보를 제거한 뇌파를 의미한다. 또한, "자연스러운 표정에 대한 순수한 뇌파"라는 것은 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파, 즉 감정에 따른 자연스러운 표정에 대한 표정정보를 포함하고 감정정보를 제거한 뇌파를 의미한다. In connection with the term used herein, the term "pure brainwaves for emotions" refers to brain waves containing emotion information and facial expression information for emotions, that is, brain waves containing emotion information for emotions and removed facial expression information. In addition, the term "pure EEG for a natural expression" means the expression including the facial expression information and the emotion information removal for the natural expression according to the emotion, that is, the EEG including the facial expression information for the natural expression according to the emotion and removed the emotion information.
본 발명에 감정 및 의도(명령어), 표정에 대한 뇌파 데이터베이스 구축방법에 대한 개념의 예가 도 1 및 도 2에서 도시되는데, 도 1은 본 발명의 일 실시예에 따라서, 감정에 대한 순수한 뇌파 데이터베이스 구축 방법을 설명하기 위한 도면이고, 도 2는 본 발명의 일 실시예에 따라서, 감정에 따른 자연스러운 표정 변화에 대한 순수한 뇌파 데이터베이스 구축 방법을 설명하기 위한 도면이다.An example of the concept of a method for constructing an EEG database for emotions, intentions (commands), and facial expressions is shown in FIGS. 1 and 2, which illustrates a pure EEG database for emotions according to an embodiment of the present invention. FIG. 2 is a view for explaining a method, and FIG. 2 is a view for explaining a method for constructing a pure EEG database for a natural facial expression change according to an emotion according to an embodiment of the present invention.
도 1에서 도시된 바와 같이 본 발명에는 감정에 대한 순수한 뇌파 데이터베이스를 취득하기 위하여 감정이 유발된 상태에서의 의도적인 표정에 대한 뇌파 데이터베이스에서 감정이 없는 의도적인 표정에 대한 뇌파 데이터베이스를 차감하는 방법을 제시한다. 감정이 유발된 상태에서 의도적인 표정을 짓게 되면 뇌파에는 감정에 대한 정보와 의도적인 표정에 대한 정보가 공존하게 되므로 의도적인 표정에 대한 정보를 차감함으로써 감정이 유발될 때 나타나는 뇌파의 정보를 새로운 데이터베이스로 구축하는 것이 가능하게 된다. As shown in FIG. 1, the present invention provides a method of subtracting an EEG database for an intentional expression without an emotion from an EEG database for an intentional expression in an emotion-induced state to obtain a pure EEG database for emotion. present. When an intentional expression is made in a state where emotion is induced, EEG information and an intentional expression coexist in the EEG, so the information on the EEG is subtracted by subtracting the information on the intentional expression. It is possible to build.
또한, 도 2에서 도시된 바와 같이 새로 구축된 감정에 대한 순수한 뇌파 데이터베이스를 감정이 유발된 상태에서 자연스러운 표정 변화에 대한 뇌파 데이터베이스에서 차감함으로써 피험자가 감정이 유발될 때 나타나는 자연스러운 표정 변화에 대한 순수한 뇌파 정보를 얻을 수 있게 된다. 이처럼 서로 다른 데이터베이스의 차감을 통하여 원하는 데이터베이스를 구축하는 방법을 통해 순수한 감정에 대한 뇌파 정보와 감정유발에 따른 자연스러운 표정에 대한 뇌파정보를 취득함으로써 기존의 뇌파를 이용한 감정 및 표정인식 연구에 결과를 향상시킬 수 있다.Also, as shown in FIG. 2, the pure EEG database for newly constructed emotions is subtracted from the EEG database for natural facial expression changes in the emotion-induced state. Information can be obtained. As a result, by constructing the desired database through subtraction of different databases, EEG information on pure emotions and EEG information on natural expressions caused by emotions are acquired. You can.
도 3은 본 발명에 따른 의도적인 표정유발에 사용되는 영상물들의 예를 도시한 도면이고, 도 4는 본 발명에 따른 감정유발에 사용되는 영상물들의 예를 도시한 도면이다.FIG. 3 is a diagram illustrating examples of images used for intentional facial expression according to the present invention, and FIG. 4 is a diagram illustrating examples of images used to induce emotion according to the present invention.
본 발명에서 예시로 제시한 감정 및 표정에 대한 순수한 뇌파 데이터베이스를 얻기 위해 사용되는 세 가지의 기본 뇌파 데이터베이스를 생성하는 방법은 다음과 같다.A method of generating three basic EEG databases used to obtain a pure EEG database for the emotions and expressions presented as an example in the present invention is as follows.
먼저, 감정이 없는 의도적인 표정에 대한 제1 기본 뇌파 데이터베이스를 생성하게 되는데 이때는 피험자에게 감정의 중립상태를 유지시킨 후 도 3과 같은 각 감정에 따른 표정을 나타내는 사진을 제시하여 도 3에서의 표정을 따라하도록 유도를 한다. 각 표정마다 짧은 시간동안 뇌파를 측정하되 여러 세트를 반복 측정하는데 이는 오랜 시간 한가지 표정을 짓게 됨으로써 발생될 수 있는 감정에 대한 정보를 차단하기 위함이다. First, a first basic EEG database for an intentional expression without emotion is generated. In this case, the subject is maintained in a neutral state, and then the photograph is presented to the subject to show the expression for each emotion as shown in FIG. 3. Induce to follow. For each facial expression, EEG is measured for a short time, but several sets of measurements are repeated to block information about emotions that may be caused by making one facial expression for a long time.
상술한 방법으로 제1 기본 뇌파 데이터베이스를 구축하게 되면 감정이 유발된 상태에서의 뇌파를 측정하는데, 감정 유발을 위하여 도 4와 같은 감정유발을 위한 영상물을 피험자에게 제시를 한다. 도 4는 Lang에 의해 개발된 정서연구를 위한 표준 시각 자료의 일부이다. 피험자는 일정 시간 하나의 감정을 나타내는 여러 영상물을 응시함으로써 충분히 해당 감정상태가 유발되도록 한 뒤 뇌파를 측정한다. 감정이 유발된 상태에서의 뇌파를 측정할 때 두 가지 종류의 데이터베이스를 생성하게 되는데, 하나는 감정이 유발된 상태에서 의도적인 표정에 대한 제2 기본 뇌파 데이터베이스이고 다른 하나는 감정유발에 따른 자연스러운 표정에 대한 제3 기본 뇌파 데이터베이스이다. 제2 기본 뇌파 데이터베이스를 생성할 때에는 감정이 유발된 상태에서 표정그림을 감정자극 사진과 동시에 제시함으로써 감정이 유발된 상태에서 의도적인 표정을 짓도록 한다. 제2 기본 뇌파 데이터베이스를 생성할 때에는 충분한 시간을 측정하도록 하고, 측정시간 동안은 피험자에게 동일한 표정을 유지하도록 한다. 제3 기본 뇌파 데이터베이스는 감정이 유발된 상태에서 표정그림을 제시하지 않고 감정자극 사진을 제시할 때의 피험자의 표정변화에 대한 뇌파를 측정하여 뇌파 데이터베이스를 생성한다.When the first basic EEG database is constructed by the above-described method, the EEG is measured in an emotion-induced state, and an image for emotion induction as shown in FIG. 4 is presented to the subject to induce emotion. 4 is a part of standard visual data for emotional research developed by Lang. The subject gazes at various images representing a single emotion for a certain period of time so that the emotional state is sufficiently induced, and then measures the EEG. When measuring EEG in the emotion-induced state, two kinds of databases are created, one is the second basic EEG database for the intentional expression in the emotion-induced state, and the other is the natural expression of emotion induction. The third basic EEG database for. When the second basic EEG database is generated, an expression picture is presented at the same time as the emotion-induced state to be intentionally made in the emotion-induced state. Enough time is measured when the second basic EEG database is generated, and the subject maintains the same expression during the measurement time. The third basic EEG database generates an EEG database by measuring EEG of the subject's facial expression change when presenting an emotional stimulus picture without presenting an expression picture in an emotion-induced state.
이렇게 생성한 세 가지의 기본 뇌파 데이터베이스에 대해서 뇌파 데이터베이스 간 정보를 차감함으로써 원하는 뇌파 신호를 포함하는 뇌파 데이터베이스를 생성할 수 있다. 하지만, 단순히 측정한 원 신호 간의 차감은 의미가 없을뿐더러 발명으로부터 얻고자 하는 정보를 잃게 될 가능성이 있기 때문에, 데이터베이스 간 정보를 차감함에 있어 이하에서 상세히 설명하는 일련의 처리 과정이 필요하다. 또한, 데이터베이스 간 데이터의 양의 차이가 발생할 수 있으므로 어떠한 정보를 통하여 데이터베이스를 차감할 것인지 선정하는 것 또한 무척 중요하다. 본 발명에서는 뇌파의 주파수 정보를 이용하기 위해 스펙트럼을 이용한 차감법을 일 예로 제시한다. By subtracting the information between the EEG databases with respect to the three basic EEG databases generated in this way, an EEG database including the desired EEG signals can be generated. However, since the subtraction between the measured original signals is meaningless and there is a possibility that the information to be obtained from the invention may be lost, a series of processes described in detail below are required for subtracting information between databases. In addition, it is also very important to select which information to subtract the database, because there may be a difference in the amount of data between the databases. In the present invention, a subtraction method using a spectrum is used as an example to use frequency information of an EEG.
다시 말해, 본 발명은 다양한 정보가 혼입되어있는 형태의 뇌파 데이터베이스와 차감하고자 원하는 정보를 포함한 뇌파 데이터베이스를 이용하여 데이터베이스 간 차감법을 통해 감정에 대한 순수한 뇌파의 특징과 사람이 감정을 느낄 때 동반되는 표정 변화에 대한 순수한 뇌파 특징을 취득하는 방법에 대해 제시하고 있으며, 특히, 뇌파 신호의 스펙트럼을 이용한 차감법을 일 예로 제시한다.In other words, the present invention uses the EEG database in which various information is mixed and the EEG database including information desired to be subtracted. A method of acquiring pure EEG features for facial expression changes is presented. In particular, a subtraction method using a spectrum of EEG signals is given as an example.
뇌파를 분석할 때에는 일반적으로 주파수축에서 분석이 이루어지는데 이는 주파수 대역별로 갖게 되는 뇌파의 정보가 다르기 때문이다. 일반적으로 뇌파는 δ파(0.5~4Hz), θ파(4~8Hz), α파(8~13Hz), β파(13~30Hz), γ파(30~50Hz) 5가지 대역으로 분리하여 분석하게 된다. 이는 각 대역이 피험자의 상태에 따라 활성화되는 정도가 다르기 때문이다. 종래의 연구에 따르면 α파의 경우 긴장이 이완되고 편안한 상태에서 나타나며, β파의 경우는 깨어있거나 의식적인 활동을 할 때, γ파의 경우에는 흥분했을 때 주로 나타난다고 알려져 있다. 이와 같이, 뇌파는 주파수축에서 의미 있는 정보를 갖게 되며 이러한 특징을 기반으로 하여 스펙트럼 차감법을 이용한 방법을 예로 제시한다.When analyzing EEG, the analysis is generally performed on the frequency axis because the information of EEG that is obtained for each frequency band is different. In general, brain waves are separated into five bands: δ wave (0.5-4 Hz), θ wave (4-8 Hz), α wave (8-13 Hz), β wave (13-30 Hz), and γ wave (30-50 Hz). Done. This is because the extent to which each band is activated depends on the condition of the subject. According to the conventional studies, the α wave appears to be relaxed and relaxed, and the β wave mainly appears when waking or conscious activity and when the γ wave is excited. As such, the EEG has meaningful information on the frequency axis and based on this characteristic, a method using the spectral subtraction method is presented as an example.
도 5는 본 발명의 일 실시예에 따라서, 데이터베이스 간에 스펙트럼 차감법을 적용하는 과정을 개략적으로 도시한 도면이다. 5 is a diagram schematically illustrating a process of applying a spectral subtraction method between databases according to an embodiment of the present invention.
스펙트럼 차감을 위하여 측정한 데이터베이스를 프레임 단위로 분리하여 고속 푸리에 변환을 통해 주파수 정보를 얻게 된다. 변환된 신호를 이용하여 파워 스펙트럼을 구하고 제거할 정보의 데이터베이스에서 얻어진 스펙트럼들은 프레임들의 평균을 구한다. 차감할 평균 스펙트럼을 정보가 섞여있는 데이터베이스의 프레임 별 스펙트럼에서 차감하고, 차감 후의 데이터를 다시 역 푸리에 변환을 하여 순수한 뇌파 데이터베이스를 구축하게 된다. Frequency information is obtained by fast Fourier transform by dividing the measured database by frame unit for spectral subtraction. Using the converted signal, the power spectrum is obtained and the spectra obtained from the database of information to be removed are averaged of the frames. The mean spectrum to be subtracted is subtracted from the frame-by-frame spectrum of the database that contains the information, and the data after the subtraction is inverse Fourier transformed to construct a pure EEG database.
본 발명에 따라서, 스펙트럼 차감법에 의해 뇌파 신호의 스펙트럼을 추출하는 단계는 뇌파 신호의 프레임화(Framing) 단계, 주파수축 신호로의 변환 단계, 및 주파수축 상의 파워 스펙트럼 추출 단계를 포함한다.According to the present invention, the step of extracting the spectrum of the EEG signal by spectral subtraction includes the step of framing the EEG signal, converting it to a frequency axis signal, and extracting a power spectrum on the frequency axis.
뇌파 신호의 프레임화 단계는 뇌파 신호를 단위시간별로 분석을 하기 위한 전처리 단계로서, 전체 뇌파 신호를 고속 푸리에 변환을 하게 되면 전체 신호의 주파수 정보로 변환되어 주파수의 시간적인 변화에 대한 정보를 잃게 되는 문제점이 있어 전체 뇌파 신호를 단위시간으로 분리를 하여 각 프레임별로 분석하는 방법을 이용한다. 프레임의 단위는 N초(예컨대, 0.5~2초) 정도로 실험자가 정하여 분석을 하되 프레임의 길이가 길수록 단위 시간별 주파수의 시간적 변화의 정보를 잃게 되므로 실험에 적합한 프레임 길이를 결정하는 것이 중요하다. 프레임별 신호를 분리할 때 필요에 따라 프레임 간 중첩이 가능하다.EEG signal framing step is a pre-processing step for analyzing EEG signal by unit time. When fast Fourier transform of whole EEG signal, it converts into frequency information of whole signal and loses information about temporal change of frequency. There is a problem, and the whole EEG signal is separated into unit time and analyzed by each frame. The unit of the frame is N seconds (for example, 0.5 ~ 2 seconds) to determine the experimenter, but the longer the length of the frame loses the information of the temporal change of frequency per unit time, it is important to determine the appropriate frame length for the experiment. When separating signals by frame, overlapping between frames is possible as necessary.
주파수축 신호로의 변환 단계에서는 시간축 뇌파 신호를 고속 푸리에 변환(FFT)을 통해서 주파수축 신호로 변환하는 단계이다. 일반적으로 시간축의 신호를 주파수 축으로 변환하는 방법이 푸리에 변환이지만, 이 중 고속 푸리에 변환은 실시간 처리가 가능하도록 연산량을 줄이는 방법으로 구현된 푸리에 변환 방법이라 할 수 있다. 고속 푸리에 변환을 통해 프레임 단위별 시간축 신호를 주파수 축 신호로 변환하여 프레임별 주파수 특성을 분석 가능하게 해준다. 고속 푸리에 변환 시 포인트는 뇌파 신호의 샘플링 주파수에 맞게 조절하여 결정할 수 있으며, 샘플링 주파수는 128Hz이상을 유지하기를 권고하는 바이다. 뇌파 연구에서 일반적으로 사용되는 뇌파 신호의 주파수 대역이 50Hz까지 이므로 128Hz이하의 샘플링 주파수는 뇌파 신호의 손실을 가져올 수 있다. In the step of converting into a frequency axis signal, a time axis brain wave signal is converted into a frequency axis signal through a fast Fourier transform (FFT). In general, the Fourier transform is a method of converting the signal of the time axis to the frequency axis, but the fast Fourier transform is a Fourier transform method implemented by reducing the amount of computation to enable real-time processing. The fast Fourier transform converts the time-base signal by frame unit into a frequency-axis signal, enabling analysis of the frequency characteristics of each frame. In the fast Fourier transform, the point can be determined by adjusting the sampling frequency of the EEG signal, and it is recommended to keep the sampling frequency above 128Hz. Since the frequency band of EEG signal which is generally used in EEG research is up to 50Hz, sampling frequency below 128Hz can cause loss of EEG signal.
수학식 1은 푸리에 변환에 대한 수식을 나타낸 것이다.Equation 1 shows the equation for the Fourier transform.
여기서,k = 0, ..., M-1이고, 
주파수축 상의 파워 스펙트럼 추출 단계는 각각의 뇌파 데이터베이스에 대해서 주파수축 상의 파워 스펙트럼을 산출해서 도 5에서 도시된 바와 같이 차감함으로써 얻고자 하는 뇌파 신호의 스펙트럼을 추출하는 단계이다. 파워 스펙트럼이란 자기상관함수의 푸리에 변환을 의미하는 것이며, 스펙트럼 크기는 각 주파수 성분이 가지는 파워를 나타낸다. 파워 스펙트럼은 주파수 대역별 활성화 정도를 특징으로 이용하기 때문에 뇌파에 대한 신호처리에 특히 유용하다. 본 발명에 따른 스펙트럼 차감법의 경우에도 각 주파수별 활성화 정도가 감정에 대한 정보와 표정에 대한 정보가 차이를 갖는다는 점을 이용한 방법이다. The power spectrum extraction step on the frequency axis is a step of extracting the spectrum of the EEG signal to be obtained by calculating the power spectrum on the frequency axis for each EEG database and subtracting as shown in FIG. The power spectrum means the Fourier transform of the autocorrelation function, and the spectral magnitude represents the power of each frequency component. The power spectrum is particularly useful for signal processing for EEG because it uses the characteristic of the frequency band activation. In the case of the spectral subtraction method according to the present invention, the degree of activation for each frequency has a difference in that information on emotion and information on facial expressions are different.
이산 신호 
여기서, k = 0, ..., M-1이다.Where k = 0, ..., M-1.
본 발명으로부터 얻어지는 감정에 대한 순수한 뇌파정보와 감정 유발에 따른 자연스러운 표정에 대한 뇌파 정보는 기존의 감정 및 의도(명령어), 표정 인식 연구에 활용이 가능하며, 본 발명의 적용으로 기존 연구의 성능 향상을 도모할 수 있다. Pure EEG information on emotions obtained from the present invention and EEG information on natural expressions caused by emotions can be used for research on existing emotions, intentions (commands), and expression recognition, and the performance of the existing researches is improved by applying the present invention. Can be planned.
도 6은 본 발명에 따라서, 기존의 뇌파 데이터베이스로부터 감정에 대한 순수한 뇌파 신호를 포함하는 데이터베이스와 자연스러운 표정에 대한 순수한 뇌파정보를 포함하는 데이터베이스를 생성하는 방법을 설명하기 위한 개략도이다.6 is a schematic diagram illustrating a method for generating a database including a pure EEG signal for emotion and a database containing pure EEG information for a natural expression according to the present invention.
도 6에서 도시된 바와 같이, 기존에 구축된 감정 인식 연구를 위한 데이터베이스에서 스펙트럼 차감법을 통하여 얻어지는 자연스러운 표정변화에 대한 뇌파 정보를 차감함으로써 감정에 대한 순수한 뇌파 정보를 얻을 수 있으며 이로써 기존 데이터베이스의 신뢰도 및 인식 성능을 향상시킬 수 있다. 뇌파를 이용한 표정인식 연구에서도 기존의 표정에 대한 뇌파 데이터베이스에서 감정에 대한 순수한 뇌파 정보의 차감을 통해 자연스러운 표정에 대한 순수한 뇌파 정보를 얻을 수 있게 된다. 이와 같이 스펙트럼 차감법을 통하여 얻어지는 감정 및 의도(명령어), 표정에 대한 순수한 뇌파 정보는 기존에 진행된 연구에 적용이 가능하며 이를 통해 데이터베이스의 신뢰도 향상 및 인식 성능 향상의 결과를 얻을 수 있다.As shown in FIG. 6, pure EEG information on emotions can be obtained by subtracting EEG information on natural facial expressions obtained through the spectral subtraction method in the existing database for research on emotion recognition. And recognition performance. In the study of facial recognition using EEG, pure EEG information on natural expressions can be obtained by subtracting pure EEG information on emotions from the EEG database on existing expressions. Pure EEG information about emotions, intentions (commands), and expressions obtained through the spectral subtraction method can be applied to existing researches, thereby improving the reliability and recognition performance of the database.
지금까지 기술된 세 가지 유형의 뇌파 데이터베이스를 측정하고 데이터베이스간 차감법을 통하여 순수한 감정과 자연스러운 표정에 대한 데이터베이스를 구축하는 방법에 있어 적어도 하나 이상의 실시 예로서 설명되는 것으로, 상기 기술된 방법론 이외에도 뇌파의 다른 특징들을 이용하여 차감하는 방법이 가능하며, 뇌파의 다른 특징을 이용하는 것에 의해 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다. As described above, at least one embodiment of the method for measuring the three types of EEG databases described above and constructing a database of pure emotions and natural expressions through the inter-database subtraction method, in addition to the methodology described above, It is possible to subtract using other features, and the technical features of the present invention and its core configuration and operation are not limited by using other features of EEG.
상술한 본 발명의 기술적 사상과 그 핵심 구성에 의해서 이하의 실시예들을 고려할 수 있으며, 도 7 내지 10을 참조하여 설명한다.The following embodiments may be considered by the technical spirit of the present invention and its core configuration, and will be described with reference to FIGS. 7 to 10.
도 7은 본 발명의 일 실시예에 따라서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 데이터베이스(제1 데이터베이스)를 생성하기 위한 방법의 흐름도이다.7 is a flowchart of a method for generating a database (first database) including the EEG signal including the emotion information and facial expression information removal for a specific emotion according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 제1 데이터베이스를 생성하기 위한 방법은, 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제2 데이터베이스를 생성하는 제1 단계(S101), 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제3 데이터베이스를 생성하는 제2 단계(S103), 제2 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제3 단계(S105), 제3 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제4 단계(S107), 제2 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제3 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제2 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제5 단계(S109), 및 제5 단계(S109)에서 산출된 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 이용해서 제1 데이터베이스를 생성하는 제6 단계(S111)를 포함할 수 있다.As shown in FIG. 7, the method for generating a first database including the emotional information containing and facial expression information removing EEG signals for a specific emotion according to an embodiment of the present invention may be intentional in a state where a specific emotion is induced. A first step (S101) of generating a second database which is a database of EEG signals generated on the premise that the expression is assumed to be a database, and an EEG signal generated on the premise of an intentional expression in a state in which a specific emotion is not induced. A second step (S103) of generating a third database which is a database, a third step (S105) of calculating a power spectrum of each brain wave signal included in the second database, and an average power spectrum of the brain wave signals included in the third database The fourth step (S107) of calculating a, from the power spectrum of each EEG signal included in the second database third database A fifth step (S109) of calculating an emotion information including and facial expression information removal EEG signal for a specific emotion for each EEG signal included in the second database by subtracting the average power spectrum of the EEG signal included in the second database; and A sixth step S111 of generating a first database using the emotion information including the facial expression information and the facial expression information removal brain wave signal calculated in step S109 may be included.
도 8은 본 발명의 일 실시예에 따라서 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 데이터베이스(제21 데이터베이스)를 생성하기 위한 방법의 흐름도이다.8 is a flowchart of a method for generating a database (twenty-first database) including facial information including the facial expression information and the emotional information removing EEG signal according to one embodiment of the present invention.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 제21 데이터베이스를 생성하기 위한 방법은, 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제22 데이터베이스를 생성하는 제1 단계(S201), 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제23 데이터베이스를 생성하는 제2 단계(S203), 특정 감정이 유발된 상태의 자연스러운 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제24 데이터베이스를 생성하는 제3 단계(S205), 제22 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제4 단계(S207), 제23 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제5 단계(S209), 제24 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제6 단계(S211), 제22 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제23 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제22 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제7 단계(S213), 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제8 단계(S215), 제24 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제24 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 산출하는 제9 단계(S217), 및 제9 단계(S217)에서 산출된 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 이용해서 제21 데이터베이스를 생성하는 제10 단계(S219)를 포함할 수 있다.As shown in FIG. 8, the method for generating a twenty-first database including facial expression information and emotional information removal EEG signals for a natural expression according to a specific emotion according to an embodiment of the present invention includes a specific emotion induced. A first step (S201) of generating a twenty-second database, which is a database of EEG signals generated on the premise of an intentional expression in a pre-set state, and an EEG signal generated on the premise of an intentional expression in a state in which a specific emotion is not induced. A second step (S203) of generating a twenty-third database which is a database of the database; and a third step of generating a twenty-fourth database which is a database of EEG signals generated on the premise of a natural expression of a specific emotion-induced state (S205), a fourth for calculating a power spectrum of each brain wave signal included in the twenty-second database Step S207, a fifth step of calculating an average power spectrum of an EEG signal included in a twenty-third database, S209, a sixth step of calculating a power spectrum of each EEG signal included in a twenty-fourth database, Subtracting the power spectrum of each EEG signal included in the twenty-second database from the average power spectrum of the EEG signal included in the twenty-third database, thereby including emotion information for a specific emotion for each EEG signal included in the twenty-second database; and A seventh step (S213) of calculating the facial expression information removal EEG signal, an eighth step (S215) of calculating the average power spectrum of the emotion information included and the facial expression information removal EEG signal, the 24th of each EEG signal included in the database Day 24 by subtracting the average power spectrum of the EEG signal including the emotion information and the facial expression information removal from the power spectrum. For each EEG signal included in the base, including the facial expression information for a particular emotion and the emotion information removal EEG signal for calculating the ninth step (S217), and the expression information for the specific emotion calculated in the ninth step (S217) And a tenth step S219 of generating a twenty-first database using the emotion information removing EEG signal.
도 9는 본 발명의 일 실시예에 따라서 특정 감정에 대한 뇌파 신호를 포함하는 기존 데이터베이스(제31 데이터베이스)를 이용해서 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 데이터베이스(제32 데이터베이스)를 생성하기 위한 방법의 흐름도이다.FIG. 9 includes the expression information including the facial expression information and the emotion information removal EEG signal for a natural expression according to a specific emotion using an existing database (31st database) including the EEG signal for a specific emotion according to an embodiment of the present invention. A flowchart of a method for creating a database (a thirty-second database).
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 특정 감정에 대한 뇌파 신호를 포함하는 제31 데이터베이스를 이용해서 특정 감정에 따른 자연스러운 표정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 포함하는 제32 데이터베이스를 생성하기 위한 방법은, 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제33 데이터베이스를 생성하는 제1 단계(S301), 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제34 데이터베이스를 생성하는 제2 단계(S303), 제33 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제3 단계(S305), 제34 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제4 단계(S307), 제33 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제34 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제33 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제5 단계(S309), 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제6 단계(S311), 제31 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제7 단계(S313), 제31 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제31 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 산출하는 제8 단계(S315), 및 제8 단계(S315)에서 산출된 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 이용해서 제32 데이터베이스를 생성하는 제9 단계(S317)를 포함할 수 있다.As shown in FIG. 9, using the thirty-first database including an EEG signal for a specific emotion according to an embodiment of the present invention, expression information including a natural expression and an emotion information removal EEG signal are included. The method for generating a thirty-second database may include: a first step (S301) of generating a thirty-third database, which is a database of EEG signals generated on the premise of an intentional expression in a state where a specific emotion is induced, A second step (S303) of generating a thirty-fourth database, which is a database of EEG signals generated on the premise of intentional expression of an uninduced state (S303), and calculating a power spectrum of each EEG signal included in the thirty-third database The third step (S305), the third step of calculating the average power spectrum of the EEG signal included in the 34th database Step 4 (S307), by subtracting the power spectrum of each EEG signal included in the 33rd database from the average power spectrum of the EEG signal included in the 34th database, a specific emotion for each EEG signal included in the 33rd database Comprising a fifth step (S309) for calculating the EEG signal including the emotion information and facial expression information removal, S6 of calculating the average power spectrum of the EEG signal including the emotional information and facial expression information removal (S311), included in the 31st database A seventh step (S313) of calculating a power spectrum of each brainwave signal thus obtained, by subtracting the average power spectrum of the emotion information including and facial expression information removal brainwave signals from the power spectrum of each brainwave signal included in a thirty-first database, Include facial expression information and emotion for a specific emotion for each EEG signal included in the 31st database Eighth step (S315) of calculating the information removal EEG signal, and the ninth step of generating a thirty-second database by using the expression information including the facial expression information and the emotion information removal EEG signal calculated in the eighth step (S315) S317) may be included.
도 10은 본 발명의 일 실시예에 따라서 특정 감정에 대한 뇌파 신호를 포함하는 기존 데이터베이스(제41 데이터베이스)를 이용해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 데이터베이스(제42 데이터베이스)를 생성하기 위한 방법의 흐름도이다.FIG. 10 is a database including emotion information including a specific emotion and facial expression information removal brain wave signal using a conventional database (41st database) including an EEG signal for a specific emotion according to an embodiment of the present invention. Database).
도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 특정 감정에 대한 뇌파 신호를 포함하는 제41 데이터베이스를 이용해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 제42 데이터베이스를 생성하기 위한 방법은, 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제43 데이터베이스를 생성하는 제1 단계(S401), 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제44 데이터베이스를 생성하는 제2 단계(S403), 특정 감정이 유발된 상태의 자연스러운 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 데이터베이스인 제45 데이터베이스를 생성하는 제3 단계(S405), 제43 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제4 단계(S407), 제44 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제5 단계(S409), 제45 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제6 단계(S411), 제43 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제44 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제43 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제7 단계(S413), 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제8 단계(S415), 제45 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제45 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 산출하는 제9 단계(S417), 및 상기 표정정보포함 및 감정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제10 단계(S419), 제41 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제11 단계(S421), 제41 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 표정정보포함 및 감정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제41 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제12 단계(S423), 및 제12 단계(S423)에서 산출된 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 이용해서 제42 데이터베이스를 생성하는 제13 단계(S425)를 포함할 수 있다.As shown in FIG. 10, a forty-second database including emotion information including a specific emotion and facial expression information removal brain wave signals using a forty-first database including an EEG signal for a specific emotion according to an embodiment of the present invention. The method for generating the first step (S401) of generating a 43rd database which is a database of a database of EEG signals generated on the premise of an intentional expression of a specific emotion-induced state (S401), in which a specific emotion is not induced The second step (S403) of generating a 44th database which is a database of the EEG signals generated on the premise of the intentional expression of the subject (S403), and the EEG signals generated on the premise of a natural expression of a specific emotion is generated. Third step (S405) of creating a forty-fifth database which is a database, each of which is included in the forty-third database A fourth step (S407) of calculating a power spectrum of an EEG signal of the second step; a fifth step (S409) of calculating an average power spectrum of an EEG signal included in a 44th database; and a power of each EEG signal of the 45th database. A sixth step of calculating the spectrum (S411), by subtracting the power spectrum of each EEG signal included in the 43rd database from the average power spectrum of the EEG signal included in the 44th database, each brain wave included in the 43rd database A seventh step of calculating the EEG signal including the emotion information and the facial expression information removal for the specific emotion with respect to the signal (S413), an eighth step of calculating an average power spectrum of the EEG signal including the emotional information and the facial expression information removal; The emotion information inclusion and facial expression information removal of each EEG signal included in the 45th database of the EEG signal By subtracting the average power spectrum, a ninth step (S417) of calculating facial expression information and emotion information removal EEG signal for a specific emotion for each EEG signal included in the 45th database, and the facial expression information and emotion information A tenth step (S419) of calculating an average power spectrum of the removed EEG signal, an eleventh step (S421) of calculating a power spectrum of each EEG signal included in the forty-first database, and each EEG signal included in the forty-first database Comprising the average power spectrum of the facial expression information including the emotion information removal EEG signal from the power spectrum of the Equation 41, for each of the EEG signals contained in the database to calculate the emotion information including the facial expression information removal EEG signal Emotion information inclusion and facial expression information system for the specific emotion calculated in the twelfth step (S423) and the twelfth step (S423) To using the EEG signal generates the first database 42 may include a thirteenth step (S425).
이상의 설명은 본 발명의 기술 사항을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical details of the present invention, and those skilled in the art to which the present invention pertains may various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
예를 들어, 도 7에 도시된 본 발명의 일 실시예에 따른 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 포함하는 제1 데이터베이스를 생성하기 위한 방법에 있어서, 제2 데이터베이스를 생성하는 단계(S101)와 제3 데이터베이스를 생성하는 단계(S103)의 순서가 바뀌는 경우, 또는 제2 데이터베이스를 생성하는 단계(S101)가 수행된 후 제2 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 단계(S105)가 수행된 이후에, 제3 데이터베이스를 생성하는 단계(S103)가 수행된 후 제3 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 단계(S107)가 수행되는 경우는 본 발명의 기술적 사상의 범위를 벗어나지 않는 것으로 해석되어야 할 것이다.For example, in a method for generating a first database including an emotion information containing and facial expression information removing brain wave signal for a specific emotion according to an embodiment of the present invention shown in FIG. When the order of step S101 and step S103 of generating the third database is reversed, or after step S101 of generating the second database is performed, the power spectrum of each EEG signal included in the second database is determined. After the calculating step S105 is performed, when the calculating of the average power spectrum of the EEG signal included in the third database is performed after generating the third database S103 is performed, It should be interpreted as not departing from the scope of the technical idea of the present invention.
Claims (8)
상기 장치가, 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제2 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제1 단계;
상기 장치가, 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제3 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제2 단계;
상기 장치가, 제2 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제3 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제2 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제3 단계; 및
상기 장치가, 제3 단계에서 산출된 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 이용해서 제1 데이터베이스를 생성하는 제4 단계를 포함하는 것을 특징으로 하는 뇌파 신호 데이터베이스 생성 방법.A method for generating an EEG signal database performed by an EEG signal database generating device to generate a first database including an EEG signal including an emotion information and a facial expression information for a specific emotion,
A first step of the device calculating a power spectrum of each EEG signal included in a second database of EEG signals generated on the premise of an intentional expression of a specific emotion-induced state;
A second step of calculating, by the device, an average power spectrum of an EEG signal included in a third database of EEG signals generated on the premise of an intentional expression without a specific emotion;
The apparatus subtracts the power spectrum of each EEG signal included in the second database from the average power spectrum of the EEG signal included in the third database, thereby for each specific EEG signal included in the second database. Calculating a brain wave signal including emotion information and removing facial expression information; And
And a fourth step of generating, by the apparatus, a first database using the emotion information including and facial expression information removal brain wave signals for the specific emotion calculated in the third step.
상기 장치가, 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제22 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제1 단계;
상기 장치가, 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제23 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제2 단계;
상기 장치가, 특정 감정이 유발된 상태의 자연스러운 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제24 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제3 단계;
상기 장치가, 제22 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제23 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제22 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제4 단계;
상기 장치가, 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제5 단계;
상기 장치가, 제24 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제24 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 산출하는 제6 단계; 및
상기 장치가, 제6 단계에서 산출된 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 이용해서 제21 데이터베이스를 생성하는 제7 단계를 포함하는 것을 특징으로 하는 뇌파 신호 데이터베이스 생성 방법.A method for generating an EEG signal database performed by an EEG signal database generation device to generate a twenty-first database including facial expression information and emotion information removal EEG signals for a natural expression according to a specific emotion,
A first step of the device calculating a power spectrum of each EEG signal included in a twenty-second database of EEG signals generated on the premise of an intentional expression of a specific emotion-induced state;
A second step of calculating, by the device, an average power spectrum of an EEG signal included in a twenty-third database, which is a database of EEG signals generated on the premise of an intentional expression without a specific emotion;
A third step of calculating, by the device, a power spectrum of each EEG signal included in a twenty-fourth database of EEG signals generated on the premise of a natural expression of a specific emotion-induced state;
The apparatus subtracts the power spectrum of each EEG signal contained in the twenty-second database from the average power spectrum of the EEG signal included in the twenty-third database, thereby for each specific EEG signal included in the twenty-second database. Calculating a brain wave signal including emotion information and removing facial expression information;
A fifth step of the device calculating an average power spectrum of the EEG signal including the emotion information and removing facial expression information;
The apparatus subtracts the average power spectrum of the emotion inclusion and facial expression information removal brain wave signal from the power spectrum of each brain wave signal included in the twenty-fourth database, thereby specifying a specific emotion for each brain wave signal included in the twenty-fourth database. Calculating an EEG signal including facial expression information and emotion information for the sixth step; And
And the seventh step of generating, by the apparatus, a twenty-first database by using the expression information including the emotion information and the emotion information removal brain wave signal calculated in the sixth step.
상기 장치가, 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제33 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제1 단계;
상기 장치가, 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제34 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제2 단계;
상기 장치가, 제33 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제34 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제33 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제3 단계;
상기 장치가, 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제4 단계;
상기 장치가, 제31 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제5 단계;
상기 장치가, 제31 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제31 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 산출하는 제6 단계; 및
상기 장치가, 제6 단계에서 산출된 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 이용해서 제32 데이터베이스를 생성하는 제7 단계를 포함하는 것을 특징으로 하는 뇌파 신호 데이터베이스 생성 방법.Performed by the EEG signal database generating device to generate a thirty-second database including the facial information including the facial expression information and the emotional information removal EEG signal using the thirty-first database including the EEG signal for the specific emotion As a method for generating an EEG signal database,
A first step of the device calculating a power spectrum of each EEG signal included in a thirty-third database which is a database of EEG signals generated on the premise of an intentional expression of a specific emotion-induced state;
A second step of calculating, by the apparatus, an average power spectrum of an EEG signal included in a thirty-fourth database which is a database of EEG signals generated on the premise of an intentional expression without a specific emotion;
The apparatus subtracts the power spectrum of each EEG signal included in the 33rd database from the average power spectrum of the EEG signal included in the 34th database, thereby for each specific EEG signal included in the 33rd database. Calculating a brain wave signal including emotion information and removing facial expression information;
Calculating, by the device, an average power spectrum of the EEG signal including the emotion information and removing facial expression information;
A fifth step of the device calculating a power spectrum of each EEG signal included in a thirty-first database;
The apparatus subtracts the average power spectrum of the emotion inclusion and facial expression information removal brain wave signal from the power spectrum of each brain wave signal included in the thirty-first database, thereby specifying a specific emotion for each brain wave signal included in the thirty-first database. Calculating an EEG signal including facial expression information and emotion information for the sixth step; And
And the seventh step of generating, by the apparatus, a thirty-second database by using the expression information including the facial expression information and the emotion information removal brain wave signal calculated in the sixth step.
상기 장치가, 특정 감정이 유발된 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제43 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제1 단계;
상기 장치가, 특정 감정이 유발되지 않은 상태의 의도적인 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제44 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제2 단계;
상기 장치가, 특정 감정이 유발된 상태의 자연스러운 표정을 전제로 발생되는 뇌파 신호를 데이터베이스화한 제45 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제3 단계;
상기 장치가, 제43 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 제44 데이터베이스에 포함된 뇌파 신호의 평균 파워 스펙트럼으로 차감함으로써, 제43 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제4 단계;
상기 장치가, 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제5 단계;
상기 장치가, 제45 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 감정정보포함 및 표정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제45 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 표정정보포함 및 감정정보제거 뇌파 신호를 산출하는 제6 단계; 및
상기 장치가, 상기 표정정보포함 및 감정정보제거 뇌파 신호의 평균 파워 스펙트럼을 산출하는 제7 단계;
상기 장치가, 제41 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼을 산출하는 제8 단계;
상기 장치가, 제41 데이터베이스에 포함된 각각의 뇌파 신호의 파워 스펙트럼으로부터 상기 표정정보포함 및 감정정보제거 뇌파 신호의 평균 파워 스펙트럼을 차감함으로써, 제41 데이터베이스에 포함된 각각의 뇌파 신호에 대해서 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 산출하는 제9 단계; 및
상기 장치가, 제9 단계에서 산출된 특정 감정에 대한 감정정보포함 및 표정정보제거 뇌파 신호를 이용해서 제42 데이터베이스를 생성하는 제10 단계를 포함하는 것을 특징으로 하는 뇌파 신호 데이터베이스 생성 방법.EEG signal database performed by the EEG signal database generating device to generate a 42nd database including EEG signals including emotion information and facial expression information for a specific emotion using a forty-first database including EEG signals for a specific emotion As a production method,
A first step of the device calculating a power spectrum of each EEG signal included in a 43rd database which is a database of EEG signals generated on the premise of an intentional expression of a specific emotion induced state;
A second step of calculating, by the device, an average power spectrum of an EEG signal included in a 44th database of EEG signals generated on the premise of an intentional expression without a specific emotion;
A third step of calculating, by the device, a power spectrum of each EEG signal included in a 45-th database of EEG signals generated on the premise of a natural expression of a specific emotion-induced state;
The apparatus subtracts the power spectrum of each EEG signal included in the 43rd database from the average power spectrum of the EEG signal included in the 44th database, thereby for each specific EEG signal included in the 43rd database. Calculating a brain wave signal including emotion information and removing facial expression information;
A fifth step of the device calculating an average power spectrum of the EEG signal including the emotion information and removing facial expression information;
The apparatus subtracts the average power spectrum of the emotion inclusion and facial expression information removal brain wave signal from the power spectrum of each brain wave signal included in the 45th database, thereby specifying a specific emotion for each brain wave signal included in the 45th database. Calculating an EEG signal including facial expression information and emotion information for the sixth step; And
Calculating, by the device, an average power spectrum of the EEG signal including the facial expression information and the emotion information removal;
An eighth step of the apparatus calculating a power spectrum of each EEG signal included in the forty-first database;
The apparatus subtracts the average power spectrum of the facial expression information containing and emotion information removing EEG signals from the power spectrum of each EEG signal included in the 41st database, thereby specifying a specific emotion for each EEG signal included in the 41st database. Calculating an EEG signal including emotion information and facial expression information for the ninth step; And
And a tenth step of generating, by the apparatus, a forty-second database using the emotion information including and facial expression information removal brain wave signals for the specific emotion calculated in the ninth step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100101843A KR101133845B1 (en) | 2010-10-19 | 2010-10-19 | Method for creating brainwave signal database |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100101843A KR101133845B1 (en) | 2010-10-19 | 2010-10-19 | Method for creating brainwave signal database |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101133845B1 true KR101133845B1 (en) | 2012-04-06 |
Family
ID=46143319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100101843A KR101133845B1 (en) | 2010-10-19 | 2010-10-19 | Method for creating brainwave signal database |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101133845B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101618275B1 (en) | 2014-10-23 | 2016-05-04 | 숭실대학교산학협력단 | Method and System for Analyzing EEG Response to Video Stimulus to Media Facades |
| CN108073284A (en) * | 2017-12-15 | 2018-05-25 | 南京信息工程大学 | Purchase system based on brain wave identification mood |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200397188Y1 (en) * | 2005-05-26 | 2005-09-30 | 신길호 | Bryophyte have stone |
| JP2007068620A (en) * | 2005-09-05 | 2007-03-22 | Konica Minolta Holdings Inc | Psychological condition measuring apparatus |
| KR20070110158A (en) | 2006-05-12 | 2007-11-16 | 고려대학교 산학협력단 | Apparatus for feedback according to emotional state, method thereof and recording medium thereof |
-
2010
- 2010-10-19 KR KR1020100101843A patent/KR101133845B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200397188Y1 (en) * | 2005-05-26 | 2005-09-30 | 신길호 | Bryophyte have stone |
| JP2007068620A (en) * | 2005-09-05 | 2007-03-22 | Konica Minolta Holdings Inc | Psychological condition measuring apparatus |
| KR20070110158A (en) | 2006-05-12 | 2007-11-16 | 고려대학교 산학협력단 | Apparatus for feedback according to emotional state, method thereof and recording medium thereof |
Non-Patent Citations (1)
| Title |
|---|
| 얼굴 추적 기반의 잡파 혼입 방지가 가능한 뇌파 DB 구축 시스템 구현, [신호처리시스템 학회 논문지 제10권 제1호, 2009. 1] * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101618275B1 (en) | 2014-10-23 | 2016-05-04 | 숭실대학교산학협력단 | Method and System for Analyzing EEG Response to Video Stimulus to Media Facades |
| CN108073284A (en) * | 2017-12-15 | 2018-05-25 | 南京信息工程大学 | Purchase system based on brain wave identification mood |
| CN108073284B (en) * | 2017-12-15 | 2021-05-04 | 南京信息工程大学 | Shopping system based on brain wave recognition emotion |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Campbell | EEG recording and analysis for sleep research | |
| CN105893780A (en) | Mental and psychological assessment method based on VR interaction and brain wave and cerebral blood flow monitoring | |
| KR101842750B1 (en) | Realtime simulator for brainwaves training and interface device using realtime simulator | |
| EP3189777A1 (en) | Brain activity estimating device | |
| Lajante et al. | How reliable are “state-of-the-art” facial EMG processing methods?: Guidelines for improving the assessment of emotional valence in advertising research | |
| WO2021107309A1 (en) | Method for labelling intervals of interest, associated with eeg analysis, in eeg signal, and eeg analysis system for performing same | |
| KR20150030498A (en) | Measurement of depression depth with frontal lobe brain waves | |
| Singh et al. | Feature extraction from EEG for emotion classification | |
| CN106901727A (en) | A kind of depression Risk Screening device based on EEG signals | |
| CN110536637B (en) | Information providing method, information processing system, information terminal, and information processing method | |
| CN106859673A (en) | A kind of depression Risk Screening system based on sleep cerebral electricity | |
| Anwar et al. | Use of portable EEG sensors to detect meditation | |
| JP2016052430A (en) | Apparatus and method for detection of brain neural network state | |
| KR101133845B1 (en) | Method for creating brainwave signal database | |
| KR20170004547A (en) | Method and apparatus for extracting Brain information | |
| CN108451494A (en) | The method and system of time domain cardiac parameters are detected using pupillary reaction | |
| Ren et al. | Pre-attentive processing of mandarin tone and intonation: evidence from event-related potentials | |
| JP6970899B2 (en) | Information provision method, information processing system, and information processing method | |
| Kobayashi et al. | BCI-based control of electric wheelchair | |
| KR101325189B1 (en) | Method of evaluation subjective closeness by using brain wave and system adopting the method | |
| JPWO2019008970A1 (en) | Information providing method, information processing system, information terminal, and information processing method | |
| JPWO2019008985A1 (en) | Information providing method, information processing system, information terminal, and information processing method | |
| KR100689987B1 (en) | Device and method for eliminating noises from eeg (electroencephalogram) signals in a system for detecting eeg and mri | |
| JP2004194924A (en) | Method and apparatus of measuring cerebral function | |
| Dyson et al. | Sequential classification of mental tasks vs. idle state for EEG based BCIs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150115 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160113 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |