KR20150123423A - 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템 - Google Patents

뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템 Download PDF

Info

Publication number
KR20150123423A
KR20150123423A KR1020140049583A KR20140049583A KR20150123423A KR 20150123423 A KR20150123423 A KR 20150123423A KR 1020140049583 A KR1020140049583 A KR 1020140049583A KR 20140049583 A KR20140049583 A KR 20140049583A KR 20150123423 A KR20150123423 A KR 20150123423A
Authority
KR
South Korea
Prior art keywords
eeg
emotion
user
channels
unit
Prior art date
Application number
KR1020140049583A
Other languages
English (en)
Inventor
신동일
신동규
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020140049583A priority Critical patent/KR20150123423A/ko
Publication of KR20150123423A publication Critical patent/KR20150123423A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

뇌파를 이용하여 사용자의 감정을 분류하는 기술이 개시된다. 감정 분류 방법은, 사용자에게 자극을 주어 감정이 유도된 상태에서 복수의 채널 각각에 해당하는 뇌파를 측정하는 단계, 복수의 채널 각각에 해당하는 뇌파 중에서 기설정된 특정 채널에 해당하는 뇌파를 선택하는 단계, 및 SAM(Self-Assessment Manikin) 기법 및 밸런스-어로우절(Valence-Arousal) 평면을 이용하여 특정 채널에 해당하는 뇌파에서 감정을 분류하는 단계를 포함할 수 있다.

Description

뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템{METHOD AND SYSTEM FOR CLASSIFYING EMOTION OF USER USING BRAIN-WAVE}
본 발명의 실시예들은 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템에 관한 것이다.
보다 자세하게는, 밸런스-어로우절(Valence-Arousal) 평면 및 SAM(Self-Assessment Manikin) 기법을 이용하여 뇌파에서 사용자의 감정을 분류하는 기술에 관한 것이다.
뇌는 인간 활동의 전 영역을 총괄하는 중심 기관(Control Center)으로서, 대뇌정보기능이 대뇌피질에서 신경에 의해 발현된다고 인식하며 인지, 사고 등의 역동적인 지식 활동과 다양한 감성, 행동과 고차원적인 정신세계까지도 담당한다. 1929년 독일의 생리학자 Hans Berger에 의해 처음으로 시도된 뇌파 검사인 EEG(Electroencephalogram)는 대뇌피질내의 신경세포의 전기적 활동을 두피에 부착한 전극을 통하여 기록한 것으로, 뇌파는 1∼50Hz의 주파수와 약 10∼200μV의 진폭을 가진다.
뇌파는 신경계에서 뇌신경 사이에 신호가 전달될 때 생기는 전기의 흐름으로 심신의 상태에 따라 다르게 나타나며, 뇌의 활동상황을 측정하는 가장 중요한 지표이다. 최근에는 뇌파를 활용한 집중력 측정 및 감정인식의 연구가 이뤄지고 있으며, 우울증진단 등 질병분야에서도 적용할 수 있다. 질병분야의 경우, 국내에서는 루게릭병, 파킨슨병이나 뇌졸중, 진행성연수마비, 척수근육위축 등의 운동 장애가 있는 뇌 신경질환 및 퇴행성 뇌질환 등에 적용하여, 뇌질환에 관련된 연구와 그 외에 사용자의 상태분석 등에 활용될 수 있다.
이처럼, 뇌파는 사용자의 감정과 밀접한 관계가 있으며, 여러 분야에서 다양하게 이용되고 있으므로, 뇌파를 이용하여 감정을 분류하고, 사용자의 감정을 인식할 수 있는 기술이 요구된다.
본 발명은 뇌파를 이용하여 사용자의 감정을 분류하기 위한 것으로서, 감정 분류 결과가 뚜렷하게 나타나는 채널의 뇌파를 이용하여 감정을 분류하고, 보다 정확하게 사용자의 현재 감정 상태를 판단하기 위한 것이다.
본 발명의 일실시예에 따른 감정 분류 방법은, 사용자에게 자극을 주어 감정이 유도된 상태에서 복수의 채널 각각에 해당하는 뇌파를 측정하는 단계, 상기 복수의 채널 각각에 해당하는 뇌파 중에서 기설정된 특정 채널에 해당하는 뇌파를 선택하는 단계, 및 SAM(Self-Assessment Manikin) 기법 및 밸런스-어로우절(Valence-Arousal) 평면을 이용하여 상기 특정 채널에 해당하는 뇌파에서 감정을 분류하는 단계를 포함할 수 있다.
일측면에 따르면, 상기 밸런스-어로우절 평면은, LAHV(Low Arousal High Valence), HAHV(High Arousal High Valence), LALV(Low Arousal Low Valence), 및 HALV(High Arousal Low Valence) 상태를 포함할 수 있다. 여기서, 상기 LAHV 상태는, 공포 감정을 나타내고, 상기 HAHV 상태는, 행복 감정을 나타내고, 상기 LALV 상태는, 슬픔 감정을 나타내고, 상기 HALV 상태는, 고요 감정을 나타낼 수 있다.
다른 측면에 따르면, 상기 감정을 분류하는 단계는, 디지털 필터를 이용하여 상기 특정 채널에 해당하는 뇌파에 대해 전처리(pre-processing)을 수행하는 단계, 상기 전처리된 뇌파에서 인공 산물을 제거하는 단계, 및 상기 인공 산물이 제거된 뇌파를 고속 퓨리에 변환(Fast Fourier Transform: FFT)함에 따라 특징 추출(feature extraction)을 수행하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 인공 산물을 제거하는 단계는, ICA(Independence Component Analysis)를 이용하여 상기 전처리된 뇌파에서 인공 산물을 제거할 수 있다.
또 다른 측면에 따르면, 상기 특징 추출을 수행하는 단계는, 상기 인공 산물이 제거된 뇌파를 고속 퓨리에 변환하는 단계, 상기 고속 퓨리에 변환된 뇌파를 복수의 주파수 대역으로 구분하는 단계, 및 상기 복수의 주파수 대역으로 구분된 뇌파를 주파수 대역 별로 파워 스펙트럼(power spectrum)을 분석하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 복수의 주파수 대역으로 구분하는 단계는, 상기 고속 퓨리에 변환된 뇌파를 알파파, 베타파, 감마파, 세타파, 및 델타파 각각에 해당하는 주파수 대역으로 구분할 수 있다.
또 다른 측면에 따르면, 상기 복수의 주파수 대역으로 구분하는 단계는, 상기 복수의 주파수 대역으로 구분된 뇌파에서 델타파를 제거하고, 상기 파워 스펙트럼을 분석하는 단계는, 상기 델타파가 제거된 뇌파에 대해 파워 스펙트럼을 분석할 수 있다.
또 다른 측면에 따르면, SVM(Support Vector Machine) 및 K-means 분류 알고리즘을 이용하여 상기 특정 채널에 해당하는 뇌파에서 분류된 감정의 정확도를 계산하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 뇌파를 측정하는 단계는, IAPS(International Affective Picture System) 사진 자극 및 DVD 시청을 통해 상기 사용자에게 자극을 주어 감정을 유도할 수 있다.
또 다른 측면에 따르면, 상기 특정 채널에 해당하는 뇌파에서 분류된 감정이 상기 밸런스-어로우절 평면에 속하는 4개의 상태 중 어느 하나에 해당하는지 여부에 기초하여 사용자의 현재 감정 상태를 판단하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 뇌파를 측정하는 단계는, 상기 감정을 유도하기 위해 상기 사용자에게 부착된 뇌파 장비를 통해 30개 채널의 뇌파를 측정하고, 상기 뇌파를 선택하는 단계는, 상기 30개 채널의 뇌파 중 감정 분류 결과가 뚜렷한 15개 채널의 뇌파를 선택할 수 있다.
본 발명의 일실시예에 따른 감정 분류 시스템은, 사용자에게 자극을 주어 감정이 유도된 상태에서 측정된 복수의 채널 각각에 해당하는 뇌파를 뇌파 측정 수단으로부터 전달받는 송수신부, 상기 복수의 채널 각각에 해당하는 뇌파 중에서 기설정된 특정 채널에 해당하는 뇌파를 선택하는 뇌파 선택부, 및 SAM(Self-Assessment Manikin) 기법 및 밸런스-어로우절(Valence-Arousal) 평면을 이용하여 상기 특정 채널에 해당하는 뇌파에서 감정을 분류하는 감정 분류부를 포함할 수 있다.
일측면에 따르면, 상기 밸런스-어로우절 평면은, LAHV(Low Arousal High Valence), HAHV(High Arousal High Valence), LALV(Low Arousal Low Valence), 및 HALV(High Arousal Low Valence) 상태를 포함할 수 있다. 여기서, 상기 LAHV 상태는, 공포 감정을 나타내고, 상기 HAHV 상태는, 행복 감정을 나타내고, 상기 LALV 상태는, 슬픔 감정을 나타내고, 상기 HALV 상태는, 고요 감정을 나타낼 수 있다.
다른 측면에 따르면, 상기 감정 분류부는, 디지털 필터를 이용하여 상기 특정 채널에 해당하는 뇌파에 대해 전처리(pre-processing)을 수행하는 전처리부 상기 전처리된 뇌파에서 인공 산물을 제거하는 인공 산물 제거부, 및 상기 인공 산물이 제거된 뇌파를 고속 퓨리에 변환(Fast Fourier Transform: FFT)함에 따라 특징 추출(feature extraction)을 수행하는 특징 추출부를 포함할 수 있다.
또 다른 측면에 따르면, 상기 인공 산물 제거부는, ICA(Independence Component Analysis)를 이용하여 상기 전처리된 뇌파에서 인공 산물을 제거할 수 있다.
또 다른 측면에 따르면, 상기 특징 추출부는, 상기 인공 산물이 제거된 뇌파를 고속 퓨리에 변환하고, 상기 고속 퓨리에 변환된 뇌파를 복수의 주파수 대역으로 구분하여 주파수 대역 별로 파워 스펙트럼(power spectrum)을 분석할 수 있다.
또 다른 측면에 따르면, 상기 특징 추출부는, 상기 복수의 주파수 대역으로 구분된 뇌파에서 델타파를 제거할 수 있다.
또 다른 측면에 따르면, SVM(Support Vector Machine) 및 K-means 분류 알고리즘을 이용하여 상기 특정 채널에 해당하는 뇌파에서 분류된 감정의 정확도를 계산하는 정확도 계산부를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 뇌파 측정 수단은, IAPS(International Affective Picture System) 사진 자극 및 DVD 시청을 통해 상기 사용자에게 자극을 주어 감정을 유도할 수 있다.
또 다른 측면에 따르면, 상기 특정 채널에 해당하는 뇌파에서 분류된 감정이 상기 밸런스-어로우절 평면에 속하는 4개의 상태 중 어느 하나에 해당하는지 여부에 기초하여 사용자의 현재 감정 상태를 판단하는 감정 판단부를 더 포함할 수 있다.
본 발명에 의하면, 감정 분류 결과가 뚜렷하게 나타나는 채널의 뇌파를 이용하여 감정을 분류함에 따라 보다 정확하게 사용자의 현재 감정 상태를 판단할 수 있다.
도 1은 10-20 국제 시스템에 기초하여 사용자의 뇌파를 측정하는 위치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 감정 분류 시스템의 전반적인 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 감정 분류 시스템에서 뇌파를 측정하기 위해 이용되는 32 채널을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 15개 채널의 플롯(plot)을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 감정 분류 시스템에서 뇌파를 이용하여 사용자의 감정을 분류하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 6은 본 발명의 일실시예에 따라 SAM 기법을 이용하여 감정을 분류하는 동작을 설명하기 위해 제공되는 도면이다.
도 7은 본 발명의 일실시예에 따른 밸런스-어로우절 평면을 이용하여 감정을 분류하는 동작을 설명하기 위해 제공되는 도면이다.
도 8은 본 발명의 일실시예에 따라 선택된 뇌파에서 감정을 분류하는 구체적인 방법을 설명하기 위해 제공되는 흐름도이다.
도 9는 본 발명의 일실시예에 따른 FIR 필터에서 로우패스 필터(lowpass filter) 응답크기의 근사치에 대한 허용한계를 나타낸 그래프이다.
도 10은 본 발명의 일실시예에 따라 SVM 및 K-means 알고리즘을 이용한 분류 실험 과정을 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 감정 분류 장치의 세부 구성을 도시한 블록도이다.
이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 10-20 국제 시스템에 기초하여 사용자의 뇌파를 측정하는 위치를 도시한 도면이다.
뇌파 측정은, 10-20 국체 시스템(International 10-20 system)을 사용하여 몽타주로 전극의 위치를 파악함으로써 측정될 수 있다. 10-20 시스템은 1985년 Jasper가 제안한 전극 부착위치에 근거하여 생성된 것으로, 10-20 시스템에 따르면, 기준 점간의 거리가 10% 또는 20% 떨어진 부위를 측정 위치로 지정할 수 있다. 이때, 10-20 시스템은, 전극의 이치와 대뇌피질의 하부 영역 사이의 관계에 기초를 두고 있다.
도 1을 참고하면, 사용자의 머리 중 전두엽, 두정엽, 후두엽, 측두엽 각각에 전극이 배치될 수 있다. 그러면, 배치된 전극을 통해 뇌파가 측정될 수 있다.
도 1에서, A1, A2는 양 귓불에 해당하는 부분이며, 위쪽의 Nasion 밑의 Fp1, Fp2, F7, F8은 전두엽에 해당하는 부분이다. 파란색으로 표시된 부분이 전두엽이고, 양쪽 사이드로 연두색으로 표시된 부분은, 측두엽, 중앙의 노란색으로 표시된 부분은 두정엽, 아래쪽으로 붉은색으로 표시된 부분은 후두엽이다.
전두엽(Frontal lobe)은 대뇌반구의 전방에 있는 부분으로 전전두엽 관련 영역을 가져 기억력·사고력 등의 고등행동을 관장하며, 다른 연합영역으로부터 들어오는 정보를 조정하고 행동을 조절할 수 있다. 그리고, 전두엽은, 추리, 계획, 운동, 감정, 문제해결에 관여할 수 있다.
이어, 중앙의 Cz와 P3, Pz, P4에 해당하는 부분은 후두엽(Occipital lobe)으로서, 뒤통수엽 이라고도 한다. 후두엽은, 시각연합영역과 시각피질이라고 하는 시각중추가 있어 시각정보의 처리를 담당할 수 있다. 그리고, 후두엽은, 눈으로 들어온 시각정보가 시각피질에 도착하면 사물의 위치, 모양, 운동 상태를 분석할 수 있다.
도 2는 본 발명의 일실시예에 따른 감정 분류 시스템의 전반적인 구성을 도시한 블록도이다.
도 2를 참고하면, 감정 분류 시스템(200)은, 사용자(201)의 뇌파를 측정하는 뇌파 측정 수단(202) 및 측정된 뇌파에서 감정을 분류하고, 분류된 감정에 기초하여 사용자의 현재 감정 상태를 판단하는 감정 분류 장치(203)를 포함할 수 있다.
이때, 사용자(201)의 뇌파를 측정할 수 있도록 사용자(201)는 뇌파 장비를 착용할 수 있다. 그리고, 뇌파 장비를 착용한 상태에서, 감정 분류 장치(203)는, 사용자의 감정을 유도할 수 있다. 예를 들어, IAPS(International Affective Picture System)라는 사진 자극 및 DVD 시청을 통해 사용자의 감정을 유도할 수 있다. 그리고, 뇌파 측정 수단(202)은, 사용자의 감정이 유도된 상태에서 사용자의 뇌파를 측정할 수 있다.
일례로, 사용자(201)는 32개의 채널에서 뇌파를 측정할 수 있는 뇌파 장비를 착용할 수 있다. 다시 말해, 32개 채널 각각에 해당하는 전극들이 사용자(201)의 머리에 부착될 수 있다. 여기서, 32개 채널에서 뇌파를 측정하는 동작은 도 3을 참조하여 후술하기로 한다.
그러면, 뇌파 측정 수단(202)는 측정된 32개 채널에 해당하는 뇌파를 감정 분류 장치(203)로 전달할 수 있다.
이어, 감정 분류 장치(203)는 32개 채널 중 15개 채널을 선택하고, 선택된 15개 채널에 해당하는 뇌파로부터 감정을 분류할 수 있다.
일례로, 감정 분류 장치(203)는 EEGLAB의 채널 배치(channel location)에 기초하여 15개의 채널을 선택할 수 있다. 이때, 감정 분류 장치(203)는 32개의 채널들 중 다른 채널들보다 상대적으로 감정 분류 결과가 뚜렷하게 나타나는 특정 채널을 선택할 수 있다. 여기서, 감정 분류 결과가 뚜렷하게 나타나는 특정 채널은, 32개 채널 각각의 뇌파가 밸런스-어로우절(Valence-Arousal) 평면에 속하는 4개의 상태 중 어디에 해당하는지에 기초하여 선택될 수 있다.
그러면, 감정 분류 장치(203)는 선택된 15개 채널에 해당하는 뇌파에서 감정을 분류할 수 있다. 이때, 감정 분류 장치(203)는 SAM(Self-Assessment Manikin) 기법 및 밸런스-어로우절(Valence-Arousal) 평면을 이용하여 15개 채널의 뇌파에서 감정을 분류할 수 있다.
일례로, 감정 분류 장치(203)는 15개 채널의 뇌파에서 행복, 슬픔, 고요, 공포 감정을 분류할 수 있다. 이처럼, 4개의 감정을 분류하는 경우, 밸런스-어로우절(Valence-Arousal) 평면에 속하는 4개의 상태는 각각 행복, 슬픔, 고요, 공포 감정을 나타낼 수 있다. 여기서, 4개의 상태는, LALV(Low Arousal Low Valence), HALV(High Arousal Low Valence), LAHV(Low Arousal High Valence), HAHV(High Arousal High Valence)를 포함할 수 있다. 예를 들어, LALV는, 슬픔 감정을 나타내고, HALV는 고요 감정을 나타내고, LAHV는 공포 감정을 나타내고, HAHV는 행복 감정을 나타낼 수 있다.
이때, 감정 분류 장치(203)는 15개 채널의 뇌파에서 분류된 감정이 밸런스-어로우절(Valence-Arousal) 평면에 속하는 4개의 상태 중 어디에 해당하는지 여부에 기초하여 사용자의 현재 감정 상태를 판단할 수 있다.
도 3은 본 발명의 일실시예에 따른 감정 분류 시스템에서 뇌파를 측정하기 위해 이용되는 32 채널을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 15개 채널의 플롯(plot)을 도시한 도면이다.
도 3을 참고하면, 32채널의 배치는 사용자(201)의 뇌파를 측정하기 위해 이용되는 전극들의 배치를 나타낼 수 있다. 다시 말해, 사용자(201)는 32개의 전극이 배치된 뇌파 장비를 착용하고 있을 수 있다. 그러면, 뇌파 측정 수단(202)은 32개의 전극을 통해 사용자의 뇌파를 측정할 수 있다. 다시 말해, 뇌파 측정 수단(202)은 32개의 채널을 통해 사용자의 뇌파를 측정하여 감정 분류 장치(203)로 전달할 수 있다.
그러면, 감정 분류 장치(203)는 32개 채널의 뇌파 중 특정 채널에 해당하는 15개 채널의 뇌파를 선택할 수 있다.
예를 들어, 감정 분류 장치(203)는 채널 CP6, Cz, FC2, T7, PO4, AF3, CP1, CP2, C3, F3, FC6, C4, Oz, T8, F8을 선택할 수 있다. 여기서, CP6 내지 F8에 해당하는 15개의 채널은, LALV(Low Arousal Low Valence), HALV(High Arousal Low Valence), LAHV(Low Arousal High Valence), HAHV(High Arousal High Valence)에 해당하는 감정 분류 결과가 32개의 채널 중에서 다른 채널보다 뚜렷하게 구분되는 채널일 수 있다.
도 3에서, 32개의 채널은 EEGLAB의 채널 배치(channel location)에 기초하여 배치될 수 있다. 선택된 15개의 채널의 플롯(plot)은 도 4와 같을 수 있다. 여기서, EEGLAB은 그래픽 기반 유저인터페이스로서, MATLAB 환경에서 cross-platform으로 각 채널의 EEG 데이터를 single-trial로 수집 및 프로세싱(processing)하는 툴(tool)이다.
도 5는 본 발명의 일실시예에 따른 감정 분류 시스템에서 뇌파를 이용하여 사용자의 감정을 분류하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 5에서, 감정 분류 방법은, 도 2의 감정 분류 시스템에 의해 수행될 수 있다.
먼저, 501 단계에서, 뇌파 측정 수단(202)은 사용자의 감정이 유도된 상태에서 사용자의 뇌파를 측정할 수 있다. 예를 들어, 뇌파 측정 수단(202)은 EEGLAB에 기초하여 32개 채널에 해당하는 뇌파를 측정하여 감정 분류 장치(203)로 전달할 수 있다.
이때, 뇌파를 측정하기 이전에 사용자의 감정을 먼저 유도할 필요가 있다. 이를 위해, 감정 분류 장치(203)는 IAPS 사진 자극 또는 DVD 시청을 통해 사용자에게 자극을 주어 감정을 유도할 수 있다. 예를 들어, 감정 분류 장치(203)는 디스플레이(미도시)를 통해 감정을 유도하기 위한 DVD를 재생하거나, 또는 IAPS 사진을 디스플레이할 수 있다. 여기서, 여기서, IAPS 사진 자극은, 사람의 감정을 기초로 하는 실험에서 사용하기 위해 표준화된 감정 자극으로서, 긍정, 부정, 또는 중립적인 감정을 유도하기 위해 사진을 이용하는 자극이다.
일례로, DVD 시청을 이용하는 경우, 사용자의 집중력이 높아지도록 조명이 어두운 환경에서 감정 분류 장치(203)는 디스플레이에 DVD를 재생할 수 있다. 이때, 사용자는 뇌파 장비를 착용한 상태에서 DVD를 시청할 수 있다. 여기서, DVD는 영화의 한 장면일 수도 있고, 유튜브(youtube) 등의 포털 사이트에서 공유되는 영상, 또는 사회 이슈 영상을 포함할 수 있다.
이때, 감정 분류 장치(203)는 DVD를 기설정된 시청 시간 동안 재생할 수 있다. 예를 들어, 대학생 남녀 총 10명을 대상으로, 감정 분류 장치(203)는, 공포, 행복, 슬픔, 고요의 감정 각각에 해당하는 DVD를 5분간 재생할 수 있다. 이때, 한 감정당 3편의 DVD가 재생될 수 있다. 이에 따라, 4개의 감정의 경우, 12편의 DVD가 각각 5분씩 재생될 수 있다.
다른 예로, IAPS 사진 자극을 이용하는 경우, 사용자의 집중력이 높아지도록 조명이 어두운 환경에서 감정 분류 장치(203)는 디스플레이에 IAPS 사진을 디스플레이할 수 있다. 여기서, IAPS 사진 자극은, 사람의 감정을 기초로 하는 실험에서 사용하기 위해 표준화된 감정 자극이다.
이때, 감정 분류 장치(203)는 행복, 슬픔, 고요, 고통 각각을 나타내는 사진들을 기설정된 시청 시간 동안 디스플레이에 디스플레이할 수 있다. 예를 들어, 감정 분류 장치(203)는 4개의 감정 중 하나의 감정 당 10장의 사진을 각각 5분씩 번갈아 가며 디스플레이할 수 있다. 다시 말해, 감정 분류 장치(203)는 5분동안 공포에 해당하는 10장의 사진을 디스플레이, 다시 5분 동안 행복에 해당하는 사진을 디스플레이, 동일한 방법으로, 감정 분류 장치(203)는 슬픔, 및 고요에 해당하는 사진을 디스플레이할 수 있다.
여기서, 행복 감정의 경우, IAPS 사진은 어린아이의 사진을 포함, 공포 감정의 경우, IAPS 사진은 파충류나 차가운 배경의 사진을 포함, 슬픔 감정의 경우, IAPS 사진은 눈물을 흘리는 사진 등을 포함, 고요 감정의 경우, IAPS 사진은 배경색이 푸른색이나 초록색 등과 같이 자연계열색을 가진 사진을 포함할 수 있다.
이처럼, IAPS 사진 자극을 이용하는 경우, 사진의 물리적 특성인 컬러(color)가 사용자의 감정에 영향을 미칠 수 있으며, 긍정(positive) 및 부정(negative)의 자극은 사진의 컬러에 의해 발생할 수도 있다.
이어, 502 단계에서, 감정 분류 장치(203)는, 측정된 채널의 뇌파 중에서 측정 채널에 해당하는 뇌파를 선택할 수 있다.
예를 들어, 감정 분류 장치(203)는 32개 채널 중 감정 분류 결과가 상대적으로 뚜렷한 채널인 15개 채널의 뇌파를 선택할 수 있다. 여기서, 15개 채널에 해당하는 뇌파를 선택하는 자세한 동작은 도 2에서 설명하였으므로, 중복되는 내용은 생략하기로 한다.
그리고, 503 단계에서, 감정 분류 장치(203)는 선택된 뇌파에서 사용자의 감정을 분류할 수 있다. 이때, 감정 분류 장치(203)는 15개 채널의 뇌파에서 4개의 감정을 분류할 수 있다. 예를 들어, 감정 분류 장치(203)는 SAM 기법 및 밸런스-어로우절 평면을 이용하여 15개 채널의 뇌파에서 공포, 행복, 슬픔, 고요에 대한 감정을 분류할 수 있다.
이를 위해, 감정 분류 장치(203)는, 디지털 필터를 이용하여 선택된 15개 채널의 뇌파에 대해 전처리(pre-processing)을 수행할 수 있다. 이때, 디지털 필터는, FIR 필터를 포함할 수 있다. 그리고, 감정 분류 장치(203)는, 전처리된 뇌파에서 인공 산물(eye-blink)를 제거할 수 있다. 여기서, 인공 산물은, 사용자의 뇌파 측정 시에 발생하는 것으로서, 사용자의 깜박거림, 심장박동 등을 포함할 수 있다. 이어, 감정 분류 장치(203)는, 인공 산물이 제거된 뇌파를 고속 퓨리에 변환(Fast Fourier Transform: FFT)하여 특징 추출(feature extraction)을 수행할 수 있다.
그리고, 504 단계에서, 감정 분류 장치(203)는, 분류된 감정이 밸런스-어로우절 평면의 4개 상태 중 어느 상태에 해당하는지 여부에 기초하여 사용자의 현재 감정 상태를 판단할 수 있다.
그러면, 505 단계에서, 감정 분류 장치(203)는 특징 추출한 데이터를 수치화하고, 수치화된 데이터를 대상으로 SVM 알고리즘 및 K-means 알고리즘을 이용하여 분류된 감정의 정확도를 계산할 수 있다. 여기서, 특징 추출한 데이터는 벡터를 포함할 수 있다. 예를 들어, 감정 분류 장치(203)는 SVM 알고리즘 및 K-means 알고리즘을 이용하여 상기 판단된 사용자의 현재 감정 상태에 대한 정확도를 계산할 수 있다.
도 6은 본 발명의 일실시예에 따라 SAM 기법을 이용하여 감정을 분류하는 동작을 설명하기 위해 제공되는 도면이다.
도 6을 참고하면, 감정 분류 장치(203)는 DVD 시청 또는 IAPS 사진 자극을 통해 사용자의 감정이 유도된 상태에서 측정된 사용자의 뇌파에서 4개의 감정을 분류할 수 있다. 이때, 감정 분류 장치(203)는 15개 채널의 뇌파에서 SAM(Self-Assessment Manikin) 기법을 이용하여 행복, 공포, 슬픔, 고요 감정을 분류할 수 있다.
여기서, SAM 기법은 아바타를 이용하여 감정을 분류하는 것으로서, 사용자의 감정이 유도된 상태에서 측정된 뇌파가 어느 감정 상태에 해당하는지를 아바타를 통해 나타내는 기법이다. 이때, SAM 기법은, 뇌파 및 다른 생체 신호에서도 이용될 수 있다. 그리고, 감정 분류 장치(203)는 아바타에 표현된 감정 상태에 기초하여 사용자의 현재 감정 상태를 판단할 수 있다.
예를 들어, 감정 분류 장치(203)는 선택된 뇌파를 대상으로 특징 추출을 수행하고, 특징 추출한 데이터를 수치화하여 아바타에 나타낼 수 있다. 그러면, 도 6과 같이, 감정 별로 수치화된 데이터가 아바타에 표현될 수 있다. 이때, 아바타의 점수는 1부터 9까지이며, 점수가 높을수록 밸런스(valence)는 행복한 상태, 어로우절(Arousal)은 극도로 흥분한 상태를 나타낼 수 있다.
그러면, 감정 분류 장치(203)는 아바타 점수에 기초하여 분류된 각 감정을 밸런스-어로우절 평면에 나타낼 수 있다.
도 7은 본 발명의 일실시예에 따른 밸런스-어로우절 평면을 이용하여 감정을 분류하는 동작을 설명하기 위해 제공되는 도면이다.
도 7을 참고하면, 밸런스-어로우절 평면은 LAHV, HAHV, LALV, 및 HALV와 같이 4개의 상태를 포함할 수 있다. 이때, 4개의 상태를 나타내는 사분면의 각각의 녀들은 가장 근접한 감정들을 나타낼 수 있다.
예를 들어, 밸런스의 점수가 높고 어로우절의 점수가 낮은 왼쪽 위의 LAHV는 공포 감정을 나타내고, 밸런스의 점수가 낮고 어로우절의 점수가 낮은 왼쪽 아래의 LALV는 슬픔, 밸런스의 점수가 높고 어로우절의 점수가 낮은 오른쪽 아래의 HALV는 고요, 밸런스와 어로우절의 점수가 모두 높은 오른쪽 위의 HAHV는 행복을 나타낼 수 있다.
이때, 밸런스-어로우절의 점수는 1부터 9점 사이이며, 감정 분류 장치(203)는 점수가 높을수록 긍정적인 상태이고, 점수가 낮을수록 사용자의 감정이 부정적인 상태인 것으로 판단할 수 있다.
이처럼, 측정된 사용자의 뇌파에서 분류된 감정이 4개의 상태 중 어디에 속하는지에 따라, 감정 분류 장치(203)는 사용자의 현재 감정 상태를 판단할 수 있다.
예를 들어, 감정 분류 장치(203)는 특징 추출을 수치화한 데이터를 SAM 기법을 이용하여 밸런스-어로우절 점수로 환산하고, 환산된 밸런스-어로우절 점수에 기초하여 밸런스-어러우절 평면의 4개 상태 중 사용자의 감정이 어디에 속하는지를 결정할 수 있다. 그리고, 감정 분류 장치(203)는 사용자의 감정이 속하는 상태에 해당하는 감정을 사용자의 현재 감정 상태로 판단할 수 있다.
도 8은 본 발명의 일실시예에 따라 선택된 뇌파에서 감정을 분류하는 구체적인 방법을 설명하기 위해 제공되는 흐름도이다.
도 8에서. 감정을 분류하는 동작은 도 2의 감정 분류 장치(203)에 의해 수행될 수 있다.
도 8을 참고하면, 801 단계에서, 감정 분류 장치(203)는 특정 채널에 해당하는 뇌파에 대해 전처리를 수행할 수 있다. 이때, 감정 분류 장치(203)는 디지털 필터를 이용하여 전처리를 수행할 수 있다.
예를 들어, 감정 분류 장치(203)는 EEGLAB에서 제공되는 FIR 필터(Finite Impulse Response Filter)를 이용하여 전처리를 수행할 수 있다. 여기서, FIR 필터는 디지털 필터의 한 종류로서, 입력 신호의 일정한(finite) 값들만을 가지고 필터링을 수행할 수 있다. 이때, 필터의 특성함수인 임펄스 응답은 유한한 길이를 가지며, FIR 필터는 위상변이(입력과 출력파형의 형태유지)에 유용하며, 비재귀형으로 귀환 루프(loop)가 없으므로 안정성이 보장될 수 있다.
또한, FIR 필터는 필터 설계에 있어서 저역 통과 필터(Low Pass Filter: LPF) 부분에 비중을 두는데, 이는 LPF를 근간으로 고역 통과 필터(high pass filter), 대역 통과 필터(band pass filter), 대역 제거 필터(band reject filter)를 쉽게 구할 수 있기 때문이다. 원하는 응답의 근사치를 구하기 위해 필터의 클래스는 선택될 수 있으며, 선형위상인 FIR Filter는 두 개의 통과필터를(passband, stopband) 평행하게 연결하여 실행될 수 있다.
이어, 802 단계에서, 감정 분류 장치(203)는 전처리가 수행된 뇌파에서 인공 산물을 제거할 수 있다. 이때, 감정 분류 장치(203)는 독립 성분 분석인 ICA(Independence Component Analysis)를 이용하여 인공 산물을 제거할 수 있다. 여기서, 인공 산물은 뇌파 측정시 발생한 사용자의 눈 깜박거림, 심장 박동 등을 포함할 수 있다,
그리고, 803 단계에서, 감정 분류 장치(203)는 인공 산물이 제거된 뇌파를 대상으로 고속 퓨리에 변환(FFT)을 수행할 수 있다.
이어, 804 단계에서, 감정 분류 장치(203)는 FFT 변환된 뇌파를 복수의 주파수 대역으로 구분할 수 있다.
이때, 감정 분류 장치(203)는 FFT 변환된 뇌파를 5개의 주파수 대역으로 분류할 수 있다. 여기서, 5개의 주파수 대역은, 아래의 표 1과 같이, 알파파(Alpha wave), 베타파(Beta wave), 감마파(Gamma wave), 세타파(Theta wave), 및 델타파(Delta wave)에 해당하는 주파수 대역을 포함할 수 있다.
Indicator Frequency Definition State
Delta wave 0.1-3Hz Deep Sleep
Theta wave 4-7Hz Sleep
Alpha wave 8-12Hz Awake
Beta wave 13-30Hz Tension, Excitement, Stress
Gamma wave 30-50Hz Anxiety, Nervous, Stress
표 1에 따르면, 뇌파는 대표적으로, 알파파(Alpha wave), 베타파(Beta wave), 감마파(Gamma wave), 세타파(Theta wave), 및 델타파(Delta wave)와 같이 총 5개의 파형으로 분류될 수 있다. 이에 따라, 감정 분류 장치(203)는 FFT 변환된 뇌파를 5개의 주파수 대역으로 분류할 수 있다. 여기서, 델타파는, 다양한 잡음을 포함할 수 있을 수 있다.
이에 따라, 805 단계에서, 감정 분류 장치(203)는 각 대역 별로 분류된 뇌파에서 델타파를 제거할 수 있다.
그리고, 806 단계에서, 감정 분류 장치(203)는 델타파가 제거된 뇌파를 대상으로 파워 스펙트럼(power spectrum) 분석을 통해 특징 추출(feature extraction)을 수행할 수 있다.
다시 말해, 감정 분류 장치(203)는 알파파, 베타파, 감마파, 세타파 각각에 해당하는 주파수 대역 별로 파워 스펙트럼을 분석할 수 있다. 그리고, 감정 분류 장치(203)는 파워 스펙트럼 분석을 통해 특징 추출된 각 주파수 대역 별 데이터를 수치화하고, 수치화된 데이터를 배열로 저장할 수 있다. 여기서, 특징 추출은 벡터를 포함할 수 있다. 다시 말해, 벡터가 배열로 저장될 수 있다.
그리고, 감정 분류 장치(203)는 수치화된 데이터를 SAM 기법을 이용하여 밸런스-어로우절 점수로 환산하여 아바타에 나타낼 수 있다. 이어, 감정 분류 장치(203)는 밸런스-어루우절 점수에 기초하여 수치화된 데이터를 밸런스-어로우절 평면의 4개 상태 중 어느 상태에 해당하는지를 결정함으로써, 사용자의 현재 감정 상태를 판단할 수 있다.
이어, 감정 분류 장치(203)는 SVM 알고리즘 및 K-means 알고리즘을 이용하여 분류된 감정의 정확도를 계산할 수 있다. 예를 들어, 감정 분류 장치(203)는 수치화된 데이터를 SVM 알고리즘 및 K-means 알고리즘에 적용함에 따라 정확도를 계산할 수 있다.
여기서, SVM 알고리즘은 최대 마진초평면을 갖는 알고리즘으로서, 선형 비선형 알고리즘보다 우수한 성능을 보인다. SVM은 단지 점들을 분리하는 초평면을 찾는 것이 아니라, 점들을 분리할 수 있는 수많은 초평면들 가운데 마진이 최대가 되는 초평면을 찾을 수 있다. 이때, SVM 분류기가 서로 다른 클래스 간에 분류 경계면을 찾을 때 최대의 마진을 고려하는 이유는, 첫째, 최상의 능력으로 가장 안정되게 동작될 수 있기 때문이고(차원의 저주를 줄여줌), 둘째 분류 경계 부근에서 발생하는 작은 오차가 최대 마진일 경우 최소화될 수 있기 때문이다. 이에 따라, SVM은 top-down방식으로 문제를 접근하는 학습방법으로서, bottom-up 방식의 여러 학습방법에 비해 계산량이 적어 속도가 빠르며, 대용량의 데이터에 대해서도 처리가 가능하다.
그리고, K-means 알고리즘은, 임의의 초기 값에서 정해진 수렴 값에 수렴할 때까지 추정(E)-최대화(M)과정을 반복하면서 중심을 찾는 알고리즘이다. 여기서, E단계에서는 중심에서 클러스터를 선택하여 결정하고, M단계에서는 거꾸로 클러스터에서 중심을 결정하는 과정을 반복하는 추정 알고리즘이다.
구체적으로, K-means 알고리즘은, 아래의 (1) 내지 (5) 단계의 과정을 수행하는 알고리즘이다.
(1)시작: 데이터 집합[X1, ...., XN]에서 K개의 벡터를 임의로 선택하여 초기 중심 집합을 만들 수 있다.
(2)E단계: 만약 데이터 Xn이 Yi에 가장 가깝다면, 클러스터 Xi에 속하도록 라벨링할 수 있다. 결국 데이터집합은 K개의 클러스터들 {X1,...,Xk}로 나누어질 수 있다.
(3)M단계: E단계에서 구한 새로운 클러스터들에서 각각의 중심을 갱신할 수 있다.
(4)데이터와 가장 가까운 클러스터 중심들과 거리의 합으로 총 왜곡(distortion)을 계산할 수 있다.
(5)총 왜곡이 적절하게 변하지 않거나 설정된 반복 횟수에 도달할 때까지 (2) 내지 (4)단계를 반복할 수 있다.
도 8에서, 감정 분류 장치(203)는 SVM 알고리즘 및 K-means 알고리즘을 기반으로 하는 Weka를 이용하여 정확도를 계산할 수 있다. 이때, SVM의 교차 검증은 10-fold로 선택하여 수행될 수 있다.
도 9는 본 발명의 일실시예에 따른 FIR 필터에서 로우패스 필터(lowpass filter) 응답크기의 근사치에 대한 허용한계를 나타낸 그래프이다.
도 9를 참고하면, 감정 분류 장치(203)는 패스밴드 필터(Passband filter)는 [0, Wp] 구간에서 신호의 요소들을 보존하며, 스탑밴드 필터(stopband filter)는 [Ws, Π]구간에서 신호의 잡음을 제거할 수 있다. 여기서, Wp와 Ws는 각각의 패스밴드(passband) 모서리와 스탑밴드(stopband) 모서리의 각 주파수를 나타낼 수 있다. 그리고, 점선라인의 그래프는 패스밴드(passband) 구간과 스탑밴드(stopband) 구간의 응답크기를 나타낼 수 있다. 패스밴드(passband) 구간 그래프는, 1+δp와 1-δp사이의 머물러 있는 가용된 크기의 응답을 나타내는데, 이는 스탑밴드(stopband) 구간의 δs보다 작거나 같을 수 있다.
그리고, 트랜지션 밴드(Transition band)는 제로가 아닌 (Wp, Ws)구간을 나타내며, 가능한 한 근사치에 가까운 값을 도출하도록 만들어주는 역할을 수행할 수 있다. 이는, 패스밴드(passband)와 스탑밴드(stopband)가 제로일 때 필터의 응답을 변화시킬 수 있다.
이처럼, 감정 분류 장치(203)는 비재귀형인 FIR 필터를 사용하여 전처리를 수행함에 따라, 안정성이 강하며, 선형 위상을 가지므로 위상 왜곡에 강할 수 있다. 이때, 도 9에서, 감정 분류 장치(203)는 lower passband의 차단 주파수(cutoff frequency)를 40Hz로 설정하고 high-pass의 차단 주파수를 0.5Hz로 설정하여 전처리를 수행할 수 있다.
또한, 감정 분류 장치(203)는 FIR 필터 이외에 IIR 필터를 이용하여 전처리를 수행할 수도 있다. IIR 필터의 경우, 특성 함수인 임펄스 응답이 무한한 길이를 갖지만, 위상 특성 측면에서는 비선형성을 가지므로 입력 파형과 출력 파형이 유사한 파형을 갖지 않을 수 있다.
도 10은 본 발명의 일실시예에 따라 SVM 및 K-means 알고리즘을 이용한 분류 실험 과정을 도시한 도면이다.
도 10을 참조하면, 감정 분류 장치(203)는 FFT 변환 및 파워 스펙트럼 분석을 통해 특징 추출한 데이터를 수치화하고, 수치화된 데이터를 weka로 분류실험할 수 있다. 여기서, weka는 SVM 및 K-means 알고리즘을 기반으로 하는 분류 실험이다. 아래의 표 2는 실험 결과를 나타내고 있다.
Classifier DVD IAPS Average Accuracy(%)
SVM 71.5 72.2 71.85
K-means 68.5 71.3 70
표 2는, 남녀 대학생 10명을 대상으로 추출한 4개의 감정(슬픔, 행복, 고요, 공포) 데이터 각각의 결과를 총 합한 평균을 나타내고 있다.
표 2에 따르면, SVM이 71.85%로 K-means 70%보다 높은 정확도를 가짐을 확인할 수 있다. 또한, DVD를 시청하여 감정을 분류하였을 때와 IAPS 사진 자극을 이용하여 감정을 분류하였을 때의 정확도를 살펴보면, SVM 및 K-means 모두 IAPS가 DVD 시청보다 더 높음을 확인할 수 있다. 이는, DVD 시청의 경우, 장면에 다라 사용자가 슬픔을 고요로 느끼거나, 장면의 전개에 따라 감정 변화가 많이 달라질 수 있다. 반면, IAPS 사진 자극의 경우, 대부분 한가지 감정에 사용자가 정확이 집중할 수 있기 때문에 IAPS 사진 자극에 따른 감정 분류의 정확도가 DVD 시청에 따른 감정 분류의 정확도보다 높을 수 있다.
아래의 표 3은 이전에 SVM을 사용했던 연구와 본 발명에서 SVM을 사용하여 감정을 분류한 결과를 비교한 표이다.
Classifier This Study Ahmad Study Kazuhiko Study
SVM 71.85% 56.10 66.7%
표 3에서, This Study는 본 발명에서 SVM을 이용하여 감정을 분류한 결과이고, Ahmad Study는 Ahmad T. Sohaib에서 SVM을 이용한 결과이고, Kazuhiko Study는 Kazuhiko Takahashi에서 SVM을 이용한 결과이다. Ahmad Study와 Kazuhiko Study는 뇌파를 활용한 감정분류를 SVM으로 실험한 결과를 나타낸 것이다.
표 3에 따르면, Ahmad Study와 Kazuhiko Study는 56.10%와 66.7%로 70%대의 결과에 미치지 못하였다. 그러나, This Study는 71.85%의 결과를 도출하여 이전의 결과에 비해 높은 정확도를 도출하였음을 확인할 수 있다. Kazuhiko Study의 경우, Ahmad보다 먼저 시행된 연구인데도 Ahmad보다 정확도가 우수하게 도출되었음을 확인할 수 있다.
Kazuhiko Study는 SVM을 활용한 감정인식 패턴분류에 one-vs-all 방법을 적용한 것으로, 이는 특징 추출한 벡터에서 분류된 감정을 각각의 감정 별로 의사결정 로직에 적용하여 마지막에 인식된 감정을 도출하는 방법이다. 이에 따라, Kazuhiko는 one-vs-all 방법을 통하여 감정분류의 정확도를 개선시켰으므로, 후에 연구된 Ahmad보다 우수한 결과를 도출할 수 있다.
도 11은 본 발명의 일실시예에 따른 감정 분류 장치의 세부 구성을 도시한 블록도이다.
즉, 도 11은 도 2이 감정 분류 장치(203)의 세부 구성을 도시한 블록도이다.
도 11을 참고하면, 감정 분류 장치(1103)는, 송수신부(1104), 뇌파 선택부(1105), 감정 분류부(1106), 정확도 계산부(1107), 및 감정 판단부(1108)를 포함할 수 있다.
먼저, 사용자(1101)의 뇌파를 측정할 수 있도록 사용자(1101)는 뇌파 장비를 착용할 수 있다. 그리고, 뇌파 장비를 착용한 상태에서, 감정 분류 장치(1103)는, 사용자의 감정을 유도할 수 있다. 예를 들어, 감정 분류 장치(1103)는, IAPS(International Affective Picture System) 사진 및 DVD를 디스플레이(미도시)에 재생함에 따라 사용자의 감정을 유도할 수 있다.
그러면, 뇌파 측정 수단(1102)은 사용자의 감정이 유도된 상태에서 사용자의 뇌파를 측정할 수 있다. 예를 들어, 도 3과 같이, 뇌파 측정 수단(1102)은 32개 채널에 해당하는 뇌파를 측정하여 송수신부(1104)로 전달할 수 있다.
뇌파 선택부(1105)는 송수신부(1104)에서 수신한 복수의 채널들 중 기설정된 특정 채널에 해당하는 뇌파를 선택할 수 있다. 이때, 뇌파 선택부(1105)는 복수의 채널들 중 다른 채널 대비 상대적으로 감정 분류 결과가 뚜렷한 특정 채널에 해당하는 뇌파를 선택할 수 있다. 예를 들어, 뇌파 선택부(1105)는 32개 채널 중 15개의 채널에 해당하는 뇌파를 선택할 수 있다. 여기서, 15개의 채널에 해당하는 뇌파를 선택하는 동작은 도 2에서 설명하였으므로, 중복되는 내용은 생략하기로 한다.
이어, 감정 분류부(1105)는 SAM(Self-Assessment Manikin) 기법 및 밸런스-어로우절(Valence-Arousal) 평면을 이용하여 특정 채널에 해당하는 뇌파에서 감정을 분류할 수 있다. 예를 들어, 감정 분류부(1105)는 선택된 15개 채널에 해당하는 뇌파에서 행복, 슬픔, 공포, 고요와 같은 4개의 감정을 분류할 수 있다.
이때, 감정 분류부(1105)는 감정 판단부(1108), 전처리부(1109), 인공 산물 제거부(1110), 및 특징 추출부(1111)를 포함할 수 있다.
전처리부(1109)는 선택된 채널에 해당하는 뇌파에 대해 디지털 필터를 이용하여 전처리(pre-processing)을 수행할 수 있다. 여기서, 디지털 필터는 FIR 필터를 포함할 수 있다. 다시 말해, 전처리부(1109)는 선택된 채널에 해당하는 뇌파를 FIR 필터를 이용하여 필터링함으로써 전처리를 수행할 수 있다.
이어, 인공 산물 제거부(1110)는 전처리된 뇌파에서 인공 산물을 제거할 수 있다. 이때, 인공 산물 제거부(1110)는, ICA(Independent Component Analysis)를 이용하여 전처리된 뇌파에서 인공 산물을 제거할 수 있다. 여기서, 인공 산물은, 사용자의 뇌파 측정 시 발생하는 사용자의 눈 깜박거림, 심장 박동 등을 포함할 수 있다.
그러면, 특징 추출부(1111)는 인공 산물이 제거된 뇌파를 고속 퓨리에 변환(FFT)할 수 있다. 그리고, 특징 추출부(111)는 FFT 변환된 뇌파를 주파수 대역 별로 분류하여 파워 스펙트럼을 분석할 수 있다. 예를 들어, 특징 추출부(111)는 FFT 변환된 뇌파를 5개의 주파수 대역으로 분류할 수 있다. 여기서, 5개의 주파수 대역은, 알파파, 베타파, 감마파, 세타파 및 델타파 각각에 해당하는 주파수 대역을 포함할 수 있다.
이어, 특징 추출부(1111)는 5개의 주파수 대역으로 분류된 뇌파에서 델타파를 제거할 수 있다. 그리고, 특징 추출부(1111)는 델타파가 제거된 뇌파에서 주파수 대역 별로 파워 스펙트럼을 분석할 수 있다. 다시 말해, 특징 추출부(1111)는 알파파, 베타파, 감마파, 세타파 각각에 해당하는 주파수 대역 별로 파워 스펙트럼을 분석할 수 있다. 그러면, 특징 추출부(1111)는 파워 스펙트럼을 분석하여 선택된 15개 채널에 해당하는 뇌파의 특징 추출(feature extraction)을 수행할 수 있다. 여기서, 특징 추출은, 벡터를 포함할 수 있다.
그리고, 특징 추출부(1111)는 주파수 대역 별로 특징 추출을 배열로 저장할 수 있디. 이때, 특징 추출부(1111)는 특징 추출을 수치화하고, 수치화된 데이터를 배열로 저장할 수 있다.
이어, 감정 판단부(1108)는 수치화된 데이터를 SAM 기법 및 밸런스-어로우절 평면을 이용하여 4개의 감정으로 분류할 수 있다. 그리고, 감정 판단부(1108)는 분류된 감정이 밸런스-어로우절 평면의 4개 상태 중 어느 상태에 해당하는지 여부에 기초하여 사용자의 현재 감정 상태를 판단할 수 있다.
여기서, 밸런스-어로우절 평면은 LAHV(Low Arousal High Valence), HAHV(High Arousal High Valence), LALV(Low Arousal Low Valence), 및 HALV(High Arousal Low Valence) 상태를 포함할 수 있다. 그리고, LAHV 상태는, 공포 감정을 나타내고, HAHV 상태는, 행복 감정을 나타내고, LALV 상태는, 슬픔 감정을 나타내고, HALV 상태는, 고요 감정을 나타낼 수 있다.
일례로, 감정 판단부(1108)는 수치화된 데이터를 SAM 기법을 이용하여 밸런스-어로우절 점수로 환산하여 아바타에 나타낼 수 있다. 이어, 감정 판단부(1108)는 밸런스-어루우절 점수에 기초하여 수치화된 데이터를 밸런스-어로우절 평면의 4개 상태 중 어느 상태에 해당하는지를 결정할 수 있다. 그러면, 감정 판단부(1108)는 4개의 상태 중 결정된 상태에 기초하여 사용자의 현재 감정 상태를 판단할 수 있다. 예를 들어, 수치화된 데이터가 HAHV 상태에 해당하는 경우, 감정 판단부(1108)는 사용자의 현재 감정 상태를 행복으로 판단할 수 있다.
정확도 계산부(1107)는 SVM 알고리즘 및 K-means 알고리즘을 이용하여 특정 채널에 해당하는 뇌파에서 분류된 감정의 정확도를 계산할 수 있다.
다시 말해, 수치화된 데이터가 해당하는 밸런스-어로우절 평면의 상태에 기초하여 사용자의 현재 감정 상태가 결정됨에 따라, 정확도 계산부(1107)는 결정된 사용자의 현재 감정 상태에 대한 정확도를 계산할 수 있다.
이때, 정확도 계산부(1107)는 SVM 알고리즘 및 K-means 알고리즘을 이용하여 분류된 감정의 정확도를 계산할 수 있다. 예를 들어, 감정 분류 장치(203)는 수치화된 데이터를 SVM 알고리즘 및 K-means 알고리즘에 적용함에 따라 정확도를 계산할 수 있다. 여기서, 정확도를 계산하는 동작은 도 8 및 도 10에서 상세히 설명하였으므로, 중복되는 설명은 생략하기로 한다.
이상의 도 1내지 도 11에서는 사용자의 감정을 행복, 슬픔, 고요, 고통과 같이 4종류로 분류하는 것으로 설명하였으나, 이외에 감정 분류 장치(203)는 사용자의 감정을 Ekman의 정의에 따라 6가지 기본 감정으로 분류할 수도 있다. 예를 들어, 행복, 놀람, 공포, 분노, 혐오, 슬픔으로 분류할 수 있다. 그리고, 감정 분류 장치(203)는 행복, 슬픔, 고요, 고통 이외에 상기 6가지 기본 감정 중 임의의 4가지 감정으로 뇌파를 분류할 수도 있다
또한, 이상의 도 1내지 도 11에서는 SVM 알고리즘 및 K-means 알고리즘을 이용하여 정확도를 계산하는 것을 설명하였으나, 이는 실시예에 해당되며, 감정 분류 장치(203)는 트리 알고리즘을 이용하여 정확도를 계산할 수도 있다. 예를 들어, 감정 분류 장치(203)는 결정 트리(Decision Tree) 알고리즘, 랜덤 포레스트(Random forest) 알고리즘을 이용하여 정확도를 계산할 수도 있다.
또한, 이상의 도 1내지 도 11에서는 FFT 변환 및 파워 스펙트럼 분석을 통해 특징 추출을 수행하는 것으로 설명하였으나, 이는 실시예에 해당하며, 감정 분류 장치(203)는 AR(Auto Regressive) 및 Wavelet Transform 등의 방법을 이용하여 특징 추출을 수행할 수도 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 사용자에게 자극을 주어 감정이 유도된 상태에서 복수의 채널 각각에 해당하는 뇌파를 측정하는 단계;
    상기 복수의 채널 각각에 해당하는 뇌파 중에서 기설정된 특정 채널에 해당하는 뇌파를 선택하는 단계; 및
    SAM(Self-Assessment Manikin) 기법 및 밸런스-어로우절(Valence-Arousal) 평면을 이용하여 상기 특정 채널에 해당하는 뇌파에서 감정을 분류하는 단계
    를 포함하는 감정 분류 방법.
  2. 제1항에 있어서,
    상기 밸런스-어로우절 평면은,
    LAHV(Low Arousal High Valence), HAHV(High Arousal High Valence), LALV(Low Arousal Low Valence), 및 HALV(High Arousal Low Valence) 상태를 포함하고,
    상기 LAHV 상태는, 공포 감정을 나타내고, 상기 HAHV 상태는, 행복 감정을 나타내고, 상기 LALV 상태는, 슬픔 감정을 나타내고, 상기 HALV 상태는, 고요 감정을 나타내는 감정 분류 방법.
  3. 제1항에 있어서,
    상기 감정을 분류하는 단계는,
    디지털 필터를 이용하여 상기 특정 채널에 해당하는 뇌파에 대해 전처리(pre-processing)을 수행하는 단계;
    상기 전처리된 뇌파에서 인공 산물을 제거하는 단계; 및
    상기 인공 산물이 제거된 뇌파를 고속 퓨리에 변환(Fast Fourier Transform: FFT)함에 따라 특징 추출(feature extraction)을 수행하는 단계
    를 포함하는 감정 분류 방법.
  4. 제3항에 있어서,
    상기 인공 산물을 제거하는 단계는,
    ICA(Independence Component Analysis)를 이용하여 상기 전처리된 뇌파에서 인공 산물을 제거하는 감정 분류 방법.
  5. 제3항에 있어서,
    상기 특징 추출을 수행하는 단계는,
    상기 인공 산물이 제거된 뇌파를 고속 퓨리에 변환하는 단계;
    상기 고속 퓨리에 변환된 뇌파를 복수의 주파수 대역으로 구분하는 단계; 및
    상기 복수의 주파수 대역으로 구분된 뇌파를 주파수 대역 별로 파워 스펙트럼(power spectrum)을 분석하는 단계
    를 포함하는 감정 분류 방법.
  6. 제5항에 있어서,
    상기 복수의 주파수 대역으로 구분하는 단계는,
    상기 고속 퓨리에 변환된 뇌파를 알파파, 베타파, 감마파, 세타파, 및 델타파 각각에 해당하는 주파수 대역으로 구분하는 감정 분류 방법.
  7. 제5항에 있어서,
    상기 복수의 주파수 대역으로 구분하는 단계는,
    상기 복수의 주파수 대역으로 구분된 뇌파에서 델타파를 제거하고,
    상기 파워 스펙트럼을 분석하는 단계는,
    상기 델타파가 제거된 뇌파에 대해 파워 스펙트럼을 분석하는 감정 분류 방법.
  8. 제1항에 있어서,
    SVM(Support Vector Machine) 및 K-means 분류 알고리즘을 이용하여 상기 특정 채널에 해당하는 뇌파에서 분류된 감정의 정확도를 계산하는 단계
    를 더 포함하는 감정 분류 방법.
  9. 제1항에 있어서,
    상기 뇌파를 측정하는 단계는,
    IAPS(International Affective Picture System) 사진 자극 및 DVD 시청을 통해 상기 사용자에게 자극을 주어 감정을 유도하는 감정 분류 방법.
  10. 제1항에 있어서,
    상기 특정 채널에 해당하는 뇌파에서 분류된 감정이 상기 밸런스-어로우절 평면에 속하는 4개의 상태 중 어느 하나에 해당하는지 여부에 기초하여 사용자의 현재 감정 상태를 판단하는 단계
    를 더 포함하는 감정 분류 방법.
  11. 제1항에 있어서,
    상기 뇌파를 측정하는 단계는,
    상기 감정을 유도하기 위해 상기 사용자에게 부착된 뇌파 장비를 통해 30개 채널의 뇌파를 측정하고,
    상기 뇌파를 선택하는 단계는,
    상기 30개 채널의 뇌파 중 감정 분류 결과가 뚜렷한 15개 채널의 뇌파를 선택하는 감정 분류 방법.
  12. 사용자에게 자극을 주어 감정이 유도된 상태에서 측정된 복수의 채널 각각에 해당하는 뇌파를 뇌파 측정 수단으로부터 전달받는 송수신부;
    상기 복수의 채널 각각에 해당하는 뇌파 중에서 기설정된 특정 채널에 해당하는 뇌파를 선택하는 뇌파 선택부; 및
    SAM(Self-Assessment Manikin) 기법 및 밸런스-어로우절(Valence-Arousal) 평면을 이용하여 상기 특정 채널에 해당하는 뇌파에서 감정을 분류하는 감정 분류부
    를 포함하는 감정 분류 시스템.
  13. 제12항에 있어서,
    상기 밸런스-어로우절 평면은,
    LAHV(Low Arousal High Valence), HAHV(High Arousal High Valence), LALV(Low Arousal Low Valence), 및 HALV(High Arousal Low Valence) 상태를 포함하고,
    상기 LAHV 상태는, 공포 감정을 나타내고, 상기 HAHV 상태는, 행복 감정을 나타내고, 상기 LALV 상태는, 슬픔 감정을 나타내고, 상기 HALV 상태는, 고요 감정을 나타내는 감정 분류 시스템.
  14. 제12항에 있어서,
    상기 감정 분류부는,
    디지털 필터를 이용하여 상기 특정 채널에 해당하는 뇌파에 대해 전처리(pre-processing)을 수행하는 전처리부;
    상기 전처리된 뇌파에서 인공 산물을 제거하는 인공 산물 제거부; 및
    상기 인공 산물이 제거된 뇌파를 고속 퓨리에 변환(Fast Fourier Transform: FFT)함에 따라 특징 추출(feature extraction)을 수행하는 특징 추출부
    를 포함하는 감정 분류 시스템.
  15. 제14항에 있어서,
    상기 인공 산물 제거부는,
    ICA(Independence Component Analysis)를 이용하여 상기 전처리된 뇌파에서 인공 산물을 제거하는 감정 분류 시스템.
  16. 제14항에 있어서,
    상기 특징 추출부는,
    상기 인공 산물이 제거된 뇌파를 고속 퓨리에 변환하고, 상기 고속 퓨리에 변환된 뇌파를 복수의 주파수 대역으로 구분하여 주파수 대역 별로 파워 스펙트럼(power spectrum)을 분석하는 감정 분류 시스템.
  17. 제16항에 있어서,
    상기 특징 추출부는,
    상기 복수의 주파수 대역으로 구분된 뇌파에서 델타파를 제거하는 감정 분류 시스템.
  18. 제12항에 있어서,
    SVM(Support Vector Machine) 및 K-means 분류 알고리즘을 이용하여 상기 특정 채널에 해당하는 뇌파에서 분류된 감정의 정확도를 계산하는 정확도 계산부
    를 더 포함하는 감정 분류 시스템.
  19. 제12항에 있어서,
    상기 뇌파 측정 수단은,
    IAPS(International Affective Picture System) 사진 자극 및 DVD 시청을 통해 상기 사용자에게 자극을 주어 감정을 유도하는 감정 분류 시스템.
  20. 제12항에 있어서,
    상기 특정 채널에 해당하는 뇌파에서 분류된 감정이 상기 밸런스-어로우절 평면에 속하는 4개의 상태 중 어느 하나에 해당하는지 여부에 기초하여 사용자의 현재 감정 상태를 판단하는 감정 판단부
    를 더 포함하는 감정 분류 시스템.
KR1020140049583A 2014-04-24 2014-04-24 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템 KR20150123423A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140049583A KR20150123423A (ko) 2014-04-24 2014-04-24 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140049583A KR20150123423A (ko) 2014-04-24 2014-04-24 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20150123423A true KR20150123423A (ko) 2015-11-04

Family

ID=54599905

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140049583A KR20150123423A (ko) 2014-04-24 2014-04-24 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20150123423A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018088871A1 (ko) * 2016-11-14 2018-05-17 고려대학교 산학협력단 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템
KR20200083027A (ko) * 2018-12-31 2020-07-08 상명대학교산학협력단 신경계 동기화를 이용한 사회 지능 인식 방법 및 장치
KR20210007431A (ko) * 2019-07-11 2021-01-20 주식회사 고담 생체신호에 따른 vr콘텐츠 제공시스템
CN113349778A (zh) * 2021-06-03 2021-09-07 杭州回车电子科技有限公司 基于经颅直流电刺激的情绪分析方法、装置和电子装置
KR102334595B1 (ko) * 2020-12-21 2021-12-02 건국대학교 산학협력단 감정 인식 방법 및 장치
KR102420359B1 (ko) * 2022-01-10 2022-07-14 송예원 감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법
CN118303899A (zh) * 2024-06-05 2024-07-09 北京大学 脑电信号处理方法、装置、设备及计算机可读介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018088871A1 (ko) * 2016-11-14 2018-05-17 고려대학교 산학협력단 생체 데이터를 이용한 프로그램의 난이도 및 프로그래머의 수준 예측 분류 시스템
KR20200083027A (ko) * 2018-12-31 2020-07-08 상명대학교산학협력단 신경계 동기화를 이용한 사회 지능 인식 방법 및 장치
KR20210007431A (ko) * 2019-07-11 2021-01-20 주식회사 고담 생체신호에 따른 vr콘텐츠 제공시스템
KR102334595B1 (ko) * 2020-12-21 2021-12-02 건국대학교 산학협력단 감정 인식 방법 및 장치
CN113349778A (zh) * 2021-06-03 2021-09-07 杭州回车电子科技有限公司 基于经颅直流电刺激的情绪分析方法、装置和电子装置
KR102420359B1 (ko) * 2022-01-10 2022-07-14 송예원 감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법
US11759136B2 (en) 2022-01-10 2023-09-19 Yewon SONG Apparatus and method for generating 1:1 emotion-tailored cognitive behavioral therapy in meta verse space through artificial intelligence control module for emotion-tailored cognitive behavioral therapy
CN118303899A (zh) * 2024-06-05 2024-07-09 北京大学 脑电信号处理方法、装置、设备及计算机可读介质

Similar Documents

Publication Publication Date Title
He et al. Brain–computer interfaces
Becker et al. Emotion recognition based on high-resolution EEG recordings and reconstructed brain sources
Turnip et al. Real-time feature extraction of P300 component using adaptive nonlinear principal component analysis
KR20150123423A (ko) 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템
Wang et al. Real-time mental arithmetic task recognition from EEG signals
Horlings et al. Emotion recognition using brain activity
Lin et al. Real‐Time EEG Signal Enhancement Using Canonical Correlation Analysis and Gaussian Mixture Clustering
Hosseini et al. Emotional stress recognition system for affective computing based on bio-signals
Lin et al. A driving performance forecasting system based on brain dynamic state analysis using 4-D convolutional neural networks
Oralhan 3D input convolutional neural networks for P300 signal detection
Grandchamp et al. Stability of ICA decomposition across within-subject EEG datasets
CN107402635A (zh) 结合脑电波与虚拟现实的心理健康调节方法及系统
Korik et al. Decoding imagined 3D arm movement trajectories from EEG to control two virtual arms—a pilot study
Ahn et al. Multiscale convolutional transformer for EEG classification of mental imagery in different modalities
Frølich et al. Investigating effects of different artefact types on motor imagery BCI
Liu et al. Improve the generalization of emotional classifiers across time by using training samples from different days
Zhang et al. Spatial-temporal neural network for P300 detection
Ahmed et al. A non Invasive Brain-Computer-Interface for Service Robotics
Leslie et al. Measuring musical engagement using expressive movement and EEG brain dynamics.
Sahu et al. Brain and Behavior Computing
Si et al. Temporal aware mixed attention-based convolution and transformer network (MACTN) for EEG emotion recognition
Davies et al. Novel use of empirical mode decomposition in single-trial classification of motor imagery for use in brain-computer interfaces
Onners et al. U-EEG: A Deep Learning Autoencoder for the Detection of Ocular Artifact in EEG Signal
Chinmayi et al. Extracting the features of emotion from EEG signals and classify using affective computing
Paul et al. A study on the application domains of electroencephalogram for the deep learning-based transformative healthcare

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination