KR20210045703A

KR20210045703A - 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법

Info

Publication number: KR20210045703A
Application number: KR1020190129071A
Authority: KR
Inventors: 최영석; 이대영
Original assignee: 광운대학교 산학협력단
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2021-04-27
Also published as: KR102247100B1

Abstract

뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법이 개시된다. 여러 생리적 신호 중, 뇌전도(Electroencephalography, EEG) 신호는 뇌 활동의 즉각적이고 지속적인 신호로서, 사람의 감정 상태의 변화를 직접적으로 반영할 수 있기 때문에 감정 분석에 주로 이용된다. 여러 EEG 전극들로부터 기록되는 뇌전도 신호의 엔트로피로 표현하고(복잡성을 정량화하고) 여러 시간 스케일에서의 특성을 나타내기 위해, 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy, mvFE)와 다변량 경험적 모드 분해(Multivariate Empirical Mode Decomposition, MEMD)를 결합한 방법을 사용하여 감정 상태를 분석하였다. 감정 상태의 분석은 공공 데이터베이스인 DEAP의 EEG 데이터를 이용하였으며, 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 이진 분류를 통해 감정 상태의 구분이 가능함을 보였다.

Description

뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법{Emotion Recognition Method based on Multivariate Multiscale Fuzzy Entropy Analysis of EEG recordings}

본 발명은 뇌전도(Electroencephalography, EEG)를 사용한 감정 인식 방법에 관한 것으로, 보다 상세하게는 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy, mvFE)와 다변량 경험적 모드 분해(Multivariate Empirical Mode Decomposition, MEMD)를 결합한 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 사용하여 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 이진 분류를 통해 감정 상태를 구분하고 감정 상태를 분석하는, 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법에 관한 것이다.

본 발명은 2018년도 정부(미래창조과학부)의 재원으로 정보통신기술진흥센터의 지원을 받아 수행된 연구(No 2018-0-00735, UHD 방송 환경에서 콘텐츠에 대한 시청자의 반응 및 의도 기반 미디어 인터랙션 기술)의 결과로 제출하였습니다.

감정(Emotion)은 사람의 인지, 지각 및 합리적인 의사 결정에 중요한 역할을 한다. 최근, 인간-컴퓨터 상호작용(Human-Computer Interaction, HCI) 분야에서 사용자의 감정 상태를 측정하여 인간과 컴퓨터 간의 상호작용을 모델링하기 위한 연구들이 진행 중이다[1]. 감정적 변화는 표정, 음성, 생리적 신호 등으로 구체화 될 수 있다. 하지만, 음성이나 표정은 상황에 따라 사람들이 의도적으로 숨기는 것이가능하기 때문에, 많은 연구자는 생리적 신호를 기반으로 사람의 감정을 분석하는 경향이 있다.

그 중, 뇌전도(Electroencephalography, EEG) 신호는 뇌 활동의 즉각적이고 지속적인 신호로서, 사람의 감정 상태의 변화를 직접적으로 반영할 수 있다는 장점으로 뇌파 분석에 주로 사용된다.

EEG 신호를 측정하는 뇌파 측정 장치는 머리 외부의 다채널 측정 지점에 설치된 EEG 전극들 -> 증폭(Amplifier) -> ADC(24 bits, 500~1000 samples/sec 주파수 샘플링, 양자화, 부호화) -> FFT 변환 또는 Wavelet 변환 -> PC(뇌파 분석 SW - 뇌파 스펙트럼 분석)로 구성된다.

ADC(Analog-to-Digital Converter)는 연속적인 아날로그 신호를 표본화(Sampling), 양자화(Quantizing), 부호화(Binary Encoding)을 거쳐 이진 디지털 신호(Binary Digital Signal)로 변환시킨다.

도 1은 특허 등록번호 10-0450758에 개시된 뇌파 측정 장치의 블록도이다.

뇌파 측정 장치는, 뇌파 데이터를 검출하기 위한 뇌파 검출부(10); 뇌파 검출부(10)로부터 측정된 뇌파 데이터를 증폭시키는 뇌파 증폭부(20); 증폭된 뇌파 데이터를 아날로그에서 디지털로 변환시키는 A/D 변환부(30); 디지털로 변환된 뇌파 데이터를 이용하여 피험자의 기저 상태를 고려한 일정 시간별, 주파수별 상대 출력값을 얻고 이로부터 잡파의 혼입 여부를 판단하여 잡파가 혼입되었을 때 뇌파 데이터의 출력을 중단하도록 하는 뇌파 처리부(40); 및 상기 뇌파 처리부(40)의 결과를 표시하는 디스플레이부(50)로 구성된다.

여기서, 뇌파 검출부(10)는 뇌파 데이터를 측정하는 다수의 EEG 전극으로서, EEG 전극은 피험자의 두피에 부착되어 뇌파 데이터를 검출한다. 이때, 피험자의 두피에 부착되는 전극은 10-20 국제 전극 배치법(10-20 international nomenclature)에 따라 배치되거나, 또는 그 외의 여러가지 방법에 의하여 배치될 수 있다.

뇌파 증폭부(20)는 뇌파 검출부(10)로부터 측정된 뇌파 데이터를 일정치만큼 증폭시킨다. 또한, 뇌파 증폭부(20)는 증폭된 뇌파 데이터를 예를 들면, 60Hz 대역의 필터링을 한다.

또한, 뇌파 처리부(40)는 뇌파 증폭부(20)로부터 증폭된 뇌파 데이타를 정현파로 분리하기 위해 고속 퓨리에 변환(FFT)을 사용하는 퓨리에 변환부(Fourier transform: 410)와, 피험자의 기저 상태의 뇌파를 저장하고 있는 데이터 저장부(420)와, 상기 퓨리에 변환부(410)에 의하여 변환된 뇌파 데이타들 및 피험자의 기저 상태의 뇌파 데이타를 이용하여, 피험자의 기저 상태가 고려된, 시간에 따른 주파수별 상대 출력값을 산출하는 제어부(430)를 포함한다.

1. 선행 연구

이러한 EEG 신호로부터 특징을 추출하기 위해, 여러 연구는 엔트로피(Entropy) 기반의 비선형적 방법을 사용하였다. 엔트로피는 시계열의 복잡성을 정량화하기 위한 측정법 중 하나이며, 이러한 복잡성의 정량적 분석은 비정상적이고 비선형적인 시스템의 분석에 유망한 방법이다.

여러 방법 중, Azami와 Escudero가 제안한 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy, mvFE)는 퍼지 엔트로피의 다변량 확장으로, 단기 시계열 분석에 있어서 기존의 다변량 샘플 엔트로피(Multivariate Sample Entropy, mvSE)[2]가 가지는 단점을 보완할 뿐 아니라, 생물학적 시스템에서 일상적으로 측정될 수 있는 다채널 신호의 분석이 가능하다[3]. 이러한 다변량 분석 방법은 두피의 여러 전극으로부터 기록되는 EEG 신호에 적합하며, EEG 전극 사이의 연관성을 고려할 수 있다. 또한, Tonoyan 등은 여러 시간 스케일에서의 특성을 나타내기 위해 기존의 Coarse-graining 절차 대신 다변량 경험적 모드 분해(Multivariate Empirical Mode Decomposition, MEMD)를 mvSE와 결합하는 다중스케일 알고리즘을 제안하였고, 다섯 가지 감정 상태의 검출에 사용하였다[4]. MEMD는 원래의 다변량 신호를 다수의 주파수/진폭 변조된 요소들로 분해하며, 원 시계열의 길이 N을 N/스케일로 감소시키는 Coarsegraining 절차의 단점을 해결할 수 있다[4,5].

이와 관련된 선행기술1로써, 특허 등록번호 10-17195460000에서는 "뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법 및 그 시스템"이 개시된다. 컴퓨터로 구현되는 방법은, 사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계; 및 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계를 포함한다.

이와 관련된 선행기술2로써, 특허 공개번호 10-2019-0035368 (공개일자 2019년 04월 03일), "뇌 신호로부터 변환한 이미지 기반의 감정 인식 방법 및 장치"가 개시된다.

본 실시예들은 뇌파 신호를 시간에 따른 채널별 뇌파 이미지로 변환하고, 시간에 따른 채널별 뇌파 이미지를 리사이징하며, 딥러닝 기반으로 학습하여 감정을 분류함으로써, 감정을 정확하게 인식할 수 있는 이미지 기반의 감정 인식 방법 및 장치를 제공한다.

도 2는 종래의 감정 인식 장치를 예시한 블록도이다.

감정 인식 장치는

복수의 채널로부터 뇌 신호를 수신하는 뇌 신호 수신부;

상기 수신한 뇌 신호를 기 설정된 시간 구간별로 샘플링하는 샘플링부;

상기 시간 구간별로 샘플링한 뇌 신호를 2차원 이미지로 변환하는 이미지 변환부; 및

상기 2차원 이미지를 기반으로 학습하여 생성한 감정 분류 모델을 이용하여 감정 상태를 분류하는 감정 분류부를 포함한다.

상기 뇌 신호 수신부는, 멀티미디어를 시청하는 피검사체의 신체의 일부에 상기 복수의 채널을 부착시키고, 뇌전도(Electroencephalography, EEG) 신호를 측정한다.

상기 샘플링부는, 상기 뇌 신호의 신호값으로부터 통계적인 방식으로 시간 구간별로 대표값을 추출한다.

상기 2차원 이미지는 직사각형의 2차원 배열 이미지이며, 2차원 배열 이미지는 시간의 흐름에 따른 채널별 신호 값을 픽셀값으로 변환한 것을 특징으로 한다.

상기 감정 분류 모델은 기 설정된 크기를 갖는 이미지를 입력으로 하고, 감정 값을 출력으로 하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어로 구성된다.

그러나, 기존의 뇌파를 이용한 감정 인식 방법은 뇌파 신호 자체를 서프트 벡터 머신(support vector machine, SVM) 분류기로 감정을 인식하는 방식이 있으나, 시뮬레이션 결과에 따르면 정확도가 70% 정도로 낮다.

특허 등록번호 10-17195460000 (등록일자 2017년 03월 20일), "뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법 및 그 시스템", 세종대학교 산학협력단 특허 공개번호 10-2019-0035368 (공개일자 2019년 04월 03일), "뇌 신호로부터 변환한 이미지 기반의 감정 인식 방법 및 장치", 연세대학교 산학협력단

[1] S M Alarcao and M J Fonseca, "Emotions Recognition Using EEG Signals: A Survey," IEEE Transactions on Affective Computing, 1-1,1 12101118 [2] M U Ahmed and D P Mandic, "Multivariate multiscale entropy: A tool for complexity analysis of multichannel data," Physical Review E, 84(6), 061918, Dec 2011 [3] H Azami and J Escudero, "Refined composite multivariate generalized multiscale fuzzy entropy: A tool for complexity analysis of multichannel signals," Physica A: Statistical Mechanics and its Applications, 465, 261-276, Jan 2017 [4] Y Tonoyan, D Looney, D P Mandic, and M M Van Hulle,"Discriminating Multiple Emotional States from EEG Using a Data-Adaptive, Multiscale Information-Theoretic Approach," Int J Neural Syst, 26(2), 1650005, Mar 2016 [5] Rehman N and Mandic D P, "Multivariate empirical mode decomposition," Proceedings of the Royal Society A: Mathematical, Physical and Engineering Sciences, 466(2117), 1291-1310121,1 1M1a1y1 12101110 [6] S Koelstra et al., "DEAP: A Database for Emotion Analysis ;Using Physiological Signals," IEEE Transactions on Affective Computing, 3(1), 18-31, Jan 2012

상기 문제점을 해결하기 위한 본 발명의 목적은 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy, mvFE)와 다변량 경험적 모드 분해(Multivariate Empirical Mode Decomposition, MEMD)를 결합한 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 사용하여 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 이진 분류를 통해 감정 상태를 구분하고 감정 상태의 분석을 하였으며, 두 종류의 다중스케일 방식으로 진행하였으며, 공공 데이터베이스인 DEAP [6]의 다채널 EEG 신호에 적용하여 두 감정 상태에 대한 분류 성능을 평가하는, 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법을 제공한다.

본 발명의 목적을 달성하기 위해, 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법은 (a) 피험자의 감정 상태에 따라 머리 두피의 다채널 소정 시간의 기준 EEG 신호를 측정하여 저장하고, 전극 채널별 상기 소정 시간의 기준 EEG 신호와 비교되는 실험 EEG 신호를 측정하여 저장하고 이를 비교하는 단계; (b) 피험자의 두피의 여러 EEG 전극들로부터 기록되는 EEG 신호를 엔트로피로 표현하고 IMF, CIMF 스케일에서 각각 여러 시간 스케일에서의 특성을 나타내기 위해, 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy, mvFE)와 다변량 경험적 모드 분해(Multivariate Empirical Mode Decomposition, MEMD)를 결합한 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 사용하여 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 이진 분류에 따라 감정 상태를 구분하는 단계; 및 (c) 피험자의 측정된 EEG 신호에 대하여 상기 이진 분류에 따라 피험자의 감정 상태별 소정 시간의 기준 EEG 신호의 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)로 감정 상태를 분류하고, IMF 스케일; CIMF 스케일의 각각의 스케일에서 상기 기준치 보다 낮은/높은 각성(Arousal) 및 긍정/부정 정서(Valance)의 MMFE 값들에 대한 AUC 값의 평균과 표준편차를 측정하여 상기 감정 상태를 분석하는 단계를 포함한다.

본 발명의 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법은 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy, mvFE)와 다변량 경험적 모드 분해(Multivariate Empirical Mode Decomposition, MEMD)를 결합한 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 사용하여 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 이진 분류를 통해 감정 상태를 구분하고 감정 상태를 분석하였으며, IMF, CIMF 두 종류의 다중스케일 방식으로 진행하였으며, 공공 데이터베이스인 DEAP [6]의 다채널 EEG 신호에 적용하여 두 감정 상태에 대한 분류 성능을 평가하였다.

감정 상태의 분석은 공공 데이터베이스인 DEAP의 EEG 데이터를 사용하였으며, 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 이진 분류를 통해 감정 상태의 구분이 가능함을 보였다.

본 연구는 다변량 퍼지 엔트로피(mvFE)와 다변량 경험적 모드 분해(MEMD)를 결합한 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 사용하여 감정 상태의 분석을 하였으며, 두 종류의 다중스케일 방식으로 진행하였으며, 공공 데이터베이스인 DEAP [6]의 다채널 EEG 신호에 적용하여 두 감정 상태에 대한 분류 성능을 평가하였다.

도 1은 뇌파 측정 장치의 블록도이다.
도 2는 종래의 감정 인식 장치를 예시한 블록도이다.
도 3은 13번 피험자에 대한 MMFE (IMF 사용) 결과이다: (a) 높은/낮은 각성(HA/LA); (b) 긍정/부정 정서(HV/LV).
도 4는 13번 피험자에 대한 MMFE (CIMF 사용) 결과이다: (a) 높은/낮은 각성(HA/LA); (b) 긍정/부정 정서(HV/LV).
도 5는 낮은/높은 각성(Arousal) 및 긍정/부정 정서(Valance)의 MMFE 값들에 대한 평균 AUC 측정 값이다: (a) IMF 스케일; (b) CIMF 스케일.
도 6은 본 발명의 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법을 설명한 순서도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.

뇌전도(Electroencephalography, EEG)의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법이 개시된다. 여러 생리적 신호 중, 뇌전도(EEG) 신호는 뇌 활동의 즉각적이고 지속적인 신호로써, 사람의 감정 상태의 변화를 직접적으로 반영할 수 있기 때문에 감정 분석에 주로 이용된다. 본 발명은 피험자의 두피의 여러 EEG 전극들로부터 기록되는 EEG 신호의 복잡도를 정량화하고 여러 시간 스케일에서의 특성을 나타내기 위해, 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy, mvFE)와 다변량 경험적 모드 분해(Multivariate Empirical Mode Decomposition, MEMD)를 결합한 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE) 방법을 사용하여 감정 상태를 분석하였다.

본 연구는 다변량 퍼지 엔트로피(mvFE)와 다변량 경험적 모드 분해(MEMD)를 결합한 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 사용하여 감정 상태를 분석하였으며, IMF, CIMF 두 종류의 다중스케일 방식으로 진행하였으며, 공공 데이터베이스인 DEAP [6]의 다채널 EEG 신호에 적용하여 두 감정 상태에 대한 분류 성능을 평가하였다.

도 6은 본 발명의 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법을 설명한 순서도이다.

본 발명의 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법은 (a) 피험자의 감정 상태(기쁜 상태, 슬픈 상태, 화난 상태 등)에 따라 머리 두피의 다채널 소정 시간의 기준 EEG 신호를 측정하여 저장하고, 피험자의 다채널 EEG 신호에 대하여 전극 채널별 상기 소정 시간의 기준 EEG 신호와 비교되는 실험 EEG 신호를 측정하여 저장하고 이를 비교하는 단계; (b) 피험자의 두피의 여러 EEG 전극들로부터 기록되는 EEG 신호를 엔트로피로 표현하고(복잡도를 정량화하고) IMF, CIMF 스케일에서 각각 여러 시간 스케일에서의 특성을 나타내기 위해, 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy, mvFE)와 다변량 경험적 모드 분해(Multivariate Empirical Mode Decomposition, MEMD)를 결합한 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 사용하여 피험자의 감정 상태별 소정 시간의 기준 EEG 신호의 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 이진 분류에 따라 감정 상태를 구분하는 단계; 및 (c) 각각의 피험자의 측정된 EEG 신호에 대하여 이진 분류(binary classification)에 따라 해당 피험자의 감정 상태별 소정 시간의 기준 EEG 신호의 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)로 감정 상태를 분류하고, IMF 스케일; CIMF 스케일의 각각의 스케일에서 기준치 보다 낮은/높은 각성(Arousal) 및 긍정/부정 정서(Valance)의 MMFE 값들에 대한 AUC 값의 평균과 표준편차를 측정하여 감정 상태를 분석하는 단계를 포함한다.

2. 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석 기반 감정 인식 방법

2.1 다변량 경험적 모드 분해(MEMD)

다변량 경험적 모드 분해(MEMD)는 원신호를 내재 모드 함수(Intrinsic Mode Function, IMF)로 알려진 진폭/주파수 변조된 요소들의 합으로 분해하는 경험적 모드 분해(Empirical Mode Decomposition)의 다변량 확장 방법이다[5]. 이때, IMF는 국소 극값의 수와 영 교차점의 수는 같거나 하나의 차이를 가져야 하며, 상위/하위 포락선(Envelope)의 평균이 0을 만족해야 한다. 이러한 두 조건은 다음 과정의 중지 기준으로 사용된다.

1) Hammersley sampling을 사용하여 K 개의 방향 벡터를 선정한 후, 각 방향 벡터에 대한 입력 신호의 투영을 계산한다.

2) 투영된 신호의 국소 최댓값들을 찾아 보간법을 사용하여 K 개의 다변량 포락선을 얻은 후, 이들의 평균으로 지역 평균값을 계산한다.

3) 입력 신호에서 지역 평균값을 뺀 나머지 값이 중지 기준을 만족할 때까지 1,2 과정을 반복하여 다변량 IMF를 추출한다.

4) 이후 초기 입력 신호에서 다변량 IMF를 뺀 나머지 값으로 1-3 과정을 반복하여 나머지 IMF들을 추출한다.

이후, 각 IMF와 식 (1)과 같이 계산되는 누적된 IMF(Cumulative IMF, CIMF)는 스케일 인자 s에 따라 MMFE의 다변량 입력 시계열로 사용된다.

식(1)

2.2 다변량 다중스케일 퍼지 엔트로피(MMFE)

다변량 퍼지 엔트로피(mvFE)는 기존의 퍼지 엔트로피를 사용하여 다변량 시계열의 복잡도를 정량화하기 위한 방법이다[3].

먼저, 길이 N인 p-채널 시계열

에 대해 식(2)와 같이 합성 지연 벡터(Composite delay vectors)를 구성한다.

식(2)

와

는 각각 채널의 임베딩 차원(Embedding dimension)과 시간 지연 계수를 나타내고,

이다.

다음으로, 두 합성 지연 벡터들 사이의 거리는 체비셰프 거리(Chebychev distance)이며, 식 (3)과 같이 계산된다.

식(3)

그 다음, 임계 값 r이 주어졌을 때,

의 평균 소속도(Average membership grade)

은 식 (4)와 같이 정의된다.

식(4)

θ(d,r)는 퍼지 소속 함수(Fuzzy membership function)로, 식 (5)로 표현된다.

식(5)

는 퍼지 파워(Fuzzy power)를 나타내며 주로 2를 사용한다.

이후,

에서

로 임베딩 차원을 확장하여 위 과정을 통해 평균 소속도

을 계산한다. 이때, p 개(p-채널)의 다른 방법으로 수행될 수 있기 때문에, 식 (2)의 가능한 합성 지연 벡터들의 구성은 p x (N - n)개를 얻을 수 있다.

마지막으로, 엔트로피, mvFE는 식 (6)으로 계산되며, 원 다변량 시계열을 MEMD로 분해한 각

또는

를 mvFE의 입력 시계열로 사용하여 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 정의한다.

식(6)

는 스케일 s에서

또는

를 의미한다.

2.3 사용된 데이터

뇌파 측정 장치의 머리 부위의 두피의 EEG 전극 채널수는 32, 64, 128개의 전극들을 사용할 수 있다.

공공으로 이용 가능한 DEAP 데이터베이스는 32명의 피험자에 대해 총 40회 시행으로 측정된 32개 전극들의 EEG 신호를 포함한다[6]. 각 시행에서 피험자 참가자들은 감정을 유발하기 위한 영상을 시청하였으며, 실제 이용 가능한 데이터는 3초의 기준 신호와 60초의 실험 EEG 신호로 구성된다.

감정적 상태는 Russell의 valence-arousal 모델을 사용하여 2차원 공간으로 표현될 수 있는데, 본 연구는 피험자들의 평가에 기반하여 각 시행을 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)로 나누었다. 분석은 F3과 F4의 전극과 60초의 EEG 신호를 사용하였다.

3. 결과

피험자에 대한 다변량 경험적 모드 분해(MEMD)에 의해 추출된 다변량 IMF(내재 모드 함수)와, 식 (1)에 의해 계산된 다변량 CIMF의 두 가지 다중스케일 방식에 대한 MMFE 방법으로 복잡도를 추정하고, 이진 감정 분류를 수행하였다.

도 3은 13번 피험자에 대한 MMFE(IMF 사용) 결과이다: (a) 기준치 보다 높은/낮은 각성(HA/LA); (b) 긍정/부정 정서(HV/LV).

먼저, 도 3은 특정 피험자의 EEG 신호에 대하여 IMF 스케일에 따른 MMFE 결과를 나타낸다. 상대적으로 고주파에 해당하는 작은 스케일의 IMF에서만 두 감정 상태 사이의 구분이 되는 것으로 보이고, 스케일이 커질수록 특성이 잘 나타나지 않으며 두 값 사이의 표준편차도 점차 커지는 것을 알 수 있다.

다음으로, 도 4는 특정 피험자의 EEG 신호에 대하여 CIMF 스케일에 따른 MMFE 결과를 나타낸다. 모든 스케일에서 가장 큰 고주파 성분인

을 포함하는 CIMF는 대부분 스케일에서 표준편차는 상당히 크지만, 도 3의 IMF 스케일을 사용한 결과보다 두 값 사이의 차이가 더 명확한 것을 볼 수 있다.

도 4는 13번 피험자에 대한 EEG 신호에 대하여 CIMF 스케일에 따른 MMFE (CIMF 사용) 결과이다: (a) 높은/낮은 각성(HA/LA); (b) 긍정/부정 정서(HV/LV).

이러한 결과들로부터 각 CIMF 스케일에 따른 이진 감정 분류의 성능 평가를 위해, 수신자 조작 특성(Receiver Operating Characteristic, ROC) 곡선 아래 면적(Area Under Curve, AUC) 값을 측정하였다.

도 5는 낮은/높은 각성(Arousal) 및 긍정/부정 정서(Valance)의 MMFE 값들에 대한 평균 AUC 측정 값이다: (a) IMF 스케일; (b) CIMF 스케일.

도 5는 각 스케일에서 모든 피험자에 대한 AUC 값의 평균과 표준편차를 나타낸다. 먼저 MMFE에 IMF 스케일을 사용한 경우, 최대 평균 AUC 값은 스케일 3과 2에서 059와 06 이며, 스케일이 커질수록 점차 감소하는 것을 도 5(a)에서 볼 수 있다. 반면에 도 5(b)의 MMFE에 CIMF 스케일을 사용한 경우, 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 분류는 각각 스케일 2와 3 이상에서 거의 일정한 평균 AUC 값을 나타냈으며, 최대 평균 061과 062를 나타냈다.

4. 결론

본 연구는 다변량 퍼지 엔트로피(mvFE)와 다변량 경험적 모드 분해(MEMD)를 결합한 MMFE 방법을 사용하여 다변량 EEG 신호를 엔트로피로 표현하고(복잡도를 정량화하였고), 그로부터 감정 상태의 분류를 수행하였다. 분류 성능은 ROC 곡선의 AUC 값으로 평가하였다. 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 분류에 대한 AUC 값은 IMF 다중스케일의 경우 059와 06, CIMF 다중스케일의 경우 061과 062의 최대 평균값을 각각 나타냈다. 추후 연구에서는, 피험자 간의 높은 다양성을 갖는 EEG 특성을 고려하여 분류 성능을 향상시키기 위한 방법이 요구된다.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과, 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.　상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.

이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.

본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있음을 이해할 수 있을 것이다.

mvFE: 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy)
MEMD: 다변량 경험적 모드 분해
(Multivariate Empirical Mode Decomposition)
MMFE: 다변량 다중스케일 퍼지 엔트로피
(Multivariate Multiscale Fuzzy Entropy)

Claims

(a) 피험자의 감정 상태에 따라 머리 두피의 다채널 소정 시간의 기준 EEG 신호를 측정하여 저장하고, 전극 채널별 상기 소정 시간의 기준 EEG 신호와 비교되는 실험 EEG 신호를 측정하여 저장하고 이를 비교하는 단계;
(b) 피험자의 두피의 여러 EEG 전극들로부터 기록되는 EEG 신호의 엔트로피로 표현하고 IMF, CIMF 스케일에서 각각 여러 시간 스케일에서의 특성을 나타내기 위해, 다변량 퍼지 엔트로피(Multivariate Fuzzy Entropy, mvFE)와 다변량 경험적 모드 분해(Multivariate Empirical Mode Decomposition, MEMD)를 결합한 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 사용하여 피험자의 감정 상태별 소정 시간의 기준 EEG 신호의 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 이진 분류에 따라 감정 상태를 구분하는 단계; 및
(c) 상기 이진 분류에 따라 상기 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)로 감정 상태를 분류하고, IMF 스케일; CIMF 스케일의 각각의 스케일에서 상기 기준치 보다 낮은/높은 각성(Arousal) 및 긍정/부정 정서(Valance)의 MMFE 값들에 대한 AUC 값의 평균과 표준편차를 측정하여 감정 상태를 분석하는 단계;
를 포함하는 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법.
제1항에 있어서,
상기 감정 상태는 Russell의 valence-arousal 모델을 사용하여 2차원 공간으로 표현되는, 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법.
제1항에 있어서,
상기 다변량 경험적 모드 분해(MEMD)는 원신호를 내재 모드 함수(Intrinsic Mode Function, IMF)로 알려진 진폭/주파수 변조된 요소들의 합으로 분해하는 경험적 모드 분해(Empirical Mode Decomposition)의 다변량 확장 방법이며, 상기 IMF는 국소 극값의 수와 영 교차점의 수는 같거나 하나의 차이를 가져야 하고, 상위/하위 포락선(Envelope)의 평균이 0을 만족해야 하며, 이러한 두 조건은 다음 과정의 중지 기준으로 사용되고,
1) Hammersley sampling을 사용하여 K 개의 방향 벡터를 선정한 후, 각 방향 벡터에 대한 입력 신호의 투영을 계산하며,
2) 투영된 신호의 국소 최댓값들을 찾아 보간법을 사용하여 K 개의 다변량 포락선을 얻은 후, 이들의 평균으로 지역 평균값을 계산하고,
3) 입력 신호에서 지역 평균값을 뺀 나머지 값이 중지 기준을 만족할 때까지 1,2 과정을 반복하여 다변량 IMF를 추출하며,
4) 이후 초기 입력 신호에서 다변량 IMF를 뺀 나머지 값으로 1-3 과정을 반복하여 나머지 IMF들을 추출하고,
이후, 각 IMF와 식 (1)과 같이 계산되는 누적된 IMF(Cumulative IMF, CIMF)는 스케일 인자 s에 따라 MMFE의 다변량 입력 시계열로 사용되는,

식(1)
뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법.
제1항에 있어서,
상기 다변량 퍼지 엔트로피(mvFE)는 기존의 퍼지 엔트로피를 사용하여 다변량 시계열의 복잡도를 정량화하기 위한 방법이며,
먼저, 길이 N인 p-채널 시계열
에 대해 식(2)와 같이 합성 지연 벡터(Composite delay vectors)를 구성하고,

식(2)

와
는 각각 채널의 임베딩 차원(Embedding dimension)과 시간 지연 계수를 나타내고,
이며,
다음으로, 두 합성 지연 벡터들 사이의 거리는 체비셰프 거리(Chebychev distance)이며, 식 (3)과 같이 계산되고,

식(3)
그 다음, 임계 값 r이 주어졌을 때,
의 평균 소속도(Average membership grade)
은 식 (4)와 같이 정의되며,

식(4)
θ(d,r)는 퍼지 소속 함수(Fuzzy membership function)로, 식 (5)로 표현되고,

식(5)

는 퍼지 파워(Fuzzy power)를 나타내며 주로 2를 사용하며,
이후,
에서
로 임베딩 차원을 확장하여 위 과정을 통해 평균 소속도
을 계산하고, 이때, p 개(p-채널)의 다른 방법으로 수행될 수 있기 때문에, 식 (2)의 가능한 합성 지연 벡터들의 구성은 p x (N - n)개를 얻을 수 있으며,
마지막으로, 엔트로피, mvFE는 식 (6)으로 계산되며, 원 다변량 시계열을 MEMD로 분해한 각
또는
를 mvFE의 입력 시계열로 사용하여 다변량 다중스케일 퍼지 엔트로피(Multivariate Multiscale Fuzzy Entropy, MMFE)를 정의하며,

식(6)
여기서,
는 스케일 s에서
또는
를 의미하는,
뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법.
제1항에 있어서,
특정 피험자의 EEG 신호에 대하여 IMF 스케일에 따른 MMFE 결과를 보면, 상대적으로 고주파에 해당하는 기준값보다 작은 스케일의 IMF에서만 각성 및 정서의 두 감정 상태 사이의 구분이 되며, 기준값 보다 스케일이 커질수록 특성이 잘 나타나지 않으며 두 값 사이의 표준편차도 점차 커지며,
특정 피험자의 EEG 신호에 대하여 CIMF 스케일에 따른 MMFE 결과를 보면, 모든 스케일에서 가장 큰 고주파 성분인
을 포함하는 CIMF는 대부분 스케일에서 표준편차는 상당히 크지만, 도 3의 IMF 스케일을 사용한 결과보다 두 값 사이의 차이가 더 명확하게 되는, 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법.
제1항에 있어서,
상기 단계 (c)는
(c1) 피험자에 대한 CIMF 스케일에 따른 MMFE (CIMF 사용) 결과: (a) 기준치 보다 높은/낮은 각성(HA/LA); (b) 긍정/부정 정서(HV/LV)를 추출하는 단계;
(c2) 이러한 결과들로부터 각 CIMF 스케일에 따른 이진 감정 분류의 성능 평가를 위해, 수신자 조작 특성(Receiver Operating Characteristic, ROC) 곡선 아래 면적(Area Under Curve, AUC) 값을 측정하는 단계;
(c3) 기준치 보다 낮은/높은 각성(Arousal) 및 긍정/부정 정서(Valance)의 MMFE 값들에 대한 평균 AUC 측정 값: (a) IMF 스케일; (b) CIMF 스케일, 각 스케일에서 모든 피험자에 대한 AUC 값의 평균과 표준편차를 측정하여 분석하는 단계를 포함하며,
먼저 MMFE에 IMF 스케일을 사용한 경우, 최대 평균 AUC 값은 스케일 3과 2에서 059와 06 이며, 스케일이 커질수록 점차 감소하며[도 5(a)],
반면에 MMFE에 CIMF 스케일을 사용한 경우, 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 분류는 각각 스케일 2와 3 이상에서 거의 일정한 평균 AUC 값을 나타냈으며, 최대 평균 061과 062를 나타나는[도 5(b)],
뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법.
제1항에 있어서,
상기 다변량 퍼지 엔트로피(mvFE)와 상기 다변량 경험적 모드 분해(MEMD)를 결합한 MMFE 방법을 사용하여 다변량 EEG 신호의 복잡도를 정량화하였으며, 그로부터 감정 상태의 분류를 하였으며, 분류 성능은 ROC 곡선의 AUC 값으로 평가하였으며, 기준치 보다 높은/낮은 각성(Arousal) 및 긍정/부정 정서(Valence)의 분류에 대한 AUC 값은 IMF 다중스케일의 경우 059와 06, CIMF 다중스케일의 경우 061과 062의 최대 평균값이 출력되는, 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법.