KR102646257B1 - 효율적인 멀티모달 특징그룹과 모델 선택 기반 감정인식을 위한 딥러닝 방법 및 장치 - Google Patents

Abstract

아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 방법 및 장치가 제시된다. 본 발명에서 제안하는 아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 장치는 감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG(electroencephalogram) 특징을 추출하는 특징 추출부, 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘(Genetic Algorithm; GA)을 사용하여 선택하는 LSTM 모델 선택부 및 선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택하는 특징 세트 선택부를 포함한다.

Description

효율적인 멀티모달 특징그룹과 모델 선택 기반 감정인식을 위한 딥러닝 방법 및 장치{Deep Learning Method and Apparatus for Emotion Recognition based on Efficient Multimodal Feature Groups and Model Selection}

본 발명은 아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 방법 및 장치에 관한 것이다.

인간과 로봇의 상호작용을 위한 휴먼 컴퓨팅 인터페이스(Human Computing Interface; HCI) 분야를 개발하려면 인간의 감정을 인식하는 기술이 필수적이다. 나아가 인공지능 등 다른 분야에서도 감정 인식이 주목 받고 있다. 최근 기술에서 감정 인식 분야는 사용된 자료의 종류에 따라 두 분야로 나눌 수 있다. 한 영역은 목소리나 이미지에 기초한 외부 감정 인식이다. 현재의 음성정보가 희박하기 때문에 지속적인 감정을 추출하는 데는 근본적인 한계가 있다. 최근에는 대화 맥락과 음성 톤을 이용한 감정 인식 연구가 이루어지고 있다[1, 2]. 그러나 영상정보를 바탕으로 한 감정 인식 연구는 최고의 성과를 보였다. 감정들은 주로 얼굴 이미지에서 얻은 특징에 기반한 얼굴 표정 변화를 인식함으로써 분류된다[3, 4]. 최근에는 추가적인 특징 추출 과정 없이 콘볼루션 신경망을 이용하여 감정을 엔드 투 엔드로 분류하는 메커니즘이 개발되어 높은 정확도로 수행되고 있다[5, 6].

반대로 내부 감정 인식은 외부의 변화를 고려하지 않고 감정을 인식하기 위해 생체신호의 변화를 이용한다. 감정 인식은 인간의 뇌에서 생성되는 전기 신호로부터 생성된 뇌전도(EEG)를 사용하여 수행된다[7, 8]. 전력 스펙트럼 밀도(Power Spectral Density; PSD)와 같은 주파수 영역 특징을 추출하고, 일반적인 학습 알고리즘을 사용해 감정을 인식한다. 최근의 기술은 EEG 신호 채널 간 비대칭 특징을 추출하고 딥러닝 알고리즘을 적용함으로써 감정 인식의 정확성을 향상시켰다[9, 10, 36]. 그러나 생체신호를 이용한 감정 인식은 데이터 획득에 어려움을 준다. DEAP[11] 및 MAHNOB-HCI[12]와 같은 공용 데이터셋이 자주 사용된다. 데이터의 유형은 생물학적 기반 감정 인식 연구의 결과에 강한 영향을 미친다. 이전 기술에서는 서구 기반의 데이터셋과 다양한 EEG 특징을 사용했다[13, 19].

본 발명이 이루고자 하는 기술적 과제는 아시아인의 생리학적 신호를 기반으로 한 MERTI-Apps라는 새로운 다양한 데이터셋를 도입하고, 감정 인식을 위한 활성 특징 그룹을 도출하기 위한 GA(Genetic Algorithm)-LSTM(Long Short-Term Memory) 모델을 통해 감정 인식에서 효과적으로 모델을 선택하고, 특징 그룹을 선택하기 위한 딥러닝 방법 및 장치방법 및 장치를 제공하는데 있다.

일 측면에 있어서, 본 발명에서 제안하는 아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 방법은 감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG(electroencephalogram) 특징을 추출하는 단계, 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘(Genetic Algorithm; GA)을 사용하여 선택하는 단계 및 선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택하는 단계를 포함한다.

감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG 특징을 추출하는 단계는 아시아인 기반의 데이터베이스를 이용한 MERTI-Apps 데이터 셋으로부터 시간 영역에서 추출되는 특징을 시간에 따른 EEG 신호의 변화로 나타내어 시간에 따른 감정의 변화를 인식하고, 주파수 영역에서 추출되는 특징을 저속 알파, 알파, 베타, 감마로 나누어 추출하고, 시간-주파수 영역에서 추출되는 특징을 이산형 파장 변환(Discrete Wavelet Transform; DWT)을 통해 신호를 시간에 따라 비트로 분해하여 나타내며, 상기 추출된 시간 영역 특징, 주파수 영역 특징, 시간-주파수 영역 특징 및 뇌 기능 분화 특징을 포함하는 EEG 특징을 1차원 벡터로 변환하여 입력 데이터로 이용한다.

추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘을 사용하여 선택하는 단계는 MERTI-Apps 데이터 셋으로부터 추출된 EEG 특징에 대한 임의의 상위 객체를 생성하여 학습한 후 미리 정해진 기준 이상의 상위 부모 객체를 선정해 차세대 모델로 이동하고, 선택, 돌연변이, 크로스 오버를 포함하는 유전 알고리즘 과정을 거쳐 자녀 객체를 생성하고, 미리 정해진 수의 차세대 모델이 생성되거나 또는 현재 모델의 RMSE(Root-Mean-Square Error)가 더 이상 개선되지 않을 때까지 학습을 반복한 후 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 출력한다.

선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택하는 단계는 임의의 상위 객체를 생성하고, 선택된 LSTM 모델을 이용하여 학습한 후 미리 정해진 기준 이상의 상위 부모 객체를 선정해 차세대 모델로 이동하고, 선택, 돌연변이, 크로스 오버를 포함하는 유전 알고리즘 과정을 거쳐 자녀 객체를 생성하고, 선택된 LSTM 모델을 통해 미리 정해진 기준 이상의 우세한(dominant) 특징 세트를 선택하며, 초기 모델, 특징 세트를 결정하지 않고, 모든 모델, 모든 특징 그룹 및 모든 채널이 GA에 의해 평가되어 감정 인식을 방해하는 모델, 특징, 채널을 제거함으로써 최적의 모델과 특징 세트를 선택한다.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 장치는 감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG(electroencephalogram) 특징을 추출하는 특징 추출부, 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘(Genetic Algorithm; GA)을 사용하여 선택하는 LSTM 모델 선택부 및 선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택하는 특징 세트 선택부를 포함한다.

본 발명의 실시예들에 따르면 효과적인 네트워크 모델을 선택하고 유효한 EEG 채널 및 특징을 찾기 위해 GA와 LSTM을 결합하여, 먼저 효과적인 LSTM 모델을 선택하고 감정 인식 판단에 방해가 되는 특징을 제거한다. 제안된 GA-LSTM 아키텍처는 아시아인의 생리학적 신호(MERTI-Apps) 데이터셋이 확립되어 EEG 신호에 기반한 감정 인식을 수행할 수 있는 정서 및 각성도 주석 레이블링과 다양한 특징 집합(시간, 주파수, 시간-주파수 영역 및 뇌 기능 분화 특징)을 제공할 수 있다. 또한, 제안된 GA-LSTM 아키텍처에서의 뇌 기능 분화 특징은 감정 인식의 결과를 더욱 향상시킬 수 있고, 회귀 성능과 분류 성능(정확성(accuracy)) 면에서 뛰어난 성능을 보인다.

도 1은 본 발명의 일 실시예에 따른 CNS 및 PNS의 생체 신호 유형 및 위치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 MERTI-Apps 데이터 수집 과정을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 MERTI-Apps 데이터 수집의 예시를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 따른 관찰자를 위한 주석 레이블링 프로그램을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 장치의 구성을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 뇌파 신호에 대한 뇌 기능 분화 특징을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 MANHOB-HCI 데이터 세트에서 GA-LSTM의 EEG 특징 가중치, 채널 가중치를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 LSTM-FC 모델 구조를 나타내는 도면이다.

정서 인식은 인간과 컴퓨터 시스템 사이의 진보된 상호작용을 위해 필수적이다. 본 발명은 아시아인의 생리학적 신호를 기반으로 한 MERTI-Apps라는 새로운 다양한 데이터셋를 도입하고, 감정 인식을 위한 활성 특징 그룹을 도출하기 위한 GA(Genetic Algorithm)-LSTM(Long Short-Term Memory) 모델을 제안한다. 데이터셋 생성 중 대상자의 감정을 각성도(arousal)와 정서(valence)로 태그하는 관찰자를 위한 주석 레이블링 프로그램을 개발했다. 학습 단계에서는 GA를 사용하여 효과적인 LSTM 모델 파라미터를 선택하고 뇌전도(Electroencephalogram; EEG) 시간, 주파수, 시간-주파수 영역에서 추출한 25개의 뇌 기능 분화 특징 및 37개의 특징으로부터의 활성 특징 그룹을 결정하였다. 실험 결과에 따르면 제안된 모델은 MAHNOB-HCI 데이터셋에서 정서 회귀 성능 면에서 0.0156의 RMSE(Root-Mean-Square Error)를 달성했으며([17]보다 71% 향상), 아시아인 인구 특징 12채널 EEG 데이터를 사용하고 추가적인 뇌 기능분화(Brain Lateralization; BL) 특징을 추가하는 내부의 MERTI-App 데이터셋에서 정서 및 각성도 회귀에서 RMSE 성능은 0.0579, 00287, 그리고 정서 및 정서 정확도 면에서 65.7%, 88.3% 향상되었다. 또한, 유전 알고리즘의 효과적인 모델 선택으로 DEAP 데이터셋에서는 정서와 각성도 영역에서 91.3% 94.8%의 정확도를 보인다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명은 EEG 신호에 기반한 감정 인식을 수행하기 위해 공용 데이터셋 대신 한국인의 데이터셋을 사용하여 감정 인식에 사용되는 모델, 특징, 채널을 검색함으로써 감정 분류의 정확성을 향상시키는 것을 목적으로 한다. 특징은 비교를 위해 시간, 주파수, 시간-주파수 영역에서 추출되었다. 유전 알고리즘(Genetic Algorithm; GA)은 유효한 특징을 선택하기 위해 사용되었고, 학습 알고리즘은 LSTM((Long Short-Term Memory)를 기반으로 훈련되었다. LSTM 모델의 결과에서 모든 특징은 GA의 반복적인 특징 평가를 사용하여 가중치를 부여했다. 모든 특징을 일관성 있게 평가하기 위해 학습은 GA에 의해 특징이 제거되는 것을 방지하기 위해 랜덤으로 혼합된 최대 반복 횟수를 사용했다. 제안된 GA-LSTM 프로세스를 완료한 후 모델 파라미터와 특징의 가중치를 통해 EEG 신호의 어떤 모델, 채널 및 특징이 감정 인식에 유효한지 구분할 수 있다. 연속 시간 주석을 적용한 MAHNOB-HCI 데이터셋을 사용한 실험과 DEAP 데이터셋을 사용한 다른 실험에서는 제안된 방법이 대표적인 PSD 특징[17]과 최근의 감정 분류 방법을 사용한 연속 감정 인식 방법[41, 42, 43]을 능가하는 것으로 나타났다. 아시아인에 중점을 둔 데이터셋의 평가를 위해 MAHNOB-HCI 데이터셋과 유사한 아시아인의 생리적 신호(MERTI-Apps) 데이터셋을 사용하여 로봇 인터페이스에 대한 다양한 감정을 구성했다. MERTI-App 데이터셋에 제안하는 모델을 적용함으로써, 제안된 기법이 효과적인 모델 선택과 특징 그룹 선택을 제공할 수 있음을 검증했다.

본 발명의 실시예에 따르면, 효과적인 네트워크 모델을 선택하고 유효한 EEG 채널 및 특징을 찾기 위해 딥러닝 네트워크에 대한 유전 알고리즘이 제안된다. GA는 LSTM과 결합해 먼저 효과적인 LSTM 모델을 선택하고 감정 인식 판단에 방해가 되는 특징을 제거한다. 제안된 GA-LSTM 아키텍처는 회귀 성능(RMSE)과 분류 성능(정확성(accuracy)) 면에서 종래 기술[17, 41, 42, 43]을 능가한다.

본 발명에서는 아시아인의 생리학적 신호(MERTI-Apps) 데이터셋이 확립되어 EEG 신호에 기반한 감정 인식을 수행할 수 있는 정서 및 각성도 주석 레이블링과 다양한 특징 집합(시간, 주파수, 시간 주파수 영역 및 뇌 기능 분화 특징)을 제공할 수 있다. 또한, 본 발명의 실시예에 따른 뇌 기능 분화 특징은 감정 인식의 결과를 더욱 향상시킬 수 있다.

본 발명의 실시예에 따르면, 생물학적 신호와 감정 인식을 위해 공용 데이터셋을 사용하는 HCI(Human Computing Interface)를 이용한다. 인간의 감정은 오랫동안 얼굴 표정과 동일시되어 왔다. 따라서, 얼굴 이미지를 기반으로 하는 감정 인식 방법들이 집중적으로 개발되었다. Tong 등은 얼굴 이미지에서 움직임이 활성화되는 부위를 감지하여 얼굴 위치와 모양에 따라 행동 단위(Action Unit; AU)를 결정했다[15]. 얼굴 표정은 AU 유형과 조합에 따라 분류되었다. 그러나 랜드마크를 추출하는 알고리즘의 성능이 획기적으로 향상됨에 따라 얼굴 표정을 결정하는 새로운 방법이 등장했다[16]. 이러한 맥락에서 랜드마크를 얼굴 이미지에서 중요한 포인트의 위치 정보로 정의하고, 얼굴 표정은 각각의 랜드마크의 위치와 표시 사이의 거리로 특징지어진다. 실제 환경에서 인간의 감정은 데이터셋의 감정과 다를 수 있다. 예를 들어, 같은 감정들이 다른 표현 수단을 가질 수도 있고, 얼굴 표정에서 드러나지 않고 감정이 변할 수도 있다. 따라서 실제 환경에서 정확한 감정 인식을 위해서는 얼굴 이미지 외에 생체 신호 등의 정보를 이용하는 것이 바람직하다.

EEG는 인간의 뇌에서 생성되는 전기 신호의 기록으로, 내부 감정 인식에 사용될 수 있다. EEG의 위치와 파형 특징을 분석함으로써 감정의 상태를 추정할 수 있다. 2012년에는 인간의 감정의 맥락에서 EEG를 측정하는 DEAP 데이터셋과 MAHNOB-HCI 데이터셋이 출시되었다. 대표적인 EEG 기반 감정인식 기술은 Soleymani[17]와 Kim[18] 등이 개발했다. Soleymani 외 연구진은 연속 시간 영역에 주석을 단 MAHNOB-HCI 데이터셋을 사용하여 실시간으로 양수/음수 정서 값의 회귀 분석 방법을 제안했다. Kim 외 연구진은 EEG 신호를 활성화하는 채널이 EEG 신호 채널 간의 연결을 사용하여 추출된 중요한 특징과 감정 상태에 따라 다르다는 것을 발견했다. 콘볼루션 LSTM은 정서와 각성도 영역에서 감정 상태를 분류하기 위해 추출된 특징에 적용되었다 [7, 20]. 최근 종래기술[19]에서는 분류기 연구가 우세하다는 것을 보여준다. 분류기 연구[41, 42, 43]는 여전히 활발하며 영상, 음성, 뇌파 등의 순서로 감정 인식이 잘 되어 있다. 그러나 EEG의 정확도는 여전히 비디오와 오디오 분야에 비해 낮은 정확도를 보인다. 이는 회귀와 다른 생물학적 신호와의 융합이 필요하다고 볼 수 있다. 브레인-머신 인터페이스 시스템(brain-machine interface systems) 분야는 감정인식 외에도 EEG 신호를 분석해 성능을 향상시킨다. 운전자의 상태를 파악해 미래의 자동차 기술에 적용하는 기술이 매우 중요하다. Zhongke Gao의 연구[40]는 운전자의 피로도를 측정하고 PSD를 포함한 특징을 모델에 적용하여 성능을 향상시킨다. EEG의 분석이 어렵기 때문에, 감정 인식을 위한 효과적인 특징과 경로를 찾는 연구가 활발하다[38, 39, 43]. Hao Chao[38]에서는 최대 정보 계수(Maximal Information Coefficient; MIC) 특징을 활용하여 성능을 향상시켰다. Peiyang Li[39]는 감정인식을 위한 보상 활성화와 연결 정보를 결합하기 위해 다중 특징 융합 접근법을 채택하였다. 특징 집합의 조합을 결정한 후 특징 조합 중에서 최적의 특징 하위 집합을 선택한다. Wang[43]은 EEG 스펙트로그램을 이용하여 유효채널을 선정하고 상호정보를 표준화하였다. 본 발명에서는 초기 모델, 특징 그룹을 결정하지 않으며, 모든 모델, 특징 그룹 및 채널이 GA에 의해 평가되어 최적의 모델과 특징 부분집합을 선정한다. GA를 통해 감정 인식을 방해하는 모델, 특징, 채널 등을 제거해 더 우수한 효과를 보여준다.

도 1은 본 발명의 일 실시예에 따른 CNS 및 PNS의 생체 신호 유형 및 위치를 나타내는 도면이다.

감정 인식 분야에서 딥러닝 기술이 빠르게 발전하면서 EEG 이외의 생체신호를 결합해 감정을 분류하는 연구가 활발히 진행되고 있다. 도 1에 나타낸 바와 같이 중추신경계(Central Nervous System; CNS) 신호는 뇌에서 생성되는 EEG 신호를 가리킨다. 말초신경계(Peripheral Nervous System; PNS) 신호는 근육 움직임과 눈의 움직임을 통해 발생하는 전기 신호인 전기전도(Electrooculogram; EOG), 전자기파(Electromyogram; EMG), 광용적맥파(Photoplethysmogram; PPG), 갈바닉 피부 반응(Galvanic Skin Response; GSR)을 나타낸다. EEG는 내부 감정 인식에 가장 중요한 신호다. 그러나 EEG 신호는 매우 취약하기 때문에 데이터 수집, 소음, 온도에서 아티팩트가 발생할 수 있으며, 개인차가 심하다. PNS 신호는 EEG 신호와 다르게 일반화될 수 있다. EEG 신호만으로 감정을 분류하는 것은 어려운 일이기 때문에 종종 보조 수단으로 PNS 신호를 이용한다. 한 종래기술[21]에서는 심전도(Electrocardiogram; ECG)에서 얻은 심박수 정보를 사용하여 EMG 신호를 통해 안면 근육의 움직임을 평가함으로써 감정을 인식했다. 또 다른 종래기술[22]에서는 후부 근육을 통해 얼굴 표정을 측정하여 감정의 변화를 읽었다. 이러한 종래기술에서 EEG 신호는 PSD 특징을 사용한다. 감정 인식을 위해 PSD 이외의 유용한 특징을 정의한 종래기술은 거의 없다.

EEG 신호를 포함한 생체신호 데이터는 전문 장비가 필요하며, 감정이 느껴지는 실험 조건을 만드는 데 다소 어려움이 있다. 따라서 대부분의 종래기술에서는 개방형 데이터셋을 사용한다.

표 1은 감정 인식을 위한 생리 학적 데이터 세트의 비교를 나타낸다. 표 1에 제시된 바와 같이, 데이터셋은 연구 목적에 따라 나열된다. 그러나 대부분의 데이터셋은 MAHNOB-HCI를 포함한 서구 기반이기 때문에 실험 결과가 아시아인 모집단에 동일하게 적용될지는 확신할 수 없다.

<표 1>

본 발명의 실시예에 따르면, 세 가지 데이터셋이 사용되었다. MAHNOB-HCI 데이터셋[12]은 지속적인 감정 인식을 위한 관찰자 태그가 있는 개방형 데이터셋이고, DEAP 데이터셋[11]은 사람들의 이산 감정을 분석하기 위한 다중 데이터셋이며, 본 발명에서 제안된 MERTI-App 데이터셋이다.

MAHNOB-HCI 데이터셋[12](이하, MANHOB 데이터셋)에는 20개의 비디오가 사용되어 지속적인 감성을 유도하였다. 사전 연구에서는 참가자가 자기 평가를 통해 자신의 감정을 보고함으로써 영상 선정에 도움을 주었다. 발췌된 20개의 비디오의 출처에는 혐오, 재미, 기쁨, 공포, 슬픔, 중립 같은 감정들이 포함되어 있다. 각 동영상의 길이는 약 34초에서 117초였다. 참가자들은 건강한 27명의 대상으로 구성되었다(남성 11명, 여성 16명). EEG 신호는 Biosemi Active II 시스템[27]과 10-20 국제 시스템[28]의 기준에 따라 배치된 32개의 활성화 전극을 사용하여 얻었다. 참가자들의 얼굴은 EEG 신호와 동시에 60Hz의 720 × 580 비디오로 촬영되었다. 데이터셋 생성에 대한 자세한 설명은 표 2(a)에 나타내었다.

<표 2(a)>

총 239개의 레코드가 제작되었으며, 각 레코드에는 해당 레이블 정보가 수록되어 있다. 또한 교육받은 해설자 5명이 참가자들의 표정연기에 대한 지속적인 의견을 제공했으며, FEELTRACE[29]와 조이스틱을 이용해 정면 얼굴 표정의 정서를 파악했다.

DEAP 데이터셋[11]은 사람들의 개별 감정을 분석하기 위한 다양한 데이터셋이다. 데이터셋은 32명의 참가자의 EEG와 생리학적 주변 신호의 추출이다. 추출 과정에서 총 40편의 뮤직비디오가 1분 간격으로 조회됐다. 표 2(b)와 같이, 참가자는 32명의 대상으로 구성되었다(남성 16명, 여성 16명).

<표 2(b)>

참가자들은 각 비디오의 레이블을 각성도, 정서, 호감/불쾌함, 지배력, 친숙함으로 평가했다. 수집된 데이터는 EEG, EMG, EOG, GSR, BVP, 온도 및 호흡 데이터였다. 비디오의 길이는 강화된 탐지를 통해 1분 단위로 추출되었다. EEG 데이터는 샘플링 속도 512Hz의 32개 전극에서 수집되었으며, PNS 생체신호는 EOG 4개, EMG 4개, GSR 2개, BVP 1개, 온도 및 호흡 신호가 있는 13개 전극에서 수집되었다.

본 발명의 실시예에 따른 데이터셋은 15개의 감정 비디오에 대한 응답에 대한 참가자의 다양한 녹화 기록을 수집했다. 처음에는 행복, 흥분, 슬픔, 지루함, 혐오, 분노, 침착함, 편안함 등 8가지 각성도와 정서를 바탕으로 실험 비디오 집합을 제작하는 분류 체계를 구축한다. 감정을 유도하기 위해 제시할 비디오는 감정 어휘 키워드를 이용해 인터넷 동영상을 무작위로 검색해 수집했다. 수집된 비디오는 5~7명의 연구 보조원들이 검토했으며, 사용된 감정을 유도할 수 있다고 판단된 영상을 검색 키워드로 분류하는 작업이 진행됐다. 이후 감정 유도에 최적화된 비디오를 선정하기 위해 현장검사를 통해 감정유도 적합성(감정유형, 강도 등)의 내용 유효성을 점검했다. 그 결과 CVI 2.5 이하 영상을 제외한 최종 감정 수집 비디오가 선정되었다. 4개의 정서-각성도 베이스(HAPV, HANV, LAPV, LANV)와 중립 도메인 중 최종 32개의 비디오가 선정되었다. 이들 중 15명이 참가자의 집중 시간에 선발되었다. 한 비디오는 60초에서 206초 사이였고, 평균 길이는 114.6초였다. 모집 과정, 동의, 실험실 환경, 감정 유발 동영상, 참가자 치료, 사후 관리 및 기타 측정 항목에서 전문가 간 CVI=.92의 유효성을 보였다. 전문가 CVI 측정에 의해 유효성을 확보하고 파일럿 테스트를 실시했다. 표 2(c)는 세 가지 실험을 나타낸다.

<표 2(c)>

실험 1은 EEG 측정용 EEG 캡이 참가자의 머리를 꽉 쥐었기 때문에 EEG를 제외한 신호로만 얻은 데이터로 구성되었다. 실험 2는 EEG 신호와 같은 CNS를 이용한 감정 인식만을 고려하였으며 EEG, EMG, EOG 신호를 함께 측정하여 EMG와 EOG 신호를 이용하여 머리와 얼굴 근육의 움직임에 의한 노이즈를 제거하였다. 이 경우 얼굴을 가리는 EMG 전극의 문제가 확인되었고, 실험 3에서는 말초신경계인 PPG와 GSR 신호가 EMG 신호를 제외한 EEG 신호와 동기화되며, CNS와 PNS와 같은 서로 다른 신경 신호를 복합 형태로 측정한다.

참가자들은 21세부터 29세까지의 남성 28명과 여성 34명 등 62명의 건강한 대상으로 구성되었다.

도 2는 본 발명의 일 실시예에 따른 MERTI-Apps 데이터 수집 과정을 나타내는 도면이다.

EEG 신호는 BIOPAC MP150 계측기를 사용하여 10-20 국제 시스템에 따라 위치한 12개의 활성 전극으로 획득했다. EEG 신호와 함께 참가자의 얼굴이 담긴 영상이 1080p 30Hz로 촬영됐다. 비디오 런타임이 짧았기 때문에 EOG 채널을 사용하여 눈 깜박임으로 인한 아티팩트를 제거하였다. 이외에도 참가자의 자기 감정 설문과 평가에 부합하지 않는 자료는 기록에서 제외했다. MERTI-App 데이터셋의 유효 기록은 실험 1의 283, 실험 2의 312, 실험 3의 236이다. 당초 각 실험에서는 62명의 참가자와 5개의 영상을 이용해 320개의 기록이 생성됐다. 이후, 유도된 감정에서 심각한 아티팩트를 야기하는 기록은 제외된다. 실험 3에서는 주석 레이블링에 236개의 기록이 사용되었는데, 이는 얼굴 움직임에 불편함이 없도록 설계되었다. 각 기록에는 해당 정서와 각성도 레이블 정보가 수록되어 있었다. MAHNOB 데이터셋과 마찬가지로 훈련된 해설자들이 참가자들의 얼굴 표정들에 대해 지속적으로 코멘트를 했으며, 프로그램은 정면 얼굴 표정의 정서와 각성도를 평가했다. 주석 레이블링과 관련된 측정 프로그램은 그림 3과 같이 기록되었다.

도 3은 본 발명의 일 실시예에 따른 MERTI-Apps 데이터 수집의 예시를 설명하기 위한 도면이다.

도 3(a)는 비디오, 도 3(b)는 얼굴 비디오, 도 3(c)는 생체 신호, 도 3(d)는 정서 주석 레이블링, 도 3(e)는 각성도 주석 레이블링에 관한 MERTI-Apps 데이터 수집의 예시를 나타낸다.

본 발명의 실시예에 따른 주석 레이블링은 MERTI-App 데이터셋에서 생체신호의 감정을 평가하기 위해 관찰자에 의해 수행되었다. 영상에서 유도된 감정은 단 한 가지뿐이며, 유도된 감정과 참가자 자신의 감정이 일치하는 것으로 확인됐다. 참가자의 정서와 각성도를 녹음된 얼굴 영상을 이용해 평가하였다. 참가자는 영상을 본 뒤 자신이 느낀 감정을 담은 자기평가 레이블을 만든다. 참가자의 자기 감정 설문지와 평가와 일치하지 않는 데이터는 실험에서 제외되었다. 정서는 어떤 사건, 사물 또는 상황의 매력이나 적수를 가리키는 감정적 품질이며, 음에서 양까지 다양하다. 정서만으로 감정을 더 세분화하기는 어려운 만큼 감정을 일컫는 호감을 높은 것에서 낮은 것으로 평가했다. 정서와 각성도는 모두 -100 ~ 100 범위에서 평가되었고, 데이터 수집은 생물학적 데이터에 따라 0.25초 간격으로 이루어졌다.

도 4는 본 발명의 일 실시예에 따른 관찰자를 위한 주석 레이블링 프로그램을 나타내는 도면이다.

주석 레이블링을 평가할 때 가장 중요한 측면은 관찰자가 가장 객관적인 평가를 가능하게 해야 한다는 것이다. 이러한 이유로 도 4에 표시된 내부 주석 레이블링 프로그램이 사용되었다. 관찰자는 22~25세의 남녀 5명으로 구성되었다. 시범 실험 영상을 통해 참가자들의 감정 평가에 대한 관찰자들의 의견을 훈련하고 조율한 뒤 관찰자들의 레이블링 작업이 본격적으로 시작됐다. 의견이 일치하지 않는 경우, 두 명의 추가 관찰자가 비정상적인 값을 배제하고 나머지 관찰자의 평균 정서나 각성도를 사용했다. 영상과 레이블링 데이터를 일치시키기 위해 실험 참가자의 얼굴 영상의 시작과 끝 부분에 생체신호 데이터와 포인트가 표시된다. 관찰자들은 안면 영상을 보고 프로그램 오른쪽 스크롤 바를 통해 정서와 각성도를 0.25초 간격으로 평가했다. 5명의 관측자는 표적 데이터로 사용된 레이블링 데이터(도 3(d) 참조)를 기록했다. 같은 감정의 데이터를 찾기 위해 감정 유발 영상과 참가자가 느끼는 실제 감정이 동일한지 여부를 확인했고, 실험에는 레이블링 값이 일치하는 데이터만 사용했다.

도 5는 본 발명의 일 실시예에 따른 아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 방법을 설명하기 위한 흐름도이다.

제안하는 아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 방법은 감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG(electroencephalogram) 특징을 추출하는 단계(510), 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘(Genetic Algorithm; GA)을 사용하여 선택하는 단계(520) 및 선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택하는 단계(530)를 포함한다.

단계(510)에서, 감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG 특징을 추출한다.

아시아인 기반의 데이터베이스를 이용한 MERTI-Apps 데이터 셋으로부터 시간 영역에서 추출되는 특징을 시간에 따른 EEG 신호의 변화로 나타내어 시간에 따른 감정의 변화를 인식하고, 주파수 영역에서 추출되는 특징을 저속 알파, 알파, 베타, 감마로 나누어 추출하고, 시간-주파수 영역에서 추출되는 특징을 이산형 파장 변환(Discrete Wavelet Transform; DWT)을 통해 신호를 시간에 따라 비트로 분해하여 나타낸다. 상기 추출된 시간 영역 특징, 주파수 영역 특징, 시간-주파수 영역 특징 및 뇌 기능 분화 특징을 포함하는 EEG 특징을 1차원 벡터로 변환하여 입력 데이터로 이용한다.

단계(520)에서, 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘을 사용하여 선택한다.

MERTI-Apps 데이터 셋으로부터 추출된 EEG 특징에 대한 임의의 상위 객체를 생성하여 학습한 후 미리 정해진 기준 이상의 상위 부모 객체를 선정해 차세대 모델로 이동하고, 선택, 돌연변이, 크로스 오버를 포함하는 유전 알고리즘 과정을 거쳐 자녀 객체를 생성하고, 미리 정해진 수의 차세대 모델이 생성되거나 또는 현재 모델의 RMSE(Root-Mean-Square Error)가 더 이상 개선되지 않을 때까지 학습을 반복한 후 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 출력한다.

단계(530)에서, 선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택한다.

임의의 상위 객체를 생성하고, 선택된 LSTM 모델을 이용하여 학습한 후 미리 정해진 기준 이상의 상위 부모 객체를 선정해 차세대 모델로 이동하고, 선택, 돌연변이, 크로스 오버를 포함하는 유전 알고리즘 과정을 거쳐 자녀 객체를 생성하고, 선택된 LSTM 모델을 통해 미리 정해진 기준 이상의 우세한(dominant) 특징 세트를 선택한다.

초기 모델, 특징 세트를 결정하지 않고, 모든 모델, 모든 특징 그룹 및 모든 채널이 GA에 의해 평가되어 감정 인식을 방해하는 모델, 특징, 채널을 제거함으로써 최적의 모델과 특징 세트를 선택한다.

본 발명의 실시예에 따르면, 표 3과 같이 EEG 신호의 특징을 추출해 딥러닝을 통해 감정인식을 위한 효과적인 특징 그룹을 도출했다.

<표 3>

도 6은 본 발명의 일 실시예에 따른 아시아인의 다양한 데이터베이스를 이용한 감정 인식에서 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 장치의 구성을 나타내는 도면이다.

제안된 딥러닝 모델은 도 6과 같이 GA-LSTM과 결합되었다. 초기화 단계는 GA의 유효 특징을 연속적으로 전송하기 위해 랜덤으로 수행되었다.

제안하는 감정 인식의 효과적 모델 및 특징 그룹 선정을 위한 딥러닝 장치는 특징 추출부(610), LSTM 모델 선택부(620) 및 특징 세트 선택부(630)를 포함한다.

특징 추출부(610)는 감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG(electroencephalogram) 특징을 추출한다.

감정 인식을 위한 활성 특징을 선택하기 위한 EEG 특징을 표 3에 요약한 세 가지 영역인 시간 영역, 주파수 영역, 시간-주파수 영역에서 추출한다. 제안된 방법은 특징의 가중치를 통해 EEG 신호의 어떤 채널과 특징이 감정 인식에 유효한지 구별할 수 있다. 이것은 종래기술[17]이 PSD 특징만을 사용하는 데 반해 본 발명에서는 다양한 특징 집합을 사용하는 동기가 된다. 채널당 37개의 EEG 특징이 추출되었고, 그 중 일부는 다른 연구에서 PSD에 추가로 사용되었다[30, 31]. 참가자들의 작은 움직임, 땀, 체온, 긴장 등 다양한 요소가 EEG 신호에서 노이즈로 작용한다.

본 발명에서는 매우 낮은 주파수 대역과 50Hz 이상의 주파수 대역을 제거하기 위해 Biopack의 M150 장비에 노치 필터를 사용했다. EOG 신호를 통해 아이블링크(eyeblink) 패턴도 제거했다. 주파수 영역에서는 고속 푸리에 변환(FFT)을 사용하여 EEG 신호를 저속 알파, 알파, 베타, 감마파로 나누었다. 특징을 추출해 1차원 벡터로 변환해 입력 데이터로 활용했다. 최종 특징 차원은 (채널 수) × (특징의 양)으로 계산되었다. MAHOB 데이터셋의 경우 특징 차원은 32 × 37 = 1184이었다. 본 발명의 실시예에 따른 MERTI-App의 경우 특징 차원은 12 × 37 = 444이었다. 또한 1:5, 5:1, 3:3, 5:5로 구성된 뇌 편향 특징이 사용되었다. 본 발명에서는 데이터가 연속 시간 주석에 해당하기 때문에 이전 2초 데이터 스트림으로부터 특징을 추출한다.

시간 영역 특징은 시간에 따른 EEG 신호의 변화로 나타낼 수 있다. 시간 영역에서는 평균, 최소, 최대, 첫 번째 차이 및 정규화된 첫 번째 차이를 사용하여 시간에 따른 감정의 변화를 인식한다[25].

주파수 영역 특징은 종래기술에서는 EEG의 공간 해상도가 뛰어나 주파수 영역의 구성요소가 사용되었다. 서로 다른 주파수 대역에서 나타나는 출력은 서로 다른 감정 상태를 감지하는 좋은 요인이다. 본 발명에서 PSD 특징은 네 가지 영역, 저속 알파(8-10Hz), 알파(8-12.9Hz), 베타(13-29.9Hz), 감마(30-50Hz)으로 나뉘어 추출된다. 평균, 최대 및 적분 값은 PSD 특징에서 비교되었다.

시간-주파수 영역 특징은 4개의 주파수 영역으로 나뉘었고, 5개의 특징이 선택되었다. 이산형 파장 변환(Discrete Wavelet Transform; DWT)은 신호를 시간에 따라 비트로 분해한다. 이러한 특징은 음성 분야[34]와 감정 인식 분야에서 사용된다[35]. DWT의 각 주파수 범위에는 평균, 최대, 절대값이 사용되었고, 로그와 절대(로그) 값도 사용되었다.

뇌 기능 분화 특징에서 두 전극의 값은 전원 스펙트럼으로 표시되며, 두 전극의 편향 값은 0 ~ 1의 범위에 있다. 1에 가까운 편향 값은 두 전극이 강하게 연결되어 있음을 의미하며, 0에 가까운 편향 값은 두 전극 사이의 상관관계가 작다는 것을 의미한다.

도 7은 본 발명의 일 실시예에 따른 뇌파 신호에 대한 뇌 기능 분화 특징을 설명하기 위한 도면이다.

본 발명에서는 도 7에서와 같이 뇌 기능 분화 특징을 4가지 방법으로 추출하였다. 도 7(a)는 1:5, 좌뇌 중심에서 우뇌로 기능 분화가 변화할 때 좌뇌 중심 전극 1개와 우뇌 전극 5개 사이의 기능 분화를 측정하는 것을 나타내는 도면이다. 도 7(b)는 5:1, 우뇌 중심에서 좌뇌로 기능 분화가 변화할 때 우뇌 중심 전극 5개와 좌뇌 중심 전극 1개 사이의 기능 분화를 측정하는 것을 나타내는 도면이다. 도 7(c)는 3:3, 도 7(d)는 5×5, 각각 좌뇌와 우뇌 사이에 기능 분화가 변화할 때, 좌뇌와 우뇌에 있는 동일한 수의 전극 사이의 기능 분화를 측정하는 것을 나타내는 도면이다.

도 7은 10-20 국제 시스템을 나타내며 모든 전극이 언제 표시되는지 알기 어렵기 때문에 단순화된다.

LSTM 모델 선택부(620)는 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘(Genetic Algorithm; GA)을 사용하여 선택한다.

GA는 유전적 생물학적 진화를 문제해결 전략으로 모방한 휴리스틱(heuristic) 검색 알고리즘이다. 먼저 특징 추출부(610)에서 추출된 데이터에 적합한 유효 LSTM 모델을 선택하기 위해 도 6과 같이 유전 알고리즘(621)을 사용한다. 모집단의 40%를 무작위로 선택하여 상위 객체를 만들고, 학습 후 상위 20%의 부모 객체를 선정해 차세대 모델로 옮겨간다. 또한 선택, 돌연변이, 교차 등을 이용하여 자녀 객체를 만든다. 이 과정은 10차 세대 모델이 생성되거나 현재 모델의 RMSE가 더 이상 개선되지 않을 때까지 반복된다. 본 발명의 실시예에 따른 돌연변이의 발생 확률은 10%로 설정되었고 돌연변이 프로세스는 epoch, LSTM_cell, drop_out 모델의 계수만 업데이트한다. 본 발명에서는 모델의 epoch, LSTM_cell, drop_out, activation 및 최적화 파라미터가 초기 시간에 랜덤으로 설정되었다고 가정한다. 현재 모델의 RMSE가 더 이상 개선되지 않을 때까지 반복한 후, 파라미터를 최적화하여 테스트 데이터와 함께 선택된 LSTM 모델(622)을 출력한다.

특징 세트 선택부(630)는 선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택한다. 유전 알고리즘(631)을 다시 사용하여 LSTM 모델 선택부(620)에서 선택된 LSTM 모델을 통해 우세한(dominant) 특징 세트를 선택한다. 이 단계는 전체 기록에서 25-50%의 특징을 랜덤으로 선택한다.

도 8은 본 발명의 일 실시예에 따른 MANHOB-HCI 데이터 세트에서 GA-LSTM의 EEG 특징 가중치, 채널 가중치를 나타내는 도면이다.

모든 특징이 LSTM 훈련에 사용되는 경우, 잘못된 특징이 훈련 모델을 혼동할 수 있다. 도 8에서 보듯이, MAHNOB-HCI의 모든 특징의 약 20%가 좋은 성능을 보이고 있음을 알 수 있다. 성능이 좋은 특징이 모두 집합 안에 있다면 새로운 특징을 추가하고 평가하기 어렵다. 따라서, 본 발명에서는 25-50%의 특징을 우세한 특징 세트로 사용했다. 차세대 특징을 만들기 위해 GA는 선택, 교차, 돌연변이 등 3가지 주요 과정으로 구성된다. 특징 세트는 정수의 배열이며, 여기서 각 정수는 가중치를 나타낸다. 선택은 우세한 특징으로부터 높은 가중치를 가진 특징을 선택하여 다음 우세한 특징을 입력하는 것이다. 크로스오버 기능은 사용되지 않는 특징에서 높은 가중치 특징으로 선택한 후 남은 특징을 교환(swap)한다. 돌연변이는 우세한 특징에서 랜덤으로 선택하고 랜덤 선택이 적은 경우를 방지하기 위해 새로운 특징으로 돌연변이를 생성한다.

학습 후 상위 20%의 상위 객체를 선정해 차세대 특징 그룹으로 이동한다. 크로스오버 시 특징을 선택하고 다음 세대를 위해 하위 객체를 생성할 때 가져오는 특징의 크로스오버 비율은 8:2이다. 돌연변이 발생 확률을 10%로 설정해 유전적 다양성을 위해 선택하지 않은 특징을 방지했다. 이 과정은 10세대 특징 그룹이 생성되거나 현재 모델의 RMSE가 더 이상 개선되지 않을 때까지 반복된다. GA 효과와 효율을 위해서는 올바른 적합(fitness) 함수를 선택하는 것이 중요하다.

(1)

여기서 β는 -0.25부터 1.25까지의 난수를 나타내며, 1과 2는 부모 유전 값을 나타내고, V는 자녀 유전 값을 나타낸다. 두 부모 유전이 비슷할 경우 반복적인 유전에서 매번 유사한 여러 특징을 평가한다. 무작위성은 새로운 자녀 유전이 만들어졌을 때 주어졌다. 식(1)에 따라 새로운 자녀 유전에 대해 각 부모 유전을 선정하고, 크로스오버할 때 그 특징을 임의로 축소하여 선택하며, GA를 통해 자녀 유전을 결정한다.

도 9는 본 발명의 일 실시예에 따른 LSTM-FC 모델 구조를 나타내는 도면이다.

본 발명의 실시예에 따른 특징 추출 단계는 각 EEG 신호에서 1차원 특징으로 3-영역(domain) 특징을 추출한다. 본 발명의 실시예에 따른 회귀는 GA-LSTM을 통해 수행된다. GA-LSTM에 적용되는 LSTM 완전연결(Fully Connected; FC) 모델은 도 9와 도 6에 나타낸 것과 같이 3개의 LSTM 계층과 2개의 FC 계층으로 구성된다. 출력 계층은 마지막 계층에 하나의 뉴런이 있는 FC 계층의 활성 함수 tanh를 사용하여 -0.1과 0.1 사이의 값을 생성하여 하나의 정서 값을 예측한다. LSTM 입력 데이터로서 특징 추출에 의해 정화된 EEG 데이터는 0.25초 간격으로 2초씩 입력되었다. 일반 LSTM 모델과 동일하지만, 본 발명의 실시예에 따른 모델은 한 배치에서 학습한 상태가 다음 배치로 전송되는 등의 조건을 유지할 수 있는 순환 신경망을 포함하고 있다. LSTM은 세 개의 계층으로 쌓여서 하나의 계층보다 더 깊은 추론을 할 수 있다. 과적합을 방지하기 위해 LSTM 계층 사이에 드롭아웃 계층이 추가되었다.

1차원 특징을 바탕으로 LSTM의 입력으로 사용할 초기 특징 그룹을 GA를 통해 랜덤으로 선택했다. 각 이미지에서 순차적으로 추출한 1차원 특징으로 한 정서 값을 회귀시킨다. LSTM에 의해 처리되기 전, 특징 그룹은 GA에 의해 조정되었고, LSTM의 숨겨진 상태 벡터 출력은 다음 LSTM 이전에 새로운 특징 그룹을 모집할 수 있다. GA-LSTM의 최종 출력은 정서 값이다. 정서와 각성도 실험은 모두 MERTI-Apps 데이터셋을 사용하여 수행되었다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

<참고문헌>

1. M. S. Sinith, E. Aswathi, T. M. Deepa, C. P. Shameema, and S. Rajan; Emotion recognition from audio signals using Support Vector Machine. In Intelligent Computational Systems (RAICS), IEEE Recent Advances in, 2005, 139-144.

2. C. Busso, Z. Deng, S. Yildirim, M.Bulut, C. M. Lee, A. Kazemzadeh,... and S. Narayanan; Analysis of emotion recognition using facial expressions, speech, and multimodal information. In Proceedings of the 6th international conference on Multimodal interfaces, 2004, 205-211.

3. H. Yang, U. Ciftci, and L. Yin; Facial Expression Recognition by De-Expression Residue Learning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, 2168-2177.

4. H. Jung, S. Lee, J. Yim, S. Park, and J. Kim; Joint fine-tuning in deep neural networks for facial expression recognition. In Proceedings of the IEEE International Conference on Computer Vision, 2015, 2983-2991.

5. H. Ranganathan, S. Chakraborty, S. Panchanathan; Multimodal emotion recognition using deep learning architectures. 2016 IEEE Winter conference on Applications of Computer Vision(WACV), 2016.

6. M. Valstar, and M. Pantic; Induced disgust, happiness, and surprise: an addition to the mmi facial expression database. In Proc. 3rd Intern. Workshop on EMOTION (satellite of LREC): Corpora for Research on Emotion and Affect, 2010, 65-70.

7. X-H. Wang, T. Zhang, X-M. Xu, L. Chen, X-F. Xing, C.L. Philip Chen; EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks and Broad Learning System. IEEE Conf. on Bioinformatics and Biomedicine(BIBM), 2018, 1240-1244.

8. A. Mavratzakis, C. Herbert, and P. Walla; Emotional facial expressions evoke faster-orienting responses, but weaker emotional responses at neural and behavioral levels compared to scenes: A simultaneous EEG and facial EMG study. Neuroimage, 2016, 124, 931-946.

9. R.Jenke, A. Peer, and M. Buss; Feature extraction and selection for emotion recognition from EEG. IEEE Transactions on Affective Computing, 2014, 5(3), 327-339.

10. C. Busso, Z. Deng, S. Yildirim, M.Bulut, C. M. Lee, A. Kazemzadeh, and S. Narayanan; Analysis of emotion recognition using facial expressions, speech, and multimodal information. In Proceedings of the 6th international conference on Multimodal interfaces, 2004, 205-211.

11. S. Koelstra, C. Muhl, M. Soleymani, J. S.Lee, A. Yazdani, T. Ebrahimi,... and I. Patras; Deep: A database for emotion analysis; using physiological signals. IEEE Transactions on Affective Computing, 2012, 3(1), 18-31.

12. M. Soleymani, J. Lichtenauer, T. Pun, and M. Pantic; A multimodal database for affect recognition and implicit tagging. IEEE Transactions on Affective Computing, 2012, 3(1), 42-55.

13. Soraia M. A and Manuel J. F; Emotions Recognition Using EEG Signals: A Survey. IEEE Transactions on Affective Computing, 2017, 10(3), 374-393.

14. N. Ketkar; Introduction to PyTorch. In Deep Learning with Python, Apress, Berkeley, CA, 2017, 195-208.

15. P. Lucey, J. F. Cohn, T. Kanade, J. Saragih, Z. Ambadar and I. Matthews; The extended Cohn-Kanade dataset (ck+): A complete dataset for action unit and emotion-specified expression. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2010, 94-101.

16. L. S. Granados, M. M. Organero, G. R. Gonzalez, E. Abdulhay, and N. Arunkumar; Using Deep Convolutional Neural Network for Emotion Detection on a Physiological Signals Dataset(AMIGOS). IEEE Access, 2018, 7, 57-67.

17. M. Soleymani, S. Asghari-Esfeden, Y. Fu and M. Pantic; Analysis of EEG signals and facial expressions for continuous emotion detection. IEEE Transactions on Affective Computing, 2016, 1, 17-28.

18. B. H. Kim and S. Jo; Deep Physiological Affect Network for the Recognition of Human Emotions. IEEE Transactions on Affective Computing, 2020, 11(2), 230-243.

19. E. Maria, L. Matthias and H. Sten; Emotion Recognition from Physiological Signal Analysis: A Review, Electronic Notes in Theoretical Computer Science. 2019, 343, 35-55.

20. T. Song, W. Zheng, P. Song, and Z. Cui; EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks. . IEEE Transactions on Affective Computing, 2020, 11(3), 532-541.

21. S. Katsigiannis and N. Ramzan; DREAMER: A Database for Emotion Recognition through EEG and ECG Signals From Wireless Low-cost Off-the-Shelf Devices. IEEE Journal of Biomedical and Health informatics. 2017, 22(1), 98-107.

22. S. A. Mithbavkar and M. S. Shah; Recognition of Emotion Through Facial Expressions Using EMG Signal. 2019 International Conference on Nascent Technologies in Engineering(ICNTE). 2019.

23. J.A. Healey and R.W. Picard; Detecting Stress During Real-World Driving Tasks Using Physiological Sensors. IEEE Trans. Intelligent Transportation Systems, 2005, 6(2), 156-166.

24. M. Grimm, K. Kroschel, and S. Narayanan; The Vera am Mittag German Audio-Visual Emotional Speech Database. Proc. IEEE Int'l Conf. Multimedia and Expo, 2008, 865-868.

25. Firgan Nihatov Feradov and Todor Dimitrov Ganchev; Ranking of EEG Time-domain Features on the Negative Emotions Recognition Task. Annual Journal of Electronics. 2015.

26. G. McKeown, M.F. Valstar, R. Cowie, and M. Pantic; The SEMAINE Corpus of Emotionally Coloured Character Interactions. Proc. IEEE Int'l Conf. Multimedia and Expo, July 2010, 1079-1084.

27. Biosemi Active II system: https://www.biosemi.com/products.htm

28. U. Herwing, P.Satrapi, and C. Ronfeldt-Lecuona; Using the International 10-20 EEG system for Positioning of Transcranial Magnetic stimulation, Brain Topography, 2003, 16(2).

29. R. Cowie, E. Douglas-Cowie, S. Savvidou, E. McMahon, M. Sawey, and M. Schrφder; 'FEELTRACE': An instrument for recording perceived emotion in real-time. In ISCA tutorial and research workshop (ITRW) on speech and emotion. 2000.

30. R.Jenke, A. Peer, and M. Buss; Feature extraction and selection for emotion recognition from EEG. IEEE Transactions on Affective Computing, 2014, 5(3), 327-339.

31. Z. Yin, M. Zhao, Y. Wang, J. Yang, and J. Zhang; Recognition of emotions using multimodal physiological signals and an ensemble deep learning model. Computer methods and programs in biomedicine, 2017, 140, 93-110.

32. Gerard E. Bruder, Jorge Alvarenga, Karen Abraham, Jamie Skipper, Virginia Warner, Daniel Voyer, Bradley S. Peterson & Myrna M. Weissman; Brain laterality, depression, and anxiety disorders: New findings for emotional and verbal dichotic listening in individuals at risk for depression, Laterality: Asymmetries of Body, Brain, and Cognition, 2016, 21:4-6, 525-548

33. Fiona Kumfor, Ramon Landin-Romero, Emma Devenney, Rosalind Hutchings, Roberto Grasso, John R. Hodges, Olivier Piguet; On the right side? A longitudinal study of left- versus right-lateralized semantic dementia. Brain a Journal of Neurology, March 2016, 139(3), 986-998.

34. Hazrat Ali, Nasir Ahmad, Xianwei Zhou, Khalid Iqbal, and Sahibzada Muhammad Ali; DWT features performance analysis for automatic speech recognition of Urdu, SpringerPlus, 2014, 3, 204.

35. H. Candra, M. Yuwono, R. Chai, H. T. Nguyen, and S. Su; EEG emotion recognition using reduced channel wavelet entropy and average wavelet coefficient features with normal Mutual Information method, IEEE Engineering in Medicine and Biology Society(EMBC). 2017.

36. Y. Ding, X. Hu, Z. Xia, Y.J. Liu and D. Zhang; Inter-brain EEG feature Extraction and Analysis for Continuous Implicit Emotion Tagging during Video Watching, IEEE Transactions on Affective Computing, Early Access, 2018 June 22.

37. D. Mehta, M. F. H. Siddiqui and A. Y. Javaid; Recognition of Emotion Intensities Using Machine Learning Algorithms: A Comparative Study, Sensors, April 2019, 21.

38. H. Chao, L. Dong, Y. Liu and B. Lu; Improved Deep Feature Learning by Synchronization Measurements for Multi-Channel EEG Emotion Recognition, Hindawi Complexity, 2020.

39. P. Li, H, Liu, Y. Si, C. Li, F. Li, X. Zhu, X. Huang, Y. Zeng, D. Yao, Y. Zhang and Peng Xu; EEG Based Emotion Recognition by Combining Functional Connectivity Network and Local Activations, IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, OCT. 2019, 66(10).

40. Z. Gao, X. Wang, Y. Yang, C. Mu, Q. Cai, W. Dang and Siyang Zuo; EEG-Based Spatio-Temporal Convolutional Neural Network for Driver Fatigue Evaluation, IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, SEPTEMBER 2019, 30(9).

41. S. Alhagry, A.A. Fahmy and R.A. El-Khoribi; Emotion recognition based on EEG using LSTM recurrent neural network, Int. J. Adv. Comput. Sci. Appl. 2017, 8(10), 8-11.

42. E.S. Salama, R.A. El-Khoribi, M.E. Shoman and M.A. Wahby Shalaby; EEG-based emotion recognition using 3D convolutional neural networks, Int. J. Adv. Comput. Sci. Appl., 2018, 9(8), 329-337.

43. Z.M. Wang, S.Y. Hu, H. Song; Channel selection method for eeg emotion recognition using normalized mutual information, IEEE Access, 2019, 7, 143303-143311.

Claims (8)

1. 특징 추출부를 통해 감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG(electroencephalogram) 특징을 추출하는 단계;
   LSTM 모델 선택부를 통해 상기 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘(Genetic Algorithm; GA)을 사용하여 선택하는 단계; 및
   특징 세트 선택부를 통해 상기 선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택하는 단계
   를 포함하고,
   상기 LSTM 모델 선택부를 통해 상기 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘을 사용하여 선택하는 단계는,
   MERTI-Apps 데이터 셋으로부터 추출된 EEG 특징에 대한 임의의 상위 객체를 생성하여 학습한 후 미리 정해진 기준 이상의 상위 부모 객체를 선정해 차세대 모델로 이동하고, 선택, 돌연변이, 크로스 오버를 포함하는 유전 알고리즘 과정을 거쳐 자녀 객체를 생성하고, 미리 정해진 수의 차세대 모델이 생성되거나 또는 현재 모델의 RMSE(Root-Mean-Square Error)가 더 이상 개선되지 않을 때까지 학습을 반복한 후 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 출력하는
   모델 선택 기반 감정인식을 위한 딥러닝 방법.
2. 제1항에 있어서,
   상기 특징 추출부를 통해 감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG 특징을 추출하는 단계는,
   아시아인 기반의 데이터베이스를 이용한 MERTI-Apps 데이터 셋으로부터 시간 영역에서 추출되는 특징을 시간에 따른 EEG 신호의 변화로 나타내어 시간에 따른 감정의 변화를 인식하고, 주파수 영역에서 추출되는 특징을 저속 알파, 알파, 베타, 감마로 나누어 추출하고, 시간-주파수 영역에서 추출되는 특징을 이산형 파장 변환(Discrete Wavelet Transform; DWT)을 통해 신호를 시간에 따라 비트로 분해하여 나타내며, 상기 추출된 시간 영역 특징, 주파수 영역 특징, 시간-주파수 영역 특징 및 뇌 기능 분화 특징을 포함하는 EEG 특징을 1차원 벡터로 변환하여 입력 데이터로 이용하는
   모델 선택 기반 감정인식을 위한 딥러닝 방법.
3. 삭제
4. 제1항에 있어서,
   상기 특징 세트 선택부를 통해 상기 선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택하는 단계는,
   임의의 상위 객체를 생성하고, 선택된 LSTM 모델을 이용하여 학습한 후 미리 정해진 기준 이상의 상위 부모 객체를 선정해 차세대 모델로 이동하고, 선택, 돌연변이, 크로스 오버를 포함하는 유전 알고리즘 과정을 거쳐 자녀 객체를 생성하고, 선택된 LSTM 모델을 통해 미리 정해진 기준 이상의 우세한(dominant) 특징 세트를 선택하며,
   초기 모델, 특징 세트를 결정하지 않고, 모든 모델, 모든 특징 그룹 및 모든 채널이 GA에 의해 평가되어 감정 인식을 방해하는 모델, 특징, 채널을 제거함으로써 최적의 모델과 특징 세트를 선택하는
   모델 선택 기반 감정인식을 위한 딥러닝 방법.
5. 감정 인식을 위한 활성 특징을 선택하기 위해 시간 영역, 주파수 영역, 시간-주파수 영역에서 EEG(electroencephalogram) 특징을 추출하는 특징 추출부;
   추출된 EEG 특징에 적용하기 위한 LSTM 모델을 유전 알고리즘(Genetic Algorithm; GA)을 사용하여 선택하는 LSTM 모델 선택부; 및
   선택된 LSTM 모델에 대하여 유전 알고리즘을 사용하여 특징 세트를 선택하는 특징 세트 선택부
   를 포함하고,
   상기 LSTM 모델 선택부는,
   MERTI-Apps 데이터 셋으로부터 추출된 EEG 특징에 대한 임의의 상위 객체를 생성하여 학습한 후 미리 정해진 기준 이상의 상위 부모 객체를 선정해 차세대 모델로 이동하고, 선택, 돌연변이, 크로스 오버를 포함하는 유전 알고리즘 과정을 거쳐 자녀 객체를 생성하고, 미리 정해진 수의 차세대 모델이 생성되거나 또는 현재 모델의 RMSE(Root-Mean-Square Error)가 더 이상 개선되지 않을 때까지 학습을 반복한 후 추출된 EEG 특징에 적용하기 위한 LSTM 모델을 출력하는
   모델 선택 기반 감정인식을 위한 딥러닝 장치.
6. 제5항에 있어서,
   특징 추출부는,
   아시아인 기반의 데이터베이스를 이용한 MERTI-Apps 데이터 셋으로부터 시간 영역에서 추출되는 특징을 시간에 따른 EEG 신호의 변화로 나타내어 시간에 따른 감정의 변화를 인식하고, 주파수 영역에서 추출되는 특징을 저속 알파, 알파, 베타, 감마로 나누어 추출하고, 시간-주파수 영역에서 추출되는 특징을 이산형 파장 변환(Discrete Wavelet Transform; DWT)을 통해 신호를 시간에 따라 비트로 분해하여 나타내며, 상기 추출된 시간 영역 특징, 주파수 영역 특징, 시간-주파수 영역 특징 및 뇌 기능 분화 특징을 포함하는 EEG 특징을 1차원 벡터로 변환하여 입력 데이터로 이용하는
   모델 선택 기반 감정인식을 위한 딥러닝 장치.
7. 삭제
8. 제5항에 있어서,
   특징 세트 선택부는,
   임의의 상위 객체를 생성하고, 선택된 LSTM 모델을 이용하여 학습한 후 미리 정해진 기준 이상의 상위 부모 객체를 선정해 차세대 모델로 이동하고, 선택, 돌연변이, 크로스 오버를 포함하는 유전 알고리즘 과정을 거쳐 자녀 객체를 생성하고, 선택된 LSTM 모델을 통해 미리 정해진 기준 이상의 우세한(dominant) 특징 세트를 선택하며,
   초기 모델, 특징 세트를 결정하지 않고, 모든 모델, 모든 특징 그룹 및 모든 채널이 GA에 의해 평가되어 감정 인식을 방해하는 모델, 특징, 채널을 제거함으로써 최적의 모델과 특징 세트를 선택하는
   모델 선택 기반 감정인식을 위한 딥러닝 장치.

Images