KR102341937B1

KR102341937B1 - 일상생활에서 발생하는 감정 변화 원인을 파악하는 방법 및 그 시스템

Info

Publication number: KR102341937B1
Application number: KR1020200053203A
Authority: KR
Inventors: 김병형; 조성호
Original assignee: 한국과학기술원
Priority date: 2020-05-04
Filing date: 2020-05-04
Publication date: 2021-12-23
Also published as: KR20210135378A

Abstract

일상생활에서 발생하는 감정 변화 원인을 파악하는 방법 및 그 시스템이 개시된다. 본 발명의 일 실시예에 따른 감정 변화 원인 파악 방법은 사용자의 생리적 신호와 상기 사용자의 정면 이미지의 분석을 통해 상기 사용자의 상황 정보를 획득하는 단계; 다수의 라벨이 없는 생리적 신호와 실제 측정 라벨을 사용하는 부분세트를 포함하는 데이터 세트를 이용하여 제1 네트워크를 학습하고, 상기 획득된 생리적 신호를 입력으로 하는 상기 제1 네트워크를 이용하여 상기 사용자의 감정 변화를 감지하는 단계; 및 상기 감지된 감정 변화와 상기 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출하는 단계를 포함한다.

Description

일상생활에서 발생하는 감정 변화 원인을 파악하는 방법 및 그 시스템 {METHOD FOR UNDERSTANDING EMOTION DYNAMICS IN DAILY LIFE AND SYSTEM THEREFORE}

본 발명은 감정 변화의 원인을 파악하는 기술에 관한 것으로서, 보다 상세하게는 감정 발생의 원인을 파악하기 위하여 미리 학습된 뉴럴 네트워크를 이용하여 일상생활에서 발생할 수 있는 감정 변화의 원인을 추정할 수 있는 감정 변화 원인 파악 방법 및 그 시스템에 관한 것이다.

사람들은 다양한 상황에서 하나의 사건으로부터 다양한 감정을 경험한다. 예를 들어, 오늘의 커피가 어제의 커피와 항상 같은 것은 아니며, 오늘 마신 커피는 어제 마신 커피만큼 맛이 없을지도 모른다. 일반적으로 커피를 마시는 것은 사람의 스트레스를 줄이는 데 도움이 되지만, 커피의 스트레스 해소 효과는 여러 가지 이유로 날마다 다를 수 있다. 차분하고 조용한 환경을 좋아하는 사람에게 산만한 배경 잡음이 나는 혼잡한 커피숍에서 마시는 커피 한 잔은 자기 집 조용한 부엌에서 마신 커피 한 잔보다 즐겁지 않을 것이다. 이 사례는 한 사람이 다른 환경에서 동일한 생활의 사건에 대해 다른 감정적 반응을 보일 수 있음을 보여준다.

사람은 왜, 어떻게 다른 상황에서 하나의 사건으로부터 다양한 감정을 경험하는가라는 질문에 대답하는 것은 신체 건강을 증진시키는 것과 같이 다양한 방법으로 인간의 생활을 향상시킬 수 있다. 우울증을 앓고 있는 사람들은 우울증 이력이 없는 사람들보다 심장병에 더 취약하다. 그러므로 우울증과 관련된 생명 요소를 발견하고 그러한 요소를 피하기 위한 지침을 제공하는 것은 고통받는 사람들의 고통을 줄이고 의미 있는 생활을 사는 데 도움이 될 수 있다. 이 질문에 대한 반응으로, 인간의 감정을 인식하는 것에 대한 최근 연구는 다양한 생리적 센서를 여러 가지 방법으로 이용한 것으로, 소형 생리적 센서와 첨단 모바일 컴퓨팅 기술은 이른바 "everyday 기술"로 일상생활에서 생리적 신호를 지속적으로 모니터할 수 있게 한다. 이러한 센서를 사용하여 심장 박동 변화, 산소포화도(pulse oximetry), 갈바닉 피부 반응(galvanic skin response)과 같은 특징들은 스트레스와 같은 정신 건강 병리학의 인과 관계학을 이해하는데 도움을 주기 위한 감정 변화를 포착하기 위하여 사용될 수 있다.

그러나, 인간의 일상생활의 문맥에서 어떻게 정서 다이나믹이 영향을 받는지 아직 탐구되지 않았으며, 대부분의 연구는 자체 보고서 툴(self-report tools) 또는 전문 설문지로 평가된 실험실 환경으로 제한되었고, 단일 사건에서 발생하는 즉각적인 영향에 대한 증거만 제공하며, 정서 다이나믹에 대한 제한된 이해만 제공한다.

인간의 감정에 대한 몇 가지 생리학적 연구가 지난 수십 년간 여러 면에서 현저하게 진전된 적이 있다. 이 연구 영역과 함께 기계학습의 활용을 통해 다양한 감정의 표현에 해당하는 생리적 패턴을 파악하는 데 주력하고 있다. 특히 뇌파 검사(EEG; electroencephalography)는 두피에 여러 개의 전극을 놓고 자발적인 전기 활동을 기록함으로써 뇌의 전기 활동을 측정한다. 두피에 대한 공간 해상도는 낮지만 매우 높은 시간 해상도, 비침입성 및 이동성은 임상 어플리케이션과 같은 실제 환경에서 가치가 있다.

대부분의 EEG 기반 감정 인식 시스템은 신경 과학적 가정에 기초한 전극 선택을 통해 EEG 기반 특성들을 추출하고 선택하였다. 종래 일 실시예의 기술은 귀 위의 EEG 신호를 수집하고 네 가지 감정을 분류하는 프레임워크를 제시한 것으로, 6개의 대칭적 측두엽 전극에서 EEG 특징들을 추출하고, EEG가 행복한 감정을 분류하는 이점을 가지고 있다는 것을 보여주었다. 종래 다른 일 실시예의 기술은 감정 상태와의 관계를 평가하기 위해 EEG 기능의 특성을 조사한 것으로, 우측 후두엽(occipital lobe)과 두정엽(parietal lobe)이 주로 알파 밴드의 감정과 관련이 있고, 정수리와 측두엽(temporal lobes)은 베타 밴드의 감정과 관련이 있으며, 좌측 전두엽(frontal lobe)과 우측 측두엽은 감마 밴드의 감정과 관련이 있음을 보여주었다. 종래 또 다른 일 실시예의 기술은 시간 주파수 영역에서 EEG 신호 세그먼트와 감정 사이의 생리적 연관성을 조사하기 위한 적응 방법으로, 우뇌와 좌뇌 사이의 인과관계를 설명하기 위해 전두 EEG 비대칭과 다차원 유도 정보 접근법을 이용하였다. 이러한 결과는 전두엽과 측두엽의 감정 기능분화가 감정 상태의 좋은 차별화 요인이 될 수 있다는 것을 보여주었다.
설명된 EEG 기반 감정 인식 시스템에 대한 기술은 등록특허 제10-1719546호에 개시되어 있다.

EEG 기반 감정 인식 시스템은 종종 다른 모달리티들이 사용되었을 때 향상된 결과를 보인다. 많은 생리적 신호 중에서 혈액량을 측정하는 광전용적맥파(PPG; Photoplethysmography)가 심박수(HR; heart rate)를 계산하는 데 널리 사용된다. PPG는 혈액 순환에서 혈액의 부피 변화를 감지하기 위해 광 기반 기술을 사용한다. 그 정확성은 심전도(ECG; electrocardiograms)의 정확도보다 낮다고 여겨지지만, 심플하기 때문에 일상생활에서 정신적 스트레스를 감지하는 등의 임상 응용 분야에서 웨어러블 바이오 센서를 개발하는 데 사용되어 왔다. HR 뿐만 아니라 심박변이도(HRV; heart rate variability)도 감정 평가에 유용하다고 알려져 왔다. 지난 20년간 HRV 분석이 시간 및 주파수 영역 모두에서 자율 기능에 대한 명확한 평가를 제공 할 수 있다는 일부 보고서가 존재한다. 그러나 이러한 평가에는 높은 시간 및 주파수 해상도가 필요하다. 이러한 요구 사항으로 인해, HRV는 장기 데이터 분석에만 적합하다. 몇몇 연구자들은 이 한계를 극복하는 데 중점을 두었으며, 이에 대한 일 예의 기술로는 최근 실시간 감정적 반응을 정확하게 평가하기 위해 심장 박동의 역학(dynamics)을 분석함으로써 감정적 상태를 특징 짓는 개인 확률적 프레임워크를 개발하였다. 해당 기술에서, 시간 또는 주파수 영역에서 생리적 신호의 뚜렷하거나 피크인 단일 순간 동안의 변화는 후보로 간주된다. 그러나 이 접근법은 제한적이며, 복잡한 속성과 다차원 현상으로 인해 감정 추출 메커니즘을 완벽하게 설명하는 데 사용될 수 없다.

이러한 연구에서는 단일 순간적 시간에 시간 또는 주파수 영역에서 생리적 신호의 뚜렷하거나 정점에 도달한 변화가 후보로 간주되었다. 그러나 이러한 접근방식은 제한적이며 복잡한 성격과 다차원적 성격으로 인한 감정 유도 메커니즘을 완전히 기술하는 데 사용할 수 없다.

인과관계(Causality) 방향의 이해는 관측 표본 집단의 간섭 결과를 예측하는 데 필수적이며 생물학과 사회과학을 포함한 많은 응용 분야에 중요하다. 감정적 영향의 발견은 상관관계가 실제 적용에 존재하는지 여부를 시험하는 데 초점이 맞춰져 왔다. 종래 일 실시예의 기술은 소셜 이미지의 감정 태그를 학습하고, 사용자 인구 통계와 소셜 이미지의 감정 태그 간의 상관 관계를 검증하기 위한 모델을 제공한다. 종래 다른 일 실시예의 기술은 이미지에서 감정을 추론하기 위해 이미지 사이의 사회적 상관관계를 이용하였으며, 그들의 결과는 두 개의 연속된 이미지에 의해 유발되는 감정들이 동일한 사용자 업로드에서 서로 연관될 수 있다는 것을 보여주었다. 종래 또 다른 일 실시예의 기술은 다른 사람에게 정서적으로 영향을 미치는 능력은 이미지 소셜 네트워크에서 사용자의 사회적 역할과 밀접하게 연관되어 있다고 보고하였다.

다양한 개인 측정지표 로깅을 통한 자가추적 자체가 새로운 것은 아니다. 예를 들어, 당뇨병과 같은 만성적인 질병을 가진 사람들은 일상의 습관이 그들의 증상에 어떻게 영향을 미치는지 알아보기 위해 오랫동안 그들의 개인적인 측정기준을 모니터링하였다. 생리학적 관점에서, EDA는 125년 이상 동안 감정적 변화를 측정하는 데 사용되어 왔으나, 이러한 방법은 복잡하고 번거로운 기계 때문에 모두 고도로 통제된 환경으로 제한되어 왔다. 어떤 환경에서도 장기적인 활동을 모니터링하기 위해서는 "가능한 한 자연스럽고 눈에 띄지 않는" 웨어러블 기술이 요구된다. 지난 10년 동안, EDA 센서의 소형화에 상당한 진전이 있었다. 종래 일 실시예의 기술은 실험실 외부에서 일상 활동을 하는 동안 장기간 활동을 모니터링할 수 있는 소형 저비용의 웨어러블 EDA 센서를 개발하였으며, 종래 다른 일 실시예의 기술은 PPG, EDA, 3축 가속도계, 온도 등 4개의 센서가 내장된 웨어러블 무선 멀티센서 장치를 제공하였다. 웨어러블 무선 멀티센서 장치는 실제 사용하기에 적합한 새로운 손목 착용형 센서이고, 웨어러블 설계 기법 또한 웨어러블의 조건을 만족시키는 것으로 개발되었다. 종래 또 다른 일 실시예의 기술은 모듈식 소프트 회로 설계 기법을 포함하는 웨어러블 정서적 기술인 SWARM을 제공하였으며, SWARM은 단순한 스카프이지만, 그것의 모듈식 작동 요소는 사용자의 감각 능력과 선호도를 수용할 수 있어 사용자가 그들의 감정에 대처할 수 있다.

본 발명의 실시예들은, 감정 발생의 원인을 파악하기 위하여 미리 학습된 뉴럴 네트워크를 이용하여 일상생활에서 발생할 수 있는 감정 변화의 원인을 추정할 수 있는 감정 변화 원인 파악 방법 및 그 시스템을 제공한다.

또한, 본 발명의 실시예들은, 일상생활에서 발생할 수 있는 감정 변화의 원인을 용이하게 파악할 수 있는 웨이러블 시스템을 제공한다.

본 발명의 일 실시예에 따른 감정 변화 원인 파악 방법은 사용자의 생리적 신호와 상기 사용자의 정면 이미지의 분석을 통해 상기 사용자의 상황 정보를 획득하는 단계; 다수의 라벨이 없는 생리적 신호와 실제 측정 라벨을 사용하는 부분세트를 포함하는 데이터 세트를 이용하여 제1 네트워크를 학습하고, 상기 획득된 생리적 신호를 입력으로 하는 상기 제1 네트워크를 이용하여 상기 사용자의 감정 변화를 감지하는 단계; 및 상기 감지된 감정 변화와 상기 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출하는 단계를 포함한다.

상기 제1 네트워크는 상기 부분세트의 정서적 라벨에 따라 상기 라벨이 없는 생리적 신호의 표현을 학습하여 상기 데이터 세트에서 노이즈가 있는 의사 라벨을 생성하고, 상기 생성된 의사 라벨과 상기 부분세트의 정서적 라벨에 기초하여 라벨 노이즈를 줄이도록 학습됨으로써, 노이즈가 제거된 감정 상태의 라벨을 추정하여 상기 사용자의 감정 변화를 감지할 수 있다.

상기 제1 네트워크는 상기 노이즈가 있는 의사 라벨을 생성하는 제1-1 네트워크와 상기 라벨 노이즈를 줄이도록 학습되어 상기 노이즈가 제거된 감정 상태의 라벨을 추정하는 제1-2 네트워크를 포함하고, 상기 제1-1 네트워크는 상기 획득된 생리적 신호를 입력으로 하는 시간 축에 따라 학습이 진행될 때 시간 마진을 고려하는 시간 마진 기반 분류 손실 함수를 이용하여 학습될 수 있다.

상기 제1-1 네트워크는 이미지 시퀀스에 대해 상기 획득된 생리적 신호에 대한 생리적 특징을 추출하고, 상기 추출된 생리적 특징을 이용하여 스펙트럼-시간 텐서를 구성하며, 상기 구성된 스펙트럼-시간 텐서를 입력으로 하여 상기 시간 마진 기반 분류 손실 함수가 최소화 값으로 수렴되도록 학습할 수 있다.

상기 제2 네트워크는 상기 사용자로부터 상황 정보와 감정 시퀀스가 주어지는 경우 상기 감정 시퀀스 사이의 인과 구조를 모델링하는 정서적 인과관계 모델로 구성되는 방향 그래프와 상기 감정 시퀀스의 정서적 인과관계 효과를 나타내는 에지의 연관 파라미터를 포함하고, 상기 방향 그래프와 상기 에지의 연관 파라미터를 이용하여 상기 감지된 감정 변화와 상기 획득된 상황 정보에 대응하는 정서적 인과관계를 도출할 수 있다.

상기 생리적 신호는 이미지 시퀀스에 대한 상기 사용자의 뇌파 신호와 심장 박동 신호 중 적어도 하나의 생리적 신호를 포함할 수 있다.

본 발명의 일 실시예에 따른 감정 변화 원인 파악 시스템은 사용자의 생리적 신호와 상기 사용자의 정면 이미지의 분석을 통해 상기 사용자의 상황 정보를 획득하는 획득부; 다수의 라벨이 없는 생리적 신호와 실제 측정 라벨을 사용하는 부분세트를 포함하는 데이터 세트를 이용하여 제1 네트워크를 학습하고, 상기 획득된 생리적 신호를 입력으로 하는 상기 제1 네트워크를 이용하여 상기 사용자의 감정 변화를 감지하는 감지부; 및 상기 감지된 감정 변화와 상기 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출하는 도출부를 포함한다.

본 발명의 다른 일 실시예에 따른 감정 변화 원인 파악 방법은 사용자의 생리적 신호와 상기 사용자의 정면 이미지의 분석을 통해 상기 사용자의 상황 정보를 획득하는 단계; 상기 획득된 생리적 신호를 입력으로 하는 제1 네트워크를 이용하여 상기 사용자의 감정 변화를 감지하는 단계; 및 상기 감지된 감정 변화와 상기 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출하는 단계를 포함한다.

본 발명의 일 실시예에 따른 웨어러블 시스템은 사용자의 생리적 신호를 획득하는 센서부; 상기 사용자의 정면 이미지를 촬영하는 촬영부; 다수의 라벨이 없는 생리적 신호와 실제 측정 라벨을 사용하는 부분세트를 포함하는 데이터 세트를 이용하여 제1 네트워크를 학습하고, 상기 획득된 생리적 신호를 입력으로 하는 상기 제1 네트워크를 이용하여 상기 사용자의 감정 변화를 감지하는 감지부; 및 상기 감지된 감정 변화와 상기 촬영된 정면 이미지의 분석을 통해 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출하는 도출부를 포함한다.

본 발명의 실시예들에 따르면, 감정 발생의 원인을 파악하기 위하여 미리 학습된 뉴럴 네트워크를 이용하여 일상생활에서 발생할 수 있는 감정 변화의 원인을 추정할 수 있다.

즉, 본 발명은 미리 학습된 뉴럴 네트워크를 이용하여 일상생활 내의 콘텐츠에 대한 사용자 감정과의 인과관계를 파악할 수 있다.

본 발명의 실시예들에 따르면, 강인한 감정 인식 기술로 활용할 수 있고, 감정 발생의 인과관계 파악에 따른 의료 시장으로 확대 가능성이 있으며, 뇌파와 심박수를 측정한은 센서들의 소형화 기술 발전에 따라 웨어러블 시장으로의 확대 가능성이 있다.

도 1은 본 발명의 일 실시예에 따른 DPAN을 설명하기 위한 개념도를 나타낸 것이다.
도 2는 ALIS의 전체 프레임워크를 나타낸 것이다.
도 3은 도 2에 도시된 ACC를 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 ADNet의 개요를 설명하기 위한 일 예시도를 나타낸 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명의 실시예들은, 감정 발생의 원인을 파악하기 위하여 미리 학습된 뉴럴 네트워크를 이용하여 일상생활 내의 콘텐츠에 대한 사용자 감정과의 인과관계를 파악하는 것을 그 요지로 한다.

즉, 본 발명은 정서적 변화를 감지하고 사용자의 생활에 미치는 인과관계를 결정하기 위해 일상생활에서 사용하기 쉬울 뿐만 아니라 착용 가능한 영향력 있는 생활 로그(life log) 시스템(ALIS)을 제공한다.

여기서, 본 발명은 생리적 센서를 이용한 장기 활동 중 특정 상황에서 사용자의 느낌을 기록하고, 장기간 모니터링을 바탕으로 사용자의 생활의 문맥이 감정 변화에 어떻게 영향을 미치는지 분석할 수 있다.

나아가, 본 발명은 스펙트럼-시간-생리적 시퀀스 학습 문제로서 감정 인식을 형성할 수 있다. 본 발명은 인과관계 학습이 관측 변수의 공동 분포를 특징짓는 대신 데이터 생성 메커니즘을 발견하는 것을 목표로 한다는 점에서 인과관계 학습은 주류 통계 학습 방법과 차이점이 있다.

일상생활을 둘러싼 감정 다이나믹을 이해하는 것은 주로 일상생활에서 생활의 내용과 인간의 정서 사이의 인과관계를 발견하는 것을 의미한다. 이러한 이해에는 올바른 유도 메커니즘과 그것이 감정 반응에 미치는 영향이 포함된다. 그러나, 다양한 소음, 생리적 신호의 낮은 신호 대 잡음비(SNR), 개체 간 변동성(inter-subject variability), 개체 내 변동성(intra-subject variability) 및 사용 적합성을 포함하는 신뢰할 수 있는 자동 시스템을 구축하는 것은 어려운 문제이다.

본 발명의 실시예들은, 저레벨 생리적 센서 표현과 고레벨 문맥 인식 해석(context sensitive interpretation) 간의 격차를 해소하는데 도움이되는 웨어러블 정서적 생활 로그 시스템(ALIS)을 제공하는 것으로, 생리적 센서를 이용하여 장기간 활동 중 사용자가 특정 상황에서 느끼는 감정을 기록한다. 이 시스템은 장기간 모니터링을 바탕으로 사용자의 생활의 문맥이 감정 변화에 어떻게 영향을 미치는지 분석한다. 특히, 종래 기술에 대한 대안으로 제안된 시스템의 기여는 다음과 같다.

(1) 사람의 정서을 포착하기 위한 웨어러블 생활 로그 시스템으로, 일상생활에서 사용하기 쉽다. 본 발명은 사용자의 장기간 활동 동안 편안함과 퍼포먼스를 제공하도록 설계되며, 일상생활에서 사용자에게 진전된 사용성을 제공한다.

(2) 실제 시나리오에서 정서 다이나믹을 포착하고 추적하기 위한 생리적 정서 모델로, 생리적 정서 기반 감정 인식에 대한 이전 연구를 확장함으로써 최소한의 지도(supervision)로 정서 다이나믹을 학습하기 위한 생리적 정서 네트워크를 제시한다. 모든 이벤트에 대해 특정 개인화된 평가에 초점을 맞춘 종래 기술과 달리, 본 발명의 모델은 준지도(semi-supervised) 학습을 통해 라벨이 없고 불균형한 현실 세계의 데이터를 이용하여 정서 상태를 포착하고 지속적으로 그 변화를 추적한다.

(3) 비대칭 인과 관계 모델은 생활 콘텐츠 정서 관계의 모델에 영향을 미친다. 본 발명은 일상생활에서 정서적 콘텐츠와 인간의 감정 사이의 인과 관계를 규명하기 위한 비대칭적인 대책을 제시한다. 이 모델은 사용자들이 언제, 무엇을, 그리고 그들의 주변 환경이 그들의 일상생활에서 예기치 않게 그들에게 어떻게 영향을 미치는지 이해할 수 있게 해준다.

본 발명은 다양한 상황에서 마주치는 감정 상태와 생활의 콘텐츠를 분석하여 일상생활에서 정서적 인과관계를 결정하는 것으로, 본 발명에서는 생활 콘텐츠와 정서적 변화 사이의 인과관계를 모델링하는 문제 공식을 제시한다. 본 발명은 그 문제를 2단계 문제의 조합으로 취급한다. 첫 단계는 감정 인식 문제로, 생리적 신호가 주어지면 올바른 감정 상태를 식별하는 것이다. 이 때, 올바른 감정 상태를 식별하는 것은 아래 <수학식 1>과 같이 나타낼 수 있다.

[수학식 1]

여기서,

는 시간 t에서 생리적 신호의 세그먼트를 의미하고,

는 행복, 놀라움, 분노, 두려움, 슬픔과 같은 감정적 상태의 세트를 의미할 수 있다.

두 번째 단계는 정서적 인과관계 학습 문제로, 아래 <수학식 2>와 같은 그래프로 공식화될 수 있다.

[수학식 2]

여기서,

는 감정 발생 행렬로, Ns는 상황의 수를 의미하며, Ne는 감정 상태 수를 의미하고,

는 생활 콘텐츠 발생 행렬로, Nc는 콘텐츠의 수를 의미하며,

는 시퀀스 C_i가 시퀀스 M_j 에 미치는 정서적 인과관계 영향을 의미할 수 있다.

본 발명은 인간의 감정을 인식하기 위한 이전 연구(B. H. Kim and S. Jo, "Deep physiological affect network for the recognition of human emotions," IEEE Transactions on Affective Computing, 2018.)에 기초한 것으로, 이전 연구는 서로 다른 감정 상태에서 생리적 신호를 구별하는 데 장점을 보였지만, 모델을 적용하여 일상생활에서 그 효능을 증명할 때 중요한 도전 과제가 존재한다. 실제 환경에는 다음과 같은 두 가지 주요 도전적인 문제가 있다.

(1) 감정인식에서의 제한적이고 불균형한 라벨링 문제로, 감정인식에서 이전 연구의 신뢰도에도 불구하고, 정확한 감정인식의 결과를 얻는 것은 신뢰할 수 없는 라벨을 수반하는 생리적 신호가 있을 때 심각한 과제가 된다. 실제 시나리오에서는 자체 보고서 툴을 사용하여 인간이 실내 환경에서 느끼는 감정을 평가하는 몇 개의 라벨만 사용할 수 있다. 유한 및 불균형 클래스 라벨은 광범위한 감정 분류 문제에서 분류기의 성능을 저하시킬 수 있다.

(2) 정서적 인과관계 식별의 희소성 문제로, 사용자의 일상생활에서 감정 다이나믹을 이해하려면 정서적 인과관계를 발견하는 것이 필수적이다. 그러나 사용자가 긴 시간 시퀀스에서 생활의 사건을 접하는 실제 상황에서 정서적 인과관계가 존재하는지 여부는 불분명하다. 대부분의 경우, 감정은 일상생활의 다양한 복잡하고 미묘한 요인에 의해 영향을 받기 때문에 인과관계를 어떻게 확인하고 잠재적 요인의 영향을 발견하느냐 하는 문제는 도전적인 과제이다.

본 발명은 상술한 두 가지 문제를 해결하고 멀티 모달(multi-modal) 획득을 위한 고급 웨어러블 센서 기술과 함께 사람들이 실제 환경과 상호작용하면서 어떻게 행동하고 느끼는지를 이해할 수 있다.

인간 감정인식을 위한 딥 생리적 정서 네트워크( DPAN ; deep psychological affect network)

DPAN은 생리적 신호에 의해 반사되는 감정 변화를 감지하는 데 사용되는 감정 추출 메커니즘(affect elicitation mechanism)을 나타낸다. DPAN은 뇌 편재화(lateralization)의 기초가 되는 2채널 EEG 신호와 PPG 신호를 입력으로 하여 1에서 9까지의 감정 상태를 나타내는 1차원 벡터를 출력한다. 여기서, 뇌 편재화는 두뇌(두뇌의 왼쪽과 오른쪽 대뇌 피질)의 절반은 기능에 차이를 가진다는 생각을 말한다. DPAN이 P가 다른 모달리티를 가진 MХN 행렬로 표현된 스펙트럼-시간(spectral-temporal) 영역을 통해 시간 N에서 생리적 신호를 얻을 수 있다 가정한다. EEG 센서와 PPG 센서의 두 모달리티로부터, 특히 EEG 센서를 통한 생리학적 특징 Bt는 아래 <수학식 3>과 같이 추출될 수 있다.

[수학식 3]

여기서, '

'는 아다마르 곱(Hadamard product)을 의미하고,

는 l과 r EEG 채널 사이의 스펙트럼 비대칭을 의미하며, 행렬

는 r과 l EEG 바이폴라 채널들 간의 인과 관계 비대칭을 의미할 수 있다. 뇌의 비대칭 특징 Bt는 두 반구 사이의 감정 편재화의 방향성과 크기를 나타낼 수 있다.

DPAN은 MХN 스펙트럼-시간 도메인을 통해 심박수 특징 Ht를 추출하는데, PPG 신호의 파워 스펙트럼 밀도(PSD; power spectral density)에서 피크를 가진 주파수는 각 시간 프레임 t에서 PPG 신호 Pt에서 진정한 심박수 후보로 간주될 수 있다. 이 데이터는 시간이 지남에 따라 후보군을 형성한다. 그런 다음 주어진 시간에 관측치는 텐서

로 나타낼 수 있다. 여기서, R은 관찰된 생리적 특징의 도메인을 의미할 수 있다. 그러면 학습문제는 텐서

의 시퀀스에 기반한 올바른 클래스의 식별로서, 아래 <수학식 4>와 같이 나타낼 수 있다.

[수학식 4]

여기서,

는 밸런스-어라우절(valence-arousal) 클래스들의 세트를 의미할 수 있다.

도 1은 본 발명의 일 실시예에 따른 DPAN을 설명하기 위한 개념도를 나타낸 것으로, 감정 인식에 사용한 모델(a)과 시간에 따른 감정의 차별적인 마진(b)을 나타낸 것이다.

도 1a에 도시된 바와 같이, 본 발명은 매시간 간격 N 후에 두 개의 생리적 신호 예를 들어, 뇌 편재화 신호와 심장 박동 신호를 이용하여 두 개의 생리적 특징들 예를 들어, 뇌 편재화 특징과 심장 박동 특징을 추출하고, 스펙트럼-시간 텐서를 구성한다. 그런 다음 추출된 특징들을 컨볼루션 LSTM(ConvLSTM)에 입력하여 본 발명의 손실 모델인 시간 마진 기반 손실(TM-loss)을 통해 감정의 정서적 스코어를 계산한다. 최종 시퀀스의 출력은 전체 시퀀스에 대한 2차원 밸런스-어라우절 모델에 대한 감정을 표현하기 위해 선택된다.

본 발명에서 사용하는 모델은 두 가지 주요 구성 요소 즉, 뇌 편재화의 기초가 되는 양극성 EEG 신호와 PPG 신호의 시간-주파수 분석에 초점을 둔 감정 인식 문제의 공식화에 기반한 생리적 특징 추출 및 ConvLSTM과 이전 시간 단계에서의 ConvLSTM의 숨겨진 상태와 메모리, 현재 프레임의 특징을 기반으로 정서적 스코어를 계산하는 시간 마진 기반 분류 손실 함수를 포함한다. 본 발명은 ConvLSTM을 사용하여 비-반복적 연결에 드롭 아웃(dropout)을 적용할 수 있다.

즉, 도 1a에 도시된 바와 같이, 본 발명은 사용자가 라이온 킹이라는 영화를 보면서 사람이 느끼는 감정에 따라서 변화되는 생체 신호 즉, EEG 신호와 PPG 신호가 모델의 입력 신호로 들어가고, 입력된 두 종류의 타임 시리즈의 데이터를 모달리티와 결합하여 스펙트럼, 시간 그리고 모달리티의 3차원 데이터로 변형한다. 이렇게 변형된 3차원 데이터가 ConvLSTM의 입력으로 들어가고, 시간 마진 기반 분류 손실 함수(TM-loss)를 이용하여 손실 함수가 최소화 값으로 수렴되도록 학습을 진행한다. 도 1a에서 시간 축에 따라서 네 개의 장면을 통해 학습된 학습 결과 슬프다라는 감정에 도달하게 되고, 따라서 2차원 밸런스-어라우절 모델에 슬프다는 감정으로 표현될 수 있다. 비록, 도 1a에서 네 개의 장면만을 도시하였지만, 이에 한정되지 않으며 상황에 따라 장면 수 또는 프레임 수는 달라질 수 있다.

상술한 바와 같이, 본 발명은 감정이 진행되는 동안 다른 마진들과 단조롭게 감소하지 않는 마진을 구별하기 위하여 정확한 감정 상태의 정서적 스코어를 제한한다. 따라서 본 발명은 정확한 감정 분류와 부정확한 감정 분류를 구별하는 시간 마진 기반 분류 손실을 제시한다.

여기서, 시간 마진 기반 분류 손실은 아래 <수학식 5>와 같이 나타낼 수 있다.

[수학식 5]

여기서, -log s_t(y)는 딥 러닝 모델을 학습시키는데 필요한 일반적인 교차 엔트로피 손실 함수(cross-entropy loss function)를 의미하고, y는 감정 등급의 실제 측정 값을 의미하며, s_t(y)는 시간 t에 대한 실제 측정 값 라벨 y의 분류된 정서적 스코어를 의미하고, m_t(y)는 시간 t에서의 감정 라벨 y의 차별적인 마진(discriminative margin)을 의미할 수 있다.

차별적인 마진 m_t(y)는 아래 <수학식 6>과 같이 나타낼 수 있다.

[수학식 6]

여기서,

는 차별적인 마진의 영향을 제어하기 위한 상대적인 항목(relative term)을 의미할 수 있다.

상기 수학식 5와 수학식 6은 시간이 지남에 따라 정확한 상태와 부정확한 상태를 구별하는데 있어서 확신을 가질 수 있는 모델을 나타낸 것이다. 즉, 본 발명의 시간 마진 기반 분류 손실 함수는 감정의 정확한 상태와 부정확한 상태를 명확하게 구별할 수 있는 모델을 제공할 수 있다. 본 발명의 모델은 감정 학습이 진행됨에 따라 정서적 스코어에서 단조로움을 유지하도록 권장된다.

예컨대 도 1b에 도시된 바와 같이, 감정 y의 차별적인 마진 m_t(y)는 시간 t₀에서 시작하고, 차별적인 마진 m_t(y)는 실제 측정된(ground truth) 정서적 스코어 s_t(y)와 시간 t₀와 t 사이의 모든 잘못된 감정 상태들의 최대 스코어

간의 차이로 계산된다. 모델은 시간 t_c까지 감정 상태를 분류하는데 있어서 강한 자신감을 가지게 되지만, 시간 t_c 이후에는 마진의 단조로움(monotonicity)의 위반으로 인하여 시간 마진 기반 분류 손실이 0이 아니게 된다.

조건부 독립성 테스트

정서적 다이나믹과 생활 콘텐츠 사이의 인과관계를 발견하고 정서적 인과관계 식별의 희소성 문제에 대한 답변을 하기 위해, 조건부 독립성을 Ai, Aj, Ak의 세 시퀀스로 테스트한다. 세 시퀀스의 길이가 T로 같다고 가정하면, 테스트는 명령문

의 통계적 유의성을 검증하는 것이다. 세 변수들에 대한 샘플로 각각

에 대한 각 트리플릿(A_i(t), A_j(t), A_k(t))를 고려하면, 3차원 분할 테이블 C는 아래 <수학식 7>과 같이 세 변수에 대한 트리플릿 샘플 수를 기록한다.

[수학식 7]

영가설(null hypothesis)에서의 C_opq 기대치는 아래 <수학식 8>과 같이 추정할 수 있다.

[수학식 8]

여기서, C_* _pq, C_o*q 및 C_op*은 각각 Ai, A_j, A_k의 카운트 한계(marginal)를 의미할 수 있다.

테스트에는 표준 G² 조건부 독립성 테스트를 사용하며, 이 테스트는 모든 세 가지 변수들에 대해 C_opq와 E(C_opq)의 분포 간 쿨백-라이블러 발산(Kullback-Leibler divergence)을 반환한다. 이 때, G² 조건부 독립성 테스트는 아래 <수학식 9>와 같이 나타낼 수 있다.

[수학식 9]\

여기서, G² 조건부 독립성 테스트는 자유도 (|A_i|-1)*(|A_j|-1)*|A_k|를 가진 x² 분포를 따를 수 있다. 테이블 C에서 희소성을 제거하기 위하여, 자유도는 제로 셀들의 수에 의해 불이익을 받는다.

웨어러블 정서적 생활 로그 시스템( ALIS )

웨어러블 ALIS(Affective Lifelog System)는 ACC(Affective Contents Collector), ADNet(Affective Dynamics Network) 및 ACNet(Affective Causality Network)의 세 가지 주요 부분으로 구성된다.

도 2는 ALIS의 전체 프레임워크를 나타낸 것으로, 도 2에 도시된 바와 같이 ALIS는 ACC(Affective Contents Collector), ADNet(Affective Dynamics Network) 및 ACNet(Affective Causality Network)를 포함한다. ACC는 EEG와 PPG 신호에 의해 측정된 감정과 정면 이미지가 있는 상황에서 사용자의 상황 정보를 수집한다. 이 때, ACC는 일상생활에서 착용자를 둘러싼 상황 정보를 지속적으로 수집한다. 기록된 데이터는 ADNet으로 전송되며, ADNet은 주어진 정보에 기초하여 착용자의 감정 변화를 감지할 수 있고, 감지된 착용자의 감정 변화는 감정과 상황 사이의 인과 관계를 발견하기 위하여 정면 이미지와 함께 ACNet의 입력으로 사용될 수 있다.

ADNet은 어떤 상황에서 인간이 유도된 영향을 얼마나 느끼는지에 대한 해답을 찾을 수 있고, ACNet은 마주한 상황과 ADNet에 의해 감지된 인간 감정 사이의 다이나믹 인과 관계를 발견하며 사용자에게 정서 다이나믹에 대한 직관적인 이해를 제공한다.

데이터 로깅을 위한 정서적 콘텐츠 수집기

ACC는 도 3에 도시된 바와 같이, 사용자가 일상적인 상황에서 자유롭게 행동하고 인간의 정서를 올바르게 수집할 수 있도록 쉽게 착용할 수 있도록 설계된 간단한 장치이다. 인간의 정서는 정교하고 미묘하기 때문에 개인, 사회, 전후사정 속성에 취약하다. 웨어러블 기기의 시인성과 가시성은 불필요하고 무관한 감정을 유도할 수 있다. 따라서, 인간의 정서를 기록하는 것은 자연 환경에서 측정했을 때 눈에 띄지 않아야 한다. 눈에 띄지 않는 장치를 설계하기 위해, 본 발명은 기존의 사용하기 쉬운 무선 헤드셋의 설계를 모방할 수 있다. 본 발명에서 "눈에 거슬리지 않는 장치(unobtrusive device)"라는 용어는 쉽게 눈에 띄지 않거나 주의를 끌지 못한다는 것을 의미할 수 있다. 이 용어는 장치가 작거나 감출 수 있다는 것을 의미하지 않지만, 장기간 활동 시 사용자에게 편안함과 퍼포먼스를 제공할 수 있다.

일상적인(everyday) 기술은 생리적 활동에 대한 편안하고 장기적인 현장 평가를 수행할 수 있는 전례 없는 능력을 갖출 수 있는 웨어러블 시스템을 요구한다. 그러나 신뢰할 수 있는 신호를 얻기 위해 복수의 채널이 필요한 장비의 숫자와 실험 설정의 복잡성 때문에 실용적 어플리케이션의 개발은 어렵다. 본 발명은 신뢰성과 단순성을 모두 보장할 수 있는 바디 센서를 사용하기 위해, 인간 정서와 관련된 편재화된 전두엽 피질 활동의 패턴을 학습하는 데 필요한 최소 채널 수인 PPG 센서와 최소 2채널 EEG 구성을 갖춘 장치를 제공할 수 있다.

본 발명은 이 두 가지 기준을 만족시키는 동시에, 다음과 같이 일상생활을 둘러싼 다양한 감정을 포착할 수 있는 멀티모달 센서를 구성할 수 있다.

(1) 시각적 콘텐츠 수집을 위한 전면 카메라로, 시각 정보는 사용자가 직면한 상황을 감지하는 데 널리 이용되어 왔으며, 카메라의 영상을 분석하여 장면과 활동을 인식하는 연구는 상황 정보에 대한 이해를 제공한다. 따라서, 본 발명은 30fps의 샘플링 속도를 가진 소형 정면 카메라로 영상을 촬영할 수 있다.

(2) 인간의 정서를 포착하기 위한 작은 생리적 센서로, 생리적 변화의 패턴에 대한 분석은 인식에 영향을 미치는 맥락에서 점점 더 연구되어 왔으며, 이 정보를 포착하기 위해 왼쪽과 오른쪽 반구의 OpenBCI에 있는 2채널 EEG 센서와 작은 귀-PPG 센서를 각각 250Hz와 500Hz의 샘플링 속도로 사용할 수 있다.

감정인식을 위한 정서적 다이나믹 네트워크

ADNet은 상기 수학식 1의 문제를 해결하여 실제 대용량 데이터 세트에 대한 감정인식에서의 제한적이고 불균형한 라벨링 문제를 해결하고자 한다. 데이터 세트 D가 자연스레 다수의 라벨이 없는 생리적 신호 P와 자체 보고에 의한 소수의 실제 측정 라벨 y를 사용할 수 있는 부분세트 Ds로 구성된다고 가정하면, 본 발명의 네트워크는 DPAN(B. H. Kim and S. Jo, "Deep physiological affect network for the recognition of human emotions," IEEE Transactions on Affective Computing, 2018.)에 의한 부분세트 Ds의 정서적 라벨에 따라 생리적 신호 P의 표현을 먼저 학습하고 데이터 세트 D에서 노이즈가 있는 의사(pseudo) 라벨

를 생성한다. 데이터 세트

와 그 부분세트

이 주어지면, 본 발명의 프레임워크는 공동으로 라벨 노이즈를 줄이도록 학습하고 데이터 세트 D에서 보다 정확한 라벨

를 예측한다.

도 4는 ADNet의 개요를 설명하기 위한 일 예시도를 나타낸 것으로, 도 4에 도시된 바와 같이, ADNet은 먼저 DPAN을 이용하여 데이터 세트 Ds의 라벨 y와 관련된 생리적 신호를 학습시키고, 그런 다음 노이즈가 많은 의사 라벨

을 예측하기 위하여, 데이터 세트 D에서 학습된 파라미터를 사용한다. 여기서, 노이즈가 많은 의사 라벨은 ConvLSTM의 생리적 특징에 따라 조정된 서브 네트워크 라벨 클리너로 제공된다. 라벨 클리너 네트워크에서, 잔여 아키텍쳐는 라벨

과 클린 라벨 y의 차이를 학습하고, 최종적으로 조인트 손실 함수(LC-손실)에 의해 페널티가 부과된 클리닝 라벨

을 예측한다. 구체적으로, ADNet은 DPAN이 부분세트 Ds에 대해 학습한 생리적 특징에 따라 데이터 세트 D에 대해 정서적 라벨

의 세트를 예측한다. DPAN은 감정을 분류하는데 있어 우월성을 보여왔으나, 그것의 예측 라벨은 노이즈를 포함하고 있다. 이 문제를 해결하기 위해 ADNet은 DPAN의 ConvLSTM의 생리적 특징에 따라 조정되고, 노이즈 라벨

를 클린 라벨 y로의 매핑을 학습하는 서브 네트워크를 포함한다. 네트워크는 인간이 보고한 라벨 y에 의해 지도되며, 노이즈 라벨과 클린 라벨 간의 차이만 학습할 수 있도록 잔류 아키텍처를 따른다. 특히, ADNet은 노이즈 라벨의 희소성을 처리하기 위해, 밸런스

와 어라우절

등급에서 각 d 클래스의 감정 발생

를 d차원 벡터 쌍 [0, 1]^d로 인코딩한다. 마찬가지로, 모델은 생리적 특징 x를 저차원 임베딩에 투영한 다음, 두 모달리티의 모든 임베딩된 벡터는 히든 선형 레이어로 연결되고 변환되어 다시 높은 차원의 라벨 공간으로 투영된다. 동시에, 네트워크는 DPAN의 ConvLSTM에 의해 추출된 생리적 특징을 공유하며, 시그모이드 함수에 따라 클린 라벨

를 직접 예측할 수 있도록 학습한다. 예측된 라벨

는 DPAN 또는 사람의 출력에 의해 지도된다.

ADNet을 트레이닝하기 위해 아래 <수학식 10>과 같은 조인트 손실 함수를 공식화할 수 있다.

[수학시 10]

여기서, u_j는 SAM-등급을 사용할 수 있는 경우 y_j이고, 그렇지 않는 경우

를 의미할 수 있다.

LC-손실 Lc는 1) 노이즈 제거된 라벨과 해당 실측 라벨 간의 차이와 2) 예측된 라벨과 타겟 라벨 간의 차이를 포착하기 위한 교차 엔트로피의 조합이다. 교차 엔트로피 항목은

에만 전파될 수 있다. 클린된 라벨

는 분류와 관련하여 상수로 취급되며 LC 손실에서는 그래디언트(gradient)만 발생한다.

정서적 인과관계 네트워크

ACNet은 상기 수학식 2의 문제를 해결하기 위한 것으로, 감정 변화 및 사용자의 관련 상황 예를 들어, 상황 정보를 분석하여 정서적 인과관계를 도출한다. 감정 시퀀스 M(1 : T)이 이산 시간 간격 [1, T] 동안 이진 확률적 과정이라고 가정한다. 여기서, T는 간격의 최대 길이를 의미할 수 있다. 그러면 시퀀스 M(1 : T)의 요소 M_j는 시간 t에서 특정 감정 j의 발생을 나타내는 바이너리 지표이다. 이 표기법으로

는 각 시간 스탬프

에서 각 연결된 요소

로 생성된다. 같은 방법으로 상황 시퀀스 C(1 : T)에서 요소 C_i는 시간 t에서 특정 상황 i의 발생에 대한 바이너리 지표이다. 이러한 표기법에 근거하여, 시간 변동형 정서적 네트워크와 정서적 인과관계는 관련 학습 과제의 공식화로 정의될 수 있다.

시간 변동에 의한 정서적 네트워크는

로 표시된다. 여기서, C_i와 M_j는 상황 i와 감정 상태 j 시퀀스를 의미하고,

는 시퀀스 C_i가 시퀀스 M_j 에 미치는 정서적 인과관계 효과를 의미할 수 있다.

사용자로부터 n개의 상황 및 감정 시퀀스

가 주어지면, 방향 그래프 G는 근본적인 정서적 인과관계 모델로 구성되고, 혼란스러운 팩터를 해결한다.

각 감정과 상황 변수를 노드로 표현함으로써, ACNet은 시퀀스 Mj에 대한 시퀀스 Ci의 정서적 인과관계 효과를 나타내는 각 에지 C_i → M_j와 같은 변수

를 방향 그래프

로 공식화할 수 있다. 네트워크에는, C_i와 M_j 사이의 에지 또는 노드와 관련된 파라미터가 있다.

상기 설명에 기초하여, 네트워크는 일반적으로 두 가지 요소로 구성된다. 1) 시퀀스 사이의 인과 구조를 모델링하는 데 사용되는 방향 그래프

와 2) 인과 현상을 모델링하는데 사용되는 에지의 연관 파라미터이다. 이 두 요소는 각각 감정과 생활 콘텐츠 사이의 상호작용의 글로벌 및 로컬 속성을 특징으로 하며, 이들의 조합은 두 시퀀스에서 일어나는 이벤트를 결정하는 일반적인 지침을 제공한다.

정서적 인과관계는 감정 다이나믹과 상황 사이의 인과관계를 결정하기 위한 계산적 비대칭 측정이다. 계산은 조건부 독립성 테스트를 기반으로 관찰된 두 시퀀스 아래 교란 요인과의 관계를 검출한다. 인과 구조 학습 방법은 기존 연구(R. Cai, Z. Zhang, Z. Hao, and M. Winslett, "Understanding social causalities behind human action sequences," IEEE transactions on neural networks and learning systems, vol. 28, no. 8, pp. 1801-1813, 2017.)와 유사하지만, 본 발명의 ACNet은 희소 관계를 고려하여 입력 노드로서 두 가지 다른 변수 M과 C를 가지고 있다는 점에서 다르다. 본 발명의 모델은 교란 요인 없이 상기 1)과 2)를 고려하여 인과관계 문제를 분석한다.

1) 교란 요인이 없는 학습: 잠재적 요인이 없는 상호작용은 타임스탬프 t-1에서 상태 C_i가 타임스탬프 t에서 M_j 상태에 영향을 미치는 반면, 그 반대는 유지되지 않는다는 것을 관찰할 수 있다. 이 관찰은 렘마(Lemma) 1을 사용한 통계적 테스팅 언어로 공식화될 수 있다.

Lemma 1: 연결 잠재 변수가 없는 두 개의 종속 시퀀스 C_i→M_j가 주어지면, 다음의 비대칭 의존 관계가 유지된다. (1)

를 만족시키는 지연

가 존재하며 (2)

를 만족시키는 지연

이 존재하지 않는다.

이에 대한 증명은

과

가 각각 M과 C의 영향 지연이라고 가정하면 (1)의 경우, t시간에서 C_i 상태는 이전 상태

에 의해서만 결정된다. 따라서

는 자연적으로 유지된다. (2)의 경우, t시간에서의 M_j 상태는 t-1 시간에서의 이전 C_i 상태에 직접 영향을 주기 때문에

로의 변수

은 없다.

2) 교란 요인을 이용한 학습: 교란 요인이 존재하는 시퀀스는 (1) 공통적인 특성 때문에 유사하게 동작하거나 2) 타임라인에서 독립적으로 상호작용한다. 상황 C_i와 감정 M_j 시퀀스는 모두 일정 잠재 변수의 영향을 받는다. 이 경우 C_i(t)는 임의의 이전 C_i 상태가 주어질 때 M_j(t - 1)에 의존한다. 마찬가지로 M_j(t)는 임의의 이전 M_j 상태가 주어질 때 C_i(t-1)에 의존한다. 교란 요인은 그 자체로서 시간에 따른 독립 변수로, 테스트 중인 두 시퀀스 아래에 있다. 이 경우 C와 M 사이에 긍정적인 통계적 의존성이 관찰된다. 그러나, C_i(t)의 상태는 이전 상태

가 주어질 때 M_j(t-1)과 완전히 독립적일 수 있으며, M_j(t) 역시 이전 상태

가 주어질 때 C_i(t-1)와 독립적일 수 있다. 다음의 렘마는 동일한 그룹의 조건부 독립성 시험을 사용하여 인식될 수 있다.

Lemma 2: 만약 Ci와 Mj 사이에 잠재 요인이 있다면, 다음의 대칭 관계가 유지된다. (1)

나

를 만족시키는 지연

은 존재하지 않는다. 2)

와

를 만족시키는 지연

과

가 각각 존재한다.

이에 대한 증명은 (1)의 경우 C_i와 M_j는 잠재 요인에 의존하기 때문에 잠재 요인이 없는 주어진 조건 세트에서 서로 의존한다. (2)의 경우,

와

이 각각 C_i와 M_j의 자가 영향 지연이라고 가정하면, 시간 t에서 잠재 요인은 시간 t-1에서의 잠재 요인과 독립적이다. 그러므로

와

를 유지한다.

상기 렘마들에 기초하여, 다음 원리는 인과 방향 검출에 사용되는 비대칭 측정의 정확성을 다음 진술로 확인할 수 있다.

원리 1: 두 시퀀스 C_i와 M_j가 주어지면, 두 시퀀스 사이의 인과 구조에 관한 다음과 같은 명제가 있다. (1)

이면 방향 그래프 g에서

, (2)

이면 g에서

그리고 (3)

또는

이면 C_i와 M_j 사이에 잠재 요인이 있다.

이에 대한 증명은 두 시퀀스 C_i와 M_j 사이에 단 세 개의 방향이 있다고 가정하면, (1)

, (2)

와 (3)

이다. 여기서, H는 잠재 요인을 의미한다. 첫 번째 경우

이고 렘마1을 기초로 한

의 인과 구조는

가 될 수 없다. 두 시퀀스 사이에는 교란 요인이 없다. 따라서, 인과 구조는

가 되어야 한다.

3) 정서적 인과관계 학습 알고리즘: 아래 알고리즘1은 상황 C와 감정 상태 M의 모든 종속 시퀀스 쌍에 대한 비대칭 관계를 기술하고 정서적 모델 g의 기저에 있는 인과 에지의 방향을 검출한다. 알고리즘 1에서는 최대 타임 스탬프 T에 따른 따른 정서적 시퀀스 세트 F = {C,M}, 시퀀스 수 N과 신뢰 임계값 α이 테스트에 대한 입력으로 사용된다. 상술한 입력들이 주어지면, 각 정서 쌍은 각각이 다른 변수에 따라 서로 독립적인지 테스트한다. 알고리즘 1의 복잡성은 종속 쌍 검출 및 S₁과 S₂의 테스트에 의해 결정된다.

이러한 본 발명에 따른 방법은 감정 변화 원인 파악 시스템으로 구현될 수 있다. 예컨대, 본 발명의 일 실시예에 따른 감정 변화 원인 파악 시스템은 획득부, 감지부 및 도출부를 포함할 수 있다. 물론, 여기서의 구성 수단들은 상황에 따라 달라질 수 있다.

획득부는 사용자의 생리적 신호와 상기 사용자의 정면 이미지의 분석을 통해 상기 사용자의 상황 정보를 획득한다.

여기서, 획득부는 이미지 시퀀스에 대한 사용자의 뇌파(EEG) 신호와 심장 박동(PPG) 신호 중 적어도 하나의 생리적 신호와 카메라에 의해 촬영되는 사용자의 정면에 대한 시각적 콘텐츠 이미지를 획득할 수 있다.

감지부는 다수의 라벨이 없는 생리적 신호와 실제 측정 라벨을 사용하는 부분세트를 포함하는 데이터 세트를 이용하여 제1 네트워크를 학습하고, 상기 획득된 생리적 신호를 입력으로 하는 상기 제1 네트워크를 이용하여 상기 사용자의 감정 변화를 감지한다.

여기서, 상기 제1 네트워크는 상기 부분세트의 정서적 라벨에 따라 상기 라벨이 없는 생리적 신호의 표현을 학습하여 상기 데이터 세트에서 노이즈가 있는 의사 라벨을 생성하고, 상기 생성된 의사 라벨과 상기 부분세트의 정서적 라벨에 기초하여 라벨 노이즈를 줄이도록 학습됨으로써, 노이즈가 제거된 감정 상태의 라벨을 추정하여 상기 사용자의 감정 변화를 감지할 수 있다.

나아가, 상기 제1 네트워크는 상기 노이즈가 있는 의사 라벨을 생성하는 제1-1 네트워크와 상기 라벨 노이즈를 줄이도록 학습되어 상기 노이즈가 제거된 감정 상태의 라벨을 추정하는 제1-2 네트워크를 포함하고, 상기 제1-1 네트워크는 상기 획득된 생리적 신호를 입력으로 하는 시간 축에 따라 학습이 진행될 때 시간 마진을 고려하는 시간 마진 기반 분류 손실 함수를 이용하여 학습될 수 있다.

도출부는 상기 감지된 감정 변화와 상기 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출한다.

또한, 본 발명에 따른 방법은 웨어러블 시스템으로 구현될 수 있다. 예컨대, 본 발명의 일 실시예에 따른 웨어러블 시스템은 센서부, 촬영부, 감지부 및 도출부를 포함할 수 있다. 물론, 여기서의 구성 수단들은 상황에 따라 달라질 수 있다.

샌서부는 사용자의 생리적 신호를 획득한다.

촬영부를 상기 사용자의 정면 이미지를 촬영하여 정면 이미지를 획득한다.

도출부는 상기 감지된 감정 변화와 상기 촬영된 정면 이미지의 분석을 통해 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출한다.

비록, 본 발명의 시스템에서 그 설명이 생략되었더라도, 본 발명에 따른 시스템은 상기 도 1 내지 도 4에서 설명한 모든 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

감정 변화 원인 파악 시스템에 의해 수행되는 감정 변화 원인 파악 방법에 있어서,
상기 감정 변화 원인 파악 시스템에 포함되는 획득부에서, 사용자의 생리적 신호와 상기 사용자의 정면 이미지의 분석을 통해 상기 사용자의 상황 정보를 획득하는 단계;
상기 감정 변화 원인 파악 시스템에 포함되는 감지부에서, 다수의 라벨이 없는 생리적 신호와 실제 측정 라벨을 사용하는 부분세트를 포함하는 데이터 세트를 이용하여 제1 네트워크를 학습하고, 상기 획득된 생리적 신호를 입력으로 하는 상기 제1 네트워크를 이용하여 상기 사용자의 감정 변화를 감지하는 단계; 및
상기 감정 변화 원인 파악 시스템에 포함되는 도출부에서, 상기 감지된 감정 변화와 상기 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출하는 단계
를 포함하고,
상기 제1 네트워크는
상기 부분세트의 정서적 라벨에 따라 상기 라벨이 없는 생리적 신호의 표현을 학습하여 상기 데이터 세트에서 노이즈가 있는 의사 라벨을 생성하고, 상기 생성된 의사 라벨과 상기 부분세트의 정서적 라벨에 기초하여 라벨 노이즈를 줄이도록 학습됨으로써, 노이즈가 제거된 감정 상태의 라벨을 추정하여 상기 사용자의 감정 변화를 감지하는 것을 특징으로 하며,
상기 제2 네트워크는
상기 사용자로부터 상황 정보와 감정 시퀀스가 주어지는 경우 상기 상황 정보와 상기 감정 시퀀스 사이의 인과 구조를 모델링하는 정서적 인과관계 모델로 구성되는 방향 그래프와 상기 감정 시퀀스의 정서적 인과관계 효과를 나타내는 에지의 연관 파라미터를 포함하고, 상기 방향 그래프와 상기 에지의 연관 파라미터를 이용하여 상기 감지된 감정 변화와 상기 획득된 상황 정보에 대응하는 정서적 인과관계를 도출하는 것을 특징으로 하는 감정 변화 원인 파악 방법.
삭제
제1항에 있어서,
상기 제1 네트워크는
상기 노이즈가 있는 의사 라벨을 생성하는 제1-1 네트워크와 상기 라벨 노이즈를 줄이도록 학습되어 상기 노이즈가 제거된 감정 상태의 라벨을 추정하는 제1-2 네트워크
를 포함하고,
상기 제1-1 네트워크는
상기 획득된 생리적 신호를 입력으로 하는 시간 축에 따라 학습이 진행될 때 시간 마진을 고려하는 시간 마진 기반 분류 손실 함수를 이용하여 학습되는 것을 특징으로 하는 감정 변화 원인 파악 방법.
제3항에 있어서,
상기 제1-1 네트워크는
이미지 시퀀스에 대해 상기 획득된 생리적 신호에 대한 생리적 특징을 추출하고, 상기 추출된 생리적 특징을 이용하여 스펙트럼-시간 텐서를 구성하며, 상기 구성된 스펙트럼-시간 텐서를 입력으로 하여 상기 시간 마진 기반 분류 손실 함수가 최소화 값으로 수렴되도록 학습하는 것을 특징으로 하는 감정 변화 원인 파악 방법.
삭제
제1항에 있어서,
상기 생리적 신호는
이미지 시퀀스에 대한 상기 사용자의 뇌파 신호와 심장 박동 신호 중 적어도 하나의 생리적 신호를 포함하는 것을 특징으로 하는 감정 변화 원인 파악 방법.
사용자의 생리적 신호와 상기 사용자의 정면 이미지의 분석을 통해 상기 사용자의 상황 정보를 획득하는 획득부;
다수의 라벨이 없는 생리적 신호와 실제 측정 라벨을 사용하는 부분세트를 포함하는 데이터 세트를 이용하여 제1 네트워크를 학습하고, 상기 획득된 생리적 신호를 입력으로 하는 상기 제1 네트워크를 이용하여 상기 사용자의 감정 변화를 감지하는 감지부; 및
상기 감지된 감정 변화와 상기 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출하는 도출부
를 포함하고,
상기 제1 네트워크는
상기 부분세트의 정서적 라벨에 따라 상기 라벨이 없는 생리적 신호의 표현을 학습하여 상기 데이터 세트에서 노이즈가 있는 의사 라벨을 생성하고, 상기 생성된 의사 라벨과 상기 부분세트의 정서적 라벨에 기초하여 라벨 노이즈를 줄이도록 학습됨으로써, 노이즈가 제거된 감정 상태의 라벨을 추정하여 상기 사용자의 감정 변화를 감지하는 것을 특징으로 하며,
상기 제2 네트워크는
상기 사용자로부터 상황 정보와 감정 시퀀스가 주어지는 경우 상기 상황 정보와 상기 감정 시퀀스 사이의 인과 구조를 모델링하는 정서적 인과관계 모델로 구성되는 방향 그래프와 상기 감정 시퀀스의 정서적 인과관계 효과를 나타내는 에지의 연관 파라미터를 포함하고, 상기 방향 그래프와 상기 에지의 연관 파라미터를 이용하여 상기 감지된 감정 변화와 상기 획득된 상황 정보에 대응하는 정서적 인과관계를 도출하는 것을 특징으로 하는 감정 변화 원인 파악 시스템.
삭제
제7항에 있어서,
상기 제1 네트워크는
상기 노이즈가 있는 의사 라벨을 생성하는 제1-1 네트워크와 상기 라벨 노이즈를 줄이도록 학습되어 상기 노이즈가 제거된 감정 상태의 라벨을 추정하는 제1-2 네트워크
를 포함하고,
상기 제1-1 네트워크는
상기 획득된 생리적 신호를 입력으로 하는 시간 축에 따라 학습이 진행될 때 시간 마진을 고려하는 시간 마진 기반 분류 손실 함수를 이용하여 학습되는 것을 특징으로 하는 감정 변화 원인 파악 시스템.
제9항에 있어서,
상기 제1-1 네트워크는
이미지 시퀀스에 대해 상기 획득된 생리적 신호에 대한 생리적 특징을 추출하고, 상기 추출된 생리적 특징을 이용하여 스펙트럼-시간 텐서를 구성하며, 상기 구성된 스펙트럼-시간 텐서를 입력으로 하여 상기 시간 마진 기반 분류 손실 함수가 최소화 값으로 수렴되도록 학습하는 것을 특징으로 하는 감정 변화 원인 파악 시스템.
삭제
제7항에 있어서,
상기 생리적 신호는
이미지 시퀀스에 대한 상기 사용자의 뇌파 신호와 심장 박동 신호 중 적어도 하나의 생리적 신호를 포함하는 것을 특징으로 하는 감정 변화 원인 파악 시스템.
삭제
사용자의 생리적 신호를 획득하는 센서부;
상기 사용자의 정면 이미지를 촬영하는 촬영부;
다수의 라벨이 없는 생리적 신호와 실제 측정 라벨을 사용하는 부분세트를 포함하는 데이터 세트를 이용하여 제1 네트워크를 학습하고, 상기 획득된 생리적 신호를 입력으로 하는 상기 제1 네트워크를 이용하여 상기 사용자의 감정 변화를 감지하는 감지부; 및
상기 감지된 감정 변화와 상기 촬영된 정면 이미지의 분석을 통해 획득된 상황 정보를 입력으로 하는 미리 학습된 제2 네트워크를 이용하여 상기 사용자의 감정 변화에 대한 원인이 되는 정서적 인과관계를 도출하는 도출부
를 포함하고,
상기 제1 네트워크는
상기 부분세트의 정서적 라벨에 따라 상기 라벨이 없는 생리적 신호의 표현을 학습하여 상기 데이터 세트에서 노이즈가 있는 의사 라벨을 생성하고, 상기 생성된 의사 라벨과 상기 부분세트의 정서적 라벨에 기초하여 라벨 노이즈를 줄이도록 학습됨으로써, 노이즈가 제거된 감정 상태의 라벨을 추정하여 상기 사용자의 감정 변화를 감지하는 것을 특징으로 하며,
상기 제2 네트워크는
상기 사용자로부터 상황 정보와 감정 시퀀스가 주어지는 경우 상기 상황 정보와 상기 감정 시퀀스 사이의 인과 구조를 모델링하는 정서적 인과관계 모델로 구성되는 방향 그래프와 상기 감정 시퀀스의 정서적 인과관계 효과를 나타내는 에지의 연관 파라미터를 포함하고, 상기 방향 그래프와 상기 에지의 연관 파라미터를 이용하여 상기 감지된 감정 변화와 상기 획득된 상황 정보에 대응하는 정서적 인과관계를 도출하는 것을 특징으로 하는 웨어러블 시스템.