KR20130022165A - 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템 - Google Patents

Abstract

본 발명은 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템에 관한 것이다. 더욱 상세하게는, 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템에 관한 것으로, 보다 구체적으로는, 심리학 및 인지과학 분야에서 인간의 감정을 구성하는 정서적 감응요소로 알려진 것들(Arousal, Valence, Dominance 등)에 대한 명시적 감응 정도 데이터를 이용하여 정서적 감응요소의 다차원으로 구성되는 감정모델에 대응되는 인간의 감정을 예측하기 위한 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템에 관한 것이다. 본 발명은, 적어도 하나 이상의 감응요소에 대한 다수의 감정측정 대상객체에 대한 감정예측 대상사용자의 정서적 감응치를 측정한다. 이후 상기 감응요소 각각에 대해 상기 감정예측 대상객체에 감응치 데이터가 있는 다른 사용자에 대한 정서 유사도를 산출하며, 정서 유사도 수치에 따라 내림차순으로 정렬한다. 그에 따라, 상기 내림차순으로 정렬된 정서 유사도를 기준으로 상기 감응요소 각각에 대해 미리 정해진 숫자만큼의 최근접 유사사용자들을 추출한다. 최종적으로 상기 최근접 유사사용자들의 감정예측 대상객체에 해당하는 감응치와 상기 정서 유사도를 이용한 가중 평균에 따라 상기 감정예측 대상사용자의 감정예측 대상객체의 감응치를 예측하는 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템을 제공한다.

Description

유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템{SYSTEM FOR PREDICTION OF EMOTIONAL RESPONSE BASED ON RESPONSIBILITY VALUE OF USER-GROUP HAVING SIMILAR EMOTION, AND METHOD OF THEREOF}

개시된 기술은, 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템에 관한 것으로, 보다 구체적으로는, 심리학 및 인지과학 분야에서 인간의 감정을 구성하는 정서적 감응요소로 알려진 것들(Arousal, Valence, Dominance 등)에 대한 명시적 감응 정도 데이터를 이용하여 정서적 감응요소의 다차원으로 구성되는 감정모델에 대응되는 인간의 감정을 예측하기 위한 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템에 관한 것이다.

Human-Computer Interaction(HCI) 분야는 과거 인간과 컴퓨터 사이의 물리적인 단방향 인터페이스 중심에서 인간과 컴퓨터가 서로 양방향 상호 작용하는 개념으로 기술의 개발이 진행되어 왔다. 최근에는 인간과 컴퓨터의 외형적인 상호 작용과 더불어, 감성적 교감을 통한 인터페이스의 관점에서 인간의 감정을 컴퓨터가 예측하거나 인식하게 하기 위한 기술인 "감성 컴퓨팅"(Affective Computing)에 관한 연구가 활발하다. 종래의 감성 컴퓨팅에 관한 기술은 외부로 표출되는 인간의 주요 요소의 특징을 파악하여 그 패턴을 인식하는 방법이 주를 이룬다. 인간이 감정을 느낄 때 표출되는 얼굴 표정 영상 또는 목소리의 변화 등을 패턴 인식 기술을 통해 감지함으로써 인간의 잠재적인 감정을 인식 및 예측하는 방법이다. 먼저, 영상 및 음성 정보를 사용하는 종래의 방법은 신뢰성 있는 데이터베이스의 구축이 매우 어려워서 감정예측 및 인식 결과에 대한 신뢰성을 보장하기 어려우며, 데이터베이스에 종속적인 경우에는 개인별 영상 및 음성 데이터베이스가 필요한데, 실세계 적용 관점에서 활용도 및 실용성이 낮다. 또한, 종래의 영상이나 음성을 이용한 감성 컴퓨팅은 사람마다 각각의 감정에 대한 얼굴 및 목소리로 표출되는 형태가 다르기 때문에 개인별 특징을 추출하는 방법을 사용한다. 그러나 시간이 지날수록 또는 예기치 않은 사고나 정신적인 충격 등에 의해 인간의 외모 및 목소리가 변화할 수 있으며, 감정에 대한 특징이 변화하므로, 이에 대한 반영이 용이하지 않는 문제점이 있다. 한편, 영상 및 음성 정보를 활용하는 감성 컴퓨팅 방법은 하드웨어의 사양에 입력 데이터를 맞춰야 한다. 얼굴 표정의 경우, 카메라의 화소수나 화각 등의 사양에 큰 영향을 받으며, 목소리의 경우에는 마이크의 성능에 따라 입력의 질과 목소리 크기 등이 달라진다. 이러한 사실은 데이터베이스의 조건에 맞추어 사용자가 자신의 얼굴 표정 및 목소리를 입력하는 것을 매우 어렵게 만들며, 감정 인식 및 예측 결과의 신뢰성을 보장할 수 없는 문제점이 있다.

이와 같이, 얼굴 표정이나 목소리를 이용하는 종래의 기술은 영상의 경우 조도와 각도 및 촬영된 영상에서 사용자의 얼굴 영역을 제외한 다른 영역에 나타난 객체에 매우 민감하며, 목소리는 마이크의 사양 및 사용자의 거리 그리고 노이즈에 매우 민감하다. 이러한 환경적 제약은 실세계 적용 시에 현재의 기술로서는 해결 불가능에 가까운 문제가 있다. 이에 따라 감성 컴퓨팅 분야에 있어서는 잠재적 감정예측시 상술한 문제점을 개선하고 외부적 제약이 없어서 손쉽게 다양한 응용 분야에 적용 가능한 기술에 대한 개발이 요구되고 있다.

[관련기술문헌]

1. 음성을 이용한 감정인식 시스템 및 감정인식 방법(특허출원번호: 제10-2002-0067348호)

개시된 기술이 이루고자 하는 기술적 과제는, 감정예측 대상객체에 대해서 정서적 감응치 측정 기록이 있는 다른 모든 사용자들과의 정서 상태와 비교함으로써 유사한 정서 상태를 보이는 사용자 집단을 발견하여 감정예측 대상객체에 대한 감응치를 예측한 뒤, 감정모델의 맵핑에 의해 감정을 예측하기 위한 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템을 제공하기 위한 것이다.

또한, 본 발명은 종래의 잠재적 감정 인식 및 예측 기술이 가진 데이터베이스의 구축에 관한 문제, 개인별 감정 표출의 차이에 관한 문제, 하드웨어적 관점에서의 감정예측 대상정보 수집에 관한 문제, 그리고 환경적 제약에 관한 문제를 크게 개선할 수 있으며, 장소와 환경의 제약이 없어서 손쉽게 다양한 응용 분야에 적용 가능한 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템을 제공하기 위한 것이다.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위해 개시된 기술의 제 1측면은, 적어도 하나 이상의 감응요소에 대한 다수의 감정측정 대상객체에 대한 감정예측 대상사용자의 정서적 감응치를 측정하는 제 1단계; 상기 감응요소 각각에 대해 상기 감정예측 대상객체에 감응치 데이터가 있는 다른 사용자에 대한 정서 유사도를 산출하며, 정서 유사도 수치 순서대로 내림차순으로 정렬하는 제 2단계; 상기 내림차순으로 정렬된 정서 유사도를 기준으로 상기 감응요소 각각에 대해 미리 정해진 숫자만큼의 최근접 유사사용자들을 추출하는 제 3단계; 및 상기 최근접 유사사용자들의 감정예측 대상객체에 해당하는 감응치와 상기 정서 유사도를 이용한 가중 평균에 따라 상기 감정예측 대상사용자의 감정예측 대상객체의 감응치를 예측하는 제 4단계; 를 포함하는 감정예측 방법을 제공한다.

상기 기술적 과제를 달성하기 위해 개시된 기술의 제 2측면은, 적어도 하나 이상의 감응요소에 대한 다수의 감정측정 대상객체에 대한 감정예측 대상사용자의 정서적 감응치를 측정하는 정서적 감응치 측정부; 및 상기 감정예측 대상객체의 감응치를 예측하는 감정예측부; 를 포함하는 감정예측 시스템에 있어서, 상기 감정예측부는, 상기 감응요소 각각에 대해 상기 감정예측 대상객체에 감응치 데이터가 있는 다른 사용자에 대한 정서 유사도를 산출하며, 정서 유사도 수치 순서대로 내림차순으로 정렬하는 유사 정서 사용자집단 분석모듈; 상기 내림차순으로 정렬된 정서 유사도를 기준으로 상기 감응요소 각각에 대해 미리 정해진 숫자만큼의 최근접 유사사용자들을 추출하는 최근접 유사사용자 추출모듈; 및 상기 최근접 유사사용자들의 감정예측 대상객체에 해당하는 감응치와 상기 정서 유사도를 이용한 가중 평균에 따라 상기 감정예측 대상사용자의 감정예측 대상객체의 감응치를 예측하는 감응치 예측모듈; 를 포함하는 감정예측 시스템을 제공한다.

본 발명의 실시예에 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템은 감정예측 대상객체에 대해서 정서적 감응치 측정 기록이 있는 다른 모든 사용자들과의 정서 상태와 비교함으로써 유사한 정서 상태를 보이는 사용자 집단을 발견하여 감정예측 대상객체에 대한 감응치를 예측한 뒤, 감정모델의 맵핑에 의해 감정을 예측하는 효과를 제공한다.

또한, 종래의 잠재적 감정 인식 및 예측 기술이 가진 데이터베이스의 구축에 관한 문제, 개인별 감정 표출의 차이에 관한 문제, 하드웨어적 관점에서의 감정예측 대상정보 수집에 관한 문제, 그리고 환경적 제약에 관한 문제를 크게 개선할 수 있으며, 장소와 환경의 제약이 없어서 손쉽게 다양한 응용 분야에 적용 가능한 효과를 제공한다.

뿐만 아니라, 본 발명의 다른 실시예에 따른 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법 및 시스템은, 단독으로 활용하여도 뛰어난 성능을 보이지만, 종래의 영상 및 음성 정보를 이용한 감정 인식 및 예측 방법과 결합하여 시너지 효과를 얻을 수 있도록 하는 효과를 제공한다.

도 1은 본 발명의 실시예에 따른 유사 정서 사용자집단의 감응치에 기반한 감정예측 시스템을 나타내는 도면이다.
도 2는 도 1의 집단정서 데이터베이스를 구성하는 각 감응요소데이터베이스의 구조를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 정서적 감응치 측정 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 클러스터링 방법 및 선형적 유사도 측정을 위한 특징 벡터 추출 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 적용되는 Thayer's 2-dimensional emotion model 기반 감정예측 개념을 설명하기 위한 도면이다.
도 6은 본 발명에서의 Arousal 감응치 예측 성능 측정 실험 결과를 나타내는 그래프이다.
도 7은 본 발명에서의 Valence 감응치 예측 성능 측정 실험 결과를 나타내는 그래프이다.
도 8은 본 발명에서의 Arousal 및 Valence 예측 결과를 이용하여 Thayer의 X축(Valence) 및 Y축(Arousal)으로 구성된 2차원 감정모델에 맵핑한 후, 실제 사용자가 평가한 감응치로 구성된 감정 위치에 대한 직선거리 절대오차를 나타낸 도표이다.
도 9는 본 발명의 실시예에 따른 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법을 나타내는 흐름도이다.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

공학적 측면에서의 감정의 인식과 예측은 그 의미가 엄연히 다르나 혼용되어 사용되고 있다. 정확한 의미를 설명하면, "감정의 예측"이란 감정 유발 자극 이전에 사람이 어떤 감정을 느낄 것인지 파악하는 것이며, "감정의 인식"이란 감정 유발 자극 이후에 사람이 어떤 감정을 느꼈는지 파악하는 것이다. 이 중에서 본 발명은 감정의 예측 방법 및 시스템으로 분류되는 것을 명확히 한다.

도 1은 본 발명의 실시예에 따른 유사 정서 사용자집단의 감응치에 기반한 감정예측 시스템을 나타내는 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 감정예측 시스템은, 감정예측 대상객체 입력부(10), 정서적 감응치 측정부(20), 감정예측부(30), 감정예측 결과출력부(40), 성능측정부(50) 및 집단정서 데이터베이스(60)를 포함한다.

감정예측 대상객체 입력부(10)는 감정예측 대상사용자, 다수의 감정측정 대상객체, 그리고 감정예측 대상객체의 선택을 입력받는 모듈이다. 보다 구체적으로, 감정예측 대상객체 입력부(10)는 집단정서 데이터베이스(60)에 존재하는 다수의 감정측정 대상객체에 대한 선택을 입력을 받는다. 또한, 감정예측 대상객체 입력부(10)는 집단정서 데이터베이스(60)에 존재하는 다수의 감정측정 대상객체 중 감정예측 대상객체에 대한 선택을 받는다. 뿐만 아니라, 감정예측 대상객체 입력부(10)는 감정예측 대상사용자의 선택을 입력받는다.

여기서, 다수의 감정측정 대상객체는 집단정서 데이터베이스(60)의 감정 자극객체 템플릿(62)에 포함되어 있는 다수의 객체로 구성되며, 감정예측 대상객체도 집단정서 데이터베이스(60)의 감정 자극객체 템플릿(62)에 포함되어 있는 객체 중 하나이다. 정서적 감응치 측정부(20)는 집단정서 데이터베이스(60)에 감정예측 대상사용자를 추가하며, 이미 존재하는 경우 추가과정을 생략한다.

또한, 정서적 감응치 측정부(20)는 다수의 감정측정 대상객체에 대한 감정예측 대상사용자의 정서적 감응치를 측정한다. 여기서 정서적 감응치는 감정모델을 구성하는 다수의 감응요소에 대해서 수행한다. 보다 구체적으로 살펴보면, 정서적 감응치 측정부(20)는 다수의 감정측정 대상객체에 대한 감정예측 대상사용자의 정서적 감응치를 일정한 범위의 명시적 숫자 형태로 측정한다.

하나의 감정측정 대상객체에 대한 정서적 감응요소 개수는 집단정서 데이터베이스(60)에 포함된 감응요소데이터베이스(61: 61-1 내지 61-n)의 개수(n: n은 자연수)와 동일하며, 각 정서적 감응요소에 대한 감응치는 동일한 범위의 정수형 또는 실수형 범위로 구성된다.

도 2는 본 발명에서 제시하는 감정예측 시스템의 각 감응요소데이터베이스(61)의 구조를 보인다. 집단정서 데이터베이스(60)가 n개의 감응요소를 포함하고 있다면 도 2와 같은 구조의 테이블이 n개 존재한다. 각 감응요소데이터베이스(61: 61-1 내지 61-n)에서의 객체 j와 사용자 i(j, i: 자연수)의 고유번호는 완전히 동일하다.

한편, 정서적 감응치 측정부(20)에 의한 정서적 감응치 측정 방법의 예시는 도 3과 같다. 즉, 정서적 감응치 측정부(20)는 감정예측 대상사용자를 신규사용자로 추가하고, 집단정서 데이터베이스(60)에 포함된 다수의 감정측정 대상객체에서 임의의 감정측정 대상객체들을 감정예측 대상사용자에게 노출하여 감정을 자극한 후(S1), 집단정서 데이터베이스(60)에 포함된 n개의 감응요소 각각에 대해서 정서적 감응치 측정단말기(2)를 통해 입력받는다(S2). 정서적 감응치 측정단말기(2)는 사용자가 입력한 정서적 감응치를 집단정서 데이터베이스(60)에 포함된 각 감응요소데이터베이스(61-1 내지 61-n)에 입력한다(S3). 이때 노출되는 다수의 감정측정 대상객체의 개수가 많을수록 감정예측 정확성은 높아지지만 계산 량이 증가한다.

한편, 집단정서 데이터베이스(60)에 감정예측 대상사용자의 정서적 감응치에 대한 정서 정보가 존재한다면 본 절차는 수행될 필요가 없으나, 더욱 정확한 인식 결과의 도출을 위해서 추가적으로 수행할 수 있다.

감정예측부(30)는 유사 정서 사용자집단 분류모듈(31), 최근접 유사사용자 추출모듈(32), 감응치 예측모듈(33) 및 감정모델 맵핑모듈(34)을 포함한다.

유사 정서 사용자집단 분류모듈(31)는 각 감응요소에 대해 수행하며, 감정예측 대상객체에 감응치 데이터가 있는 다른 사용자에 대한 정서 유사도를 산출하며, 정서 유사도 수치에 따라 내림차순으로 정렬한다.

보다 구체적으로 살펴보면, 유사 정서 사용자집단 분류기(31)는 감정예측 대상객체에 대한 감응치를 평가한 기록이 존재하는 다른 사용자들을 대상으로 클러스터링 기법(k-means 및 fuzzy c-means 등) 또는 사용자 사이의 선형적 유사도 측정 방법(피어슨 상관계수, 스피어만 상관계수, 코사인 유사도 등)을 사용하여 감정예측 대상사용자와 유사한 사용자들을 분류하고 유사도 수치에 따라 내림차순 정렬한다. k-means 등의 클러스터링 기법을 사용하는 경우에는 다차원 평면상에서 감정예측 대상사용자와 "거리"가 가까운 사용자가 유사 순위가 높고, 선형적 유사도 측정 방법을 사용하는 경우에는 감정예측 대상사용자와 "유사도 측정 수치"가 높은 사용자가 높은 순위를 차지한다.

도 4를 참조하면, 클러스터링 방법 및 선형적 유사도 측정을 위한 특징 벡터 추출 방법을 보인다. 감정예측 대상사용자와 다른 사용자 x와의 정서 유사도를 측정하거나 거리를 계산하기 위해서 두 사용자에 대해 동시에 평가한 감정측정 대상객체의 감응치를 사용한다. 도 4의 경우는 두 사용자의 정서 유사성 비교를 위해서 4차원의 특징 벡터를 사용하는 경우를 나타낸다. 특징 벡터의 차원 개수는 최대 감정측정 대상객체 개수만큼 가능하지만 정서적 감응치 측정부(20)에서 감정인식 대상사용자에게 노출한 감정측정 대상객체의 개수가 최대치가 된다. P는 가상의 감정예측 대상객체를 나타낸다.

최근접 유사사용자 추출모듈(32)은 각 감응요소에 대해 수행하며, 미리 정해진 숫자만큼의 최근접 유사사용자를 추출한다. 보다 구체적으로 살펴보면, 최근접 유사사용자 추출모듈(32)은 각각의 감응요소에 대해 유사도 수치에 따라 내림차순 정렬된 사용자 목록에서 감응치 예측에 활용할 최근접 유사사용자들을 선택한다.

최근접 유사사용자는 동일한 객체들에 대해서 감정예측 대상사용자와 유사한 정서적 감응을 보인 사용자로 감정예측 대상사용자와 정서 상태가 유사한 사용자들이다.

최근접 유사사용자 선택 위한 방법으로 다양한 방법이 고려된다.

첫째는 정서 유사도 상위 K명의 사용자를 선택하는 방법이다. 이때, K는 미리 지정되는 상수로서 가장 보편적인 방법이다.

둘째는, 정서 유사도가 특정 임계치 이상의 사용자들을 선택하는 방법이다. 이때, 임계치는 정사 유사성 척도에 따라서 미리 지정되는 상수이다.

셋째는, 정서 유사도 상위 K명과 하위 N명을 선택하는 방법이다. 정서 유사도가 애매한 사용자를 제외하면서 감정예측 대상사용자와 유사한 K명의 사용자 및 유사하지 않은 사용자 N명 정보를 골고루 반영할 수 있어서 정서 상태가 유사한 사용자들과 정서 상태가 유사하지 않은 사용자들의 정보를 활용 가능하다. 여기서, K와 N은 미리 지정되는 상수로서 동일한 값을 지정할 수 있다. 감응치 예측모듈(33)은 각 감응요소에 대해 최근접 유사사용자들의 감정예측 대상객체에 해당하는 감응치를 이용하여 감정예측 대상자의 감정예측 대상객체에 해당하는 감응치를 예측한다. 이때, 감응치 예측모듈(33)은 각각의 감응요소에 대해 가중 평균(Weighted Average)을 이용하여 감응치를 예측한다. 보다 구체적으로, 최근접 유사사용자들의 [정서 유사도×감응치]의 합계를 최근접 유사사용자들의 감응치 합계로 디바이드(Divide) 함으로써, 감응치를 예측한다. 감정모델 맵핑모듈(34)은 감응치 예측모델(33)에 의해 감정예측 대상객체에 대한 감응치가 예측되면, 예측된 감응치를 다차원 감정모델에 의해 맵핑함으로써 감정을 예측한다.

다시 말해, 감정모델 맵핑모듈(34)은 심리학 및 인지과학 분야에서 연구된 결과에 따르면 인간의 감정은 감정을 구성하는 감응요소들에 대한 감응치에 따라 결정된다고 알려져 있으므로, 이러한 근거에 대해 다차원으로 구성되는 감정모델에 감응치 예측값을 이용하여 맵핑을 수행한다.

도 5는 감정모델 맵핑모듈(34)에 의해 수행되는 Arousal 및 Valence의 2차원 감응요소를 이용한 감정모델 중 하나를 이용한 감정모델 맵핑 방법의 개념을 보인 것이다. 여기서 2차원 감응요소 중 Arousal 요소는 자극의 크기를 의미하며, Valence 요소는 긍정·부정을 의미한다. 도 5를 참조하면, Thayer's 2차원 감정모델에 기반한 감정예측 개념 및 사용자 3과 사용자 6의 특징 벡터 추출의 예를 함께 보인다. 본 발명의 맵핑모듈(34)은 1차원 또는 다차원으로 구성되는 감응요소에 기반하는 감정모델로 확장될 수 방법을 사용한다.

감정예측 결과출력부(40)는 감정모델 맵핑모듈(34)에 의해 형성된 감정모델에 의해 예측된 감정을 사용자에게 출력한다. 출력되는 감정은 감정예측 대상객체 입력부(10)로 입력된 감정예측 대상객체에 대한 감정예측 대상사용자의 감정을 예측한 결과이다. 도 5와 같이, Thayer's 감정모델을 본 발명에서 제안하는 감정예측 시스템에 적용하는 경우를 고려하면, 감응요소로서 Arousal 및 Valence를 사용하므로 집단감성 데이터베이스(60)에 포함된 감응요소는 2개가 된다.

정서적 감응치 측정부(20)에서 임의의 감정측정 대상객체에 대해 Arousal 및 Valence를 측정하고, 감응치 예측모듈(33)에 의해 Arousal 및 Valence 각각에 대한 정서적 감응치를 예측한 후, 감정모델 맵핑모듈(34)에 의한 도 5의 Thayer's 감정모델과 같은 다차원 감정모델을 맵핑함으로써, 감정을 예측한다.

요약하자면, 감응요소 1의 감응치, 감응요소 2의 감응치, ...., 감응요소 n의 감응치로 구성되어 있으므로, 각 감응요소의 감응치를 예측함으로써, 사용자인 감정예측 대상사용자의 감정을 예측하는 것이다. 또한, 그 과정에서 상술한 예인 Arousal 요소 및 Valence로 이루어진 감응요소 별로 정서 유사도 예측을 이용하여 감정을 예측하는 것이다.

성능측정부(50)는 감정예측 대상객체에 대한 감정예측 대상사용자의 명시적인 감응치를 입력받은 뒤, 감응치 예측모듈(33)에 의해 예측된 정서적 감응치의 예측한 값과 비교하여 절대 오차를 산출한다. 보다 구체적으로 살펴보면, 성능측정부(50)는 2가지 방식으로 구현된다. 첫째의 방식은 상술한 바와 같이, 각각의 감응요소에 대한 절대 오차를 구하는 것으로, 각각의 감응요소에 대한 예측 성능을 평가하는 것이다. 감정예측 후에 사용자가 명시적으로 입력한 실제 감응치와 예측된 감응치의 차이의 절대값이다. 또 다른 방식인 둘째의 방식으로, 감정모델 상에서 사용자가 직접 평가한 정서적 감응치에 의해 맵핑된 지점과 제안하는 방법에 의해 맵핑된 지점 사이의 유클리드 거리를 산출하여 감정예측 결과에 대한 정량적 성능을 구하는 것이다. 한편, 상술한 감응요소의 개수는 감정모델에 따라 가변적이며, 감응치 또한 일정 범위의 실수 또는 정수형 범위로 설정할 수 있다. 감정측정 대상객체와 사용자의 수가 많을수록 우수한 감정 인식 성능을 보인다. 또한, 본 발명에서 제안하는 감정예측 시스템이 원활하게 동작하기 위해서는 집단정서 데이터베이스(60)에 포함된 각 감응요소데이터베이스(61-1 내지 61-n)가 2명 이상의 사용자 및 2개 이상의 객체에 대한 감응치를 포함하고 있어야 한다.

도 6은 Arousal 감응치 예측 성능 측정 실험 결과를 나타내는 그래프이며, 도 7은 Valence 감응치 예측 성능 측정 실험 결과를 나타내는 그래프이다. 도 6 및 도 7을 참조하면, 본 발명의 감응치 예측 성능 검증을 위해 자체적으로 구축한 집단정서 데이터베이스(60)를 이용한 성능 평가를 실시한 것으로, 본 발명에서 제안하는 방법 및 시스템의 성능 측정을 위한 일례이다.

이 성능 평가에서는 69명의 사용자를 대상으로 하여, 관련 연구 분야에서 감정 자극을 위해 보편적으로 사용되는 국제정서사진체계(International Affective Picture System, IAPS) 1000장의 사진을 가지고 감정 자극을 유발하여 1부터 9까지의 정수형 감응치 범위를 가지고 Arousal 및 Valence로 구성된 집단정서 데이터베이스(60)를 구축하였다.

즉, 69×1000 크기의 감응요소데이터베이스(61) 2개로 구성된 집단정서 데이터베이스이다. 집단정서 데이터베이스(60)에 포함된 각 감정자극 객체 템플릿(62)에서 20%의 데이터를 임의로 추출한 후 감응치를 숨기고 예측을 시도하였다. 예측된 감응치와 숨긴 감응치의 절대 평균 오차(Mean Absolute Error)를 이용하여 각 감응요소에 대한 성능을 측정하였고, Thayer의 2차원 감정모델에 예측된 감정을 맵핑하여, 숨긴 감응치의 조합으로 맵핑되는 실제 사용자의 명시적 감정과의 직선거리를 측정함으로써 감정예측의 성능을 측정하였다.

도 6, 도 7, 도 8의 성능 측정 실험에서 유사 정서 사용자집단 분류기(31)에 의한 유사도 측정에 사용된 알고리즘은 코사인 유사도(COS), 피어슨 상관계수(PCC), 원점 모멘트 기반 유사도(RMS), 최근접 유사사용자의 점수 평균(AVG. of K), 감정예측 대상사용자의 점수 평균(AVG. of user), 감정예측 대상 아이템의 점수 평균(AVG. of item) 등을 이용하였다.

도 6을 참조하여 Arousal의 예측 결과에 대한 성능 평가 결과를 살펴보면, X축은 최근접 유사사용자 개수를 나타내며, Y축은 X축에 대한 절대 평균 오차를 보인다. 수치가 낮을수록 높은 성능을 나타낸다. 감응치의 범위는 1부터 9까지의 정수형이다.

도 7을 참조하여 Valence의 예측 결과에 대한 성능 평가 결과를 살펴보면, X축은 최근접 유사사용자 개수를 나타내며, Y축은 X축에 대한 절대 평균 오차를 보인다. 수치가 낮을수록 높은 성능을 의미한다. 감응치의 범위는 1부터 9까지의 정수형이다.

도 8은 Arousal 및 Valence 예측 결과를 이용하여 Thayer의 X축(Valence) 및 Y축(Arousal)으로 구성된 2차원 감정모델에 맵핑한 후, 실제 사용자가 평가한 감응치로 구성된 감정 위치에 대한 직선거리 절대오차를 나타낸 것이다.

도 5의 감정 맵에서의 두 점은 이러한 개념을 예로서 설명한다. 즉, 다차원 공간상의 두 점 사이의 직선거리를 이용한 정량적인 감정 인식 성능을 나타낸다. 직선거리 오차를 위한 거리 측정 방법으로는 유클리드 거리, 맨하탄 거리, 마할라노비스 거리 등의 평면 또는 벡터, 유클리드 공간 등에서 직선거리를 측정하는 알고리즘을 고려할 수 있다.

도 9는 본 발명의 실시예에 따른 유사 정서 사용자집단의 감응치에 기반한 감정예측 방법을 나타내는 흐름도이다. 이하에서는, 감정예측 방법의 요지를 분명하게 하기 위해 상술한 감정예측 시스템의 세부구성을 구분하여 설명하지 않고 감정예측 시스템으로 통칭하여 설명하도록 한다. 도 9를 참조하면, 감정예측 시스템은 감정예측 대상사용자", "다수의 감정측정 대상객체", 그리고 "감정예측 대상객체"의 선택을 입력받는다(S10).

감정예측 시스템은 다수의 감정측정 대상객체에 대한 감정예측 대상사용자의 정서적 감응치를 측정하며, 여기서 정서적 감응치 측정은 감정모델을 구성하는 다수의 감응요소에 대해서 수행한다(S11). 보다 구체적으로 살펴보면, 감정예측 시스템은 다수의 감정측정 대상객체에 대한 감정예측 대상사용자의 정서적 감응치를 일정한 범위의 명시적 숫자 형태로 측정한다.

단계(S11) 이후, 감정예측 시스템은 각 감응요소에 대해 감정예측 대상객체에 감응치 데이터가 있는 다른 사용자에 대한 정서 유사도를 산출하며, 정서 유사도 수치가 큰 순서대로 내림차순으로 정렬한다(S12).

보다 구체적으로 살펴보면, 감정예측 시스템은 감정예측 대상객체에 대한 감응치를 평가한 기록이 존재하는 다른 사용자들을 대상으로 클러스터링 기법(k-means 및 fuzzy c-means 등) 또는 사용자 사이의 선형적 유사도 측정 방법(피어슨 상관계수, 스피어만 상관계수, 코사인 유사도 등)을 사용하여 감정예측 대상사용자와 유사한 사용자들을 분류하고 유사도 수치에 따라 내림차순 정렬한다.

단계(S12) 이후, 감정예측 시스템은 단계(S12)에 따라 내림차순으로 정렬된 정서 유사도를 기준으로 각 감응요소에 대해 미리 정해진 숫자만큼의 최근접 유사사용자를 추출한다(S13).

보다 구체적으로 살펴보면, 감정예측 시스템은 각각의 감응요소에 대해 유사도 수치에 따라 내림차순 정렬된 사용자 목록에서 감응치 예측에 활용할 최근접 유사사용자들을 선택한다. 여기서, 최근접 유사사용자는 동일한 객체들에 대해서 감정예측 대상사용자와 유사한 정서적 감응을 보인 사용자로 감정예측 대상사용자와 정서 상태가 유사한 사용자들이다.

단계(S13) 이후, 감정예측 시스템은 최근접 유사사용자들의 감정예측 대상객체에 해당하는 감응치와 단계(S12)에서의 정서 유사도를 이용한 가중 평균에 따라 감정예측 대상사용자의 감정예측 대상객체의 감응치를 예측한다(S14).

보다 구체적으로, 감정예측 시스템은 최근접 유사사용자들의 [정서 유사도×감응치]의 합계를 최근접 유사사용자들의 감응치 합계로 디바이드(Divide) 함으로써, 감응치를 예측한다.

단계(S14) 이후, 감정예측 시스템은 단계(S15)에서 예측된 감응치를 다차원 감정모델에 의한 맵핑을 수행하여 감정예측 대상사용자의 감정을 예측한다(S15).

보다 구체적으로, 감정예측 시스템은 Thayer's 2차원 감정모델에 기반한 감정예측 개념을 사용할 수 있다.

단계(S15) 이후, 감정예측 시스템은 감정모델 단계(S14)에서 형성된 감정모델에 의해 예측된 감정을 감정예측 대상사용자에게 출력한다(S16).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

10: 감정예측 대상객체 입력부 20: 정서적 감응치 측정부
30: 감정예측부 31: 유사 정서 사용자집단 분류모듈
32: 최근접 유사사용자 추출모듈 33: 감응치 예측모듈
34: 감정모델 맵핑모듈 40: 감정예측 결과출력부
50: 성능측정부 60: 집단정서 데이터베이스
61: 감응요소데이터베이스 62: 감정 자극객체 템플릿

Claims (21)

1. 적어도 하나 이상의 감응요소에 대한 다수의 감정측정 대상객체에 대한 감정예측 대상사용자의 정서적 감응치를 측정하는 제 1단계;
   상기 감응요소 각각에 대해 상기 감정예측 대상객체에 감응치 데이터가 있는 다른 사용자에 대한 정서 유사도를 산출하며, 정서 유사도 수치의 내림차순으로 정렬하는 제 2단계;
   상기 내림차순으로 정렬된 정서 유사도를 기준으로 상기 감응요소 각각에 대해 미리 정해진 숫자만큼의 최근접 유사사용자들을 추출하는 제 3단계; 및
   상기 최근접 유사사용자들의 감정예측 대상객체에 해당하는 감응치와 상기 정서 유사도를 이용한 가중 평균에 따라 상기 감정예측 대상사용자의 감정예측 대상객체의 감응치를 예측하는 제 4단계; 를 포함하는 감정예측 방법.
2. 제 1항에 있어서, 상기 제 4단계 이후에 수행되는,
   상기 예측된 감응치를 다차원 감정모델에 의한 맵핑을 수행하여 상기 감정예측 대상사용자의 감정을 예측하는 제 5단계; 및
   상기 감정모델에 의해 예측된 감정을 상기 감정예측 대상사용자에게 출력하는 제 6단계; 를 더 포함하는 감정예측 방법.
3. 제 1항에 있어서, 상기 제 4단계는,
   상기 최근접 유사사용자들의 정서 유사도와 감응치를 서로 곱한 합계를 상기 최근접 유사사용자들의 감응치 합계로 나누어서 상기 감정예측 대상사용자의 감정예측 대상객체의 감응치를 예측하는 감정예측 방법.
4. 제 2항에 있어서, 상기 제 5단계는,
   Thayer's 2차원 감정모델에 기반한 맵핑을 수행하여 상기 감정예측 대상사용자의 감정을 예측하는 감정예측 방법.
5. 제 4항에 있어서, 상기 2차원 감정모델에 사용된 상기 감응요소는,
   자극의 크기를 의미하는 Arousal 요소; 및
   긍정·부정을 의미하는 Valence 요소; 를 포함하는 감정예측 방법.
6. 제 1항에 있어서, 상기 제 3단계는,
   상기 감정예측 대상객체에 대한 감응치를 평가한 기록이 존재하는 다른 사용자들을 대상으로 클러스터링 기법, 또는 상기 감응치를 평가한 기록이 존재하는 다른 사용자들 사이의 선형적 유사도 측정 방법을 사용하여 상기 감정예측 대상사용자와 유사한 사용자들을 분류하고 유사도 수치에 따라 내림차순 정렬하는 감정예측 방법.
7. 제 6항에 있어서, 상기 제 3단계는,
   상기 클러스터링 기법이 사용되는 경우, 상기 감응요소에 의한 다차원 평면상에서 상기 감정예측 대상사용자와 거리가 가까운 사용자가 상위 순서인 감정예측 방법.
8. 제 6항에 있어서, 상기 제 3단계는,
   상기 선형적 유사도 측정 방법이 사용되는 경우, 상기 감정예측 대상사용자와 상기 정서 유사도의 측정 수치가 상위인 사용자가 상위 순서인 감정예측 방법.
9. 제 7항 또는 제 8항에 있어서, 상기 제 3단계는,
   상기 내림차순 정렬된 사용자 목록에서 상기 최근접 유사사용자들을 선택할 경우 상기 정서 유사도 상위 K명의 사용자를 선택하거나, 미리 설정된 정서 유사도 임계치 이상의 사용자들을 선택하거나, 상기 정서 유사도 상위 K명과 하위 N명을 선택하여 상기 최근접 유사사용자들을 선택하는 감정예측 방법.
10. 적어도 하나 이상의 감응요소에 대한 다수의 감정측정 대상객체에 대한 감정예측 대상사용자의 정서적 감응치를 측정하는 정서적 감응치 측정부; 및 상기 감정예측 대상객체의 감응치를 예측하는 감정예측부; 를 포함하는 감정예측 시스템에 있어서, 상기 감정예측부는,
    상기 감응요소 각각에 대해 상기 감정예측 대상객체에 감응치 데이터가 있는 다른 사용자에 대한 정서 유사도를 산출하며, 정서 유사도 수치에 따라 내림차순으로 정렬하는 유사 정서 사용자집단 분석모듈;
    상기 내림차순으로 정렬된 정서 유사도를 기준으로 상기 감응요소 각각에 대해 미리 정해진 숫자만큼의 최근접 유사사용자들을 추출하는 최근접 유사사용자 추출모듈; 및
    상기 최근접 유사사용자들의 감정예측 대상객체에 해당하는 감응치와 상기 정서 유사도를 이용한 가중 평균에 따라 상기 감정예측 대상사용자의 감정예측 대상객체의 감응치를 예측하는 감응치 예측모듈; 를 포함하는 감정예측 시스템.
11. 제 10항에 있어서, 상기 감정예측부는,
    상기 예측된 감응치를 다차원 감정모델에 의한 맵핑을 수행하여 상기 감정예측 대상사용자의 감정을 예측하는 감정모델 맵핑모듈; 을 더 포함하는 감정예측 시스템.
12. 제 11항에 있어서, 상기 감정예측 시스템은,
    상기 감정모델에 의해 예측된 감정을 상기 감정예측 대상사용자에게 출력하는 감정예측 결과출력부; 를 더 포함하는 감정예측 시스템.
13. 제 10항에 있어서, 최근접 유사사용자 추출모듈은,
    상기 최근접 유사사용자들의 정서 유사도와 감응치를 서로 곱한 합계를 상기 최근접 유사사용자들의 감응치 합계로 나누어서 상기 감정예측 대상사용자의 감정예측 대상객체의 감응치를 예측하는 감정예측 시스템.
14. 제 11항에 있어서, 상기 감정모델 맵핑모듈은,
    Thayer's 2차원 감정모델에 기반한 맵핑을 수행하여 상기 감정예측 대상사용자의 감정을 예측하는 감정예측 시스템.
15. 제 14항에 있어서, 상기 2차원 감정모델에 사용된 상기 감응요소는,
    자극의 크기를 의미하는 Arousal 요소; 및
    긍정·부정을 의미하는 Valence 요소; 를 포함하는 감정예측 시스템.
16. 제 10항에 있어서, 상기 최근접 유사사용자 추출모듈은,
    상기 감정예측 대상객체에 대한 감응치를 평가한 기록이 존재하는 다른 사용자들을 대상으로 클러스터링 기법 또는 상기 감응치를 평가한 기록이 존재하는 다른 사용자들 사이의 선형적 유사도 측정 방법을 사용하여 상기 감정예측 대상사용자와 유사한 사용자들을 분류하고 유사도 수치에 따라 내림차순 정렬하는 감정예측 시스템.
17. 제 16항에 있어서, 상기 최근접 유사사용자 추출모듈은,
    상기 클러스터링 기법이 사용되는 경우, 상기 감응요소에 의한 다차원 평면상에서 상기 감정예측 대상사용자와 거리가 가까운 사용자가 상위 순위인 감정예측 시스템.
18. 제 16항에 있어서, 상기 최근접 유사사용자 추출모듈은,
    상기 선형적 유사도 측정 방법이 사용되는 경우, 상기 감정예측 대상사용자와 상기 정서 유사도의 측정 수치가 상위인 사용자가 상위 순위인 감정예측 시스템.
19. 제 17항 또는 제 18항에 있어서, 상기 최근접 유사사용자 추출모듈은,
    상기 내림차순 정렬된 사용자 목록에서 상기 최근접 유사사용자들을 선택할 경우 상기 정서 유사도 상위 K명의 사용자를 선택하거나, 미리 설정된 정서 유사도 임계치 이상의 사용자들을 선택하거나, 상기 정서 유사도 상위 K명과 하위 N명을 선택하여 상기 최근접 유사사용자들을 선택하는 감정예측 시스템.
20. 제 10항에 있어서, 상기 감정예측 시스템은,
    상기 감정예측 대상사용자, 상기 다수의 감정측정 대상객체, 그리고 상기 감정예측 대상객체의 선택을 입력받는 감정예측 대상객체 입력부; 를 더 포함하는 감정예측 시스템.
21. 제 20항에 있어서, 상기 감정예측 시스템은,
    상기 다수의 감정측정 대상객체, 상기 감정예측 대상객체를 미리 저장하는 감정 자극객체 템플릿과, 상기 감응요소와 동일한 개수로 형성되는 감응요소데이터베이스를 포함하는 집단정서 데이터베이스; 를 더 포함하는 감정예측 시스템.
    

Images