KR20130091198A - 감성 평가 방법 및 이를 적용하는 장치 - Google Patents

Abstract

본 발명은 개인별 차를 반영한 감성 평가 방법 및 이를 적용하는 장치를 제안한다. 개시된 방법은: 피험자로부터 생리 신호를 검출하는 단계; 기 설정된 룰 베이스에 기초하여 상기 생리 신호로부터 생리적 감성을 평가하는 단계; 상기 피험자의 주관적 감성을 평가하는 단계; 상기 생리적 감성과 주관적 감성을 비교하는 단계; 그리고, 생리적 감성과 주관적 감성이 일치하지 않는 경우, 상기 룰 베이스를 보정하는 단계; 를 포함한다.

Description

감성 평가 방법 및 이를 적용하는 장치{evaluation method of emotional state and device adopting the method}

감성 평가 방법에 관한 것으로 상세하게 개인화된 감성 룰 베이스를 작성하고 이를 이용해 감성 평가하는 방법 및 이를 적용하는 장치에 관한 것이다.

사람들의 생리신호는 일반적인 패턴이 존재하지만 개인마다 차이가 있다. 특히 개인별로 심장박동, 뇌파, 피부전도도, 피부온도 등 주기나 진폭, 평균값 등의 차이를 보인다. 지금까지는 이러한 개인차에 무관하게 일반적인 패턴에 기초한 감성 룰 베이스에 의해 감성을 평가하였으며, 따라서, 개인차가 심한 특정인의 경우 정확한 감성 측정이 어렵다.

KR 2011-0065954 A KR 0464821 B

J. Posner, A. Russell, and B. S. Peterson, "The circumplex model of affect: An integrative approach to affective neuro science, cognitive development and psychopathology," Cambridge University Press, vol. 17, pp. 715-734, 2005.

본 발명은 개인별 차를 반영한 감성 평가 방법을 제시한다.

따라서, 본 발명에 따르면 정확도가 높은 감성 평가 방법이 제시된다.

본 발명에 따르면, 감성 평가 방법: 은

피험자로부터 생리 신호를 검출하는 단계;

기 설정된 룰 베이스에 기초하여 상기 생리 신호로부터 생리적 감성을 평가하는 단계;

상기 피험자의 주관적 감성을 평가하는 단계;

상기 생리적 감성과 주관적 감성을 비교하는 단계;

그리고, 생리적 감성과 주관적 감성이 일치하지 않는 경우, 상기 룰 베이스를 보정하는 단계; 를 구비한다.

본 발명의 한 실시 예에 따르면, 상기 생리적 감성을 평가하는 단계: 는 상기 룰 베이스로부터 생리적 감성에 대응하는 인덱스를 검출하는 단계; 를 포함 한다.

본 발명의 다른 실시 예에 따르면,

상기 생리적 감성을 평가하는 단계: 는

검출된 생리 신호를 이용해 감성의 중간 상태인 중립 밴드를 형성하는 단계;

새로 검출된 생리 신호를 비교하여 증감 상태를 확인 하는 단계; 그리고

상기 룰 베이스로부터 상기 생리 신호의 증감에 일치하는 룰 베이스 인덱스를 검색하는 단계; 를 구비한다.

본 발명의 또 다른 실시 예에 따르면,

상기 생리 신호는 PPG, GSR, SKT 신호를 포함한다.

본 발명에 또 다른 실시 예에 따르면,

상기 감성은 쾌-불쾌, 긴장-이완에 대해 평가된다.

사람들의 생리신호는 일반적인 패턴이 존재하지만 개인마다 차이가 있다. 심장박동, 뇌파, 피부전도도, 피부온도 등 주기나 진폭, 평균값 등의 차이를 보인다. 본 발명에 따르면, 개인의 생리신호에 맞추어 적용할 수 있는 감성인식을 수행함으로써 감성 인식의 정확도를 높일 수 있을 것이다.

도 1은 러셀(Russell)의 원형 모델(Circumplex Model)을 보인다.
도 2에 러셀의 원형 모델에 기초한 9가지 감성 영역을 도시한다.
도 3은 개인별로 최적된 룰 베이스를 구성하기 위한 알고리즘을 설명하는 흐름도이다.
도 4는 본 발명에 따라, 감성 인식을 위한 중립 밴드를 도식으로 나타내 보인다
도 5a 내지 도 5d는 실시간 중립 밴드 설정 시스템(인터페이스 화면)의 부분적으로 발췌해 보인 그래프이다.
도 6은 본 발명에 다른 감성 인식 방법을 수행하는 장치의 개략적 구성도이다.

본 발명은, 생리신호 변화 상황을 실시간으로 모니터링 하여 감성을 인식할 때 중요한 임계 값을 지속적으로 수정해 줄 수 있는 개인화 알고리즘을 적용하여 감성인식의 정확도는 높이는 방법을 제시한다. 이러한 본 발명은 개인의 주관 감성을 반영하여, 특히 피험자의 생리패턴을 저장하고 분석하여 개인의 생리신호 패턴에 따른 맞춤형 감성인식이 가능하다. 이러한 본 발명은 개인화 알고리즘을 적용하여 개인에게 맞춤형 감성인식을 함으로써 감성 인식의 정확도를 향상시킬 수 있다.

본 발명에서, 도 1에 도시된 바와 같은, 감성인식을 하기 위해 러셀(Russell)의 원형 모델(Circumplex Model)을 사용하였다. 러셀은, 감성 차원들이 서로 독립적이 아니라 체계적인 틀 안에서 연관성이 존재하기 때문에 원의 순서로 배열되는 2차원(Bipolar)으로 체계화하는 것을 증명하였다. 러셀은 이 방법을 통해 쾌(Pleasantness)-불쾌(Unpleasantness)와 각성(Arousal)-이완(Sleep)의 두 차원이 감성어휘들 간의 유사성에 대한 분산의 대부분을 차지하고, 모든 감성을 설명하는 차원들은 2차원 이며, 모든 감성 어휘들은 2차원 공간의 원의 경계에 따라 배치되는 것을 증명하였고, 감성은 감성 간의 상관관계를 고려하여 2차원으로 정의되어야 한다고 주장하였다.

본 발명에서는 상기한 러셀의 원형 모델을 응용하여 감성 인식을 수행한다. 인식한 감성은, 도 2에 도시된 바와 같이, 각성, 이완, 쾌, 불쾌, 각성-쾌, 각성-불쾌, 이완-쾌, 이완-불쾌, 중립 총 9가지 감성을 인식하였다. 9영역의 감성 정의는 2차원 축의 4영역을 9영역으로 구분하였고, 2차원 감성 모델의 각 축에 중립적인 부분이 존재할 것이라 가정하였다. 9영역의 감성인식 시스템을 구현하기 위하여 중립 밴드를 이용하여 2차원 모델을 구분하였고, 9가지 감성을 정의하였다.

본 발명에서, 맥 파 (PPG, Photoplethysmograph) 피부전기 반응(GSR, Galvanic Skin Response), 피부 온도(SKT, Skin Temperature)를 실시간으로 측정하여, 생리신호의 개인에 맞춤형 감성인식을 하기 위해 개인화 알고리즘을 제시한다.

생리신호의 검출은, 도 6에 도시된 바와 같이, 피험자의 손에 부착되는 센서 및 전극 등을 포함하는 신호 검출부(1), 이로부터의 신호를 증폭 및 필터링 하는 전치 회로(2) 및 전치 회로(2)에서 전처리(前處理)된 아날로그 신호를 디지털화 하는 AD 컨버터(3)를 포함하는 생리 신호 측정 장치에 의해 수행된다. AD 컨버터(3)로부터의 신호는 컴퓨터 기반의 감성 평가 처리부(4)로 전달되어 후술하는 과정을 통해 처리되며, 감성 평가에 있어서는 룰(또는 감성 데이터) 베이스(5)로부터의 데이터가 참조된다.

본 발명은, 위와 같은 장치를 이용해, 피험자의 생리 신호를 실시간으로 모니터링 하여 감성 인식에 필요한 임계 값을 지속적으로 설정하여 감성 인식의 정확도를 높였다. 그리고 피험자의 주관적 감성결과와 생리신호를 이용한 감성인식 결과를 피험자에게 제시한 후, 주관적 감성과 인식된 감성이 다를 경우 주관적 감성을 입력 받아 실시간으로 수정하여 다음 차례 감성인식의 정확도를 높일 수 있도록 하였다.

도 3은 개인별로 최적화된 룰 베이스를 구성하기 위한 알고리즘을 설명하는 흐름도이다. 도 3을 참조하면, 프로세스가 시작하면, 미리 정의한 룰 베이스(default)를 불러온다(S31 단계). 기본 룰 베이스는 일반적인 생리신호 패턴들을 81가지로 정의하였으며, 테이블로 구성하였다. 다음 단계(S32) 에서, 피험자의 생리 신호를 측정한다. 생리신호는 PPG, GSR, SKT센서를 사용하여 데이터를 실시간으로 수집한다. 이때에 PPG는 진폭과 주파수, GSR과 SKT는 평균값을 사용하여 분석한다. 그리고, 검출된 생리 신호를 이용하여 중립 밴드를 설정한다(S33). 중립 밴드는 도 2에 도시된 바와 같이, 각성과 이완의 중간의 상태, 그리고 불쾌와 쾌의 사이의 중간 상태를 나타내난다. 이와 같은 중립적 감성 상태를 나타내는 중립 밴드가 설정되면, 현재 실시간 수집되는 생리신호와 비교하여 증감상태를 확인하여 일치하는 룰 베이스 인덱스를 검색한다(S34 단계). 룰 베이스에서 검색한 감성결과를 디스플레이 하여 피험자에게 제시하고(S35 단계), 피험자로부터 주관 평가를 요청 한다(S36 단계). S35에서의 평가 결과와 S36에서의 주관 평가 결과를 비교하고(S37 단계), 두 평가 결과가 일치하지 않을 경우, 즉 감성 평가에 오류가 확인되는 경우(S37 단계) 룰 베이스의 해당 인덱스를 주관 감성결과 값으로 실시간으로 수정(보정)하여 저장하며(S38 단계), 오류가 없는 경우, 다음의 감성 평가를 위해 실시간으로 수집되는 생리신호를 이용한 중립 밴드 설정 단계(S33)로 이행한다. 그리고, 룰 베이스 수정 단계(S38) 및 룰 베이스저장 단계(S39)를 거친 후에는, 역시 다음 번의 감성 평가를 위해 수집되는 생리신호를 이용한 중립 밴드 설정 단계(S33)로 이행한다.

상기와 같은 모든 단계 또는 프로세스는 실시간으로 이루어지며, 다음 번의 감성 인식에 개인화(보정)된 룰 베이스를 불러올 수 있으며, 피험자가 원하지 않으면 수정된 룰 베이스를 저장하지 않게 설계할 수 있다.

도 4는 감성 인식을 위한 중립 밴드를 도식으로 나타내 보인다. 전술한 바와 같은 중립 밴드를 설정하기 위해 자율신경계 신호를 측정한다. 즉, 맥파(PPG, Photoplethysmography) 피부전기반응(GSR, Galvanic skin reflex), 피부온도(Skin Temperature)를 측정하여 데이터를 수집한다. 측정된 생리신호는 PPG에서 진폭(amplitude)과 주파수(frequency)를 분석하였고, GSR과 SKT는 평균값(mean)을 실시간 분석한다. 각각의 데이터를 평균값과 표준편차를 구한 후 아래와 같은 식에 의해 중립 밴드(NB)를 설정한다.

위의 식에서, mean은 각각의 생리신호의 평균값이며, SD는 표준편차이다. x는 중립 밴드 설정의 넓이를 조절하는 변수이며, 최대값과 최소값을 사용하여 중립 밴드를 설정한다. 개인에 따라 생리신호의 차이가 있기 때문에 개인의 데이터로 표준편차를 구하여 개인에 따른 맞춤형 중립 밴드가 설정된다. 중립 밴드는 처음에 수집한 기준(reference) 데이터를 이용하여 최초로 설정되며, 실시간으로 수집되는 데이터를 통해서 원하는 일정 시간마다 재설정된다. 생리신호는 이전의 변화에 영향을 많이 받기 때문에 실시간으로 감성인식을 하기 위해서 중립 밴드의 실시간 설정이 필요하다.

설정된 중립 밴드에서 현재 수집되는 생리신호 데이터의 값을 증감상태를 비교한다. 도 5a 내지 도 5d는 실시간 중립 밴드 설정 시스템(인터페이스 화면)의 부분적으로 발췌해 보인 그래프이다. 도 5a 는 PPG 주파수, 도 5b는 PPG 진폭, 도 5c는 GSR 진폭 그리고 도 5는 SKT 진폭을 나타내 보이는데, 각 그래프에서 위의 수평선은 최대값, 밑의 수평선은 최소값, 그리고 작은 원은 현재 생리 신호 값을 나타낸다. 현재 생리신호 값이 중립 밴드의 최대값보다 크면 증가, 생리신호 값이 중립 밴드 안에 포함되면 중립, 그리고 현재 생리신호 값이 중립 밴드의 최소값보다 작으면 감소라고 판단한다. PPG 진폭, PPG 주파수, GSR 평균값, SKT 평균값을 각각 중립 밴드와 비교하여 증감 상태를 확인한다.

감성평가는 감성에 따른 생리신호의 변화에 대한 기존연구들과 선행연구를 통해 데이터를 수집하고 분석하여 9영역의 감성에 따른 룰 베이스를 정의하였다. 중립 밴드에 현재 자율신경계 데이터를 증감 상태를 확인한 결과와 정의된 룰 베이스를 비교하여 일치한 결과를 최종 감성결과로 피드백하여 룰 베이스에 반영 보정한다. 감성 결과는 러셀의 2차원 모델(각성-이완, 쾌-불쾌)을 기반으로 하여 총 9영역으로 구분하였다. 그 결과, 총 9가지로 평가하여 피험자에게 피드백을 주었다(1: 각성-쾌, 2: 각성-불쾌, 3: 이완-불쾌, 4: 이완-쾌, 5: 쾌, 6: 각성, 7: 불쾌, 8: 이완, 9: 중립). 주관평가와 생리신호를 이용한 감성평가가 일치하지 않았을 때는 피실험자의 주관평가 결과 값을 룰 베이스에 적용하여 수정하여 다음 감성평가 때 적용한다.

이상과 같은 보정 또는 보상된 개인 알고리즘을 이용하게 되면, 개인차로 인해 발생하는 오차를 줄일 수 있고 따라서 이러한 방법에 따르면 개인별로 보다 정확도가 높은 감성의 평가가 가능하게 된다.

상기와 같은 지금까지, 본원 발명의 이해를 돕기 위하여 모범적인 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 내용에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

1: 신호검출부
2: 전치회로
3: AD 컨버터
4: 감성 평가 처리부
5: 룰 베이스

Claims (9)

1. 피험자로부터 생리 신호를 검출하는 단계;
   기 설정된 룰 베이스에 기초하여 상기 생리 신호로부터 생리적 감성을 평가하는 단계;
   상기 피험자의 주관적 감성을 평가하는 단계;
   상기 생리적 감성과 주관적 감성을 비교하는 단계; 그리고,
   상기 생리적 감성과 주관적 감성이 일치하지 않는 경우, 상기 주관적 감성결과로 상기 룰 베이스를 보정하는 단계; 를 포함하는 감성 평가 방법.
2. 제 1 항에 있어서,
   상기 생리적 감성을 평가하는 단계: 는
   상기 룰 베이스로부터 생리적 감성에 대응하는 인덱스를 검출하는 단계; 를 포함 하는 감성 평가 방법.
3. 제 2 항에 있어서,
   상기 생리적 감성을 평가하는 단계: 는
   검출된 생리 신호를 이용해 감성의 중간 상태인 중립 밴드를 형성하는 단계;
   새로 검출된 생리 신호를 비교하여 증감 상태를 확인 하는 단계; 그리고
   상기 룰 베이스로부터 상기 생리 신호의 증감에 일치하는 룰 베이스 인덱스를 검색하는 단계; 를 더 포함하는 것을 특징으로 하는 감성 평가 방법.
4. 제 1 항에 있어서,
   상기 생리적 감성을 평가하는 단계: 는
   검출된 생리 신호를 이용해 감성의 중간 상태인 중립 밴드를 형성하는 단계;
   새로 검출된 생리 신호를 비교하여 증감 상태를 확인 하는 단계; 그리고
   상기 룰 베이스로부터 상기 생리 신호의 증감에 일치하는 룰 베이스 인덱스를 검색하는 단계; 를 더 포함하는 것을 특징으로 하는 감성 평가 방법.
5. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
   상기 생리 신호는 PPG, GSR, SKT 신호를 포함하는 것을 특징으로 하는 감성평가 방법.
6. 제 5 항에 있어서,
   상기 감성은 쾌-불쾌, 긴장-이완에 대해 평가하는 것을 특징으로 하는 감성평가 방법.
7. 제 1 항 내지 제 4 항 중의 어느 하나의 방법을 수행하는 것으로서,
   피험자로부터 상기 생리 신호를 획득하는 신호 검출부를 포함하는 생리 신호 측정 장치; 그리고
   상기 신호를 이용해 상기 피험자의 감성을 평가하는 컴퓨터 기반의 감성 평가 부; 를 구비하는 감성 평가 장치.
8. 제 7 항에 있어서,
   상기 생리 신호는 PPG, GSR, SKT 신호를 포함하는 것을 특징으로 하는 감성 평가 장치.
9. 제 8 항에 있어서,
   상기 감성은 쾌-불쾌, 긴장-이완에 대해 평가하는 것을 특징으로 하는 감성평가 장치.

Images