KR20030063640A

KR20030063640A - 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법

Info

Publication number: KR20030063640A
Application number: KR1020020003868A
Authority: KR
Inventors: 김경환; 방석원; 공동건
Original assignee: 삼성전자주식회사
Priority date: 2002-01-23
Filing date: 2002-01-23
Publication date: 2003-07-31
Also published as: JP4101069B2; KR100580618B1; US7547279B2; JP2004000474A; US20030139654A1

Abstract

본 발명은 사용자의 생리 신호를 단시간 동안 모니터링 하여 사용자의 정서 상태를 인식하는 정서 인식 장치 및 방법에 관한 것으로, 상기 정서 인식 장치는 사용자로부터 취득된 생체 신호들의 특징을 분석하는 특징 분석부; 상기 특징 분석부에서 분석된 결과와, 상기 사용자의 정서를 인식하는 데 기준이 되는 특징 값들과의 차이를 구하는 감산부; 및 상기 감산부에서 구해진 상기 차이 값을 분석하여 복수 개의 정서들을 각 카테고리별로 분류하고, 상기 분류된 정서들 중 가장 강도가 크게 나타난 정서를 상기 사용자의 정서 상태로 인식하는 정서 분류 수단을 포함한다.

Description

생리 신호의 단시간 모니터링을 통한 사용자 정서 인식 장치 및 방법{Apparatus and method for recognizing user emotional status using short-time monitoring of physiological signals}

본 발명은 정서 인식 장치 및 방법에 관한 것으로, 특히 사용자의 생리 신호를 모니터링 하여 사용자의 정서 상태를 인식하는 정서 인식 장치 및 방법에 관한 것이다.

정서(emotion)란 내적 자극 또는 외적 자극으로 정서의 변화와 생리적 활성도의 변화로 표출되는 정신적 상태를 의미한다. 이 정서 상태는 크게 긍정 정서(positive emotion)와 부정 정서(negative emotion)로 구분할 수 있다. 전자는 기쁨, 흐뭇(만족), 차분, 우쭐(의기양양, 기고만장) 등을 들 수 있고, 후자로는 슬픔, 못마땅(불만), 화남, 놀람, 두려움, 우울 등을 들 수 있다. 이 외에도 더 다양한 정서의 구분도 가능하다. 여기서, 내적 자극으로는 과거의 기억이나 주체적인 정서 자극 등을 들 수 있고, 외적 자극으로는 정서 주체의 자발적 자극 이외의 주위 환경에 의한 스트레스(stress)나 안티-스트레스(anti-stress)를 들 수 있다.

이와 같은 정서를 정의하기 위한 이론으로는, 생리학적 변화를 인식함으로써 정서를 경험하게 된다는 James-Lange 이론과, 정서에 대한 물리적 경험(psychological experience)과 물리적 반응(physiological reactions)이 동시에 일어난다는 Cannon-Bard 이론 등이 있다. James-Lange 이론은 정서의 근원이 말초 기관에 있다고 생각하는 반면, Cannon-Bard 이론은 그 근원을 뇌에 두고 있는 차이점이 있다.

앞에서 설명한 바와 같이, 내부적/외부적 자극에 의해 정서상태에 일어난 변화는 자율신경계의 조절에 의해 발생되는 생리적인 특성들의 변화를 수반한다. 따라서, 정서상태의 변화는, 심장박동, 근전도, 피부 전기 전도도 변화, 체온 변화 등과 같이 생리적인 변화를 반영하는 신호들의 측정을 통해 인식될 수 있다. 이 같은 생리신호들은 적절한 생체신호센서를 통하여 측정될 수 있다.

생체신호센서를 통해 취득된 생리신호를 바탕으로 정서를 인식하는 방법에 대해서는 과거 몇 건의 특허에서 이미 발표된 바 있다. 예를 들면, 1997년 10월, Zawilinski에 의해 취득된 U. S. Pat. No. 5,676,138, "EMOTIONAL RESPONSE ANALYZER SYSTEM WITH MULTIMEDIA DISPLAY"에서는, TV 등의 자극 수단으로부터 발생된 자극에 의해 발생된 감정상태를 해석하는 장치를 개시하고 있다. 그러나, 이 방법은 제한적인 실험 데이터 및 그에 따른 실험 결과를 나타낼 뿐만 아니라, z-score를 사용하여 감정상태를 구분하므로 정확도가 낮은 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 손목 시계 형태와 같이 신체에 착용 가능한 센서로부터 비침습적인 생리 신호를 취득하고, 이를 근거로 하여 사용자의 정서 상태를 인식할 수 있는 정서 인식 장치 및 방법을 제공하는데 있다.

본 발명이 이루고자 하는 기술적 과제는, 사용자로부터 취득된 생리 신호를 짧은 시간 동안 모니터링 하여 사용자의 정서 상태를 정확하게 인식할 수 있는 정서 인식 장치 및 방법을 제공하는데 있다.

도 1은 본 발명의 바람직한 실시예에 따른 정서 인식 시스템의 전체 구성을 간략하게 보여주는 도면이다.

도 2a 및 도 2b는 도 1에 도시된 생체 신호 취득 장치의 외형을 보여주는 도면이다.

도 3은 도 1에 도시된 생체 신호 취득 장치의 구성을 보여주는 도면이다.

도 4는 도 1에 도시된 정서 인식 장치의 간략한 구성을 보여주는 도면이다.

도 5는 도 4에 도시된 정서 인식부의 상세 구성을 보여주는 블록도이다.

도 6a 및 도 6b는 심박 신호의 분석에 사용될 ECG 신호 및 PPG 신호의 일례를 보여주는 도면이다.

도 7 및 도 8은 도 5에 도시된 심박 검출부의 상세 구성을 보여주는 도면이다.

도 9는 도 7 및 도 8에 도시된 심박 검출부에 의해 구해진 심박 신호로부터 심박 변화율의 시계열을 구하는 과정을 보여주는 도면이다.

도 10은 피부 전도 특성(SCR)의 검출에 사용되는 EDA 신호의 파형을 보여주는 도면이다.

도 11은 도 5에 도시된 SCR 검출부의 구성을 보여주는 도면이다.

도 12는 피부 온도의 변화를 검출하는데 사용되는 SKT 신호의 파형을 보여주는 도면이다.

도 13은 도 5에 도시된 SKT Mean/Max 계산부의 구성을 보여주는 블록도이다.

도 14는 도 5에 도시된 감산부 및 SVM 유닛의 구성을 보여주는 블록도이다.

도 15a 및 도 15b는 도 14에 도시된 SVM 분류기의 정서 분류 결과를 보여주는 도면이다.

도 16은 본 발명의 바람직한 실시예에 의한 정서 인식 방법을 보여주는 흐름도이다.

도 17은 본 발명의 바람직한 실시예에 따른 정서 인식 수행 결과를 보여주는 도면이다.

< 도면의 주요 부분에 대한 부호의 설명 >

1 : 정서 인식 장치10 : 특징 분석부

11 : 심박 분석부 12 : 심박 검출부

13 : 스펙트럼 분석부14 : Mean/Std 계산부

15 : SCR 분석부16 : SCR 검출부

17 : SCR 계산부18 : SKT Mean/Max 계산부

20 : 감산부30 : SVM 유닛

100 : 정서 인식부200 : 생체 신호 취득 장치

상기의 과제를 이루기 위하여 본 발명에 의한 정서 인식 시스템은, 사용자의 신체에 착용되어 적어도 하나 이상의 생체 신호를 취득하고, 취득된 상기 생체 신호를 무선 전송하는 생체 신호 취득 장치; 및 상기 생체 신호 취득 장치로부터 전송된 상기 생체 신호를 단시간 동안 모니터링하여 상기 사용자의 정서 상태를 인식하는 정서 인식 장치를 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위하여 본 발명에 의한 정서 인식 장치는, 사용자로부터 취득된 생체 신호들의 특징을 분석하는 특징 분석부; 상기 특징 분석부에서 분석된 결과와, 상기 사용자의 정서를 인식하는 데 기준이 되는 특징 값들과의 차이를 구하는 감산부; 및 상기 감산부에서 구해진 상기 차이 값을 분석하여 복수 개의 정서들을 각 카테고리별로 분류하고, 상기 분류된 정서들 중 가장 강도가 크게 나타난 정서를 상기 사용자의 정서 상태로 인식하는 정서 분류 수단을 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위하여 본 발명에 의한 정서 인식 방법은, (a) 사용자로부터 적어도 하나 이상의 생체 신호를 입력받는 단계; (b) 상기 생체 신호들을 분석하여 상기 사용자의 정서 인식에 사용될 복수 개의 특징 값들을 추출하는 단계; (c) 상기 (b) 단계에서 추출된 상기 복수개의 특징 값들과, 정서 인식의 기준이 되는 소정의 특징 값들간의 차이를 구하는 단계; (d) 상기 (c) 단계에서 계산된 상기 특징 값들간의 차이에 응답해서 상기 사용자의 정서 상태를 복수 개의 카테고리로 분류하는 단계; 및 (e) 분류된 각각의 정서들 중 가장 큰 강도를 나타내는 정서를 선택하여 출력하는 단계를 포함하는 것을 특징으로 한다.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 정서 인식 시스템의 전체 구성을 간략하게 보여주는 도면이고, 도 2a 및 도 2b는 도 1에 도시된 생체 신호 취득 장치의 외형을 보여주는 도면이다. 도 1을 참조하면, 본 발명에 따른 정서 인식 장치는 크게 생체 신호 취득 장치(200)와 정서 인식 장치(1)로 구성된다.

생체 신호 취득 장치(200)는, 도 1 및 도 2에 도시된 바와 같이 사용자의 신체에 손목 시계 등의 형태로 착용되어, 그 내부에 구비된 센서(미 도시됨)를 통해 광혈류량(photoplethysmogram ; PPG), 심전도(electrocardiogram ; ECG), 피부전기활동(electrodermal Activity ; EDA), 피부 온도(skin temperature ; SKT) 등과 같은 생체 신호를 비침습적으로 측정한다. 생체 신호 취득 장치(200)를 통해 취득된 생체 신호는 정서 인식 장치(1)에게 무선으로 전송되어, 사용자의 정서 상태를 인식하는 데 사용된다. 정서 인식 장치(1)는 입력되는 생체 신호를 분석할 수 있는 알고리즘이 저장된 컴퓨터 또는 이에 상응하는 연산 장치로 구성된다. 상기 생체신호들의 취득을 위해 사용되는 센서에 대한 구체적인 내용은 Medical instrumentation (J. G. Webster, 1999) 등에 상세히 설명되어 있다.

도 3 및 도 4는 도 1에 도시된 생체 신호 취득 장치(200) 및 정서 인식 장치(1)의 구성을 각각 보여주는 도면이다.

먼저, 도 3을 참조하면, 생체 신호 취득 장치(200)는 사용자의 생체 신호를 비침습적으로 받아들이는 적어도 하나 이상의 센서와, 상기 센서로부터 입력된 적어도 하나 이상의 생체 신호들(physiological signals)을 증폭하고 필터링하는 증폭/필터링부(205), 증폭/필터링부(205)를 통해 증폭 및 필터링된 신호들을 각 신호별로 분류하여 출력하는 멀티플렉서(206), 상기 멀티플렉서(206)의 출력을 디지털 신호로 변환하는 A/D 컨버터(207), 및 A/D 컨버터(207)에 의해 변환된 디지털 신호들을 RF 신호로 변환한 후, 상기 신호를 안테나(209)를 통해 정서 인식 장치(1)로 무선 전송하는 RF 송신부(208)를 포함한다.

도 4를 참조하면, 정서 인식 장치(1)는 생체 신호 취득 장치(200)로부터 전송되는 사용자의 생체 신호들을 안테나(101)를 통해 받아들이는 RF 수신부(102)와, RF 수신부(102)에 의해 수신된 생체 신호들을 분석하여 사용자의 정서 상태를 인식하는 정서 인식부(100)를 포함한다. 여기서, RF 수신부(102)와 정서 인식부(100)는 RS232C와 같은 통신 프로토콜을 사용하여 신호를 전송한다. 그러나, 이는 신호 전송 방법의 일례에 불과하며, 회로의 구성에 따라 다양한 통신 프로토콜이 사용될 수 있다.

도 5는 도 4에 도시된 정서 인식부(100)의 상세 구성을 보여주는 블록도이다. 도 5를 참조하면, 본 발명에 따른 정서 인식부(100)는 생체 신호 취득 장치(200)로부터 취득된 생체 신호들의 특징을 분석하는 특징 분석부(10), 특징 분석부(10)에서 분석된 결과와 사용자의 평상시 정서를 나타내는 특징 값들과의 차이를 구하는 감산부(20), 및 감산부(20)에서 구해진 특징 값들의 차이를 분석하여 정서를 분류하고 인식하는 SVM 유닛(Support Vector Machine Unit; 30)을 포함한다.

특징 분석부(10)는 ECG 신호 또는 PPG 신호를 받아들여 심박을 검출하고 심박과 관련된 특징 값들을 추출하는 심박 분석부(11), EDA 신호를 받아들여 피부 전도 특성(skin conductance response ; SCR)과 관련된 특징 값들을 추출하는 SCR 분석부(15), 및 SKT 신호를 받아들여 SKT와 관련된 특징 값들(즉, SKT의 평균 값(Mean) 및 최대 값(Max))을 추출하는 SKT Mean/Max 계산부(18)를 포함한다.

심박 분석부(11)는 ECG 신호 또는 PPG 신호를 받아들여 심박을 검출하는 심박 검출부(12), 검출된 심박신호로부터 심박변화율(heart rate variability ; HRV)의 시계열을 추출하는 HRV 추출부, 추출된 HRV의 스펙트럼을 분석하는 스펙트럼 분석부(13), 및 검출된 심박 신호(Det)의 평균 값(Mean) 및 표준 편차 값(standard deviation ; Std)을 구하는 Mean/Std 계산부(14)를 포함한다. 그리고, SCR 분석부(15)는 EDA 신호를 받아들여 SCR을 검출하는 SCR 검출부(16), 및 SCR의 크기(amplitude) 등과 같은 파라미터들을 계산하는 SCR 계산부(17)를 포함한다.

도 6a 및 도 6b는 심박 신호의 분석에 사용될 ECG 신호 및 PPG 신호의 일례를 보여주는 도면이고, 도 7 및 도 8은 도 5에 도시된 심박 검출부(12)의 상세 구성을 보여주는 도면이다. 여기서, 도 7에 도시된 심박 검출부(12)는 입력 신호가 ECG 신호인 경우의 회로 구성을 나타내고, 도 8에 도시된 심박 검출부(12')는 입력 신호가 PPG 신호인 경우의 회로 구성을 각각 나타낸다.

먼저 도 7을 참조하면, 본 발명에 의한 심박 검출부(12)는 밴드패스 필터(bandpass filter ; BPF)(121), 메디안 필터(median filter ; MF)(122), 가산부(123), 및 Teager 에너지 연산부(124)를 포함한다.

밴드패스 필터(121)는 입력되는 신호 중에서 ECG 신호가 존재하는 대역 만을통과시키고, 메디안 필터(122)는 밴드패스 필터링 된 결과에 존재하는 저주파노이즈 성분을 추정해준다. 가산부(123)는 밴드패스 필터링 결과에 메디안 필터링 결과의 사이에 존재하는 차이를 계산하여 저주파 노이즈 성분을 제거한다. 저주파 노이즈 성분이 제거된 가산부(123)의 출력 신호는 Teager 에너지 연산부(124)로 입력되어 심박 신호의 추출에 사용된다. Teager 에너지 연산부(124)는 입력되는 신호에 Ψ(x(t))로 표시되는 Teager 에너지 오퍼레이터(Teager Energy Operator ; TEO)를 취해줌으로써 심박 신호를 검출한다. Teager 에너지 오퍼레이터는 입력신호의 순간진폭과 순간주파수의 곱에 비례하는 값을 발생하므로, 심전도의 QRS 피크의 검출에 매우 유용하다. 이에 대한 자세한 설명은 1998년, S. Mukhopadhyay와 G. C. Ray에 의해서 IEEE Trans. on Biomed. Eng., pp. 180-187에 발표된 논문, "A new interpretation of nonlinear energy operator and its efficacy in spike detection" 등에 개시되어 있다.

앞에서 설명한 바와 같은 심박 검출부(12)에 의하면, 도 6a에 도시된 ECG 신호 상에 화살표로 표시된 부분이 심박 신호(Det)로서 추출된다.

계속해서 도 8을 참조하면, 본 발명에 의한 심박 검출부(12')는 밴드패스 필터(121), 메디안 필터(122), 가산부(123), 정합 필터(Matched Filter ; 125), 및 제로 클리퍼(zero clipper ; 126)를 포함한다.

밴드패스 필터(121)는 입력되는 신호 중에서 PPG 신호가 존재하는 대역 만을 통과시키고, 메디안 필터(122)는 밴드패스 필터링 된 결과에 존재하는 저주파노이즈 성분을 추정해준다. 가산부(123)는 밴드패스 필터링 결과에 메디안 필터링 결과의 사이에 존재하는 차이를 계산하여 저주파 노이즈 성분을 제거한다. 저주파 노이즈 성분이 제거된 가산부(123)의 출력 신호는 정합 필터(125)로 입력되어, PPG 신호가 가지고 있는 특정 신호(즉, 심박 신호)를 추출하는 데 사용된다. 정합 필터(125)를 통해 추출된 특정 신호는 제로 클리퍼(125)를 통해 제로 클리핑 과정을 거친 후 심박 신호(Det)로서 출력된다. 여기서, 정합 필터(125)의 파라미터는 필요시 업데이트 될 수 있다. 이와 같은 구성을 가지는 심박 검출부(12')에 의하면, 도 6b에 도시된 PPG 신호 상에 화살표로 표시된 부분이 심박 신호(Det)로서 추출된다.

도 9는 도 7 및 도 8에 도시된 심박 검출부(12, 12')에 의해 구해진 심박 신호(Det)로부터 심박 변화율(heart rate variability ; HRV)의 시계열(time series)을 구하는 과정을 보여주는 도면이다.

도 9를 참조하면, ECG 또는 PPG 신호(1200)가 취득된 경우, 이를 확대해 보면 1210과 같은 형태의 파형이 나타나게 된다. ECG 또는 PPG 신호는 참조번호 1200 또는 1210과 같이 주기적인 펄스를 나타내는데, 이 펄스는 최대 값 부분인 R과, R을 중심으로 좌우에 위치한 최소 값 부분인 Q, S로 구성된 QRS 파형을 나타낸다.

도 9에서 1210으로 표시된 파형에서 화살표로 표시된 부분이 심박 신호의 최대 값 부분인 R 파형이 되며, 이 부분이 도 7 및 도 8에 도시된 심박 검출부(12, 12')에 의해 추출되어 ECG 또는 PPG 신호의 순간 R-R 파형(1230)을 나타내게 된다. 이 순간 R-R 파형(1230)에 이동 평균 보간법(moving average interpolation)을 적용하게 되면 1250으로 표시된 바와 같은 심박 변화율(HRV)의 시계열(time series)이 추출된다. 이와 같은 심박 변화율의 시계열(1250)을 구하는 방법은 1986년 R. D. Berger 등에 의해 IEEE Trans. Biomed. Eng., vol. 33에 실린 논문, "An efficient algorithm for spectral analysis of heart rate variability" 등에 개시되어 있다. 이 같은 심박 변화율(HRV) 신호는 교감신경계/부교감 신경계의 활성정도를 정량적으로 파악할 수 있는 지표가 된다.

다시 도 5를 참조하면, 도 7 또는 도 8에 의해 구해진 심박 신호(Det)는 도 9에 도시된 방법에 의해 심박 변화율(HRV)의 시계열로 변환된 후 스펙트럼 분석부(13) 및 Mean/Std 계산부(14)로 입력된다.

스펙트럼 분석부(13)에서는 주어진 시계열에 대하여 다양한 차수의 AR(autoregressive), MA(moving average), ARMA(autoregressive moving average) 모델들을 추정한 후, 추정 오차를 나타내는 지표가 최소가 되는 특정 차수의 특정 모델을 선택하여 최적의 시계열 모델을 선정하고, 선정된 최적 모델로부터 스펙트럼을 구하는 방법을 사용하여 심박 변화율(HRV)의 스펙트럼을 분석한다. 여기서는 이 방법을 ARMAsel 알고리즘이라고 부른다. 이를 위해 사용되는 추정오차의 지표와 각 시계열 모델의 추정 방법은, P. M. T. Broersen에 의해 2000년, IEEE Transactions on instrumentation and measurement, vol. 49, no. 4, pp. 766-772에 발표된 논문, "Fact and fictions in spectral analysis"에 상세히 설명되어 있다.

이와 같은 심박 변화율(HRV)의 주파수 영역 파라미터들은 이미 이전의 많은 연구에서 중요하게 취급되어 왔으며, 생리심리학적 연구에 있어서도 중요한 지표로취급되어 오고 있다.

본 발명에 의한 스펙트럼 분석부(13)에서는 심박변화율의 스펙트럼 해석에 있어서, 수 분에서 24 시간에 이르는 긴 신호를 대상으로 하는 기존의 피리어드그램(periodogram) 방법 대신, ARMAsel 알고리즘을 사용하여 50초 정도의 짧은 시간 동안의 신호 관측을 통해 심박 변화율(HRV)의 스펙트럼을 분석한다. 스펙트럼 분석부(13)에 의해 분석된 결과는 감산부(20)에게 사용자 정서 인식을 수행하기 위한 특징 값으로서 전달된다.

한편, 심박 검출부(12, 12')로부터 심박 변화율(HRV)의 시계열 신호를 받아들인 Mean/Std 계산부(14)는, 주어진 시계열에 대한 평균 및 표준 편차(Std)를 계산하여 이를 감산부(20)에게 사용자 정서 인식을 수행하기 위한 특징 값으로서 전달된다.

이어서, 도 5에 도시된 심박 분석부(11)에 구비된 SCR 분석부(15)의 상세 구성 및 동작을 살펴보면 다음과 같다.

도 10은 피부 전도 특성(SCR)의 검출에 사용되는 EDA 신호의 파형을 보여주는 도면이다. 도 10에는 사용자로부터 발생된 EDA 신호의 파형(1600)과, EDA 신호의 파형(1600) 중 SCR의 특성이 추출되는 부분에 대한 확대 파형(1610)이 도시되어 있다. 1600 및 1610으로 표시된 신호는 SCR 분석부(15)에 구비된 SCR 검출부(16)로 입력된다.

도 11은 도 5에 도시된 SCR 검출부(16)의 구성을 보여주는 도면이다.

도 11을 참조하면, EDA 신호를 받아들여 피부 전도 특성을 검출하는 SCR 검출부(16)는, 다운샘플러(down-sampler ; 161), 미분기(differentiator ; 162), 및 스무딩 컨볼루션 유닛(smoothing convolution unit ; 163)으로 구성된다.

다운샘플러(161)는 입력된 EDA 신호를 10 내지 12 개의 데이터로 다운 샘플링한다. 미분기(162)는 다운 샘플링된 결과를 미분하고, 스무딩 컨볼루션 유닛(163)은 길이가 20인 Bartlett 윈도우를 사용하여 미분 결과에 대한 스무딩 컨볼루션을 수행한다. 이와 같은 SCR 검출부(16)에 의하면, 입력된 EDA 신호는 이산 SCR 데이터(discrete SCR data) 형태로 출력된다.

SCR 검출부(16)에 의해 취득된 이산 SCR 데이터는 SCR 분석부(15)에 구비된 SCR 계산부(17)로 입력되어, 일정시간 동안의 SCR 발생빈도(number of SCR/time), SCR의 크기(SCR amplitude), 및 SCR 상승 시간(SCR rise time) 등의 특징 값들을 발생한다. SCR 계산부(17)에 의해 구해진 SCR 특징 데이터들(즉, SCR 발생빈도, SCR의 크기, SCR 상승 시간 등)은 도 5에 도시된 바와 같이 감산부(20)로 각각 입력된다.

계속해서, 도 5에 도시된 심박 분석부(11)의 SKT Mean/Max 계산부(18)에 대한 상세 구성 및 동작을 살펴보면 다음과 같다.

도 12는 피부 온도의 변화를 검출하는데 사용되는 SKT 신호의 파형을 보여주는 도면이고, 도 13은 도 5에 도시된 SKT Mean/Max 계산부(18)의 구성을 보여주는 블록도이다.

도 13을 참조하면, SKT Mean/Max 계산부(18)는 다운 샘플러(181)와 Mean/Max 계산기(182)로 구성된다. SKT Mean/Max 계산부(18)는 도 12에 도시된 바와 같은SKT 신호를 받아들여 상기 신호를 100 개 정도의 데이터로 다운 샘플링하고, 다운 샘플링된 데이터의 평균 값(Mean_SKT) 및 최대 값(Max_SKT)을 SKT의 특징 데이터로서 발생한다.

앞에서 설명한 바와 같이, 특징 분석부(10)에 구비된 심박 분석부(11), SCR 분석부(15) 및 SKT Mean/Max 계산부(18)가 사용자로부터 입력된 복수 개의 생체 신호들로부터 사용자의 정서 인식에 필요한 특징 값들을 추출하고 나면, 상기 특징 값들은 감산부(20) 및 SVM 유닛(30)에 순차적으로 입력되어 사용자의 정서를 인식하게된다.

도 14는 도 5에 도시된 감산부(20) 및 SVM 유닛(30)의 구성을 보여주는 블록도이다.

도 14를 참조하면, 감산부(20)에는 사용자의 정서 인식에 기준이 되는 특징 값들로서 사용자의 평상시 정서 상태에 대한 특징 값들(Feature 1' - Feature 4')이 저장되어 있다. 감산부(20)는 특징 분석부(10)에 구비된 심박 분석부(11), SCR 분석부(15), 및 SKT Mean/Max 계산부(18)로부터 입력되는 복수개의 특징 값들(Feature 1 - Feature 4)과 사용자의 평상시 정서 상태에 대한 특징 값들(Feature 1' - Feature 4')과의 차이를 구하여 이를 SVM 유닛(30)으로 전송한다.

SVM 유닛(30)은, 감산부(20)에서 출력된 특징 값들의 차이에 응답해서 사용자의 정서 상태를 학습(training) 및 분류(classify)하는 SVM 분류기(Support Vector Machine Classifier ; 32)와, SVM 분류기(32)에 의해 학습된 결과를 저장하는 데이터베이스(34), 및 SVM 분류기(32)에서 분류된 복수 개의 정서 상태 값들을 비교하여 최종 정서 상태를 선택하여 출력하는 비교기(36)를 포함한다.

추출된 특징벡터들로부터 소정의 정서상태를 결정하는 것은 일종의 패턴인식 문제에 해당되며, 패턴인식을 위해서는 다양한 종류의 분류기가 적용될 수 있다. 일반적으로, 특정 정서상태를 나타내는 특징 벡터가 다차원 공간상에 하나의 확률분포를 형성하고 있고, 각 상태에 해당되는 확률 밀도 함수가 알려져 있기만 하면, Bayes' 법칙에 의해서 통계적으로 최적의 분류기가 구현될 수 있다.

그러나, 실제에 있어서 확률 밀도 함수를 정확히 아는 것은 불가능하기 때문에, Bayes' 법칙에 상응하는 규칙을 함축적으로 구현하는 파젠 윈도우 분류기(Parzen window classifier), 다중 퍼셉트론(multilayer perceptron) 등이 주로 사용되고 있다. 하지만, 이와 같은 종래의 분류기들은 일반화(generalization) 특성이 좋지 못하기 때문에, 학습에 사용되지 않은 새로운 데이터에 대해서는 오동작율이 상당히 높은 문제점을 가지고 있다. 뿐만 아니라, 상기 패턴 분류기는 특징벡터들의 분포가 상당히 넓고, 서로 다른 상태에 해당되는 분포들 간에 겹치는 부분들이 많기 때문에, 오동작율이 높아질 가능성이 매우 크다. 따라서, 본 발명에서는 상기와 같은 문제점을 해결하기 위해서, 높은 일반화 특성을 가지는 SVM 분류기(32)를 정서 인식을 위한 패턴 분류기로서 사용한다.

SVM 분류기(32)는 고차원으로의 비선형적인 매핑(mapping)에 의해서 선형적 분리 가능성을 높일 수 있다. SVM 분류기(32)는, Vapnik의 통계적 학습 이론(statistical learning theory)을 근거로 하여 최적의 일반화성능(generalization performance)을 갖는 선형분리기를 구현하는 방법을 기반으로 하여 구성된다. 이와 같은 특성을 갖는 SVM 분류기에 대한 보다 상세한 설명은, 1999년, V. Vapnik에 의해 IEEE Transactions on neural network, Vol. 10, No. 5, pp. 988-999에 발표된 논문, "An overview of statistical learning theory" 등에 개시되어 있다.

도 15a 및 도 15b는 도 14에 도시된 SVM 분류기(32)의 정서 분류 결과를 보여주는 도면이다. 본 발명에 의한 SVM 분류기(32)는, 입력 공간의 비선형적인 높은 차수를 특징 공간(feature space)에서 선형적으로 투영하여 해석함으로써, 도 15a 및 도 15b에 도시된 바와 같이 각 특징 데이터(즉, 사용자의 정서) 사이에 최적의 경계(즉, 최적분리면)를 제시한다.

다시 도 14를 참조하면, SVM 분류기(32)에 의해 수행된 정서 분류의 결과는 각 정서별로 분류된 후, 각 정서별 강도가 숫자로 표시되어 출력된다. 예를 들어, 스트레스(Stress)에 해당되는 정서는 0.3(또는 30%), 슬픔(Sad)에 해당되는 정서는 0.6(또는 60%), 그리고, 분노(Anger)에 해당되는 정서는 0.1(또는 10%) 등과 같이 각 정서별 강도가 숫자로 표시된다.

비교기(36)는 SVM 분류기(32)로부터 출력되는 복수 개의 정서에 대한 강도를 받아들여, 이들 중 가장 큰 강도를 나타내는 정서를 최종 정서 인식 결과(Emotion)로서 출력한다. 이 때, 데이터베이스(34)에는 어떤 특징 값들이 입력되는 경우에는 어떤 정서로 인식되는가에 대한 정보들이 저장된다. 이 같은 데이터베이스(34)에 대한 데이터의 갱신은 SVM 분류기(32)의 학습시 수행되고, 일단 SVM 분류기(32)의학습이 끝나게 되면 데이터베이스(34)에 대한 데이터의 갱신은 수행되지 않는다. 따라서, 데이터베이스(34)는 개발자 입장에서 필요한 부분이고, 사용자를 위해 개발이 완료된 정서 인식 시스템에는 데이터베이스(34)가 제공되지 않아도 된다.

도 16은 본 발명의 바람직한 실시예에 의한 정서 인식 방법을 보여주는 흐름도이다. 도 16을 참조하면, 본 발명에 의한 정서 인식 방법은, 먼저 ECG/PPG, EDA, SKT와 같은 복수 개의 생체 신호를 입력받는다(1010 단계). 상기 생체 신호는 인체에 착용 가능한 센서가 구비된 생체 신호 취득 장치(200)에 의해 취득된 후, 정서 인식 장치(1)로 무선 전송된다.

컴퓨터와 같이 정서 인식 프로그램이 저장된 소정의 프로세서로 구성된 정서 인식 장치(1)는 1010 단계에서 입력된 복수개의 생체 신호를 분석하여 사용자의 정서 인식에 사용되는 복수 개의 특징 값들을 추출한다(1020 단계). 1020 단계에서 추출되는 특징 값으로는 ECG/PPG 신호로부터 추출된 심박 신호의 스펙트럼, 심박 신호의 평균 값/표준편차 값, EDA 신호로부터 검출된 SCR 관련 파라미터들, 및 SKT 신호로부터 추출된 SKT 신호의 평균 값/최대 값 등이 있다.

1020 단계에서 추출된 복수개의 특징 값들은 감산부(20)로 입력되어, 추출된 복수개의 특징 값들과 정서 인식의 기준이 되는 특징 값들간의 차이가 구해진다(1030 단계). 여기서, 정서 인식의 기준이 되는 특징 값들은 사용자가 특정 정서에 치우치지 않은 평상시의 정서를 나타내는 특징 값으로서, 상기 기준이 되는 특징 값들은 감산부(20)에 미리 저장되어 있다.

특징 값들의 차이가 구해지면, 상기 차이 값들은 SVM 유닛(30)으로 입력되어사용자 정서 인식이 수행된다(1040 단계). SVM 유닛(30)은 사용자의 정서 상태를 각 정서 별로 구분하고, 구분된 각각의 정서들 중 가장 큰 강도를 나타내는 정서를 선택하여 이를 최종 정서 인식 결과로서 출력한다(1050 단계).

도 17은 본 발명의 바람직한 실시예에 따른 정서 인식 수행 결과를 보여주는 도면이다. 도 17을 참조하면, 본 발명에 따른 정서 인식 시스템은 참조 번호 41 내지 43으로 표시된 사용자의 생체 신호를 받아들여 정서를 분류한 결과를 참조 번호 44와 같이 나타낸다. 그리고, 정서 분류 결과 중 가장 많은 정서의 부분을 차지하는 정서(예를 들면, Sad)를 참조번호 45와 같이 정서 인식의 최종 결과로서 출력하게 된다.

이 같은 본 발명에 의한 정서 인식 장치 및 방법은, 기존의 방법들에 비해 다음과 같은 장점을 갖는다. 예를 들어, 기존의 정서 인식 방법들이 뇌파나 안면근전도 등을 이용하여 일상적으로 사용이 불가능한 반면, 본 발명은 손목 시계 형태로 착용되는 센서를 통해 비침습적으로 취득되는 생체 신호를 이용하기 때문에 실용화가 매우 용이한 장점을 가진다. 뿐만 아니라, 본 발명에 의한 정서 인식 장치 및 방법은 약 50초 정도의 짧은 시간의 생체 신호의 관측으로도 기존의 방법에 비해 현저히 높은 정서 인식 결과를 갖는다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상에 설명한 바와 같이, 본 발명에 의한 정서 인식 장치 및 방법에 의하면, 신체에 불편함 없이 상시 착용이 가능한 센서로부터 생리 신호를 취득하고, 취득된 신호를 짧은 시간 동안 모니터링 하여 사용자의 정서 상태를 정확하게 인식할 수 있다.

Claims

사용자의 신체에 착용되어 적어도 하나 이상의 생체 신호를 취득하고, 취득된 상기 생체 신호를 무선 전송하는 생체 신호 취득 장치; 및

상기 생체 신호 취득 장치로부터 전송된 상기 생체 신호를 단시간 동안 모니터링하여 상기 사용자의 정서 상태를 인식하는 정서 인식 장치를 포함하는 것을 특징으로 하는 정서 인식 시스템.
제 1 항에 있어서, 상기 생체 신호 취득 장치는,

상기 생체 신호를 비침습적으로 받아들이는 적어도 하나 이상의 센서;

상기 센서로부터 입력된 적어도 하나 이상의 생체 신호들을 증폭하고 필터링하는 증폭/필터링부;

상기 증폭/필터링부를 통해 처리된 신호들을 각 생체 신호별로 분류하여 출력하는 멀티플렉서;

상기 멀티플렉서의 출력을 디지털 신호로 변환하는 A/D 컨버터; 및

상기 A/D 컨버터에 의해 변환된 상기 디지털 신호들을 상기 정서 인식 장치로 무선 전송하는 RF 송신부를 포함하는 것을 특징으로 하는 정서 인식 시스템.
제 1 항에 있어서,

상기 생체 신호는, 광혈류량(PPG), 심전도(ECG), 피부전기활동(EDA) 및 피부 온도(SKT)를 포함하는 것을 특징으로 하는 정서 인식 시스템.
제 1 항에 있어서,

상기 정서 인식 장치는, 상기 생체 신호를 분석하여 상기 사용자의 정서 상태를 인식하는 알고리즘이 저장된 연산 장치인 것을 특징으로 하는 정서 인식 시스템.
사용자로부터 취득된 생체 신호들의 특징을 분석하는 특징 분석부;

상기 특징 분석부에서 분석된 결과와, 상기 사용자의 정서를 인식하는 데 기준이 되는 특징 값들과의 차이를 구하는 감산부; 및

상기 감산부에서 구해진 상기 차이 값을 분석하여 복수 개의 정서들을 각 카테고리별로 분류하고, 상기 분류된 정서들 중 가장 강도가 크게 나타난 정서를 상기 사용자의 정서 상태로 인식하는 정서 분류 수단을 포함하는 것을 특징으로 하는 정서 인식 장치.
제 3 항 또는 5 항에 있어서, 상기 특징 분석부는

상기 ECG 신호 및 상기 PPG 신호 중 어느 하나를 받아들여 심박 신호를 검출하고, 상기 심박 신호와 관련된 특징 값들을 추출하는 심박 분석부;

상기 EDA 신호를 받아들여 피부 전도 특성과 관련된 특징 값들을 추출하는 피부 전도 특성 분석부; 및

상기 SKT 신호를 받아들여 피부 온도와 관련된 특징 값들을 추출하는 피부 온도 분석부를 포함하는 것을 특징으로 하는 정서 인식 장치.
제 6 항에 있어서, 상기 심박 분석부는

상기 ECG 신호 및 상기 PPG 신호 중 어느 하나를 받아들여 심박 신호를 검출하고, 검출된 상기 삼박 신호를 심박 변화율의 시계열로 변환하는 심박 검출부;

상기 심박 변화율의 시계열 신호에 응답해서 상기 심박 신호의 스펙트럼을 분석하는 스펙트럼 분석부; 및

상기 심박 변화율의 시계열 신호에 응답해서 상기 심박 신호의 평균 값과 표준편차 값을 계산하는 평균/표준편차 계산부를 포함하는 것을 특징으로 하는 정서 인식 장치.
제 7 항에 있어서, 상기 심박 검출부는

입력되는 신호 중에서 상기 ECG 신호가 존재하는 대역을 통과시키는 밴드패스 필터;

상기 밴드패스 필터링 결과에 존재하는 저주파노이즈 성분을 추정하는 메디안 필터;

상기 밴드패스 필터링 결과에 상기 메디안 필터링 결과의 역수를 더해주어, 상기 저주파 노이즈 성분을 제거하는 가산부; 및

상기 가산부의 출력 신호에 Teager 에너지 오퍼레이터를 취해주어 상기 심박 신호를 검출하는 Teager 에너지 연산부를 포함하는 것을 특징으로 하는 정서 인식 장치.
제 7 항에 있어서, 상기 심박 검출부는

입력되는 신호 중에서 상기 PPG 신호가 존재하는 대역을 통과시키는 밴드패스 필터;

상기 밴드패스 필터링 결과에 존재하는 저주파노이즈 성분을 추정하는 메디안 필터;

상기 밴드패스 필터링 결과에 상기 메디안 필터링 결과의 역수를 더해주어, 상기 저주파 노이즈 성분을 제거하는 가산부;

상기 가산부의 출력 신호로부터 상기 심박 신호를 추출하는 정합 필터; 및

상기 심박 신호에 대한 제로 클리핑을 수행하는 제로 클리퍼를 포함하는 것을 특징으로 하는 정서 인식 장치.
제 5 항에 있어서,

상기 감산부는, 상기 사용자의 정서를 인식하는 데 기준이 되는 특징 값으로서, 상기 사용자의 평상시 정서에 대한 특징 값들을 사용하는 것을 특징으로 하는 정서 인식 장치.
제 5 항에 있어서, 상기 정서 분류 수단은,

상기 감산부에서 구해진 상기 차이 값을 분석하여 상기 사용자의 정서를 복수 개의 카테고리로 분류하는 SVM(Support Vector Machine) 분류기; 및

상기 SVM 분류기를 통해 분류된 상기 정서들의 강도를 비교하여, 상기 정서들 중 가장 강도가 크게 나타난 정서를 상기 사용자의 정서 인식 결과로서 출력하는 비교기를 포함하는 것을 특징으로 하는 정서 인식 장치.
제 11 항에 있어서, 상기 정서 분류 수단은,

상기 SVM 분류기를 학습시키기 위한 복수 개의 정서 데이터 및 상기 정서 데이터에 의한 상기 SVM 분류기의 학습 결과를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 하는 정서 인식 장치.
(a) 사용자로부터 적어도 하나 이상의 생체 신호를 입력받는 단계;

(b) 상기 생체 신호들을 분석하여 상기 사용자의 정서 인식에 사용될 복수 개의 특징 값들을 추출하는 단계;

(c) 상기 (b) 단계에서 추출된 상기 복수개의 특징 값들과, 정서 인식의 기준이 되는 소정의 특징 값들간의 차이를 구하는 단계;

(d) 상기 (c) 단계에서 계산된 상기 특징 값들간의 차이에 응답해서 상기 사용자의 정서 상태를 복수 개의 카테고리로 분류하는 단계; 및

(e) 분류된 각각의 정서들 중 가장 큰 강도를 나타내는 정서를 선택하여 출력하는 단계를 포함하는 것을 특징으로 하는 정서 인식 방법.
제 13 항에 있어서,

상기 생체 신호는, 비침습적으로 취득되는 광혈류량(PPG), 심전도(ECG), 피부전기활동(EDA) 및 피부 온도(SKT)를 포함하는 것을 특징으로 하는 정서 인식 방법.
제 13 항에 있어서,

상기 사용자의 정서를 인식하는 데 기준이 되는 상기 특징 값들은, 상기 사용자의 평상시 정서에 대한 특징 값들인 것을 특징으로 하는 정서 인식 방법.
제 13 항에 있어서,

상기 (d) 단계는, 통계적 학습 이론을 근거로 하여 상기 사용자의 정서를 복수 개의 카테고리로 분류하는 SVM 분류기를 사용하는 것을 특징으로 하는 정서 인식 방법.
제 13 항 내지 제 16 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.