KR20130126000A

KR20130126000A - 개인화된 감성 인식 장치 및 방법

Info

Publication number: KR20130126000A
Application number: KR1020120049711A
Authority: KR
Inventors: 민병석; 황민철; 박상인; 박재언; 원명주; 홍태화
Original assignee: 삼성전자주식회사; 상명대학교 천안산학협력단
Priority date: 2012-05-10
Filing date: 2012-05-10
Publication date: 2013-11-20
Also published as: KR101958415B1

Abstract

본 발명의 일실시예에 따른 감성인식장치는, 사용자에게 감성을 유발시키는 자극을 제공하는 자극제시부; 상기 사용자의 복수의 생체반응들을 측정하는 생체반응측정부; 상기 제공된 자극에 대응하는 복수의 생체반응들과 상기 자극에 대하여 미리 정해진 룰-베이스를 비교하여, 상기 복수의 생체반응들 중 적어도 하나의 제 1생체반응은 상기 미리 정해진 룰-베이스와 일치하고, 상기 제1 생체반응과 다른 적어도 하나의 제 2생체반응은 상기 미리 정해진 룰-베이스와 일치하지 않을 경우, 상기 적어도 하나의 제 1생체반응을 이용하여 개인화된 룰-베이스를 도출하는 룰-베이스도출부;를 포함하는 것을 특징으로 한다.

Description

개인화된 감성 인식 장치 및 방법{INDIVIDUALIZED EMOTION RECOGNIZING APPARATUS AND METHOD}

본 발명은 감성 인식 장치 및 방법에 관한 것으로서, 특히 개인의 생체적 특징을 고려한 개인화된 감성 인식 장치 및 방법에 관한 것이다.

감성인식기술이란 인간의 감성을 측정하여 이를 분석함으로써 제품 개발이나 환경 설계에 적용하여 인간의 삶의 질적 향상을 도모하는 기술이다. 이는 개인의 경험을 통해 얻어지는 외부 물리적 자극에 대한 쾌적함, 불쾌함, 안락함, 불편함 등의 복합적인 감성을 과학적으로 측정 및 분석하여 이를 공학적으로 적용시켜 제품이나 환경을 변경시키는 기술 분야에 속한다.

이러한 감성인식기술은 인간의 특성을 파악하려는 생체측정기술, 인간의 오감 센서 및 감성 처리 기술, 감성 디자인 기술, 마이크로 가공 기술, 및 사용성 평가나 가상현실 기술 등의 분야로 나눌 수 있다. 감성인식기술은 인간의 생체적 및 심리적 적합성을 고려한 전자 제품 및 소프트웨어 인터페이스 개발에 이용되고 있다. 또한 감성인식기술은 사용자의 감성을 정확히 인식하여 이에 관련된 서비스를 제공하는데 이용되고 있다. 예를 들어 감성인식기술은 오락분야, 교육분야, 및 의료분야 등에 있어서 사용자의 감성을 이용하여 사용자에게 감성기반 서비스를 제공할 수 있고, 서비스 이용시에 사용자의 즉각적인 반응을 확인하여 그 반응에 따른 피드백을 제공함으로써 서비스의 질적 향상을 도모할 수 있다.

이러한 감성인식기술에서, 사용자의 생체반응을 측정하는 방법으로는 자율신경계(ANS, Autonomic Nervous System)측정방법, 중추신경계(CNS, Central Nervous System)측정을 위한 뇌파측정방법, 또는 얼굴 영상(Behavior Response) 촬영방법 등이 있다. 또한, 생체반응측정의 정확도를 높이기 위하여, 하나의 생체반응만을 이용하여 사용자의 감성을 추출하는 것보다, 다수의 생체반응을 통합하여 분석하는 멀티모달(Multi-modal) 감성인식기술이 있다. 즉, 초기의 감성인식기술은 자율신경계측정, 중추신경계측정, 얼굴영상측정을 통한 단편적인 접근방법을 이용하였으나, 이후 복수의 생체반응을 통합하여 분석하는 멀티모달 시스템으로 발전하고 있다.

그러나, 위와 같은 종래의 감성인식기술은 생체반응에 대한 측정값 자체의 정확도를 높이는 것에 불과하고, 개개인의 감성인식에 관한 차이를 반영하지 못하는 문제가 있다. 즉, 종래의 감성인식 기술에서는 통계학적으로 모든 사람들에게 공통으로 적용이 가능한 표준화된 감성인식 룰-베이스(Rule Base)를 설정하고, 이러한 표준화된 룰-베이스를 모든 개개인에게 적용시켜왔다.

그러나, 사람의 생체반응과 그에 따른 감성은 일률적으로 나타나지 않고 개개인마다 다르게 나타난다. 따라서 모든 사용자에 대하여 표준화된 룰-베이스에 따라 생체 반응과 그에 따른 감성을 결정할 경우, 개개인의 감성인식의 차이를 정확하게 판별하지 못하게 되는 문제가 있다.

본 발명의 목적은 개인의 감성인식의 차이를 정확하게 판별할 수 있는 감성인식 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 개인의 감성 인식의 정확도 및 재현성이 높은 개인화된 감성 인식 장치 및 방법을 제공함에 있다.

본 발명의 일 측면에 따른 개인화된 감성 인식 장치는 사용자에게 감성을 유발시키는 자극을 제공하는 자극제시부; 상기 사용자의 복수의 생체반응들을 측정하는 생체반응측정부; 상기 제공된 자극에 대응하는 복수의 생체반응들과 상기 자극에 대하여 미리 정해진 룰-베이스를 비교하여, 상기 복수의 생체반응들 중 적어도 하나의 제 1생체반응은 상기 미리 정해진 룰-베이스와 일치하고, 상기 제1 생체반응과 다른 적어도 하나의 제 2생체반응은 상기 미리 정해진 룰-베이스와 일치하지 않을 경우, 상기 적어도 하나의 제 1생체반응을 이용하여 개인화된 룰-베이스를 도출하는 룰-베이스도출부를 포함한다.

본 발명의 일 측면에 따른 개인화된 감성 인식 방법은 사용자에게 감성을 유발시키는 자극을 제공하는 자극제시단계; 상기 사용자의 복수의 생체반응들을 측정하는 생체반응측정단계; 상기 제공된 자극에 대응하는 복수의 생체반응들과 상기 자극에 대하여 미리 정해진 룰-베이스를 비교하여, 상기 복수의 생체반응들 중 적어도 하나의 제 1생체반응은 상기 미리 정해진 룰-베이스와 일치하고, 상기 제1 생체반응과 다른 적어도 하나의 제 2생체반응은 상기 미리 정해진 룰-베이스와 일치하지 않을 경우, 상기 적어도 하나의 제 1생체반응을 이용하여 개인화된 룰-베이스를 도출하는 룰-베이스도출단계를 포함한다.

본 발명에 따르면 개인별 생체 반응의 특징이 반영된 개인화된 룰-베이스를 도출하고, 상기 개인화된 룰-베이스를 이용하여 개인별 생체 반응의 특성을 고려한 맞춤형 감성 인식이 가능한 효과가 있다.

또한, 본 발명에 따르면 개인별 생체 반응의 특성이 고려된 개인화된 룰-베이스를 이용하여 감성인식의 정확도 및 재현성을 향상시킬 수 있는 효과가 있다.

또한, 본 발명에 따르면 개인별 생체 반응의 특성에 따른 감성 인식 결과에 따라 개인별 맞춤형 서비스를 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 감성인식장치를 나타내는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 생체반응측정부를 나타내는 세부 구성도이다.
도 3은 본 발명의 일 실시예에 따른 트레이닝부를 나타내는 세부 구성도이다.
도 4는 복수의 자극을 제공하여 생체반응을 측정하는 과정을 나타내는 도면이다.
도 5a는 GSR 평균(mean)의 변화량을 나타낸 그래프이다.
도 5b는 알파파의 변화량을 나타낸 그래프이다.
도 5c는 얼굴 근육(Facial muscles)의 변화량을 나타낸 그래프이다.
도 5d는 얼굴 근육 변화를 측정하는 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 룰-베이스 도출부를 나타내는 세부 구성도이다.
도 7은 시간에 따른 GSR 평균(mean)을 측정한 그래프이다.
도 8은 자극내 정확도 검증을 나타낸 도면이다.
도 9는 10회 자극을 제시한 GSR 평균(mean)을 측정한 그래프이다.
도 10은 자극간 정확도 검증을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 룰-베이스 도출부의 세부 구성도이다.
도 12는 본 발명의 다른 실시예에 따른 감성인식장치를 나타내는 구성도이다.
도 13은 스트레스 감성에 대한 PPG 주파수(frequency)와 SKT를 나타낸 그래프이다.
도 14는 시간 변화에 따른 감성 수준 평가를 표시한 그래프이다.
도 15는 본 발명의 또 다른 실시예에 따른 감성인식장치를 나타내는 구성도이다.
도 16a는 스트레스 감성에 대응하는 애플리케이션이 제공되고 있는 화면이다.
도 16b는 스트레스 감성에 대응하는 음악 재생 리스트가 제공되고 있는 화면이다.
도 17은 감성 인식 장치와 데이터베이스를 나타낸 구성도이다.
도 18은 본 발명의 일 실시예에 따른 개인화된 감성 인식 방법에 대한 순서도이다.
도 19는 본 발명의 일 실시예에 따른 개인화된 감성 인식 방법에 대한 순서도이다.

이하 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 감성인식장치의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 감성인식장치(10)는, 자극제시부(100), 생체반응 측정부(200) 및 룰-베이스 도출부(400)를 포함한다.

자극제시부(100)는 사용자에게 감성을 유발시키는 자극을 제공한다. 감성이란 사용자에게 유발되는 스트레스, 쾌, 불쾌, 흥분, 침정, 긴장, 이완, 안정, 불안정 같은 생리적 감각을 의미한다. 자극이란 사용자의 감성을 유발시키기 위해 제공되는 사진, 이미지, 영상 또는 소리 등을 포함한다. 상기 자극제시부(100)는 사용자의 감성을 유발시키는 사진, 이미지 및 영상 중 적어도 하나를 제시하는 영상표시장치(도시되지 않음) 또는 소리를 재생하는 음성재생장치(도시되지 않음)로 이루어질 수 있다. 예컨대 상기 영상표시장치에서는 스트레스 감성을 유발시키기 위한 영상이 제공될 수 있다. 상기 자극은 하나의 자극이 복수회로 제공될 수 있고, 상이한 복수개의 자극들이 복수회 제공될 수도 있다. 상기 자극은 일정시간을 단위로 복수회 제공될 수 있으며, 제공되는 자극과 자극 사이에는 상기 사용자에게 안정(Rest) 상태를 유지시킬 수도 있다. 또한, 도 1에서는 자극제시부(100)가 감성인식장치(10)의 내부에 형성된 예를 도시하고 있으나, 감성인식장치(10)의 외부에 형성될 수도 있다.

생체반응측정부(200)는 상기 사용자의 복수의 생체반응들을 측정한다. 생체반응측정부(200)는 상기 제공된 자극으로 인하여 변경된 상기 사용자의 복수의 생체반응들을 측정한다. 또한, 상기 생체반응측정부(200)는 상기 사용자의 하나의 생체반응만을 측정할 수도 있다. 그리고 도 1에서는 생체반응측정부(200)가 감성인식장치(10)의 내부에 형성된 예를 도시하고 있으나, 감성인식장치(10)의 외부에 형성될 수도 있다. 이러한 사용자의 생체반응은 광혈류, 맥파, 피부온도, 피부전도, 뇌파, 얼굴근육움직임 또는 얼굴온도 등으로 나타날 수 있다. 상기 생체반응측정부(200)는 3채널(3 Channels - PPG, GSR, SKT) 자율신경계(ANS, Autonomic Nervous System)측정기, 4채널(4 Channels - P3, P4, F3, F4) 중추신경계(CNS, Central Nervous System)측정을 위한 뇌파측정기, 사용자의 얼굴 표정 변화, 얼굴 근육 변화, 또는 행동 반응(Behavior Response)을 촬영하기 위한 카메라 중 적어도 하나를 포함할 수 있다. 상기 자율신경계측정기는 심박수(Heart Rate; HR), 심박수 변동(Heart Rate Variability; HRV), 말초혈관반응(Peripheral Plethysmograph; PPG), 피부전기반응(Galvanic Skin Response; GSR), 피부온도(Skin Temperature; SKT) 등을 측정할 수 있다. 아울러, 상기 뇌파측정기는 중추신경계로부터 측정될 수 있는 대표적인 신호인 뇌파신호를 측정할 수 있는 장치로서, 주파수범위에 따라 세타파, 알파파, 베타파 등을 측정할 수 있다. 또한, 카메라는 사용자의 얼굴 표정 변화를 측정할 수 있다.

룰-베이스 도출부(400)는, 상기 제공된 자극에 대응하는 사용자의 복수의 생체반응들과 상기 자극에 대하여 미리 정해진 룰-베이스를 비교하여, 상기 복수의 생체반응들 중 적어도 하나의 제 1 생체반응은 상기 미리 정해진 룰-베이스와 일치하고, 상기 제 1 생체반응과 다른 적어도 하나의 제 2 생체반응은 상기 미리 정해진 룰-베이스와 일치하지 않을 경우, 상기 적어도 하나의 제 1 생체반응을 이용하여 사용자의 개인화된 룰-베이스를 도출한다. 여기서, 룰-베이스(Rule-base)란, 특정 감성에 대한 인간의 여러가지 생체반응 측정치의 증감 패턴(반응 패턴)을 의미한다. 그리고, 미리 정해진 룰-베이스란, 공지된(또는 기존의) 여러 룰-베이스들 중 어느 하나를 의미한다.

룰-베이스 도출부(400)를 보다 자세히 설명하면 다음과 같다. 예를 들어, 스트레스 감성에 대한 미리 정해진 룰-베이스(반응 패턴)는 [표 1]에서 제시된 바와 같다.

생체반응	증감변동
PPG frequency	증가
PPG amplitude	감소
GSR	증가
SKT	증가
Beta power	증가
Alpha power	감소

즉, 스트레스 감성에 관한 미리 정해진 룰-베이스(반응 패턴)에 따르면, 말초혈관반응(PPG; Peripheral Plethysmograph) 주파수(frequency)는 증가되고, PPG 진폭(amplitude)은 감소되며, 피부전기반응(Galvanic Skin Response; GSR)은 증가되고, 피부온도(Skin Temperature; SKT)는 증가되며, 베타 파워(Beta power)는 증가되고, 알파 파워(Alpha power)는 감소된다.

그런데, 위와 같은 미리 정해진 룰-베이스와는 달리, 서로 다른 사용자마다 생체적 특징이 다르기 때문에, 동일한 스트레스 자극에 대해서도 사용자마다 생체반응이 다르게 나타날 수 있다. 즉, 동일한 스트레스 자극에 대하여 미리 정해진 룰-베이스에 따르면 일반적으로는 PPG 주파수(freqency)가 증가하지만, 특정 사용자는 PPG 주파수(freqency)가 증가하지 않거나 오히려 감소하는 경우가 있을 수 있다.

예를 들어, 특정 사용자에 대하여, 스트레스 감성에 관한 자극이 제시된 경우, PPG 주파수는 증가하고, PPG 진폭은 변동이 없으며, GSR은 증가하고, SKT는 변동이 없으며, 베타 파워는 증가하고, 알파 파워는 증가하는 경우를 설명한다. 여기서 스트레스 감성에 대한 [표 1]의 미리 정해진 룰-베이스(반응 패턴)와 상기 특정 사용자의 생체반응을 비교하여 보면 다음과 같다. 즉, [표 1]의 미리 정해진 룰-베이스(반응 패턴)와 일치하는 생체반응들(이를 적어도 하나의 제 1생체반응이라 함)은 PPG 주파수, GSR, 베타 파워이다. 즉 미리 정해진 룰-베이스(반응 패턴)와 일치하지 않는 기타 생체 반응들(이를 적어도 하나의 제 2생체반응이라 함)은 상기 사용자에게 유효한 룰-베이스로 사용될 수 없는 것이다. 따라서 스트레스 감성에 대한 상기 사용자의 유효한 개인화된 룰-베이스(Rule-base)는 PPG 주파수, GSR, 베타 파워로 도출(내지 선별)될 수 있으며, 아래 [표 2]와 같다.

생체반응	증감변동
PPG frequency	증가
GSR	증가
Beta power	증가

이와 같이, 본 발명에서 제시된 감성인식장치에 의하면, 미리 정해진 룰-베이스(반응 패턴)로부터 특정 사용자에게 유효한 개인화된 룰-베이스(반응 패턴)를 도출(내지 선별)하여, 감성인식의 정확도 및 재현성을 높일 수 있다.

도 2는 본 발명의 일 실시예에 따른 생체반응측정부(200)의 세부 구성도이다.

도 2를 참조하면, 생체반응측정부(200)는 센서부(210), 신호처리부(220), 및 신호출력부(230)를 포함한다.

센서부(210)는 자율신경계측정기, 중추신경계측정기, 뇌파측정기, 카메라 중 적어도 하나를 포함할 수 있다. 상기 센서부(210)를 통하여, 심박수(Heart Rate; HR), 심박수 변동(Heart Rate Variability; HRV), 말초혈관반응(Peripheral Plethysmograph; PPG), 피부전기반응(Galvanic Skin Response; GSR), 피부온도(Skin Temperature; SKT), 뇌파신호(세타파, 알파파, 베타파), 얼굴근육변화 등과 같은 생체반응들을 측정한다.

신호처리부(220)는 상기 센서부(210)를 통해 측정된 생체반응에 대한 신호를 신호처리(또는 영상처리)과정을 통해 유효 생체반응 신호로 변환할 수 있다. 상기 신호처리부(220)는 상기 생체반응에 대한 신호를 신호증폭, 노이즈처리, A/D 변환 과정, FFT 분석, 영상처리과정을 통하여 유효 생체반응 신호(데이터)로 변환한다.

신호출력부(230)는 상기 신호처리부(220)에 의해 변환된 유효 생체반응 신호를 출력한다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 감성인식장치(10)는, 트레이닝부(300)를 더 포함할 수 있다.

트레이닝부(300)는, 상기 사용자에게 복수의 자극들이 제공될 시 상기 사용자의 상기 복수의 생체반응들의 변화량들을 측정한다. 트레이닝부(300)는, 상기 자극제시부(100)로부터 복수의 자극들을 제공받아 이를 상기 사용자에게 제시하고, 상기 생체반응 측정부(200)를 이용하여 상기 제공된 복수의 자극들로 인하여 변경된 상기 사용자의 복수의 생체반응들의 변화량들을 측정한다. 이때, 상기 자극제시부(100)로부터 제공되는 복수의 자극들은 일정시간을 단위로 제공될 수 있다. 그리고, 상기 일정시간, 즉 하나의 자극이 지속되는 시간은 수초 또는 수분이 될 수 있다. 상기 제공되는 자극들의 수는 10회 이상으로 하는 것이 바람직하다. 상기 복수의 자극들 중 제1자극과 상기 제1자극을 뒤따르는 제2자극 사이에는 상기 사용자가 휴식을 취하여 안정(Rest) 시간이 제공되는 것이 바람직하다. 이에 따라 상기 사용자는 상기 안정 시간 동안에 휴식을 취하여 안정(Rest) 상태를 유지함으로써, 제2자극에 대한 사용자의 생체 반응 측정 시 앞서 제시된 제1자극에 의한 영향을 최소화할 수 있다. 그리고 반복적으로 제시되는 자극들은 동일한 시간간격으로 제공되는 것이 바람직하다. 자극은 사용자가 미리 예측할 수 없도록 무작위로 선택된 내용으로 이루어지는 것이 바람직하다. 예를 들어, 스트레스 감성에 대한 사용자의 생체반응들은 다음과 같이 측정될 수 있다. 상기 트레이닝부(300)는 상기 자극제시부(100)로부터 스트레스 감성을 유발시키는 복수의 자극들을 전달받아 상기 사용자에게 제공한다. 그리고 상기 제공된 복수의 자극들로 인하여 변경된 상기 사용자의 복수의 생체반응들(예컨대 PPG, GRS, SKT, 뇌파 등)의 변화량들을 상기 생체반응측정부(200)를 이용하여 측정한다. 이 후, 측정된 복수의 생체반응들의 변화량들을 룰-베이스도출부(400)로 전달한다.

도 3은 본 발명의 일 실시예에 따른 트레이닝부(300)의 세부 구성도이다.

도 3을 참조하면, 상기 트레이닝부(300)는 기준치측정부(310)와 변화량판단부(320)를 포함한다.

기준치측정부(310)는 상기 사용자에게 상기 복수의 자극들이 제공되기 전 안정(Rest) 상태에서의 상기 복수의 생체반응들에 대응하는 복수의 기준치들을 측정한다.

변화량판단부(320)는 상기 사용자에게 상기 복수의 자극들이 제공될 시 상기 복수의 생체반응들을 상기 복수의 기준치들과 비교하여 상기 복수의 생체반응들의 변화량들을 판단한다. 예를 들면, 도 4는, 60초(s) 단위로 총 10개의 자극(Stimulus)들을 제공하여 복수의 생체반응들을 측정하는 과정을 도시하고 있다. 만약 스트레스 감성을 유발시키는 총 10회의 자극들이 제공되는 경우라면, 먼저 스트레스 감성을 유발시키는 자극들이 제시되기 전의 안정상태에서 상기 복수의 생체반응들에 대응하는 복수의 기준치(Reference)들을 60초(s)간 측정한다. 그리고 스트레스 감성을 유발시키는 상기 10회의 자극들 맨 처음 1회의 자극(Stimulus)을 사용자에게 60초(s)간 제공된 상태에서 상기 복수의 생체반응들을 측정한 뒤, 120초(s)간 안정(Rest) 상태(아무런 자극이 제공되지 않거나, 편안한 감성을 유발시키는 자극이 제공되는 상태)를 유지하여 상기 복수의 생체반응들을 120초(s)간 측정한다. 이와 같이 60초간의 자극을 제공한 후, 120초 간의 안정 상태를 제공하는 과정을 각각 10회 반복하며, 각 자극 제공 상태 및 안정 상태에서의 사용자의 생체반응들을 측정한다. 이 때, 변화량판단부(320)는 측정된 상기 복수의 생체반응들을 상기 복수의 기준치들과 비교하여 상기 복수의 생체반응들의 변화량들을 판단한다. 이 후, 상기 변화량판단부(320)에서 판단된 상기 복수의 생체반응들의 변화량들은 이하에서 설명될 룰-베이스도출부(400)로 전달된다. 도 5를 참조하면, 상기와 같은 과정으로 사용자에게 스트레스 감성을 유발시키는 자극들을 60초 간격으로 제공하고 상기 자극들로 인하여 유발된 복수의 생체반응들 중에서 GSR 평균(mean)과 알파파(Alpha)와 얼굴 근육(Facial muscles)의 변화량에 대한 예시적 그래프가 도시되어 있다. 도 5a는 상기 사용자의 측정된 GSR 평균(mean)의 변화량을 나타낸 그래프이다. 도 5b는 상기 사용자의 측정된 알파파의 변화량을 나타낸 그래프이다. 도 5c는 상기 사용자의 측정된 얼굴 근육(Facial muscles)의 변화량을 나타낸 그래프이다. 그리고 사용자의 얼굴 근육은 도 5d와 같이 측정될 수 있다. 도 5d를 참조하면, 카메라를 이용하여 사용자의 얼굴 표정 변화를 촬영할 수 있고, 상기 촬영된 사용자의 얼굴 표정 변화를 통하여, 얼굴 근육 변화들을 분류하여 측정할 수 있다. 도 5d의 숫자 번호들(동그라미 1 내지 14)은 각각의 얼굴 근육 지점의 위치와 얼굴 근육의 변화 방향을 나타낸다. 동그라미 1과 2는 눈썹 사이의 얼굴 근육 변화를 측정하기 위한 얼굴 근육 지점들이고 동그라미 1과 2 사이의 화살표는 눈썹 사이의 얼굴 근육의 변화 방향이다. 동그라미 3과 4는 눈꺼풀의 얼굴 근육 변화를 측정하기 위한 얼굴 근육 지점들이고 동그라미 3과 4의 화살표는 눈꺼풀의 얼굴 근육들의 변화 방향이다. 동그라미 5 내지 10은 뺨의 얼굴 근육 변화를 측정하기 위한 얼굴 근육 지점들이고 동그라미 5과 9 사이의 화살표, 7과 9 사이의 화살표, 6과 10 사이의 화살표, 8과 10 사이의 화살표는 뺨의 얼굴 근육들의 변화 방향이다. 동그라미 11 내지 14는 입술의 얼굴 근육 변화를 측정하기 위한 얼굴 근육 지점들이고 동그라미 11과 14 사이의 화살표, 12와 13 사이의 화살표는 입술의 얼굴 근육들의 변화 방향이다.

도 6은 본 발명의 일 실시예에 따른 룰-베이스 도출부(400)를 나타내는 세부 구성도이다.

도 6을 참조하면, 본 발명의 일 실시예인 개인화된 감성 인식 장치의 룰-베이스 도출부(400)는, 자극내 정확도검증부(410) 및 자극간 정확도검증부(420)를 포함할 수 있다.

자극내 정확도검증부(410)는, 상기 사용자에게 복수의 자극들이 제공될 시, 상기 각각의 자극이 제공되는 시간을 복수의 단위시간들로 구분하고, 상기 각각의 자극이 제공되는 시간 내에서 상기 사용자의 특정 생체반응이 상기 미리 정해진 룰-베이스에 부합하는 단위시간들의 비율이 미리 정해진 자극내 정확도보다 큰 경우, 상기 각각의 자극을 유효한 것으로 판단한다. 상기 자극내 정확도검증부(410)는 사용자에게 제공된 하나의 자극에 대하여 상기 사용자의 특정 생체반응이 미리 정해진 자극내 정확도 이상일 경우 상기 사용자의 특정 생체반응이 유효한 것으로 판단하고, 상기 미리 정해진 자극내 정확도보다 작을 경우 상기 사용자의 특정 생체반응이 유효하지 않은 것으로 판단한다. 여기서 자극내 정확도가 높을수록 상기 자극에 대하여 사용자가 더욱 민감하게 반응하는 것으로 판단한다. 이와 같이 자극내 정확도를 판단함으로써 상기 사용자의 생체반응의 특성을 고려하여 민감하게 반응하는 생체반응을 개인화된 룰-베이스에 적용할 수 있다.

상기 자극내 정확도 검증부(410)에 의해 자극내 정확도를 판단하는 방법은 다음과 같다. 사용자에게 제공되는 복수회의 자극들 중 하나의 자극에 대하여, 상기 하나의 자극이 상기 사용자에게 제공되는 시간(예를 들어, 60초)을 복수의 단위시간들로 구분하고, 상기 각각의 단위시간(예를 들어, 6초)별로 상기 사용자의 특정 생체반응이 상기 미리 정해진 룰-베이스에 부합하는지 여부를 판단한다. 그리고 상기 하나의 자극이 제공되는 시간 내에서 상기 미리 정해진 룰-베이스에 부합하는 생체반응을 나타내는 단위시간들이 차지하는 비율이 미리 정해진 자극내 정확도보다 큰 경우, 상기 하나의 자극을 유효한 것으로 판단한다. 예를 들어, 스트레스 감성을 유발시키는 자극이 도 4와 같이 제공된 경우를 살펴본다. 즉, 자극이 제공되기 전에 기준치(Reference)로서 60초(s) 동안 생체반응을 측정한 후, 스트레스를 유발시키는 자극이 60초(s)간 제공될 동안의 생체반응을 측정하는 과정 및 안정 상태가 유지된 120초(s) 동안의 생체반응을 측정하는 과정을 각각 10회씩 교대로 수행한다. 이 때, 상기 자극내 정확도 검증부(410)는 각각의 자극의 정확도를 검증하여 유무효를 평가한다. 도 7은, 도 4에서 제시된 10회의 자극들 중 첫 번째 자극의 생체반응측정결과(예컨대 GSR mean)의 변화량에 관한 그래프이다. 도 7을 참조하면, 자극내 정확도 검증부(410)는 하나의 자극이 제공되는 시간(60초)을 총10회의 단위시간으로 나누고, 각 단위시간(6초) 내에서의 생체반응의 유무효를 판단한다. 단위시간별로 사용자의 생체반응의 변화량이 미리 정해진 룰-베이스에 부합하는 경우에는 O, 부합하지 아니하면 X로 평가할 수 있다. 예를 들어, 각 단위시간 내의 측정된 생체반응의 평균치가 미리 저장된 룰-베이스에 부합하는 지를 살펴보거나, 단위시간 내의 측정된 생체반응의 초기값과 최종값의 평균값으로 미리 저장된 룰-베이스에 부합하는 지를 살펴보는 등 다양한 방법이 사용될 수 있다. 예를 들어, [표 1]의 룰-베이스에 따르면 스트레스 감성의 경우에, 피부전기반응(GSR)은 증가한다. 따라서 각 단위시간에서 측정된 피부전기반응(GSR) 값이 기준치에 비해 증가한 경우 상기 미리 정해진 룰-베이스에 부합한 것으로 평가하고, 그 평가 결과는 도 8과 같이 나타낼 수 있다. 도 8에는 도 7에 도시된 특정 자극에 대하여 첫 번째 내지 세 번째 단위 시간(61~66s, 67~72s, 73~78s)의 생체반응은 미리 정해진 룰-베이스에 부합하나, 네 번째 단위시간(79~84s)의 생체반응은 미리 정해진 룰-베이스에 부합하지 않고, 다섯 번째 단위시간(85~90s)의 생체반응은 미리 정해진 룰-베이스에 부합하며, 여섯 번째 및 일곱 번째 단위 시간(91~96s, 97~102s)의 생체반응은 미리 정해진 룰-베이스에 부합하지 않고, 나머지 여덟 번째 내지 열 번째 단위 시간(103~108s, 109~114s, 115~120s)의 생체반응은 미리 정해진 룰-베이스에 부합하는 것으로 평가된 결과를 나타내고 있다. 즉, 도 7 및 도 8에서는 총 10개의 단위시간들 중에서 7개가 미리 저장된 기존 룰-베이스에 부합한 것을 알 수 있다. 이 때, 만약 미리 설정된 자극내 정확도가 60%라면, 상기 특정 자극은, 미리 정해진 룰-베이스에 부합한 단위시간들의 비율이 70%로서 상기 자극내 정확도를 넘어서므로, 유효한 자극으로 평가된다. 이와 같이 특정 자극이 유효한 것으로 평가되는 경우, 상기 특정 자극에 대한 룰-베이스는 역시 유효한 것으로 결정될 수 있다.

자극간 정확도검증부(420)는 상기 사용자에게 상기 복수의 자극들이 제공될 시, 상기 복수의 자극들 중에서 상기 자극내 정확도 검증부에서 유효한 것으로 판단된 자극들의 비율이 미리 정해진 자극간 정확도보다 크면, 상기 복수의 자극들에 대한 상기 사용자의 특정 생체반응을 신뢰성이 있는 것으로 판단한다.

예를 들어, 스트레스 감성에 대한 사용자의 GSR 평균(mean) 생체반응을 살펴본다. 도 9에는, 스트레스 감성을 유발시키는 총10개의 자극들이 제공된 경우의 GSR 평균(mean) 생체반응 그래프가 나타나있다. 이 때, GSR 평균(mean) 생체반응은 상기 자극내 정확도 검증부(410)를 거치면서, 각각의 특정 자극이 미리 정해진 룰-베이스에 부합하는지 여부가 유효 또는 무효로 평가된다. 이렇게 평가된 결과가 도 10에 도시되어 있다. 도 10에 의하면, 자극횟수 총10회 중에서, 7회(즉, 1,2,4,5,7,8,10회)가 미리 저장된 룰-베이스에 부합하는 것으로 나타난다. 이때, 미리 정해진 자극간 정확도가 60%라면, 자극횟수 총 10회 중 7회가 미리 정해진 룰-베이스에 부합하여 70%의 정확도를 가지므로 미리 정해진 자극간 정확도보다 크게 된다. 따라서, 스트레스 감성에 대한 상기 사용자의 GSR 평균(mean) 생체반응은 신뢰성이 있는 것으로 판단되며, 유효한 룰-베이스로 이용될 수 있다. 한편, 상기 GSR 평균(mean)과는 달리, 예를 들어, 복수의 자극들에 대하여 측정된 PPG 주파수(frequency) 또는 SKT의 자극간 정확도가 상기 미리 정해진 자극간 정확도보다 높지 않을 때에는 상기 PPG 주파수 또는 SKT는 유효한 룰-베이스로 이용되지 못한다. 이와 같이 본 발명에 따르면 개인별 신체반응을 신뢰성있게 반영하는 룰-베이스를 형성함으로써, 개인화된 감성 인식 장치를 제공할 수 있다. 즉, 본 발명에 따르면, 개인의 감성 인식의 정확도 및 재현성이 높은 개인화된 감성 인식 장치를 제공할 수 있다. 하기 [표 3]은 본 발명에 따른 개인화된 감성 인식 장치의 정확도 및 재현성을 나타낸다. [표 3]은 스트레스와 안정 감성에 대한 이미지 자극을 5명의 사용자들에게 제시하고 그에 따른 각 사용자의 감성 인식의 정확도 및 재현성을 나타낸다. [표 3]을 참조하면, 각각의 사용자에 대한 스트레스와 안정 감성에 대한 Total 감성인식 정확도는 각각 74%, 75%, 82%, 79%, 74% 이고, 표준편차는 4% 밖에 되지 않음을 알 수 있다.

	스트레스 1	안정 1	스트레스 2	안정 2	스트레스Total	안정 Total	Total
사용자 1	67%	77%	87%	68%	77%	73%	74%
사용자 2	93%	66%	83%	70%	88%	68%	75%
사용자 3	72%	84%	90%	81%	81%	83%	82%
사용자 4	97%	73%	92%	69%	94%	71%	79%
사용자 5	82%	71%	75%	73%	78%	72%	74%
표준편차 : 4%

이와 비교하여, 하기 [표 4]에서는, 본 발명에 따라 개인화된 룰-베이스를 이용하지 아니하고, 스트레스와 안정 감성에 대한 이미지 자극을 5명의 사용자들에게 제시한 후 종래의 개인화되지 않은 룰-베이스를 이용하여 각 사용자의 감성 인식의 정확도 및 재현성을 판단한 예를 나타낸다. 하기 [표 4]를 참조하면, 종래의 개인화되지 않은 룰-베이스에 따른 Total 감성인식 정확도는 각각 19%, 83%, 44%, 89%, 76% 이고, 표준편차는 30%에 달함을 알 수 있다. 상기 비교한 바와 같이, 본 발명에 따른 개인화된 감성 인식 장치는 기존의 개인화되지 않은 감성 인식 장치보다 감성 인식의 정확도가 높을 뿐만 아니라 감성인식 결과의 표준편차는 낮아, 결과적으로 감성인식 재현성이 높음을 알 수 있다.

	스트레스 1	안정 1	스트레스 2	안정 2	스트레스Total	안정 Total	Total
사용자 1	3%	23%	15%	24%	9%	24%	19%
사용자 2	85%	89%	82%	78%	83%	83%	83%
사용자 3	10%	63%	25%	52%	18%	58%	44%
사용자 4	88%	88%	98%	86%	93%	87%	89%
사용자 5	85%	73%	77%	73%	81%	73%	76%
표준편차 : 30%

도 11은 본 발명의 다른 실시예에 따른 룰-베이스 도출부(400)의 세부 구성도이다.

도 11을 참조하면, 룰-베이스 도출부(400)는 자극내 정확도 검증부(410), 자극간 정확도 검증부(420)뿐만 아니라, 정확도 입력부(430) 및 정확도 재검증부(440)를 추가로 포함할 수 있다.

정확도 재검증부(440)는 상기 사용자에게 제공된 상기 하나의 자극이 유효하지 않은 것으로 판단되거나, 상기 사용자의 특정 생체반응이 신뢰성이 없는 것으로 판단되는 경우, 상기 미리 정해진 자극내 정확도 및 상기 미리 정해진 자극간 정확도 중 적어도 하나를 감소시킨다.

정확도 재검증부(440)는 상기 자극내 정확도 검증부(410)에서 판단된 특정 자극의 자극내 정확도가 상기 미리 정해진 자극내 정확도보다 작은 경우, 상기 미리 정해진 자극내 정확도를 미리 정해진 크기로 감소시킨다. 또한, 정확도 재검증부(430)는 상기 자극간 정확도 검증부(420)에서 판단된 복수의 자극들에 대한 자극간 정확도가 상기 미리 정해진 자극간 정확도보다 작은 경우, 상기 미리 정해진 자극간 정확도를 미리 정해진 크기로 감소시킨다. 상기 미리 정해진 자극내 정확도 또는 상기 미리 정해진 자극간 정확도가 불변값으로 고정될 경우, 어떤 사용자는 상기 미리 정해진 자극내 정확도 또는 상기 미리 정해진 자극간 정확도보다 높은 생체반응이 존재하지 않아 결국 개인화된 룰-베이스를 도출하지 못할 수 있다. 이러한 문제를 해소할 수 있도록, 상기 정확도 재검증부(440)는 상기 미리 정해진 자극내 정확도 및 상기 미리 정해진 자극간 정확도 중 적어도 하나를 감소 또는 증가시킬 수 있다. 이로 인하여, 일정 크기로 감소된 자극내 정확도 또는 자극간 정확도를 이용하여 사용자의 생체반응을 측정하고, 그에 따른 개인화된 룰-베이스를 도출할 수 있다. 따라서, 상기 정확도 재검증부(440)는 상기 룰-베이스 도출부(400)를 통하여 룰-베이스가 도출되지 아니하는 경우가 생기지 않도록 방지할 수 있다. 상기 정확도 재검증부(440)가 자동으로 상기 자극내정확도 및 자극간정확도 중 적어도 하나를 감소시킬 수도 있다. 또한 상기 정확도 재검증부(440)는 사용자로부터 직접 상기 자극내정확도 및 자극간정확도 중 적어도 하나를 감소시키는 명령을 입력받을 수도 있다. 또한, 상기 정확도 재검증부(440)는 상기 자극내정확도 및 자극간정확도 중 적어도 하나를 감소시키는 명령을 허용할 것인지에 관한 여부를 사용자 인터페이스를 통하여 사용자에게 질의하고, 이에 대한 사용자 명령을 입력받도록 구성될 수도 있다. 이때, 상기 정확도 재검증부(440)는 상기 자극내 정확도 또는 자극간 정확도가 증가 또는 감소되는 크기를 일정하게 하여 사용자의 생체반응을 측정할 경우, 더욱 신뢰성있는 개인화된 룰-베이스를 도출할 수 있다.

정확도입력부(430)는 상기 사용자로부터 상기 미리 정해진 자극내 정확도 및 상기 미리 정해진 자극간 정확도 중 적어도 하나를 입력받는다. 이에 따라, 사용자는 정확도입력부(430)을 이용하여 상기 미리 정해진 자극내정확도와 상기 미리 정해진 자극간정확도를 설정할 수 있다. 정확도 입력부(430)에 상기 자극내정확도 또는 상기 자극간정확도가 높게 입력될수록, 제시되는 자극에 대해 상기 사용자가 민감하게 반응하는 생체반응으로 룰-베이스가 도출될 수 있다. 예를 들어, 상기 자극내정확도 및 자극간정확도는 각각 0 에서 100% 범위 내에서 설정할 수 있는데, 만약 60%로 설정하는 경우에는, 상기 사용자에 대한 생체반응의 결과가 60%의 정확도를 가지는 룰-베이스가 상기 룰-베이스도출부(400)에서 도출될 수 있다. 이와 같이, 본 발명에 의하면, 사용자가 상기 자극내정확도와 상기 자극간정확도를 입력함으로써, 사용자의 의사가 고려된 개인화된 감성 인식 장치를 구현할 수 있다.

도 12는 본 발명의 다른 실시예에 따른 감성인식장치를 나타내는 구성도이다.

도 12를 참조하면, 본 발명의 다른 실시예에 따른 감성인식장치(10)는, 자극제시부(100), 생체반응측정부(200), 트레이닝부(300), 룰-베이스도출부(400)뿐만 아니라 감성평가모델부(500) 및 감성수준평가부(600)를 추가로 포함할 수 있다. 상기 자극제시부(100), 생체반응측정부(200), 트레이닝부(300), 룰-베이스도출부(400)에 대해서는 앞서 도 1에서 동일한 참조번호를 이용하여 설명된 구성들과 동일하므로 중복된 설명은 생략된다.

감성평가모델부(500)는 상기 제공된 자극에 대응하는 복수의 생체반응들 중에서, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하는 생체반응은 양수로 하고, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하지 않는 생체반응은 음수로 하여, 상기 각각의 생체반응을 정규화하고 합산하여 감성 수준을 평가한다. 특정 감성에 대해서 복수의 생체반응들을 측정하고, 상기 측정된 복수의 생체반응들을 하나의 수치로 표현할 수 있게 되면, 멀티모달에 의한 감성수준을 평가할 수 있게 된다. 이렇게 멀티모달에 의한 감성수준을 평가하면, 단일 반응평가로 인해 발생할 수 있는 오류를 줄일 수 있다. 구체적으로, 특정 감성에 대해서는 복수의 생체반응들을 측정할 수 있는데, 자율신경계측정기에서는 심박수(Heart Rate; HR), 심박수 변동(Heart Rate Variability; HRV), 말초혈관반응(Peripheral Plethysmograph; PPG), 피부전기반응(Galvanic Skin Response; GSR), 피부온도(Skin Temperature; SKT) 등이 측정될 수 있다. 아울러, 중추신경계로부터 측정될 수 있는 대표적인 신호인 뇌파신호를 측정하는 뇌파측정기에서는 주파수범위에 따라 세타파, 알파파, 베타파 등이 측정될 수 있다. 또한, 사용자의 얼굴 표정 변화 또는 행동 반응(Behavior Response)을 측정할 수도 있다. 이 경우, 상기의 복수의 생체반응들은 서로 다른 높낮이 수준의 수치값들로 이루어져 있으므로, 모든 생체반응들을 정규화하여야 이를 비교 및 합산할 수가 있다. 그런데, 특정 감성에 유효한 생체반응은 룰-베이스에 부합한 것만 해당하므로, 생체반응 중에서 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하는 경우는 활성화(activation)로 구분하여 양수로 하고, 생체반응 중에서 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하지 아니하는 경우는 비활성화(deactivation)로 구분하여 음수로 하여, 이를 합산(Summation)한다(하기 수학식 1 참조). 이렇게 하면, 특정 감성에 대한 복수의 생체반응들에 대하여 멀티모달의 감성수준을 평가할 수 있다.

상기 [수학식 1]에서 EEM_AMS는 자율신경계(ANS, Autonomic Nervous System) 감성평가모델이며, EEM_CMS는 중추신경계(CNS, Central Nervous System) 감성평가모델이고, EEM_Behavior는 행동반응(Bahavior Response)의 감성평가모델을 나타낸다. 행동 반응(Behavior Respose)은 예를 들어 얼굴 근육 변화 등이 포함될 수 있다. n은 생체반응 측정치의 총갯수(The Number of Evaluation Parameter)이고, P는 측정 파라미터(Evaluation Parameter)로서 각 측정된 생체반응 측정치이며, W(Normalization Weight, 정규화 중요도 내지 가중치)는 평균치를 산출할 때 각 개별치(個別値)에 부여되는 중요도 내지 가중치이다.

상기 [수학식 1]을 설명하면 다음과 같다. 자율신경계(ANS, Autonomic Nervous System)에 관한 감성평가모델(EEM, Emotion Evaluation Model), 즉 EEM_AMS는 자율신경계 생체반응 측정치들(P, Evaluation Parameter)을 정규화(W, Normalization Weight)시켜 합산한 평균치이다. 중추신경계(Central Nervous System)에 관한 감성평가모델, 즉 EEM_CNS는 중추신경계 생체반응 측정치들(P, Evaluation Parameter)을 정규화(W, Normalization Weight)시켜 합산한 평균치이다. 행동반응의 감성평가모델, 즉 EEM_Behavior는 행동반응의 생체반응 측정치들(P, Evaluation Parameter)을 정규화(W, Normalization Weight)시켜 합산한 평균치이다. 따라서 최종 감성평가모델(EEM, Emotion Evaluation Model)은 이들 값들의 합산(Summantion)으로 계산될 수 있다.

감성수준평가부(600)는 상기 제공된 자극에 대응하는 복수의 생체반응들 중에서, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하는 생체반응은 양수로 하고, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하지 않는 생체반응은 음수로 하여, 상기 각각의 생체반응을 정규화하고 합산하여, 시간축(X축)에 대하여 상기 생체반응을 다른 하나의 축(Y축)으로 하여 2차원으로 표시한다. 종래의 경우에는 복수의 생체반응들을 통합하여 판단하기 위해 하나의 생체반응을 X축으로 하고 다른 하나의 생체반응을 Y축으로 하여 2차원평면에서 이를 분석하여 왔다. 예를 들어, 도 13에는 측정된 사용자의 생체반응이 상기 2차원 평면의 2사분면에 표시되어 있다. 종래의 룰-베이스에 따르면 사용자가 스트레스 감성을 나타낼 경우 상기 사용자의 PPG 주파수(Frequency)가 증가하여 양수로 나타나고, SKT는 감소하게 되기 때문에 음수로 나타난다. 따라서, 도 13의 2차원 평면에서 2사분면에 별표(*)가 표시되는 생체반응 신호의 경우에 사용자에게 스트레스 감성이 나타난 것으로 판단할 수 있다.

반면, 본 발명의 일실시예인 감성수준평가부(600)는 상기 제공된 자극에 대응하는 복수의 생체반응들 각각에 대하여, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하는 생체반응은 활성화로 구분하여 양수로 하고, 상기 미리 정해진 룰-베이스 또는 개인화된 룰-베이스에 부합하지 않는 생체반응은 비활성화로 구분하여 음수로 하여, 상기 각각의 생체반응을 정규화하고 합산하여, 도 14에 도시된 바와 같이 측정된 시간에 따라 표시한다. 도 14의 그래프에서 X축은 시간축이며, Y축은 상기 합산된 생체반응들의 크기를 나타낸다. 예컨대, 도 5a 의 GSR 평균(mean)과, 도 5b 의 알파 파워(Alpha)와, 도 5c 의 얼굴근육변화(Facial Muscles)의 생체반응들을 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하는 경우는 활성화로 구분하고, 부합하지 아니하는 경우는 비활성화로 구분한 뒤에, 활성화된 상기 생체반응을 양수로 하고 비활성화된 상기 생체반응은 음수로 하여, 자극이 제시되기 전에 상기 생체반응 측정부에 의해 측정된 생체반응의 기준치에 대비된 변화량을 판단하여, 상기 변화량을 정규화한 후, 상기 정규화된 변화량을 합산하여 도 14의 그래프상에 표시한다. 이와 같이, 활성화와 비활성화로 구분된 생체반응들을 정규화하여 합산한 값을 도 14와 같이 그래프상에 표시함으로써 멀티모달 방식에 의해 시간 변화에 따른 감성 수준을 평가할 수 있다. 이에 따라 도 14를 참조하면 시간의 변화에 따라, 사용자의 특정 감성이 어느 시점에서 활성화되었는지와 비활성화되었는지를 정확히 판단할 수 있는 효과가 있다. 아울러, 사용자가 과거 시점 중 어느 시점에서 특정 감성이 유발되었는지를 용이하게 확인할 수 있는 효과가 있다.

도 15는 본 발명의 또 다른 실시예에 따른 감성 인식 장치(10)의 구성도이다.

도 15를 참조하면, 본 발명의 또 다른 실시예에 따른 감성인식장치(10)는, 자극제시부(100), 생체반응측정부(200), 트레이닝부(300), 룰-베이스도출부(400)뿐만 아니라 감성판단부(120) 및 감성 기반 서비스 제공부(130)를 추가로 포함할 수 있다. 상기 자극제시부(100), 생체반응측정부(200), 트레이닝부(300), 룰-베이스도출부(400)에 대해서는 앞서 도 1에서 동일한 참조번호를 이용하여 설명된 구성들과 동일하므로 중복된 설명은 생략된다.

상기 감성판단부(120)는 상기 개인화된 룰-베이스가 도출된 이후, 상기 생체반응측정부(200)를 이용하여 상기 사용자의 현재의 복수의 생체반응들을 재측정하고, 상기 재측정된 복수의 생체반응들과 상기 개인화된 룰-베이스를 비교하여 상기 사용자의 현재 감성을 판단한다. 즉, 본 발명의 일 실시예에 따라 상기 사용자의 상기 개인화된 룰-베이스가 도출된 이후, 상기 생체반응측정부(200)를 이용하여 상기 사용자의 개인화된 룰-베이스(반응 패턴)에 대응하는 생체반응, 즉 적어도 하나의 제 1생체반응을 재측정한다. 이후, 상기 감성판단부(120)는 상기 재측정된 적어도 하나의 제 1생체반응과 상기 개인화된 룰-베이스를 비교하여, 상기 재측정된 적어도 하나의 제 1생체반응이 상기 개인화된 룰-베이스에 부합하는지 여부의 판단을 통해 상기 사용자의 현재의 감성을 판단한다. 예를 들어, 상기 사용자에 대한 스트레스 감성의 개인화된 룰-베이스가 PPG 주파수, GSR, 베타 파워로 도출된 경우, 상기 생체반응측정부(200)는 PPG 주파수, GSR, 베타 파워만을 측정한 후, 상기 측정된 PPG 주파수, GSR, 베타 파워가 증가하였는지를 검증하여, 사용자가 현재 스트레스 감성을 갖게 되었는지를 판단한다. 따라서 본 발명의 일실시예에 의하면, 특정 감성에 대하여 사용자에게 유효한 것으로 검증된 생체반응만을 측정하여 상기 사용자의 감성을 판단하기 때문에, 감성인식의 정확도 및 재현성을 높일 수 있다.

감성 기반 서비스 제공부(130)는 감성판단부(120)를 통하여 사용자의 감성이 판단되면, 판단된 상기 사용자의 감성을 기반으로 하여 상기 판단된 감성에 대응하는 서비스를 제공할 수 있다. 도 15에서는 상기 감성 기반 서비스 제공부(130)가 상기 감성 인식 장치(10) 내부에 존재하는 것으로 도시되어 있으나, 상기 감성 기반 서비스 제공부(130)는 상기 감성 인식 장치(10) 외부에 존재할 수도 있다. 상기 감성 기반 서비스 제공부(130)는 판단된 사용자의 감성에 대응하는 다양한 서비스를 제공할 수 있는데, 예를 들면 사용자의 감성에 대응하는 애플리케이션, 음악이나 소리, 사진이나 이미지, 영상 등을 제공할 수 있다. 예를 들면, 사용자의 감성이 스트레스로 인식된 경우에는 스트레스를 감소시킬 수 있는 애플리케이션, 음악이나 소리, 사진이나 이미지, 영상들이 제공될 수 있다. 도 16a 에서는 감성판단부(120)를 통하여 사용자로부터 스트레스 감성이 판단된 경우에, 스트레스 감성에 대응하는 애플리케이션(111)이 제공되고 있는 영상표시장치의 화면(100)이 도시되어 있다. 도 16a 는 본 발명에 따른 감성 인식 장치(10)가 스마트 TV, 또는 스마트폰 및 태블릿 PC와 같은 휴대용 단말기에 적용된 예를 나타낸다. 또한, 도 16b 에서는 감성판단부(120)를 통하여 사용자로부터 스트레스 감성이 판단된 경우에, 스트레스 감성에 대응하는 음악 재생 리스트(112)가 영상표시장치의 화면(100)에 제공되고 있다. 도 16b는 본 발명에 따른 감성 인식 장치(10)가 스마트 TV, 또는 스마트폰 및 태블릿 PC와 같은 휴대용 단말기에 적용된 예를 나타낸다. 이와 같이 본 발명에 의하면, 사용자로부터 감성을 인식하여, 인식된 감성에 대응하는 서비스가 제공될 수 있다.

도 17을 참조하면, 사용자로부터 인식된 감성에 대응하는 음악이나 소리, 사진이나 이미지, 영상을 제공하기 위하여 필요한 애플리케이션, 영상 컨텐츠, 음악 컨텐츠 및 이미지 컨텐츠는 상기 감성 인식 장치(10)에 연결된 데이터베이스(140)에 저장될 수 있다. 상기 감성 인식 장치(10)는 애플리케이션(141), 영상 컨텐츠(142), 음악 컨텐츠(143) 및 이미지 컨텐츠(144)를 상기 데이터베이스(140)에 요청할 수 있다. 그리고 상기 데이터베이스(140)는 상기 요청된 애플리케이션(141), 영상 컨텐츠(142), 음악 컨텐츠(143) 및 이미지 컨텐츠(144)를 상기 감성 인식 장치(10)에 제공할 수 있다. 상기 감성 인식 장치(10)와 상기 데이터베이스(140)는 유선 또는 무선 통신을 통하여 통신될 수 있다. 그리고, 도 17에서는, 상기 감성 인식 장치(10)의 외부에 상기 데이터베이스(140)가 연결되어 있는 것으로 도시되어 있으나, 상기 감성 인식 장치(10) 내부에 상기 데이터베이스(140)가 포함될 수도 있다.

도 18은, 본 발명의 일 실시예에 따른 개인화된 감성 인식 방법에 대한 순서도이다.

도 18을 참조하면, 먼저 감성 인식 장치(10)의 자극제시부(100)는 사용자에게 감성을 유발시키는 자극을 제공한다(710 단계). 상기 자극은 사용자의 감성을 유발시키는 이미지, 영상, 또는 소리 중 적어도 하나를 포함할 수 있고, 영상표시장치 또는 소리를 재생하는 음성재생장치를 통하여 사용자에게 제공할 수 있다. 예컨대 상기 영상표시장치에서는 스트레스 감성을 유발시키기 위한 이미지나 영상이 제공될 수 있다.

다음으로, 생체반응측정부(200)는 상기 제공된 자극으로 인하여 변경된 상기 사용자의 복수의 생체반응들을 측정한다(720 단계). 상기 측정되는 복수의 생체반응들에는 상기 사용자의 광혈류, 맥파, 피부온도, 피부전도, 뇌파, 얼굴근육움직임 또는 얼굴온도 등이 포함될 수 있다.

이어서, 트레이닝부(300)는 상기 사용자에게 복수의 자극들이 제공될 시 상기 사용자의 상기 복수의 생체반응들의 변화량들을 측정한다(730 단계). 상기 측정된 복수의 생체반응들의 변화량들은 룰-베이스도출부(400)로 전달한다.

룰-베이스 도출부(400)는, 상기 측정된 복수의 생체반응들과 상기 자극에 대하여 미리 정해진 룰-베이스를 서로 비교하여, 상기 측정된 복수의 생체반응들 중 적어도 하나의 제1생체반응은 상기 룰-베이스와 일치하고 상기 제1생체반응과 다른 적어도 하나의 제2생체반응은 상기 룰-베이스와 일치하지 않을 경우, 상기 적어도 하나의 제1생체반응을 이용하여 개인화된 룰-베이스를 도출한다(740 단계).

감성판단부(120)는 상기 개인화된 룰-베이스가 도출된 이후, 생체반응측정부(200)를 이용하여 상기 사용자의 현재의 복수의 생체반응들을 재측정하고, 상기 재측정된 복수의 생체반응들과 상기 개인화된 룰-베이스를 비교하여 상기 사용자의 현재 감성을 판단한다(750 단계).

도 19는, 본 발명의 다른 실시예에 따른 개인화된 감성 인식 방법에 대한 순서도이다.

도 19를 참조하면, 먼저 트레이닝부(300)을 이용하여 상기 사용자에게 상기 복수의 자극들이 제공되기 전 안정 상태에서의 상기 복수의 생체반응들에 대응하는 복수의 기준치들을 측정한다(800 단계).

다음으로 자극제시부(100)를 이용하여 사용자에게 감성을 유발시키는 자극을 제공한다(810 단계).

다음으로 생체반응측정부(200)를 이용하여 상기 제공된 자극으로 인하여 변경된 상기 사용자의 복수의 생체반응들을 측정한다(820 단계).

다음으로 트레이닝부(300)를 이용하여 상기 사용자에게 상기 복수의 자극들이 제공될 시 상기 복수의 생체반응들을 상기 복수의 기준치들과 비교하여 상기 복수의 생체반응들의 변화량들을 판단한다(830 단계).

다음으로 자극내 정확도 검증부(410)를 이용하여 자극내 정확도를 판단한다(840 단계). 자극내 정확도는 다음과 같이 판단될 수 있다. 상기 사용자에게 복수의 자극들이 제공될 시, 상기 각각의 자극이 제공되는 시간을 복수의 단위시간들로 구분하고, 상기 각각의 자극이 제공되는 시간 내에서 상기 사용자의 특정 생체반응이 상기 미리 정해진 룰-베이스에 부합하는 단위시간들의 비율이 미리 정해진 자극내 정확도보다 큰 경우, 상기 각각의 자극을 유효한 것으로 판단한다. 그런데, 상기 자극 중 유효한 것으로 판단된 자극이 없는 경우에는, 상기 미리 정해진 정확도를 낮추어, 다시 자극내 정확도를 검증하여, 유효한 상기 특정 자극이 도출되도록 되풀이 한다.

다음으로 자극내 정확도 검증부(410)는 사용자에게 제공되는 모든 자극들에 대하여 자극내 정확도가 검증되었는지 여부를 판단한다(850 단계). 예를 들어, 사용자에게 총 10개의 자극들이 제공되었을 경우, 상기 840 단계 및 850 단계는 총 10회 반복된다. 모든 자극들에 대하여 자극내 정확도가 판단된 경우, 다음 860단계로 진입한다.

자극간 정확도 검증부(420)를 이용하여 자극간 정확도를 판단한다(860 단계). 자극간 정확도는 다음과 같이 판단될 수 있다. 상기 사용자에게 상기 복수의 자극들이 제공될 시, 상기 복수의 자극들 중에서 상기 자극내 정확도 검증단계에서 유효한 것으로 판단된 자극들의 비율이 미리 정해진 자극간 정확도보다 크면, 상기 복수의 자극들에 대한 상기 사용자의 특정 생체반응을 신뢰성이 있는 것으로 판단한다.

룰-베이스 도출부(400)는 상기 자극내 정확도 검증부(410) 및 자극간 정확도 검증부(420)에 의해 판단된 결과에 따라 도 6에서 설명된 바와 같이 개인화된 룰-베이스가 도출되었는지 여부를 판단한다(870 단계).

상기 870 단계에서 판단한 결과, 개인화된 룰-베이스가 도출되지 않은 경우, 정확도 재검증부(430) 또는 정확도 입력부(440)에 의해 자극내 정확도 및 자극간 정확도 중 적어도 하나가 재조정된다(880 단계).

상기 870 단계에서 판단한 결과, 개인화된 룰-베이스가 도출된 경우, 감성판단부(120)를 이용하여 사용자의 현재 감성을 판단한다(890 단계). 예를 들어, 상기 개인화된 룰-베이스가 도출된 이후, 상기 사용자의 현재의 복수의 생체반응들을 재측정하고, 상기 재측정된 복수의 생체반응들과 상기 개인화된 룰-베이스를 비교하여 상기 사용자의 감성을 판단할 수 있다. 또한, 감성 기반 서비스 제공부(130)를 이용하여 상기 판단된 사용자의 감성에 따른 애플리케이션, 영상컨텐츠, 음악컨텐츠, 이미지 컨텐츠 등을 제공할 수 있다.

본 발명의 실시예들에 따른 개인화된 감성 인식 장치 및 방법은 다양한 형태의 전자기기에 적용될 수 있다. 예를 들어, 본 발명의 실시예들에 따른 개인화된 감성 인식 장치 및 방법은 휴대용 단말기, 컴퓨터, TV 및 각종 전자기기에 적용됨으로써 사용자의 감성을 인식하여 그 인식된 감성에 관련된 여러가지 서비스를 제공할 수 있다.

본 발명의 실시예들에 따른 개인화된 감성 인식 장치 및 방법은 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 개인화된 감성 인식 장치 및 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 개인화된 감성 인식 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 개인화된 감성 인식 장치 및 방법이 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 개인화된 감성 인식 장치 및 방법과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 개인화된 감성 인식 장치 및 방법의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.

100 : 자극제시부 120 : 감성 판단부
200 : 생체반응측정부 300 : 트레이닝부
400 : 룰-베이스도출부 310 : 기준치측정부
320 : 변화량판단부 410 : 자극내 정확도검증부
420 : 자극간 정확도검증부 430 : 정확도입력부
440 : 정확도 재검증부 500 : 감성평가모델부
600 : 감성수준평가부

Claims

사용자에게 감성을 유발시키는 자극을 제공하는 자극제시부;
상기 사용자의 복수의 생체반응들을 측정하는 생체반응측정부;
상기 제공된 자극에 대응하는 복수의 생체반응들과 상기 자극에 대하여 미리 정해진 룰-베이스를 비교하여, 상기 복수의 생체반응들 중 적어도 하나의 제 1 생체반응은 상기 미리 정해진 룰-베이스와 일치하고, 상기 제 1 생체반응과 다른 적어도 하나의 제 2 생체반응은 상기 미리 정해진 룰-베이스와 일치하지 않을 경우, 상기 적어도 하나의 제 1 생체반응을 이용하여 개인화된 룰-베이스를 도출하는 룰-베이스도출부;를 포함하는 개인화된 감성 인식 장치.
제 1항에 있어서,
상기 사용자에게 복수의 자극들이 제공될 시 상기 사용자의 상기 복수의 생체반응들의 변화량들을 측정하는 트레이닝부를 포함하고;
상기 트레이닝부는,
상기 사용자에게 상기 복수의 자극들이 제공되기 전 안정 상태에서의 상기 복수의 생체반응들에 대응하는 복수의 기준치들을 측정하는 기준치측정부와;
상기 사용자에게 상기 복수의 자극들이 제공될 시 상기 복수의 생체반응들을 상기 복수의 기준치들과 비교하여 상기 복수의 생체반응들의 변화량들을 판단하는 변화량판단부;를 포함하는 개인화된 감성 인식 장치.
제 1항에 있어서,
상기 룰-베이스 도출부는,
상기 사용자에게 복수의 자극들이 제공될 시, 상기 각각의 자극이 제공되는 시간을 복수의 단위시간들로 구분하고, 상기 각각의 자극이 제공되는 시간 내에서 상기 사용자의 특정 생체반응이 상기 미리 정해진 룰-베이스에 부합하는 단위시간들의 비율이 미리 정해진 자극내 정확도보다 큰 경우, 상기 각각의 자극을 유효한 것으로 판단하는 자극내 정확도 검증부;를 포함하는 개인화된 감성 인식 장치.
제 3항에 있어서,
상기 룰-베이스 도출부는,
상기 사용자에게 상기 복수의 자극들이 제공될 시, 상기 복수의 자극들 중에서 상기 자극내 정확도 검증부에서 유효한 것으로 판단된 자극들의 비율이 미리 정해진 자극간 정확도보다 크면, 상기 복수의 자극들에 대한 상기 사용자의 특정 생체반응을 신뢰성이 있는 것으로 판단하는 자극간 정확도 검증부;를 포함하는 개인화된 감성 인식 장치.
제 4항에 있어서,
상기 사용자에게 제공된 상기 하나의 자극이 유효하지 않은 것으로 판단되거나, 상기 사용자의 특정 생체반응이 신뢰성이 없는 것으로 판단되는 경우, 상기 미리 정해진 자극내 정확도 및 상기 미리 정해진 자극간 정확도 중 적어도 하나를 감소시키는 정확도재검증부;를 포함하는 개인화된 감성 인식 장치.
제 4항 또는 제 5항 중 어느 한 항에 있어서,
상기 사용자로부터 상기 미리 정해진 자극내 정확도 및 상기 미리 정해진 자극간 정확도 중 적어도 하나가 입력되는 정확도입력부;를 포함하는 개인화된 감성 인식 장치.
제 1항에 있어서,
상기 제공된 자극에 대응하는 복수의 생체반응들 중에서, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하는 생체반응은 양수로 하고, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하지 않는 생체반응은 음수로 하여, 상기 각각의 생체반응을 정규화하고 합산하여, 감성 수준을 평가하는 감성 평가 모델부;를 포함하는 개인화된 감성 인식 장치.
제 1항에 있어서,
상기 제공된 자극에 대응하는 복수의 생체반응들 중에서, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하는 생체반응은 양수로 하고, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하지 않는 생체반응은 음수로 하여, 상기 각각의 생체반응을 정규화하고 합산하여, 시간축(X축)에 대하여 상기 생체반응을 다른 하나의 축(Y축)으로 하여 2차원으로 표시하는 감성 수준 평가부;를 포함하는 개인화된 감성 인식 장치.
제 1항에 있어서,
상기 개인화된 룰-베이스가 도출된 이후, 상기 생체반응측정부를 통하여 측정되는 상기 사용자의 현재의 복수의 생체반응들을 재측정하고, 상기 재측정된 복수의 생체반응들과 상기 개인화된 룰-베이스를 비교하여 상기 사용자의 감성을 판단하는 감성판단부;를 포함하는 개인화된 감성 인식 장치.
사용자에게 감성을 유발시키는 자극을 제공하는 자극제시단계;
상기 사용자의 복수의 생체반응들을 측정하는 생체반응측정단계;
상기 제공된 자극에 대응하는 복수의 생체반응들과 상기 자극에 대하여 미리 정해진 룰-베이스를 비교하여, 상기 복수의 생체반응들 중 적어도 하나의 제 1 생체반응은 상기 미리 정해진 룰-베이스와 일치하고, 상기 제 1 생체반응과 다른 적어도 하나의 제 2 생체반응은 상기 미리 정해진 룰-베이스와 일치하지 않을 경우, 상기 적어도 하나의 제 1 생체반응을 이용하여 개인화된 룰-베이스를 도출하는 룰-베이스도출단계;를 포함하는 개인화된 감성 인식 방법.
제 10항에 있어서,
상기 사용자에게 복수의 자극들이 제공될 시 상기 사용자의 상기 복수의 생체반응들의 변화량들을 측정하는 트레이닝단계를 포함하고;
상기 트레이닝단계는,
상기 사용자에게 상기 복수의 자극들이 제공되기 전 안정 상태에서의 상기 복수의 생체반응들에 대응하는 복수의 기준치들을 측정하는 기준치측정단계와;
상기 사용자에게 상기 복수의 자극들이 제공될 시 상기 복수의 생체반응들을 상기 복수의 기준치들과 비교하여 상기 복수의 생체반응들의 변화량들을 판단하는 변화량판단단계;를 포함하는 개인화된 감성 인식 방법.
제 10항에 있어서,
상기 룰-베이스 도출단계는,
상기 사용자에게 복수의 자극들이 제공될 시, 상기 각각의 자극이 제공되는 시간을 복수의 단위시간들로 구분하고, 상기 각각의 자극이 제공되는 시간 내에서 상기 사용자의 특정 생체반응이 상기 미리 정해진 룰-베이스에 부합하는 단위시간들의 비율이 미리 정해진 자극내 정확도보다 큰 경우, 상기 각각의 자극을 유효한 것으로 판단하는 자극내 정확도 검증단계;를 포함하는 개인화된 감성 인식 방법.
제 12항에 있어서,
상기 룰-베이스 도출단계는,
상기 사용자에게 상기 복수의 자극들이 제공될 시, 상기 복수의 자극들 중에서 상기 자극내 정확도 검증단계에서 유효한 것으로 판단된 자극들의 비율이 미리 정해진 자극간 정확도보다 크면, 상기 복수의 자극들에 대한 상기 사용자의 특정 생체반응을 신뢰성이 있는 것으로 판단하는 자극간 정확도 검증단계;를 포함하는 개인화된 감성 인식 방법.
제 13항에 있어서,
상기 사용자에게 제공된 상기 하나의 자극이 유효하지 않은 것으로 판단되거나, 상기 사용자의 특정 생체반응이 신뢰성이 없는 것으로 판단되는 경우, 상기 미리 정해진 자극내 정확도 및 상기 미리 정해진 자극간 정확도 중 적어도 하나를 감소시키는 정확도재검증단계;를 포함하는 개인화된 감성 인식 방법.
제 13항 또는 제 14항 중 어느 한 항에 있어서,
상기 사용자로부터 상기 미리 정해진 자극내 정확도 및 상기 미리 정해진 자극간 정확도 중 적어도 하나가 입력되는 정확도입력단계;를 포함하는 개인화된 감성 인식 방법.
제 10항에 있어서,
상기 제공된 자극에 대응하는 복수의 생체반응들 중에서, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하는 생체반응은 양수로 하고, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하지 않는 생체반응은 음수로 하여, 상기 각각의 생체반응을 정규화하고 합산하여, 감성 수준을 평가하는 감성 평가 모델단계;를 포함하는 개인화된 감성 인식 방법.
제 10항에 있어서,
상기 제공된 자극에 대응하는 복수의 생체반응들 중에서, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하는 생체반응은 양수로 하고, 상기 미리 정해진 룰-베이스 또는 상기 개인화된 룰-베이스에 부합하지 않는 생체반응은 음수로 하여, 상기 각각의 생체반응을 정규화하고 합산하여, 시간축(X축)에 대하여 상기 생체반응을 다른 하나의 축(Y축)으로 하여 2차원으로 표시하는 감성 수준 평가단계;를 포함하는 개인화된 감성 인식 방법.
제 10항에 있어서,
상기 개인화된 룰-베이스가 도출된 이후, 상기 생체반응측정단계를 통하여 측정되는 상기 사용자의 현재의 복수의 생체반응들을 재측정하고, 상기 재측정된 복수의 생체반응들과 상기 개인화된 룰-베이스를 비교하여 상기 사용자의 감성을 판단하는 감성판단단계;를 포함하는 개인화된 감성 인식 방법.