KR100425342B1

KR100425342B1 - 신체 및 감정 상태 인식 장치 및 방법

Info

Publication number: KR100425342B1
Application number: KR10-2001-0005943A
Authority: KR
Inventors: 김재우; 방석원; 김정환; 이형기
Original assignee: 삼성전자주식회사
Priority date: 2000-09-02
Filing date: 2001-02-07
Publication date: 2004-03-30
Also published as: KR20020018541A

Abstract

신체에 착용 및 분리가 편리하고 간편하게 생체 신호를 검출하여 신체 및 감정 상태를 인식할 수 있는 신체 및 감정 상태 인식 장치 및 방법이 개시된다. 이 장치는, 신체의 소정 부위에 장착되어 신체로부터 검출한 적어도 하나 이상의 생체 신호를 아날로그 신호 처리하여 출력하는 생체 신호 검출부 및 생체 신호 검출부에서 신호 처리된 생체 신호를 디지탈 신호 처리하고, 신호 처리된 결과로부터 신체 및 감정 상태를 인식 및 표현하는 생체 신호 인식부를 구비하는 것을 특징으로 한다. 그러므로, 사용자의 움직임에 불편을 주지 않으면서 신체의 소정 부위에 장착될 수 있고, 무선이나 유선으로 전송될 생체 신호를 쉽게 검출할 수 있으며, 검출된 생체 신호를 이용하여 인식한 신체 및 감정 상태를 사용자에게 제공할 수 있고, 급격하게 변하는 감정 상태 또는 변한 뒤 오래 잔류하는 감정 상태를 실시간에서 인식할 수 있는 효과를 갖는다.

Description

신체 및 감정 상태 인식 장치 및 방법{Apparatus and method for perceiving physical and emotional state}

본 발명은 생체 신호의 이용에 관한 것으로서, 특히, 생체 신호를 이용하여 신체의 상태 및 감정 상태를 인식하는 신체 및 감정 상태 인식 장치 및 방법에 관한 것이다.

인간의 생체 신호의 검출 또는 계측은, 초창기에 주로 의학 분야에서 연구되고 활용되어 왔다. 즉, 혈압이나 맥박등을 측정하여 환자의 건강 상태를 체크하거나 환자를 치료하기 위해, 검출 또는 계측된 생체 신호가 사용되었다. 그런데, 최근에는 이러한 의학분야 뿐만 아니라, 인간의 감정 상태를 파악하는 인간과 기계간 인터페이스(Man-Machine Interface) 분야에 생체 신호가 활용되고 있다. 특히, 인간과 기계간 인터페이스를 위한 보다 편리하고 친근한 통신수단을 제공할 수 있도록, 생체 신호를 이용한 인간의 감정을 인식하는 것은 필수적인 것으로 대두되고 있다. 이에 부응하여, 생체신호(또는 생리신호)를 검출 또는 계측하고 이를 이용하기 위한 여러가지 장치들이 개발되고 있다.

이와 같은 종래의 장치들중 휴대용 생체 신호 계측 장치로서, 대한민국 특허공개번호 제1999-63100호에 개시된 이어리시버(ear-receiver)형 광-전기-펄스-플레시모-그래프(PPG:Photo-electric pulse PlethysmoGraph)센서를 사용한 "생체 정보 측정 장치" 및 대한민국 특허공개번호 제1997-14722호에 개시된 "무선통신망을 이용한 실시간 생체 신호 모니터링 시스템"등이 있다. 그러나, 이와 같은 종래의 장치들은 성별에 따라 신체에 부착되기 용이하지 않거나 또는 부착시 사용자의 생활을 불편하게 하는 문제점을 갖는다.

한편, 생체 신호 측정 장치들중 감정 인식 장치로서, 미국 특허 번호 US5,507,291에 개시된 "Method and an associated apparatus for remotely determining information as to person's emotional state" 및 미국 특허 번호 US5,367,454에 개시된 "Interactive Man-Machine interface for simulating human emotion"등이 있다. 그러나, 이와 같은 종래의 장치들 역시 신체에 부착되기 불편하고, 신체 부착시 행동을 불편하게 하는 문제점을 갖는다.

또한, 종래의 감정 인식 장치가 인간의 감정을 인식할 때, 인간은 예를 들면, 얼굴 표정을 잘 보일 수 있도록 자신의 얼굴을 늘 카메라로 향하도록 하거나 자신의 감정을 나타내게 하기 위한 말을 해야 하는 등 인위적인 노력을 해야 한다. 이와 같이, 인간은 자신의 감정을 종래의 감정 인식 장치에 자연스럽게 전달할 수 없는 문제점이 있다. 게다가, 종래의 감정 인식 장치는 모호하게 감정을 인식할 뿐만 아니라 일정한 감정 자극이 전달되었을 경우의 반응만을 가정하는 등, 많은 제약을 수반하는 문제점을 갖는다.

본 발명이 이루고자 하는 제1 기술적 과제는, 신체에 착용 및 분리가 편리하고 간편하게 생체 신호를 검출하여 신체 및 감정 상태를 인식할 수 있는 신체 및 감정 상태 인식 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 제2 기술적 과제는, 신체에 착용 및 분리가 편리하고 간편하게 생체 신호를 검출하여 신체 및 감정 상태를 인식할 수 있는 신체 및 감정 상태 인식 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 제3 기술적 과제는, 짧은 또는 긴 시간 동안 검출된 생체 신호로부터 추출한 생체 파라미터(들)를 이용하여 감정 상태를 인식할 수 있는 감정 상태 인식 방법을 제공하는 데 있다.

도 1은 본 발명에 의한 신체 및 감정 상태 인식 장치의 개략적인 블럭도이다.

도 2는 도 1에 도시된 장치에서 수행되는 본 발명에 의한 신체 및 감정 상태 인식 방법을 설명하기 위한 플로우차트이다.

도 3은 도 2에 도시된 제212 단계에 대한 본 발명에 의한 바람직한 실시예를 설명하기 위한 플로우차트이다.

도 4는 본 발명에 의한 감정 상태 인식 방법을 설명하기 위한 플로우차트이다.

도 5는 도 4에 도시된 제302 단계에 대한 본 발명에 의한 바람직한 일 실시예를 설명하기 위한 플로우차트이다.

도 6은 도 4에 도시된 제302 단계에 대한 본 발명에 의한 바람직한 다른 실시예를 설명하기 위한 플로우차트이다.

도 7은 도 5에 도시된 실시예에 대한 본 발명에 의한 바람직한 실시예를 설명하기 위한 플로우차트이다.

도 8은 도 5에 도시된 실시예에 대한 본 발명에 의한 바람직한 일 실시예를설명하기 위한 플로우차트이다.

상기 제1 과제를 이루기 위한 본 발명에 의한 하는 신체 및 감정 상태 인식 장치는, 신체의 소정 부위에 장착되어 상기 신체로부터 검출한 적어도 하나 이상의 생체 신호를 아날로그 신호 처리하여 출력하는 생체 신호 검출부 및 상기 생체 신호 검출부에서 신호 처리된 상기 생체 신호를 디지탈 신호 처리하고, 신호 처리된 결과로부터 상기 신체 및 감정 상태를 인식 및 표현하는 생체 신호 인식부로 구성되는 것이 바람직하다.

상기 제2 과제를 이루기 위한 본 발명에 의한 신체 및 감정 상태 인식 방법은, 신체로부터 검출한 적어도 하나 이상의 생체 신호를 아날로그 신호 처리하는 단계 및 아날로그 신호 처리된 상기 생체 신호를 디지탈 신호 처리하고, 디지탈 신호 처리한 결과를 이용하여 상기 신체 및 감정 상태를 인식 및 표현하는 단계로 이루어지는 것이 바람직하다.

상기 제3 과제를 이루기 위한 본 발명에 의한 감정 상태 인식 방법은, 소정 시간 동안 신체로부터 검출된 적어도 하나 이상의 생체 신호로부터 상기 신체의 특성을 나타내는 적어도 하나 이상의 생체 파라미터를 추출하는 단계 및 추출된 상기 생체 파라미터의 변화 정도를 결정하고, 결정된 변화 정도를 이용하여 현재의 감정 상태를 결정하는 단계로 이루어지고, 상기 생체 파라미터들 각각의 값은 상기 감정의 변화에 따라 변하는 것이 바람직하다.

이하, 본 발명에 의한 신체 및 감정 상태 인식 장치의 구성과 동작 및 그 장치에서 수행되는 신체 및 감정 상태 인식 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.

도 1은 본 발명에 의한 신체 및 감정 상태 인식 장치의 개략적인 블럭도로서, 생체 신호 검출부(100) 및 생체 신호 인식부(120)로 구성된다.

도 1에 도시된 생체 신호 검출부(100)는 센서부(10), 아날로그 신호 처리부(20), 아날로그/디지탈 변환부(ADC:Analog-Digital Converter)(30) 및 무선 신호 전송부(70)로 구성되고, 생체 신호 인식부(120)는 무선 신호 수신부(80), 디지탈 신호 처리부(40), 제어부(50) 및 데이타 출력부(60)로 구성된다.

도 2는 도 1에 도시된 장치에서 수행되는 본 발명에 의한 신체 및 감정 상태 인식 방법을 설명하기 위한 플로우차트로서, 신체로부터 검출한 생체 신호(들)을 아날로그 신호 처리하는 단계들(제200 ∼ 제206 단계) 및 아날로그 신호 처리된 생체 신호(들)을 디지탈 신호 처리하여 신체 및 감정 상태를 인식 및 표현하는 단계들(제208 ∼ 제214 단계)로 이루어진다.

생체 신호 검출부(100)는 신체의 소정 부위에 장착되어 신체로부터 검출한 적어도 하나 이상의 생체 신호를 아날로그 신호 처리하여 생체 신호 인식부(120)로출력한다(제200 단계 ∼ 제206 단계).

먼저 생체 신호 검출부(100)의 센서부(10)는 신체로부터 생체 신호를 검출한다(제200 단계). 예를 들면, 센서부(10)는 혈압, 피부 온도 및 피부 저항등에 대한 아날로그의 생체 신호들을 검출할 수 있다. 이를 위해, 센서부(10)는 혈압을 측정하는 혈압센서(미도시), 피부온도를 측정하는 피부 온도 센서(미도시) 및 피부저항을 측정하는 피부 저항 센서(미도시)를 포함한다. 이 때, 센서부(10)는 호흡률을 측정하는 호흡 센서(미도시)를 더 마련할 수도 있다.

여기서, 혈압센서(미도시)는 바람직하게 피에조 센서(Piezo Sensor) 또는 스트레인 게이지(Strain Guage)등의 압력감지 센서 또는 PPG(Photo-electric pulse PlethysmoGraph)센서로 구현될 수 있다. 여기서, 혈압센서는 1993년도에 'Jeseph J. Carr and John M. Brown'에 의해 "Introduction to Biomedical equipment Technology (2nd Edition)"라는 제목으로 REGENTS/Prentice Hall 출판사에 의해 출간된 책의 페이지 163쪽부터 177쪽에 개시되어 있다. 피에조 센서(Piezo Sensor)는 1993년도에 'Jeseph J. Carr and John M. Brown'에 의해 "Introduction to Biomedical equipment Technology (2nd Edition)"라는 제목으로 REGENTS/Prentice Hall 출판사에 의해 출간된 책의 페이지 167쪽부터 168쪽 및 1995년도에 'Robert Bosch'에 의해 "Bosch Automotive Electric-Electronic Systems Handbook"라는 제목으로 Robert Bentley 출판사에 의해 출간된 책에 개시되어 있다. 또한, 스트레인 게이지(Strain Guage)는 1991년도에 'Richard Aston'에 의해 "Principles of Biomedical instrumentation and Measurement"라는 제목으로 Maxwell MacmillanInternational Edition 출판사에 의해 출간된 책의 페이지 113쪽부터 122쪽에 개시되어 있다. PPG(Photo-electric pulse PlethysmoGraph)센서는 1993년도에 'Jeseph J. Carr and John M. Brown'에 의해 "Introduction to Biomedical equipment Technology (2nd Edition)"라는 제목으로 REGENTS/Prentice Hall 출판사에 의해 출간된 책의 페이지 207쪽부터 209쪽에 개시되어 있다.

피부 온도 센서(미도시)는 전극(Electrode)과 서모 커플(Thermo Couple)을 이용하여 피부 온도를 측정하는 센서로 구현될 수 있다. 여기서, 피부 온도 센서는 1991년도에 'Richard Aston'에 의해 "Principles of Biomedical instrumentation and Measurement"라는 제목으로 Maxwell Macmillan International Edition 출판사에 의해 출간된 책의 페이지 100쪽부터 107쪽에 개시되어 있다. 이 때, 전극(Electrode)은 1993년도에 'Jeseph J. Carr and John M. Brown'에 의해 "Introduction to Biomedical equipment Technology (2nd Edition)"라는 제목으로 REGENTS/Prentice Hall 출판사에 의해 출간된 책의 페이지 25쪽부터 37쪽에 개시되어 있다. 서모 커플(Thermo Couple)은 1991년도에 'Richard Aston'에 의해 "Principles of Biomedical instrumentation and Measurement"라는 제목으로 Maxwell Macmillan International Edition 출판사에 의해 출간된 책의 페이지 100쪽부터 107쪽에 개시되어 있다.

피부 저항 센서(미도시)는 피부에 직접 또는 간접으로 접촉하는 전극 및 이 전극과 연결되는 비교기를 이용하여 피부 저항을 측정하는 센서로 구현될 수 있다. 여기서, 피부 저항 센서는 1981년도에 'Don C. Fowles, Robert Edelberg and DavidT. Lykken'에 의해 "Publication Recommendation for Electrodermal Measurements"라는 제목으로 Th society for psychophysiological Research, Inc 출판사에 의해 출간된 저널 Psychophysiology의 페이지 232쪽부터 239쪽에 개시되어 있다.

제200 단계후에, 아날로그 신호처리부(20)는 센서부(10)에서 검출된 아날로그 형태의 생체 신호를 증폭 및 필터링하여 ADC(30)로 출력한다(제202 단계). 이때, 필터링은 고주파의 노이즈 성분을 제거하기 위하여 저역 통과 필터를 주로 사용하지만, 특정 대역의 신호를 얻기 위하여 대역 통과 필터를 사용할 수도 있다.

제202 단계후에, ADC(30)는 아날로그 신호 처리부(20)로부터 출력되는 증폭 및 필터링된 아날로그 형태의 생체 신호를 디지탈 형태의 생체 신호로 변환하여 무선 신호 전송부(70) 또는 디지탈 신호 처리부(40)로 출력한다(제204 단계).

본 발명의 바람직한 의 일 실시예에 의하면, 생체 신호 검출부(100)와 생체 신호 인식부(120)는 서로 유선으로 디지탈 형태의 생체 신호를 주고 받을 수 있다. 이 경우, 제204 단계후에 제210 단계로 진행된다. 이를 위해, 디지탈 형태의 생체 신호는 유선으로 디지탈 신호 처리부(40)로 출력된다.

본 발명의 바람직한 다른 실시예에 의하면, 생체 신호 추출부(100)와 생체 신호 인식부(120)는 서로 무선으로 디지탈 형태의 생체 신호를 주고 받을 수 있다. 이 경우, 생체 신호 검출부(100)는 벨트 형태(belt-type)로 형성되어 신체의 소정 부위에 탈착 또는 부착되는 것이 가능하다. 예컨데, 생체 신호 검출부(100)는 시계 타입으로 손목에 착용 가능하거나, 사용목적에 따라 신체의 다른 부위에도 착용 가능하도록 구현될 수 있다. 또한, 생체 신호 인식부(120)도 신체에 착용 가능하도록구현될 수 있으며, 생체 신호 검출부(100)와 소정의 거리를 두고 외부에 설치될 수 있다. 이와 같이, 무선 신호 전송부(70)와 무선 신호 수신부(80)가 소정의 거리를 두고 마련되어 서로 무선으로 디지탈 형태의 생체 신호를 주고 받는 경우, 제204 단계후에, 무선 신호 전송부(70)는 ADC(30)로부터 제공되는 디지탈 형태의 생체 신호를 무선 신호로 변환하여 생체 신호 인식부(120)로 송신한다(제206 단계).

한편, 생체 신호 인식부(120)는 생체 신호 검출부(100)에서 신호 처리된 생체 신호를 디지탈 신호 처리하고, 디지탈 신호 처리된 결과로부터 신체 및 감정 상태를 인식 및 표현한다(제208 ∼ 제214 단계).

만일, 생체 신호 검출부(100)가 무선으로 신호를 전송할 경우, 제206 단계후에, 생체 신호 인식부(120)의 무선 신호 수신부(80)는 무선 신호 전송부(70)에서 송신된 무선 신호를 수신하고 수신된 디지탈 형태의 생체 신호를 디지탈 신호 처리부(40)로 출력한다(제208 단계). 그러나, 전술한 바와 같이 생체 신호 검출부(100)가 디지탈 형태의 생체 신호를 유선으로 생체 신호 인식부(120)로 전송할 경우, 제204 단계후에 제206 및 제208 단계들을 수행하지 않고 제210 단계로 진행한다.

디지탈 신호 처리부(40)는 ADC(30) 또는 무선 신호 수신부(80)로부터 입력한 디지탈 형태의 생체 신호를 데이터 처리하여 제어부(50) 및 데이타 출력부(60)로 각각 출력한다(제210 단계).

제210 단계후에, 제어부(50)는 디지탈 신호 처리부(40)에서 처리된 데이터로부터 신체 및 감정 상태를 인식하고, 인식된 결과를 제어 신호로서 데이타 출력부(60)로 출력한다(제212 단계). 이를 위해, 제어부(50)는 사전에 설정된 적어도 하나 이상의 기준값을 입력단자 IN을 통해 저장하고, 이 저장된 기준값을 디지탈 신호 처리부(40)에서 처리된 데이터와 비교하며, 비교된 결과를 이용하여 신체 및 감정 상태를 인식할 수 있다. 여기서, 기준값은 일반적인 사람들이 갖는 생체 신호의 평균값에 해당한다.

이하, 도 2에 도시된 제어부(50)에서 수행되는 제212 단계에 대한 본 발명에 의한 바람직한 실시예를 첨부된 도면을 참조하여 다음과 같이 설명한다.

도 3은 도 2에 도시된 제212 단계에 대한 본 발명에 의한 바람직한 실시예를 설명하기 위한 플로우차트로서, 신체 및 감정을 인식하기 위해 평균값을 이용할 것인가 기준값을 이용할 것인가를 결정하는 단계(제240 ∼ 제246 단계들) 및 결정된 평균값 또는 기준값을 이용하여 신체 및 감정 상태를 인식하는 단계(제248 및 제250 단계들)로 이루어진다.

도 3을 참조하면, 제어부(50)는 미리 설정된 적어도 하나 이상의 기준값을 저장한다(제240 단계). 전술한 바와 같이, 제어부(50)는 기준값을 입력단자 IN을 통해 외부로부터 입력하여 저장할 수 있고 미리 입력하여 저장해 둘 수도 있다. 제240 단계후에, 센서부(10)에서 검출된 생체 신호에 대한 적어도 하나 이상의 평균값을 디지탈 신호 처리부(40)에서 처리된 데이터로부터 사전에 산출한다(제242 단계).

제242 단계후에, 산출된 평균값과 기준값의 차에 응답하여 평균값 또는 기준값을 선택하고, 선택된 평균값 또는 기준값을 디지탈 신호 처리부(40)에서 현재 처리된 데이타와 비교하여 신체 및 상기 감정 상태를 인식한다(제244 ∼ 제250 단계들). 즉, 제242 단계후에, 평균값과 기준값간의 차를 구한다(제244 단계), 여기서, 평균값은 도 1에 도시된 장치의 사용자로부터 센서부(10)에 의해 사전에 측정된 생체 신호의 평균값에 해당한다. 제244 단계후에, 차가 소정 허용 오차 보다 큰가를 판단한다(제246 단계). 만일, 차가 소정 허용 오차보다 크다고 판단되면, 평균값을 제210 단계에서 처리된 데이타와 비교하여 신체 및 감정 상태를 인식한다(제248 단계). 그러나, 차가 소정 허용 오차보다 크지 않다고 판단되면, 기준값을 제210 단계에서 처리된 데이타와 비교하여 신체 및 감정 상태를 인식한다(제250 단계).

본 발명의 이해를 돕기 위해, 센서부(10)에서 전술한 바와 같이 혈압, 피부 온도 및 피부 저항을 측정하였다고 가정하여 제어부(50)의 동작을 다음과 같이 살펴본다.

제어부(50)는 혈압, 피부 온도 및 피부 저항에 대한 생체 신호들 각각의 소정 제1, 제2, 제3 기준값을 저장하고, 혈압, 피부 온도 및 피부 저항들에 대한 사전에 검출된 생체 신호들 각각의 제1, 제2, 제3 평균값들을 산출하여 저장한다. 이 때, 제어부(50)는 대응하는 제X(1≤X≤3) 기준값과 제X 평균값간의 차가 소정의 제X 허용 오차보다 크지 않은 것으로 판단되면 제X 기준값과 디지탈 신호 처리부(40)에서 처리된 데이타를 비교하고, 제X 기준값과 제X 평균값의 차가 소정의 제X 허용 오차 보다 큰 것으로 판단되면 제X 평균값을 디지탈 신호 처리부(40)에서 처리된 데이타와 비교하여 신체 또는 감정 상태를 인식한다. 이와 같이, 기준값 대신에 평균값을 처리된 데이타와 비교하는 이유는, 사용자의 신체 특성을 고려하여 정확하게 신체 및 감정 상태를 인식하기 위함이다. 예를 들어, 제어부(50)는센서부(10)에서 현재 측정된 혈압 또는 체온이 기준값 또는 산출된 평균값보다 소정 레벨 이상 높으면 "흥분 또는 분노" 등으로 인식하고, 센서부(10)에서 현재 측정된 피부 저항이 소정의 기준값 또는 평균값보다 소정 레벨 만큼 낮으면 "긴장"등으로 인식할 수 있다. 이는, 긴장시에는 땀이 평소보다 많이 분비되고, 땀이 많이 분비되면 피부저항은 떨어지기 때문이다. 이러한 인식되는 신체와 감정의 상태들은 실험을 통하여 여러 가지로 추가 또는 변경될 수 있다. 또한, 인식된 상태들의 조합에 의해 신뢰성이 더욱 높은 인식 데이터를 얻을 수도 있다. 즉, 제어부(50)는 평균값이나 기준값을 처리된 데이타와 비교한 제1, 제2 및 제3 비교값들 각각에 따라 신체 및 감정의 각 상태를 인식할 수 있으며, 제1, 제2 및 제3 비교값들을 논리합(OR) 또는 논리곱(AND) 연산하고 논리 조합한 결과를 이용하여 신체 및 감정의 상태를 인식할 수도 있다. 평균값을 처리된 데이타와 비교한 결과를 이용하여 감정의 상태를 인식하는 본 발명에 의한 감정 상태 인식 방법에 대해서는 자세하게 후술된다.

한편, 제212 단계후에, 데이타 출력부(60)는 제어부(50)로부터 발생되는 제어 신호에 응답하여 디지탈 신호 처리부(40)로부터 입력한 디지탈 형태의 처리된 데이타 즉, 생체신호 및 인식 신호를 음성 및/또는 화상으로 사용자에게 제공한다(제214 단계). 이를 위해, 데이타 출력부(60)는 스피커 및/또는 모니터를 마련할 수 있으며, 제어부(50)의 제어 신호에 응답하여 신체 및 감정 상태 인식 데이터 및 검출된 생체 신호 데이타를 동시에 음성 및/또는 화상으로 사용자에게 제공한다.

이하, 본 발명에 의한 감정 상태 인식 방법 및 그 방법에 대한 실시예들을첨부한 도면들을 참조하여 다음과 같이 설명한다.

도 4는 본 발명에 의한 감정 상태 인식 방법을 설명하기 위한 플로우차트로서, 소정 시간 동안 검출한 적어도 하나 이상의 생체 신호로부터 추출한 생체 파라미터(들)를 이용하여 감정의 상태를 결정하는 단계(제300 및 제302 단계들)로 이루어진다.

본 발명에 의한 감정 상태 인식 방법을 수행하기 위해서, 먼저, 소정 시간 동안 신체로부터 검출한 적어도 하나 이상의 생체 신호로부터 신체의 특성을 나타내는 적어도 하나 이상의 생체 파라미터를 추출한다(제300 단계). 예를 들면, 제300 단계에서, 혈압에 대한 정보를 갖는 생체 신호로부터 심전도의 주파수, 심장의 박동 횟수 및 호흡에 따른 심전도를 나타내는 생체 파라미터들이 추출되고, 피부 온도 및 피부 저항에 대한 정보를 갖는 생체 신호들로부터 피부 온도 및 피부 저항도를 나타내는 생체 파라미터들이 추출될 수 있다.

제300 단계에서 추출되는 생체 파라미터들 각각의 값은 감정의 변화에 따라 변하며, 소정 시간은 감정이 변화되었을 때 변화된 감정이 생체 신호로 표현되는 데 소요되는 최소 시간(이하, '짧은 소정 시간'이라 한다.)이 될 수도 있고, 최소 시간 보다는 적어도 긴 시간(이하, '긴 소정 시간'이라 한다.)이 될 수 있다. 예를 들어, 짧은 소정 시간은 10초 내지는 60초 이내의 어느 값이 될 수 있으며, 긴 소정 시간은 60초보다 큰 어느 시간이 될 수 있다.

본 발명에 의한 감정 상태 인식 방법은, 짧은 소정 시간 및 긴 소정 시간에서 각각 검출된 생체 파라미터들을 이용하여 인간의 감정 상태를 인식한다. 즉, 본발명에 의한 감정 상태 인식 방법은, 급격하게 변하는 감정 상태를 빠르게 인식하기 위해 짧은 소정 시간에서 검출된 생체 파라미터들을 이용하고, 변한 뒤에 계속 잔류하는 감정 상태를 인식하기 위해서 긴 소정 시간에서 검출된 생체 파라미터들을 이용한다.

한편, 제300 단계후에, 현재 추출된 생체 파라미터들의 변화 정도를 결정하고, 결정된 변화 정도를 이용하여 현재의 감정 상태를 결정한다(제302 단계). 이를 위해, 기본 생체 파라미터를 현재 추출된 생체 파라미터와 비교하여, 현재 추출된 생체 파라미터의 변화 정도를 결정한다. 여기서, 기본 생체 파라미터란, 아무런 감정도 발생하지 않은 시간(baseline)동안, 예를 들면 편안한 마음으로 대략 10 ∼ 20분 동안 측정된 생체 파라미터들을 의미한다.

도 4에 도시된 본 발명에 의한 감정 상태 인식 방법은 도 3에 도시된 제248 단계에 해당하며 제어부(50)에서 수행될 수 있다. 이 경우, 기본 생체 파라미터는 평균값에 해당한다.

이하, 짧은 시간 및 긴 시간에 각각 검출된 생체 파라미터들을 이용하여 감정 상태를 인식하는 제302 단계에 대한 본 발명에 의한 실시예들을 첨부된 도면들을 참조하여 다음과 같이 설명한다.

도 5는 도 4에 도시된 제302 단계에 대한 본 발명에 의한 바람직한 일 실시예(302A)를 설명하기 위한 플로우차트로서, 생체 파라미터들의 변화 정도에 따라 인간의 감정 상태를 인식하는 단계(제310 ∼ 제318 단계들)로 이루어진다.

도 5에 도시된 실시예에 따르면, 짧은 소정 시간 동안 검출된 생체 파라미터들을 이용하여 감정 상태가 인식된다. 먼저, 심장의 박동 횟수, 피부 온도 및 심전도의 주파수에 대한 생체 파라미터들을 이용하여 감정 상태가 기쁨인 것을 인식한다(제310 단계). 또한, 심장의 박동 횟수 및 심전도의 주파수에 대한 생체 파라미터들을 이용하여 감정 상태가 스트레스인 것을 인식한다(제312 단계). 또한, 심장의 박동 횟수 및 피부 온도에 대한 생체 파라미터들을 이용하여 감정 상태가 슬픔인 것을 인식한다(제314 단계). 또한, 피부 온도 및 피부 저항도에 대한 생체 파라미터들을 이용하여 감정 상태가 무료함인 것을 인식한다(제316 단계). 또한, 피부 저항도 및 심전도의 주파수를 나타내는 생체 파라미터들을 이용하여 감정 상태가 분노인 것을 인식한다(제318 단계). 여기서, 도 5에 도시된 제310 ∼ 제318 단계들은 순서에 관계없이 수행될 수 있다.

도 6은 도 4에 도시된 제302 단계에 대한 본 발명에 의한 바람직한 다른 실시예(302B)를 설명하기 위한 플로우차트로서, 생체 파라미터들의 변화 정도에 따라 인간의 감정 상태를 인식하는 단계(제330 ∼ 제338 단계들)로 이루어진다.

도 6은 긴 소정 시간 동안 검출된 생체 파라미터들을 이용하여 감정 상태를 인식한다. 먼저, 피부 온도, 피부 저항도, 심전도의 주파수 및 호흡에 따른 심전도에 대한 생체 파라미터들을 이용하여 감정 상태가 무료함인 것을 인식한다(제330 단계). 피부 저항도 및 호흡에 따른 심전도에 대한 생체 파라미터들을 이용하여 감정 상태가 분노인 것을 인식한다(제332 단계). 심장의 박동 횟수, 심전도의 주파수 및 호흡률에 대한 생체 파라미터들을 이용하여 감정 상태가 기쁨인 것을 인식한다(제334 단계). 심장의 박동 횟수 및 피부 저항도에 대한 생체 파라미터들을 이용하여 감정 상태가 슬픔인 것을 인식한다(제336 단계). 피부 저항도에 대한 생체 파라미터들을 이용하여 감정 상태가 스트레스인 것을 인식한다(제338 단계). 여기서, 도 6에 도시된 제330 ∼ 제338 단계들은 순서에 관계없이 수행될 수 있다.

예를 들면, 도 5 또는 도 6에 도시된 실시예들(302A 및 302B)에서 언급된 생체 파라미터들은 다음과 같이 정해질 수 있다.

먼저, 심전도의 주파수에 대한 생체 파라미터란, 혈압에 대해 검출한 생체 신호를 고속 푸리에 변환(FFT:Fast Fourier Transform)한 결과에서 저 주파수 범위에 속하는 전력 스펙트럼을 적분한 값을 나타내는 생체 파라미터(LF:Low Frequency), 혈압에 대해 검출한 생체 신호를 고속 푸리에 변환(FFT:Fast Fourier Transform)한 결과에서 고 주파수 범위에 속하는 전력 스펙트럼을 적분한 값을 나타내는 생체 파라미터(HF:High Frequency) 또는 LF를 HF로 제산한 값을 나타내는 생체 파라미터(LF/HF)가 될 수 있다. 여기서, 저 주파수 범위는 0.04 ∼ 0.15Hz가 될 수 있고, 고 주파수 범위는 0.15 ∼ 0.5Hz가 될 수 있다.

또한, 심장의 박동 횟수에 대한 생체 파라미터란, 신체의 혈압에 대한 포지티브 피크들(Positive Peak) 사이의 간격 평균값을 나타내는 생체 파라미터(RR) 또는 단위 시간 동안 심장이 박동하는 횟수를 나타내는 생체 파라미터(HR:Heart Rate)가 될 수 있다. 여기서, 포지티브 피크란, 보통 R 피크를 의미하며, 생리학 텍스트들중에서 심전도에 관련된 부분에 개시되어 있다. 예를 들면, 포지티브 피크는, 1996년도에 'Joseph J Carr John M Brown'에 의해 "의용 계측 설계"라는 제목으로 저술되고 '이명호'에 의해 번역되고 경문사라는 출판사에 의해 출간된 책 2판의 페이지 171부터 216 쪽에 개시되어 있다. 여기서, 생체 파라미터(HR)는 생체 파라미터(RR)를 역산하여 예를 들면 1분 동안 얼마나 심장이 뛸 것인가를 계산하므로써 구해질 수 있다.

또한, 호흡에 따른 심전도에 대한 생체 파라미터란, 혈압에 대한 포지티브 피크들 사이의 간격들중에서, 최대 간격으로부터 최소 간격을 감산한 결과를 최소 간격으로 제산한 값[(최대 간격-최소 간격)/최소 간격]을 나타내는 생체 파라미터(RSA:Respiratory Sinus Arrhythmia)가 될 수 있다. 여기서, 생체 파라미터(RSA)를 추출하는 여러가지 방법들은 일반적으로 널리 알려져 있다. 예를 들어, 1994년도에 'A.W. Frey, C. Hagenmiller, J Baumert, F Grueneis, M Dambacher, K Theisen 및 M Adt'에 의해 "The Respiratory Sinus Arrhythmia as a Function of Breathing Frequency Revisited"라는 제목으로 출간된 Computer in Cardiology라는 저널에 공동으로 발표된 IEEE 논문의 페이지 41쪽부터 44쪽에 개시되어 있다.

또한, 피부 온도에 대한 생체 파라미터란, 피부 온도 평균값을 나타내는 생체 파라미터(SKT:SKin Temperature)가 될 수 있다. 피부 저항도에 대한 생체 파라미터란, 피부 저항 역수값의 평균을 나타내는 생체 파라미터(SCL:Skin Conductive Level), 피부 저항의 값을 역수로 바꾸어 표현한 하나의 그래프에서 측정한 포지티브 제로 크로싱(Positive Zero Crossing)의 개수를 나타내는 생체 파라미터(N-SCR:Number of Skin Conductive Response) 또는 포지티브 제로 크로싱으로부터 네가티브 제로 크로싱(Negative Zero Crossing)까지의 높이를 나타내는 생체 파라미터(SCRM:Skin Conductive Response Magnitude)가 될 수 있다. 여기서,포지티브 제로 크로싱이란 변화율이 +로부터 -로 변하는 것을 의미하고, 네가티브 제로 크로싱이란, 그래프에 표현된 곡선의 변화율이 -로부터 +로 변하는 것을 의미한다. 이 때, 잡음에 의해 포지티브나 네가티브 제로 크로싱이 발생할 수도 있으므로, 그래프에 표시되는 곡선을 미리 저역 통과 필터링할 수도 있다.

그 밖에, 생체 파라미터들[(FPV:Finger Pulse Volumn) 및 PPG]이 제300 단계에서 추출될 수 있다. 여기서, FPV 및 PPG는 모두 혈류량의 진폭을 나타낸다.

전술한 생체 파라미터들(RR, HR, SKT, SCL, N-SCR, SCRM, LF, HF, LF/HF, RSA, RESP, FPV 및 PPG) 각각은 서로 다른 시간에서 구해진다. 이 때, 생체 파라미터들은 도 5에 도시된 실시예(302A)에 적용될 경우 짧은 소정 시간 동안 모두 검출되고, 도 6에 도시된 실시예(302B)에 적용될 경우 긴 소정 시간 동안 모두 검출된다. 여기서, 생체 파라미터들은 도 1에 도시된 제어부(50)에서 다음과 같이 발생될 수 있다.

도 1에 도시된 센서부(10)에 마련되는 혈압 센서(미도시)로 센싱된 혈압에 대한 생체 신호는 전술한 바와 같이 처리되어 디지탈 신호 처리부(40)로 입력된다. 이 때, 제어부(50)는 디지탈 신호 처리부(40)에서 처리되어 입력되는 혈압에 대한 데이타를 이용하여 생체 파라미터들(RR, HR, LF, HF, LF/HF, RSA 및 RESP)를 추출할 수 있다. 예컨데, 제어부(50)는 협압에 대한 데이타로부터 생체 파라미터들(RR 및 RSA)을 구하고, 생체 파라미터(RR)를 역산하여 생체 파라미터(HR)을 계산하고, 처리된 데이타를 FFT 분석하여 LF와 HF를 구하고, LF와 HF를 이용하여 생체 파라미터(LF/HF)를 구한다. 여기서, 생체 파라미터(RESP)는 구할 때, 혈압 센서(미도시)에 의해 센싱된 혈압에 대한 생체 신호 대신에, 호흡 센서(미도시)에 의해 센싱된 호흡에 대한 생체 신호를 이용할 수도 있다. 이 경우, 도 1에 도시된 센서부(10)에 마련되는 호흡 센서(미도시)에 의해 센싱된 호흡에 대한 생체 신호는 전술한 바와 같은 과정을 통해 디지탈 신호 처리부(40)로 입력된다. 이 때, 제어부(50)는 디지탈 신호 처리부(40)에서 처리된 호흡에 대한 데이타를 이용하여 생체 파라미터(RESP)를 추출한다. RESP를 추출하는 여러가지의 일반적인 방법들이 널이 알려져 있다. 예를 들면, RESP를 추출하는 일반적인 방법이, 1997년도 4월에 'Pei Z Zhang, Walter N Tapp, Stanley S Reisman 및 Benjamin H Natelson'에 의해 "Respiration Response Curve Analysis of Heart Rate Variability"라는 제목으로 공동으로 발표되어 출간된 IEEE Transaction on Biomedical Engineering라는 저널의 vol 44 no 4의 페이지 321쪽부터 325쪽에 개시되어 있다.

또한, 도 1에 도시된 센서부(10)에 마련되는 피부 온도 센서(미도시) 및 피부 저항 센서(미도시)에 의해 각각 센싱된 피부 온도 및 피부 저항에 대한 생체 신호들은 전술한 바와 같이 처리되어 디지탈 신호 처리부(40)로 입력된다. 이 때, 제어부(50)는 디지탈 신호 처리부(40)에서 처리된 피부 온도 및 피부 저항에 대한 데이타를 이용하여 생체 파라미터들(SKT, SCL, N-SCR 및 SCRM))을 추출할 수 있다.

또한, 생체 파라미터들(FPV 및 PPG)을 측정하기 위해 도 1에 도시된 센서부(10)에 포함되는 혈압 센서(미도시)는 PPG 센서(미도시)로 구현될 수 있다. PPG 센서(미도시)는 예를 들면 손 끝에 마련되어 혈류량에 대한 정보를 센싱한다. 이 때, 센싱된 정보를 갖는 혈류량에 대한 생체 신호는 전술한 바와 같이 처리되어디지탈 신호 처리부(40)로 입력된다. 제어부(50)는 디지탈 신호 처리부(40)에서 처리된 혈류량에 대한 데이타를 이용하여 생체 파라미터들(FPV 및 PPG)를 추출한다.

전술한 바와 같이, 제어부(50)에서 생체 파라미터들이 추출될 때, 제어부(50)는 이전에 추출된 기본 생체 파라미터들을 기준으로 현재 추출한 생체 파라미터들의 변화 정도를 결정하여 감정 상태를 결정한다. 즉, 도 4에 도시된 제302 단계, 도 5 및 도 6에 각각 도시된 실시예들(302A 및 302B)은 제어부(50)에서 수행될 수 있다.

이하, 도 5 및 도 6에 도시된 실시예들(302A 및 302B)에 대한 본 발명에 의한 바람직한 실시예들을 첨부된 도면들을 참조하여 다음과 같이 설명한다. 이 때, 기본 생체 파라미터들을 RR(base), HR(base), SKT(base), SCL(base), N-SCR(base), SCRM(base), LF(base), HF(base), LF/HF(base), RSA(base) 및 RESP(base)로 표시한다.

도 7은 도 5에 도시된 실시예(302A)에 대한 본 발명에 의한 바람직한 실시예를 설명하기 위한 플로우차트로서, 기쁨을 결정하는 단계(제350 ∼ 제360 단계들), 스트레스를 결정하는 단계(제362 및 제364 단계들), 슬픔을 결정하는 단계(제366 및 제368 단계들), 무료함을 결정하는 단계(제370 ∼ 제374 단계들), 분노를 결정하는 단계(제376 ∼ 제382 단계들) 및 특별한 감정 상태가 존재하지 않은 것으로 결정하는 단계(제384 단계)로 이루어진다.

도 7에 도시된 실시예에서, 짧은 시간에 검출된 생체 파라미터들(RR, HR, SKT, SCL, N-SCR, SCRM, LF 및 LF/HF)을 이용하여 감정 상태를 결정한다.

먼저, 초기 상태에서 감정 상태가 기쁨인가를 다음과 같이 결정한다(제350 ∼ 제360 단계들). 여기서, 초기 상태란, 어떤 감정도 지배적으로 존재하지 않은 상태로서, 예를 들면 기쁨, 슬픔, 스트레스, 분노 및 무료함의 감정(혹은, 정신 상태)이 균일 혹은 혼재되어 있는 상태를 의미한다.

제300 단계후에, 초기 상태에서 HR값이 HR 임계값(HR_th) 이상만큼 감소되었는가를 판단한다(제350 단계). 이를 위해, HR(base)로부터 HR_th를 감산한 값이 HR값보다 큰가를 판단한다. 만일, HR값이 HR 임계값(HR_th) 이상만큼 감소되었다고 판단되면, SKT 값이 SKT 임계값(SKT_th) 이상만큼 증가되었는가를 판단한다(제352 단계). 여기서, HR값이 HR 임계값(HR_th) 이상만큼 감소되었다는 것은, 감정 상태가 기쁨, 슬픔 또는 스트레스일 확률이 예를 들면 50%라는 것을 의미한다. 그러나, 기쁨, 슬픔 또는 스트레스중에서 어느 감정 상태라고 아직 결정하기 어렵기 때문에, SKT 값이 SKT 임계값(SKT_th) 이상만큼 증가되었는가를 판단한다. 이를 위해, SKT(base)와 SKT_th를 가산한 값이 SKT값보다 적은가를 판단한다.

이 때, SKT값이 SKT 임계값(SKT_th) 이상만큼 증가되었다고 판단되면, LF값이 LF 임계값(LF_th) 이상만큼 감소되었거나 LF/HF값이 LF/HF 임계값(LF/HF_th) 이상만큼 감소되었는가를 판단한다(제354 단계). 여기서, SKT값이 SKT 임계값(SKT_th) 이상만큼 증가되었다는 것은, 감정 상태가 기쁨 또는 슬픔일 확률이 예를 들면 60%라는 것을 의미한다. 그러나, 기쁨 또는 슬픔중에서 어느 감정 상태라고 아직 결정하기 어렵기 때문에, LF값이 LF 임계값(LF_th) 이상만큼 감소되었거나 LF/HF값이 LF/HF 임계값(LF/HF_th) 이상만큼 감소되었는가를 판단한다. 이를위해, LF(base)로부터 LF_th를 감산한 값이 LF보다 크거나 LF/HF(base)로부터 LF/HF_th를 감산한 값이 LF/HF보다 큰가를 판단한다.

만일, LF값이 LF 임계값(LF_th) 이상만큼 감소되었거나 LF/HF값이 LF/HF 임계값(LF/HF_th) 이상만큼 감소되었다고 판단되면, 감정 상태가 기쁨일 확률을 제1 소정 퍼센트로 결정한다(제356 단계). 여기서, 제1 소정 퍼센트는 70 %로 설정될 수 있다. 제356 단계후에, RR값이 RR 임계값(RR_th) 이상만큼 증가되었는가를 판단한다(제358 단계). 이를 위해, RR(base)와 RR_th를 가산한 값이 RR값보다 적은가를 판단한다. 만일, RR값이 RR 임계값(RR_th) 이상만큼 증가되지 않았다고 판단되면 제356 단계로 진행한다. 그러나, RR값이 RR 임계값(RR_th) 이상만큼 증가되었다고 판단되면, 감정 상태가 기쁨일 확률을 제1 소정 퍼센트보다 증가된 제2 소정 퍼센트로 결정한다. 여기서, 제2 소정 퍼센트는 80%로 설정될 수 있다.

다음으로, 감정 상태가 스트레스인가를 다음과 같이 결정한다(제362 및 제364 단계들).

제352 단계에서 SKT값이 SKT 임계값(SKT_th) 이상만큼 증가되지 않았다고 판단되면, LF값이 LF 임계값(LF_th) 이상만큼 감소되었는가를 판단한다(제362 단계). 여기서, SKT값이 SKT 임계값(SKT_th) 이상만큼 증가되지 않았다는 것은, 감정 상태가 스트레스일 확률이 여전히 예를 들면 50%라는 것을 의미한다. 따라서, 감정 상태가 스트레스라고 아직 결정하기 어렵기 때문에, LF값이 LF 임계값(LF_th) 이상만큼 감소되었는가를 판단한다. 이를 위해, LF(base)로부터 LF_th를 감산한 값이 LF값보다 큰가를 판단한다. 만일, LF값이 LF 임계값(LF_th) 이상만큼 감소되었다고판단되면, 감정 상태가 스트레스일 확률을 제2 소정 퍼센트로 결정한다(제364 단계).

다음으로, 감정 상태가 슬픔인가를 다음과 같이 결정한다(제366 및 제368 단계들).

제354 단계에서 LF값이 LF 임계값(LF_th) 이상만큼 감소되지도 않고 LF/HF값이 LF/HF 임계값(LF/HF_th) 이상만큼 감소되지 않은 것으로 판단되면, RR값이 RR 임계값(RR_th) 이상 만큼 증가되었는가를 판단한다(제366 단계). 여기서, LF값이 LF 임계값(LF_th) 이상만큼 감소되지도 않고 LF/HF값이 LF/HF 임계값(LF/HF_th) 이상 만큼 감소되지 않았다는 것은, 감정 상태가 슬픔일 확률이 여전히 예를 들면 60%라는 것을 의미한다. 따라서, 감정 상태가 슬픔일 확률이 60%라고 아직 결정하기 어렵기 때문에, RR값이 RR 임계값(RR_th) 이상만큼 증가되었는가를 판단한다. 이를 위해, RR(base)와 RR_th를 가산한 값이 RR값보다 적은가를 판단한다. 만일, RR값이 RR 임계값(RR_th) 이상만큼 증가되었다고 판단되면, 감정 상태가 슬픔일 확률을 제2 소정 퍼센트로 결정한다(제368 단계).

다음으로, 감정 상태가 무료함인가를 다음과 같이 결정한다(제370 ∼ 제374 단계들).

제350 단계에서 HR값이 HR 임계값(HR_th) 이상만큼 감소되지 않았다고 판단되면, N-SCR값이 N-SCR 임계값(N-SCR_th) 이상만큼 증가되고 SCRM값이 SCRM 임계값(SCRM_th) 이상만큼 증가되었는가를 판단한다(제370 단계). 여기서, HR값이 HR 임계값(HR_th) 이상만큼 감소되지 않았다는 것은, 감정 상태가 여전히 초기 상태라는 것을 의미한다. 그러므로, RR값이 RR 임계값(RR_th) 이상만큼 증가되었는가를 판단한다. 이를 위해, N-SCR(base)와 N-SCR_th를 가산한 값이 N-SCR값보다 적고 SCRM(base)와 SCRM_th을 가산한 값이 SCRM값보다 적은가를 판단한다.

만일, N-SCR값이 N-SCR 임계값(N-SCR_th) 이상만큼 증가되고 SCRM값이 SCRM 임계값(SCRM_th) 이상만큼 증가되었다고 판단되면, SKT값이 SKT 임계값(SKT_th) 이상만큼 증가되었는가를 판단한다(제372 단계). 여기서, N-SCR값이 N-SCR 임계값(N-SCR_th) 이상만큼 증가되고 SCRM값이 SCRM 임계값(SCRM_th) 이상만큼 증가되었다는 것은, 감정 상태가 분노 또는 무료함일 확률이 예를 들면 50%라는 것을 의미한다. 따라서, 분노 또는 무료함중에서 어느 감정 상태라고 아직 결정하기 어렵기 때문에, SKT값이 SKT 임계값(SKT_th) 이상만큼 증가되었는가를 판단한다. 이를 위해, SKT(base)와 SKT_th를 가산한 값이 SKT값보다 적은가를 판단한다. 만일, SKT 값이 SKT 임계값(SKT_th) 이상만큼 증가되었다고 판단되면, 감정 상태가 무료함일 확률을 제2 소정 퍼센트로 결정한다(제374 단계).

마지막으로, 감정 상태가 분노인가를 다음과 같이 결정한다(제376 ∼ 제382 단계들).

제372 단계에서 SKT값이 SKT 임계값(SKT_th) 이상만큼 증가되지 않았다고 판단되면, LF/HF값이 LF/HF 임계값(LF/HF_th) 이상만큼 감소되었는가를 판단한다(제376 단계). 여기서, SKT값이 SKT 임계값(SKT_th) 이상만큼 증가되지 않았다는 것은, 감정 상태가 분노일 확률이 여전히 예를 들면 50%라는 것을 의미한다. 따라서, 감정 상태가 분노일 확률이 60%라고 아직 결정하기 어렵기 때문에, LF/HF값이LF/HF 임계값(LF/HF_th) 이상만큼 감소되었는가를 판단한다. 이를 위해, LF/HF(base)로부터 LF/HF_th를 감산한 값이 LF/HF값보다 큰가를 판단한다.

만일, LF/HF값이 LF/HF 임계값(LF/HF_th) 이상만큼 감소되지 않았다고 판단되면 제372 단계로 진행한다. 그러나, LF/HF값이 LF/HF 임계값(LF/HF_th) 이상만큼 감소되었다고 판단되면, 감정 상태가 분노일 확률을 제1 소정 퍼센트로 결정한다(제378 단계). 제378 단계후에, SCL값이 SCL 임계값(SCL_th) 이상만큼 증가되었는가를 판단한다(제380 단계). 만일, SCL값이 SCL 임계값(SCL_th) 이상만큼 증가되지 않았다고 판단되면 제378 단계로 진행한다. 그러나, SCL값이 SCL 임계값(SCL_th) 이상만큼 증가되었다고 판단되면, 감정 상태가 분노일 확률을 제2 소정 퍼센트로 결정한다(제382 단계).

도 7에 도시된 실시예는, 제362 단계에서 LF 값이 LF 임계값(LF_th) 이상만큼 감소되지 않았다고 판단되거나, 또는 제370 단계에서 N-SCR값이 N-SCR 임계값(N-SCR_th) 이상만큼 증가되지 않았거나 SCRM 값이 SCRM 임계값(N-SCR_th) 이상만큼 증가되지 않았다고 판단되거나, 또는 제366 단계에서 RR값이 RR 임계값(RR_th) 이상 증가되지 않았다고 판단되면, 지배적인 감정 상태가 존재하지 않은 것으로 결정할 수 있다(제384 단계). 즉, 어떤 특별한 감정 상태가 지배적으로 존재한다고 보기 어렵다고 결정한다.

도 8은 도 5에 도시된 실시예(302B)에 대한 본 발명에 의한 바람직한 일 실시예를 설명하기 위한 플로우차트로서, 무료함을 결정하는 단계(제400 ∼ 제414 단계들), 분노를 결정하는 단계(제416 및 제418 단계들), 기쁨을 결정하는 단계(제420 ∼ 제432 단계들), 슬픔을 결정하는 단계(제434 및 제436 단계들), 스트레스를 결정하는 단계(제438 및 제440 단계들) 및 특별한 감정 상태가 존재하지 않은 것으로 결정하는 단계(제442 단계)로 이루어진다.

도 8에 도시된 실시예에서, 긴 시간에 검출된 생체 파라미터들(HR, SKT, SCL, N-SCR, SCRM, LF, HF, LF/HF, RSA 및 RESP)을 이용하여 감정 상태를 결정한다.

먼저, 초기 상태에서 감정 상태가 무료함인가를 다음과 같이 결정한다(제400 ∼ 제414 단계들).

RSA 값이 RSA 임계값(RSA_th) 이상만큼 작고, SCL 값이 SCL 임계값(SCL_th) 이상만큼 크고, SCRM 값이 SCRM 임계값(SCRM_th) 이상만큼 큰가를 판단한다(제400 단계). 이를 위해, RSA(base)로부터 RSA_th를 감산한 값이 RSA값보다 크고, SCL(base)과 SCL_th를 가산한 값이 SCL값보다 적고, SCRM(base)과 SCRM_th를 가산한 값이 SCRM값보다 적은가를 판단한다. 만일, RSA 값이 RSA 임계값(RSA_th) 이상만큼 작고, SCL 값이 SCL 임계값(SCL_th) 이상만큼 크고, SCRM 값이 SCRM 임계값(SCRM_th) 이상만큼 크다고 판단되면, N-SCR값이 N-SCR 임계값(N-SCR_th) 이상만큼 큰가를 판단한다(제402 단계). 이를 위해, N-SCR(base)와 N-SCR_th를 가산한 값이 N-SCR값보다 적은가를 판단한다. 만일, N-SCR값이 N-SCR 임계값(N-SCR_th) 이상만큼 크다고 판단되면, SKT값이 SKT 임계값(SKT_th) 이상만큼 큰가를 판단한다(제404 단계). 이를 위해, SKT(base)와 SKT_th를 가산한 값이 SKT값보다 적은가를 판단한다. 만일, SKT값이 SKT 임계값(SKT_th) 이상만큼 크다고 판단되면,감정 상태가 무료함일 확률을 제3 소정 퍼센트로서 결정한다(제406 단계). 여기서, 제3 소정 퍼센트는 60 %로 설정될 수 있다.

제406 단계후에, HF 값이 HF 임계값(HF_th) 이상만큼 작은가를 판단한다(제408 단계). 이를 위해, HF(base)로부터 HF_th를 감산한 값이 HF값보다 큰가를 판단한다. 만일, HF 값이 HF 임계값(HF_th) 이상만큼 작지 않다고 판단되면 제406 단계로 진행한다. 그러나, HF 값이 HF 임계값(HF_th) 이상만큼 작다고 판단되면, 감정 상태가 무료함일 확률을 제3 소정 퍼센트 보다 증가된 제4 소정 퍼센트로서 결정한다(제410 단계). 여기서, 제4 소정 퍼센트는 70 %로 설정될 수 있다.

제410 단계후에, LF 값이 LF 임계값(LF_th) 이상만큼 큰가를 판단한다(제412 단계). 이를 위해, LF(base)로부터 LF_th를 감산한 값이 LF값보다 큰가를 판단한다. 만일, LF 값이 LF 임계값(LF_th) 이상만큼 크지 않다고 판단되면 제410 단계로 진행한다. 그러나, LF 값이 LF 임계값(LF_th) 이상만큼 크다고 판단되면, 감정 상태가 무료함일 확률을 제4 소정 퍼센트 보다 증가된 제5 소정 퍼센트로서 결정한다(제414 단계). 여기서, 제5 소정 퍼센트는 80 %로 설정될 수 있다.

다음으로, 감정 상태가 분노인가를 다음과 같이 결정한다(제416 및 418 단계들).

제402 단계에서 N-SCR 값이 N-SCR 임계값(N-SCR_th) 이상만큼 크지 않다고 판단되면, 감정 상태가 분노일 확률을 제5 소정 퍼센트로 결정한다(제416 단계). 또한, 제404 단계에서 SKT 값이 SKT 임계값(SKT_th) 이상만큼 크지 않다고 판단되면, 감정 상태가 분노일 확률을 제3 소정 퍼센트로 결정한다(제418 단계).

다음으로, 감정 상태가 기쁨인가를 다음과 같이 결정한다(제420 ∼ 제432 단계들).

제400 단계에서 RSA 값이 RSA 임계값(RSA_th) 이상만큼 작지 않거나, SCL 값이 SCL 임계값(SCL_th) 이상만큼 크지 않거나, SCRM 값이 SCRM 임계값(SCRM_th) 이상만큼 크지 않다고 판단되면, HR값이 HR 임계값(HR_th) 이상만큼 작은가를 판단한다(제420 단계). 이를 위해, HR(base)로부터 HR_th를 감산한 값이 HR값보다 큰가를 판단한다. 만일, HR값이 HR 임계값(HR_th) 이상만큼 작다고 판단되면, RESP 값이 RESP 임계값(RESP_th) 이상만큼 큰가를 판단한다(제422 단계). 이를 위해, RESP(base)와 RESP_th를 가산한 값이 RESP값보다 적은가를 판단한다. 만일, RESP 값이 RESP 임계값(RESP_th) 이상만큼 크다고 판단되면, 감정 상태가 기쁨일 확률을 제3 소정 퍼센트로 결정한다(제424 단계).

제424 단계후에, LF/HF 값이 LF/HF 임계값(LF/HF_th) 이상만큼 작은가를 판단한다(제426 단계). 이를 위해, LF/HF(base)로부터 LF/HF_th를 감산한 값이 LF/HF값보다 큰가를 판단한다. 만일, LF/HF 값이 LF/HF 임계값(LF/HF_th) 이상만큼 작지 않다고 판단되면 제424 단계로 진행한다. 그러나, LF/HF 값이 LF/HF 임계값(LF/HF_th) 이상만큼 작다고 판단되면, 감정 상태가 기쁨일 확률을 제4 소정 퍼센트로 결정한다(제428 단계).

제428 단계후에, LF 값이 LF 임계값(LF_th) 이상만큼 작은가를 판단한다(제430 단계). 이를 위해, LF(base)로부터 LF_th를 감산한 값이 LF값보다 큰가를 판단한다. 만일, LF 값이 LF 임계값(LF_th) 이상만큼 작지 않다고 판단되면 제428 단계로 진행한다. 그러나, LF 값이 LF 임계값(LF_th) 이상만큼 작다고 판단되면, 감정 상태가 기쁨일 확률을 제5 소정 퍼센트로 결정한다(제432 단계).

다음으로, 감정 상태가 슬픔인가를 다음과 같이 결정한다(제434 및 제436 단계들).

제422 단계에서 RESP 값이 RESP 임계값(RESP_th) 이상만큼 크지 않다고 판단되면, SCL 값이 SCL 임계값(SCL_th) 이상만큼 작은가를 판단한다(제434 단계). 이를 위해, SCL(base)로부터 SCL_th를 감산한 값이 SCL값보다 큰가를 판단한다. 만일, SCL 값이 SCL 임계값(SCL_th) 이상만큼 작다고 판단되면, 감정 상태가 슬픔일 확률을 제5 소정 퍼센트로 결정한다(제436 단계).

마지막으로, 감정 상태가 스트레스인가를 다음과 같이 결정한다(제438 및 제440 단계들).

제420 단계에서 HR 값이 HR 임계값(HR_th) 이상 만큼 작지 않다고 판단되면, N-SCR 값이 N-SCR 임계값(N-SCR_th) 이상만큼 큰가를 판단한다(제438 단계). 이를 위해, N-SCR(base)와 N-SCR_th를 가산한 값이 N-SCR값보다 적은가를 판단한다. 만일, N-SCR 값이 N-SCR 임계값(N-SCR_th) 이상만큼 크다고 판단되면, 감정 상태가 스트레스일 확률을 제4 소정 퍼센트로 결정한다(제440 단계).

도 8에 도시된 실시예는 제434 단계에서 SCL값이 SCL 임계값(SCL_th) 이상만큼 작지 않다고 판단되거나, 또는 제438 단계에서 N-SCR 값이 N-SCR 임계값 이상만큼 크지 않다고 판단되면, 지배적인 감정 상태가 존재하지 않은 것으로 결정할 수 있다(제442 단계).

도 7 또는 도 8에 도시된 제302 단계에 대한 실시예들에서, 하나 또는 복수의 감정 상태가 존재할 확률이 제X(1≤X≤5) 소정 퍼센트인 경우, 나머지 감정 상태들이 존재할 확률은 100퍼센트에서 제X 소정 퍼센트를 감산한 결과를 나머지 감정 상태들의 수로 나눈 결과이다. 예컨데, 감정 상태가 분노일 확률이 70%라면, 현재의 감정 상태가 기쁨, 슬픔, 무료함 또는 스트레스일 확률은 7.5%가 된다.

본 발명의 일 실시예에 따르면, 짧은 소정 시간 동안에 검출된 생체 파라미터들(HR, RESP, FPV, SKT, SCL, N-SCR, SCRM, HF, LF, LF/HF 및 RR)을 이용하여 성별에 무관하게 20여명의 어린이를 대상으로 분노, 무료함, 기쁨, 슬픔 및 스트레스와 같은 다섯 가지의 감정 상태들에서의 자율 신경계(ANS:Autonomous Nerveous System) 반응을 살펴보면 다음 표 1과 같이 보여질 수 잇다.

구분	HR	RESP	FPV	SKT	SCL	N-SCR	SCRM	HF	LF	LF/HF	RR
분노			↓?		↑	↑	↑			↓
무료함				↑		↑	↑	↓?
기쁨	↓	↑?		↑					↓	↓	↑
슬픔	↓		↑?	↑							↑
스트레스	↓					↑?			↓

여기서, ↑는 현재 추출된 생체 파라미터가 기본 생체 파라미터값보다 증가하는 것을 나타내고, ↓는 기본 생체 파라미터값보다 감소하는 것을 나타내며, ?는 현재 추출된 생체 파라미터의 값이 기본 생체 파라미터의 값보다 심각할 정도로 증가 또는 감소하지 않았다는 것을 각각 나타낸다. 이 때, 빈 칸은 미약한 변화가 발생하였다는 것을 의미한다. 따라서, 심각할 정도로 변하지 않거나 미약한 정도로 변한 생체 파라미터들은 도 7에 도시된 실시예에서 감정 상태를 결정할 때 사용되지 않았다.

본 발명의 다른 실시예에 따르면, 긴 소정 시간 동안에 검출된 생체 파라미터들(HR, RESP, RSA, PPG, SKT, SCL, N-SCR, SCRM, HF, LF 및 LF/HF)을 이용하여 성별에 무관하게 20여명의 어린이를 대상으로 분노, 무료함, 기쁨, 슬픔 및 스트레스와 같은 다섯가지의 감정 상태에서의 자율 신경계 반응을 살펴보면 다음 표 2와 같이 보여질 수 있다.

	HR	RESP	RSA	PPG	SKT	SCL	N-SCR	SCRM	HF	LF	LF/HF
분노			L	L?		H	H	H
무료함			L		H	H		H	L	L
기쁨	L	H			H?					L	L
슬픔	L				L?	L
스트레스							H

여기서, 현재 추출된 생체 파라미터의 값이 기본 생체 파라미터의 값보다 크면 H로, 작으면 L로 표시하였으며, ?는 현재 추출된 생체 파라미터의 값이 기본 생체 파라미터의 값보다 심각할 정도로 크거나 또는 심각할 정도로 작지 않았다는 것을 각각 나타낸다. 이 때, 빈 칸은 미약한 변화가 발생하였다는 것을 의미한다. 따라서, 심각할 정도로 변하지 않거나 미약한 정도로 변한 생체 파라미터들은 도 8에 도시된 실시예에서 감정 상태를 결정할 때 사용되지 않았다.

표 1 또는 표 2로부터 알 수 있듯이, 각 감정 상태마다 특별한 변화를 보이는 생체 파라미터들이 있고, 특별한 변화를 보이지 않은 생체 파라미터들도 있다. 그러므로, 본 발명에 의한 감정 상태 인식 방법은, 생체 파라미터의 특별한 변화를 이용하여 전술한 바와 같이 감정 상태를 결정할 수 있다.

한편, 전술한 본 발명에 의한 감정 상태 인식 방법에서, 인식될 수 있는 감정 상태는 분노, 무료함, 기쁨, 슬픔 및 스트레스의 다섯가지로 한정되었다. 그러나, 본 발명에 의한 감정 상태 인식 방법은 이에 국한되지 않고, 생체 파라미터들(HR, RESP, RSA, PPG, SKT, SCL, N-SCR, SCRM, HF, LF, LF/HF, FPV 및 RR)을 이용하여 다양한 감정 상태를 인식할 수도 있다.

이상에서 설명한 바와 같이, 본 발명에 의한 신체 및 감정 상태 인식 장치 및 방법은 사용자의 움직임에 불편을 주지 않으면서 신체의 소정 부위에 장착될 수 있고, 무선이나 유선으로 전송될 생체 신호를 쉽게 검출할 수 있으며, 검출된 생체 신호를 이용하여 인식한 신체 및 감정 상태를 사용자에게 제공할 수 있고, 급격하게 변하는 감정 상태 또는 변한 뒤 오래 잔류하는 감정 상태를 실시간에서 인식할 수 있는 효과를 갖는다.

Claims

신체의 소정 부위에 장착되어 상기 신체로부터 검출한 적어도 하나 이상의 생체 신호를 아날로그 신호 처리하여 출력하는 생체 신호 검출부; 및

상기 생체 신호 검출부에서 신호 처리된 상기 생체 신호를 디지탈 신호 처리하고, 신호 처리된 결과로부터 상기 신체 및 감정 상태를 인식 및 표현하는 생체 신호 인식부를 구비하고,

상기 생체 신호 검출부는

신체로부터 상기 생체 신호를 아날로그 형태로 검출하는 센서부;

상기 센서부에서 검출된 아날로그 형태의 상기 생체 신호를 증폭 및 필터링하는 아날로그 신호 처리부; 및

상기 증폭 및 필터링된 아날로그 형태의 생체 신호를 디지탈 형태로 변환하는 아날로그/디지탈 변환부를 구비하고,

상기 생체 신호 인식부는,

상기 디지탈 형태의 생체 신호를 데이터 처리하는 디지탈 신호 처리부;

상기 디지탈 신호 처리부에서 처리된 데이터로부터 상기 신체 및 감정 상태를 인식하고, 인식된 결과를 제어 신호로서 출력하는 제어부; 및

상기 디지탈 신호 처리부에서 처리된 상기 데이타를 상기 제어 신호에 응답하여 소정 형태로 출력하는 데이타 출력부를 구비하고,

상기 제어부는 적어도 하나 이상의 기준값을 저장하고, 저장된 상기 기준값을 상기 디지탈 신호 처리부에서 처리된 데이터와 비교하고, 비교된 결과로부터 상기 신체 및 상기 감정 상태를 인식하는 것을 특징으로 하는 신체 및 감정 상태 인식 장치.
삭제
제2 항에 있어서, 상기 센서부는

혈압을 측정하는 혈압 센서;

피부온도를 측정하는 피부 온도 센서; 및

피부저항을 측정하는 피부 저항 센서를 구비하는 것을 특징으로 하는 신체 및 감정 상태 인식 장치.
제3 항에 있어서, 상기 혈압 센서는 피에조 센서(Piezo Sensor) 또는 스트레인 게이지(Strain Guage)등의 압력 감지 센서인 것을 특징으로 하는 신체 및 감정 상태 인식 장치.
제3 항에 있어서, 상기 피부 온도 센서는 전극(Electrode)과 서모 커플(Thermo Couple)을 이용하여 피부 온도를 측정하는 것을 특징으로 하는 신체 및 감정 상태 인식 장치.
제3 항에 있어서, 상기 피부 저항 센서는 전극 및 비교기를 이용하여 피부 저항을 측정하는 것을 특징으로 하는 신체 및 감정 상태 인식 장치.
제2 항에 있어서, 상기 생체 신호 검출부는 상기 아날로그/디지탈 변환부로부터 출력되는 상기 디지탈 형태의 생체 신호를 무선 신호로 변환하여 전송하는 무선 신호 전송부를 더 구비하고, 상기 생체 신호 인식부는 상기 무선 신호를 수신하여 상기 디지탈 형태의 생체 신호로서 상기 디지탈 신호 처리부로 출력하는 무선 신호 수신부를 더 구비하는 것을 특징으로 하는 신체 및 감정 상태 인식 장치.
제1 항 내지 제7 항 중 어느 한 항에 있어서, 상기 생체 신호 검출부는 벨트 형태(belt-type)로 신체의 소정 부위에 탈착 또는 부착될 수 있는 것을 특징으로하는 신체 및 감정 상태 인식 장치.
삭제
제9 항에 있어서, 상기 제어부는

상기 센서부에서 검출된 생체 신호에 대한 적어도 하나 이상의 평균값을 상기 디지탈 신호 처리부에서 사전에 처리된 데이터로부터 산출하고, 상기 평균값과 저장한 적어도 하나 이상의 기준값의 차에 응답하여 상기 평균값 또는 상기 기준값을 선택하고, 선택된 상기 평균값 또는 상기 기준값을 상기 디지탈 신호 처리부에서 현재 처리된 데이타와 비교하여 상기 신체 및 상기 감정 상태를 인식하는 것을 특징으로 하는 신체 및 감정 상태 인식 장치.
(a) 신체로부터 검출한 적어도 하나 이상의 생체 신호를 아날로그 신호 처리하는 단계; 및

(b) 아날로그 신호 처리된 상기 생체 신호를 디지탈 신호 처리하고, 디지탈 신호 처리한 결과를 이용하여 상기 신체 및 감정 상태를 인식 및 표현하는 단계를 구비하고,

상기 (a) 단계는,

(a1) 상기 신체로부터 상기 생체 신호를 검출하는 단계;

(a2) 상기 검출된 아날로그 형태의 상기 생체 신호를 증폭 및 필터링하는 단계; 및

(a3) 상기 증폭 및 필터링된 아날로그 형태의 생체 신호를 디지탈 형태로 변환하는 단계를 구비하고,

상기 (b) 단계는,

(b1) 상기 디지탈 형태의 생체 신호를 데이터 처리하는 단계;

(b2) 상기 처리된 데이터로부터 상기 신체 및 감정 상태를 인식하는 단계; 및

(b3) 상기 처리된 데이타를 상기 인식 결과에 상응하여 사용자에게 제공하는 단계를 구비하고,

상기 (b2) 단계는

적어도 하나 이상의 기준값을 저장하는 단계; 및

상기 저장된 상기 기준값을 상기 (b1) 단계에서 처리된 데이터와 비교하고, 비교된 결과를 이용하여 상기 신체 및 상기 감정 상태를 인식하는 단계를 구비하는 것을 특징으로 하는 신체 및 감정 상태 인식 방법.
삭제
제12 항에 있어서, 상기 (a) 단계는 상기 (a3) 단계후에 상기 디지탈 형태의 생체 신호를 무선 신호로 변환하여 전송하는 단계를 더 구비하고, 상기 (b) 단계는 상기 무선 신호를 수신하여 상기 (b1) 단계로 진행하는 단계를 더 구비하는 것을 특징으로 하는 신체 및 감정 상태 인식방법.
삭제
제12 항에 있어서, 상기 (b2) 단계는

적어도 하나 이상의 기준값을 저장하는 단계;

상기 (a1) 단계에서 검출된 생체 신호에 대한 적어도 하나 이상의 평균값을 상기 (b1) 단계에서 사전에 처리된 데이터로부터 산출하는 단계;

상기 평균값과 상기 기준값의 차를 구하는 단계;

상기 차가 소정 허용 오차 보다 큰가를 판단하는 단계;

상기 차가 상기 소정 허용 오차보다 크다고 판단되면, 상기 평균값을 상기 (b1) 단계에서 처리된 데이타와 비교하여 상기 신체 및 상기 감정 상태를 인식하는 단계; 및

상기 차가 상기 소정 허용 오차보다 크지 않다고 판단되면, 상기 기준값을 상기 (b1) 단계에서 처리된 데이타와 비교하여 상기 신체 및 상기 감정 상태를 인식하는 단계를 구비하는 것을 특징으로 하는 신체 및 감정 상태 인식 방법.
(c) 소정 시간 동안 신체로부터 검출된 적어도 하나 이상의 생체 신호로부터 상기 신체의 특성을 나타내는 적어도 하나 이상의 생체 파라미터를 추출하는 단계; 및

(d) 추출된 상기 생체 파라미터의 변화 정도를 결정하고, 결정된 변화 정도를 기준으로 현재의 감정 상태를 상대적인 확률로서 결정하는 단계를 구비하고,

상기 생체 파라미터들 각각의 값은 상기 감정의 변화에 따라 변하는 것을 특징으로 하는 감정 상태 인식 방법.
제16 항에 있어서, 상기 (c) 단계는

상기 혈압에 대한 정보를 갖는 상기 생체 신호로부터 심전도의 주파수, 심장의 박동 횟수 및 호흡에 따른 심전도에 대한 상기 생체 파라미터들을 추출하고,

피부 온도 및 피부 저항에 대한 정보를 갖는 상기 생체 신호들로부터 피부 온도 및 피부 저항도에 대한 상기 생체 파라미터들을 추출하는 것을 특징으로 하는 감정 상태 인식 방법.
제17 항에 있어서, 상기 (d) 단계는

(d11) 상기 심장의 박동 횟수, 상기 피부 온도 및 상기 심전도의 주파수에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 기쁨인 것을 인식하는 단계;

(d12) 상기 심장의 박동 횟수 및 상기 심전도의 주파수에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 스트레스인 것을 인식하는 단계;

(d13) 상기 심장의 박동 횟수 및 상기 피부 온도에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 슬픔인 것을 인식하는 단계;

(d14) 상기 피부 온도 및 상기 피부 저항도에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 무료함인 것을 인식하는 단계; 및

(d15) 상기 피부 저항도 및 상기 심전도의 주파수에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 분노인 것을 인식하는 단계를 구비하고,

상기 소정 시간은 감정이 변화되었을 때, 변화된 감정이 상기 생체 신호로 표현되는 데 소요되는 최소 시간에 해당하는 것을 특징으로 하는 감정 상태 인식 방법.
제17 항에 있어서, 상기 (d) 단계는

(d21) 상기 피부 온도, 상기 피부 저항도, 상기 심전도의 주파수 및 상기 호흡에 따른 심전도에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 무료함인 것으로 인식하는 단계;

(d22) 상기 피부 저항도 및 상기 호흡에 따른 심전도에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 분노인 것으로 인식하는 단계;

(d23) 상기 심장의 박동 횟수, 상기 심전도의 주파수 및 상기 호흡률에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 기쁨인 것으로 인식하는 단계;

(d24) 상기 심장의 박동 횟수 및 상기 피부 저항도에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 슬픔인 것으로 인식하는 단계; 및

(d25) 상기 피부 저항도에 대한 상기 생체 파라미터들을 이용하여 상기 감정 상태가 스트레스인 것으로 인식하는 단계를 구비하고,

상기 소정 시간은 감정이 변화되었을 때, 변화된 감정이 상기 생체 신호로 표현되는 데 소요되는 최소 시간 보다 적어도 큰 것을 특징으로 하는 감정 상태 인식 방법.
제18 항 또는 제19 항에 있어서,

상기 심전도의 주파수에 대한 상기 생체 파라미터들은 상기 혈압에 대해 검출한 상기 생체 신호를 고속 푸리에 변환한 결과에서 저 및 고 주파수 범위에 속하는 전력 스펙트럼을 적분한 값을 나타내는 생체 파라미터들(LF 및 HF)과 상기 LF를 상기 HF로 제산한 값을 나타내는 생체 파라미터(LF/HF)에 해당하고,

상기 심장의 박동 횟수에 대한 상기 생체 파라미터들은 상기 신체의 혈압에 대한 포지티브 피크들 사이의 간격 평균값을 나타내는 생체 파라미터(RR)와 상기 단위 시간 동안 상기 심장이 박동하는 횟수를 나타내는 생체 파라미터(HR)에 해당하고,

상기 호흡에 따른 심전도에 대한 상기 생체 파라미터는 상기 혈압에 대한 포지티브 피크들 사이의 간격들중에서, 최대 간격으로부터 최소 간격을 감산한 결과를 상기 최소 간격으로 제산한 값을 나타내는 생체 파라미터(RSA)에 해당하고,

상기 피부 온도에 대한 상기 생체 파라미터는 피부 온도 평균값을 나타내는 생체 파라미터(SKT)에 해당하고,

상기 피부 저항도에 대한 상기 생체 파라미터는 피부 저항 역수값의 평균을 나타내는 생체 파라미터(SCL)와 상기 피부 저항 역수값을 표현하는 그래프에서 포지티브 제로 크로싱의 개수를 나타내는 생체 파라미터(N-SCR) 및 상기 포지티브 제로 크로싱으로부터 네가티브 제로 크로싱까지의 높이를 나타내는 생체 파라미터(SCRM)에 해당하는 것을 특징으로 하는 감정 상태 인식 방법.
제20 항에 있어서, 상기 소정 시간이 상기 최소 시간일 때 상기 (d11) 단계는,

(d111) HR값이 HR 임계값 이상만큼 감소되었는가를 판단하는 단계;

(d112) 상기 HR값이 상기 HR 임계값 이상만큼 감소되었다고 판단되면, 상기 SKT 값이 SKT 임계값 이상만큼 증가되었는가를 판단하는 단계;

(d113) 상기 SKT값이 상기 SKT 임계값 이상만큼 증가되었다고 판단되면, 상기 LF값이 LF 임계값 이상만큼 감소되었거나 상기 LF/HF값이 LF/HF 임계값 이상만큼 감소되었는가를 판단하는 단계;

(d114) 상기 LF값이 LF 임계값 이상만큼 감소되었거나 상기 LF/HF값이 LF/HF 임계값 이상만큼 감소되었다고 판단되면, 상기 감정 상태가 기쁨일 확률을 제1 소정 퍼센트로 결정하는 단계;

(d115) 상기 RR값이 RR 임계값 이상만큼 증가되었는가를 판단하고, 상기 RR값이 상기 RR 임계값 이상만큼 증가되지 않았다고 판단되면 상기 (d114)단계로 진행하는 단계; 및

(d116) 상기 RR값이 상기 RR 임계값 이상만큼 증가되었다고 판단되면, 상기 감정 상태가 기쁨일 확률을 상기 제1 소정 퍼센트보다 증가된 제2 소정 퍼센트로 결정하는 단계를 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제21 항에 있어서, 상기 (d12) 단계는

(d121) 상기 (d112) 단계에서 상기 SKT값이 상기 SKT 임계값 이상만큼 증가되지 않았다고 판단되면, 상기 LF값이 상기 LF 임계값 이상만큼 감소되었는가를 판단하는 단계; 및

(d122) 상기 LF값이 상기 LF 임계값 이상만큼 감소되었다고 판단되면, 상기 감정 상태가 스트레스일 확률을 상기 제2 소정 퍼센트로 결정하는 단계를 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제22 항에 있어서, 상기 (d13) 단계는

(d131) 상기 (d113) 단계에서 상기 LF값이 상기 LF 임계값 이상만큼 감소되지도 않고 상기 LF/HF값이 상기 LF/HF 임계값 이상만큼 감소되지 않은 것으로 판단되면, 상기 RR값이 상기 RR 임계값 이상만큼 증가되었는가를 판단하는 단계; 및

(d132) 상기 RR값이 상기 RR 임계값 이상만큼 증가되었다고 판단되면, 상기 감정 상태가 슬픔일 확률을 상기 제2 소정 퍼센트로 결정하는 단계를 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제23 항에 있어서, 상기 (d14) 단계는

(d141) 상기 (d111) 단계에서 상기 HR값이 상기 HR 임계값 이상만큼 감소되지 않았다고 판단되면, 상기 N-SCR값이 N-SCR 임계값 이상만큼 증가되고 상기 SCRM값이 SCRM 임계값 이상만큼 증가되었는가를 판단하는 단계;

(d142) 상기 N-SCR값이 N-SCR 임계값 이상만큼 증가되고 상기 SCRM값이 SCRM 임계값 이상만큼 증가되었다고 판단되면, 상기 SKT값이 SKT 임계값 이상만큼 증가되었는가를 판단하는 단계; 및

(d143) 상기 SKT 값이 상기 SKT 임계값 이상만큼 증가되었다고 판단되면, 상기 감정 상태가 무료함일 확률을 상기 제2 소정 퍼센트로 결정하는 단계를 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제24 항에 있어서, 상기 (d15) 단계는

(d151) 상기 (d142) 단계에서 상기 SKT값이 상기 SKT 임계값 이상만큼 증가되지 않았다고 판단되면, 상기 LF/HF값이 상기 LF/HF 임계값 이상만큼 감소되었는가를 판단하고, 상기 LF/HF값이 상기 LF/HF 임계값 이상만큼 감소되지 않았다고 판단되면 상기 (d142) 단계로 진행하는 단계;

(d152) 상기 LF/HF값이 상기 LF/HF 임계값 이상만큼 감소되었다고 판단되면, 상기 감정 상태가 분노일 확률을 상기 제1 소정 퍼센트로 결정하는 단계;

(d153) 상기 SCL값이 SCL 임계값 이상만큼 증가되었는가를 판단하고, 상기 SCL값이 상기 SCL 임계값 이상만큼 증가되지 않았다고 판단되면 상기 (d152) 단계로 진행하는 단계; 및

(d154) 상기 SCL값이 상기 SCL 임계값 이상만큼 증가되었다고 판단되면, 상기 감정 상태가 분노일 확률을 상기 제2 소정 퍼센트로 결정하는 단계를 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제25 항에 있어서, 상기 (d) 단계는

상기 (d121) 단계에서 상기 LF 값이 상기 LF 임계값 이상만큼 감소되지 않았다고 판단되거나, 또는 상기 (d141) 단계에서 상기 N-SCR값이 상기 N-SCR 임계값 이상만큼 증가되지 않았거나 상기 SCRM 값이 상기 SCRM 임계값 이상만큼 증가되지 않았다고 판단되거나, 상기 (d131) 단계에서 상기 RR 값이 상기 RR 임계값 이상만큼 증가되지 않았다고 판단되면, 상기 지배적인 감정 상태가 존재하지 않은 것으로 결정하는 단계를 더 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제20 항에 있어서, 상기 소정 시간이 상기 최소 시간 보다 적어도 클 때 상기 (d21) 단계는

(d211) 상기 RSA 값이 RSA 임계값 이상만큼 작고, 상기 SCL 값이 SCL 임계값 이상만큼 크고, 상기 SCRM 값이 SCRM 임계값 이상만큼 큰가를 판단하는 단계;

(d212) 상기 RSA 값이 상기 RSA 임계값 이상만큼 작고, 상기 SCL 값이 상기 SCL 임계값 이상만큼 크고, 상기 SCRM 값이 상기 SCRM 임계값 이상만큼 크다고 판단되면, 상기 N-SCR값이 N-SCR 임계값 이상만큼 큰가를 판단하는 단계;

(d213) 상기 N-SCR값이 상기 N-SCR 임계값 이상만큼 크다고 판단되면, 상기 SKT값이 SKT 임계값 이상만큼 큰가를 판단하는 단계;

(d214) 상기 SKT값이 상기 SKT 임계값 이상만큼 크다고 판단되면, 상기 감정 상태가 무료함일 확률을 제3 소정 퍼센트로서 결정하는 단계;

(d215) 상기 HF 값이 HF 임계값 이상만큼 작은가를 판단하여, 상기 HF 값이 상기 HF 임계값 이상만큼 작지 않다고 판단되면 상기 (d214) 단계로 진행하는 단계;

(d216) 상기 HF 값이 HF 임계값 이상만큼 작다고 판단되면, 상기 감정 상태가 무료함일 확률을 상기 제3 소정 퍼센트 보다 증가된 제4 소정 퍼센트로서 결정하는 단계;

(d217) 상기 LF 값이 LF 임계값 이상만큼 큰가를 판단하고, 상기 LF 값이 상기 LF 임계값 이상만큼 크지 않다고 판단되면 상기 (d216) 단계로 진행하는 단계; 및

(d218) 상기 LF 값이 상기 LF 임계값 이상만큼 크다고 판단되면, 상기 감정 상태가 무료함일 확률을 상기 제4 소정 퍼센트 보다 증가된 제5 소정 퍼센트로서 결정하는 단계를 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제27 항에 있어서, 상기 (d22) 단계는

(d221) 상기 (d212) 단계에서 상기 N-SCR 값이 상기 N-SCR 임계값 이상만큼 크지 않다고 판단되면, 상기 감정 상태가 분노일 확률을 상기 제5 소정 퍼센트로결정하는 단계; 및

(d222) 상기 (d213) 단계에서 상기 SKT 값이 상기 SKT 임계값 이상만큼 크다고 판단되면, 상기 감정 상태가 분노일 확률을 상기 제3 소정 퍼센트로 결정하는 단계를 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제28 항에 있어서, 상기 (d23) 단계는

(d231) 상기 (d211) 단계에서 상기 RSA 값이 상기 RSA 임계값 이상만큼 작지 않거나, 상기 SCL 값이 상기 SCL 임계값 이상만큼 크지 않거나, 상기 SCRM 값이 상기 SCRM 임계값 이상만큼 크지 않다고 판단되면, 상기 HR값이 HR 임계값 이상만큼 작은가를 판단하는 단계;

(d232) 상기 HR값이 상기 HR 임계값 이상만큼 작다고 판단되면, 상기 RESP 값이 RESP 임계값 이상만큼 큰가를 판단하는 단계;

(d233) 상기 RESP 값이 상기 RESP 임계값 이상만큼 크다고 판단되면, 상기 감정 상태가 기쁨일 확률을 상기 제3 소정 퍼센트로 결정하는 단계;

(d234) 상기 LF/HF 값이 LF/HF 임계값 이상만큼 작은가를 판단하고, 상기 LF/HF 값이 상기 LF/HF 임계값 이상만큼 작지 않다고 판단되면 상기 (d233) 단계로 진행하는 단계;

(d235) 상기 LF/HF 값이 상기 LF/HF 임계값 이상만큼 작다고 판단되면, 상기 감정 상태가 기쁨일 확률을 상기 제4 소정 퍼센트로 결정하는 단계;

(d236) 상기 LF 값이 상기 LF 임계값 이상만큼 작은가를 판단하고, 상기 LF값이 상기 LF 임계값 이상만큼 작지 않다고 판단되면 상기 (d235) 단계로 진행하는 단계; 및

(d237) 상기 LF 값이 상기 LF 임계값 이상만큼 작다고 판단되면, 상기 감정 상태가 기쁨일 확률을 상기 제5 소정 퍼센트로 결정하는 단계를 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제29 항에 있어서, 상기 (d24) 단계는

(d241) 상기 (d232) 단계에서 상기 RESP 값이 상기 RESP 임계값 이상만큼 크지 않다고 판단되면, 상기 SCL 값이 상기 SCL 임계값 이상만큼 작은가를 판단하는 단계; 및

(d242) 상기 SCL 값이 상기 SCL 임계값 이상만큼 작다고 판단되면, 상기 감정 상태가 슬픔일 확률을 상기 제5 소정 퍼센트로 결정하는 단계를 구비하는 것을 특징으로 하는 감정 상태 인식 방법.
제30 항에 있어서, 상기 (d25) 단계는

(d251) 상기 (d231) 단계에서 상기 HR 값이 상기 HR 임계값 이상만큼 작지 않다고 판단되면, 상기 N-SCR 값이 상기 N-SCR 임계값 이상만큼 큰가를 판단하는 단계; 및

(d252) 상기 N-SCR 값이 상기 N-SCR 임계값 이상만큼 크다고 판단되면, 상기 감정 상태가 스트레스일 확률을 상기 제4 소정 퍼센트로 결정하는 단계를 구비하는것을 특징으로 하는 감정 상태 인식 방법.
제31 항에 있어서, 상기 (d) 단계는

상기 (d241) 단계에서 상기 SCL값이 상기 SCL 임계값 이상만큼 작지 않다고 판단되거나, 또는 상기 (d251) 단계에서 상기 N-SCR 값이 상기 N-SCR 임계값 이상만큼 크지 않다고 판단되면, 상기 지배적인 감정 상태가 존재하지 않은 것으로 결정하는 단계를 더 구비하는 것을 특징으로 하는 감정 상태 인식 방법.