KR20140073294A - 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법 - Google Patents

심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법 Download PDF

Info

Publication number
KR20140073294A
KR20140073294A KR1020120141373A KR20120141373A KR20140073294A KR 20140073294 A KR20140073294 A KR 20140073294A KR 1020120141373 A KR1020120141373 A KR 1020120141373A KR 20120141373 A KR20120141373 A KR 20120141373A KR 20140073294 A KR20140073294 A KR 20140073294A
Authority
KR
South Korea
Prior art keywords
emotion
input signal
user
heart rate
input
Prior art date
Application number
KR1020120141373A
Other languages
English (en)
Inventor
준 조
신현순
이용귀
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120141373A priority Critical patent/KR20140073294A/ko
Priority to US14/017,985 priority patent/US8932229B2/en
Publication of KR20140073294A publication Critical patent/KR20140073294A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법이 개시된다. 본 발명의 일 실시 예에 따른 감성 인식장치는 복수 개의 심장 박동수 데이터를 입력받아 이로부터 수열을 갖는 입력신호를 생성하는 입력신호 생성부와, 입력신호들을 그룹화하여 분류하는 신호 분류부와, 신호 분류부에서 분류된 그룹들 중에서 입력신호 생성부에서 생성된 입력신호가 속하는 그룹을 검색하고, 검색된 그룹에 해당하는 사용자 감성을 인식하는 감성 인식부를 포함한다.

Description

심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법 {Apparatus and method for real-time emotion recognition using pulse rate change}
본 발명은 생체정보 감지기술에 관한 것으로, 보다 상세하게는 사용자의 심장 박동수 변화를 이용해 실시간으로 사용자의 감성상태를 인식하는 기술에 관한 것이다.
인간의 감성을 과학적으로 측정하고자 하는 시도는 오랜 세월 계속되어 왔으며, 특히 최근 감성에 대한 관심이 높아지면서 인간의 감성을 활용한 각종 서비스나 제품이 선보이고 있다. 그러나 실제로 활용 가능한 감성 측정방법은 아직도 연구가 필요한 부분이 많고, 특히 모바일 환경이 일반화된 현대 시장에 적합한 감성인식 기술은 미비한 실정이다. 현재까지 알려진 인간의 감성 혹은 감정 인식방법은 뇌파나 심박 변이도(Heart Rate Variability) 등 생체신호를 이용하는 방법과 음성, 얼굴 표정 등을 이용하는 방법으로 나눌 수 있다.
음성을 이용하는 방법은 대상이 말을 하여 음성을 입력하는 상황에만 활용 가능하고 주변 잡음 등에 영향을 받기 때문에 감성인식보다는 언어의 의미파악을 통한 음성 명령어 입력기술이 주로 연구 및 활용되고 있다. 얼굴 표정 인식은 대상이 마주보게 되는 카메라의 존재가 필수적이어서 활용 가능한 상황이 한정될 뿐만 아니라 인위적으로 얼굴 표정을 변경할 수 있어 정확한 감성 인식이 힘들다.
생체신호를 활용한 감성인식 방법은 아직 명확한 인식 방법이 개발되지 못한 상황이며, 특히 뇌파는 측정이 까다로워 이동환경에서의 활용에 어려움이 있다. 심박 변이도는 최근 휴대용 심전도 측정장치 등이 개발되어 제품화되는 등 이동환경에서의 측정이 용이해진 점이 있지만, 이를 활용한 감성인식 방법은 연구가 더 필요한 상황이다.
일 실시 예에 따라, 심장 박동수의 측정을 통해 인간의 감성을 인식하는 서비스를 제공함에 있어서 심장 박동수의 변화를 효과적으로 분류하고 활용하기 위한 감성 인식장치 및 그 방법을 제안한다.
일 실시 예에 따른 감성 인식장치는, 복수 개의 심장 박동수 데이터를 입력받아 이로부터 수열을 갖는 입력신호를 생성하는 입력신호 생성부와, 입력신호들을 그룹화하여 분류하는 신호 분류부와, 신호 분류부에서 분류된 그룹들 중에서 입력신호 생성부에서 생성된 입력신호가 속하는 그룹을 검색하고, 검색된 그룹에 해당하는 사용자 감성을 인식하는 감성 인식부를 포함한다.
입력신호 생성부는 심장 박동수 데이터를 미리 설정된 횟수만큼 연속으로 입력받아 이를 하나의 입력신호로 처리할 수 있다. 이때, 입력신호 생성부는 현재 입력받은 심장 박동수가 이전에 입력받은 심장 박동수보다 증가하였는지를 확인하여, 증감 여부를 이진 형태의 수열을 갖는 입력신호로 표현할 수 있다.
신호 분류부는 시계열 데이터 분류를 통해 입력신호를 분류할 수 있다. 이때, 신호 분류부는 입력신호에 대한 근사 엔트로피 값을 계산하여 동일한 근사 엔트로피 값을 갖는 입력신호들끼리를 그룹화할 수 있다. 신호 분류부는 입력신호들을 그룹 별로 분류한 맵핑 테이블을 생성하여 저장할 수 있다.
감성 인식부는 확률과 랜덤함수를 이용하여 감성을 인식할 수 있다. 이때, 감성 인식부는 신호 분류부에서 분류된 그룹 별로 사용자의 실제 감성과 일치할 확률을 파라미터 값으로 미리 설정하고, 랜덤함수를 통해 랜덤 값을 생성한 이후, 검색된 그룹의 파라미터 값과 랜덤함수를 통해 생성된 랜덤 값을 비교하여 비교 결과에 따라 사용자의 감성을 인식할 수 있다. 감성 인식부는 신호 분류부에서 분류된 그룹 별로 사용자의 실제 감성과 일치할 확률을 나타내는 파라미터 값을 사용자의 피드백을 반영하여 보정할 수 있다.
나아가, 감성 인식장치는 감성 인식부를 통해 인식된 감성에 대한 사용자의 피드백을 입력받아 감성 인식부의 감성 인식에 반영하는 사용자 입력부를 더 포함할 수 있다. 감성 인식장치는 사용자의 심장 박동수를 센싱하여 입력신호 생성부에 전송하는 심장 박동수 센싱부를 더 포함할 수 있다. 감성 인식장치는 모바일 단말에 위치할 수 있다.
다른 실시 예에 따른 감성 인식방법은, 복수의 심장 박동수 데이터로부터 수열을 갖는 입력신호를 생성하는 단계와, 입력신호들을 그룹화하여 분류한 맵핑 테이블에서 생성된 입력신호가 속하는 그룹을 검색하는 단계와, 검색된 그룹에 해당하는 사용자 감성을 인식하는 단계를 포함한다.
일 실시 예에 따르면, 심장 박동수의 변화를 이용하여 사용자의 감성 상태를 분류함으로써 간편하게 사용자의 감성을 인식할 수 있다. 또한, 심장 박동수의 변화를 수열로 변환함에 있어서 여러 가지 옵션을 제공하여 사용자 상태 분류의 정확도를 조절할 수 있으며, 아울러 감성인식에 필요한 연산량이나 메모리 사용량을 필요에 따라 조절할 수 있다.
나아가, 심장 박동수의 변화로 생성된 입력신호의 분류와 감성의 종류를 맵핑함에 있어서 사용자 별 개인화가 가능하며, 이렇게 구현된 감성 인식기능은 다른 장치나 환경에서 동일하게 활용 가능하여 장치 이동성 및 확장성을 가진다.
도 1은 본 발명의 일 실시 예에 따라 심장 박동수 변화를 이용한 감성 인식장치의 구성도,
도 2a 및 도 2b는 본 발명의 다양한 실시 예에 따라 도 1의 입력신호 생성부의 입력신호 생성 예들을 도시한 참조도,
도 3은 본 발명의 일 실시 예에 따라 도 1의 신호 분류부의 근사 엔트로피를 이용한 신호 분류 예를 도시한 참조도,
도 4는 본 발명의 일 실시 예에 따라 도 1의 감성 인식부의 사용자 감성 인식 예를 도시한 참조도,
도 5는 본 발명의 일 실시 예에 따른 감성 인식장치를 이용한 감성 인식방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따라 심장 박동수 변화를 이용한 감성 인식장치(1)의 구성도이다.
도 1을 참조하면, 감성 인식장치(1)는 입력신호 생성부(10), 신호 분류부(11) 및 감성 인식부(12)를 포함하며, 사용자 입력부(13)와 심장 박동수 센싱부(14)를 더 포함할 수 있다.
감성 인식장치(1)는 피측정자인 사용자의 심장 박동수 데이터를 실시간으로 입력받아 이로부터 사용자의 감성을 인식하는 장치이다. 특히, 감성 인식장치(1)는 사용자가 휴대 가능한 모바일 단말 형태이거나 모바일 단말에 내장되거나 프로그램화된 형태일 수 있다.
감성 인식장치(1)의 입력신호 생성부(10)는 복수의 심장 박동수 데이터를 입력받고, 입력받은 심장 박동수 데이터로부터 일련의 수열을 갖는 입력신호를 생성한다. 심장 박동수 데이터는 사용자로부터 심장 박동수를 센싱하는 심장 박동수 센싱부(14)에서 전송받을 수 있다.
입력신호 생성부(10)는 심장 박동수 데이터를 미리 설정된 횟수만큼 연속으로 입력받아 이를 하나의 입력신호로 처리할 수 있다. 예를 들어, 연속해서 8회까지 심장 박동수 데이터를 입력받아 이를 하나의 입력신호로 처리할 수 있다.
일 실시 예에 따르면 입력신호 생성부(10)는 연속으로 입력받은 심장 박동수 데이터를 대상으로 특이한 가공 없이 단순히 심장 박동수 데이터를 나열한 수열을 갖는 입력신호를 생성한다. 이에 대한 실시 예는 도 2a에서 후술한다.
다른 실시 예에 따르면 입력신호 생성부(10)는 현재 입력받은 심장 박동수가 이전에 입력받은 심장 박동수보다 증가하였는지를 확인하여, 증감 여부를 이진(binary) 형태의 수열을 갖는 입력신호로 표현한다. 이에 대한 실시 예는 도 2b에서 후술한다.
입력신호 생성부(10)의 수열 생성 방법에 따라 신호 분류부(11)의 복잡도 및 분류 성능이 결정되므로, 입력신호 생성부(10)를 설계함에 있어서 적용 대상이 되는 시스템의 허용 가능한 연산성능이나 메모리 보유량을 잘 고려할 필요가 있다. 또한 입력신호의 길이에 따라 한 번의 감성인식에 사용되는 심장 박동수의 샘플 수가 변화되어 입력이 주어졌을 때 감성인식 결과가 나오기까지의 소요시간에도 영향을 주므로, 입력신호 생성부(10)를 시스템에 적합하게 설계하는 것이 바람직하다.
신호 분류부(11)는 입력신호들을 그룹화하여 분류한다. 구체적으로, 신호 분류부(11)는 입력신호 생성부(10)에서 생성된 일정한 길이의 수열을 갖는 입력신호를 의미 있게 분류하는데, 일 실시 예에 따라 입력신호를 구성하는 성분인 심장 박동수의 변화가 일종의 시계열 데이터이므로 시계열 데이터의 통계적 분류법의 하나인 근사 엔트로피(Approximate Entropy: 이하 ApEn라 칭함)를 사용하여 분류하는 방법을 사용한다. ApEn에 대한 실시 예는 도 3에서 후술한다. 한편, ApEn을 이용한 신호 분류방법은 본 발명의 이해를 돕기 위한 일 실시 예일 뿐 다양한 신호 분류방법이 사용될 수 있다.
감성 인식부(12)는 신호 분류부(11)에서 분류된 그룹들 중에서 입력신호 생성부(10)에서 생성된 입력신호가 속하는 그룹을 검색하여, 검색된 그룹에 해당하는 감성을 인식한다. 그리고, 감성 인식결과를 사용자에게 제공할 수 있다. 구체적으로, 감성 인식부(12)는 신호 분류부(11)에서 분류된 각 그룹을 사전에 정의한 감성의 종류 중 하나에 맵핑한다. 예를 들어 신호 분류부(11)가 입력신호를 총 17종의 그룹으로 분류하고, 감성 인식장치(1)가 인식하고자 하는 감성이 기쁨과 슬픔 2종류라고 한정하면, 감성 인식부(12)는 17종의 신호분류 그룹 각각에 대해서 기쁨과 슬픔 중 하나를 결정하여 맵핑한다.
추가 실시 예에 따라, 감성 인식부(12)는 입력신호와 감성 간의 맵핑을 효과적으로 수행하기 위해, 본 발명은 사용자의 피드백을 반영하여 맵핑 테이블을 업데이트한다. 이는 감성 인식부(12)와 사용자 입력부(13)의 연동으로 가능하다. 즉, 감성 인식부(12)는 인식된 감성상태를 사용자에게 제공하여 인식 결과를 알려주면, 사용자 입력부(13)를 통해 사용자로부터 사용자 피드백, 즉 올바른 결과를 제공하였는지 아닌지를 입력받아, 맵핑 테이블을 업데이트한다. 이에 대한 실시 예는 도 4에서 후술한다.
사용자 입력부(13)는 감성 인식부(12)에서 인식 결과 제공에 따라 사용자 응답을 감성 인식부(12)에 전달한다. 예를 들어, 사용자는 감성 인식부(12)를 통해 인식된 사용자 감성이 올바른 결과라면 긍정의 대답을, 틀린 결과라면 부정의 대답을 줄 수 있다. 나아가 사용자의 긍정 혹은 부정의 대답을 수치화하여 제공할 수도 있다.
도 2a 및 도 2b는 본 발명의 다양한 실시 예에 따라 도 1의 입력신호 생성부(10)의 입력신호 생성 예들을 도시한 참조도이다.
도 2a를 참조하면, 일 실시 예에 따라 입력신호 생성부(10)는 연속해서 심장 박동수 데이터 {79, 75, 88, 72, 77, 70, 69, 73, 71, 75, …}를 입력받는다고 가정하면, 연속으로 입력받은 심장 박동수 데이터를 대상으로 미리 설정된 횟수, 예를 들어 8회까지의 심장 박동수 데이터들을 특이한 가공 없이 단순히 나열한 수열을 갖는 입력신호 {79 75 88 72 77 70 69 73}을 생성한다.
도 2b를 참조하면, 입력신호 생성부(10)는 현재 입력받은 심장 박동수가 이전에 입력받은 심장 박동수보다 증가하였는지를 확인하여, 증감 여부를 이진 형태의 수열을 갖는 입력신호로 표현한다. 예를 들어, 도 2b에 도시된 바와 같이 연속해서 심장 박동수 데이터 {79, 75, 88, 72, 77, 70, 69, 73, 71, 75, …}를 입력받는다고 가정하면, 입력받은 심장 박동수 데이터들을 대상으로, 심장 박동수의 감소를 0으로 표현(210)하고, 증가를 1로 표현(220)한 이진(binary) 형태의 수열을 갖는 데이터 수열(230)을 생성한다. 이어서, 데이터 수열(230)이 미리 설정된 데이터 길이, 예를 들어 8을 만족하는지를 판단(240)하여, 만족하는 경우, 최종적으로 {10101001} 형태의 입력신호(250)를 생성한다.
도 3은 본 발명의 일 실시 예에 따라 도 1의 신호 분류부(11)의 ApEn를 이용한 신호 분류 예를 도시한 참조도이다.
도 3을 참조하면, ApEn은 S. M. Pincus가 1991년 제안한 것으로 주어진 시계열 데이터의 변화 자유도를 수치화하는 방법이다. ApEn은 다음과 같은 식으로 계산할 수 있다.
STEP 1: 총
Figure pat00001
개로 이루어진 시계열 데이터 u(1), u(2), …, u(N)을 획득한다.
STEP 2: 한번에 비교하고자 하는 데이터의 길이인 정수 m, 필터링 계수인 실수 r을 상황에 맞게 설정한다.
STEP 3: 주어진 시계열 데이터에서 x(i)=[u(i), u(i+1), …, u(i+m-1)]와 같이 정의되는
Figure pat00002
차원의 벡터 x(1), x(2), …, x(N-m+1)를 추출한다.
STEP 4: 1≤i≤N-m+1을 만족하는 모든
Figure pat00003
에 대해서
Figure pat00004
을 구한다.
이때
Figure pat00005
로 정의된다.
STEP 5:
Figure pat00006
이라 할 때,
시계열 데이터 u(1), u(2), …, u(N의 ApEn값은 다음과 같이 계산된다.
Figure pat00007
ApEn의 정의에 따라 입력신호의 형태는 서로 다르더라도 각 입력신호의 계산된 ApEn 값이 동일하다면, 심장 박동수의 변화 자유도가 동일, 즉 변화 패턴이 유사하다고 볼 수 있으므로, 신호 분류부(11)는 ApEn이 동일한 신호들을 동일한 상태로 분류할 수 있다. 예를 들어 입력신호가 0과 1로 구성되고 길이가 8인 수열로 정의된다면, 입력신호의 가능한 경우의 수는 2의 8승인 256가지가 되며, 이 경우 각 입력신호에 대한 ApEn를 계산하여 동일한 ApEn값을 가지는 입력신호들이 하나의 그룹이 되도록 분류하면 m=1, r=1인 경우 총 17개의 그룹으로 분류할 수 있다. 즉 256개의 입력패턴을 17개의 그룹으로 단순화할 수 있는 것이다. 이 예시의 자세한 결과는 도 3에 도시한 바와 같다. 이러한 분류 방법은 실제 시스템에 적용할 때, 입력신호의 형태에 따라 모든 가능한 입력신호에 대한 ApEn을 사전에 계산해 둠으로써 맵핑 테이블화하여 적용할 수 있게 하며, 이는 실시간 처리 시스템을 구성하는데 큰 이점이 된다.
도 4는 본 발명의 일 실시 예에 따라 도 1의 감성 인식부(12)의 사용자 감성 인식 예를 도시한 참조도이다.
도 4를 참조하면, 감성 인식부(12)는 신호 분류부(11)에서 분류된 그룹 별로 사용자의 실제 감성과 일치할 확률을 파라미터 값으로 미리 설정한다. 예를 들어, 도 4에 도시된 바와 같이 그룹 6은 파라미터 값으로 p6 = 0.3을 가지고 있다. 이는 그룹 6에 해당하는 생체신호 패턴이 입력된 경우 사용자가 기쁨일 확률은 0.7이고 반대로 슬픔일 확률은 0.3임을 의미한다.
이어서, 감성 인식부(12)는 랜덤함수 rand()를 통해 랜덤 값을 생성한다(400). 예를 들어, 랜덤함수 Rand(0,1)는 0~1 사이에서 랜덤 값을 생성하는 함수이다.
이어서, 감성 인식부(12)는 검색된 그룹에 해당하는 파라미터 값과 랜덤함수 Rand(0,1)을 통해 생성된 랜덤 값을 비교(410)하여 비교 결과를 통해 사용자의 감성을 인식한다. 예를 들어, 도 4에 도시된 바와 같이 랜덤함수 Rand(0,1)의 결과로 생성된 값이 0.5라면 Rand(0,1)=0.5 > 0.3=p6 인 경우가 되므로 사용자의 감성상태는 기쁨으로 인식되며, 그 반대의 경우는 슬픔으로 인식된다(420).
이어서, p6 = 0.3으로 결정된 파라미터 값은 사용자의 피드백에 따라서 다시 다른 값으로 업데이트 될 수 있다(440). 즉, 기쁨으로 인식된 결과를 사용자에게 제공하고 사용자로부터 옳다는 피드백을 수신하였다면 미리 정해준 기준 값, 예를 드어 0.1만큼 p6를 감소시켜 p6 = 0.2로 업데이트 하고 그 결과 그룹 6이 기쁨으로 인지될 확률은 더 높아지게 된다.
도 5는 본 발명의 일 실시 예에 따른 감성 인식장치를 이용한 감성 인식방법을 도시한 흐름도이다.
도 5를 참조하면, 감성 인식장치는 복수의 심장 박동수 데이터로부터 수열을 갖는 입력신호를 생성한다(500). 일 실시 예에 따라 입력신호 생성 단계(500)에서 감성 인식장치는 심장 박동수 데이터를 연속으로 입력받고, 현재 입력받은 심장 박동수가 이전에 입력받은 심장 박동수보다 증가하였는지를 확인하여, 증감 여부를 이진 형태의 수열을 갖는 입력신호로 표현한다.
이어서, 감성 인식장치는 입력신호들을 그룹화하여 분류한 맵핑 테이블에서 생성된 입력신호가 속하는 그룹을 검색한다(510). 일 실시 예에 따라, 그룹 검색 단계(510)에서 감성 인식장치가 검색하는 맵핑 테이블은 입력신호에 대한 ApEn을 계산하여 동일한 근사 엔트로피 값을 갖는 입력신호들끼리를 그룹화한 정보이다.
이어서, 감성 인식장치는 검색된 그룹에 해당하는 사용자 감성을 인식한다(520). 일 실시 예에 따라 감성 인식단계(520)에서, 감성 인식장치는 분류된 그룹 별로 사용자의 실제 감성과 일치할 확률을 파라미터 값으로 미리 설정하고, 랜덤함수를 통해 랜덤 값을 생성하며, 검색된 그룹의 파라미터 값과 랜덤함수를 통해 생성된 랜덤 값을 비교하여 비교 결과에 따라 사용자의 감성을 인식한다.
나아가, 감성 인식장치는 인식된 감성에 대한 사용자의 피드백을 입력받아 감성 인식에 반영할 수 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1 : 감성 인식장치 10 : 입력신호 생성부
11 : 신호 분류부 12 : 감성 인식부
13 : 사용자 입력부 14 : 심장 박동수 센싱부

Claims (18)

  1. 복수 개의 심장 박동수 데이터를 입력받아 이로부터 수열을 갖는 입력신호를 생성하는 입력신호 생성부;
    입력신호들을 그룹화하여 분류하는 신호 분류부; 및
    상기 신호 분류부에서 분류된 그룹들 중에서 상기 입력신호 생성부에서 생성된 입력신호가 속하는 그룹을 검색하고, 검색된 그룹에 해당하는 사용자 감성을 인식하는 감성 인식부;
    를 포함하는 것을 특징으로 하는 감성 인식장치.
  2. 제 1 항에 있어서, 상기 입력신호 생성부는,
    심장 박동수 데이터를 미리 설정된 횟수만큼 연속으로 입력받아 이를 하나의 입력신호로 처리하는 것을 특징으로 하는 감성 인식장치.
  3. 제 2 항에 있어서, 상기 입력신호 생성부는,
    현재 입력받은 심장 박동수가 이전에 입력받은 심장 박동수보다 증가하였는지를 확인하여, 증감 여부를 이진 형태의 수열을 갖는 입력신호로 표현하는 것을 특징으로 하는 감성 인식장치.
  4. 제 1 항에 있어서, 상기 신호 분류부는,
    시계열 데이터 분류를 통해 입력신호를 분류하는 것을 특징으로 하는 감성 인식장치.
  5. 제 4 항에 있어서, 상기 신호 분류부는,
    입력신호에 대한 근사 엔트로피 값을 계산하여 동일한 근사 엔트로피 값을 갖는 입력신호들끼리를 그룹화하는 것을 특징으로 하는 감성 인식장치.
  6. 제 1 항에 있어서, 상기 신호 분류부는,
    입력신호들을 그룹 별로 분류한 맵핑 테이블을 생성하여 저장하는 것을 특징으로 하는 감성 인식장치.
  7. 제 1 항에 있어서, 상기 감성 인식부는,
    확률과 랜덤함수를 이용하여 감성을 인식하는 것을 특징으로 하는 감성 인식장치.
  8. 제 7 항에 있어서, 상기 감성 인식부는,
    상기 신호 분류부에서 분류된 그룹 별로 사용자의 실제 감성과 일치할 확률을 파라미터 값으로 미리 설정하고, 랜덤함수를 통해 랜덤 값을 생성한 이후, 상기검색된 그룹의 파라미터 값과 랜덤함수를 통해 생성된 랜덤 값을 비교하여 비교 결과에 따라 사용자의 감성을 인식하는 것을 특징으로 하는 감성 인식장치.
  9. 제 8 항에 있어서, 상기 감성 인식부는,
    상기 신호 분류부에서 분류된 그룹 별로 사용자의 실제 감성과 일치할 확률을 나타내는 파라미터 값을 사용자의 피드백을 반영하여 보정하는 것을 특징으로 하는 감성 인식장치.
  10. 제 1 항에 있어서,
    상기 감성 인식부를 통해 인식된 감성에 대한 사용자의 피드백을 입력받아 상기 감성 인식부의 감성 인식에 반영하는 사용자 입력부;
    를 더 포함하는 것을 특징으로 하는 감성 인식장치.
  11. 제 1 항에 있어서,
    사용자의 심장 박동수를 센싱하여 상기 입력신호 생성부에 전송하는 심장 박동수 센싱부;
    를 더 포함하는 것을 특징으로 하는 감성 인식장치.
  12. 제 1 항에 있어서,
    상기 감성 인식장치는 모바일 단말에 위치하는 것을 특징으로 하는 감성 인식장치.
  13. 감성 인식장치를 이용한 감성 인식방법에 있어서,
    복수의 심장 박동수 데이터로부터 수열을 갖는 입력신호를 생성하는 단계;
    입력신호들을 그룹화하여 분류한 맵핑 테이블에서 상기 생성된 입력신호가 속하는 그룹을 검색하는 단계; 및
    상기 검색된 그룹에 해당하는 사용자 감성을 인식하는 단계;
    를 포함하는 것을 특징으로 하는 감성 인식방법.
  14. 제 13 항에 있어서, 상기 입력신호를 생성하는 단계는,
    심장 박동수 데이터를 연속으로 입력받는 단계; 및
    현재 입력받은 심장 박동수가 이전에 입력받은 심장 박동수보다 증가하였는지를 확인하여, 증감 여부를 이진 형태의 수열을 갖는 입력신호로 표현하는 단계;
    를 포함하는 것을 특징으로 하는 감성 인식방법.
  15. 제 13 항에 있어서,
    상기 그룹을 검색하는 단계에서 검색하는 맵핑 테이블은 입력신호에 대한 근사 엔트로피 값을 계산하여 동일한 근사 엔트로피 값을 갖는 입력신호들끼리를 그룹화한 정보인 것을 특징으로 하는 감성 인식방법.
  16. 제 13 항에 있어서, 상기 감성을 인식하는 단계는,
    분류된 그룹 별로 사용자의 실제 감성과 일치할 확률을 파라미터 값으로 미리 설정하는 단계;
    랜덤함수를 통해 랜덤 값을 생성하는 단계; 및
    상기 검색된 그룹의 파라미터 값과 랜덤함수를 통해 생성된 랜덤 값을 비교하여 비교 결과에 따라 사용자의 감성을 인식하는 단계;
    를 포함하는 것을 특징으로 하는 감성 인식방법.
  17. 제 16 항에 있어서, 상기 감성을 인식하는 단계는,
    분류된 그룹 별로 사용자의 감성과 일치할 확률을 나타내는 파라미터 값을 사용자의 피드백을 반영하여 보정하는 단계;
    를 더 포함하는 것을 특징으로 하는 감성 인식방법.
  18. 제 13 항에 있어서,
    상기 인식된 감성에 대한 사용자의 피드백을 입력받아 감성 인식에 반영하는 단계;
    를 더 포함하는 것을 특징으로 하는 감성 인식방법.
KR1020120141373A 2012-12-06 2012-12-06 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법 KR20140073294A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120141373A KR20140073294A (ko) 2012-12-06 2012-12-06 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법
US14/017,985 US8932229B2 (en) 2012-12-06 2013-09-04 Apparatus and method for real-time emotion recognition using heart rate variability

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120141373A KR20140073294A (ko) 2012-12-06 2012-12-06 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20140073294A true KR20140073294A (ko) 2014-06-16

Family

ID=50881861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120141373A KR20140073294A (ko) 2012-12-06 2012-12-06 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법

Country Status (2)

Country Link
US (1) US8932229B2 (ko)
KR (1) KR20140073294A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135158A (ko) * 2018-05-28 2019-12-06 삼성에스디에스 주식회사 데이터 엔트로피 기반의 데이터 프로세싱 방법
KR20210056627A (ko) 2019-11-11 2021-05-20 주식회사 비라이프 실시간 심박수 모니터링 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201407018YA (en) * 2014-10-28 2016-05-30 Chee Seng Keith Lim System and method for processing heartbeat information
US11215814B2 (en) 2018-08-24 2022-01-04 Amo Development, Llc Detection of optical surface of patient interface for ophthalmic laser applications using a non-confocal configuration
KR102569000B1 (ko) 2019-01-16 2023-08-23 한국전자통신연구원 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5191524A (en) * 1989-09-08 1993-03-02 Pincus Steven M Approximate entropy
KR100464821B1 (ko) 2001-10-23 2005-01-17 임좌상 생리신호를 이용한 감성평가방법
KR100397188B1 (ko) 2002-10-21 2003-09-13 한국표준과학연구원 실시간 종합 감성 평가 방법 및 그 시스템
KR100493714B1 (ko) 2004-11-26 2005-06-02 주식회사 메디코아 자율신경 검사장치
WO2007123923A2 (en) * 2006-04-18 2007-11-01 Susan Mirow Method and apparatus for analysis of psychiatric and physical conditions
US9833184B2 (en) * 2006-10-27 2017-12-05 Adidas Ag Identification of emotional states using physiological responses
US20120071785A1 (en) * 2009-02-27 2012-03-22 Forbes David L Methods and systems for assessing psychological characteristics
KR101115524B1 (ko) 2009-12-30 2012-02-27 전자부품연구원 생체신호를 이용한 모바일 단말기의 감성 추론 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190135158A (ko) * 2018-05-28 2019-12-06 삼성에스디에스 주식회사 데이터 엔트로피 기반의 데이터 프로세싱 방법
KR20210056627A (ko) 2019-11-11 2021-05-20 주식회사 비라이프 실시간 심박수 모니터링 시스템

Also Published As

Publication number Publication date
US8932229B2 (en) 2015-01-13
US20140163891A1 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
CN111027487B (zh) 基于多卷积核残差网络的行为识别系统、方法、介质及设备
US10403282B2 (en) Method and apparatus for providing voice service
KR101605078B1 (ko) 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체
WO2018070935A1 (en) Determining sleep stages
KR20170091963A (ko) 근전도 신호를 이용한 동작 분류 방법 및 장치
US20210397954A1 (en) Training device and training method
JP5520886B2 (ja) 行動モデル学習装置、方法、及びプログラム
KR20140073294A (ko) 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법
CN112200016A (zh) 基于集成学习方法AdaBoost的脑电信号情感识别
KR20120052610A (ko) 신경망 학습을 통한 동작 인식 방법 및 장치
KR20210052036A (ko) 복수 의도어 획득을 위한 합성곱 신경망을 가진 장치 및 그 방법
Alshamsi et al. Automated facial expression and speech emotion recognition app development on smart phones using cloud computing
KR20200126675A (ko) 전자 장치 및 이의 제어 방법
KR20210155401A (ko) 인공 지능을 이용하여, 합성 음성의 품질을 평가하는 음성 합성 장치 및 그의 동작 방법
CN114469120B (zh) 一种基于相似度阈值迁移的多尺度Dtw-BiLstm-Gan心电信号生成方法
CN112418059A (zh) 一种情绪识别的方法、装置、计算机设备及存储介质
CN110443113A (zh) 一种虚拟现实书写方法、系统和存储介质
CN115273236A (zh) 一种多模态的人体步态情感识别方法
KR20210023170A (ko) Ppg신호를 이용한 딥러닝 기반의 감정인식 시스템 및 감정인식 방법
CN114091529A (zh) 一种基于生成对抗网络数据增强的脑电情感识别方法
Schafer et al. Noise-robust speech recognition through auditory feature detection and spike sequence decoding
KR20230170466A (ko) 딥러닝 모델을 이용하여 뇌파 기준으로 시각 객체를 분류하는 방법 및 분석장치
CN114495292A (zh) 身份识别方法、装置、设备及可读存储介质
US11646021B2 (en) Apparatus for voice-age adjusting an input voice signal according to a desired age
KR20220005945A (ko) 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid