KR101524918B1 - 생체 신호를 이용한 감정 인식 방법 및 그 장치 - Google Patents

생체 신호를 이용한 감정 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR101524918B1
KR101524918B1 KR1020130080491A KR20130080491A KR101524918B1 KR 101524918 B1 KR101524918 B1 KR 101524918B1 KR 1020130080491 A KR1020130080491 A KR 1020130080491A KR 20130080491 A KR20130080491 A KR 20130080491A KR 101524918 B1 KR101524918 B1 KR 101524918B1
Authority
KR
South Korea
Prior art keywords
bio
signal
emotion
feature information
calculating
Prior art date
Application number
KR1020130080491A
Other languages
English (en)
Other versions
KR20150006949A (ko
Inventor
심귀보
마카라 완니
박승민
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020130080491A priority Critical patent/KR101524918B1/ko
Publication of KR20150006949A publication Critical patent/KR20150006949A/ko
Application granted granted Critical
Publication of KR101524918B1 publication Critical patent/KR101524918B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

생체 정보를 이용한 감정 분류 방법 및 그 장치가 개시된다. 생체 정보를 이용한 감정 분류 방법은 사용자의 생체 신호를 측정하는 단계; 상기 측정된 생체 신호를 이용하여 특징 정보를 계산하는 단계; 상기 특징 정보를 SVM(support vector machine)에 적용하여 각 클래스 패턴(class pattern)으로 분류하는 단계; 상기 분류된 클래스 패턴간 초평면(hyperplane)에서의 거리를 각각 계산하는 단계; 및 상기 계산된 거리를 이용하여 감정을 인식하는 단계를 포함한다.

Description

생체 신호를 이용한 감정 인식 방법 및 그 장치{Method and apparatus for emotion recognition using physiological signals}
본 발명은 사용자의 복수의 생체 신호를 이용하여 감정을 인식할 수 있는 생체 신호를 이용한 감정 인식 방법 및 그 장치에 관한 것이다.
과학의 발전은 단순히 기계적인 도구의 개발만을 넘어서 기계와 생명의 결합을 추구하기에 이르렀다. 이러한 혁명적인 기술변화는 바이오 메카트로닉스라는 새로운 기술장르를 창조하였으며, 이는 앞으로도 지속해서 발전할 것이다.
한편, 이러한 기술변화에 발맞춰 인간의 물리적인 작동에 의해서만 제어되는 기계가 인간의 감정을 감지하여 지능적이면서 능동적으로 제어될 수 있도록 하는 연구가 진행되고 있다.
종래, 기계가 인간의 감정을 판단하는 방법으로 뇌파 측정을 통한 감정분류가 있었다. 이러한 종래 감정분류방법은, 인간의 평균적인 뇌파신호를 신호크기에 따라 일률적으로 분류한 후, 분류된 신호크기에 따라 인간의 감정을 단순히 긍정 또는 부정만으로 나누어 출력하는 방법이었다. 즉, 임의 피험자의 뇌파를 측정한 후, 그 결과를 뇌파의 신호크기를 기준으로 분류한 데이터베이스의 데이터와 비교하여 상기 피험자의 현재 감정상태를 추적하는 것이다.
그러나, 종래 방법은 인간의 감정판단에 대한 신뢰도가 낮고 그 분류가 정교하지 못하여, 감정판단 결과에 대한 활용도가 떨어지는 문제가 있었다. 또한, 뇌파신호와 같은 생체신호의 실시간 분석과 생체신호 수신 시 발생하는 잡파의 제거 등이 곤란하여, 감정공학을 적용한 가전제품의 개발이나 훈련용 바이오 피드백 시스템 개발이 용이하지 못하게 되는 문제가 있었다.
본 발명은 사용자의 다양한 생체 신호를 동시에 이용하여 사용자의 감정을 인식 할 수 있는 생체 신호를 이용한 감정 인식 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 사용자의 다양한 생체 신호를 동시에 이용하여 사용자의 감정을 인식 할 수 있는 생체 신호를 이용한 감정 인식 방법이 제공된다.
본 발명의 일 실시예에 따르면, 사용자의 생체 신호를 측정하는 단계; 상기 측정된 생체 신호를 이용하여 특징 정보를 계산하는 단계; 상기 특징 정보를 SVM(support vector machine)에 적용하여 각 클래스 패턴(class pattern)으로 분류하는 단계; 상기 분류된 클래스 패턴간 초평면(hyperplane)에서의 거리를 각각 계산하는 단계; 및 상기 계산된 거리를 이용하여 감정을 인식하는 단계를 포함하는 감정 인식 방법이 제공될 수 있다.
상기 생체 신호는 피부전도(SC: skin conductance), 피부온도(SKT: skin temperature) 및 혈류량(BVP: blood volume pulse)를 포함할 수 있다.
상기 특징 정보는 생체 신호의 평균값, 표준편차 및 생체 신호간 차이에 대한 다양한 평균값들을 포함할 수 있다.
상기 분류된 클래스 패턴간 초평면(hyperplane)에서의 거리는 하기 수식을 이용하여 계산되되,
Figure 112013061797918-pat00001
여기서,
Figure 112013061797918-pat00002
는 유클리드 거리를 나타내며,
Figure 112013061797918-pat00003
이고,
Figure 112013061797918-pat00004
이며,
Figure 112013061797918-pat00005
,
Figure 112013061797918-pat00006
는 클래스의 공분산을 나타내며,
Figure 112013061797918-pat00007
이다.
상기 계산된 거리를 이용하여 감정을 인식하는 단계는, 상기 계산된 거리와 트레이닝 데이터를 이용하여 데이터베이스화된 감정별 거리를 비교하여 감정을 인식할 수 있다.
상기 측정된 생체 신호를 이용하여 특징 정보를 계산하는 단계 이전에, 상기 특정된 생체 신호를 밴드 패스 필터를 이용하여 각 생체 신호에 대한 노이즈를 제거하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 사용자의 다양한 생체 신호를 동시에 이용하여 사용자의 감정을 인식 할 수 있는 생체 신호를 이용한 감정 인식 장치가 제공된다.
본 발명의 일 실시예에 따르면, 사용자의 생체 신호를 측정하는 측정부; 상기 측정된 생체 신호를 이용하여 특징 정보를 계산하는 특징 계산부; 상기 특징 정보를 SVM(support vector machine)에 적용하여 클래스 패턴(class pattern)을 분류하고, 상기 분류된 클래스 패턴간 초평면(hyperplane)에서의 거리를 각각 계산하는 분류부; 및 상기 계산된 거리를 이용하여 감정을 인식하는 인식부를 포함하는 감정 인식 장치가 제공될 수 있다.
상기 특징 계산부는 상기 측정된 생체 신호를 밴드 필터를 적용하여 노이즈를 제거한 후 특징 정보를 계산할 수 있다.
각 감정에 대한 트레이닝 데이터를 이용하여 각 감정별 거리를 저장하는 메모리를 더 포함하되, 상기 분류부는, 상기 계산된 거리와 상기 감정별 거리를 비교하여 가장 일치하는 감정별 거리의 감정으로 사용자의 감정을 인식할 수 있다.
본 발명의 일 실시예에 따른 생체 신호를 이용한 감정 인식 방법 및 그 장치를 제공함으로써, 사용자의 다양한 생체 신호를 동시에 이용하여 사용자의 감정을 정확하게 인식 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 생체 신호를 이용하여 감정을 인식하는 장치의 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 트레이닝 데이터를 이용하여 감정별 거리를 데이터베이스화하는 방법을 나타낸 순서도.
도 3은 본 발명의 일 실시예에 따른 트레이닝 데이터를 노출하는 방법을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 생체 신호를 이용하여 사용자의 감정을 인식하는 방법을 나타낸 순서도.
도 5는 본 발명의 일 실시예에 따른 측정된 생체 신호를 예시한 도면.
도 6 및 도 7은 본 발명의 일 실시예에 따른 생체 신호를 이용하여 계산된 특징 정보의 일부를 표시한 그래프.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
발명은 피부전도, 피부온도 및 혈류량과 같은 사용자의 다양한 생체 신호를 동시에 이용하여 사용자의 다양한 감정을 분류할 수 있는 발명에 관한 것이다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 생체 신호를 이용하여 감정을 인식하는 장치의 구성을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 감정 인식 장치(100)는 획득부(110), 특징 계산부(115), 분류부(120), 인식부(125), 디스플레이부(130), 메모리(135) 및 제어부(140)를 포함하여 구성된다.
획득부(110)는 사용자의 생체 신호를 획득하기 위한 수단이다. 여기서, 사용자의 생체 신호는 피부전도(SC: skin conductance), 피부 온도(skin temperature) 및 혈류량(blood volume pulse) 중 적어도 하나일 수 있다.
획득부(110)는 사용자의 피부 전도, 피부 온도 및 혈류량과 같은 다양한 생체 신호를 획득하기 위한 다양한 계측 장비들과 연결되거나 다양한 센서를 구비할 수 있다.
사용자의 피부 전도, 피부 온도 및 혈류량과 같은 생체 신호를 획득하는 방법 자체는 이미 당업자에게는 자명한 사항이므로 이를 계측하여 획득하는 방법 자체에 대한 설명은 생략하기로 한다.
특징 계산부(115)는 획득부(110)를 통해 획득된 사용자의 다양한 생체 신호를 데이터 처리하여 특징 정보를 추출하기 위한 수단이다.
획득부(110)를 통해 획득된 생체 신호는 환경적 요인에 의해 추가되거나 인공적으로 추가된 노이즈를 포함할 수 있다. 이에 따라 특징 계산부를 생체 신호를 이용하여 특징 정보를 추출하기 이전에, 생체 신호에 대한 노이즈 제거를 선행할 수 있다.
예를 들어, 생체 신호를 필터 적용하여 노이즈를 적용할 수 있다. 보다 상세하게, 각 생체 신호의 특성을 이용하여 생체 신호마다 상이하게 필터를 적용할 수 있다. 즉, 생체 신호 중 피부 전도 생체 신호는 0 내지 2.4 Hz 밴드의 스펙트럼 출력을 필터링하여 노이즈를 제거할 수 있다. 또한, 생체 신호 중 피부 온도에 해당하는 생체 신호는 0 내지 0.1 Hz 및 0.1 내지 0.2 Hz 밴드의 스펙트럼 출력을 필터링하여 노이즈를 제거할 수 있다. 그리고, 생체 신호 중 혈류량에 해당하는 생체 신호는 40Hz의 주파수를 컷오프(cut off)하여 노이즈를 제어할 수 있다.
특징 계산부(115)는 이와 같이, 각 노이즈가 제거된 생체 신호를 이용하여 특징 정보를 추출할 수 있다. 예를 들어, 특징 정보는 생체 신호의 평균값, 생체 신호의 표준편차, 생체정보간 차이의 절대값의 평균값일 수 있다. 이하, 특징 계산부(115)에서 생체 신호를 이용하여 특징 정보를 계산하는 방법을 설명하기로 하자.
예를 들어, 특징 계산부(115)는 하기 수 1과 같이 생체 신호를 이용하여 생체 신호의 평균값을 계산할 수 있다.
Figure 112013061797918-pat00008
여기서, Xi는 생체 신호를 나타낸다.
이에, 특징 계산부(115)는 일정 주기마다 일정 시간 동안 획득된 각 생체 신호에 대한 평균값을 도출하여 특징 정보로써 추출할 수 있다.
또한, 특징 계산부(115)는 하기 수 2와 같이 각 생체 신호를 이용하여 생체 신호의 표준 편차를 계산하고, 이를 특징 정보 중 어느 하나로 추출할 수 있다.
Figure 112013061797918-pat00009
또한, 특징 계산부(115)는 하기 수 3과 같이, 인접한 생체 신호의 차이의 절대값에 대한 평균값(이해와 설명의 편의를 도모하기 위해 제2 평균값이라 칭하기로 함)을 계산하고, 이를 특징 정보 중 어느 하나로 이용할 수 있다.
Figure 112013061797918-pat00010
또한, 특징 계산부(115)는 정규화된 생체 신호를 이용하여 제3 평균값을 특징 정보로써 도출할 수 있다. 여기서, 제3 평균값은 하기 수 4와 같이 계산될 수 있다.
Figure 112013061797918-pat00011
또한, 특징 계산부(115)는 생체 신호를 이용하여 제4 평균값을 특징 정보로써 도출할 수 있다. 여기서, 제4 평균값은 (i+2) 차이가 있는 생체 신호간의 차이의 절대값의 평균값으로 수 5를 이용하여 계산될 수 있다.
Figure 112013061797918-pat00012
또한, 특징 계산부(115)는 정규화된 생체 신호를 이용하여 제5 평균값을 특징 정보로 계산할 수 있다. 여기서, 제5 평균값은 하기 수 6과 같이 제5 평균값을 표준 편차로 나눈 값일 수 있다.
Figure 112013061797918-pat00013
이와 같이, 특징 계산부(115)는 생체 신호를 이용하여 생체 신호의 평균값, 생체 신호간 차이의 절대값에 대한 복수의 평균값, 표준 편차 등을 특징 정보로써 계산할 수 있다.
특징 정보에 의해 계산된 생체 정보의 특징 정보는 특징 벡터로 표현될 수 있다.
예를 들어, 생체 정보의 특징 정보 x의 특징 벡터는 다음과 같이 표현될 수 있다.
x=[
Figure 112013061797918-pat00014
,
Figure 112013061797918-pat00015
,
Figure 112013061797918-pat00016
,
Figure 112013061797918-pat00017
,
Figure 112013061797918-pat00018
,
Figure 112013061797918-pat00019
,
Figure 112013061797918-pat00020
,
Figure 112013061797918-pat00021
,
Figure 112013061797918-pat00022
,
Figure 112013061797918-pat00023
,
Figure 112013061797918-pat00024
,
Figure 112013061797918-pat00025
,
Figure 112013061797918-pat00026
,
Figure 112013061797918-pat00027
,
Figure 112013061797918-pat00028
,
Figure 112013061797918-pat00029
,
Figure 112013061797918-pat00030
,
Figure 112013061797918-pat00031
]
여기서, sc는 피부전도 생체 신호를 나타내고, SKT는 피부 온도 생체 신호를 나타내고, BVP는 혈류량 생체 신호를 나타낸다.
분류부(120)는 특징 계산부(115)에 의해 계산된 각 생체 신호의 특징 정보들을 SVM(support vector machine)에 적용하여 클래스 패턴으로 분류하기 위한 수단이다. 각 생체 신호의 특징 정보들을 SVM에 적용하여 각 생체 신호의 특징 정보들이 각 클래스 패턴으로 분류될 수 있다. SVM 자체는 이미 당업자에게는 자명한 사항이므로 SVM 자체에 대한 상세한 설명은 생략하기로 한다.
또한, 분류부(120)는 분류된 클래스 패턴을 이용하여 각 클래스 패턴간의 거리를 각각 계산할 수 있다. 이때, 거리는 수 7을 이용하여 계산될 수 있다.
Figure 112013061797918-pat00032
여기서,
Figure 112013061797918-pat00033
는 유클리드 거리를 나타내며,
Figure 112013061797918-pat00034
이고,
Figure 112013061797918-pat00035
에 의해 도출되며,
Figure 112013061797918-pat00036
,
Figure 112013061797918-pat00037
는 클래스의 공분산을 나타내며,
Figure 112013061797918-pat00038
에 의해 도출될 수 있다.
여기서,
Figure 112013061797918-pat00039
는 i번째 클래스 패턴
Figure 112013061797918-pat00040
의 개수를 나타낸다.
인식부(125)는 분류부(120)에 의해 계산된 각 클래스 패턴간 거리를 이용하여 사용자의 감정을 인식하기 위한 수단이다. 이를 위해, 인식부(125)는 트레이닝 데이터(training data)를 이용하여 각 감정별 거리를 데이터베이화하여 저장하고 있으며, 계산된 클래스 패턴간 거리와 기저장된 각 감정별 거리를 비교하여 사용자의 감정을 인식할 수 있다.
디스플레이부(130)는 다양한 비디오 클립, 동영상을 디스플레이하기 위한 수단이다. 디스플레이부(130)는 다양한 감정에 대한 트레이닝 데이터인 비디오 클립, 동영상을 디스플레이할 수 있다.
예를 들어, 디스플레이부(130)는 액정화면일 수 있다.
메모리(135)는 본 발명의 일 실시예에 따른 감정 인식 장치(100)를 운용하기 위해 필요한 다양한 어플리케이션, 획득된 생체 신호, 생체 신호에 따른 특징 정보들, 각 클래스 패턴, 감정별 거리, 각 클래스 패턴별 계산된 거리 등을 저장한다.
제어부(140)는 본 발명의 일 실시예에 따른 감정 인식 장치(100)의 내부 구성 요소들(예를 들어, 획득부(110), 특징 계산부(115), 분류부(120), 인식부(125), 디스플레이부(130), 메모리(135) 등)을 제어하기 위한 수단이다.
도 2는 본 발명의 일 실시예에 따른 트레이닝 데이터를 이용하여 감정별 거리를 데이터베이스화하는 방법을 나타낸 순서도이고, 도 3은 본 발명의 일 실시예에 따른 트레이닝 데이터를 노출하는 방법을 설명하기 위해 도시한 도면이다.
단계 210에서 감정 인식 장치(100)는 각 감정에 해당하는 비디오 클립 또는 동영상을 출력한다.
이어, 단계 215에서 감정 인식 장치(100)는 해당 동영상을 시청하는 피검자의 생체 신호를 측정하여 획득한다. 여기서, 피검자의 생체 신호는 이미 전술한 바와 같이, 피부 전도, 피부 온도 및 혈류량 중 적어도 하나를 포함할 수 있다.
또한, 각 감정에 해당하는 비디오 클립 또는 동영상을 피검자에게 노출하는 방법은 도 3에 도시된 바와 같이, 일정 시간 휴식을 취하고, 정해진 일정 시간 동안 각 감정에 대한 자극(예를 들어, 비디오 클립 또는 동영상)을 노출하고, 일정 시간 동안 휴식을 취하고, 각 감정에 대한 자극을 노출하는 방식으로 트레이닝 데이터를 노출하였다. 예를 들어, 도 3을 참조하면, 각 감정에 대한 트레이닝 데이터는 15초 간격을 주기로 5초 동안 각각 노출될 수 있다.
단계 220에서 감정 인식 장치(100)는 트레이닝 데이터의 노출에 의해 측정된 생체 신호의 특징 정보를 각각 계산하다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
단계 225에서 감정 인식 장치(100)는 생체 신호의 각 특징 정보를 SVM 적용하여 클래스 패턴으로 분류한다.
이어, 단계 230에서 감정 인식 장치(100)는 분류된 각 클래스 패턴간 초평면상에서의 거리를 각각 계산한다.
단계 235에서 감정 인식 장치(100)는 계산된 클래스 패턴간 초평면상에서의 거리를 해당 감정에 따른 거리로 데이터베이스화하여 저장한다.
도 4는 본 발명의 일 실시예에 따른 생체 신호를 이용하여 사용자의 감정을 인식하는 방법을 나타낸 순서도이고, 도 5는 본 발명의 일 실시예에 따른 측정된 생체 신호를 예시한 도면이며, 도 6 및 도 7은 본 발명의 일 실시예에 따른 생체 신호를 이용하여 계산된 특징 정보의 일부를 표시한 그래프이다. 이하에서는 트레이닝 데이터에 의해 감정별 초평면 거리가 데이터베이스화되어 저장된 것을 가정하여 설명하기로 하자.
단계 410에서 감정 인식 장치(100)는 사용자의 생체 신호를 측정하여 각각 획득한다. 전술한 바와 같이, 사용자의 생체 신호는 각각 피부 전도(SC), 피부 온도(SKT) 및 혈류량(BVP)를 포함한다. 도 5에 측정된 생체 신호의 일 예가 예시되어 있다.
단계 415에서 감정 인식 장치(100)는 사용자의 생체 신호를 이용하여 특징 정보를 각각 계산한다.
이미 전술한 바와 같이, 특징 정보는 생체 신호를 이용하여 계산된 다양한 평균값 및 표준편차일 수 있다. 이는 이미 전술한 바와 동일하므로 이에 대한 중복되는 설명은 생략하기로 한다.
도 6 및 도 7은 각 생체 신호를 이용하여 계산된 특징 정보의 일부를 2차원 그래프의 형태로 표시한 것으로 도 6 및 도 7에 도시된 바와 같이, 각 감정에 따라 생체 정보의 특징 정보들이 특정 패턴을 형성하는 것을 알 수 있다.
단계 420에서 감정 인식 장치(100)는 도출된 특징 정보를 SVM에 적용하여 각 클래스 패턴별로 분류한다. 특징 정보를 SVM에 적용하면, SVM은 특징 정보를 초 평면(hyperplane)상에서 각 클래스로 분류하여 출력한다. 이러한, SVM 적용 알고리즘은 이미 당업자에게는 자명한 사항이며, 공지된 사항이므로 이에 대한 상세한 설명은 생략하기로 한다.
단계 425에서 감정 인식 장치(100)는 분류된 각 클래스 패턴간 초평면에서의 거리를 각각 계산한다.
단계 430에서 감정 인식 장치(100)는 계산된 각 거리와 감정별 거리를 일대일 비교하여 가장 유사한 감정별 거리에 대응하는 감정으로 해당 생체 신호에 대응하는 감정을 인식한다.
한편, 본 발명의 실시예에 따른 생체 신호를 이용한 감정 인식 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 감정 인식 장치
110: 획득부
115: 특징 계산부
120: 분류부
125: 인식부
130: 디스플레이부
135: 메모리
140: 제어부

Claims (10)

  1. 감성 인식 장치에서 생체 신호를 이용하여 사용자의 감정을 인식하는 방법에 있어서,
    사용자의 생체 신호를 측정하는 단계;
    상기 측정된 생체 신호를 이용하여 특징 정보를 계산하는 단계;
    상기 특징 정보를 SVM(support vector machine)에 적용하여 각 클래스 패턴(class pattern)으로 분류하는 단계;
    상기 분류된 클래스 패턴간 초평면(hyperplane)에서의 거리를 각각 계산하는 단계; 및
    상기 계산된 거리를 이용하여 감정을 인식하는 단계를 포함하되,
    상기 분류된 클래스 패턴간 초평면에서의 거리를 각각 계산하는 단계는,
    상기 분류된 클래스 패턴간의 유클리드 거리를 계산하고, 상기 분류된 클래스 패턴 각각의 공분산을 계산한 후 계산된 공분산을 합산한 후 상기 유클리드 거리를 나누기 연산하여 상기 분류된 클래스 패턴간 초평면에서의 거리를 각각 계산하는 것을 특징으로 하는 감정 인식 방법.
  2. 제1 항에 있어서,
    상기 생체 신호는 피부전도(SC: skin conductance), 피부온도(SKT: skin temperature) 및 혈류량(BVP: blood volume pulse)를 포함하는 것을 특징으로 하는 감정 인식 방법.
  3. 제1 항에 있어서,
    상기 특징 정보는 생체 신호의 평균값, 표준편차 및 생체 신호간 차이에 대한 다양한 평균값들을 포함하는 것을 특징으로 하는 감정 인식 방법.
  4. 제1 항에 있어서,
    상기 분류된 클래스 패턴간 초평면(hyperplane)에서의 거리는 하기 수식을 이용하여 계산되는 것을 특징으로 하는 감정 인식 방법.
    Figure 112013061797918-pat00041

    여기서,
    Figure 112013061797918-pat00042
    는 유클리드 거리를 나타내며,
    Figure 112013061797918-pat00043
    이고,
    Figure 112013061797918-pat00044
    이며,
    Figure 112013061797918-pat00045
    ,
    Figure 112013061797918-pat00046
    는 클래스의 공분산을 나타내며,
    Figure 112013061797918-pat00047
    임.
  5. 제1 항에 있어서,
    상기 계산된 거리를 이용하여 감정을 인식하는 단계는,
    상기 계산된 거리와 트레이닝 데이터를 이용하여 데이터베이스화된 감정별 거리를 비교하여 감정을 인식하는 것을 특징으로 하는 감정 인식 방법.
  6. 제1 항에 있어서,
    상기 측정된 생체 신호를 이용하여 특징 정보를 계산하는 단계 이전에,
    상기 측정된 생체 신호를 밴드 패스 필터를 이용하여 각 생체 신호에 대한 노이즈를 제거하는 단계를 더 포함하는 감정 인식 방법.
  7. 제1 항 내지 제6 항 중 어느 하나의 항에 따른 감정 인식 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.
  8. 사용자의 생체 신호를 측정하는 측정부;
    상기 측정된 생체 신호를 이용하여 특징 정보를 계산하는 특징 계산부;
    상기 특징 정보를 SVM(support vector machine)에 적용하여 클래스 패턴(class pattern)을 분류하고, 상기 분류된 클래스 패턴간 초평면(hyperplane)에서의 거리를 각각 계산하는 분류부; 및
    상기 계산된 거리를 이용하여 감정을 인식하는 인식부를 포함하되,
    상기 분류부는,
    상기 분류된 클래스 패턴간의 유클리드 거리를 계산하고, 상기 분류된 클래스 패턴 각각의 공분산을 계산한 후 계산된 공분산을 합산한 후 상기 유클리드 거리를 나누기 연산하여 상기 분류된 클래스 패턴간 초평면에서의 거리를 각각 계산하는 것을 특징으로 하는 감정 인식 장치.
  9. 제8 항에 있어서,
    상기 특징 계산부는 상기 측정된 생체 신호를 밴드 필터를 적용하여 노이즈를 제거한 후 특징 정보를 계산하는 것을 특징으로 하는 감정 인식 장치.
  10. 제8 항에 있어서,
    각 감정에 대한 트레이닝 데이터를 이용하여 각 감정별 거리를 저장하는 메모리를 더 포함하되,
    상기 분류부는,
    상기 계산된 거리와 상기 감정별 거리를 비교하여 가장 일치하는 감정별 거리의 감정으로 사용자의 감정을 인식하는 것을 특징으로 하는 감정 인식 장치.
KR1020130080491A 2013-07-09 2013-07-09 생체 신호를 이용한 감정 인식 방법 및 그 장치 KR101524918B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130080491A KR101524918B1 (ko) 2013-07-09 2013-07-09 생체 신호를 이용한 감정 인식 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130080491A KR101524918B1 (ko) 2013-07-09 2013-07-09 생체 신호를 이용한 감정 인식 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20150006949A KR20150006949A (ko) 2015-01-20
KR101524918B1 true KR101524918B1 (ko) 2015-06-02

Family

ID=52570061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130080491A KR101524918B1 (ko) 2013-07-09 2013-07-09 생체 신호를 이용한 감정 인식 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101524918B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190117886A (ko) 2018-04-09 2019-10-17 인천대학교 산학협력단 키보드를 통한 사용자 흥분 상태 파악 후 응용 프로그램 연계 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101713414B1 (ko) * 2015-05-13 2017-03-07 주식회사 지이에스 환경 프로파일과 사용자 행위 기반에 의한 자기학습수단을 갖는 차폐 다심 케이블을 이용한 보안 시스템
CN107894837A (zh) * 2017-11-28 2018-04-10 合肥工业大学 动态情感分析模型样本处理方法及装置
CN108721048B (zh) * 2018-05-02 2020-12-22 南京邮电大学 计算机可读存储介质和终端
KR20240030450A (ko) * 2022-08-30 2024-03-07 주식회사 휴이노 클러스터링을 이용하여 생체 신호 분석을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040032451A (ko) * 2002-10-09 2004-04-17 삼성전자주식회사 생체신호 기반의 건강 관리 기능을 갖는 모바일 기기 및이를 이용한 건강 관리 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040032451A (ko) * 2002-10-09 2004-04-17 삼성전자주식회사 생체신호 기반의 건강 관리 기능을 갖는 모바일 기기 및이를 이용한 건강 관리 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190117886A (ko) 2018-04-09 2019-10-17 인천대학교 산학협력단 키보드를 통한 사용자 흥분 상태 파악 후 응용 프로그램 연계 장치

Also Published As

Publication number Publication date
KR20150006949A (ko) 2015-01-20

Similar Documents

Publication Publication Date Title
Shukla et al. Feature extraction and selection for emotion recognition from electrodermal activity
Rahman et al. Recognition of human emotions using EEG signals: A review
Krishna et al. An efficient mixture model approach in brain-machine interface systems for extracting the psychological status of mentally impaired persons using EEG signals
Ozel et al. Synchrosqueezing transform based feature extraction from EEG signals for emotional state prediction
Liu et al. Real-time fractal-based valence level recognition from EEG
US8862581B2 (en) Method and system for concentration detection
KR101524918B1 (ko) 생체 신호를 이용한 감정 인식 방법 및 그 장치
EP3037036A1 (en) Biometric authentication method and apparatus
Ko et al. Single channel wireless EEG device for real-time fatigue level detection
KR101518575B1 (ko) Bci를 위한 사용자 의도인지 분석 방법
KR101842750B1 (ko) 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치
US20170065229A1 (en) Neural oscillation monitoring system
Li et al. Verification based ECG biometrics with cardiac irregular conditions using heartbeat level and segment level information fusion
Shen et al. An accurate sleep stages classification method based on state space model
Islam et al. Cognitive state estimation by effective feature extraction and proper channel selection of EEG signal
Anh-Dao et al. A multistage system for automatic detection of epileptic spikes
Gjoreski et al. An inter-domain study for arousal recognition from physiological signals
Prince et al. Brain machine interface using Emotiv EPOC to control robai cyton robotic arm
Hurtado-Rincon et al. Motor imagery classification using feature relevance analysis: An Emotiv-based BCI system
JP2004248714A (ja) 生体信号を用いた認証方法および認証装置
Immanuel et al. Recognition of emotion with deep learning using EEG signals-the next big wave for stress management in this covid-19 outbreak
Rizvi et al. Classifying Parkinson’s disease using resting state electroencephalogram signals and U EN-PDNet
Mesin et al. A low cost ECG biometry system based on an ensemble of support vector machine classifiers
Dehzangi et al. Driver distraction detection using MEL cepstrum representation of galvanic skin responses and convolutional neural networks
Arslan et al. Subject-dependent and subject-independent classification of mental arithmetic and silent reading tasks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200309

Year of fee payment: 6