KR20100128023A - 생체신호 기반의 감정인식 시스템 - Google Patents

Abstract

인간의 감정을 분석하는 시스템을 제시한다. 본 발명의 실시예에 따른 생체신호 기반의 감정인식 시스템은 감정인식 실험을 위한 준비단계인 비디오클립섹터부, 사용자의 심전도 데이터와 맥파 데이터를 측정하고 정규화하는 데이터관리부, 학습을 담당하는 감정학습부, 심전도 데이터와 맥파 데이터를 함께 SVM(Support Vector Machine)과 K-NN(Nearest Neighbor)에 적용하여 감정을 예측하는 감정예측부, 예측단계에서의 감정 예측률을 비교 분석하는 감정분석부를 포함한다.

감정인식, 심전도, 맥파, 생체신호

Description

생체신호 기반의 감정인식 시스템 { The emotion recognition system based on biometric signals }

본 발명은 생체신호 기반의 감정인식 시스템에 관한 것으로 , 보다 상세하게는 센서장치로부터 사용자의 심전도, 맥파를 수집하여 이에 패턴인식 알고리즘을 적용하여 감정을 인식하는 시스템에 관한 것이다.

감정인식 연구는 여러 분야에서 연구되고 있다. 특히 얼굴 표정이나 음성을 통해 감정인식을 하는 연구가 많이 진행되었다. 하지만 그것들을 이용하여 감정인식을 할 경우 몇 가지 문제점이 발생한다.

얼굴 표정 즉, 영상을 이용한 감정인식을 위해서는 얼굴 영상을 분석하여 특징을 찾아내는 알고리즘 개발이 필수적이다. 하지만 조명의 변화가 많은 일반적인 환경에서나 사용자가 움직이는 경우에는 얼굴 영역 추출이 쉽지 않다.

음성을 이용한 감정인식의 경우에도 주변의 잡음이 들어 가 실제 데이터를 추출 하는 데 문제가 있다.반면에 생체 데이터의 경우는 주변 환경에 영향을 덜 받는 장점을 갖는다.

생체 신호는 특정한 감정 분류가 어렵고, 또한 작은 움직임에도 변화가 크다. 하지만 생체 센서를 부착한 동안에 사용자의 감정 변화에 대한 정보를 실시간으로 얻을 수 있고, 생체 반응은 자율신경계에 의해 통제되므로 사회적 본성에 관계없이 얻을 수 있는 장점이 있다. 또한 생체 신호를 이용한 감정인식은 주변 환경에 민감하지 않은 장점을 갖는다. 이러한 장점들을 이용하여 생체 신호 중에서 심전도와 맥파를 이용하여 감정인식을 하였다.

본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 센서장치로부터 사용자의 심전도, 맥파를 수집하여 이에 패턴인식 알고리즘을 적용하여 감정을 인식하데 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명은 생체신호 기반의 감정인식 시스템에 관한 것으로 , 보다 상세하게는 센서장치로부터 사용자의 심전도, 맥파를 수집하여 이에 패턴인식 알고리즘을 적용하여 감정을 인식하는 시스템에 관한 것이다.

도 1은 본 발명의 일 실시예에 따른 생체신호 기반의 감정인식 시스템의 전체 구조를 보여주는 구성도이다.

도 2는 본 발명의 일 실시예에 따른 패턴인식 알고리즘인 SVM과 K-NN을 각각 적용한 비교실험 도면이다.

상기한 바와 같은 본 발명의 지능형 홈 서비스 제공 시스템 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째, 생체 신호들 중 다른 생체 신호들 보다 적은장치로 데이터 획득이 간편한 심 전도와 맥파를 이용하여 인간의 감정을 분석한다는 장점이 있다.

둘째, 생체 센서를 부착한 동안에 사용자의 감정 변화에 대한 정보를 실시간으로 얻을 수 있다는 장점도 있다.

셋째, 생체 신호를 이용한 감정인식은 주변 환경에 민감하지 않는다는 장점이 있다.

넷째, 인간감정예측에 패턴인식 알고리즘인 SVM과 K-NN을 동시에 사용해 예측정확도를 높였다는 장점이 있다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 생체신호 기반의 감정인식 시스템은 감정인식 실험을 위한 준비단계인 비디오클립섹터부, 사용자의 심전도 데이터와 맥파 데이터를 측정하고 정규화하는 데이터관리부, 학습을 담당하는 감정학습부, 심전도 데이터와 맥파 데이터를 함께 SVM(Support Vector Machine)과 K-NN(Nearest Neighbor)에 적용하여 감정을 예측하는 감정예측부, 예측단계에서의 감정 예측률을 비교 분석하는 감정분석부를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명 이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.

이하, 본 발명의 실시예들에 의하여 지능형 홈 서비스 제공 시스템 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

설명에 앞서 용어를 정의하면 심전도는 심장이 박동할 때마다 미약한 전기가 생기고 그것으로 인하여 신체 내에 전기가 흐르게 되며 이 전류에 의하여 신체 내에 전기가 흐르게 된다. 심전도란 이러한 신체 내에 흐르는 전기, 즉 심박동과 함께 발생하는 전위차를 적당한 부위에서 일정한 방법으로 유도 증폭하여 심전계(electrocardiograph)에 의해 그림으로 나타낸 것으로 ECG(electrocardiogram) 또는 EKG로 약기한다. 맥파는 심장 박동에 의해 생성되는 흉벽 및 동맥의 박동을 파형으로 기록한 것을 말한다. 혈관의 상태나 심장의 상태에 따라 민감하게 반응하는 특징이 있다. 맥파 신호는 심장에서 발생된 박동에 따른 혈압의 변화가 파를 이루며 혈관을 통해 전달되어 그 영향이 체표에 도달하게 되는 데 이 변화를 관혈, 비관혈적으로 측정한 것이다.

도 1은 본 발명의 일 실시예에 따른 생체신호 기반의 감정인식 시스템의 전체 구조에 관한 도면이다.

비디오클립섹터부는 감정인식 실험을 위한 준비 단계로서 실험에 참가하지 않는 사람들을 대상으로, 실험에 사용 할 비디오 클립들을 선택한다. 데이터관리부는 사용자가 비디오클립섹터부에서 선택된 비디오 클립을 시청하는 동안 심전도 데이터 와 맥파 데이터를 측정하고, 정규화 한다. 정규화 된 데이터를 통해 특징점을 구하고, 이 특징점의 값들을 데이터베이스에 저장한다. 이 때 사용자로부터 자신이 실제 느낀 감정을 선택하게 함으로써 feedback을 얻는다. 감정학습는 학습을 담당하는데, 학습 단계는 두 단계로 이루어진다. 먼저 데이터베이스에 저장된 특징점의 값들 중 심전도 데이터와 사용자의 feedback으로부터 얻은 감정을 학습하고, 다음으로 심전도 데이터와 맥파 데이터, 그리고 사용자의 feedback 감정을 함께 학습한다. 학습에 사용된 알고리즘은 교사 학습(Supervised Learning) 방법인 SVM과 클러스터링 방법인 k-NN이다. 감정예측부는 학습 단계에서 사용했던 비디오 클립을 제외한 다른 비디오 클립들을 사용자에게 시청하게 하고, 학습 단계에서와 마찬가지로 데이터관리부의 데이터 정규화 과정 통해 추출된 특징점의 값들을 데이터베이스에 저장한다. 데이터베이스에 저장된 특징점의 값들 중 심전도 데이터만을 SVM과 k-NN에 적용하고, 또한 심전도 데이터와 맥파 데이터를 함께 SVM과 k-NN에 적용하여 감정을 예측한다. 감정분석부는 예측 단계에서의 감정 예측률을 비교 분석한다. 이때, 상기 '~부'라는 용어는 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 어떤 기능들을 수행한다. 그렇지만, 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 상기 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 상기 구성 요소는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 상기 구성 요소가 제공하는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다. 뿐만 아니라, 상기 구성 요소들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

도 2는 본 발명의 일 실시예에 따른 패턴인식 알고리즘인 SVM과 K-NN을 각각 적용한 비교실험 도면이다.

실험은 4가지의 비교 실험을 통하여 진행되었다. 첫 번째, 심전도 특징파를 적용하여 인간의 감정 패턴을 분석하였는데, 패턴 분석 알고리즘으로 SVM과 K-NN을 각각 적용하여 비교 실험을 하였다. 또한 다중생체 신호(심전도 및 맥파)를 적용하여 인간의 감정 패턴을 분석하였고, 이 또한 SVM과 K-NN을 적용하여 비교 실험하였다. 모든 실험에서 심전도는 RRV(R파사이의 간격)와 R 피크를 특징 값으로 적용하였고, 맥파는 P파의 P파사이의 간격과 P피크 값을 적용하였다. SVM을 적용한 실험에서, 심전도만을 적용하여 감정인식을 분석한 결과보다 맥파와 심전도를 적용한 감정인식 실험 결과가 다소 좋은 결과를 보였다. SVM을 적용하여 감정패턴을 분석하는 방법보다 K-NN을 적용하여 감정 패턴을 분석하는 방법이 더 효율적인 실험 결과를 보였다. 이는 심전도와 맥파의 특징파의 분포도가 정규분포를 따르기 때문인 것으로 보인다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

도 1은 생체 신호 기반의 감정인식 시스템에 대한 전체 구조를 보여준다. 도 2는 심전도/맥파를 이요한 감정인식 정확도에 대한 실험 결과를 보여준다.

Claims (3)

1. 생체신호 기반의 감정인식 시스템의 전체 구조.
2. 제 1 항에 있어서, 감정인식 실험을 위한 준비단계인 비디오클립섹터부와 사용자의 심전도 데이터와 맥파 데이터를 측정하고 정규화하는 데이터관리부.
3. 제 1 항에 있어서,

   학습을 담당하는 감정학습부와 전도 데이터와 맥파 데이터를 함께 SVM(Support Vector Machine)과 K-NN(Nearest Neighbor)에 적용하여 감정을 예측하는 감정예측부 그리고 예측단계에서의 감정 예측률을 비교 분석하는 감정분석부.

Images