KR20090055425A - Emotion recognition mothod and system based on decision fusion - Google Patents

Emotion recognition mothod and system based on decision fusion Download PDF

Info

Publication number
KR20090055425A
KR20090055425A KR1020070122344A KR20070122344A KR20090055425A KR 20090055425 A KR20090055425 A KR 20090055425A KR 1020070122344 A KR1020070122344 A KR 1020070122344A KR 20070122344 A KR20070122344 A KR 20070122344A KR 20090055425 A KR20090055425 A KR 20090055425A
Authority
KR
South Korea
Prior art keywords
emotion
information
decision fusion
decision
emotion recognition
Prior art date
Application number
KR1020070122344A
Other languages
Korean (ko)
Other versions
KR100958030B1 (en
Inventor
심귀보
주종태
서상욱
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020070122344A priority Critical patent/KR100958030B1/en
Publication of KR20090055425A publication Critical patent/KR20090055425A/en
Application granted granted Critical
Publication of KR100958030B1 publication Critical patent/KR100958030B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

A decision fusion based emotion recognition method and a system thereof are provided to perform decision fusion by using a sigmoid fuzzy membership function, thereby complementing a disadvantage of each medium by adding a weight. A decision fusion based emotion recognition method comprises the following steps. A voice signal is collected(P1). First information including at least one of statistics of a pitch, a maximum value, a size of a sound, a number of sections, an increasing rate or a crossing rate is extracted from the voice signal(P2). A face image signal is recognized(P3). Second information including at least one characteristic among a mouth, eyes or eyebrows is extracted(P4). By applying the first and second information to a decision fusion based fuzzy membership function, a pattern by emotion is classified(P5).

Description

결정 융합 기반 감정인식 방법 및 시스템{EMOTION RECOGNITION MOTHOD AND SYSTEM BASED ON DECISION FUSION}EMOTION RECOGNITION MOTHOD AND SYSTEM BASED ON DECISION FUSION}

본 발명은 결정 융합 기반 감정 인식 방법 및 시스템에 관한 것으로, 보다 상세하게는 사람의 음성 신호로부터 인식된 감정 패턴과 얼굴 영상 신호로부터 추출된 감정 패턴을 시그모이드 퍼지 소속함수를 이용하여 결정 융합 기반으로 감정을 인식하여, 각각의 매개체의 단점을 보완하는 결정 융합 기반 감정 인식 방법 및 시스템에 관한 것이다.The present invention relates to a decision fusion based emotion recognition method and system, and more particularly, to an emotion pattern recognized from a human voice signal and an emotion pattern extracted from a face image signal using a sigmoid fuzzy membership function. The present invention relates to a decision fusion-based emotion recognition method and system that compensates for the disadvantages of each medium by recognizing emotions.

컴퓨터나 로봇 기술들이 점점 발전함에 따라 인간과의 상호교류에 대한 연구도 활발히 진행되고 있다. 이러한 연구는 인간에게 보다 편리하고 정확한 서비스를 제공하기 위해서 이루어지고 있으며 그 중에 인간의 감정을 인식하고 표현해주는 기능들은 필수라 하겠다. 그리고 이 기능들을 통해 인간-컴퓨터(로봇) 사이의 감정적인 교류가 가능해 질 것이라 생각된다. 그리고 이러한 감정 정보를 연구하는 분야는 크게 인식 부분과 표현 부분으로 나누어 질 수 있다. As computer and robotic technologies are developed, researches on interactions with humans are being actively conducted. Such research is being done to provide more convenient and accurate services to humans, and the functions that recognize and express human emotions are essential. And it is thought that these functions will enable emotional exchange between human and computer (robot). And the field of studying such emotion information can be divided into recognition part and expression part.

인간으로부터 감정을 인식할 수 있는 매개체로는 음성, 얼굴영상, 제스처, 생체신호, 피부온도 등이 존재한다. 그 중에 음성신호와 얼굴영상을 이용한 연구가 가장 활발히 이루어지고 있다.The media that can recognize emotions from humans include voice, face images, gestures, bio signals, skin temperature, and the like. Among them, researches using voice signals and face images are being actively conducted.

감정 인식에 관한 기존의 연구들로는 다음과 같은 것들이 존재한다. 먼저 음성 신호를 이용한 감정 인식의 연구로 Lee C.M. et al와 New T.L. et al은 음성 신호로부터 특징을 추출하는 방법으로 13차와 12차 MFCCs(Mel Frequency Cepstral Coefficients)를 사용하였으며 감정별 패턴 분류는 HMM(Hidden Markov Model)을 이용하였고, J.Nicholson은 8개의 감정(기쁨, 슬픔, 놀람, 화남, 혐오, 분노, 증오)들의 특징들을 추출했고 그 특징들은 운율적인 특징과 음성적인 특징들로 분류하였다.Existing studies on emotion recognition include the following. First, as a study of emotion recognition using speech signal, Lee C.M. et al and New T.L. et al used the 13th and 12th-order Mel Frequency Cepstral Coefficients (MFCCs) as a method of extracting features from speech signals, and HMM (Hidden Markov Model) was used to classify emotion patterns. The features of joy, sadness, surprise, anger, disgust, anger, and hate were extracted and classified into rhythmic and vocal features.

다음으로 Mase et al은 얼굴 영상에 지역별로 11개의 windows를 형성한 후 이 windows별로 근육의 움직임 정도를 파악하여 특징을 추출하였다. 그리고 K-nearest neighbor 규칙을 이용하여 감정별 패턴을 분류하였다. Next, Mase et al. Formed 11 windows for each region on the face image, and extracted the features by grasping the muscle movement of each window. Then, we classified the patterns by emotion using the K-nearest neighbor rule.

이밖에 제스처 및 피부 온도를 이용한 연구사례로는 많은 연구가 존재한다.In addition, there are many studies as examples of research using gestures and skin temperature.

감정 융합 방법으로는 크게 결정 융합 방법과 특징 융합 방법이 존재한다. 전자 방법의 경우에는 각각 인식 시스템을 통해 인식된 결과 값을 이용하는 방법이고 후자 방법의 경우에는 각각의 매개체에서 특징들을 추출한 후 감정 융합이 이루어지는 방법이다. 현재 이와 관련 연구 사례로는 다음과 같은 것들이 있다.Emotional fusion methods include crystal fusion methods and feature fusion methods. In the former method, each method uses a result value recognized through a recognition system, and in the latter method, after the features are extracted from each medium, the emotion is converged. Current research examples include the following:

Mingli Song은 특징 융합 방법으로 Hidden Markove Model(HMM)을 이용하여 음성과 얼굴 영상에 대한 감정 인식 실험을 하였으며 De silva는 결정 융합 방법으로 퍼지 룰 베이스를 이용하여 음성과 얼굴영상에 대한 감정 인식 실험을 하였다. 그리고 Busso는 두 가지 방법에 대해 실험하고 비교 설명하였다.Mingli Song conducted experiments on emotion recognition for voice and face images using Hidden Markove Model (HMM) as a feature fusion method, and De silva conducted emotion recognition experiments on voice and face images using fuzzy rule base as a decision fusion method. It was. Busso experimented and compared the two methods.

그러나, 종래의 감점인식 방법 또는 시스템은 다음과 같은 문제점이 있다.However, the conventional deduction method or system has the following problems.

첫 번째로, 대부분의 기존 연구가 특정 한가지의 매개체만을 이용하였고 이로 인해 다양한 인간들의 감정을 인식하는 데 한계가 있는 문제점을 가지고 있다.First, most existing researches use only one specific medium, which has a problem of limiting the recognition of various human emotions.

특히, 실제로 인간들이 감정을 인식할 때는 여러 가지 매개체를 고려하여 감정이 인식된다. 그러므로 컴퓨터나 로봇에서도 여러 매개체들을 고려하여 감정을 인식하는 연구가 이루어져야 할 것이다.In particular, when humans perceive emotions, emotions are recognized by considering various media. Therefore, a study to recognize emotions in consideration of various media should be conducted in computers and robots.

두 번째로, 단순한 결정융합 방법은 각각의 매개체의 단점을 보완하기에는 부족한 문제점이 있다.Secondly, the simple crystal fusion method is insufficient to compensate for the shortcomings of each medium.

상술한 문제점을 해결하기 위한 본 발명의 일 목적은 음성신호와 얼굴 영상신호를 이용하여 인간들의 감정을 인식하는 결정 융합 기반 감정인식 방법 및 시스템을 제공함에 있다.One object of the present invention for solving the above problems is to provide a decision fusion-based emotion recognition method and system for recognizing emotions of human beings using voice signals and facial image signals.

본 발명의 다른 목적은, 각각의 매개체의 단점을 보완하는 결정 융합 기반 감정인식 방법 및 시스템을 제공함에 있다.It is another object of the present invention to provide a crystal fusion based emotion recognition method and system that compensates for the disadvantages of each medium.

상술한 본 발명의 목적들을 달성하기 위한 본 발명의 바람직한 실시예에 따르면, 결정 융합 기반 감정인식 방법은 음성 신호를 수집하는 단계, 상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)중 적어도 하나를 포함하는 제1정보를 추출하는 단계, 얼굴 영상 신호를 인식하는 단계, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈 또는 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 단계 및 상기 제 1 및 제 2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 단계를 포함한다.According to a preferred embodiment of the present invention for achieving the above object of the present invention, the decision fusion based emotion recognition method comprises the steps of collecting a speech signal, the statistical value of the pitch, the maximum value, the loudness, the number of sections, Extracting first information including at least one of an increasing rate or a crossing rate, recognizing a face image signal, using a skin tone accumulation algorithm and a gray form transformation in the face image signal Extracting second information including at least one feature of mouth, eyes, or eyebrows, and applying the first and second information to a fuzzy membership function based on decision fusion to classify emotion-specific patterns Crystal fusion step.

여기서, 상기 제 1정보를 추출하는 단계는 상기 제 1정보를 바예시안 학습(Bayesian Learning)에 적용하여 감정별 패턴으로 분류하는 단계를 더 포함하는 것이 바람직하다.The extracting of the first information may further include classifying the first information into an emotional pattern by applying the first information to Bayesian learning.

그리고, 상기 제 2정보 추출단계는 다차원 특징 벡터인 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터 벡터로 축소시키는 축소단계 및 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 단계를 더 포함하는 것이 더욱 바람직하다.In the extracting of the second information, the second information, which is a multidimensional feature vector, is reduced to a unique data vector that is a low dimensional feature vector by applying the second information to a principal component analysis. More preferably, the method further includes classifying patterns by emotion by applying the Euclidean distance.

또한, 상기 퍼지 소속 함수는 가중치를 통해 인식률을 향상시키는 시그모이드(SIGMOID) 퍼지 소속함수인 것이 바람직하며, 이 때, 상기 시그모이드(SIGMOID) 퍼지 소속함수는In addition, the fuzzy membership function may be a sigmoid fuzzy membership function that improves a recognition rate through weights, wherein the sigmoid fuzzy membership function is

Figure 112007085940490-PAT00001
Figure 112007085940490-PAT00001

이고, 상기 wi, wn 는 차례로 상기 제 1및 제 2정보에 대한 가중치이며, xs, xi 는 차례로 상기 제 1및 제 2정보를 통해 감정을 인식한 결과값이며, cs, ci 는 상기 제 1및 제 2정보에 대한 학습 데이터들을 감정을 인식한 후 감정 별로 평균을 구한 결과값이고, 상기 a는 소속 함수의 기울기 값이다.W i and w n are in turn a weight for the first and second information, x s and x i are in turn a result of recognizing the emotion through the first and second information, c s , c i is a result obtained by calculating the average of the learning data for the first and second information for each emotion after recognition, and a is a slope value of the membership function.

또한, 상기 a는 0.01내지 0.1 값 사이인 것이 바람직하며, 상기 a는 0.05인 것이 더욱 바람직하다.In addition, the a is preferably between 0.01 and 0.1 value, more preferably a is 0.05.

그리고, 상기 결정융합단계는 평활(Onormal), 기쁨(Ohappy), 놀람(Osurprise), 슬픔(Osad) 및 화남(Oanger)의 다섯 가지 감정 중 적어도 하나로 상기 제 1 및 제 2정보를 융합하고, 상기 결정융합단계를 표현하는 수식은The crystal fusion step may include at least one of five emotions: O normal , O happy , O surprise , O sad and O anger . Fusion, and the formula representing the crystal fusion step is

Figure 112007085940490-PAT00002
Figure 112007085940490-PAT00002

이고, O는 감정상태의 출력 값이고, 상기 I는 상기 제 2정보에서 추출된 감정 출력값이고, 상기 S는 상기 제 1정보에서 추출된 감정 출력값으로 표시되는 것이 바람직하다., O is an output value of an emotional state, I is an emotion output value extracted from the second information, and S is expressed as an emotion output value extracted from the first information.

또한, 상기 결정융합단계에서 결정된 감정 인식 결과를 표시하는 단계를 더 포함하고, 상기 감정 인식 결과를 표시하는 단계는 상기 Onormal, Ohappy, Osurprise, Osad 및 Oanger 중 가장 큰 값에 따라 상기 감정인식 결과를 표시하는 것이 더욱 바람직하 다.The method may further include displaying an emotion recognition result determined in the decision fusion step, and displaying the emotion recognition result according to the largest value among O normal , O happy , O surprise , O sad, and O anger . It is more preferable to display the emotion recognition result.

또한, 상술한 목적들을 달성하기 위한 본 발명의 다른 바람직한 실시예에 따르면, 결정 융합 기반 감정 인식 시스템은 음성 신호를 수집하는 마이크로폰 유닛, 상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate) 중 적어도 하나를 포함하는 제1정보를 추출하는 제 1감정 추출유닛, 얼굴 영상 신호를 인식하는 카메라 유닛, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈, 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 제 2감정 추출유닛 및 상기 제 1 및 제2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 유닛, 을 포함한다.In addition, according to another preferred embodiment of the present invention for achieving the above object, the decision fusion based emotion recognition system includes a microphone unit for collecting a speech signal, the statistical value of the pitch, the maximum value, the loudness, the number of sections from the speech signal , A first emotion extracting unit for extracting first information including at least one of an increasing rate or a crossing rate, a camera unit recognizing a face image signal, a skin tone accumulation algorithm in the face image signal, gray ( Gray) A second emotion extraction unit for extracting second information including at least one feature of mouth, eyes, and eyebrows using shape transformation, and fuzzy membership function based on fusion based on determining the first and second information. And a decision fusion unit for classifying the pattern by emotion.

이 때, 상기 제 1정보 감정 추출유닛은 상기 제 1정보를 Bayesian Learning에 적용하여 감정별 패턴으로 분류하는 것이 바람직하다.At this time, the first information emotion extracting unit is preferably applied to the Bayesian Learning to classify the emotion pattern.

또한, 상기 제 2정보 감정 추출유닛은 상기 제 2정보를 Principal component analysis에 적용하여 저차원 특징벡터인 고유 데이터벡터로 축소시키고, 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 것이 더욱 바람직하다.In addition, the second information emotion extracting unit applies the second information to a Principal component analysis to reduce the unique data vector, which is a low dimensional feature vector, and applies the unique data vector to the Euclidean distance to classify the pattern by emotion. More preferably.

본 발명에 따르면, 음성 신호와 얼굴 영상 신호를 이용하여 인간들의 감정을 효과적으로 인식할 수 있는 효과가 있다.According to the present invention, there is an effect that can effectively recognize the emotions of human beings using voice signals and facial image signals.

또한, 시그모이드 퍼지 소속 함수를 이용하여 결정 융합을 시행함으로써 가중치를 부여하여 각각의 매개체의 단점을 보완할 수 있는 이점이 있다.In addition, by performing a crystal fusion using the sigmoid fuzzy membership function, there is an advantage that can compensate for the shortcomings of each medium by weighting.

이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다. 참고로, 이하 설명에서는 구성 및 기능이 거의 동일하여 동일하게 취급될 수 있는 요소는 동일한 참조번호로 특정될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, but the present invention is not limited or limited by the embodiments. For reference, in the following description, elements that can be treated identically in terms of configuration and function are almost the same and can be specified by the same reference numerals.

제 My 1실시예Example 1

본 발명의 제 1실시예에 따른 결정 융합 기반 감정 인식 방법에 대해 설명하면 다음과 같다. 도 1은 본 발명의 제 1실시예에 따른 결정 융합 기반 감정 인식 방법을 순서대로 도시한 순서도이다.The decision fusion based emotion recognition method according to the first embodiment of the present invention will be described below. 1 is a flowchart illustrating a decision fusion based emotion recognition method according to a first embodiment of the present invention in order.

이에 도시된 바와 같이, 상기 결정 융합 기반 감정 인식 방법은 먼저, 사람의 음성 신호를 인식하는 단계(P1)를 거친다.As shown in the drawing, the decision fusion based emotion recognition method first undergoes a step P1 of recognizing a human voice signal.

다음, 상기 음성 신호의 음향 특성(acoustic feature)에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 및 교차율(crossing rate) 중 적어도 하나의 정보를 포함하는 제 1정보를 추출한다(P2).Next, corresponding to an acoustic feature of the voice signal First information including at least one of a statistical value of a pitch, a maximum value, a loudness, a number of sections, an increasing rate, and a crossing rate is extracted (P2).

이 때, 상기 제 1정보는 정확한 정보의 추출을 위하여 의미적인 특징을 배제한 운율적인 특징만을 고려하여 추출된다.At this time, the first information is extracted in consideration of only a rhythm characteristic excluding a semantic characteristic for accurate extraction of information.

여기서, 상기 제 1정보를 추출하는 단계(P2)를 좀 더 상세히 설명하기 위하여 도 2를 제시한다. 도 2는 제 1정보를 추출하는 단계를 상세히 나타낸 순서도이다.Here, FIG. 2 is provided to explain in more detail the step P2 of extracting the first information. 2 is a flow chart showing in detail the step of extracting the first information.

이에 도시된 바와 같이, 상기 제 1정보를 추출하는 단계(P2)는 상기 제 1정보를 바예시안 학습(Bayesian learning)에 적용하여 감정별 패턴으로 분류하는 단계(P21)를 더 포함한다.As shown in the drawing, the step of extracting the first information (P2) further includes a step (P21) of applying the first information to Bayesian learning and classifying it into an emotional pattern.

상기 바예시안 학습은 사전확률을 이용하여 어떤 가설의 확률을 계산하는 방법으로, 본 명세서에서는 복수 개의 음성 샘플들을 이용하여 각 감정과 특징들 간의 확률 분포를 조사하여 사전 확률을 계산하였다. 이에 대한 실험 결과, 즉, 음성 신호의 감정 인식 결과를 도시한 표 1은 다음과 같다.The Bayesian learning is a method of calculating a probability of a hypothesis using a prior probability. In this specification, a prior probability is calculated by examining a probability distribution between emotions and features using a plurality of speech samples. Table 1 shows the experimental results, that is, the emotion recognition result of the speech signal is as follows.

Figure 112007085940490-PAT00003
Figure 112007085940490-PAT00003

이다. 표 1은 실험자마다 50번의 실험을 하여 감정별 평균 인식률을 구한 결과이며, 실험자에 따라 감정별 인식률의 결과가 차이가 나며, 그 이유는 사람마다 감정별 표현 방식이 차이가 나기 때문이다.to be. Table 1 shows the results of 50 experiments for each experiment to find the average recognition rate for each emotion. The results of the emotion recognition rate differ according to the experimenter because the expression method for each person differs.

그리고, 사용자의 확률 분포와 유사 정도를 파악하여 5가지 감정으로 패턴 분류 하였으며, 상술한 일련의 과정들을 실험하는 시스템을 도시한 도 3을 제시한다. 도 3은 음성신호를 이용한 감정인식 시스템을 도시한 예시도이다.Then, the probability distribution and the degree of similarity of the user are grasped to classify the pattern into five emotions, and FIG. 3 is an exemplary diagram illustrating an emotion recognition system using a voice signal.

다음, 얼굴 영상 신호를 인식하는 단계(P3)를 거친다.Next, a step (P3) to recognize the face image signal.

다음, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈 또는 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 단계(P4)를 거친다.Next, a step (P4) of extracting second information including at least one feature of a mouth, eyes, or eyebrows is performed by using a skin tone accumulation algorithm and gray shape transformation from the face image signal.

상기 피부톤 축적 알고리즘은 상기 얼굴 영상 신호에 대해여 피부색 영역만을 검출 한 후 피부색 픽셀만을 축적하는 방법을 말하며, 상기 그레이 형태 변환은 추출된 특징들을 영상처리에 용이한 그레이(gray)형태로 변환한 후 기본적인 히스토그램 평활화, 1차 미분 필터(Sobel 연산자) 등을 통해 영상처리를 한다. 여기서, 얼굴 영상의 감정 인식 결과를 나타낸 표 2는 다음과 같다.The skin tone accumulation algorithm refers to a method of accumulating only skin color pixels after detecting only the skin color region with respect to the face image signal, and the gray shape conversion converts the extracted features into gray shapes for easy image processing. Image processing is performed through basic histogram smoothing and first-order differential filters (Sobel operators). Here, Table 2 showing the emotion recognition result of the face image is as follows.

Figure 112007085940490-PAT00004
Figure 112007085940490-PAT00004

이다.to be.

이 때, 본 실시예에서는 차례대로 P1단계 내지 P4단계를 제시하였지만, 이에 한정되거나 제한되는 것은 아니며, 예를 들면, 상기 P1내지 P2단계와 상기 P3내지 P4단계를 병행하여 시행하거나, 차례를 바꾸어 시행하도록 하는 것도 가능하다.At this time, in the present embodiment, the steps P1 to P4 are presented in sequence, but the present invention is not limited or limited thereto. It is also possible to enforce it.

여기서, 얼굴 영상을 이용하여 감정 인식을 하기 위해서는 특징을 추출해야 하며, 추출된 특징들은 다차원 특징 벡터로 구성되어 있어 패턴을 분류하기에 용이하지 않다. 따라서, 정보의 특성을 유지하면서 저차원으로 특징 벡터를 축소시키는 방법이 필요하며, 본 명세서에서는 프린시플 컴포넌트 분석(Principal component analysis)을 사용한다. 이를 좀 더 상세히 설명하기 위하여 도 4를 제시한다. 도 4는 제 2정보 추출단계를 좀 더 상세하게 도시한 순서도이다.Here, in order to recognize an emotion using a face image, a feature must be extracted, and the extracted features are composed of multidimensional feature vectors, and thus it is not easy to classify a pattern. Accordingly, there is a need for a method of reducing feature vectors to a lower dimension while maintaining the properties of information, and in this specification, principal component analysis is used. To illustrate this in more detail, FIG. 4 is presented. 4 is a flowchart illustrating the second information extraction step in more detail.

이에 도시된 바와 같이, 먼저, 다차원 특징 벡터인 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터 벡터로 축소시키는 축소단계(P41)를 거친다. 여기서, 상기 프린시플 컴포넌트 분석(Principal component analysis)는 서로 상관이 있는 변량을 서로 상관이 없는 몇 개의 특성치로 축약하는 다변량해석 수법의 하나이다.As shown in FIG. 1, first, the second information, which is a multidimensional feature vector, is applied to a principal component analysis to reduce to a unique data vector that is a low dimensional feature vector. In this case, the principal component analysis is one of multivariate analysis methods in which variances correlated with each other are reduced to several characteristic values not related to each other.

다음, 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 단계(P42)를 거친다.Next, the pattern is classified by emotion by applying the eigendata vector to the Euclidean distance (P42).

좀 더 상세히 설명하면, 상기 유클리안 거리를 통해 학습 데이터와 입력 데이터간의 거리를 비교하여 그 거리가 최소가 되는 표정이 입력과 가장 유사한 표정이므로 그 학습데이터의 감정을 결과로 결정하게 된다. 상술한 일련의 과정들을 실험할 수 있는 시스템은 도 5와 같다. 도 5는 얼굴 영상을 이용한 감정인식 시스템을 도시한 예시도이다.In more detail, the distance between the learning data and the input data is compared using the Euclidean distance, and thus the emotion of the learning data is determined as a result because the expression having the minimum distance is the expression most similar to the input. A system capable of experimenting the above-described series of processes is shown in FIG. 5. 5 is an exemplary diagram illustrating an emotion recognition system using a face image.

다음, 상기 제 1 및 제 2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 단계(P5)를 거침으로써 결정 융합 기반 감정 인식 방법이 완료된다.Next, the decision fusion-based emotion recognition method is completed by applying the first and second information to a fuzzy membership function based on the decision fusion and going through the decision fusion step P5 for classifying emotion-specific patterns.

여기서, 상기 퍼지 소속 함수는 가중치를 통해 인식률을 향상시키는 시그모이드(SIGMOID) 퍼지 소속함수를 이용한다. 상기 시그모이드(SIGMOID) 퍼지 소속함수는 수학식 1과 같다.Here, the fuzzy membership function uses a sigmoid fuzzy membership function that improves the recognition rate through weights. The sigmoid fuzzy membership function is represented by Equation 1.

Figure 112007085940490-PAT00005
Figure 112007085940490-PAT00005

이고, 상기 wi, wn 는 차례로 상기 제 1및 제 2정보에 대한 가중치이며, xs, xi 는 차례로 상기 제 1및 제 2정보를 통해 감정을 인식한 결과값이며, cs, ci 는 상기 제 1및 제 2정보에 대한 학습 데이터들을 감정을 인식한 후 감정 별로 평균을 구한 결과값이고, 상기 a는 소속 함수의 기울기 값이다.W i and w n are in turn a weight for the first and second information, x s and x i are in turn a result of recognizing the emotion through the first and second information, c s , c i is a result obtained by calculating the average of the learning data for the first and second information for each emotion after recognition, and a is a slope value of the membership function.

여기서, 상기 시그모이드 퍼지 소속함수는 감정별로 가중치를 연산한다. 또한, 상기 a는 0.01내지 0.1 값 사이인 것을 변화시키며 실험한다. 이 때, 가중치 의 결과 값이 가장 우수한 것으로 나타나도록 상기 a는 0.05인 것이 바람직하다.Here, the sigmoid fuzzy membership function calculates a weight for each emotion. In addition, the a is experimented with varying between 0.01 and 0.1 value. In this case, it is preferable that the a is 0.05 so that the resultant value of the weight appears to be the best.

상기 수학식 1의 연산으로 가중치를 구한 후, 상기 제 1정보 및 상기 제 2정보에서 얻어진 결과 값에 곱을 취하여 각각의 감정상태에 대한 출력이 산출된다. 이 때, 상기 감정상태에 대한 식을 나타내면 수학식 2와 같다.After the weight is obtained by the calculation of Equation 1, the output value for each emotional state is calculated by multiplying the resultant values obtained from the first information and the second information. In this case, the equation for the emotional state is shown in Equation 2.

Figure 112007085940490-PAT00006
Figure 112007085940490-PAT00006

이다. 여기서, 상기 감정 상태는 각각 평활(Onormal), 기쁨(Ohappy), 놀람(Osurprise), 슬픔(Osad) 및 화남(Oanger)에 따른 다섯 가지 감정으로 표시되고, 이 때, O는 감정상태의 출력 값이고, 상기 I는 상기 제 2정보에서 추출된 감정 출력값이고, 상기 S는 상기 제 1정보에서 추출된 감정 출력값이다.to be. Here, the emotional state is represented by five emotions according to O normal , O happy , O surprise , O sad and O anger, respectively, where O is The emotion value is an output value, I is an emotion output value extracted from the second information, and S is an emotion output value extracted from the first information.

더불어, 상기 결정융합단계(P5)는 결정된 감정 인식 결과를 표시하는 단계를 더 포함하는 것도 가능하며, 이를 설명하기 위하여 도 6을 제시한다. 도 6은 결과 표시 단계를 도시한 순서도이다.In addition, the decision fusion step P5 may further include displaying the determined emotion recognition result, which is illustrated in FIG. 6 is a flowchart showing a result display step.

이에 도시된 바와 같이, 상기 결정 융합 기반 감정 인식 방법은 결정융합단계(P5) 이후에 결과 표시 단계(P6)를 더 포함한다.As shown therein, the decision fusion based emotion recognition method further includes a result display step P6 after the decision fusion step P5.

상기 결과 표시 단계(P6)는 상기 결정융합 단계(P5)에서 결정된 감정 인식 결과, 즉, Onormal, Ohappy, Osurprise, Osad 및 Oanger 값 중 가장 큰 값에 따라 상기 감정 인식 결과를 표시한다. 이를 수식으로 나타내는 수학식 3과 같다.The result display step (P6) is the emotion recognition result determined in the crystal fusion step (P5), that is, O normal , O happy , O surprise , O sad and O anger The emotion recognition result is displayed according to the largest value among the values. Equation 3 shows this as an equation.

Figure 112007085940490-PAT00007
Figure 112007085940490-PAT00007

이다.to be.

또한, 상기 결과 표시 단계(P6)에서 표시되는 인식 결과값을 나타낸 표 3은 다음과 같다.In addition, Table 3 showing the recognition result value displayed in the result display step (P6) is as follows.

Figure 112007085940490-PAT00008
Figure 112007085940490-PAT00008

이다.to be.

여기서, 상기 음성 신호에 의한 감정 인식 결과를 나타낸 표 1과 상기 영상 신호에 의한 감정 인식 결과를 나타낸 표 2와 비교하면 표 3에 도시된 결정 융합 방법에 의한 감정 인식 결과가 우수함을 알 수 있다.Here, it can be seen that the emotion recognition result by the crystal fusion method shown in Table 3 is excellent when compared with Table 1 showing the emotion recognition result by the voice signal and Table 2 showing the emotion recognition result by the video signal.

즉, 음성 신호 또는 영상 신호 단독으로 감정 인식을 하는 것보다 결정 융합 방법에 의해 감정 인식을 하는 것이 각각의 매개체의 단점을 보완하여 상대적으로 우수한 감정 인식 결과를 얻을 수 있다.That is, the recognition of emotions by the crystal fusion method, rather than the recognition of emotions by voice signals or video signals alone, compensates for the disadvantages of the respective mediators, thereby obtaining a relatively good emotion recognition result.

제 My 2실시예2 Example

상술한 본 발명이 목적들을 달성하기 위한 본 발명의 제 2실시예에 따른 결정 융합 기반 감정 인식 시스템을 설명하면 다음과 같다. 도 7은 본 발명의 제 2실시예에 따른 결정 융합 기반 감정 인식 시스템을 도시한 블록도이다. 참고로, 제 1실시예와 유사하거나 중복되는 설명은 생략하기로 한다.A decision fusion based emotion recognition system according to a second embodiment of the present invention for achieving the objects described above is as follows. 7 is a block diagram illustrating a decision fusion based emotion recognition system according to a second embodiment of the present invention. For reference, descriptions similar to or overlapping with those of the first embodiment will be omitted.

이에 도시된 바와 같이, 상기 결정 융합 기반 감정 인식 시스템은 마이크로폰 유닛(110), 제 1감정 추출유닛(120), 카메라 유닛(130), 제 2감정 추출유닛(140) 및 결정 융합 유닛(150)을 포함한다.As shown in the drawing, the decision fusion based emotion recognition system includes a microphone unit 110, a first emotion extraction unit 120, a camera unit 130, a second emotion extraction unit 140, and a decision fusion unit 150. It includes.

상기 마이크로폰 유닛(110)은 사람의 음성 신호를 수집하도록 일반적으로 상용되는 마이크로 구비되며, 음성신호에서 음향특징(Acoustic feature)을 수집할 수 있는 형태이면 자유로운 변경이 가능함은 물론이다.The microphone unit 110 is provided with a microphone commonly used to collect a human voice signal, and can be freely changed as long as it can collect acoustic features from the voice signal.

상기 제 1감정 추출유닛(120)은 상기 마이크로폰 유닛(110)에서 수집된 상기 음성 신호로부터 음향 특징에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)를 포함하는 제 1정보를 추출하도록 일반적으로 상용되는 마이크로 프로세서로 구비된다.The first emotion extracting unit 120 may include a statistical value, a maximum value, a loudness, a number of sections, an increasing rate, or a crossing rate of a pitch corresponding to a sound feature from the voice signal collected by the microphone unit 110. It is provided with a microprocessor commonly used to extract the first information including the rate).

이 때, 상기 제 1정보 감정 추출유닛(120)은 상기 제 1정보를 바예시안 학습(Bayesian Learning) 방법에 적용하여 감정별 패턴으로 분류하도록 구비된다.At this time, the first information emotion extraction unit 120 is provided to apply the first information to the Bayesian Learning method to classify the emotion pattern.

상기 카메라 유닛(130)은 사람의 얼굴 영상 신호를 인식하여 수집하도록 일반적으로 사용되는 카메라 또는 CCD 센서로 구비된다. 이 때, 연속적인 얼굴 영상 신호를 수집하도록 일반적으로 상용되는 캠코더로 구비되어, 동영상 형태의 얼굴 영상 신호를 수집하는 것도 가능하다.The camera unit 130 is provided with a camera or a CCD sensor that is generally used to recognize and collect a human face image signal. At this time, it is provided with a camcorder that is commonly used to collect the continuous face image signal, it is also possible to collect the face image signal in the form of a video.

상기 제 2감정 추출유닛(140)은 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈, 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하도록 상기 제 1감정 추출유닛(120)과 유사하게 일반적으로 상용되는 마이크로 프로세서로 구비된다.The second emotion extracting unit 140 extracts second information including at least one feature of a mouth, eyes, and eyebrows from the face image signal by using a skin tone accumulation algorithm and gray shape transformation. Similar to the extraction unit 120 is provided with a microprocessor generally commercially available.

또한, 상기 제 2정보 감정 추출유닛(140)은 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터벡터로 축소시키고, 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하도록 구비된다.In addition, the second information emotion extraction unit 140 applies the second information to a principal component analysis to reduce the unique data vector, which is a low dimensional feature vector, to reduce the unique data vector to Euclidean. Applied to the inner distance is provided to classify the pattern by emotion.

상기 결정 융합 유닛(150)은 상기 제 1 및 제2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하도록 마이크로 프로세서로 구비된다.The decision fusion unit 150 is equipped with a microprocessor to apply the first and second information to a fuzzy membership function based on decision fusion to classify emotion-specific patterns.

또한, 상기 결정 융합 유닛(150)에서 분류된 상기 감정별 패턴을 표시하는 표시유닛(미도시)을 구비하는 것도 가능하며, 이때, 상기 감정별 패턴을 사람의 얼굴을 그래픽화하여 표시하는 것이 바람직하다.In addition, it is also possible to include a display unit (not shown) for displaying the emotion-specific patterns classified by the crystal fusion unit 150, in which case, it is preferable to display the emotion-specific pattern by graphically displaying a face of a person. Do.

상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술분야의 숙련된 당업자라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.As described above, although described with reference to the preferred embodiment of the present invention, those skilled in the art various modifications and variations of the present invention without departing from the spirit and scope of the invention described in the claims below I can understand that you can.

도 1은 본 발명의 제 1실시예에 따른 결정 융합 기반 감정 인식 방법을 순서대로 도시한 순서도이다.1 is a flowchart illustrating a decision fusion based emotion recognition method according to a first embodiment of the present invention in order.

도 2는 제 1정보를 추출하는 단계를 상세히 나타낸 순서도이다.2 is a flow chart showing in detail the step of extracting the first information.

도 3은 음성신호를 이용한 감정인식 시스템을 도시한 예시도이다.3 is an exemplary diagram illustrating an emotion recognition system using a voice signal.

도 4는 제 2정보 추출단계를 좀 더 상세하게 도시한 순서도이다.4 is a flowchart illustrating the second information extraction step in more detail.

도 5는 얼굴 영상을 이용한 감정인식 시스템을 도시한 예시도이다.5 is an exemplary diagram illustrating an emotion recognition system using a face image.

도 6은 결과 표시 단계를 도시한 순서도이다.6 is a flowchart showing a result display step.

도 7은 본 발명의 제 2실시예에 따른 결정 융합 기반 감정 인식 시스템을 도시한 블록도이다.7 is a block diagram illustrating a decision fusion based emotion recognition system according to a second embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명> <Description of the symbols for the main parts of the drawings>

110:마이크로폰 유닛 120:제 1감정 추출유닛110: microphone unit 120: first emotion extraction unit

130:카메라 유닛 130:제 2감정 추출유닛130: camera unit 130: second emotion extraction unit

150:결정 융합 유닛150: crystal fusion unit

Claims (12)

음성 신호를 수집하는 단계;Collecting a voice signal; 상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)중 적어도 하나를 포함하는 제1정보를 추출하는 단계;Extracting first information including at least one of a statistical value, a maximum value, a loudness, a number of sections, an increasing rate or a crossing rate of a pitch from the voice signal; 얼굴 영상 신호를 인식하는 단계;Recognizing a face image signal; 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈 또는 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 단계; 및Extracting second information including at least one feature of a mouth, eyes, or eyebrows from the face image signal using a skin tone accumulation algorithm and a gray shape transformation; And 상기 제 1 및 제 2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 단계;A decision fusion step of classifying emotion-specific patterns by applying the first and second information to a fuzzy membership function based on decision fusion; 를 포함하는 결정 융합 기반 감정인식 방법.Decision convergence based emotion recognition method comprising a. 제 1항에 있어서,The method of claim 1, 상기 제 1정보를 추출하는 단계는 Extracting the first information 상기 제 1정보를 바예시안 학습(Bayesian Learning)에 적용하여 감정별 패턴으로 분류하는 단계를 더 포함하는 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.And applying the first information to Bayesian learning and classifying the information into emotion patterns. 제 1항에 있어서,The method of claim 1, 상기 제 2정보 추출단계는The second information extraction step 다차원 특징 벡터인 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터 벡터로 축소시키는 축소단계; 및A reduction step of applying the second information, which is a multidimensional feature vector, to a unique data vector that is a low dimensional feature vector by applying the principal component analysis to a principal component analysis; And 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 단계;Classifying patterns by emotion by applying the eigendata vector to Euclidean distance; 를 더 포함하는 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.Decision fusion based emotion recognition method further comprising. 제 1항에 있어서,The method of claim 1, 상기 퍼지 소속 함수는 가중치를 통해 인식률을 향상시키는 시그모이드(SIGMOID) 퍼지 소속함수인 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.The fuzzy membership function is a decision fusion based emotion recognition method, characterized in that the sigmoid (SIGMOID) fuzzy membership function that improves the recognition rate through a weight. 제 4항에 있어서,The method of claim 4, wherein 상기 시그모이드(SIGMOID) 퍼지 소속함수는The sigmoid fuzzy membership function
Figure 112007085940490-PAT00009
Figure 112007085940490-PAT00009
 상기 wi, wn 는 차례로 상기 제 1및 제 2정보에 대한 가중치이며, xs, xi 는 차례로 상기 제 1및 제 2정보를 통해 감정을 인식한 결과값이며, cs, ci 는 상기 제 1및 제 2정보에 대한 학습 데이터들을 감정을 인식한 후 감정 별로 평균을 구한 결과값이고, 상기 a는 소속 함수의 기울기 값인 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.The w i , w n are in turn a weight for the first and second information, x s , x i are in turn a result of recognizing the emotion through the first and second information, c s , c i is Decision fusion-based emotion recognition method, characterized in that the learning data for the first and second information after the recognition of the emotion and averaged for each emotion, a is the slope value of the membership function. 제 5항에 있어서,The method of claim 5, 상기 a는 0.01내지 0.1 값 사이인 것을 특징으로 하는 결정 융합 기반 감정 인식 방법. Wherein a is in a range of 0.01 to 0.1. 제 6항에 있어서,The method of claim 6, 상기 a는 0.05인 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.Wherein a is 0.05. 제 7항에 있어서,The method of claim 7, wherein 상기 결정융합단계는 평활(Onormal), 기쁨(Ohappy), 놀람(Osurprise), 슬픔(Osad) 및 화남(Oanger)의 다섯 가지 감정 중 적어도 하나로 상기 제 1 및 제 2정보를 융합하고, 상기 결정융합단계를 표현하는 수식은The crystal fusion step is the fusion of the first and second information with at least one of five emotions: O normal , O happy , O surprise , O sad and O anger . And, the formula representing the crystal fusion step is
Figure 112007085940490-PAT00010
Figure 112007085940490-PAT00010
 이고, O는 감정상태의 출력 값이고, 상기 I는 상기 제 2정보에서 추출된 감정 출력값이고, 상기 S는 상기 제 1정보에서 추출된 감정 출력값인 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.And O is an output value of an emotional state, I is an emotion output value extracted from the second information, and S is an emotion output value extracted from the first information. 제 8항에 있어서,The method of claim 8, 상기 결정융합단계에서 결정된 감정 인식 결과를 표시하는 단계를 더 포함하고, 상기 감정 인식 결과를 표시하는 단계는 상기 Onormal, Ohappy, Osurprise, Osad 및 Oanger 중 가장 큰 값에 따라 상기 감정인식 결과를 표시하는 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.The method may further include displaying an emotion recognition result determined in the decision fusion step, and displaying the emotion recognition result may include the emotion according to the largest value among O normal , O happy , O surprise , O sad, and O anger . A decision fusion based emotion recognition method characterized by displaying a recognition result. 음성 신호를 수집하는 마이크로폰 유닛;A microphone unit for collecting a voice signal; 상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate) 중 적어도 하나를 포함하는 제1정보를 추출하는 제 1감정 추출유닛;A first emotion extraction unit for extracting first information including at least one of a statistical value, a maximum value, a loudness, a number of sections, an increasing rate or a crossing rate of a pitch from the voice signal; 얼굴 영상 신호를 수집하는 카메라 유닛;A camera unit collecting a face image signal; 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈, 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 제 2감정 추출유닛; 및A second emotion extraction unit extracting second information including at least one feature of a mouth, eyes, and eyebrows from the face image signal by using a skin tone accumulation algorithm and gray shape transformation; And 상기 제 1 및 제2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 유닛;A decision fusion unit for classifying emotion-specific patterns by applying the first and second information to a fuzzy membership function based on decision fusion; 을 포함하는 결정 융합 기반 감정 인식 시스템.Decision-based emotion recognition system comprising a. 제 10항에 있어서,The method of claim 10, 상기 제 1정보 감정 추출유닛은 상기 제 1정보를 바예시안 학습(Bayesian Learning) 방법에 적용하여 감정별 패턴으로 분류하는 것을 특징으로 하는 결정 융합 기반 감정 인식 시스템.And the first information emotion extraction unit classifies the first information into a pattern for each emotion by applying the Bayesian learning method. 제 10항에 있어서,The method of claim 10, 상기 제 2정보 감정 추출유닛은 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터벡터로 축소시키고, 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 것을 특징으로 하는 결정 융합 기반 감정 인식 시스템.The second information emotion extracting unit applies the second information to a principal component analysis to reduce the unique data vector as a low dimensional feature vector, and applies the unique data vector to the Euclidean distance. A decision fusion based emotion recognition system, characterized by classifying patterns by emotion.
KR1020070122344A 2007-11-28 2007-11-28 Emotion recognition mothod and system based on decision fusion KR100958030B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070122344A KR100958030B1 (en) 2007-11-28 2007-11-28 Emotion recognition mothod and system based on decision fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070122344A KR100958030B1 (en) 2007-11-28 2007-11-28 Emotion recognition mothod and system based on decision fusion

Publications (2)

Publication Number Publication Date
KR20090055425A true KR20090055425A (en) 2009-06-02
KR100958030B1 KR100958030B1 (en) 2010-05-17

Family

ID=40987093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070122344A KR100958030B1 (en) 2007-11-28 2007-11-28 Emotion recognition mothod and system based on decision fusion

Country Status (1)

Country Link
KR (1) KR100958030B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012089906A1 (en) * 2010-12-30 2012-07-05 Nokia Corporation Method, apparatus and computer program product for emotion detection
KR101284561B1 (en) * 2011-02-14 2013-07-11 충남대학교산학협력단 System and method for multi-modality emotion recognition and recording medium thereof
WO2020075882A1 (en) * 2018-10-10 2020-04-16 에스투원 주식회사 Forensic science apparatus
CN111401268A (en) * 2020-03-19 2020-07-10 内蒙古工业大学 Multi-mode emotion recognition method and device for open environment
KR20210099446A (en) * 2020-02-04 2021-08-12 상명대학교산학협력단 Emotion cognition method of video by using acoustic attributes and apparatus adopting the method
US11948241B2 (en) 2018-09-14 2024-04-02 Lg Electronics Inc. Robot and method for operating same

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
CN103828343B (en) 2011-06-10 2017-07-11 菲力尔系统公司 Based on capable image procossing and flexible storage system
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
CA2838992C (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
CN109618084B (en) 2011-06-10 2021-03-05 菲力尔系统公司 Infrared imaging system and method
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2967058B2 (en) * 1997-02-14 1999-10-25 株式会社エイ・ティ・アール知能映像通信研究所 Hierarchical emotion recognition device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012089906A1 (en) * 2010-12-30 2012-07-05 Nokia Corporation Method, apparatus and computer program product for emotion detection
KR101284561B1 (en) * 2011-02-14 2013-07-11 충남대학교산학협력단 System and method for multi-modality emotion recognition and recording medium thereof
US11948241B2 (en) 2018-09-14 2024-04-02 Lg Electronics Inc. Robot and method for operating same
WO2020075882A1 (en) * 2018-10-10 2020-04-16 에스투원 주식회사 Forensic science apparatus
KR20210099446A (en) * 2020-02-04 2021-08-12 상명대학교산학협력단 Emotion cognition method of video by using acoustic attributes and apparatus adopting the method
CN111401268A (en) * 2020-03-19 2020-07-10 内蒙古工业大学 Multi-mode emotion recognition method and device for open environment
CN111401268B (en) * 2020-03-19 2022-11-15 内蒙古工业大学 Multi-mode emotion recognition method and device for open environment

Also Published As

Publication number Publication date
KR100958030B1 (en) 2010-05-17

Similar Documents

Publication Publication Date Title
KR100958030B1 (en) Emotion recognition mothod and system based on decision fusion
CN108805089B (en) Multi-modal-based emotion recognition method
CN108899050B (en) Voice signal analysis subsystem based on multi-modal emotion recognition system
KR100903348B1 (en) Emotion recognition mothod and system based on feature fusion
CN110188343B (en) Multi-mode emotion recognition method based on fusion attention network
De Silva et al. Bimodal emotion recognition
Hoch et al. Bimodal fusion of emotional data in an automotive environment
KR20100001928A (en) Service apparatus and method based on emotional recognition
CN113158727A (en) Bimodal fusion emotion recognition method based on video and voice information
Huang et al. Emotion recognition based on a novel triangular facial feature extraction method
KR100988323B1 (en) Method and apparatus of recognizing detailed facial expression using facial expression information amplification
Hussain et al. A radial base neural network approach for emotion recognition in human speech
CN113343860A (en) Bimodal fusion emotion recognition method based on video image and voice
CN112101096A (en) Suicide emotion perception method based on multi-mode fusion of voice and micro-expression
Rwelli et al. Gesture based Arabic sign language recognition for impaired people based on convolution neural network
Abdul-Hadi et al. Human speech and facial emotion recognition technique using SVM
CN112380924A (en) Depression tendency detection method based on facial micro-expression dynamic recognition
Rasoulzadeh Facial expression recognition using fuzzy inference system
Mujaddidurrahman et al. Speech Emotion Recognition Using 2D-CNN with Data Augmentation
Abdullahi et al. IDF-Sign: addressing inconsistent depth features for dynamic sign word recognition
Atkar et al. Speech Emotion Recognition using Dialogue Emotion Decoder and CNN Classifier
Huang et al. Learning collaborative decision-making parameters for multimodal emotion recognition
Lee et al. Recognition of facial emotion through face analysis based on quadratic bezier curves
Singh et al. Implementation and evaluation of DWT and MFCC based ISL gesture recognition
Meghjani et al. Bimodal information analysis for emotion recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee