KR100958030B1 - 결정 융합 기반 감정인식 방법 및 시스템 - Google Patents

결정 융합 기반 감정인식 방법 및 시스템 Download PDF

Info

Publication number
KR100958030B1
KR100958030B1 KR1020070122344A KR20070122344A KR100958030B1 KR 100958030 B1 KR100958030 B1 KR 100958030B1 KR 1020070122344 A KR1020070122344 A KR 1020070122344A KR 20070122344 A KR20070122344 A KR 20070122344A KR 100958030 B1 KR100958030 B1 KR 100958030B1
Authority
KR
South Korea
Prior art keywords
emotion
information
decision fusion
fusion
extracting
Prior art date
Application number
KR1020070122344A
Other languages
English (en)
Other versions
KR20090055425A (ko
Inventor
심귀보
주종태
서상욱
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020070122344A priority Critical patent/KR100958030B1/ko
Publication of KR20090055425A publication Critical patent/KR20090055425A/ko
Application granted granted Critical
Publication of KR100958030B1 publication Critical patent/KR100958030B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

결정 융합 기반 감정 인식 방법 및 시스템이 개시된다. 상기 결정 융합 기반 감정 인식 방법은 음성 신호를 수집하는 단계, 상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)중 적어도 하나를 포함하는 제1정보를 추출하는 단계, 얼굴 영상 신호를 인식하는 단계, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈 또는 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 단계 및 상기 제 1 및 제 2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 단계를 포함한다. 또한, 상기 결정 융합 기반 감정 인식 시스템은 음성 신호를 수집하는 마이크로폰 유닛, 상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate) 중 적어도 하나를 포함하는 제1정보를 추출하는 제 1감정 추출유닛, 얼굴 영상 신호를 인식하는 카메라 유닛, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈, 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 제 2감정 추출유닛 및 상기 제 1 및 제2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 유닛, 을 포함한다. 따라서, 음성 신호와 영상신호를 시그모이드 퍼지 소속 함수를 이용하여 결정 융합 기반으로 감정을 인식하게 되어 상대적으로 인식률이 높은 이점이 있다.
감정 인식, 음성 신호, 영상 신호, 결정 융합

Description

결정 융합 기반 감정인식 방법 및 시스템{EMOTION RECOGNITION MOTHOD AND SYSTEM BASED ON DECISION FUSION}
본 발명은 결정 융합 기반 감정 인식 방법 및 시스템에 관한 것으로, 보다 상세하게는 사람의 음성 신호로부터 인식된 감정 패턴과 얼굴 영상 신호로부터 추출된 감정 패턴을 시그모이드 퍼지 소속함수를 이용하여 결정 융합 기반으로 감정을 인식하여, 각각의 매개체의 단점을 보완하는 결정 융합 기반 감정 인식 방법 및 시스템에 관한 것이다.
컴퓨터나 로봇 기술들이 점점 발전함에 따라 인간과의 상호교류에 대한 연구도 활발히 진행되고 있다. 이러한 연구는 인간에게 보다 편리하고 정확한 서비스를 제공하기 위해서 이루어지고 있으며 그 중에 인간의 감정을 인식하고 표현해주는 기능들은 필수라 하겠다. 그리고 이 기능들을 통해 인간-컴퓨터(로봇) 사이의 감정적인 교류가 가능해 질 것이라 생각된다. 그리고 이러한 감정 정보를 연구하는 분야는 크게 인식 부분과 표현 부분으로 나누어 질 수 있다.
인간으로부터 감정을 인식할 수 있는 매개체로는 음성, 얼굴영상, 제스처, 생체신호, 피부온도 등이 존재한다. 그 중에 음성신호와 얼굴영상을 이용한 연구가 가장 활발히 이루어지고 있다.
감정 인식에 관한 기존의 연구들로는 다음과 같은 것들이 존재한다. 먼저 음성 신호를 이용한 감정 인식의 연구로 Lee C.M. et al와 New T.L. et al은 음성 신호로부터 특징을 추출하는 방법으로 13차와 12차 MFCCs(Mel Frequency Cepstral Coefficients)를 사용하였으며 감정별 패턴 분류는 HMM(Hidden Markov Model)을 이용하였고, J.Nicholson은 8개의 감정(기쁨, 슬픔, 놀람, 화남, 혐오, 분노, 증오)들의 특징들을 추출했고 그 특징들은 운율적인 특징과 음성적인 특징들로 분류하였다.
다음으로 Mase et al은 얼굴 영상에 지역별로 11개의 windows를 형성한 후 이 windows별로 근육의 움직임 정도를 파악하여 특징을 추출하였다. 그리고 K-nearest neighbor 규칙을 이용하여 감정별 패턴을 분류하였다.
이밖에 제스처 및 피부 온도를 이용한 연구사례로는 많은 연구가 존재한다.
감정 융합 방법으로는 크게 결정 융합 방법과 특징 융합 방법이 존재한다. 전자 방법의 경우에는 각각 인식 시스템을 통해 인식된 결과 값을 이용하는 방법이고 후자 방법의 경우에는 각각의 매개체에서 특징들을 추출한 후 감정 융합이 이루어지는 방법이다. 현재 이와 관련 연구 사례로는 다음과 같은 것들이 있다.
Mingli Song은 특징 융합 방법으로 Hidden Markove Model(HMM)을 이용하여 음성과 얼굴 영상에 대한 감정 인식 실험을 하였으며 De silva는 결정 융합 방법으로 퍼지 룰 베이스를 이용하여 음성과 얼굴영상에 대한 감정 인식 실험을 하였다. 그리고 Busso는 두 가지 방법에 대해 실험하고 비교 설명하였다.
그러나, 종래의 감점인식 방법 또는 시스템은 다음과 같은 문제점이 있다.
첫 번째로, 대부분의 기존 연구가 특정 한가지의 매개체만을 이용하였고 이로 인해 다양한 인간들의 감정을 인식하는 데 한계가 있는 문제점을 가지고 있다.
특히, 실제로 인간들이 감정을 인식할 때는 여러 가지 매개체를 고려하여 감정이 인식된다. 그러므로 컴퓨터나 로봇에서도 여러 매개체들을 고려하여 감정을 인식하는 연구가 이루어져야 할 것이다.
두 번째로, 단순한 결정융합 방법은 각각의 매개체의 단점을 보완하기에는 부족한 문제점이 있다.
상술한 문제점을 해결하기 위한 본 발명의 일 목적은 음성신호와 얼굴 영상신호를 이용하여 인간들의 감정을 인식하는 결정 융합 기반 감정인식 방법 및 시스템을 제공함에 있다.
본 발명의 다른 목적은, 각각의 매개체의 단점을 보완하는 결정 융합 기반 감정인식 방법 및 시스템을 제공함에 있다.
상술한 본 발명의 목적들을 달성하기 위한 본 발명의 바람직한 실시예에 따르면, 결정 융합 기반 감정인식 방법은 음성 신호를 수집하는 단계, 상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)중 적어도 하나를 포함하는 제1정보를 추출하는 단계, 얼굴 영상 신호를 인식하는 단계, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈 또는 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 단계 및 상기 제 1 및 제 2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 단계를 포함한다.
여기서, 상기 제 1정보를 추출하는 단계는 상기 제 1정보를 바예시안 학습(Bayesian Learning)에 적용하여 감정별 패턴으로 분류하는 단계를 더 포함하는 것이 바람직하다.
그리고, 상기 제 2정보 추출단계는 다차원 특징 벡터인 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터 벡터로 축소시키는 축소단계 및 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 단계를 더 포함하는 것이 더욱 바람직하다.
또한, 상기 퍼지 소속 함수는 가중치를 통해 인식률을 향상시키는 시그모이드(SIGMOID) 퍼지 소속함수인 것이 바람직하며, 이 때, 상기 시그모이드(SIGMOID) 퍼지 소속함수는
Figure 112007085940490-pat00001
이고, 상기 wi, wn 는 차례로 상기 제 1및 제 2정보에 대한 가중치이며, xs, xi 는 차례로 상기 제 1및 제 2정보를 통해 감정을 인식한 결과값이며, cs, ci 는 상기 제 1및 제 2정보에 대한 학습 데이터들을 감정을 인식한 후 감정 별로 평균을 구한 결과값이고, 상기 a는 소속 함수의 기울기 값이다.
또한, 상기 a는 0.01내지 0.1 값 사이인 것이 바람직하며, 상기 a는 0.05인 것이 더욱 바람직하다.
그리고, 상기 결정융합단계는 평활(Onormal), 기쁨(Ohappy), 놀람(Osurprise), 슬픔(Osad) 및 화남(Oanger)의 다섯 가지 감정 중 적어도 하나로 상기 제 1 및 제 2정보를 융합하고, 상기 결정융합단계를 표현하는 수식은
Figure 112007085940490-pat00002
이고, O는 감정상태의 출력 값이고, 상기 I는 상기 제 2정보에서 추출된 감정 출력값이고, 상기 S는 상기 제 1정보에서 추출된 감정 출력값으로 표시되는 것이 바람직하다.
또한, 상기 결정융합단계에서 결정된 감정 인식 결과를 표시하는 단계를 더 포함하고, 상기 감정 인식 결과를 표시하는 단계는 상기 Onormal, Ohappy, Osurprise, Osad 및 Oanger 중 가장 큰 값에 따라 상기 감정인식 결과를 표시하는 것이 더욱 바람직하 다.
또한, 상술한 목적들을 달성하기 위한 본 발명의 다른 바람직한 실시예에 따르면, 결정 융합 기반 감정 인식 시스템은 음성 신호를 수집하는 마이크로폰 유닛, 상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate) 중 적어도 하나를 포함하는 제1정보를 추출하는 제 1감정 추출유닛, 얼굴 영상 신호를 인식하는 카메라 유닛, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈, 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 제 2감정 추출유닛 및 상기 제 1 및 제2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 유닛, 을 포함한다.
이 때, 상기 제 1정보 감정 추출유닛은 상기 제 1정보를 Bayesian Learning에 적용하여 감정별 패턴으로 분류하는 것이 바람직하다.
또한, 상기 제 2정보 감정 추출유닛은 상기 제 2정보를 Principal component analysis에 적용하여 저차원 특징벡터인 고유 데이터벡터로 축소시키고, 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 것이 더욱 바람직하다.
본 발명에 따르면, 음성 신호와 얼굴 영상 신호를 이용하여 인간들의 감정을 효과적으로 인식할 수 있는 효과가 있다.
또한, 시그모이드 퍼지 소속 함수를 이용하여 결정 융합을 시행함으로써 가중치를 부여하여 각각의 매개체의 단점을 보완할 수 있는 이점이 있다.
이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다. 참고로, 이하 설명에서는 구성 및 기능이 거의 동일하여 동일하게 취급될 수 있는 요소는 동일한 참조번호로 특정될 수 있다.
제 1실시예
본 발명의 제 1실시예에 따른 결정 융합 기반 감정 인식 방법에 대해 설명하면 다음과 같다. 도 1은 본 발명의 제 1실시예에 따른 결정 융합 기반 감정 인식 방법을 순서대로 도시한 순서도이다.
이에 도시된 바와 같이, 상기 결정 융합 기반 감정 인식 방법은 먼저, 사람의 음성 신호를 인식하는 단계(P1)를 거친다.
다음, 상기 음성 신호의 음향 특성(acoustic feature)에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 및 교차율(crossing rate) 중 적어도 하나의 정보를 포함하는 제 1정보를 추출한다(P2).
이 때, 상기 제 1정보는 정확한 정보의 추출을 위하여 의미적인 특징을 배제한 운율적인 특징만을 고려하여 추출된다.
여기서, 상기 제 1정보를 추출하는 단계(P2)를 좀 더 상세히 설명하기 위하여 도 2를 제시한다. 도 2는 제 1정보를 추출하는 단계를 상세히 나타낸 순서도이다.
이에 도시된 바와 같이, 상기 제 1정보를 추출하는 단계(P2)는 상기 제 1정보를 바예시안 학습(Bayesian learning)에 적용하여 감정별 패턴으로 분류하는 단계(P21)를 더 포함한다.
상기 바예시안 학습은 사전확률을 이용하여 어떤 가설의 확률을 계산하는 방법으로, 본 명세서에서는 복수 개의 음성 샘플들을 이용하여 각 감정과 특징들 간의 확률 분포를 조사하여 사전 확률을 계산하였다. 이에 대한 실험 결과, 즉, 음성 신호의 감정 인식 결과를 도시한 표 1은 다음과 같다.
Figure 112007085940490-pat00003
이다. 표 1은 실험자마다 50번의 실험을 하여 감정별 평균 인식률을 구한 결과이며, 실험자에 따라 감정별 인식률의 결과가 차이가 나며, 그 이유는 사람마다 감정별 표현 방식이 차이가 나기 때문이다.
그리고, 사용자의 확률 분포와 유사 정도를 파악하여 5가지 감정으로 패턴 분류 하였으며, 상술한 일련의 과정들을 실험하는 시스템을 도시한 도 3을 제시한다. 도 3은 음성신호를 이용한 감정인식 시스템을 도시한 예시도이다.
다음, 얼굴 영상 신호를 인식하는 단계(P3)를 거친다.
다음, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈 또는 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 단계(P4)를 거친다.
상기 피부톤 축적 알고리즘은 상기 얼굴 영상 신호에 대해여 피부색 영역만을 검출 한 후 피부색 픽셀만을 축적하는 방법을 말하며, 상기 그레이 형태 변환은 추출된 특징들을 영상처리에 용이한 그레이(gray)형태로 변환한 후 기본적인 히스토그램 평활화, 1차 미분 필터(Sobel 연산자) 등을 통해 영상처리를 한다. 여기서, 얼굴 영상의 감정 인식 결과를 나타낸 표 2는 다음과 같다.
Figure 112007085940490-pat00004
이다.
이 때, 본 실시예에서는 차례대로 P1단계 내지 P4단계를 제시하였지만, 이에 한정되거나 제한되는 것은 아니며, 예를 들면, 상기 P1내지 P2단계와 상기 P3내지 P4단계를 병행하여 시행하거나, 차례를 바꾸어 시행하도록 하는 것도 가능하다.
여기서, 얼굴 영상을 이용하여 감정 인식을 하기 위해서는 특징을 추출해야 하며, 추출된 특징들은 다차원 특징 벡터로 구성되어 있어 패턴을 분류하기에 용이하지 않다. 따라서, 정보의 특성을 유지하면서 저차원으로 특징 벡터를 축소시키는 방법이 필요하며, 본 명세서에서는 프린시플 컴포넌트 분석(Principal component analysis)을 사용한다. 이를 좀 더 상세히 설명하기 위하여 도 4를 제시한다. 도 4는 제 2정보 추출단계를 좀 더 상세하게 도시한 순서도이다.
이에 도시된 바와 같이, 먼저, 다차원 특징 벡터인 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터 벡터로 축소시키는 축소단계(P41)를 거친다. 여기서, 상기 프린시플 컴포넌트 분석(Principal component analysis)는 서로 상관이 있는 변량을 서로 상관이 없는 몇 개의 특성치로 축약하는 다변량해석 수법의 하나이다.
다음, 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 단계(P42)를 거친다.
좀 더 상세히 설명하면, 상기 유클리안 거리를 통해 학습 데이터와 입력 데이터간의 거리를 비교하여 그 거리가 최소가 되는 표정이 입력과 가장 유사한 표정이므로 그 학습데이터의 감정을 결과로 결정하게 된다. 상술한 일련의 과정들을 실험할 수 있는 시스템은 도 5와 같다. 도 5는 얼굴 영상을 이용한 감정인식 시스템을 도시한 예시도이다.
다음, 상기 제 1 및 제 2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하는 결정 융합 단계(P5)를 거침으로써 결정 융합 기반 감정 인식 방법이 완료된다.
여기서, 상기 퍼지 소속 함수는 가중치를 통해 인식률을 향상시키는 시그모이드(SIGMOID) 퍼지 소속함수를 이용한다. 상기 시그모이드(SIGMOID) 퍼지 소속함수는 수학식 1과 같다.
Figure 112007085940490-pat00005
이고, 상기 wi, wn 는 차례로 상기 제 1및 제 2정보에 대한 가중치이며, xs, xi 는 차례로 상기 제 1및 제 2정보를 통해 감정을 인식한 결과값이며, cs, ci 는 상기 제 1및 제 2정보에 대한 학습 데이터들을 감정을 인식한 후 감정 별로 평균을 구한 결과값이고, 상기 a는 소속 함수의 기울기 값이다.
여기서, 상기 시그모이드 퍼지 소속함수는 감정별로 가중치를 연산한다. 또한, 상기 a는 0.01내지 0.1 값 사이인 것을 변화시키며 실험한다. 이 때, 가중치 의 결과 값이 가장 우수한 것으로 나타나도록 상기 a는 0.05인 것이 바람직하다.
상기 수학식 1의 연산으로 가중치를 구한 후, 상기 제 1정보 및 상기 제 2정보에서 얻어진 결과 값에 곱을 취하여 각각의 감정상태에 대한 출력이 산출된다. 이 때, 상기 감정상태에 대한 식을 나타내면 수학식 2와 같다.
Figure 112007085940490-pat00006
이다. 여기서, 상기 감정 상태는 각각 평활(Onormal), 기쁨(Ohappy), 놀람(Osurprise), 슬픔(Osad) 및 화남(Oanger)에 따른 다섯 가지 감정으로 표시되고, 이 때, O는 감정상태의 출력 값이고, 상기 I는 상기 제 2정보에서 추출된 감정 출력값이고, 상기 S는 상기 제 1정보에서 추출된 감정 출력값이다.
더불어, 상기 결정융합단계(P5)는 결정된 감정 인식 결과를 표시하는 단계를 더 포함하는 것도 가능하며, 이를 설명하기 위하여 도 6을 제시한다. 도 6은 결과 표시 단계를 도시한 순서도이다.
이에 도시된 바와 같이, 상기 결정 융합 기반 감정 인식 방법은 결정융합단계(P5) 이후에 결과 표시 단계(P6)를 더 포함한다.
상기 결과 표시 단계(P6)는 상기 결정융합 단계(P5)에서 결정된 감정 인식 결과, 즉, Onormal, Ohappy, Osurprise, Osad 및 Oanger 값 중 가장 큰 값에 따라 상기 감정 인식 결과를 표시한다. 이를 수식으로 나타내는 수학식 3과 같다.
Figure 112007085940490-pat00007
이다.
또한, 상기 결과 표시 단계(P6)에서 표시되는 인식 결과값을 나타낸 표 3은 다음과 같다.
Figure 112007085940490-pat00008
이다.
여기서, 상기 음성 신호에 의한 감정 인식 결과를 나타낸 표 1과 상기 영상 신호에 의한 감정 인식 결과를 나타낸 표 2와 비교하면 표 3에 도시된 결정 융합 방법에 의한 감정 인식 결과가 우수함을 알 수 있다.
즉, 음성 신호 또는 영상 신호 단독으로 감정 인식을 하는 것보다 결정 융합 방법에 의해 감정 인식을 하는 것이 각각의 매개체의 단점을 보완하여 상대적으로 우수한 감정 인식 결과를 얻을 수 있다.
제 2실시예
상술한 본 발명이 목적들을 달성하기 위한 본 발명의 제 2실시예에 따른 결정 융합 기반 감정 인식 시스템을 설명하면 다음과 같다. 도 7은 본 발명의 제 2실시예에 따른 결정 융합 기반 감정 인식 시스템을 도시한 블록도이다. 참고로, 제 1실시예와 유사하거나 중복되는 설명은 생략하기로 한다.
이에 도시된 바와 같이, 상기 결정 융합 기반 감정 인식 시스템은 마이크로폰 유닛(110), 제 1감정 추출유닛(120), 카메라 유닛(130), 제 2감정 추출유닛(140) 및 결정 융합 유닛(150)을 포함한다.
상기 마이크로폰 유닛(110)은 사람의 음성 신호를 수집하도록 일반적으로 상용되는 마이크로 구비되며, 음성신호에서 음향특징(Acoustic feature)을 수집할 수 있는 형태이면 자유로운 변경이 가능함은 물론이다.
상기 제 1감정 추출유닛(120)은 상기 마이크로폰 유닛(110)에서 수집된 상기 음성 신호로부터 음향 특징에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)를 포함하는 제 1정보를 추출하도록 일반적으로 상용되는 마이크로 프로세서로 구비된다.
이 때, 상기 제 1정보 감정 추출유닛(120)은 상기 제 1정보를 바예시안 학습(Bayesian Learning) 방법에 적용하여 감정별 패턴으로 분류하도록 구비된다.
상기 카메라 유닛(130)은 사람의 얼굴 영상 신호를 인식하여 수집하도록 일반적으로 사용되는 카메라 또는 CCD 센서로 구비된다. 이 때, 연속적인 얼굴 영상 신호를 수집하도록 일반적으로 상용되는 캠코더로 구비되어, 동영상 형태의 얼굴 영상 신호를 수집하는 것도 가능하다.
상기 제 2감정 추출유닛(140)은 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈, 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하도록 상기 제 1감정 추출유닛(120)과 유사하게 일반적으로 상용되는 마이크로 프로세서로 구비된다.
또한, 상기 제 2정보 감정 추출유닛(140)은 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터벡터로 축소시키고, 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하도록 구비된다.
상기 결정 융합 유닛(150)은 상기 제 1 및 제2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function)에 적용하여 감정별 패턴을 분류하도록 마이크로 프로세서로 구비된다.
또한, 상기 결정 융합 유닛(150)에서 분류된 상기 감정별 패턴을 표시하는 표시유닛(미도시)을 구비하는 것도 가능하며, 이때, 상기 감정별 패턴을 사람의 얼굴을 그래픽화하여 표시하는 것이 바람직하다.
상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술분야의 숙련된 당업자라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 제 1실시예에 따른 결정 융합 기반 감정 인식 방법을 순서대로 도시한 순서도이다.
도 2는 제 1정보를 추출하는 단계를 상세히 나타낸 순서도이다.
도 3은 음성신호를 이용한 감정인식 시스템을 도시한 예시도이다.
도 4는 제 2정보 추출단계를 좀 더 상세하게 도시한 순서도이다.
도 5는 얼굴 영상을 이용한 감정인식 시스템을 도시한 예시도이다.
도 6은 결과 표시 단계를 도시한 순서도이다.
도 7은 본 발명의 제 2실시예에 따른 결정 융합 기반 감정 인식 시스템을 도시한 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
110:마이크로폰 유닛 120:제 1감정 추출유닛
130:카메라 유닛 130:제 2감정 추출유닛
150:결정 융합 유닛

Claims (12)

  1. 음성 신호를 수집하는 단계;
    상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)중 적어도 하나를 포함하는 제1정보를 추출하는 단계;
    얼굴 영상 신호를 인식하는 단계;
    상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈 또는 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 단계; 및
    상기 제 1 및 제 2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function) 중 가중치를 통해 인식률을 향상시키는 시그모이드(SIGMOID) 퍼지 소속함수에 적용하여 감정별 패턴을 분류하는 결정 융합 단계;
    를 포함하고, 상기 시그모이드(SIGMOID) 퍼지 소속함수는
    Figure 112009051644676-pat00018
    상기 wi, wn 는 차례로 상기 제 1및 제 2정보에 대한 가중치이며, xs, xi 는 차례로 상기 제 1및 제 2정보를 통해 감정을 인식한 결과값이며, cs, ci 는 상기 제 1및 제 2정보에 대한 학습 데이터들을 감정을 인식한 후 감정 별로 평균을 구한 결과값이고, 상기 a는 소속 함수의 기울기 값인 것을 특징으로 하는 결정 융합 기반 감정인식 방법.
  2. 제 1항에 있어서,
    상기 제 1정보를 추출하는 단계는
    상기 제 1정보를 바예시안 학습(Bayesian Learning)에 적용하여 감정별 패턴으로 분류하는 단계를 더 포함하는 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.
  3. 제 1항에 있어서,
    상기 제 2정보 추출단계는
    다차원 특징 벡터인 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터 벡터로 축소시키는 축소단계; 및
    상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 단계;
    를 더 포함하는 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 a는 0.01내지 0.1 값 사이인 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.
  7. 제 6항에 있어서,
    상기 a는 0.05인 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.
  8. 제 7항에 있어서,
    상기 결정융합단계는 평활(Onormal), 기쁨(Ohappy), 놀람(Osurprise), 슬픔(Osad) 및 화남(Oanger)의 다섯 가지 감정 중 적어도 하나로 상기 제 1 및 제 2정보를 융합하고, 상기 결정융합단계를 표현하는 수식은
    Figure 112007085940490-pat00010
    이고, O는 감정상태의 출력 값이고, 상기 I는 상기 제 2정보에서 추출된 감정 출력값이고, 상기 S는 상기 제 1정보에서 추출된 감정 출력값인 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.
  9. 제 8항에 있어서,
    상기 결정융합단계에서 결정된 감정 인식 결과를 표시하는 단계를 더 포함하고, 상기 감정 인식 결과를 표시하는 단계는 상기 Onormal, Ohappy, Osurprise, Osad 및 Oanger 중 가장 큰 값에 따라 상기 감정인식 결과를 표시하는 것을 특징으로 하는 결정 융합 기반 감정 인식 방법.
  10. 음성 신호를 수집하는 마이크로폰 유닛;
    상기 음성 신호로부터 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate) 중 적어도 하나를 포함하는 제1정보를 추출하는 제 1감정 추출유닛;
    얼굴 영상 신호를 수집하는 카메라 유닛;
    상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈, 눈썹 중 적어도 하나의 특징을 포함한 제 2정보를 추출하는 제 2감정 추출유닛; 및
    상기 제 1 및 제2정보를 결정 융합 기반의 퍼지 소속 함수(Fuzzy membership function) 중 가중치를 통해 인식률을 향상시키는 시그모이드(SIGMOID) 퍼지 소속함수에 적용하여 감정별 패턴을 분류하는 결정 융합 유닛;
    을 포함하고, 상기 시그모이드(SIGMOID) 퍼지 소속함수는
    Figure 112009051644676-pat00019
    상기 wi, wn 는 차례로 상기 제 1및 제 2정보에 대한 가중치이며, xs, xi 는 차례로 상기 제 1및 제 2정보를 통해 감정을 인식한 결과값이며, cs, ci 는 상기 제 1및 제 2정보에 대한 학습 데이터들을 감정을 인식한 후 감정 별로 평균을 구한 결과값이고, 상기 a는 소속 함수의 기울기 값인 것을 특징으로 하는 결정 융합 기반 감정 인식 시스템.
  11. 제 10항에 있어서,
    상기 제 1정보 감정 추출유닛은 상기 제 1정보를 바예시안 학습(Bayesian Learning) 방법에 적용하여 감정별 패턴으로 분류하는 것을 특징으로 하는 결정 융합 기반 감정 인식 시스템.
  12. 제 10항에 있어서,
    상기 제 2정보 감정 추출유닛은 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터벡터로 축소시키고, 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하는 것을 특징으로 하는 결정 융합 기반 감정 인식 시스템.
KR1020070122344A 2007-11-28 2007-11-28 결정 융합 기반 감정인식 방법 및 시스템 KR100958030B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070122344A KR100958030B1 (ko) 2007-11-28 2007-11-28 결정 융합 기반 감정인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070122344A KR100958030B1 (ko) 2007-11-28 2007-11-28 결정 융합 기반 감정인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20090055425A KR20090055425A (ko) 2009-06-02
KR100958030B1 true KR100958030B1 (ko) 2010-05-17

Family

ID=40987093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070122344A KR100958030B1 (ko) 2007-11-28 2007-11-28 결정 융합 기반 감정인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR100958030B1 (ko)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140025385A1 (en) * 2010-12-30 2014-01-23 Nokia Corporation Method, Apparatus and Computer Program Product for Emotion Detection
KR101284561B1 (ko) * 2011-02-14 2013-07-11 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
KR102242779B1 (ko) 2018-09-14 2021-04-20 엘지전자 주식회사 로봇 및 그 동작 방법
WO2020075882A1 (ko) * 2018-10-10 2020-04-16 에스투원 주식회사 과학 수사 장치
KR102321420B1 (ko) * 2020-02-04 2021-11-03 상명대학교산학협력단 음향 속성을 이용한 동영상의 감성 인식 시스템 및 그 방법
CN111401268B (zh) * 2020-03-19 2022-11-15 内蒙古工业大学 一种面向开放环境的多模态情感识别方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10228295A (ja) * 1997-02-14 1998-08-25 Atr Chino Eizo Tsushin Kenkyusho:Kk 階層的感情認識装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10228295A (ja) * 1997-02-14 1998-08-25 Atr Chino Eizo Tsushin Kenkyusho:Kk 階層的感情認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Anders Friberg, 'A fuzzy analyzer of emotional expression in music performance and body motion' In: Proceedings of Music and Music Science, Stockholm, pp.1-13, 28-30 October 2004*

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10033944B2 (en) 2009-03-02 2018-07-24 Flir Systems, Inc. Time spaced infrared image enhancement
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9716844B2 (en) 2011-06-10 2017-07-25 Flir Systems, Inc. Low power and small form factor infrared imaging
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9538038B2 (en) 2011-06-10 2017-01-03 Flir Systems, Inc. Flexible memory systems and methods
US9723228B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Infrared camera system architectures
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10230910B2 (en) 2011-06-10 2019-03-12 Flir Systems, Inc. Infrared camera system architectures
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10250822B2 (en) 2011-06-10 2019-04-02 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor

Also Published As

Publication number Publication date
KR20090055425A (ko) 2009-06-02

Similar Documents

Publication Publication Date Title
KR100958030B1 (ko) 결정 융합 기반 감정인식 방법 및 시스템
CN108805089B (zh) 基于多模态的情绪识别方法
CN108899050B (zh) 基于多模态情绪识别系统的语音信号分析子系统
KR100903348B1 (ko) 특징 융합 기반 감정인식 방법 및 시스템
De Silva et al. Bimodal emotion recognition
CN107609572B (zh) 基于神经网络和迁移学习的多模态情感识别方法、系统
KR20100001928A (ko) 감정인식에 기반한 서비스 장치 및 방법
CN113158727A (zh) 一种基于视频和语音信息的双模态融合情绪识别方法
Huang et al. Emotion recognition based on a novel triangular facial feature extraction method
CN112418166B (zh) 一种基于多模态信息的情感分布学习方法
CN113343860A (zh) 一种基于视频图像和语音的双模态融合情感识别方法
Hussain et al. A radial base neural network approach for emotion recognition in human speech
CN112380924A (zh) 一种基于面部微表情动态识别的抑郁倾向检测方法
Rwelli et al. Gesture based Arabic sign language recognition for impaired people based on convolution neural network
Abdul-Hadi et al. Human speech and facial emotion recognition technique using SVM
KR20100011280A (ko) 표정 증폭을 이용한 미세 표정인식 방법 및 장치
Liliana et al. Review of automatic emotion recognition through facial expression analysis
CN112101096A (zh) 一种基于语音和微表情的多模态融合的自杀情绪感知方法
Mujaddidurrahman et al. Speech Emotion Recognition Using 2D-CNN with Data Augmentation
Rasoulzadeh Facial expression recognition using fuzzy inference system
Abdullahi et al. IDF-Sign: addressing inconsistent depth features for dynamic sign word recognition
Kazmi et al. Wavelets based facial expression recognition using a bank of neural networks
Lee et al. Recognition of facial emotion through face analysis based on quadratic bezier curves
Ding et al. Classification of Restlessness Level by Deep Learning of Visual Geometry Group Convolution Neural Network with Acoustic Speech and Visual Face Sensor Data for Smart Care Applications.
Meghjani et al. Bimodal information analysis for emotion recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee