KR20090055426A - 특징 융합 기반 감정인식 방법 및 시스템 - Google Patents

특징 융합 기반 감정인식 방법 및 시스템

Info

Publication number
KR20090055426A
KR20090055426A KR1020070122345A KR20070122345A KR20090055426A KR 20090055426 A KR20090055426 A KR 20090055426A KR 1020070122345 A KR1020070122345 A KR 1020070122345A KR 20070122345 A KR20070122345 A KR 20070122345A KR 20090055426 A KR20090055426 A KR 20090055426A
Authority
KR
South Korea
Prior art keywords
emotion
feature
face image
information
face
Prior art date
Application number
KR1020070122345A
Other languages
English (en)
Other versions
KR100903348B1 (ko
Inventor
심귀보
주종태
서상욱
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020070122345A priority Critical patent/KR100903348B1/ko
Publication of KR20090055426A publication Critical patent/KR20090055426A/ko
Application granted granted Critical
Publication of KR100903348B1 publication Critical patent/KR100903348B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit

Abstract

특징 융합 기반 감정 인식 방법 및 시스템이 개시된다. 상기 특징 융합 기반 감정 인식 방법은 음성 신호를 수집하는 단계, 상기 음성 신호로부터 음향 특성(acoustic feature)에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 및 교차율(crossing rate)을 포함한 6가지의 제1정보를 추출하는 단계, 얼굴 영상 신호를 인식하는 단계, 상기 얼굴 영상 신호로부터 입, 눈 및 눈썹의 특징을 포함한 5가지의 제 2정보를 추출하는 단계, 상기 제 1 및 제 2정보에서 SFS(sequential forward selection) 방법을 이용하여 특징 값을 선택하는 단계 및 선택된 상기 특징 값을 인공 신경망 중 역 전파(Back-Propagation)로 학습하는 다층 퍼셉트론(Multi Layer Perceptron)에 입력으로 설정하여 감정별 패턴을 분류하는 단계를 포함한다. 또한, 상기 특징 융합 기반 감정 인식 시스템은 음성 신호를 수집하는 마이크로폰 유닛, 상기 음성 신호로부터 음향 특성(acoustic feature)에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)을 포함하는 여섯 가지의 제1정보를 추출하는 제 1감정 추출유닛, 얼굴 영상 신호를 인식하는 카메라 유닛, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, Gray 형태 변환을 이용하여 입, 눈 또는 눈썹의 특징을 포함한 다섯 가지의 제 2정보를 추출하는 제 2감정 추출유닛 및 상기 제 1 및 제 2정보에서 SFS 방법을 이용하여 특징 값을 선택하는 제 1연산 유닛, 선택된 상기 특징 값을 인공 신경망 중 역 전파(Back-Propagation)로 학습하는 다층 퍼셉트론(Multi Layer Perceptron)에 입력으로 설정하여 감정별 패턴을 분류하는 제 2연산 유닛을 포함한다. 따라서, 음성 신호와 영상신호를 SFS방법을 통해 특징값을 선택하고, 역전파로 학습하는 다층 퍼셉트론을 이용하여 감정별 패턴을 분류하여 각 매개체 간의 단점을 보완하는 이점이 있다.

Description

특징 융합 기반 감정인식 방법 및 시스템{EMOTION RECOGNITION MOTHOD AND SYSTEM BASED ON FEATURE FUSION}
본 발명은 특징 융합 기반 감정 인식 방법 및 시스템에 관한 것으로, 보다 상세하게는 사람의 음성 신호로부터 인식된 정보와 얼굴 영상 신호로부터 추출된 정보를 SFS(sequential forward selection)방법을 이용하여 특징 값을 선택하고, 다층 퍼셉트론에 입력으로 설정하여 감정별 패턴을 분류함으로써 각각의 매개체의 단점을 보완하여 감정을 인식하는 특징 융합 기반 감정 인식 방법 및 시스템에 관한 것이다.
최근 일상생활에서 인간과 공존하는 인간 지향적 장치들이 점점 늘어가고 있으며 특히 산업에서만 사용되었던 로봇들이 집에서도 사용되게 되면서 가정 내에서 하나의 중추적인 역할을 수행하고 있다.
인간은 매우 감정적이기 때문에 인간과 인간 사이에도 많은 감정적인 교류가 필요하다. 그래서 인간 지향적 장치들도 인간처럼 감정 인터페이스를 할 수 있는 기능이 개발되어야 하며 이러한 감정 인터페이스는 크게 감정 인식 및 표현 부분으로 나누어 질 수 있다.
기존의 감정 인식에 관한 연구는 주로 생체 신호(음성, 얼굴영상, 제스처, 뇌파 등)들 중 각각을 이용하여 실험이 주로 이루어졌으며 특히 이중에 감정에 따른 변화가 심하고 측정하기 쉬운 음성과 얼굴 표정을 이용한 연구들이 많았다. 하지만 실제 인간 사이에서 감정을 인식하는데 있어서 특정 한 가지 생체 신호만을 이용하는 경우는 거의 존재하지 않는다. 대다수의 경우가 다양한 생체 신호를 접목시켜 감정을 인식하게 된다. 그러므로 인간 지향적 장치에도 다양한 생체 신호를 접목시켜 감정을 인식할 수 있는 기능들이 필요하다.
현재 이와 관련 연구가 진행되고 있으며 Mingli Song은 Hidden Markove Model(HMM)을 이용하여 음성과 얼굴 영상에 대한 감정 인식 실험을 하였으며, Hatice Gunces는 얼굴표정과 제스처에 대해서 결정 융합 방법과 특징 융합방법을 적용하여 감정 인식 실험을 하였다
또 De silva는 퍼지 룰 베이스 기반 음성과 얼굴영상에 대한 감정 인식 실험을 하였다. 이와 같은 실험을 통해 특정 한 가지 생체 신호만을 이용하는 경우보다는 다양한 생체 신호를 접목 시켜 감정 인식을 하는 경우가 인식률이 높음을 알 수 있었다.
이밖에 제스처 및 피부 온도를 이용한 연구사례로는 많은 연구가 존재한다.
감정 융합 방법으로는 크게 결정 융합 방법과 특징 융합 방법이 존재한다. 전자 방법의 경우에는 각각 인식 시스템을 통해 인식된 결과 값을 이용하는 방법이고 후자 방법의 경우에는 각각의 매개체에서 특징들을 추출한 후 감정 융합이 이루어지는 방법이다. 현재 이와 관련 연구 사례로는 다음과 같은 것들이 있다.
Mingli Song은 특징 융합 방법으로 Hidden Markove Model(HMM)을 이용하여 음성과 얼굴 영상에 대한 감정 인식 실험을 하였으며 De silva는 결정 융합 방법으로 퍼지 룰 베이스를 이용하여 음성과 얼굴영상에 대한 감정 인식 실험을 하였다. 그리고 Busso는 두 가지 방법에 대해 실험하고 비교 설명하였다.
그리고, 이러한 종래의 감정 인식 방법으로 인해 인식된 감정 표현을 표현할 수 있는 방법에는 기구적인 형태를 이용하는 방법이 존재한다.
그러나, 종래의 감정인식 방법 및 시스템 또는 표현 방식은 다음과 같은 문제점이 있다.
첫 번째로, 대부분의 기존 연구가 특정 한가지의 매개체만을 이용하였고 이로 인해 다양한 인간들의 감정을 인식하는 데 한계가 있는 문제점을 가지고 있다.
특히, 실제로 인간들이 감정을 인식할 때는 여러 가지 매개체를 고려하여 감정이 인식된다. 그러므로 컴퓨터나 로봇에서도 여러 매개체들을 고려하여 감정을 인식하여야 하나 이러한 감정 인식이 이루어 지지 않고 있는 문제점이 있다.
두 번째로, 상술한 감정 인식 방법을 통해 인식된 감정을 표현하는 기구적인 얼굴 형태를 이용하는 표현 방법은 다양한 표정을 구현하기 힘들고 불쾌감을 주는 문제점이 있다.
상술한 문제점을 해결하기 위한 본 발명의 일 목적은 음성신호와 얼굴 영상신호를 이용하여 인간들의 감정을 인식하는 특징 융합 기반 감정인식 방법 및 시스템을 제공함에 있다.
본 발명의 다른 목적은, 각각의 매개체의 단점을 보완하는 특징 융합 기반 감정인식 방법 및 시스템을 제공함에 있다.
상술한 목적들을 달성하기 위한 본 발명의 바람직한 실시예에 따르면, 특징 융합 기반 감정 인식 방법은 음성 신호를 수집하는 단계, 상기 음성 신호로부터 음향 특성(acoustic feature)에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 및 교차율(crossing rate)을 포함한 6가지의 제1정보를 추출하는 단계, 얼굴 영상 신호를 인식하는 단계, 상기 얼굴 영상 신호로부터 입, 눈 및 눈썹의 특징을 포함한 5가지의 제 2정보를 추출하는 단계, 상기 제 1 및 제 2정보에서 SFS(sequential forward selection) 방법을 이용하여 특징 값을 선택하는 단계 및 선택된 상기 특징 값을 인공 신경망 중 역 전파(Back-Propagation)로 학습하는 다층 퍼셉트론(Multi Layer Perceptron)에 입력으로 설정하여 감정별 패턴을 분류하는 단계를 포함한다.
여기서, 상기 신경망에 해당되는 초기 파라미터는 입력층(Input units)은 5, 은닉층(Hidden Units)은 13, 출력층(Output Units)은 3, 학습율 (Learning Rate)는 0.005, 허용치(Tolerance)는 0.1이고, 시그모이드 함수(Sigmoid Function)는 1/(1+e-3x)인 것이 바람직하다.
또한, 상기 SFS방법에 사용된 목적함수는,
이고, 상기 는 목적함수 결과값이며, n값이 1내지 11인 경우에 상기 은 각각 상기 특징 값들의 종류인 것이 더욱 바람직하다.
여기서, 상기 제 2정보를 추출하는 단계는 피부톤 축적 알고리즘을 이용하여 입, 눈 및 눈썹에 대한 영역만 검출하여 이를 그레이(Gray) 형태로 변환하여 특징벡터를 형성하는 단계 및 프린시플 컴포넌트 분석(Principal component analysis) 방법에 적용하여 저차원 특징벡터인 고유 데이터 벡터로 축소시키는 축소단계를 포함하는 것이 바람직하다.
이 때, 상기 프린시플 컴포넌트 분석 방법은 2차원의 얼굴 영상의 크기와 얼굴 영상의 크기에 따른 얼굴 벡터 집합을 구성하는 단계, 빛과 배경에 의해 발생하는 노이즈를 감소시키기 위해 기 설정된 평균과 분산을 기준으로 이미지를 정규화 시키는 단계, 상기 얼굴 벡터 집합으로부터 평균 얼굴 영상 벡터를 계산하는 단계, 상기 얼굴 벡터와 상기 평균얼굴 영상 벡터의 차를 구하는 단계, 상기 벡터의 차로부터 공분산 행렬을 연산하는 단계 및 상기 공분산 행렬로부터 고유벡터를 연산하고, 평균 얼굴 영상에 대한 분산 정도를 계산하여 고유 얼굴(eigenface) 벡터를 구하는 단계를 포함하는 것이 더욱 바람직하다.
또한, 상기 특징 융합 기반 감정인식 방법은 인식 결과를 결정하는 단계를 더 포함하고, 상기 얼굴 벡터들의 상기 고유 얼굴 벡터에서의 가중치와 유클리안 거리를 비교하여 그 거리가 최소가 되는 표정을 인식결과로 결정하는 것이 바람직하다.
그리고, 인식된 감정별 패턴을 표시하는 표현 단계를 더 포함하고, 상기 표현단계는 평활, 기쁨, 슬픔, 화남 또는 놀람 중 적어도 하나의 감정 패턴 결과 값을 표시하는 것이 바람직하다.
이 때, 상기 표현 단계는 2차원 감정 공간 모델로 표시되는 것이 바람직하며, 이 경우에, 상기 감정 공감 모델은 기 설정된 중심점을 중심으로 방사형으로 형성된 각각의 상기 감정에 대응되는 축을 포함하고, 상기 축의 길이는 상기 감정 패턴 결과 값들을 0 내지 1사이의 값들로 나타내어 이를 상기 감정에 대한 가중치로 변환한 값이며, 상기 축이 상기 중심점을 중심으로 이루는 각도는 축적된 경험에 따라 결정되는 것이 바람직하다.
또한, 상기 감정 공감 모델은 상기 감정에 해당되는 축들 중 인접한 두 축으로 형성되는 상기 중심점을 중심으로 한 중심각을 이등분하는 직선을 더 포함하고, 상기 축과 접하는 두 개의 삼각형으로 이루어지는 사각형의 넓이에 따라 상기 감정 패턴 결과 값을 결정하는 것이 더욱 바람직하다.
그리고, 상기 표현단계는 얼굴의 눈, 눈썹 및 입에 대한 각 특징 요소에 대한 감정 표현 파라미터를 설정하여 감정 영역의 크기를 가중치로 조절하여 그래픽화된 얼굴 영상을 표시하는 것이 더욱 바람직하다.
이 때, 상기 파라미터는 눈, 눈썹 및 입에 대해 각각 3개씩, 총 9개로 정의되고, 각각 기준점, 수평점, 수직높이, 수평넓이, 휜 방향 또는 정도 중 적어도 하나의 정보를 나타낸다.
또한, 상술한 목적들을 달성하기 위한 본 발명의 다른 바람직한 실시예에 따르면, 특징 융합 기반 감정 인식 시스템은 음성 신호를 수집하는 마이크로폰 유닛, 상기 음성 신호로부터 음향 특성(acoustic feature)에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)을 포함하는 여섯 가지의 제1정보를 추출하는 제 1감정 추출유닛, 얼굴 영상 신호를 인식하는 카메라 유닛, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, Gray 형태 변환을 이용하여 입, 눈 또는 눈썹의 특징을 포함한 다섯 가지의 제 2정보를 추출하는 제 2감정 추출유닛 및 상기 제 1 및 제 2정보에서 SFS 방법을 이용하여 특징 값을 선택하는 제 1연산 유닛, 선택된 상기 특징 값을 인공 신경망 중 역 전파(Back-Propagation)로 학습하는 다층 퍼셉트론(Multi Layer Perceptron)에 입력으로 설정하여 감정별 패턴을 분류하는 제 2연산 유닛을 포함한다.
또한, 상기 특징 융합 기반 감정 인식 시스템은 표시유닛을 더 포함하고, 상기 표시유닛은 상기 제 2연산 유닛에서 분류된 감정별 패턴을 2차원 감정공간 모델로 표시하는 것이 바람직하다.
이 때, 상기 2차원 감정 공간 모델은 기 설정된 중심점을 중심으로 방사형으로 형성된 각각의 상기 감정에 대응되는 축과 상기 축의 길이 및 상기 축과 축의 상기 중심점과 접하지 않는 일단을 연결한 도형으로 표시되는 도식표현부, 인간의 얼굴 형상에 상기 감정을 표시하는 얼굴표현부, 상기 감정을 숫자, 문자 또는 상대적 감정 정도를 나타내는 정도표현부를 포함하는 것이 더욱 바람직하다.
본 발명에 따르면, 음성신호와 영상신호로부터 추출된 정보에서 감정인식을 상대적으로 정확하게 할 수 있는 효과가 있다.
또한, SFS방법을 사용하여 각각의 특징값을 선택하므로, 각각의 매개체의 단점을 보완할 수 있는 이점이 있다.
또한, 역전파로 학습하는 다층 퍼셉트론을 이용하여 감정별 패턴을 용이하게 할 수 있는 효과가 있다.
또한, 동적 감정 공간 모델을 이용하여 용이하게 감정별 패턴을 표시할 수 있고, 표시유닛을 구비하여 시각적으로도 표현된 감정별 패턴을 용이하게 확인할 수 있는 효과가 있다.
도 1은 본 발명의 제 1실시예에 따른 특징 융합 기반 감정 인식 방법을 순서대로 도시한 순서도이다.
도 2는 제 2정보를 추출하는 단계를 상세히 나타낸 순서도이다.
도 3은 프린시플 컴포넌트 분석을 순서대로 도시한 순서도이다.
도 4는 표현단계를 도시한 순서도이다.
도 5는 동적 감정 공간 모델을 도식화하여 나타낸 그래프이다.
도 6은 감정 표현 시스템을 예로 도시한 예시도이다.
도 7은 본 발명의 제 2실시예에 따른 특징 융합 기반 감정 인식 시스템을 도시한 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
110:마이크로폰 유닛 120:제 1감정 추출유닛
130:카메라 유닛 140:제 2감정 추출유닛
150:제 1연산유닛 160:제 2연산유닛
170:표시유닛
이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다. 참고로, 이하 설명에서는 구성 및 기능이 거의 동일하여 동일하게 취급될 수 있는 요소는 동일한 참조번호로 특정될 수 있다.
제 1실시예
본 발명의 제 1실시예에 따른 특징 융합 기반 감정 인식 방법에 대해 설명하면 다음과 같다. 도 1은 본 발명의 제 1실시예에 따른 특징 융합 기반 감정 인식 방법을 순서대로 도시한 순서도이다.
이에 도시된 바와 같이, 상기 특징 융합 기반 감정 인식 방법은 먼저, 사람의 음성 신호를 인식하는 단계(P1)를 거친다.
다음, 상기 음성 신호의 음향 특성(acoustic feature)에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 및 교차율(crossing rate)을 포함한 6가지의 제 1정보를 추출한다(P2).
이 때, 상기 제 1정보는 정확한 정보의 추출을 위하여 의미적인 특징을 배제한 운율적인 특징만을 고려하여 추출된다.
다음, 얼굴 영상 신호를 인식하는 단계(P3)를 거친다.
다음, 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈 또는 눈썹 중 적어도 하나의 특징을 포함한 5가지의 제 2정보를 추출하는 단계(P4)를 거친다.
이 때, 본 실시예에서는 차례대로 P1단계 내지 P4단계를 제시하였지만, 이에 한정되거나 제한되는 것은 아니며, 예를 들면, 상기 P1내지 P2단계와 상기 P3내지 P4단계를 병행하여 시행하거나, 차례를 바꾸어 시행하도록 하는 것도 가능하다.
여기서, 상기 제 2정보를 추출하는 단계(P4)를 좀 더 상세히 설명하기 위하여 도 2를 제시한다. 도 2는 제 2정보를 추출하는 단계를 상세히 나타낸 순서도이다.
이에 도시된 바와 같이, 먼저, 피부톤 축적 알고리즘을 이용하여 입, 눈 및 눈썹에 대한 영역만 검출하여 이를 그레이(Gray) 형태로 변환하여 특징벡터를 형성하는 단계(P41)를 거친다.
여기서, 상기 피부톤 축적 알고리즘은 상기 얼굴 영상 신호에 대해여 피부색 영역만을 검출 한 후 피부색 픽셀만을 축적하는 방법을 말하며, 상기 그레이 형태 변환은 추출된 특징들을 영상처리에 용이한 그레이(gray)형태로 변환한 후 기본적인 히스토그램 평활화, 1차 미분 필터(Sobel 연산자) 등을 통해 영상처리를 한다.
다음, 상기 특징 벡터를 프린시플 컴포넌트 분석(Principal component analysis) 방법에 적용하여 저차원 특징벡터인 고유 데이터 벡터로 축소시키는 축소단계(P42)를 거친다.
즉, 얼굴 영상을 이용하여 감정 인식을 하기 위해서는 특징을 추출해야 하며, 추출된 특징들은 다차원 특징 벡터로 구성되어 있어 패턴을 분류하기에 용이하지 않다. 따라서, 정보의 특성을 유지하면서 저차원으로 특징 벡터를 축소시키는 방법이 필요하며, 본 명세서에서는 프린시플 컴포넌트 분석(Principal component analysis)을 사용한다. 여기서, 상기 프린시플 컴포넌트 분석(Principal component analysis)이란 서로 상관이 있는 변량을 서로 상관이 없는 몇 개의 특성치로 축약하는 다변량해석 수법의 하나이다.
이러한 상기 프린시플 컴포넌트 분석을 좀 더 상세히 설명하기 위하여 도 3을 제시한다. 도 3은 프린시플 컴포넌트 분석을 순서대로 도시한 순서도이다.
이에 도시된 바와 같이, 상기 프린시플 컴포넌트 분석은 먼저, 2차원의 얼굴 영상의 크기와 얼굴 영상의 크기에 따른 얼굴 벡터 집합을 구성하는 단계(P421)를 거친다. 이 때, 2차원의 얼굴 영상의 크기가 N×N이고 인식 후보 얼굴 영상의 개수가 M개일 때, 각 후보 얼굴영상을 M개의 Γ=N×1 행벡터로 인식 후보 얼굴 벡터 집합(S)을 구성한다. 여기서, 상기 얼굴 벡터 집합(S)를 나타내는 수학식 1은 다음과 같다.
이다.
다음, 빛과 배경에 의해 발생하는 노이즈를 감소시키기 위해 기 설정된 평균과 분산을 기준으로 이미지를 정규화 시키는 단계(P422)를 거친다.
다음, 상기 얼굴 벡터 집합으로부터 평균 얼굴 영상 벡터를 계산하는 단계(P423)를 거친다. 여기서, 상기 평균 얼굴 영상 벡터를 나타내는 수학식 2는 다음과 같다.
이다.
다음, 상기 얼굴 벡터와 상기 평균얼굴 영상 벡터의 차를 구하는 단계(P424)를 거친다. 상기 얼굴 벡터와 상기 평균얼굴 영상 벡터의 차를 나타낸 수학식 3은 다음과 같다.
이다.
다음, N2×1벡터인 벡터의 차로부터 공분산 행렬을 연산하는 단계(P425)를 거친다. 상기 공분산 행렬을 나타내는 수학식 4는 다음과 같다.
이다. 여기서, 상기 공분산 행렬(C)은 N2× N2의 고차 행렬이 된다.
다음, 상기 공분산 행렬로부터 고유벡터를 연산하고, 평균 얼굴 영상에 대한 분산 정도를 계산하여 고유 얼굴(eigenface) 벡터를 구하는 단계(P426)를 거친다. 여기서, 공분산 행렬(C)로부터 고유값  와 이에 대응하는 고유벡터 를 계산한다. 여기서, 상기 고유벡터를 계산하는 수학식 5는 다음과 같다.
이다. 여기서, 상기 고유값은 평균얼굴 영상에 대한 분산 정도를 나타내며 고유벡터를 N×N로 재배열한 것을 고유 얼굴(eigenface)라고 한다.
다음, 인식 결과를 결정하는 단계(P427)거친다. 검증 영상 중 하나의 얼굴 영상이 입력되면 고유 얼굴에 대한 사영을 취하여 성분값을 구하고, 이 값이 구해지면 후보 얼굴영상들의 고유 얼굴 벡터에서의 가중치와 유클리안 거리를 비교하여 그 거리가 최소가 되는 표정이 입력과 가중 유사한 표정이므로 이 값을 인식 결과로 결정하게 된다
다음, 상기 제 1및 제 2정보에서 상기 제 1 및 제 2정보에서 SFS(sequential forward selection) 방법을 이용하여 특징 값을 선택하는 단계(P5)를 거친다.
여기서, 상기 제 1정보 및 상기 제 2정보는 11가지의 특징 벡터로 연산되나, 상기 11가지의 특징벡터를 모두 고려하면, 특징 값의 효율성이 급격히 떨어지는 차원의 저주(curse of dimensionality)에 빠질 위험성이 크고, 인식 속도가 상대적으로 느려지는 단점이 생길 수 있으므로 상기 SFS방법을 이용하여 상기 특징 값이 선택된다.
여기서, 상기 SFS방법은 비어있는 집합에 순차적으로 특징들을 추가한 후 목적함수에 대입하여 그 결과가 가장 우수한 것들을 특징들로 선택하는 방법이다. 이 때, 상기 목적함수를 나타내는 수학식 6은 다음과 같다.
이다. 상기 수학식 1에서 상기 는 목적함수 결과값이며, n값이 1내지 11인 경우에 상기 은 각각 상기 특징 값들의 종류를 나타낸다. 그리고, 학습 데이터로부터 각각의 특징들을 추출하여 그 크기가 5번째 안에 있는 것들은 보상(reward; +0.1)을 주고 그 이후에 있는 것들은 페널티(penalty; -0.1)를 주었다. 이와 같은 실험을 100번 이상 반복한 결과 값이다.
다음, 선택된 상기 특징 값을 인공 신경망 중 역 전파(Back-Propagation)로 학습하는 다층 퍼셉트론(Multi Layer Perceptron)에 입력으로 설정하여 감정별 패턴을 분류하는 단계(P6)를 거침으로써 상기 특징 융합 기반 감정 인식 방법이 완료된다.
여기서, 상기 역전파 알고리즘은 출력층의 오차 신호를 역전파하여 은닉층과 출력층간의 연결 강도와 입력층과 은닉층간의 연결강도를 변경하는 학습방법이다. 즉, 각 노드에 대해서 입력함수와 활성화 함수 중 시그모이드 함수를 이용하여 출력을 산출한 후 출력 값이 목표 값과 일치하지 않을 경우 차이를 계산하여 오차를 구하고, 이를 역방향으로 연결강도를 갱신한다. 이와 같은 과정을 출력 값이 목표 값보다 작아질 때까지 반복하여 학습이 이루어진다.
이 때, 상기 신경망의 초기 파라미터를 나타낸 표 1은 다음과 같다.
이다. 여기서, 상기 표 1과 같은 초기 파라미터와 감정별 목표치 001~101, 초기 가중치는 -0.03~0.03으로 랜덤하게 설정한 후 학습 데이터들을 이용해 오차 범위보다 작아질 때까지 학습을 시키고, 입력 데이터를 입력한 후 5가지 감정으로 감정 패턴을 분류한다.
여기서, 상기 특징 융합 기반 감정 인식 방법은 별도로 인식된 상기 감정에 대한 표시를 위한 단계를 더 포함하는 것도 가능하며, 이를 좀 더 상세히 설명하기 위하여 도 4를 제시한다. 도 4는 표현단계를 도시한 순서도이다.
이에 도시된 바와 같이, 상기 특징 융합 기반 감정 인식 방법은 상기 감정별 패턴을 분류하는 단계(P6) 이후에 인식된 상기 감정별 패턴을 표시하는 표현단계(P7)를 더 포함한다. 이 때, 상기 감정별 패턴은 평활, 기쁨, 슬픔, 화남 또는 놀람 중 적어도 하나의 감정 패턴 결과 값으로 표시된다.
또한, 상기 표현단계(P7)는 2차원 감정 공간 모델로 표시되며, 이를 좀 더 상세히 설명하기 위하여 도 5내지 도 6을 제시한다. 도 5는 동적 감정 공간 모델을 도식화하여 나타낸 그래프이고, 도 6은 감정 표현 시스템을 예로 도시한 예시도이다.
먼저, 도 5에 도시된 바와 같이, 상기 감정 공감 모델은 기 설정된 중심점을 중심으로 방사형으로 형성된 각각의 상기 감정에 대응되는 축(10)을 포함하고, 상기 축(10)의 길이는 상기 감정 패턴 결과 값들을 0 내지 1사이의 값들로 나타내어 이를 상기 감정에 대한 가중치로 변환한 값이며, 상기 축(10)이 상기 중심점을 중심으로 이루는 각도는 축적된 경험에 따라 결정된다.
또한, 상기 감정 공감 모델은 상기 감정에 해당되는 축(10)들 중 인접한 두 축(10)으로 형성되는 상기 중심점을 중심으로 한 중심각을 이등분하는 직선(20)을 더 포함하고, 상기 축(10)과 접하는 두 개의 삼각형으로 이루어지는 사각형의 넓이에 따라 상기 감정 패턴 결과 값을 결정한다.
상기 삼각형 영역의 크기를 나타내는 수학식 7은 다음과 같다.
이다. 즉, 헤론의 공식을 통해 상기 삼각형 영역의 넓이를 구할 수 있으며, 이 때, a, b, c는 삼각형 세 변의 길이, S는 삼각형의 넓이를 나타낸다.
다음, 도 6에 도시된 바와 같이, 상기 표현단계(P7)는 얼굴의 눈, 눈썹 및 입에 대한 각 특징 요소에 대한 감정 표현 파라미터를 설정하여 감정 영역의 크기를 가중치로 조절하여 그래픽화된 얼굴 영상을 표시하는 것도 가능하다. 이에 대한 설명은 제 2실시예를 설명하면서 상술하기로 한다.
이 때, 상기 파라미터는 눈, 눈썹 및 입에 대해 각각 3개씩, 총 9개로 정의되고, 각각 기준점, 수평점, 수직높이, 수평넓이, 휜 방향 또는 정도 중 적어도 하나의 정보를 나타낸다.
이러한, 상기 특징 융합 기반 감정 인식 방법은 음성 신호 또는 영상 신호 단독으로 감정 인식을 하는 것보다 각각의 매개체의 단점을 보완하여 상대적으로 우수한 감정 인식 결과를 얻을 수 있다.
제 2실시예
상술한 본 발명이 목적들을 달성하기 위한 본 발명의 제 2실시예에 따른 특징 융합 기반 감정 인식 시스템을 설명하면 다음과 같다. 도 7은 본 발명의 제 2실시예에 따른 특징 융합 기반 감정 인식 시스템을 도시한 블록도이다. 참고로, 제 1실시예와 유사하거나 중복되는 설명은 생략하기로 한다.
이에 도시된 바와 같이, 상기 특징 융합 기반 감정 인식 시스템은 마이크로폰 유닛(110), 제 1감정 추출유닛(120), 카메라 유닛(130), 제 2감정 추출유닛(140), 제 1연산 유닛(150) 및 제 2연산유닛(160)을 포함한다.
상기 마이크로폰 유닛(110)은 사람의 음성 신호를 수집하도록 일반적으로 상용되는 마이크로 구비되며, 음성신호에서 음향특징(Acoustic feature)을 수집할 수 있는 형태이면 자유로운 변경이 가능함은 물론이다.
상기 제 1감정 추출유닛(120)은 상기 마이크로폰 유닛(110)에서 수집된 상기 음성 신호로부터 음향 특징에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)를 포함하는 여섯 가지의 제 1정보를 추출하도록 일반적으로 상용되는 마이크로 프로세서로 구비된다.
상기 카메라 유닛(130)은 사람의 얼굴 영상 신호를 인식하여 수집하도록 일반적으로 사용되는 카메라 또는 CCD 센서로 구비된다. 이 때, 연속적인 얼굴 영상 신호를 수집하도록 일반적으로 상용되는 캠코더로 구비되어, 동영상 형태의 얼굴 영상 신호를 수집하는 것도 가능하다.
상기 제 2감정 추출유닛(140)은 상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, 그레이(Gray) 형태 변환을 이용하여 입, 눈 또는 눈썹의 특징을 포함한 다섯 가지의 제 2정보를 추출하도록 상기 제 1감정 추출유닛(120)과 유사하게 일반적으로 상용되는 마이크로 프로세서로 구비된다.
또한, 상기 제 2정보 감정 추출유닛(140)은 상기 제 2정보를 프린시플 컴포넌트 분석(Principal component analysis)에 적용하여 저차원 특징벡터인 고유 데이터벡터로 축소시키고, 상기 고유 데이터 벡터를 유클리안 거리에 적용하여 감정별로 패턴을 분류하도록 구비되는 것도 가능하다.
상기 제 1연산유닛(150)은 상기 제 1정보 및 상기 제 2정보에서 SFS 방법을 이용하여 특징 값을 선택하도록 구비된다.
그리고, 상기 제 2연산유닛(160)은 선택된 상기 특징 값을 인공 신경망 중 역 전파(Back-Propagation)로 학습하는 다층 퍼셉트론(Multi Layer Perceptron)에 입력으로 설정하여 감정별 패턴을 분류한다.
상기 특징 융합 기반 감정 인식 시스템은 표시유닛(170)을 더 포함하고, 상기 표시유닛(170)은 상기 제 2연산 유닛(160)에서 분류된 감정별 패턴을 2차원 감정공간 모델로 표시하도록 구비된다.
이 때, 상기 2차원 감정 공간 모델은 도식표현부(100), 얼굴표현부(200) 및 정도표현부(300)를 포함한다. 도 5내지 도 6을 참조하여 설명하기로 한다.
상기 2차원 감정 공간 모델 중 도 5에 도시된 상기 도식표현부(100)는 기 설정된 중심점을 중심으로 방사형으로 형성된 각각의 상기 감정에 대응되는 축과 상기 축의 길이 및 상기 축과 축의 상기 중심점과 접하지 않는 일단을 연결한 도형으로 표시되며, 각 축의 길이와 각 축간의 각도는 축적된 경험을 통해 결정된다.
상기 얼굴표현부(200)는 인간의 얼굴 형상에 상기 감정을 표시하도록 구비되며, 상기 도식표현부(100)에서 표시된 감정별 패턴에 따라, 눈, 눈썹, 입, 턱 등의 파라미터를 조정하여 최종적인 얼굴 표정을 표현한다.
이 때, 감정을 표현하기 위한 파라미터로 눈썹 3개 , 눈 3개 , 입 3개(로 총 9개의 파라미터를 정의한다고 가정하며, 여기서 p1~p4는 수평점, p5, p7는 수직높이, p6는 수평 넓이, p8는 휜 방향 및 정도를 각각 나타낸다.
이렇게 9개의 파라미터에 대해 각 감정이 나타내는 최대치에 영역의 크기 비율을 곱하여 감정을 표현하도록 하였으며, 각 감정이 속하는 영역의 크기를 나타내는 수학식 8은 다음과 같다.
이다. 또한, 각 감정이 속하는 영역의 비율을 나타내는 수학식 9는 다음과 같다.
이다. 따라서, 감정 표현 파라미터를 나타내는 수학식 10은 다음과 같다.
이다. 여기서, Ai는 행복, Bi는 화남, Ci는 슬픔, Di는 놀람만 나타나는 경우의 초기 설정 값이고 실험적으로 결정된다.
그리고, Pi는 각각의 파라미터, i는 각각의 파라미터 번호를 나타내므로, i=1, 2,..., 9가 되어 감성 표현 파라미터를 조절함으로써 얼굴 표정이 변화하게 된다.
상기 정도 표현부(300)는 상기 감정별 패턴을 숫자, 문자 또는 상대적 감정 정도를 나타내도록 구비되며, 일반적으로 전체에 대한 비율 또는 수치로 나타낸 정도를 표시하도록 구비된다.
따라서, 상기 특징 융합 기반 감정 인식 시스템은 상기 표시유닛(170)을 구비함으로써 시각적으로 감정별 패턴을 용이하게 확인할 수 있는 이점이 있다.
상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술분야의 숙련된 당업자라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

  1. 음성 신호를 수집하는 단계;
    상기 음성 신호로부터 음향 특성(acoustic feature)에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 및 교차율(crossing rate)을 포함한 6가지의 제1정보를 추출하는 단계;
    얼굴 영상 신호를 인식하는 단계;
    상기 얼굴 영상 신호로부터 입, 눈 및 눈썹의 특징을 포함한 5가지의 제 2정보를 추출하는 단계;
    상기 제 1 및 제 2정보에서 SFS(sequential forward selection) 방법을 이용하여 특징 값을 선택하는 단계; 및
    선택된 상기 특징 값을 인공 신경망 중 역 전파(Back-Propagation)로 학습하는 다층 퍼셉트론(Multi Layer Perceptron)에 입력으로 설정하여 감정별 패턴을 분류하는 단계;
    를 포함하는 특징 융합 기반 감정인식 방법.
  2. 제 1항에 있어서,
    상기 신경망에 해당되는 초기 파라미터는 입력층(Input units)은 5, 은닉층(Hidden Units)은 13, 출력층(Output Units)은 3, 학습율 (Learning Rate)는 0.005, 허용치(Tolerance)는 0.1이고, 시그모이드 함수(Sigmoid Function)는 1/(1+e-3x)인 것을 특징으로 하는 특징 융합 기반 감정인식 방법.
  3. 제 1항에 있어서,
    상기 SFS방법에 사용된 목적함수는,
    이고, 상기 는 목적함수 결과값이며, n값이 1내지 11인 경우에 상기 은 각각 상기 특징 값들의 종류인 것을 특징으로 하는 특징 융합 기반 감정인식 방법.
  4. 제 1항에 있어서,
    상기 제 2정보를 추출하는 단계는,
    피부톤 축적 알고리즘을 이용하여 입, 눈 및 눈썹에 대한 영역만 검출하여 이를 그레이(Gray) 형태로 변환하여 특징벡터를 형성하는 단계; 및
    프린시플 컴포넌트 분석(Principal component analysis) 방법에 적용하여 저차원 특징벡터인 고유 데이터 벡터로 축소시키는 축소단계;
    를 포함하는 것을 특징으로 하는 특징 융합 기반 감정인식 방법.
  5. 제 4항에 있어서,
    상기 프린시플 컴포넌트 분석 방법은
    2차원의 얼굴 영상의 크기와 얼굴 영상의 크기에 따른 얼굴 벡터 집합을 구성하는 단계;
    빛과 배경에 의해 발생하는 노이즈를 감소시키기 위해 기 설정된 평균과 분산을 기준으로 이미지를 정규화 시키는 단계;
    상기 얼굴 벡터 집합으로부터 평균 얼굴 영상 벡터를 계산하는 단계;
    상기 얼굴 벡터와 상기 평균얼굴 영상 벡터의 차를 구하는 단계;
    상기 벡터의 차로부터 공분산 행렬을 연산하는 단계; 및
    상기 공분산 행렬로부터 고유벡터를 연산하고, 평균 얼굴 영상에 대한 분산 정도를 계산하여 고유 얼굴(eigenface) 벡터를 구하는 단계;
    를 포함하는 것을 특징으로 하는 특징 융합 기반 감정 인식 방법.
  6. 제 5항에 있어서,
    인식 결과를 결정하는 단계를 더 포함하고, 상기 얼굴 벡터들의 상기 고유 얼굴 벡터에서의 가중치와 유클리안 거리를 비교하여 그 거리가 최소가 되는 표정을 인식결과로 결정하는 것을 특징으로 하는 특징 융합 기반 감정 인식 방법.
  7. 제 1항에 있어서,
    인식된 감정별 패턴을 표시하는 표현 단계를 더 포함하고, 상기 표현단계는 평활, 기쁨, 슬픔, 화남 또는 놀람 중 적어도 하나의 감정 패턴 결과 값을 표시하는 것을 특징으로 하는 특징 융합 기반 감정 인식 방법.
  8. 제 7항에 있어서,
    상기 표현 단계는 2차원 감정 공간 모델로 표시되는 것을 특징으로 하는 특징 융합 기반 감정 인식 방법.
  9. 제 8항에 있어서,
    상기 감정 공감 모델은 기 설정된 중심점을 중심으로 방사형으로 형성된 각각의 상기 감정에 대응되는 축을 포함하고, 상기 축의 길이는 상기 감정 패턴 결과 값들을 0 내지 1사이의 값들로 나타내어 이를 상기 감정에 대한 가중치로 변환한 값이며, 상기 축이 상기 중심점을 중심으로 이루는 각도는 축적된 경험에 따라 결정되는 것을 특징으로 하는 특징 융합 기반 감정 인식 방법.
  10. 제 9항에 있어서,
    상기 감정 공감 모델은 상기 감정에 해당되는 축들 중 인접한 두 축으로 형성되는 상기 중심점을 중심으로 한 중심각을 이등분하는 직선을 더 포함하고, 상기 축과 접하는 두 개의 삼각형으로 이루어지는 사각형의 넓이에 따라 상기 감정 패턴 결과 값을 결정하는 것을 특징으로 하는 특징 융합 기반 감정 인식 방법.
  11. 제 8항에 있어서,
    상기 표현단계는 얼굴의 눈, 눈썹 및 입에 대한 각 특징 요소에 대한 감정 표현 파라미터를 설정하여 감정 영역의 크기를 가중치로 조절하여 그래픽화된 얼굴 영상을 표시하는 것을 특징으로 하는 특징 융합 기반 감정 인식 방법.
  12. 제 11항에 있어서,
    상기 파라미터는 눈, 눈썹 및 입에 대해 각각 3개씩, 총 9개로 정의되고, 각각 기준점, 수평점, 수직높이, 수평넓이, 휜 방향 또는 정도 중 적어도 하나의 정보를 나타내는 것을 특징으로 하는 특징 융합 기반 감정 인식 방법.
  13. 음성 신호를 수집하는 마이크로폰 유닛;
    상기 음성 신호로부터 음향 특성(acoustic feature)에 해당되는 피치의 통계치, 최대치, 소리의 크기, 섹션개수, 증가율(Increasing rate) 또는 교차율(crossing rate)을 포함하는 여섯 가지의 제1정보를 추출하는 제 1감정 추출유닛;
    얼굴 영상 신호를 인식하는 카메라 유닛;
    상기 얼굴 영상 신호에서 피부톤 축적 알고리즘, Gray 형태 변환을 이용하여 입, 눈 또는 눈썹의 특징을 포함한 다섯 가지의 제 2정보를 추출하는 제 2감정 추출유닛; 및
    상기 제 1 및 제 2정보에서 SFS 방법을 이용하여 특징 값을 선택하는 제 1연산 유닛;
    선택된 상기 특징 값을 인공 신경망 중 역 전파(Back-Propagation)로 학습하는 다층 퍼셉트론(Multi Layer Perceptron)에 입력으로 설정하여 감정별 패턴을 분류하는 제 2연산 유닛;
    을 포함하는 특징 융합 기반 감정 인식 시스템.
  14. 제 13항에 있어서,
    표시유닛을 더 포함하고, 상기 표시유닛은 상기 제 2연산 유닛에서 분류된 감정별 패턴을 2차원 감정공간 모델로 표시하는 것을 특징으로 하는 특징 융합 기반 감정 인식 시스템.
  15. 제 14항에 있어서,
    상기 2차원 감정 공간 모델은
    기 설정된 중심점을 중심으로 방사형으로 형성된 각각의 상기 감정에 대응되는 축과 상기 축의 길이 및 상기 축과 축의 상기 중심점과 접하지 않는 일단을 연결한 도형으로 표시되는 도식표현부;
    인간의 얼굴 형상에 상기 감정을 표시하는 얼굴표현부;
    상기 감정을 숫자, 문자 또는 상대적 감정 정도를 나타내는 정도표현부;
    를 포함하는 것을 특징으로 하는 특징 융합 기반 감정 인식 시스템.
KR1020070122345A 2007-11-28 2007-11-28 특징 융합 기반 감정인식 방법 및 시스템 KR100903348B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070122345A KR100903348B1 (ko) 2007-11-28 2007-11-28 특징 융합 기반 감정인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070122345A KR100903348B1 (ko) 2007-11-28 2007-11-28 특징 융합 기반 감정인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20090055426A true KR20090055426A (ko) 2009-06-02
KR100903348B1 KR100903348B1 (ko) 2009-06-23

Family

ID=40987094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070122345A KR100903348B1 (ko) 2007-11-28 2007-11-28 특징 융합 기반 감정인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR100903348B1 (ko)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124782A (ko) * 2011-05-04 2012-11-14 삼성테크윈 주식회사 디지털 영상 처리 장치 및 방법
WO2013122353A1 (ko) * 2012-02-16 2013-08-22 충남대학교 산학협력단 감정이 강도별 단계로 정형화된 감정유발시스템 및 이를 이용한 감정유발방법
CN106991718A (zh) * 2017-03-31 2017-07-28 上海健康医学院 一种基于明暗度恢复重建眼底三维结构的方法
CN106992000A (zh) * 2017-04-07 2017-07-28 安徽建筑大学 一种基于预测的多特征融合的老人语音情感识别方法
KR20170094836A (ko) * 2016-02-12 2017-08-22 한국전자통신연구원 운전자의 감정상태 인식 장치 및 방법
CN108830308A (zh) * 2018-05-31 2018-11-16 西安电子科技大学 一种基于信号的传统特征与深度特征融合的调制识别方法
CN108874896A (zh) * 2018-05-22 2018-11-23 大连理工大学 一种基于神经网络和幽默特征的幽默识别方法
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
KR20190023749A (ko) * 2017-08-30 2019-03-08 (주)휴머노이드시스템 사용자 감성 인식 장치 및 방법
CN109508625A (zh) * 2018-09-07 2019-03-22 咪咕文化科技有限公司 一种情感数据的分析方法及装置
CN110390311A (zh) * 2019-07-27 2019-10-29 苏州过来人科技有限公司 一种基于注意力和子任务预训练的视频分析算法
KR20190125707A (ko) * 2018-04-30 2019-11-07 한국과학기술원 사용자의 심리활동과 생체신호에 기반한 감정 추정 방법 및 그 시스템
KR20190135457A (ko) * 2019-11-29 2019-12-06 네이버 주식회사 기계의 자동 활성을 위한 방법 및 시스템
CN110826466A (zh) * 2019-10-31 2020-02-21 南京励智心理大数据产业研究院有限公司 基于lstm音像融合的情感识别方法、装置及存储介质
KR102204743B1 (ko) * 2019-07-24 2021-01-19 전남대학교산학협력단 시선 움직임 분석에 의한 감정 인식 장치 및 방법
CN112289306A (zh) * 2020-11-18 2021-01-29 上海依图网络科技有限公司 一种基于人体特征的未成年人识别的方法及装置
CN112766172A (zh) * 2021-01-21 2021-05-07 北京师范大学 一种基于时序注意力机制的人脸连续表情识别方法
KR20210063710A (ko) * 2019-11-25 2021-06-02 (주) 시큐이데아 카메라에 연결되는 고속 얼굴 인식 장치
CN113139525A (zh) * 2021-05-21 2021-07-20 国家康复辅具研究中心 一种基于多源信息融合的情感识别方法和人机交互系统
KR20210099445A (ko) * 2020-02-04 2021-08-12 상명대학교산학협력단 색상 속성을 이용한 동영상의 감성 인식 시스템 및 그 방법
KR20210152430A (ko) * 2019-07-11 2021-12-15 사운드하운드, 인코포레이티드 시각 보조 음성 처리
WO2022260432A1 (ko) * 2021-06-08 2022-12-15 네오사피엔스 주식회사 자연어로 표현된 스타일 태그를 이용한 합성 음성 생성 방법 및 시스템
CN116561533A (zh) * 2023-07-05 2023-08-08 福建天晴数码有限公司 一种教育元宇宙中虚拟化身的情感演化方法及终端

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
WO2012170949A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
KR101284561B1 (ko) 2011-02-14 2013-07-11 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
CN103828343B (zh) 2011-06-10 2017-07-11 菲力尔系统公司 基于行的图像处理和柔性存储系统
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
KR101808375B1 (ko) 2011-06-10 2017-12-12 플리어 시스템즈, 인크. 저전력 소형 폼 팩터 적외선 이미징
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
KR101777609B1 (ko) * 2015-09-18 2017-09-13 엘지전자 주식회사 라이프 로그를 수행하는 이동 단말기 및 그 제어방법
CN106205636A (zh) * 2016-07-07 2016-12-07 东南大学 一种基于mrmr准则的语音情感识别特征融合方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512023A (ja) * 1991-07-04 1993-01-22 Omron Corp 感情認識装置
JPH0922296A (ja) * 1995-07-05 1997-01-21 Sanyo Electric Co Ltd 感性情報入力処理装置及びその処理方法
JP2967058B2 (ja) * 1997-02-14 1999-10-25 株式会社エイ・ティ・アール知能映像通信研究所 階層的感情認識装置
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124782A (ko) * 2011-05-04 2012-11-14 삼성테크윈 주식회사 디지털 영상 처리 장치 및 방법
WO2013122353A1 (ko) * 2012-02-16 2013-08-22 충남대학교 산학협력단 감정이 강도별 단계로 정형화된 감정유발시스템 및 이를 이용한 감정유발방법
KR101397287B1 (ko) * 2012-02-16 2014-05-21 충남대학교산학협력단 감정이 강도별 단계로 정형화된 감정유발시스템 및 이를 이용한 감정유발방법
KR20170094836A (ko) * 2016-02-12 2017-08-22 한국전자통신연구원 운전자의 감정상태 인식 장치 및 방법
CN106991718A (zh) * 2017-03-31 2017-07-28 上海健康医学院 一种基于明暗度恢复重建眼底三维结构的方法
CN106992000A (zh) * 2017-04-07 2017-07-28 安徽建筑大学 一种基于预测的多特征融合的老人语音情感识别方法
CN106992000B (zh) * 2017-04-07 2021-02-09 安徽建筑大学 一种基于预测的多特征融合的老人语音情感识别方法
KR20190023749A (ko) * 2017-08-30 2019-03-08 (주)휴머노이드시스템 사용자 감성 인식 장치 및 방법
KR20190125707A (ko) * 2018-04-30 2019-11-07 한국과학기술원 사용자의 심리활동과 생체신호에 기반한 감정 추정 방법 및 그 시스템
CN108874896A (zh) * 2018-05-22 2018-11-23 大连理工大学 一种基于神经网络和幽默特征的幽默识别方法
CN108874896B (zh) * 2018-05-22 2020-11-06 大连理工大学 一种基于神经网络和幽默特征的幽默识别方法
CN108830308B (zh) * 2018-05-31 2021-12-14 西安电子科技大学 一种基于信号的传统特征与深度特征融合的调制识别方法
CN108830308A (zh) * 2018-05-31 2018-11-16 西安电子科技大学 一种基于信号的传统特征与深度特征融合的调制识别方法
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109344693B (zh) * 2018-08-13 2021-10-26 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109508625A (zh) * 2018-09-07 2019-03-22 咪咕文化科技有限公司 一种情感数据的分析方法及装置
US11257493B2 (en) 2019-07-11 2022-02-22 Soundhound, Inc. Vision-assisted speech processing
KR20220045116A (ko) * 2019-07-11 2022-04-12 사운드하운드, 인코포레이티드 시각 보조 음성 처리
KR20210152430A (ko) * 2019-07-11 2021-12-15 사운드하운드, 인코포레이티드 시각 보조 음성 처리
KR102204743B1 (ko) * 2019-07-24 2021-01-19 전남대학교산학협력단 시선 움직임 분석에 의한 감정 인식 장치 및 방법
CN110390311A (zh) * 2019-07-27 2019-10-29 苏州过来人科技有限公司 一种基于注意力和子任务预训练的视频分析算法
CN110826466B (zh) * 2019-10-31 2023-10-03 陕西励爱互联网科技有限公司 基于lstm音像融合的情感识别方法、装置及存储介质
CN110826466A (zh) * 2019-10-31 2020-02-21 南京励智心理大数据产业研究院有限公司 基于lstm音像融合的情感识别方法、装置及存储介质
KR20210063710A (ko) * 2019-11-25 2021-06-02 (주) 시큐이데아 카메라에 연결되는 고속 얼굴 인식 장치
KR20190135457A (ko) * 2019-11-29 2019-12-06 네이버 주식회사 기계의 자동 활성을 위한 방법 및 시스템
KR20210099445A (ko) * 2020-02-04 2021-08-12 상명대학교산학협력단 색상 속성을 이용한 동영상의 감성 인식 시스템 및 그 방법
CN112289306B (zh) * 2020-11-18 2024-03-26 上海依图网络科技有限公司 一种基于人体特征的未成年人识别的方法及装置
CN112289306A (zh) * 2020-11-18 2021-01-29 上海依图网络科技有限公司 一种基于人体特征的未成年人识别的方法及装置
CN112766172A (zh) * 2021-01-21 2021-05-07 北京师范大学 一种基于时序注意力机制的人脸连续表情识别方法
CN112766172B (zh) * 2021-01-21 2024-02-02 北京师范大学 一种基于时序注意力机制的人脸连续表情识别方法
CN113139525B (zh) * 2021-05-21 2022-03-01 国家康复辅具研究中心 一种基于多源信息融合的情感识别方法和人机交互系统
CN113139525A (zh) * 2021-05-21 2021-07-20 国家康复辅具研究中心 一种基于多源信息融合的情感识别方法和人机交互系统
WO2022260432A1 (ko) * 2021-06-08 2022-12-15 네오사피엔스 주식회사 자연어로 표현된 스타일 태그를 이용한 합성 음성 생성 방법 및 시스템
CN116561533A (zh) * 2023-07-05 2023-08-08 福建天晴数码有限公司 一种教育元宇宙中虚拟化身的情感演化方法及终端
CN116561533B (zh) * 2023-07-05 2023-09-29 福建天晴数码有限公司 一种教育元宇宙中虚拟化身的情感演化方法及终端

Also Published As

Publication number Publication date
KR100903348B1 (ko) 2009-06-23

Similar Documents

Publication Publication Date Title
KR100903348B1 (ko) 특징 융합 기반 감정인식 방법 및 시스템
KR100958030B1 (ko) 결정 융합 기반 감정인식 방법 및 시스템
Wadhawan et al. Deep learning-based sign language recognition system for static signs
CN108805089B (zh) 基于多模态的情绪识别方法
CN108805087B (zh) 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN108899050B (zh) 基于多模态情绪识别系统的语音信号分析子系统
CN108805088B (zh) 基于多模态情绪识别系统的生理信号分析子系统
Fuhl et al. Fully convolutional neural networks for raw eye tracking data segmentation, generation, and reconstruction
CN112784798A (zh) 一种基于特征-时间注意力机制的多模态情感识别方法
KR20100001928A (ko) 감정인식에 기반한 서비스 장치 및 방법
CN103413113A (zh) 一种服务机器人智能情感交互的方法
KR100988323B1 (ko) 표정 증폭을 이용한 미세 표정인식 방법 및 장치
Huang et al. Emotion recognition based on a novel triangular facial feature extraction method
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
JP2022553779A (ja) キャビン内の環境の調整方法及び装置
Chetty et al. A multilevel fusion approach for audiovisual emotion recognition
David et al. A comprehensive survey of emotion recognition system in facial expression
CN110363099A (zh) 一种基于局部并行深度神经网络的表情识别方法
Rwelli et al. Gesture based Arabic sign language recognition for impaired people based on convolution neural network
Liu et al. Optimized facial emotion recognition technique for assessing user experience
CN112580527A (zh) 一种基于卷积长短期记忆网络的人脸表情识别方法
Lee et al. Recognition of facial emotion through face analysis based on quadratic bezier curves
Sarma et al. Facial expression based emotion detection-a review
Madokoro et al. Facial expression spatial charts for representing of dynamic diversity of facial expressions
Wei et al. 3D facial expression recognition based on Kinect

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee