KR20120092846A - 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체 - Google Patents

멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체 Download PDF

Info

Publication number
KR20120092846A
KR20120092846A KR1020110012724A KR20110012724A KR20120092846A KR 20120092846 A KR20120092846 A KR 20120092846A KR 1020110012724 A KR1020110012724 A KR 1020110012724A KR 20110012724 A KR20110012724 A KR 20110012724A KR 20120092846 A KR20120092846 A KR 20120092846A
Authority
KR
South Korea
Prior art keywords
emotion
modality
feature
unit
fusion
Prior art date
Application number
KR1020110012724A
Other languages
English (en)
Other versions
KR101284561B1 (ko
Inventor
손진훈
엄진섭
박혜준
Original Assignee
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단
Priority to KR1020110012724A priority Critical patent/KR101284561B1/ko
Publication of KR20120092846A publication Critical patent/KR20120092846A/ko
Application granted granted Critical
Publication of KR101284561B1 publication Critical patent/KR101284561B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 멀티 모달리티 감정인식 시스템 및 감정인식 방법에 관한 것으로서, 감정상태에 따라 다양하게 변하는 객체의 반응을 생체신호, 얼굴표정, 및 얼굴표면온도 등의 멀티 모달리티를 활용하여 동시에 병렬적으로 측정함으로써 객체가 느끼는 감정상태를 인식할 수 있는 멀티 모달리티 감정인식 발명에 관한 것이다. 이를 위해 제시된 자극에 대응하여 반응하는 객체(Object)의 반응을 멀티 모달리티를 통하여 측정하는 반응측정수단(100); 측정된 데이터로부터 감정인식에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 융합수단(200); 및 융합수단(200)에서 융합된 데이터에 기초하여 감정을 인식하는 감정인식수단(300);을 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템이 개시된다.

Description

멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체{System and method for multi-modality emotion recognition and recording medium thereof}
본 발명은 멀티 모달리티 감정인식 시스템 및 감정인식 방법에 관한 것으로서, 보다 상세하게는 감정상태에 따라 다양하게 변하는 객체의 반응을 생체신호, 얼굴표정, 및 얼굴표면온도 등의 멀티 모달리티를 활용하여 동시에 병렬적으로 측정함으로써 객체가 느끼는 감정상태를 인식할 수 있는 멀티 모달리티 감정인식 발명에 관한 것이다.
멀티모달 인터페이스는 인간과 기계의 통신을 위해 음성, 키보드, 펜 등을 이용해 인터페이스하는 방법을 의미한다. 이러한 멀티모달 인터페이스를 통한 멀티 모달 정보가 입력된 경우 이러한 각각의 모달리티에서 입력된 정보를 각각 융합하여 분석하는 방법이 사용된다.
그러나 이러한 멀티 모달리티에서 입력된 정보의 특징을 추출하고 분류하기 위해서는 다양한 학습 알고리즘이 사용될 수 있다. 따라서 어떤 학습 알고리즘을 사용하느냐에 따라 이를 분석하여 인식하는 에러율이 다양하게 나타난다.
한편, 감정 인식률이 높은 시각 모달리티 반응을 이용한 종래기술은 객체의 감정인식시 밝기에 대한 제약이 있었다. 또한, 인위적인 감정상태의 객체반응 데이터를 사용함으로써 자연스러운 감정을 유발하여 객체반응을 측정하는 발명에 비해 감정인식이 실제적으로 잘 이루어지지 않은 문제가 있었다. 그리고 멀티 모달리티를 활용하여 특징을 추출한 후 이러한 특징을 융합할 수 없는 문제점이 있었다.
따라서 본 발명이 속하는 기술 분야에서는 객체의 자연스러운 감정을 유발하여 다양한 모달리티로부터 입력된 데이터를 추출하고 융합함으로써 객체가 표현하는 다양한 감정을 인식할 수 있는 발명의 개발을 요하고 있었다.
따라서, 본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 생체신호, 얼굴표정, 및 얼굴표면온도 등의 멀티 모달리티를 활용하여 감정 상태에 의해 변하는 다양한 객체의 반응을 동시에 병렬적으로 측정하고, 이를 바탕으로 객체가 반응한 감정을 인식할 수 있는 발명을 제공하는데 그 목적이 있다.
그러나, 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 본 발명의 목적은, 제시된 자극에 대응하여 반응하는 객체(Object)의 반응을 멀티 모달리티를 통하여 측정하는 반응측정수단(100); 측정된 데이터로부터 감정인식에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 융합수단(200); 및 융합수단(200)에서 융합된 데이터에 기초하여 감정을 인식하는 감정인식수단(300);을 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템을 제공함으로써 달성될 수 있다.
또한, 반응측정수단(100)에서 측정된 데이터 및 융합수단(200)에서 융합된 데이터를 저장하는 저장수단(400);을 더 포함하는 것을 특징으로 한다.
또한, 반응측정수단(100)은, 객체의 감정이 자연스럽게 유발되도록 시각, 청각, 압각, 및 입력수단 중 적어도 어느 하나를 통하여 자극을 제시하는 자극제시부(110); 및 자극제시부(110)에 대응하여 반응하는 객체의 생체신호, 객체의 얼굴 표정 및 객체의 얼굴 열화상을 측정하는 측정부(120);를 포함하는 것을 특징으로 한다.
또한, 입력수단은 키보드, 마우스, 및 펜 중 적어도 어느 하나인 것을 특징으로 한다.
또한, 자극은 기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 및 중성(립) 중 적어도 어느 하나를 객체가 표현하도록 하는 것을 특징으로 한다.
또한, 측정부(120)는 객체의 자율신경계 관련 반응인 심전도(ECG), 피부저항(EDA), 피부온도(SKT), 호흡(RESP), 및 맥파(PPG) 중 적어도 어느 하나를 측정하여 객체의 반응을 측정하는 생체신호측정부(121); 객체의 얼굴표정을 동영상 또는 정지영상 촬영하여 객체의 반응을 측정하는 얼굴표정측정부(122); 및 객체의 얼굴 표면온도를 동영상 또는 정지영상으로 촬영하여 객체의 반응을 측정하는 얼굴표면온도측정부(123);를 포함하는 것을 특징으로 한다.
또한, 융합수단(200)은 객체가 반응한 반응 데이터를 측정부(120)로부터 입력받아 각 모달리티별 특징을 추출하는 특징추출부(210); 특징추출부(210)에서 추출한 특징을 바탕으로 각 모달리티별 감정을 분류하는 단일감정분류부(220); 및 단일감정분류부(220)에서 분류한 각 모달리티별 감정분류에 기초하여 높은 분류율 또는 높은 확률지표를 갖는 특징을 추출하고 통합하여 새로운 특징을 갖는 특징융합과, 그리고 확률지표에 가중치를 부여하고 통합하여 새로운 특징을 갖는 결정융합을 형성하는 특징결정융합부(230);를 포함하는 것을 특징으로 한다.
또한, 단일감정분류부(220)는 지도 학습 방법인 서포터 벡터 머신(Support Vector Machine)을 사용하여 각 모달리티별 감정을 분류하는 것을 특징으로 한다.
또한, 특징추출부(210)는 생체신호측정부(121)로부터 객체의 반응 데이터를 입력받아 주성분 분석과 선형 판별 분석을 통하여 객체의 생체신호 특징을 추출하는 것을 특징으로 한다.
또한, 특징추출부(210)는 얼굴표정측정부(122)로부터 객체의 반응 데이터를 입력받아 하르-라이크 특징(Haar-like Feature)을 이용한 아다부스트(AdaBoost) 학습 알고리즘을 통해 객체의 얼굴표정 특징을 추출하는 것을 특징으로 한다.
또한, 객체의 얼굴표정 특징의 추출은 객체의 눈, 코, 입, 눈썹의 액션 유닛(Action Unit)을 추출하여 이들이 갖는 화소정보, 위치정보, 형태정보, 및 특징 벡터등으로부터 추출하는 것을 특징으로 한다.
또한, 얼굴표면온도측정부(123)는 객체의 코, 콧등, 왼쪽 눈, 오른쪽 눈, 이마, 왼쪽 뺨, 및 오른쪽 뺨 중 적어도 어느 하나를 포함한 영역의 온도를 측정하는 것을 특징으로 한다.
또한, 특징추출부(210)는 얼굴표면온도측정부(123)로부터 영역의 온도를 입력받아 각 영역에 대한 최고온도, 최저온도, 및 평균온도 중 적어도 어느 하나를 추출하는 것을 특징으로 한다.
또한, 신호측정부(121), 얼굴표정측정부(122), 및 얼굴표면온도측정부(123)를 서로 동기시켜 객체의 반응을 측정하는 것을 특징으로 한다.
또한, 특징추출부(210)는 각 모달리티별 특징을 융합하여 새로운 융합특징을 추출하는 것을 특징으로 한다.
그리고, 감정인식수단(300)은 특징융합과 결정융합을 통해 생성한 특징과 확률지표에 기초하여 학습되는 베이시언 신경망(Bayesian Network) 알고리즘을 이용하여 객체가 반응한 감정을 분류하는 복합감정분류부(310); 및 분류된 감정을 인식하여 출력하는 감정출력부(320);를 포함하는 것을 특징으로 한다.
한편, 본 발명의 목적은 다른 카테고리로서, 반응측정수단(100)이 제시된 자극에 대응하여 반응하는 객체(Object)의 반응을 멀티 모달리티를 통하여 측정하는 단계(S610); 융합수단(200)이 측정된 데이터로부터 감정분류에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 단계(S620); 및 감정인식수단(300)이 융합수단(200)에서 융합된 데이터에 기초하여 감정을 인식하는 단계(S630);를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 방법을 제공함으로써 달성될 수 있다.
또한, S610 단계는 자극제시부(110)가 객체의 감정이 자연스럽게 유발되도록 시각, 청각, 압각, 및 입력수단 중 적어도 어느 하나를 통하여 자극을 제시하는 단계; 및 측정부(120)가 자극제시부(110)에 대응하여 반응하는 객체의 생체신호, 객체의 얼굴 표정 및 객체의 얼굴 열화상 중 적어도 어느 하나를 측정하는 단계;를 포함하는 것을 특징으로 한다.
또한, S620 단계는 특징추출부(210)가 객체가 반응한 반응 데이터를 측정부(120)로부터 입력받아 각 모달리티별 특징을 추출하는 단계; 단일감정분류부(220)가 특징추출부(210)에서 추출한 특징을 바탕으로 각 모달리티별 감정을 분류하는 단계; 및 특징결정융합부(230)가 단일감정분류부(220)에서 분류한 각 모달리티별 감정분류에 기초하여 높은 분류율 또는 높은 확률지표를 갖는 특징만을 추출하고 통합하여 새로운 특징을 갖는 특징융합과, 그리고 확률지표에 가중치를 부여하고 통합하여 새로운 특징을 갖는 결정융합을 형성하는 단계;를 포함하는 것을 특징으로 한다.
그리고, S630 단계는 복합감정분류부(310)가 특징융합과 결정융합을 통해 생성한 특징과 확률지표에 기초하여 학습되는 베이시언 신경망 알고리즘을 이용하여 객체가 반응한 감정을 분류하는 단계; 및 감정출력부(320)가 분류된 감정을 인식하여 출력하는 단계;를 포함하는 것을 특징으로 한다.
한편, 본 발명의 목적은 다른 카테고리로서, 멀티 모달리티 감정인식 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함으로써 달성될 수 있다.
전술한 바와 같은 본 발명에 의하면 객체의 감정상태를 반영하는 특징을 얼굴표정, 얼굴온도, 및 생체신호로부터 추출하고 융합함으로써 객체의 감정을 분류하여 인식할 수 있는 효과가 있다.
또한, 본 발명에 의하면 다양한 객체의 반응으로부터 감정을 분류하기 때문에 다양한 신체 장애인을 도울수 있는 장애인 도우미 칩에 이식하여 활용할 수 있는 효과가 있다.
그리고, 본 발명에 의하면 객체가 반응하는 9가지 감정상태를 인식할 수 있는 효과가 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명에 따른 멀티 모달리티 감정인식 시스템의 구성을 나타낸 구성도,
도 2는 도 1의 구성을 자세히 나타낸 상세 구성도,
도 3은 본 발명에 따른 반응 측정수단의 구성을 나타낸 구성도,
도 4는 본 발명에 따른 융합수단의 구성을 나타낸 구성도,
도 5는 본 발명에 따른 감정인식수단의 구성을 나타낸 구성도,
도 6은 본 발명에 따른 멀티 모달리티 감정인식 방법의 순서를 순차적으로 나타낸 순서도이다.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
<멀티 모달리티 감정인식 시스템의 구성>
도 1은 본 발명에 따른 멀티 모달리티 감정인식 시스템의 구성을 나타낸 구성도이고, 도 2는 도 1을 더욱 자세히 나타낸 상세 구성도이고, 도 3은 본 발명에 따른 반응 측정수단의 구성을 나타낸 구성도이고, 도 4는 본 발명에 따른 융합수단의 구성을 나타낸 구성도이고, 도 5는 본 발명에 따른 감정인식수단의 구성을 나타낸 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 멀티 모달리티 감정인식 시스템은 대략 반응측정수단(100), 융합수단(200), 및 감정인식수단(300)으로 구성할 수 있으며, 이에 더하여 데이터를 저장할 수 있는 저장수단(400)을 더 부가하여 구성하는 것이 바람직할 수 있다. 이하 도 1 내지 도 4를 참조하여 본 발명에 따른 멀티 모달리티 감정인식 시스템의 구성을 설명하기로 한다.
본 발명에 따른 반응측정수단(100)은 도 2에 도시된 바와 같이 제시된 자극에 대응하여 반응하는 객체(Object)의 반응을 멀티 모달리티를 통하여 측정하는 수단이다. 이때 객체는 피측정 대상으로서 다양한 감정을 표현할 수 있는 객체이면 충분하다. 일예로 본 발명에 따른 시스템이 인간의 감정을 인식하기 위해서는 객체가 사람이 될 수 있으며, 특정 동물의 감정을 인식하기 위해서는 객체의 대상은 감정을 인식하고자 하는 동물이 될 수도 있다.
또한, 멀티 모달리티는 본 발명에 따른 감정을 인식하기 위하여 객체의 반응을 다양한 경로로부터 측정하는 것을 의미한다. 즉 후술할 객체의 생체신호, 얼굴표정, 또는 얼굴 표면온도 등으로부터 객체의 반응을 측정하는 것이다.
한편, 반응측정수단(100)은 도 3에 도시된 바와 같이 객체의 감정이 자연스럽게 유발되도록 시각, 청각, 압각, 및 다양한 입력수단을 통하여 자극을 제시하는 자극제시부(110) 및 객체의 생체신호, 얼굴 표정, 또는 얼굴 열화상을 측정하는 측정부(120)로 구성한다.
이때 자극제시부(110)는 시각, 청각, 압각, 또는 다양한 입력수단(일예로 : 키보드, 마우스, 펜)을 통하여 객체가 자연스러운 감정을 느껴서 기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 또는 중성의 감정을 표현할 수 있도록 자극을 객체에 준다. 따라서 자극제시부(110)는 일예로 놀람, 기쁨, 또는 공포를 느낄 수 있도록 스크린 상에 동영상을 보여주거나 정지영상을 객체에 보여줌으로써 객체가 이에 반응하도록 할 수 있다.
그리고, 측정부(120)는 생체신호측정부(121), 얼굴표정측정부(122), 또는 얼굴표면온도측정부(123)로 구성되어 객체의 반응을 측정하기 위한 수단이다.
이와 같은 생체신호측정부(121)는 객체의 자율신경계 관련 반응인 심전도(ECG), 피부저항(EDA), 피부온도(SKT), 호흡(RESP), 또는 맥파(PPG)를 측정하여 객체의 반응을 측정한다. 또한 얼굴표정측정부(122)는 객체의 얼굴표정을 동영상 또는 정지영상 촬영하여 객체의 반응을 측정한다. 그리고, 얼굴표면온도측정부(123)는 객체의 얼굴 표면온도를 동영상 또는 정지영상으로 촬영하여 측정한다. 이때 객체의 코, 콧등, 왼쪽 눈, 오른쪽 눈, 이마, 왼쪽 뺨, 또는 오른쪽 뺨을 포함한 영역의 온도를 측정한다.
상술한 생체신호측정부(121), 얼굴표정측정부(122), 및 얼굴표면온도측정부(123)가 서로 동기되어 측정됨으로써 기존의 밝기에 대한 한계의 문제를 극복하고 서로 다른 모달리티에서 추출된 특징들을 서로 융합하여 새로운 특징융합을 추출할 수 있다.
본 발명에 따른 융합수단(200)은 상술한 반응측정수단(100)으로부터 측정된 데이터에 기초하여 감정인식에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 수단이다. 이러한 융합수단(200)은 도 4에 도시된 바와 같이 각 모달리티별 특징을 추출하는 특징추출부(210), 각 모달리티별 감정을 분류하는 단일감정분류부(220), 및 각 모달리티별 분류된 감정을 바탕으로 새로운 특징을 갖는 특징융합과 결정융합을 형성하는 특징결정융합부(230)로 구성되어 있다.
융합수단(200)의 일구성요소를 자세히 설명하면, 특징추출부(210)는 객체가 반응한 반응 데이터를 측정부(120)로부터 입력받아 각 모달리티별 특징을 추출한다. 이러한 특징추출부(210)의 각 모달리티별 특징 추출은 다음과 같다.
제1특징추출부(211)는 생체신호측정부(121)로부터 객체의 반응 데이터를 입력받아 주성분 분석과 선형 판별 분석을 통하여 객체가 반응한 생체신호의 특징을 추출한다. 이때 객체의 감정상태를 반영하는 특징을 시계열신호에서 추출하여 주성분 분석과 선형 판별 분석을 수행한다.
또한, 제2특징추출부(212)는 얼굴표정측정부(122)로부터 객체의 반응 데이터를 입력받아 하르-라이크 특징(Haar-like feature)을 이용한 아다부스트(AdaBoost) 학습 알고리즘을 통해 객체의 얼굴표정 특징을 추출한다.
한편, 하르-라이크 알고리즘은 얼굴의 눈, 코, 및 입 등을 특정모양의(일예로 검정과 흰색으로 이루어진) 패턴을 가지고 얼굴에 더욱 가까운 이미지들을 필터링하는 알고리즘이다. 아다부스트 알고리즘은 하르-라이크 특징을 이용하여 필터링한 데이터를 가지고 이를 학습함으로써 원하는 얼굴의 특징을 인식할 수 있는 알고리즘이다.
따라서, 얼굴표정 특징의 추출은 객체의 눈, 코, 입, 또는 눈썹의 액션 유닛(Action Unit)을 추출하고, 이들이 갖는 화소정보, 위치정보, 형태정보, 및 특징 벡터등으로부터 추출한다.
그리고, 제3특징추출부(213)는 얼굴표면온도측정부(123)로부터 상술한 7가지 부위에 해당하는 영역의 온도를 입력받아 각 영역에 대한 최고온도, 최저온도, 및 평균온도를 추출한다.
다만 상술한 특징추출부(210)는 객체가 반응한 반응 데이터를 측정부(120)로부터 입력받아 각 모달리티별 특징을 추출하거나, 또는 이들 특징을 융합하여 새로운 융합특징을 추출할 수도 있다.
한편, 융합수단(200)의 일구성요소인 단일감정분류부(220)는 특징추출부(210)에서 3가지 모달리티별로 추출한 각각의 특징을 바탕으로 각 모달리티별 감정을 제1,2,3 단일감정분류부(221,222,223)가 분류한다. 이때 감정 분류에 사용되는 학습 알고리즘은 지도 학습 방법인 서포터 벡터 머신(Support Vector Machine)을 사용하여 각각의 단일 모달리티에 적합하도록 3가지 분류기(Classfier)를 모델링하여 9개의 감정상태를 분류한다. 서포터 벡터 머신은 두 가지 종류의 데이터를 적절하게 나누는 판별방식을 컴퓨터로 학습하여 새로운 데이터에 대한 예측을 수행할 수 있는 알고리즘이다.
한편, 융합수단(200)의 일구성요소인 특징결정융합부(230)는 단일감정분류부(220)에서 분류한 각 모달리티별 감정분류에 기초하여 높은 분류율 또는 높은 확률지표를 갖는 특징만을 추출하고 통합(Intergration)하여 새로운 특징을 갖는 특징융합(Feature Level Fusion)을 형성한다. 또한, 상술한 확률지표에 가중치를 부여하고 통합하여 새로운 특징을 갖는 결정융합(Decision-level Fusion)을 형성한다.
본 발명에 따른 감정인식수단(300)은 융합수단(200)에서 특징융합 및 결정융합된 데이터에 기초하여 객체가 반응한 감정을 인식하는 수단이다. 이러한 감정인식수단(300)은 도 5에 도시된 바와 같이 감정을 분류하는 복합감정분류부(310) 및 분류된 감정을 인식하여 출력하는 감정출력부(320)로 구성되며 이를 자세히 설명한다.
복합감정분류부(310)는 상술한 특징결정융합부(230)에서 형성한 특징융합과 결정융합을 통해 생성한 특징과 확률지표에 기초하여 학습되는 베이시언 신경망(Bayesian Network) 알고리즘을 이용한 분류기를 통하여 객체가 반응한 감정을 분류한다.
이때 베이시언 신경망은 환경을 구성하는 변수들 간의 의존관계를 나타내는 그래픽 확률 모델이다. 분류기로 많이 이용되는 베이시언 신경망에는 3가지 유형이 있다. 이들 중 나이브 베이시언 신경망은 클래스 노드를 제외한 모든 노드 변수들이 서로 독립적이라고 가정하는 모델이다. 반면에 확장 베이시언 신경망은 클래스 노드를 제외한 일반 노드 변수들 간에 상호의존성을 허용하는 모델이다. 가장 확장된 형태의 일반 베이시언 신경망은 클래스 노드와 일반 노드들 간에 별도의 구분을 두지 않는다.
베이시언 신경망 학습방법으로는 점수기반 알고리즘과 조건부 독립성 기반 알고리즘 등이 있다. 점수기반의 학습 알고리즘들은 영역지식을 바탕으로 초기 베이시언 신경망을 만든 다음 가장 좋은 점수를 얻게 될 때까지 베이시언 신경망을 계속 변형해 간다. 점수 측정 방법으로는 엔트로피 기반의 점수제 또는 베이시안 점수제 등이 있다. 한편, 조건부 독립성 기반 알고리즘은 노드들 간의 조건부 독립성 테스트를 수행하여 베이시언 신경망의 에지들을 추가 또는 삭제해 간다.
그리고, 감정출력부는(320)는 분류된 감정을 인식하여 출력한다. 이러한 감정출력부(320)는 인식한 감정을 컴퓨터(도면 미도시) 화면 또는 디스플레이될 수 있는 다양한 수단을 통하여 출력할 수 있다. 다만, 이러한 감정출력부(320)는 인식한 감정을 사용자에게 제시할 수 있으면 충분한 바 상술한 수단외에 다양한 제시수단이 사용될 수 있음은 자명하다.
본 발명에 따른 저장수단(400)은 반응측정수단(100)에서 측정된 데이터 및 융합수단(200)에서 융합된 데이터를 저장하는 수단이다. 이러한 저장수단(400)은 하드디스크 또는 휴대용 저장매체(일예로 USB메모리) 등이 사용될 수 있으나, 반드시 이에 한정되지 아니하고 사용자의 필요에 따라 다양한 저장수단이 사용될 수 있다.
한편, 상술한 구성 및 기능을 가지는 특징추출부(210), 단일감정분류부(220), 특징결정융합부(230), 및 복합감정분류부(310)는 하나의 서버 컴퓨터(도면 미도시)에 의해 구성되어 기능을 수행할 수도 있으며, 필요에 따라 그 구성이 분리되어 사용될 수도 있음은 당업자에게 자명할 것이다.
<멀티 모달리티 감정인식 방법>
도 6은 본 발명에 따른 멀티 모달리티 감정인식 방법의 순서를 순차적으로 나타낸 순서도이다. 상술한 구성을 가지는 본 발명에 따른 멀티 모달리티 감정인식 시스템에 의하여 수행될 수 있는 멀티 모달리티 감정인식 방법의 일실시예가 도 6에 도시되어 있다.
도 6에 도시된 바와 같이, 본 발명에 따른 멀티 모달리티 감정인식 방법의 순서는 개략적으로 자극을 제시하고, 제시된 자극에 반응하는 객체의 반응을 측정하는 S610 단계, S610 단계에서 측정된 데이터로부터 특징을 추출하고 융합하는 S620 단계, 그리고 S620 단계에서 융합된 데이터를 바탕으로 감정을 인식하는 S630 단계를 수행한다. 이하에서는 도 6을 참조하여 본 발명에 따른 멀티 모달리티 감정인식 방법을 순차적으로 설명하기로 한다.
먼저, 반응측정수단(100)이 제시된 자극에 대응하여 반응하는 객체(Object)의 반응을 멀티 모달리티를 통하여 측정하는 단계(S610)를 수행하게 된다. 이때 객체는 반응을 측정하고자 하는 피측정 대상으로서 일예로 인간 또는 동물이 될 수 있다.
한편, S610 단계를 세부적으로 살펴보면 자극제시부(110)가 객체의 감정이 자연스럽게 유발되도록 시각, 청각, 압각, 및 입력수단을 통하여 자극을 제시하는 단계를 먼저 수행한다.
그리고 측정부(120)가 자극제시부(110)에 대응하여 반응하는 객체의 생체신호, 객체의 얼굴 표정 및 객체의 얼굴 열화상을 측정하는 단계를 수행한다. 이때 각각의 측정은 서로 동기되어 수행됨으로써 종래의 밝기에 대한 제약으로부터 벗어날 수 있고, 또한 서로 다른 모달리티에서 측정된 특징들을 융합하여 새로운 특징을 융합할 수 있다.
다음으로, 융합수단(200)이 측정된 데이터로부터 감정분류에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 단계(S620)를 수행한다.
이러한 융합하는 단계(S620)를 세부적으로 살펴보면 특징추출부(210)가 객체가 반응한 반응 데이터를 측정부(120)로부터 입력받아 각 모달리티별 특징을 추출하는 단계를 수행한다.
그 후, 단일감정분류부(220)가 특징추출부(210)에서 추출한 특징을 바탕으로 각 모달리티별 감정을 분류하는 단계를 수행한다. 이때 단일감정분류부(220)는 지도 학습 방법인 서포터 벡터 머신을 사용하여 각 모달리티별 감정을 분류한다.
그리고, 특징결정융합부(230)가 단일감정분류부(220)에서 분류한 각 모달리티별 감정분류에 기초하여 높은 분류율 또는 높은 확률지표를 갖는 특징만을 추출하고 통합하여 새로운 특징을 갖는 특징융합과, 그리고 확률지표에 가중치를 부여하고 통합하여 새로운 특징을 갖는 결정융합을 형성하는 단계를 수행한다.
다음으로, 감정인식수단(300)이 융합수단(200)에서 융합된 데이터에 기초하여 객체가 반응한 감정을 인식하는 단계(S630)를 수행한다.
S630 단계는 복합감정분류부(310)가 특징융합과 결정융합을 통해 생성한 특징과 확률지표에 기초하여 학습되는 베이시언 신경망 알고리즘을 이용하여 객체가 반응한 감정을 분류하는 단계를 수행한다.
그리고, 감정출력부(320)가 분류된 감정을 인식하여 출력하는 단계를 수행함으로써 더욱 세분화될 수 있다. 다만 이때 감정을 인식하는 수단은 복합감정분류부(310)가 인식할 수도 있고 감정출력부(320)가 인식할 수도 있음은 자명하다.
<기록매체>
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상, 본 발명의 일실시예를 참조하여 설명했지만, 본 발명이 이것에 한정되지는 않으며, 다양한 변형 및 응용이 가능하다. 즉, 본 발명의 요지를 일탈하지 않는 범위에서 많은 변형이 가능한 것을 당업자는 용이하게 이해할 수 있을 것이다.
100 : 반응측정수단
110 : 자극제시부
120 : 측정부
121 : 생체신호측정부
122 : 얼굴표정측정부
123 : 얼굴표면온도측정부
200 : 융합수단
210 : 특징추출부
211 : 제1특징추출부
212 : 제2특징추출부
213 ; 제3특징추출부
220 : 단일감정분류부
221 : 제1단일감정분류부
222 : 제2단일감정분류부
223 : 제3단일감정분류부
230 : 특징결정융합부
300 : 감정인식수단
310 : 복합감정분류부
320 : 감정출력부
400 : 저장수단

Claims (21)

  1. 제시된 자극에 대응하여 반응하는 객체(Object)의 반응을 멀티 모달리티를 통하여 측정하는 반응측정수단(100);
    측정된 데이터로부터 감정인식에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 융합수단(200); 및
    상기 융합수단(200)에서 융합된 데이터에 기초하여 감정을 인식하는 감정인식수단(300);을 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  2. 제 1 항에 있어서,
    상기 반응측정수단(100)에서 측정된 데이터 및 상기 융합수단(200)에서 융합된 데이터를 저장하는 저장수단(400);을 더 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  3. 제 1 항에 있어서,
    상기 반응측정수단(100)은,
    상기 객체의 감정이 자연스럽게 유발되도록 시각, 청각, 압각, 및 입력수단중 적어도 하나를 통하여 상기 자극을 제시하는 자극제시부(110); 및
    상기 자극제시부(110)에 대응하여 반응하는 상기 객체의 생체신호, 상기 객체의 얼굴 표정 및 상기 객체의 얼굴 열화상을 측정하는 측정부(120);를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  4. 제 3 항에 있어서,
    상기 입력수단은 키보드, 마우스, 및 펜 중 적어도 어느 하나인 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  5. 제 3 항에 있어서,
    상기 자극은 기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 및 중성 중 적어도 어느 하나를 상기 객체가 표현하도록 하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  6. 제 3 항에 있어서,
    상기 측정부(120)는,
    상기 객체의 자율신경계 관련 반응인 심전도(ECG), 피부저항(EDA), 피부온도(SKT), 호흡(RESP), 및 맥파(PPG) 중 적어도 하나를 측정하여 상기 객체의 반응을 측정하는 생체신호측정부(121);
    상기 객체의 얼굴표정을 동영상 또는 정지영상 촬영하여 상기 객체의 반응을 측정하는 얼굴표정측정부(122); 및
    상기 객체의 얼굴 표면온도를 동영상 또는 정지영상으로 촬영하여 상기 객체의 반응을 측정하는 얼굴표면온도측정부(123);를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  7. 제 6 항에 있어서,
    상기 융합수단(200)은,
    상기 객체가 반응한 반응 데이터를 상기 측정부(120)로부터 입력받아 각 모달리티별 특징을 추출하는 특징추출부(210);
    상기 추출한 특징을 바탕으로 각 모달리티별 감정을 분류하는 단일감정분류부(220); 및
    상기 각 모달리티별 감정분류에 기초하여 높은 분류율 또는 높은 확률지표를 갖는 특징을 추출하고 통합하여 새로운 특징을 갖는 특징융합과, 그리고
    상기 확률지표에 가중치를 부여하고 통합하여 새로운 특징을 갖는 결정융합을 형성하는 특징결정융합부(230);를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  8. 제 7 항에 있어서,
    상기 단일감정분류부(220)는 지도 학습 방법인 서포터 벡터 머신을 사용하여 상기 각 모달리티별 감정을 분류하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  9. 제 7 항에 있어서,
    상기 특징추출부(210)는 상기 생체신호측정부(121)로부터 상기 객체의 반응 데이터를 입력받아 주성분 분석과 선형 판별 분석을 통하여 상기 객체의 생체신호 특징을 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  10. 제 7 항에 있어서,
    상기 특징추출부(210)는 상기 얼굴표정측정부(122)로부터 상기 객체의 반응 데이터를 입력받아 하르-라이크 특징을 이용한 아다부스트(AdaBoost) 학습 알고리즘을 통해 상기 객체의 얼굴표정 특징을 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  11. 제 10 항에 있어서,
    상기 객체의 얼굴표정 특징의 추출은 상기 객체의 눈, 코, 입, 눈썹의 액션 유닛을 추출하여 이들이 갖는 화소정보, 위치정보, 형태정보, 및 특징 벡터등으로부터 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  12. 제 6 항에 있어서,
    상기 얼굴표면온도측정부(123)는 상기 객체의 코, 콧등, 왼쪽 눈, 오른쪽 눈, 이마, 왼쪽 뺨, 및 오른쪽 뺨 중 적어도 어느 하나를 포함한 영역의 온도를 측정하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  13. 제 7 항에 있어서,
    상기 특징추출부(210)는 상기 얼굴표면온도측정부(123)로부터 상기 영역의 온도를 입력받아 각 영역에 대한 최고온도, 최저온도, 및 평균온도 중 적어도 어느 하나를 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  14. 제 6 항에 있어서,
    상기 신호측정부(121), 상기 얼굴표정측정부(122), 및 상기 얼굴표면온도측정부(123)를 서로 동기시켜 상기 객체의 반응을 측정하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  15. 제 7 항에 있어서,
    상기 특징추출부(210)는 각 모달리티별 특징을 융합하여 새로운 융합특징을 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  16. 제 7 항에 있어서,
    상기 감정인식수단(300)은,
    상기 특징융합과 상기 결정융합을 통해 생성한 특징과 확률지표에 기초하여 학습되는 베이시언 신경망 알고리즘을 이용하여 상기 객체가 반응한 감정을 분류하는 복합감정분류부(310); 및
    분류된 감정을 인식하여 출력하는 감정출력부(320);를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템.
  17. 반응측정수단(100)이 제시된 자극에 대응하여 반응하는 객체의 반응을 멀티 모달리티를 통하여 측정하는 단계(S610);
    융합수단(200)이 측정된 데이터로부터 감정분류에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 단계(S620); 및
    감정인식수단(300)이 상기 융합수단(200)에서 융합된 데이터에 기초하여 감정을 인식하는 단계(S630);를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 방법.
  18. 제 17 항에 있어서,
    상기 S610 단계는,
    자극제시부(110)가 상기 객체의 감정이 자연스럽게 유발되도록 시각, 청각, 압각, 및 입력수단 중 적어도 어느 하나를 통하여 상기 자극을 제시하는 단계; 및
    측정부(120)가 상기 자극제시부(110)에 대응하여 반응하는 상기 객체의 생체신호, 상기 객체의 얼굴 표정 및 상기 객체의 얼굴 열화상 중 적어도 어느 하나를 측정하는 단계;를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 방법.
  19. 제 18 항에 있어서,
    상기 S620 단계는,
    특징추출부(210)가 상기 객체가 반응한 반응 데이터를 상기 측정부(120)로부터 입력받아 각 모달리티별 특징을 추출하는 단계;
    단일감정분류부(220)가 상기 추출한 특징을 바탕으로 각 모달리티별 감정을 분류하는 단계; 및
    특징결정융합부(230)가 상기 각 모달리티별 감정분류에 기초하여 높은 분류율 또는 높은 확률지표를 갖는 특징만을 추출하고 통합하여 새로운 특징을 갖는 특징융합과, 그리고
    상기 확률지표에 가중치를 부여하고 통합하여 새로운 특징을 갖는 결정융합을 형성하는 단계;를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 방법.
  20. 제 19 항에 있어서,
    상기 S630 단계는,
    복합감정분류부(310)가 상기 특징융합과 상기 결정융합을 통해 생성한 특징과 확률지표에 기초하여 학습되는 베이시언 신경망 알고리즘을 이용하여 상기 객체가 반응한 감정을 분류하는 단계; 및
    감정출력부(320)가 분류된 감정을 인식하여 출력하는 단계;를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 방법.
  21. 제 17 항 내지 제 20 항 중 어느 한 항에 따른 멀티 모달리티 감정인식 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020110012724A 2011-02-14 2011-02-14 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체 KR101284561B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110012724A KR101284561B1 (ko) 2011-02-14 2011-02-14 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110012724A KR101284561B1 (ko) 2011-02-14 2011-02-14 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체

Publications (2)

Publication Number Publication Date
KR20120092846A true KR20120092846A (ko) 2012-08-22
KR101284561B1 KR101284561B1 (ko) 2013-07-11

Family

ID=46884644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110012724A KR101284561B1 (ko) 2011-02-14 2011-02-14 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체

Country Status (1)

Country Link
KR (1) KR101284561B1 (ko)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140045865A (ko) * 2012-10-09 2014-04-17 삼성전자주식회사 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법
KR20160029375A (ko) * 2014-09-05 2016-03-15 삼성전자주식회사 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법
WO2017090815A1 (ko) * 2015-11-27 2017-06-01 한국 한의학 연구원 관절 가동 범위를 측정하는 장치 및 방법
CN107180236A (zh) * 2017-06-02 2017-09-19 北京工业大学 一种基于类脑模型的多模态情感识别方法
WO2018182337A1 (ko) * 2017-03-31 2018-10-04 삼성전자주식회사 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
KR20190023749A (ko) * 2017-08-30 2019-03-08 (주)휴머노이드시스템 사용자 감성 인식 장치 및 방법
KR20190035558A (ko) * 2017-09-26 2019-04-03 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
KR20190100320A (ko) * 2017-03-08 2019-08-28 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리를 위한 신경망 모델 훈련 방법, 장치 및 저장 매체
CN110471534A (zh) * 2019-08-23 2019-11-19 靖江市人民医院 基于情绪识别的信息处理方法及远程医疗管理系统
KR20200031459A (ko) * 2018-09-14 2020-03-24 엘지전자 주식회사 감성 인식기 및 이를 포함하는 로봇, 서버
WO2020067633A1 (en) * 2018-09-28 2020-04-02 Samsung Electronics Co., Ltd. Electronic device and method of obtaining emotion information
KR20200044211A (ko) * 2018-10-11 2020-04-29 현대자동차주식회사 차량의 제어 장치 및 방법
KR20200071807A (ko) * 2018-11-30 2020-06-22 인하대학교 산학협력단 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템
WO2020196976A1 (ko) * 2019-03-22 2020-10-01 한국과학기술원 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법
CN112788990A (zh) * 2018-09-28 2021-05-11 三星电子株式会社 获得情绪信息的电子设备和方法
KR102280722B1 (ko) * 2020-02-20 2021-07-22 공영일 정신 건강 관리 서비스를 위한 힐링 의자 장치
WO2022108057A1 (ko) * 2020-11-20 2022-05-27 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
KR20220086878A (ko) * 2020-12-17 2022-06-24 광주대학교산학협력단 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치
KR20220100206A (ko) * 2021-01-08 2022-07-15 계명대학교 산학협력단 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템 및 방법
KR20220144983A (ko) * 2021-04-21 2022-10-28 조선대학교산학협력단 영상 및 심전도를 이용한 감정 인식 시스템
WO2023106726A1 (ko) * 2021-12-07 2023-06-15 계명대학교 산학협력단 인간의 복합감정을 예측할 수 있는 efficientnet 아키텍처 기반 모바일 비전 시스템 및 방법
CN117371338A (zh) * 2023-12-07 2024-01-09 浙江宇宙奇点科技有限公司 一种基于用户画像的ai数字人建模方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102015097B1 (ko) * 2017-04-26 2019-10-21 클라트 주식회사 생체정보를 이용한 감성 검출 장치 및 감성 검출 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR102004197B1 (ko) * 2018-10-18 2019-07-26 전남대학교산학협력단 다른 위치에서 동기화된 ppg와 pcg를 사용한 감정 인식 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996256B2 (en) * 2000-06-08 2006-02-07 Honeywell International Inc. Detection system and method using thermal image analysis
JP2007167105A (ja) * 2005-12-19 2007-07-05 Olympus Corp 心身相関データ評価装置及び心身相関データ評価方法
KR100903348B1 (ko) 2007-11-28 2009-06-23 중앙대학교 산학협력단 특징 융합 기반 감정인식 방법 및 시스템
KR100958030B1 (ko) * 2007-11-28 2010-05-17 중앙대학교 산학협력단 결정 융합 기반 감정인식 방법 및 시스템

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140045865A (ko) * 2012-10-09 2014-04-17 삼성전자주식회사 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법
KR20160029375A (ko) * 2014-09-05 2016-03-15 삼성전자주식회사 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법
WO2017090815A1 (ko) * 2015-11-27 2017-06-01 한국 한의학 연구원 관절 가동 범위를 측정하는 장치 및 방법
KR20190100320A (ko) * 2017-03-08 2019-08-28 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리를 위한 신경망 모델 훈련 방법, 장치 및 저장 매체
WO2018182337A1 (ko) * 2017-03-31 2018-10-04 삼성전자주식회사 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
CN107180236B (zh) * 2017-06-02 2020-02-11 北京工业大学 一种基于类脑模型的多模态情感识别方法
CN107180236A (zh) * 2017-06-02 2017-09-19 北京工业大学 一种基于类脑模型的多模态情感识别方法
KR20190023749A (ko) * 2017-08-30 2019-03-08 (주)휴머노이드시스템 사용자 감성 인식 장치 및 방법
KR20190035558A (ko) * 2017-09-26 2019-04-03 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
KR20200031459A (ko) * 2018-09-14 2020-03-24 엘지전자 주식회사 감성 인식기 및 이를 포함하는 로봇, 서버
US11544524B2 (en) 2018-09-28 2023-01-03 Samsung Electronics Co., Ltd. Electronic device and method of obtaining emotion information
CN112788990A (zh) * 2018-09-28 2021-05-11 三星电子株式会社 获得情绪信息的电子设备和方法
WO2020067633A1 (en) * 2018-09-28 2020-04-02 Samsung Electronics Co., Ltd. Electronic device and method of obtaining emotion information
KR20200044211A (ko) * 2018-10-11 2020-04-29 현대자동차주식회사 차량의 제어 장치 및 방법
KR20200071807A (ko) * 2018-11-30 2020-06-22 인하대학교 산학협력단 영상 및 eeg 신호 융합을 이용한 인간 감정상태 인식 방법 및 시스템
WO2020196976A1 (ko) * 2019-03-22 2020-10-01 한국과학기술원 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법
KR20200119368A (ko) * 2019-03-22 2020-10-20 한국과학기술원 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법
CN110471534B (zh) * 2019-08-23 2022-11-04 靖江市人民医院 基于情绪识别的信息处理方法及远程医疗管理系统
CN110471534A (zh) * 2019-08-23 2019-11-19 靖江市人民医院 基于情绪识别的信息处理方法及远程医疗管理系统
KR102280722B1 (ko) * 2020-02-20 2021-07-22 공영일 정신 건강 관리 서비스를 위한 힐링 의자 장치
WO2022108057A1 (ko) * 2020-11-20 2022-05-27 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
KR20220069677A (ko) * 2020-11-20 2022-05-27 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
KR20220086878A (ko) * 2020-12-17 2022-06-24 광주대학교산학협력단 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치
KR20220100206A (ko) * 2021-01-08 2022-07-15 계명대학교 산학협력단 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템 및 방법
KR20220144983A (ko) * 2021-04-21 2022-10-28 조선대학교산학협력단 영상 및 심전도를 이용한 감정 인식 시스템
WO2023106726A1 (ko) * 2021-12-07 2023-06-15 계명대학교 산학협력단 인간의 복합감정을 예측할 수 있는 efficientnet 아키텍처 기반 모바일 비전 시스템 및 방법
CN117371338A (zh) * 2023-12-07 2024-01-09 浙江宇宙奇点科技有限公司 一种基于用户画像的ai数字人建模方法及系统
CN117371338B (zh) * 2023-12-07 2024-03-22 浙江宇宙奇点科技有限公司 一种基于用户画像的ai数字人建模方法及系统

Also Published As

Publication number Publication date
KR101284561B1 (ko) 2013-07-11

Similar Documents

Publication Publication Date Title
KR101284561B1 (ko) 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
US10813559B2 (en) Detecting respiratory tract infection based on changes in coughing sounds
Ahmed et al. A systematic survey on multimodal emotion recognition using learning algorithms
Zhang et al. Facial expression analysis under partial occlusion: A survey
Monkaresi et al. Automated detection of engagement using video-based estimation of facial expressions and heart rate
Climent-Pérez et al. A review on video-based active and assisted living technologies for automated lifelogging
Vinola et al. A survey on human emotion recognition approaches, databases and applications
US20210280322A1 (en) Wearable-based certification of a premises as contagion-safe
US11103140B2 (en) Monitoring blood sugar level with a comfortable head-mounted device
US10827973B1 (en) Machine-based infants pain assessment tool
Sonawane et al. Review of automated emotion-based quantification of facial expression in Parkinson’s patients
Al Osman et al. Multimodal affect recognition: Current approaches and challenges
JP2016513319A (ja) 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム
Bilalpur et al. Gender and emotion recognition with implicit user signals
Chen et al. Automated pain detection from facial expressions using facs: A review
Yan et al. EmoGlass: An end-to-end AI-enabled wearable platform for enhancing self-awareness of emotional health
Hasan et al. Pain level detection from facial image captured by smartphone
Mano Emotional condition in the Health Smart Homes environment: emotion recognition using ensemble of classifiers
Dadiz et al. Detecting depression in videos using uniformed local binary pattern on facial features
Singh et al. Prediction of pain intensity using multimedia data
Healy et al. Detecting demeanor for healthcare with machine learning
Amara et al. Emotion Recognition for Affective human digital twin by means of virtual reality enabling technologies
Turaev et al. Review and analysis of patients’ body language from an artificial intelligence perspective
de J Lozoya-Santos et al. Current and Future Biometrics: Technology and Applications
Alzamzmi Automatic multimodal assessment of neonatal pain

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160627

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 5