KR20130055429A - 감정 세그먼트 기반의 감정 인식 장치 및 방법 - Google Patents

감정 세그먼트 기반의 감정 인식 장치 및 방법 Download PDF

Info

Publication number
KR20130055429A
KR20130055429A KR1020110121173A KR20110121173A KR20130055429A KR 20130055429 A KR20130055429 A KR 20130055429A KR 1020110121173 A KR1020110121173 A KR 1020110121173A KR 20110121173 A KR20110121173 A KR 20110121173A KR 20130055429 A KR20130055429 A KR 20130055429A
Authority
KR
South Korea
Prior art keywords
emotion
segment
data
sampling
determination unit
Prior art date
Application number
KR1020110121173A
Other languages
English (en)
Inventor
김현준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110121173A priority Critical patent/KR20130055429A/ko
Priority to US13/680,038 priority patent/US9189471B2/en
Publication of KR20130055429A publication Critical patent/KR20130055429A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

복잡하고 변화가 잦은 사용자의 감정을 효율적이고 정확하게 인식하기 위한 감정 세그먼트 기반의 감정 인식 장치 및 방법이 제공된다. 일 양상에 따른 감정 세그먼트 기반의 감정 인식 장치는, 감정 인식을 위한 입력 데이터에서 샘플링 데이터를 추출하는 샘플링부, 추출된 샘플링 데이터를 다수의 데이터 세그먼트(data segment)로 나타내는 데이터 세그먼트 생성부, 및 각 데이터 세그먼트에 대응되는 감정으로 정의되는 감정 세그먼트(emotion segment)를 생성하는 감정 세그먼트 생성부를 포함할 수 있다.

Description

감정 세그먼트 기반의 감정 인식 장치 및 방법{Apparatus and Method for emotion recognition based on emotion segment}
사용자의 감정을 인식하고 인식된 감정에 대응되는 서비스를 제공하는 기술과 관련된다.
사람의 감정을 인식하고, 이를 토대로 개인화된 서비스를 제공하는 것은 매우 중요한 문제이다. 아직 상용화는 초기단계이지만, 사람의 감정을 인식하기 위한 많은 노력이 세계적으로 진행되고 있다.
감정 인식 기술로는 사용자의 얼굴표정 또는 목소리와 같이 감정이 직접적으로 표출되는 정보로부터 사용자의 감정을 추정하는 기술이 일반적이다. 한편 최근에는 사용자의 행동 패턴과 같이 간접적인 정보로부터 사용자의 감정을 추정하는 기술에 대한 관심도 늘어나고 있는 추세이다.
특정 시점에 대한 사용자의 감정을 인식함에 있어서, 연속성을 갖는 충분한 크기의 데이터는 보다 정확한 인식을 위해 필수적이지만, 사람의 감정은 복합적이며 순간적인 변화의 발행 소지가 있기 때문에, 주어진 데이터에서 정확한 감정을 인식하는데 어려움이 있을 수 있다.
또한 사람이 표출하는 연속적인 직/간접적인 행위 데이터에는 노이즈가 포함되어 있으므로, 이 또한 감정 인식의 성능을 떨어뜨리는 원인이 될 수 있다.
복잡하고 변화가 잦은 사용자의 감정을 효율적이고 정확하게 인식하기 위한 감정 세그먼트 기반의 감정 인식 장치 및 방법이 제공된다.
일 양상에 따른 감정 세그먼트 기반의 감정 인식 장치는, 감정 인식을 위한 입력 데이터에서 샘플링 데이터를 추출하는 샘플링부, 추출된 샘플링 데이터를 다수의 데이터 세그먼트(data segment)로 나타내는 데이터 세그먼트 생성부, 및 각 데이터 세그먼트에 대응되는 감정으로 정의되는 감정 세그먼트(emotion segment)를 생성하는 감정 세그먼트 생성부를 포함할 수 있다.
다른 양상에 따라, 감정 세그먼트 기반의 감정 인식 장치는, 감정 세그먼트를 이용해서 사용자의 대표 감정, 복합 감정, 및 변이 감정 중 적어도 하나를 결정하는 감정 결정부를 더 포함할 수 있다.
추가적 양상에 따라, 데이터 세그먼트 생성부는, 비-중첩적 시간 영역 윈도우를 이용하여 추출된 샘플링 데이터를 등간격 또는 비-등간격으로 단순 분할하거나, 또는 중첩적 시간 영역 윈도우를 이용하여 추출된 샘플링 데이터를 누적적 분할하는 것이 가능하다.
또 다른 추가적 양상에 따라, 감정 세그먼트 생성부는, 각 데이터 세그먼트에 대하여, 다수의 후보 감정 및 각 후보 감정의 확률값들을 계산하고, 계산된 확률값들 중에서 가장 큰 확률값을 갖는 후보 감정을 그 데이터 세그먼트의 감정 세그먼트로 결정할 수 있다.
또 다른 추가적 양상에 따라, 감정 결정부는 각 데이터 세그먼트에 관한 확률값들의 표준 편차 또는 엔트로피와 같은 신뢰도를 이용하여 대표 감정 또는 복합 감정을 결정할 수 있고, 각 데이터 세그먼트의 시간을 고려해서 시간에 따른 감정 변화 상태인 변이 감정을 결정할 수도 있다.
한편, 일 양상에 따른 감정 세그먼트 기반의 감정 인식 방법은, 감정 인식을 위한 입력 데이터에서 샘플링 데이터를 추출하는 단계, 추출된 샘플링 데이터를 다수의 데이터 세그먼트(data segment)로 나타내는 단계, 및 각 데이터 세그먼트에 대응되는 감정으로 정의되는 감정 세그먼트(emotion segment)를 생성하는 단계를 포함할 수 있다.
다른 양상에 따라, 감정 세그먼트 기반의 감정 인식 방법은, 감정 세그먼트를 이용해서 사용자의 대표 감정, 복합 감정, 및 변이 감정 중 적어도 하나를 결정하는 단계를 더 포함할 수 있다.
개시된 내용에 의하면, 감정 세그먼트에 기반하여 사용자의 감정을 인식하기 때문에 복잡한 인간의 감정을 보다 효율적이고 정확하게 표현할 수가 있고, 나아가 그 감정에 알맞은 서비스를 제공할 수가 있다.
도 1은 일 실시예에 따른 감정 세그먼트 기반의 감정 인식 장치를 도시한다.
도 2는 일 실시예에 따른 입력 데이터 및 샘플링 데이터를 도시한다.
도 3a 내지 도 3c는 일 실시예에 따른 데이터 세그먼트를 도시한다.
도 4는 일 실시예에 따른 감정 세그먼트 생성 방법을 도시한다.
도 5는 다른 실시예에 따른 감정 세그먼트 기반의 감정 인식 장치를 도시한다.
도 6은 일 실시예에 따른 감정 결정부를 도시한다.
도 7a 내지 도 7c는 일 실시예에 따른 감정 결정부의 감정 결정 방법을 도시한다.
도 8은 일 실시예에 따른 감정 세그먼트 기반의 감정 인식 방법의 전체적인 흐름을 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 일 실시예에 따른 감정 세그먼트 기반의 감정 인식 장치를 도시한다.
도 1을 참조하면, 본 실시예에 따른 감정 인식 장치(100)는 센서부(101), 샘플링부(102), 데이터 세그먼트 생성부(103), 및 감성 세그먼트 생성부(104)를 포함할 수 있다.
센서부(101)는 감정 인식을 위한 다양한 입력 데이터를 측정 및 수집한다. 센서부(101)에 의해 측정 및 수집되는 입력 데이터는 사용자와 관련된 다양한 시간 영역의 데이터가 될 수 있다. 이러한 입력 신호의 예로는, 사용자와 관련된 얼굴 영상, 음성, 입력 텍스트, 체온, 움직이는 속도, 위치, 사용 중인 어플리케이션의 종류 등이 될 수 있다. 다만 이것들은 이해를 돕기 위한 일 예에 불과한 것으로 입력 데이터가 여기에 한정되는 것은 아니다.
샘플링부(102)는 센서부(101)에 의해 얻어진 입력 데이터에서 샘플링 데이터를 추출한다. 예를 들어, 샘플링부(102)는 정해진 크기(size)를 갖는 시간 영역 윈도우(window)를 이용하여 센서부(101)에 의해 얻어진 시간 영역의 입력 데이터의 일부를 추출하는 것이 가능하다. 도 2를 통해 더 구체적으로 살펴보면 다음과 같다.
도 2는 일 실시예에 따른 입력 데이터 및 샘플링 데이터를 도시한다.
도 1 및 도 2를 참조하면, 센서부(101)에 의해 얻어진 입력 데이터(200)가 샘플링부(102)로 전달된다. 입력 데이터(200)는 시간 영역의 데이터가 될 수 있다. 예컨대, 입력 데이터(200)가 음성 신호라고 가정하면, X축은 시간에, Y축은 신호의 크기(magnitude)에 대응될 수가 있다. 입력 데이터(200)를 수신한 샘플링부(102)는 정해진 크기를 갖는 시간 영역 윈도우를 이용하여, 시간 T0부터 T5에 대응되는 샘플링 데이터(S)를 추출할 수 있다. 여기서 입력 데이터(200)의 추출 구간 및 샘플링 데이터(S)의 크기 등은 응용 목적에 따라 가변될 수 있음은 물론이다.
다시 도 1에서, 데이터 세그먼트 생성부(103)는 추출된 샘플링 데이터를 다수의 데이터 세그먼트(data segment)로 나타낸다. 어떤 하나의 데이터 세그먼트는 샘플링 데이터의 일부 또는 전부가 될 수 있다. 예컨대, 데이터 세그먼트 생성부(103)는 샘플링 데이터보다 크기가 작거나 동일한 시간 영역 윈도우를 바탕으로 샘플링 데이터를 분할 및 재구성하는 것이 가능하다.
일 예로서, 데이터 세그먼트 생성부(103)는 동일한 크기의 시간 영역 윈도우를 이용하여 샘플링 데이터를 동일한 간격으로 분할하거나, 또는 상이한 크기의 시간 영역 윈도우를 이용하여 샘플링 데이터를 상이한 간격으로 분할하는 것이 가능하다.
다른 예로서, 데이터 세그먼트 생성부(103)는 샘플링 데이터의 일부를 적어도 두 개의 데이터 세그먼트가 공유하도록 샘플링 데이터를 분할 및 재구성하는 것도 가능하다. 도 3a 내지 도 3c를 참조하여 더 구체적으로 살펴보면 다음과 같다.
도 3a 내지 도 3c는 일 실시예에 따른 데이터 세그먼트를 도시한다.
도 1 및 도 3a에서, 데이터 세그먼트 생성부(103)는 샘플링 데이터(300)를 등간격으로 분할하고, 서로 동일한 크기를 갖는 다수의 데이터 세그먼트(S1~S5)를 생성할 수 있다. 예컨대, 데이터 세그먼트 생성부(103)는 시간 T0부터 T5까지 주기적으로 샘플링 데이터(300)를 분할하는 것이 가능하다.
또한, 도 1 및 도 3b에서, 데이터 세그먼트 생성부(103)는 샘플링 데이터(300)를 상이한 간격으로 분할하고, 서로 다른 크기를 갖는 다수의 데이터 세그먼트(S1~S5)를 생성할 수 있다. 예컨대, 데이터 세그먼트 생성부(103)는 시간 T0부터 시간 T5까지 비주기적으로 샘플링 데이터(300)를 분할하는 것이 가능하다. 다만 도 3b에서는, 5개의 데이터 세그먼트(S1~S5)의 크기가 모두 다른 것으로 설명하였으나, 이것은 이해를 돕기 위한 하나의 예시로 몇 개의 데이터 세그먼트는 크기가 서로 같을 수도 있다.
또한, 도 1 및 도 3c에서, 데이터 세그먼트 생성부(103)는 '중첩된 시간 영역 윈도우'을 이용하여, 샘플링 데이터(300)의 일부를 적어도 두 개의 데이터 세그먼트가 공유하도록 데이터 세그먼트(S1~S5)를 생성할 수 있다. 예컨대, 데이터 세그먼트 S1에 대응되는 구간은 다른 데이터 세그먼트 S2 내지 S5에도 존재할 수가 있다. 본 실시예에서, 중첩된 시간 영역 윈도우란, 특정 구간을 공유하는 시간 영역의 윈도우들을 의미할 수 있다. 다시 말해, 데이터 세그먼트 생성부(103)는 시간 T0부터 시간 T1까지의 샘플링 데이터를 데이터 세그먼트 S1으로 추출하고, 다시 누적적으로 시간 T0부터 시간 T2까지의 샘플링 데이터를 데이터 세그먼트 S2로 추출하는 것이 가능하다. 또한, 도 3c에서, 다른 데이터 세그먼트 S2 내지 S5가 세그먼트 S1의 정수배의 크기를 갖는 것으로 도시되었으나, 반드시 여기에 한정되는 것은 아니며, 다양한 크기로 시간 영역 윈도우가 설정될 수 있다.
이와 같이, 데이터 세그먼트 생성부(103)는 비-중첩적 시간 영역 윈도우를 이용하여 샘플링 데이터(300)를 단순 분할하거나, 중첩적 시간 영역 윈도우를 이용하여 샘플링 데이터(300)를 누적적으로 분할하여 샘플링 데이터(300)를 표현 및 재구성하는 것이 가능하다.
다시 도 1에서, 감정 세그먼트 생성부(104)는 각 데이터 세그먼트에 관한 감정 세그먼트(emotion segment)를 생성한다. 감정 세그먼트란 각 데이터 세그먼트에 대응되는 감정으로 정의될 수 있다. 본 실시예에서, 감정 세그먼트 생성부(104)가 데이터 세그먼트에 대응되는 감정 정보를 인식 또는 검출하고 감정 세그먼트를 생성하는 방법에는 제한이 없다. 예컨대, 감정 세그먼트 생성부(104)는 각각의 데이터 세그먼트 별로, 그 데이터 세그먼트와 소정의 감정 모델들 간의 유사도에 따라 그 데이터 세그먼트의 감정 정보(즉, 감정 세그먼트)를 확률적으로 결정하는 것이 가능하다. 도 4를 참조하여 더 구체적으로 설명한다.
도 4는 일 실시예에 따른 감정 세그먼트 생성 방법을 도시한다.
도 1, 도 3c 및 도 4를 참조하면, 감정 세그먼트 생성부(104)는 각 데이터 세그먼트 S1 내지 S5에 대하여 확률적으로 감정을 결정할 수 있다. 예컨대, 데이터 세그먼트 S1의 경우, 각 감정의 종류(Neutral, Anger, Happiness, Surprise, Sadness, Disgust, Fear 등)에 따라 확률값이 51%, 67%, 59%, 44%, 31%, 50%, 및 48%로 산출될 수 있다. 각 확률값은 데이터 세그먼트 S1과 각 감정의 모델 데이터 간의 유사도에 기초하여 구해질 수가 있다. 각 감정의 종류 별로 확률값이 구해지면, 감정 세그먼트 생성부(104)는 그 중에서 가장 큰 확률값을 가지는 감정을 그 데이터 세그먼트의 감정 세그먼트로 결정할 수가 있다. 예를 들어, 데이터 세그먼트 S1의 감정 세그먼트는 'Anger'으로 결정될 수가 있다. 다만 앞서 설명하였듯이 이러한 확률적 감정 결정은 이해를 돕기 위한 일 예에 불과한 것으로, 그 밖에도 입력 값의 패턴 및 규칙을 이용한 방법 또는 신경회로망을 이용한 방법으로 각 데이터 세그먼트에 관한 감정 정보가 결정될 수가 있다.
다시 도 1에서, 감정 인식 장치(100)는 어떤 단말 내부에 설치되는 전기 회로 및/또는 하드웨어의 형태로 구현되거나, 또는 단말에 구비되거나 설치되는 프로세서(processor)의 일 모듈이나 어플리케이션 프로그램(application program) 등의 형태로 구현될 수 있다. 여기서 단말은 스마트폰과 같은 휴대 단말 뿐만 아니라 개인용 PC와 같은 고정 단말도 될 수가 있다. 또한, 도시된 각 기능 블록은 단지 그 기능에 따른 논리적인 구분의 일례이다. 따라서 도 1에서 구분된 것과는 다른 기준에 따라서 감정 인식 장치(100)의 기능들을 구분할 수도 있고, 각각의 기능 유닛은 통합되어 구현되거나 또는 개별적으로 구현될 수도 있다. 나아가 어느 하나의 기능 유닛에서 수행되는 기능의 일부가 하나 또는 그 이상의 다른 기능 유닛에서 수행될 수도 있다.
도 5는 다른 실시예에 따른 감정 세그먼트 기반의 감정 인식 장치를 도시한다.
도 5를 참조하면, 본 실시예에 따른 감정 인식 장치는 센서부(101), 샘플링부(102), 데이터 세그먼트 생성부(103), 감성 세그먼트 생성부(104), 모델 저장부(501), 및 감정 결정부(502)를 포함할 수 있다. 여기서 센서부(101), 샘플링부(102), 데이터 세그먼트 생성부(103), 및 감성 세그먼트 생성부(104)는 전술한 것과 동일하므로, 동일한 참조 부호를 통해 자세한 설명은 생략하기로 한다.
도 5에서, 모델 저장부(501)는 각 감정의 종류 별로 모델링된 데이터를 저장할 수 있다. 예컨대, 본 시스템이 사용자의 얼굴 영상을 이용한다고 가정하면, 모델 저장부(501)에는 슬플 때의 대표적인 얼굴 영상 그룹, 기쁠 때의 대표적인 얼굴 영상 그룹 등등이 저장될 수가 있다. 이에 따라, 감정 세그먼트 생성부(104)는 각 데이터 세그먼트와 모델링된 데이터를 비교하고, 그 유사도를 계산하는 것이 가능하다.
또한 모델 저장부(501)는 감정 결정부(502)에 의해 사용자의 감정이 최종적으로 결정되면, 결정된 감정을 학습하고 저장된 모델링 데이터를 갱신하는 것이 가능하다.
감정 결정부(502)는 감정 세그먼트 생성부(104)에 의해 얻어진 다수의 감정 세그먼트를 이용해서 사용자의 대표 감정, 복합 감정, 및 변이 감정 중 적어도 하나를 결정할 수 있다. 인간의 감정은 복잡하고 빠르게 변하기 때문에 이를 일의적으로 표현하는 것에는 한계가 있다. 따라서 감정 결정부(502)는 다수의 감정 세그먼트 중 어느 하나를 대표 감정으로 결정하거나, 두 개 이상의 감정 세그먼트를 복합 감정으로 결정하거나, 또는 감정 세그먼트들을 시간 순서로 배열하여 변이 감정(즉, 감정의 변화)을 결정하는 것이 가능하다.
도 6은 일 실시예에 따른 감정 결정부를 도시한다.
도 6을 참조하면, 감정 결정부(600)는 대표 감정 결정부(601), 복합 감정 결정부(602), 및 변이 감정 결정부(603)를 포함할 수 있다. 도 6에서는 설명의 편의를 위해 3개의 기능 블록(601, 602, 603)이 모두 존재하는 것을 도시하였으나, 이것들은 서로 독립적이므로, 이것들 중에서 선택적으로 하나 또는 두 개만 존재할 수도 있음은 물론이다.
도 6에서, 대표 감정 결정부(601)는 각 감정 세그먼트의 신뢰도에 따라 적어도 하나의 감정 세그먼트를 샘플링 데이터의 대표 감정으로 결정할 수 있다. 복합 감정 결정부(602)는 각 감정 세그먼트의 신뢰도에 따라 적어도 두 개의 감정 세그먼트를 샘플링 데이터의 복합 감정으로 결정할 수 있다. 여기서 신뢰도는 각 데이터 세그먼트의 확률값들에 관한 표준 편차 또는 엔트로피(entropy)가 될 수 있다.
도 7a 내지 도 7c는 일 실시예에 따른 감정 결정부의 감정 결정 방법을 도시한다.
도 6 및 도 7a에서, 대표 감정 결정부(601)는 각 데이터 세그먼트 S1 내지 S5의 각 확률값에 관한 표준 편차를 계산할 수가 있다. 또한 대표 감정 결정부(601)는 계산된 표준 편차 중에서 가장 큰 값 또는 정해진 임계값을 넘는 값을 갖는 데이터 세그먼트의 감정 세그먼트를 사용자의 대표 감정으로 결정하는 것이 가능하다. 예컨대, 가장 큰 표준 편차를 갖는 데이터 세그먼트 S3의 대표 감정 세그먼트인 'Neutral'이 사용자의 대표 감정으로 결정될 수가 있다. 결정된 대표 감정은, 예컨대 도 2에서, 시간 T0부터 시간 T5까지 사용자의 대표 감정으로 결정될 수 있다. 즉 이 시간 동안 사용자의 감정 상태는 'Neutral'한 것으로 볼 수 있다.
도 6 및 도 7b에서, 대표 감정 결정부(601)는 각 데이터 세그먼트 S1 내지 S5의 각 확률값에 관한 엔트로피(entropy)를 계산할 수가 있다. 또한 대표 감정 결정부(601)는 계산된 엔트로피 중에서 가장 큰 값 또는 정해진 임계값을 넘는 값을 갖는 데이터 세그먼트의 감정 세그먼트를 사용자의 대표 감정으로 결정하는 것이 가능하다. 예컨대, 정해진 임계값인 0.3을 넘는 데이터 세그먼트 S3, S4 및 S5의 감정 세그먼트인 'Neutral', 'Sadness', 및 'Disgust' 중에서 어느 하나가 사용자의 대표 감정으로 결정될 수가 있다. 결정된 대표 감정은, 예컨대 도 2에서, 시간 T0부터 시간 T5까지의 사용자의 대표 감정으로 결정될 수 있다. 만약, 'Disgust'이 선택되었다면, 이 시간 동안 사용자의 감정 상태는 'Disgust'한 것으로 볼 수 있다.
도 6 및 도 7c에서, 복합 감정 결정부(602)는 각 데이터 세그먼트 S1 내지 S5의 각 확률값에 관한 표준 편차를 계산할 수가 있다. 또한 복합 감정 결정부(602)는 정해진 기준에 따라 적어도 두 개의 감정 세그먼트를 사용자의 복합 감정으로 결정하는 것이 가능하다. 예컨대, 정해진 기준을 "0.18 이상의 표준 편차와 80% 이상의 확률값"이라고 가정하면, 데이터 세그먼트 S2, S3, S5 중에서 80% 이상의 확률값을 갖는 'Disgust'과 'Neutral'이 복합 감정으로 결정될 수 있다. 다만 여기서는 복합 감정 결정부(602)가 표준 편차만 이용하는 경우를 설명하였으나, 도 7b와 같이 엔트로피를 이용할 수도 있고, 기타 각 확률값에 대한 신뢰도와 관련된 다양한 정보량이 이용될 수도 있음은 물론이다. 결정된 대표 감정은, 예컨대 도 2에서, 시간 T0부터 시간 T5까지의 사용자의 복합 감정으로 결정될 수 있다. 본 실시예의 경우, 사용자의 감정 상태는 'Disgust'과 'Neutral'의 복합 상태라고 볼 수 있다.
도 6 및 도 7c에서, 변이 감정 결정부(603)는 시간 순서에 따라 각 감정 세그먼트를 배열함으로써 사용자의 감정 변화에 대응되는 변이 감정을 결정할 수 있다. 예컨대, 데이터 세그먼트 생성부(예컨대, 도 1)가 도 3c와 같이 데이터 세그먼트들(S1~S5)을 생성한 경우, 시간 T0부터 T5까지의 사용자 감정의 변화를 'Anger', 'Disgust', 'Neutral', 'Sadness', 'Disgust' 등으로 나타낼 수가 있다. 즉 도 2에서 시간 T0부터 시간 T5까지 사용자의 감정 상태가 'Anger', 'Disgust', 'Neutral', 'Sadness', 'Disgust' 등으로 변했다고 볼 수 있다.
도 8은 일 실시예에 따른 감정 세그먼트 기반의 감정 인식 방법의 전체적인 흐름을 도시한다.
도 5 및 도 8을 참조하면, 감정 인식 장치(500)는 입력 데이터로부터 샘플링 데이터를 추출한다(801). 예컨대, 샘플링부(102)가 도 2와 같이 샘플링 데이터를 추출하는 것이 가능하다.
이어서, 감정 인식 장치(500)는 추출된 샘플링 데이터를 데이터 세그먼트로 표현한다(802). 예컨대, 데이터 세그먼트 생성부(103)가 도 3a 내지 도 3c와 같이 다수의 데이터 세그먼트를 이용하여 샘플링 데이터를 분할 및 재구성하는 것이 가능하다.
이어서, 감정 인식 장치(500)는 데이터 세그먼트에 대응되는 감정 세그먼트를 생성한다(803). 예컨대, 감정 세그먼트 생성부(104)가 도 4와 같이 각 데이터 세그먼트의 감정을 확률적으로 결정하는 것이 가능하다.
이어서, 감정 인식 장치(500)는 대표 감정, 복합 감정, 또는 변이 감정을 결정한다(804). 예컨대, 감정 결정부(502)가 도 7a 내지 도 7c와 같이 다수의 감정 세그먼트를 이용해서 대표 감정, 복합 감정, 변이 감정 등을 결정하는 것이 가능하다.
이상에서 살펴본 것과 같이, 개시된 실시예들에 의하면, 감정 세그먼트에 기반하여 사용자의 감정을 인식하기 때문에 복잡한 인간의 감정을 보다 효율적이고 정확하게 표현할 수가 있고, 나아가 그 감정에 알맞은 서비스를 제공할 수가 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
나아가 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
101: 센서부
102: 샘플링부
103: 데이터 세그먼트 생성부
104: 감정 세그먼트 생성부
501: 모델 저장부
502: 감정 결정부
601: 대표 감정 결정부
602: 복합 감정 결정부
603: 변이 감정 결정부

Claims (14)

  1. 감정 인식을 위한 입력 데이터에서 샘플링 데이터를 추출하는 샘플링부;
    추출된 샘플링 데이터를 다수의 데이터 세그먼트(data segment)로 나타내는 데이터 세그먼트 생성부; 및
    각 데이터 세그먼트에 대응되는 감정으로 정의되는 감정 세그먼트(emotion segment)를 생성하는 감정 세그먼트 생성부; 를 포함하는 감정 세그먼트 기반의 감정 인식 장치.
  2. 제 1 항에 있어서, 상기 데이터 세그먼트 생성부는
    소정의 시간 영역 윈도우를 이용하여 상기 샘플링 데이터를 동일한 간격으로 분할하는 감정 세그먼트 기반의 감정 인식 장치.
  3. 제 1 항에 있어서, 상기 데이터 세그먼트 생성부는
    소정의 시간 영역 윈도우를 이용하여 상기 샘플링 데이터를 상이한 간격으로 분할하는 감정 세그먼트 기반의 감정 인식 장치.
  4. 제 1 항에 있어서, 상기 데이터 세그먼트 생성부는
    소정의 시간 영역 윈도우를 이용하여 상기 샘플링 데이터의 일부를 적어도 두 개의 데이터 세그먼트가 공유하도록 상기 샘플링 데이터를 재구성하는 감정 세그먼트 기반의 감정 인식 장치.
  5. 제 1 항에 있어서,
    상기 감정 세그먼트를 이용해서 사용자의 대표 감정, 복합 감정, 및 변이 감정 중 적어도 하나를 결정하는 감정 결정부; 를 더 포함하는 감정 세그먼트 기반의 감정 인식 장치.
  6. 제 1 항에 있어서, 상기 감정 세그먼트 생성부는
    상기 각 데이터 세그먼트에 대하여, 다수의 후보 감정 및 각 후보 감정의 확률값들을 계산하고,
    계산된 확률값들 중에서 가장 큰 확률값을 갖는 후보 감정을 그 데이터 세그먼트의 감정 세그먼트로 결정하는 감정 세그먼트 기반의 감정 인식 장치.
  7. 제 6 항에 있어서,
    상기 감정 세그먼트를 이용해서 사용자의 대표 감정, 복합 감정, 및 변이 감정 중 적어도 하나를 결정하는 감정 결정부; 를 더 포함하는 감정 세그먼트 기반의 감정 인식 장치.
  8. 제 7 항에 있어서, 상기 감정 결정부는
    상기 각 감정 세그먼트의 신뢰도에 따라 적어도 하나의 감정 세그먼트를 상기 대표 감정으로 결정하는 대표 감정 결정부; 를 포함하는 감정 세그먼트 기반의 감정 인식 장치.
  9. 제 8 항에 있어서, 상기 신뢰도는
    상기 각 후보 감정의 확률값들의 표준편차 및 엔트로피 중 적어도 하나에 기초하여 정의되는 감정 세그먼트 기반의 감정 인식 장치.
  10. 제 7 항에 있어서, 상기 감정 결정부는
    상기 각 감정 세그먼트의 신뢰도에 따라 적어도 두 개의 감정 세그먼트를 상기 복합 감정으로 결정하는 복합 감정 결정부; 를 포함하는 감정 세그먼트 기반의 감정 인식 장치.
  11. 제 10 항에 있어서, 상기 신뢰도는
    상기 각 후보 감정의 확률값들의 표준편차 및 엔트로피 중 적어도 하나에 기초하여 정의되는 감정 세그먼트 기반의 감정 인식 장치.
  12. 제 7 항에 있어서, 상기 감정 결정부는
    시간에 따른 상기 감정 세그먼트의 변화를 상기 변이 감정으로 결정하는 변이 감정 결정부; 를 포함하는 감정 세그먼트 기반의 감정 인식 장치.
  13. 감정 인식을 위한 입력 데이터에서 샘플링 데이터를 추출하는 단계;
    추출된 샘플링 데이터를 다수의 데이터 세그먼트(data segment)로 나타내는 단계; 및
    각 데이터 세그먼트에 대응되는 감정으로 정의되는 감정 세그먼트(emotion segment)를 생성하는 단계; 를 포함하는 감정 세그먼트 기반의 감정 인식 방법.
  14. 제 13 항에 있어서,
    상기 감정 세그먼트를 이용해서 사용자의 대표 감정, 복합 감정, 및 변이 감정 중 적어도 하나를 결정하는 단계; 를 더 포함하는 감정 세그먼트 기반의 감정 인식 방법.
KR1020110121173A 2011-11-18 2011-11-18 감정 세그먼트 기반의 감정 인식 장치 및 방법 KR20130055429A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110121173A KR20130055429A (ko) 2011-11-18 2011-11-18 감정 세그먼트 기반의 감정 인식 장치 및 방법
US13/680,038 US9189471B2 (en) 2011-11-18 2012-11-17 Apparatus and method for recognizing emotion based on emotional segments

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110121173A KR20130055429A (ko) 2011-11-18 2011-11-18 감정 세그먼트 기반의 감정 인식 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180067511A Division KR101912089B1 (ko) 2018-06-12 2018-06-12 감정 세그먼트 기반의 감정 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130055429A true KR20130055429A (ko) 2013-05-28

Family

ID=48427775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110121173A KR20130055429A (ko) 2011-11-18 2011-11-18 감정 세그먼트 기반의 감정 인식 장치 및 방법

Country Status (2)

Country Link
US (1) US9189471B2 (ko)
KR (1) KR20130055429A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101449856B1 (ko) * 2013-06-18 2014-10-13 경희대학교 산학협력단 전화 통화의 사용자 감정 판단 방법
CN110263321A (zh) * 2019-05-06 2019-09-20 成都数联铭品科技有限公司 一种情感词典构建方法及系统
CN110930545A (zh) * 2018-08-31 2020-03-27 中兴通讯股份有限公司 一种智能门锁控制方法、控制装置、控制设备及存储介质

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
WO2012089906A1 (en) * 2010-12-30 2012-07-05 Nokia Corporation Method, apparatus and computer program product for emotion detection
US9047871B2 (en) 2012-12-12 2015-06-02 At&T Intellectual Property I, L.P. Real—time emotion tracking system
US20140181668A1 (en) * 2012-12-20 2014-06-26 International Business Machines Corporation Visual summarization of video for quick understanding
CN105940393A (zh) * 2014-01-27 2016-09-14 诺基亚技术有限公司 用于社交关系分析和管理的方法和装置
US9549068B2 (en) * 2014-01-28 2017-01-17 Simple Emotion, Inc. Methods for adaptive voice interaction
US20160063874A1 (en) * 2014-08-28 2016-03-03 Microsoft Corporation Emotionally intelligent systems
US10764424B2 (en) 2014-12-05 2020-09-01 Microsoft Technology Licensing, Llc Intelligent digital assistant alarm system for application collaboration with notification presentation
CN106562792B (zh) * 2015-10-08 2021-08-06 松下电器（美国）知识产权公司 信息提示装置的控制方法和信息提示装置
CN105893582B (zh) * 2016-04-01 2019-06-28 深圳市未来媒体技术研究院 一种社交网络用户情绪判别方法
US9881636B1 (en) 2016-07-21 2018-01-30 International Business Machines Corporation Escalation detection using sentiment analysis
CN106361356A (zh) * 2016-08-24 2017-02-01 北京光年无限科技有限公司 情绪监控和预警方法及系统
CN106227054A (zh) * 2016-08-30 2016-12-14 广东美的制冷设备有限公司 一种基于用户情感的温度控制方法、系统和家电
CN106539573A (zh) * 2016-11-25 2017-03-29 惠州市德赛工业研究院有限公司 一种智能手环及基于用户偏好的手环提醒方法
US10083162B2 (en) * 2016-11-28 2018-09-25 Microsoft Technology Licensing, Llc Constructing a narrative based on a collection of images
US11151883B2 (en) * 2017-11-03 2021-10-19 International Business Machines Corporation Empathic autonomous vehicle
US11544524B2 (en) 2018-09-28 2023-01-03 Samsung Electronics Co., Ltd. Electronic device and method of obtaining emotion information
CN109685149B (zh) * 2018-12-28 2021-04-27 江苏智慧工场技术研究院有限公司 情绪精细划归模型构建及自动进行情绪精细获取的方法
US11862145B2 (en) * 2019-04-20 2024-01-02 Behavioral Signal Technologies, Inc. Deep hierarchical fusion for machine intelligence applications
CN110276006A (zh) * 2019-06-05 2019-09-24 北京字节跳动网络技术有限公司 彩蛋的展示方法、装置、电子设备和计算机可读存储介质
CN110840410B (zh) * 2019-12-05 2022-02-15 中国科学院深圳先进技术研究院 动物被动恐高行为测试装置
US11170800B2 (en) * 2020-02-27 2021-11-09 Microsoft Technology Licensing, Llc Adjusting user experience for multiuser sessions based on vocal-characteristic models
CN111476217A (zh) * 2020-05-27 2020-07-31 上海乂学教育科技有限公司 基于情绪识别的智能学习系统和方法
US11734648B2 (en) * 2020-06-02 2023-08-22 Genesys Telecommunications Laboratories, Inc. Systems and methods relating to emotion-based action recommendations
CN113593521B (zh) * 2021-07-29 2022-09-20 北京三快在线科技有限公司 语音合成方法、装置、设备及可读存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69232407T2 (de) * 1991-11-18 2002-09-12 Toshiba Kawasaki Kk Sprach-Dialog-System zur Erleichterung von Rechner-Mensch-Wechselwirkung
US6463415B2 (en) * 1999-08-31 2002-10-08 Accenture Llp 69voice authentication system and method for regulating border crossing
US7590538B2 (en) * 1999-08-31 2009-09-15 Accenture Llp Voice recognition system for navigating on the internet
US7222075B2 (en) * 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
US6697457B2 (en) * 1999-08-31 2004-02-24 Accenture Llp Voice messaging system that organizes voice messages based on detected emotion
US6151571A (en) * 1999-08-31 2000-11-21 Andersen Consulting System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters
US6275806B1 (en) * 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
EP1256937B1 (en) * 2001-05-11 2006-11-02 Sony France S.A. Emotion recognition method and device
KR101006191B1 (ko) 2002-08-06 2011-01-07 윤재민 가상인격체의 감정표현과 동작구현방법
JP4204839B2 (ja) * 2002-10-04 2009-01-07 株式会社エイ・ジー・アイ 発想モデル装置、自発感情モデル装置、発想のシミュレーション方法、自発感情のシミュレーション方法、およびプログラム
US7626110B2 (en) * 2004-06-02 2009-12-01 Stmicroelectronics Asia Pacific Pte. Ltd. Energy-based audio pattern recognition
JP2007133227A (ja) 2005-11-11 2007-05-31 Arcadia:Kk ニューラルネット学習装置および感情判断装置
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
KR100829822B1 (ko) 2006-07-24 2008-05-16 중앙대학교 산학협력단 신경회로망을 이용한 감정인식장치
CN101506874B (zh) 2006-09-13 2011-12-07 日本电信电话株式会社 情感检测方法、情感检测装置
US8024188B2 (en) * 2007-08-24 2011-09-20 Robert Bosch Gmbh Method and system of optimal selection strategy for statistical classifications
KR101119867B1 (ko) 2009-01-22 2012-03-14 한국산업기술대학교산학협력단 다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치
US8788270B2 (en) * 2009-06-16 2014-07-22 University Of Florida Research Foundation, Inc. Apparatus and method for determining an emotion state of a speaker
KR101299220B1 (ko) 2010-01-08 2013-08-22 한국전자통신연구원 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법
US9015046B2 (en) * 2010-06-10 2015-04-21 Nice-Systems Ltd. Methods and apparatus for real-time interaction analysis in call centers

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101449856B1 (ko) * 2013-06-18 2014-10-13 경희대학교 산학협력단 전화 통화의 사용자 감정 판단 방법
CN110930545A (zh) * 2018-08-31 2020-03-27 中兴通讯股份有限公司 一种智能门锁控制方法、控制装置、控制设备及存储介质
CN110263321A (zh) * 2019-05-06 2019-09-20 成都数联铭品科技有限公司 一种情感词典构建方法及系统
CN110263321B (zh) * 2019-05-06 2023-06-09 成都数联铭品科技有限公司 一种情感词典构建方法及系统

Also Published As

Publication number Publication date
US20130132088A1 (en) 2013-05-23
US9189471B2 (en) 2015-11-17

Similar Documents

Publication Publication Date Title
KR20130055429A (ko) 감정 세그먼트 기반의 감정 인식 장치 및 방법
KR101830767B1 (ko) 사용자의 감정 인식 장치 및 방법
Zhu et al. Efficient human activity recognition solving the confusing activities via deep ensemble learning
CN106956271B (zh) 预测情感状态的方法和机器人
CN101334857B (zh) 信息处理设备、信息处理方法和程序
KR20130065846A (ko) 사용자 감정 공유 장치 및 방법
Tivatansakul et al. Emotional healthcare system: Emotion detection by facial expressions using Japanese database
KR20130092272A (ko) 스마트 단말을 이용한 사용자의 이동 경로 실시간 예측 방법 및 그 시스템
CN106202073B (zh) 音乐推荐方法及系统
CN106778456B (zh) 一种手写输入的优化方法及装置
Jain et al. Gender recognition in smartphones using touchscreen gestures
CN110781881A (zh) 一种视频中的赛事比分识别方法、装置、设备及存储介质
CN109659009A (zh) 情绪管理方法、装置及电子设备
KR102378412B1 (ko) 날씨 기반의 감정 지수 제공 방법 및 이를 위한 장치
CN109685109A (zh) 一种基于孪生神经网络的基站标号轨迹分类方法
CN111796925A (zh) 算法模型的筛选方法、装置、存储介质和电子设备
Wagner et al. Building a robust system for multimodal emotion recognition
Radoi et al. An end-to-end emotion recognition framework based on temporal aggregation of multimodal information
JP5973935B2 (ja) 閲覧行動予測装置、閲覧行動予測方法及びプログラム
Alaoui et al. Urban transportation mode detection from inertial and barometric data in pedestrian mobility
KR101912089B1 (ko) 감정 세그먼트 기반의 감정 인식 장치 및 방법
Bakhtiyari et al. Implementation of emotional-aware computer systems using typical input devices
Tivatansakul et al. Healthcare system focusing on emotional aspect using augmented reality: Emotion detection by facial expression
Castillo et al. Dynamic gesture recognition for social robots
Bashir et al. The impact of feature vector length on activity recognition accuracy on mobile phone

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
E601 Decision to refuse application
A107 Divisional application of patent