KR20180109227A - 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램 - Google Patents

감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램 Download PDF

Info

Publication number
KR20180109227A
KR20180109227A KR1020170038502A KR20170038502A KR20180109227A KR 20180109227 A KR20180109227 A KR 20180109227A KR 1020170038502 A KR1020170038502 A KR 1020170038502A KR 20170038502 A KR20170038502 A KR 20170038502A KR 20180109227 A KR20180109227 A KR 20180109227A
Authority
KR
South Korea
Prior art keywords
feature vector
type
content
emotion
entity
Prior art date
Application number
KR1020170038502A
Other languages
English (en)
Inventor
오세진
박외진
Original Assignee
(주)아크릴
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아크릴 filed Critical (주)아크릴
Priority to KR1020170038502A priority Critical patent/KR20180109227A/ko
Publication of KR20180109227A publication Critical patent/KR20180109227A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Machine Translation (AREA)

Abstract

본 발명의 일 실시예는 인식 대상 콘텐츠에 포함된 멀티모달(Multimodal) 정보에 기초하여 상기 인식 대상 콘텐츠에 대한 제1 사용자의 감정을 인식하는 방법으로, 적어도 하나 이상의 유형의 개체를 포함하는 인식 대상 콘텐츠(Contents)를 수신하는 단계; 상기 인식 대상 콘텐츠에 포함된 개체의 유형 별로 제1 특징 벡터를 생성하는 단계; 상기 유형 별 제1 특징 벡터에 기초하여, 상기 인식 대상 콘텐츠의 특징 벡터인 제2 특징 벡터를 생성하는 단계; 및 상기 제2 특징 벡터 및 감정 인식기에 기초하여 상기 제1 사용자의 상기 인식 대상 콘텐츠에 대한 감정을 결정하는 단계;를 포함하고, 상기 감정 인식기는 적어도 하나 이상의 유형의 개체를 포함하는 복수의 테스트 콘텐츠 및 상기 복수의 테스트 콘텐츠에 대한 복수의 제2 사용자의 감정의 상관관계를 표현한 데이터 셋트일 수 있다.

Description

감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램{EMOTION RECOGNITION METHOD AND COMPUTER PROGRAM FOR EXCUTING THE METHOD, EMOTION RECOGNIZER GENERATION METHOD AND COMPUTER PROGRAM FOR EXCUTING THE METHOD}
본 발명의 실시예들은 감정 인식 방법 및 프로그램과 감정 인식기 생성 방법 및 프로그램에 관한 것이다.
정보통신 기술의 비약적인 발전으로 인해 이동통신 단말, 개인용 컴퓨터 등과 같은 다양한 종류의 단말들은 다양한 기능을 수행할 수 있도록 구현되고 있다.
특히 이러한 단말들은 단순히 정보를 수신하여 표시하는 종래의 기능에서 발전하여, 수신 받은 정보로부터 2차 정보를 생성하는 등의 다양한 기능들을 이용할 수 있도록 구현되고 있다.
최근에는 이러한 단말을 통하여 정보를 제공하는 정보 제공자들이 정보 수신자의 감정상태를 파악하여 광고, 마케팅 등에 사용하고자 하는 경우가 증가하였다.
종래기술에 따르면, 콘텐츠 내에 복수의 유형의 개체가 포함되어 있는 경우 어떤 한 유형의 개체만을 기준으로 해당 콘텐츠에 대한 사용자의 감정을 추론하거나, 각각의 유형의 개체에 대한 감정을 개별적으로 추론한 뒤, 이를 통계적으로 처리하여 해당 콘텐츠에 대한 사용자의 감정을 추론하였다.
이러한 방식은 각각의 유형의 개체가 모두 동일한 주제에 관한 것임에도 불구하고, 각 유형의 개체에 대한 개별적인 감정 인식 결과에 기초하여 해당 콘텐츠 전체에 대한 감정을 추론하므로 콘텐츠 흐름이나 맥락에 대한 이해가 결핍된 결과를 도출하는 문제점이 있었다.
특히 이러한 방식은 결국 각 유형의 개체에 대한 개별적인 감정 인식 결과를 통계모델에 기반하여 처리함으로써, 일부 유형의 개체로부터 다소 상이한 감정 인식 결과가 도출되었음에도 불구하고 이러한 인식 결과를 무시하여 보다 세밀한 감정 인식이 불가능한 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 동일한 콘텐츠 내에 포함된 개체들을 개체의 유형별로 수집하고 수집된 각 유형의 개체의 특징정보를 보다 낮은 레벨에서 통합할 수 있는 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램을 제공하고자 한다.
또한 본 발명은 보다 낮은 레벨에서 통합된 각 유형의 개체의 특징정보에 기초하여 콘텐츠에 대한 감정 인식을 수행함으로써 콘텐츠의 흐름이나 맥락에 대한 이해가 부가된 감정인식 결과를 도출할 수 있는 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램을 제공하고자 한다.
나아가 보다 정확도가 향상된 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램을 제공하고자 한다.
본 발명의 일 실시예에 따른 인식 대상 콘텐츠에 포함된 멀티모달(Multimodal) 정보에 기초하여 상기 인식 대상 콘텐츠에 대한 제1 사용자의 감정을 인식하는 방법은, 적어도 하나 이상의 유형의 개체를 포함하는 인식 대상 콘텐츠(Contents)를 수신하는 단계; 상기 인식 대상 콘텐츠에 포함된 개체의 유형 별로 제1 특징 벡터를 생성하는 단계; 상기 유형 별 제1 특징 벡터에 기초하여, 상기 인식 대상 콘텐츠의 특징 벡터인 제2 특징 벡터를 생성하는 단계; 및 상기 제2 특징 벡터 및 감정 인식기에 기초하여 상기 제1 사용자의 상기 인식 대상 콘텐츠에 대한 감정을 결정하는 단계;를 포함할 수 있다. 이 때 상기 감정 인식기는 적어도 하나 이상의 유형의 개체를 포함하는 복수의 테스트 콘텐츠 및 상기 복수의 테스트 콘텐츠에 대한 복수의 제2 사용자의 감정의 상관관계를 표현한 데이터 셋트일 수 있다.
상기 인식 대상 콘텐츠는 텍스트(Text) 유형의 개체, 이미지(Image) 유형의 개체 및 오디오(Audio) 유형의 개체 중 적어도 하나의 유형의 개체를 적어도 하나 이상 포함할 수 있다.
상기 제1 특징 벡터를 생성하는 단계는 상기 텍스트 유형의 개체에 대한 제1 특징 벡터, 상기 이미지 유형의 개체에 대한 제1 특징 벡터 및 상기 오디오 유형에 대한 제1 특징 벡터 중 적어도 하나를 생성할 수 있다.
상기 제2 특징 벡터를 생성하는 단계는 상기 텍스트 유형의 개체에 대한 제1 차원의 제1 특징 벡터, 상기 이미지 유형의 개체에 대한 제2 차원의 제1 특징 벡터 및 상기 오디오 유형에 대한 제3 차원의 제1 특징 벡터 중 적어도 하나 이상을 병합하여 제4 차원의 상기 제2 특징 벡터를 생성할 수 있다. 이 때 상기 제4 차원은 상기 제1 차원, 상기 제2 차원 및 상기 제3 차원 중 적어도 어느 하나 이상의 합에 기초하여 결정될 수 있다.
상기 감정 인식기는 상기 복수의 테스트 콘텐츠에 대한 복수의 제2 사용자의 감정의 상관관계를 표현함에 있어서 상기 복수의 제2 사용자의 개인정보를 더 고려한 데이터 셋트일 수 있다. 이 때 상기 콘텐츠를 수신하는 단계는 상기 제1 사용자의 개인정보를 더 수신하고 상기 제1 특징 벡터를 생성하는 단계는 상기 제1 사용자의 개인정보에 대한 제1 특징 벡터를 더 생성하고, 상기 제2 특징 벡터를 생성하는 단계는 상기 개인정보에 대한 제1 특징 벡터를 더 고려하여 상기 제2 특징 벡터를 생성할 수 있다.
본 발명의 일 실시예에 따른 테스트 콘텐츠에 포함된 멀티모달(Multimodal) 정보에 기초하여 사용자의 감정을 인식하는 감정 인식기를 생성하는 방법은, 적어도 하나 이상의 유형의 개체를 포함하고, 사용자의 감정 정보가 표지(labeled)된 하나 이상의 테스트 콘텐츠를 획득하는 단계; 각각의 테스트 콘텐츠에 대해서, 상기 테스트 콘텐츠에 포함된 개체의 유형 별로 제1 특징 벡터를 생성하는 단계; 각각의 테스트 콘텐츠에 대해서, 상기 유형 별 제1 특징 벡터에 기초하여, 테스트 콘텐츠의 특징 벡터인 제2 특징 벡터를 생성하는 단계; 및 상기 제2 특징 벡터 및 상기 감정 정보에 기초하여 상기 감정 인식기를 트레이닝(Training)하는 단계;를 포함할 수 있다.
상기 감정 인식기는 적어도 하나 이상의 유형의 개체를 포함하는 복수의 테스트 콘텐츠 및 상기 복수의 테스트 콘텐츠에 대한 복수의 사용자의 감정의 상관관계를 표현한 데이터 셋트일 수 있다.
상기 테스트 콘텐츠 각각은 텍스트(Text) 유형의 개체, 이미지(Image) 유형의 개체 및 오디오(Audio) 유형의 개체 중 적어도 하나의 유형의 개체를 적어도 하나 이상 포함할 수 있다.
상기 제1 특징 벡터를 생성하는 단계는 상기 텍스트 유형의 개체에 대한 제1 특징 벡터, 상기 이미지 유형의 개체에 대한 제1 특징 벡터 및 상기 오디오 유형에 대한 제1 특징 벡터 중 적어도 하나를 생성할 수 있다.
상기 제2 특징 벡터를 생성하는 단계는 상기 텍스트 유형의 개체에 대한 제1 차원의 제1 특징 벡터, 상기 이미지 유형의 개체에 대한 제2 차원의 제1 특징 벡터 및 상기 오디오 유형에 대한 제3 차원의 제1 특징 벡터 중 적어도 하나 이상을 병합하여 제4 차원의 상기 제2 특징 벡터를 생성할 수 있다. 이 때 상기 제4 차원은 상기 제1 차원, 상기 제2 차원 및 상기 제3 차원 중 적어도 어느 하나 이상의 합에 기초하여 결정될 수 있다.
상기 감정 인식기는 상기 복수의 테스트 콘텐츠에 대한 복수의 사용자의 감정의 상관관계를 표현함에 있어서 상기 복수의 사용자의 개인정보를 더 고려한 데이터 셋트일 수 있다. 이 때 상기 테스트 콘텐츠를 획득하는 단계는 사용자의 개인정보가 더 표지된 하나 이상의 테스트 콘텐츠를 획득하고, 상기 제1 특징 벡터를 생성하는 단계는 상기 사용자의 개인정보에 대한 제1 특징 벡터를 더 생성하고, 상기 제2 특징 벡터를 생성하는 단계는 상기 개인정보에 대한 제1 특징 벡터를 더 고려하여 상기 제2 특징 벡터를 생성할 수 있다.
상기 감정 정보는 제3 특징 벡터를 포함하고, 상기 트레이닝 하는 단계는 상기 제2 특징 벡터와 상기 제3 특징 벡터가 대응되도록 상기 감정 인식기의 상기 데이터 셋트를 업데이트(Update)할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들에 따르면 동일한 콘텐츠 내에 포함된 개체들을 개체의 유형별로 수집하고 수집된 각 유형의 개체의 특징정보를 보다 낮은 레벨에서 통합할 수 있는 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램을 구현할 수 있다.
또한 본 발명은 보다 낮은 레벨에서 통합된 각 유형의 개체의 특징정보에 기초하여 콘텐츠에 대한 감정 인식을 수행함으로써 콘텐츠의 흐름이나 맥락에 대한 이해가 부가된 감정인식 결과를 도출할 수 있는 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램을 구현할 수 있다.
나아가 보다 정확도가 향상된 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램을 구현할 수 있다.
도 1은 본 발명의 일 실시예에 따른 감정 인식 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 감정 인식 장치의 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 감정 인식 장치가 감정 인식기를 생성하는 방법을 설명하기 위한 도면이다.
도 4 내지 도 5d는 본 발명의 일 실시예에 따른 감정 인식 장치의 감정 인식기 생성 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 감정 인식 장치가 감정 인식기를 이용하여 인식 대상 콘텐츠의 감정을 인식하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 감정 인식 장치에 의해 수행되는 감정 인식 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 감정 인식 장치가 제2 특징 벡터를 생성하는 방법의 예시이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 감정 인식 시스템을 개략적으로 도시한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 감정 인식 시스템은 서버(100), 사용자 단말(200), 외부장치(300) 및 이들을 연결하는 통신망(400)을 포함할 수 있다.
본 발명의 일 실시예에 따른 감정 인식 시스템은 서버(100)가 사용자 단말(200) 및/또는 외부장치(300)로부터 인식 대상 콘텐츠를 수신하고, 수신된 콘텐츠에 대한 감정을 결정할 수 있다. 또한 감정 인식 시스템은 서버(100)가 사용자 단말(200) 및/또는 외부장치(300)로부터 감정 정보가 표지된 하나 이상의 테스트 콘텐츠를 획득하고, 이에 기초하여 감정 인식기를 트레이닝 시킬 수 있다. 보다 상세한 설명은 후술한다.
본 발명에서 인식 대상 콘텐츠 및 테스트 콘텐츠와 같은 '콘텐츠(Contents)'는 전자적으로 송수신 될 수 있는 정보로써, 다양한 유형의 개체를 포함할 수 있다. 콘텐츠는 텍스트(Text) 유형의 개체, 이미지(Image)유형의 개체 및 오디오(Audio) 유형의 개체 중 적어도 하나의 유형의 개체를 적어도 하나 이상 포함할 수 있다. 물론 콘텐츠는 비디오(Video) 유형의 개체도 포함할 수 있다.
가령 '웹 문서'와 같은 콘텐츠는 정보를 전달하기 위한 텍스트 유형의 개체 및 정보의 이해를 돕기 위한 이미지 유형의 개체를 포함할 수 있다. 이 때 텍스트 유형의 개체 및 이미지 유형의 개체 각각은 단수일 수도 있고, 복수일 수도 있다.
본 발명에서 텍스트(Text) 유형의 개체, 이미지(Image)유형의 개체, 오디오(Audio) 유형의 개체 및 비디오(Video) 유형의 개체와 같은 '개체'는 콘텐츠를 구성하는 정보의 소단위 일 수 있다.
가령 텍스트 유형의 개체의 경우 콘텐츠에 포함된 한 단락의 문단을 의미할 수 있다. 또한 이미지 유형의 개체의 경우 콘텐츠에 포함된 한 장의 이미지를 의미할 수 있다. 오디오 유형의 개체 및 비디오 유형의 개체의 경우 한 개의 오디오(비디오) 클립(Clip), 오디오(비디오) 트랙(Track) 등을 의미할 수 있다.
본 발명에서 사용자 단말(200)은 전술한 콘텐츠를 서버(100)와 송수신 할 수 있는 다양한 장치를 의미할 수 있다. 이 때 단말은 퍼스널 컴퓨터(202)일 수도 있고 또는 휴대용 단말(201)일 수도 있다. 도 1에서는 휴대용 단말(201)이 스마트폰(smart phone)으로 도시되었지만, 본 발명의 사상은 이에 제한되지 않는다.
한편 사용자 단말(200)은 콘텐츠를 표시하기 위한 표시수단, 이러한 콘텐츠에 대한 사용자의 입력을 획득하기 위한 입력수단을 구비할 수 있다. 이 때 입력수단 및 표시수단은 다양하게 구성될 수 있다. 가령 입력수단은 키보드, 마우스, 트랙볼, 마이크, 버튼, 터치패널 등을 포함할 수 있으나 이에 한정되지 않는다.
본 발명에서 외부장치(300)는 서버(100) 및 사용자 단말(200)과 통신망(400)을 통하여 데이터를 송수신 하는 다양한 장치를 의미할 수 있다.
본 발명의 일 실시예에 따르면, 외부장치(300)는 서버(100)에 구비되는 감정 인식기를 트레이닝 하기 위한 테스트 콘텐츠를 제공하는 장치일 수 있다. 이 때 외부장치(300)는 단수일 수도 있고, 복수일 수도 있다. 가령 외부장치(300)는 서버(100)의 웹 크롤링(Web Crawling)에 대응하여 콘텐츠를 제공하는 복수의 서버일 수 있다.
한편 본 발명의 다른 실시예에 따르면, 외부장치(300)는 외부장치(300) 자신이 사용자 단말(200)에 제공한 콘텐츠에 대한 식별정보를 서버(100)에 전송하고, 서버(100)로부터 해당 콘텐츠에 대한 감정 인식 결과를 수신하는 장치일 수도 있다. 가령 외부장치(300)는 자신이 제공하고 있는 콘텐츠에 대한 사용자의 감정을 알고자 하는 서비스 제공 업체의 서버일 수 있다.
다만 전술한 두 가지 경우는 모두 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명에서 통신망(400)은 서버(100), 사용자 단말(200) 및 외부장치(300)를 연결하는 역할을 수행한다. 예를 들어, 통신망(400)은 사용자 단말(200)이 서버(100)에 접속한 후 패킷 데이터를 송수신할 수 있도록 접속 경로를 제공한다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 발명에서 서버(100)는 사용자 단말(200) 및/또는 외부장치(300)로부터 인식 대상 콘텐츠를 수신하고, 수신된 콘텐츠에 대한 감정을 결정할 수 있다. 또한 서버(100)는 사용자 단말(200) 및/또는 외부장치(300)로부터 감정 정보가 표지된 하나 이상의 테스트 콘텐츠를 획득하고, 이에 기초하여 감정 인식기를 트레이닝 시킬 수 있다. 이를 위하여 서버(100)는 본 발명의 일 실시예에 따른 감정 인식 장치를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 감정 인식 장치(110)의 구성을 개략적으로 도시한다.
도 2를 참조하면, 본 실시예에 따른 감정 인식 장치(110)는 통신부(111), 제어부(112) 및 메모리(113)를 포함할 수 있다. 또한 도면에는 도시되지 않았으나, 본 실시예에 따른 감정 인식 장치(110)는 입/출력부, 프로그램 저장부 등을 더 포함할 수 있다.
통신부(111)는 감정 인식 장치(110)가 사용자 단말(200) 및/또는 외부장치(300)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
제어부(112)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(113)는 감정 인식 장치(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이하에서는 감정 인식 장치(110)가 서버(100)에 구비되는 것을 전제로 설명하지만, 역할배분에 따라 감정 인식 장치(110)는 서버(100)와 별도로 구비될 수도 있다.
한편 전술한 바와 같이 서버(100), 즉 감정 인식 장치(110)는 사용자 단말(200) 및/또는 외부장치(300)로부터 인식 대상 콘텐츠를 수신하고, 수신된 콘텐츠에 대한 감정을 결정할 수 있다. 또한 감정 인식 장치(110)는 사용자 단말(200) 및/또는 외부장치(300)로부터 감정 정보가 표지된 하나 이상의 테스트 콘텐츠를 획득하고, 이에 기초하여 감정 인식기를 생성할 수 있다.
이하에서는 감정 인식 장치(110)가 하나 이상의 테스트 콘텐츠로부터 감정 인식기를 생성하는 방법에 대해 먼저 설명하고, 생성된 감정 인식기에 기초하여 수신된 콘텐츠에 대한 감정을 결정하는 방법을 나중에 설명한다.
< 감정 인식 장치(110)의 감정 인식기 생성 방법 >
본 발명에서 '감정 인식기'는 복수의 테스트 콘텐츠 및 이와 같은 복수의 테스트 콘텐츠에 대한 복수의 사용자의 감정의 상관관계를 표현한 데이터 셋트일 수 있다.
본 발명의 일 실시예에 따르면 전술한 감정 인식기는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 테스트 콘텐츠와 해당 콘텐츠에 대한 감정의 상관관계, 즉 양자의 매핑 정보일 수 있다. 이에 따라 감정 인식기는 복수의 테스트 콘텐츠 및/또는 개체를 분류하기 위해 Logistic regression, Decision tree, Nearest-neighbor classifier, Kernel discriminate analysis, Neural network, Support Vector Machine, Random forest, Boosted tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
감정 인식기는 어떤 콘텐츠에 대한 사용자의 감정을 예측하기 위해 Linear regression, Regression tree, Kernel regression, Support vector regression, Deep Learning 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
또한 감정 인식기는 후술하는 벡터의 연산을 위해 Principal component analysis, Non-negative matrix factorization, Independent component analysis, Manifold learning, SVD 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
감정 인식기는 복수의 테스트 콘텐츠 및/또는 개체의 그룹화를 위해 k-means, Hierarchical clustering, mean-shift, self-organizing maps(SOMs) 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
감정 인식기는 데이터 비교를 위해 Bipartite cross-matching, n-point correlation two-sample testing, minimum spanning tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
다만 전술한 알고리즘 및/또는 방식(기법)은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
한편 감정 인식기는 전술한 바와 같이 데이터 셋트(Data set)일 수 있다. 가령 감정 인식기는 행렬(Matrix)과 같이 복수개의 숫자로 구성된 데이터 셋트일 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
도 3은 본 발명의 일 실시예에 따른 감정 인식 장치(110)가 감정 인식기를 생성하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 감정 인식 장치(110)의 제어부(112)는 인식기의 생성을 위해 적어도 하나 이상의 유형의 개체를 포함하고, 사용자의 감정 정보가 표지(labeled)된 하나 이상의 테스트 콘텐츠(310)를 획득할 수 있다. 이 때 제어부(112)는 테스트 콘텐츠(310)를 전술한 바와 같이 웹 크롤링을 통하여 외부장치(300)로부터 획득할 수도 있고, 감정 인식 장치(110)의 메모리(113)로부터 획득할 수도 있다. 바꾸어 말하면 제어부(112)는 테스트 콘텐츠(310)를 감정 인식 장치(110)의 외부 및/또는 감정 인식 장치(110)의 내부로부터 획득할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명에서 '콘텐츠에 감정 정보가 표지된'것은, 해당 콘텐츠에 대한 사용자의 감정이 해당 콘텐츠의 부가정보로써 부가된 것을 의미할 수 있다. 바꾸어 말하면, 감정 정보가 표지된 것은 해당 콘텐츠의 내용과는 별개로, 해당 콘텐츠에 대한 감상자의 감정 정보가 더 추가된 것을 의미할 수 있다. 이 때 테스트 콘텐츠에는 '기쁨', '슬픔'과 같은 감정 그 자체에 관한 정보가 벡터의 형태로 표지되어 있을 수 있다. 또한 테스트 콘텐츠에는 "내용이 진짜 재미있어요."와 같이 감정을 추론할 수 있는 정보가 표지되어 있을 수도 있다. 후자의 경우 제어부(112)는 표지된 정보를 분석하여 이로부터 감정 그 자체에 관한 정보를 벡터의 형태로 추론할 수 있다.
한편 테스트 콘텐츠에는 전술한 감정 정보와 더불어, 해당 감정을 느낀 사용자의 개인정보가 더 부가되어 있을 수 있다. 이 때 개인정보는 성별, 나이, 연령, 학력, 주거지역 및 직업 등과 같은 일반적인 인적 사항과 해당 콘텐츠를 언제 감상하였는지, 어디서 감상하였는지, 얼마 동안 감상하였는지 또는 어떤 경로를 통하여 감상하였는지와 같은 콘텐츠 관련 사항을 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 획득한 각각의 테스트 콘텐츠에 대해서, 테스트 콘텐츠에 포함된 개체의 유형 별로 제1 특징 벡터를 생성할 수 있다. 이 때 '유형 별로 제1 특징 벡터를 생성'하는 것은, 어느 하나의 테스트 콘텐츠 내에서 동일한 유형의 개체를 모두 수집하고, 이에 기초하여 제1 특징 벡터를 생성하는 것을 의미할 수 있다.
가령 테스트 콘텐츠(311)가 텍스트 유형의 개체(321), 이미지 유형의 개체(322) 및 오디오 유형의 개체(323)를 포함한다고 가정해 보자. 이러한 경우 제어부(112)는 텍스트 유형의 개체(321)로부터 제1 특징 벡터(331)를, 이미지 유형의 개체(322)로부터 제1 특징 벡터(332)를, 오디오 유형의 개체(323)로부터 제1 특징 벡터(333)를 생성할 수 있다.
제어부(112)가 텍스트 유형의 개체(321)로부터 제1 특징 벡터(331)를 생성하는 과정을 보다 상세히 살펴보면, 먼저 제어부(112)는 콘텐츠(311) 내의 전부 또는 일부의 텍스트 유형의 개체(321)를 수집할 수 있다. 이어서 제어부(112)는 구문 분석을 통하여 텍스트 유형의 개체(321)의 특징을 추출할 수 있다. 가령 제어부(112)는 구문 분석을 통하여 텍스트 유형의 개체(321) 내의 감정과 관련되는 키워드(Keyword)를 특징으로 추출할 수 있다. 이어서 제어부(112)는 추출된 키워드에 기초하여 제1 특징 벡터(331)를 생성할 수 있다. 이 때 제어부(112)는 소정의 단위(가령 단락)별로 텍스트 유형의 개체(321)의 키워드를 추출하고, 이에 기초하여 제1 특징 벡터(331)를 생성할 수도 있고, 테스트 콘텐츠(311) 내의 텍스트 유형의 개체(321) 전체로부터 키워드를 추출하고, 이에 기초하여 제1 특징 벡터(331)를 생성할 수도 있다.
제어부(112)가 이미지 유형의 개체(322)로부터 제1 특징 벡터(332)를 생성하는 과정을 보다 상세히 살펴보면, 먼저 제어부(112)는 테스트 콘텐츠(311) 내의 전부 또는 일부의 이미지 유형의 개체(322)를 수집할 수 있다. 이어서 제어부(112)는 이미지 분석을 통하여 이미지 유형의 개체(322)의 특징을 추출할 수 있다. 가령 제어부(112)는 특징점 추출 기법 및/또는 객체 인식 기법을 통하여 이미지 유형의 개체(322) 내의 감정과 관련되는 특징을 추출할 수 있다. 이어서 제어부(112)는 추출된 특징에 기초하여 제1 특징 벡터(332)를 생성할 수 있다. 이 때 제어부(112)는 이미지 별로 특징을 추출하고, 이에 기초하여 제1 특징 벡터(332)를 생성할 수도 있고, 모든 이미지로부터 특징을 추출하고, 이에 기초하여 제1 특징 벡터(332)를 생성할 수도 있다.
제어부(112)가 오디오 유형의 개체(323)로부터 제1 특징 벡터(333)를 생성하는 과정을 보다 상세히 살펴보면, 먼저 제어부(112)는 콘텐츠(311) 내의 전부 또는 일부의 오디오 유형의 개체(323)를 수집할 수 있다. 이어서 제어부(112)는 오디오 분석을 통하여 오디오 유형의 개체(323)의 특징을 추출할 수 있다. 가령 제어부(112)는 특징음 추출 기법 및/또는 음성 인식 기법을 통하여 오디오 유형의 개체(323) 내의 감정과 관련되는 특징을 추출할 수 있다. 이어서 제어부(112)는 추출된 특징에 기초하여 제1 특징 벡터(333)를 생성할 수 있다.
각 유형의 개체로부터 생성된 제1 특징 벡터(331 내지 333)는 그 차원이 모두 상이할 수 있다. 가령 텍스트 유형의 개체(321)로부터 생성된 제1 특징 벡터(331)는 제1 차원이고, 이미지 유형의 개체(322)로부터 생성된 제1 특징 벡터(332)는 제2 차원이고, 오디오 유형의 개체(323)로부터 생성된 제1 특징 벡터(333)는 제3 차원일 수 있다. 물론 각 제1 특징 벡터(331 내지 333)중 적어도 일부는 차원이 동일할 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
한편 본 발명의 일 실시예에 따른 제어부(112)는 테스트 콘텐츠(311)에 비디오 유형의 개체(미도시)가 포함된 경우, 비디오 유형의 개체를 이미지 유형의 개체 및 오디오 유형의 개체로 분리하고, 분리된 각각의 개체에 대한 제1 특징 벡터 생성 방법에 따라 제1 특징 벡터를 생성할 수 있다. 바꾸어 말하면 제어부(112)는 비디오 유형의 개체로부터 분리된 이미지 유형의 개체에 대해, 이미지 유형의 개체에 대한 제1 특징 벡터 생성 방식에 따라 제1 특징 벡터를 생성하고, 비디오 유형의 개체로부터 분리된 오디오 유형의 개체에 대해, 오디오 유형의 개체에 대한 제1 특징 벡터 생성 방식에 따라 제1 특징 벡터를 생성할 수 있다. 다만 이와 같은 비디오 유형의 개체는 두 개 이상의 이종 유형의 개체가 결합된 것의 예시로, 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(112)는 테스트 콘텐츠(311)에 개인정보(313)가 더 표지된 경우, 개인정보에 대한 제1 특징 벡터(334)를 더 생성할 수 있다. 이 때 제어부(112)는 전술한 바와 같이 성별, 나이, 연령, 학력, 주거지역 및 직업 등과 같은 일반적인 인적 사항과 해당 콘텐츠를 언제 감상하였는지, 어디서 감상하였는지 또는 어떤 경로를 통하여 감상하였는지와 같은 콘텐츠 관련 사항을 모두 고려하여 제1 특징 벡터(334)를 생성할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 생성된 개체의 유형 별 제1 특징 벡터(331 내지 333)에 기초하여 테스트 콘텐츠의 특징 벡터인 제2 특징 벡터(341)를 생성할 수 있다. 이 때 제2 특징 벡터(341)는 테스트 콘텐츠(311) 내에 포함되는 모든 개체의 특성을 고려한 벡터로 써의 의미를 가질 수 있다.
종래기술에 따르면, 콘텐츠 내에 복수의 유형의 개체가 포함되어 있는 경우 텍스트 유형의 개체만을 기준으로 해당 콘텐츠에 대한 사용자의 감정을 추론하거나, 각각의 유형의 개체에 대한 감정을 개별적으로 추론한 뒤, 이를 통계적으로 처리하여 해당 콘텐츠에 대한 사용자의 감정을 추론하였다.
이러한 방식은 각각의 유형의 개체가 모두 동일한 주제에 관한 것임에도 불구하고, 각 유형의 개체에 대한 개별적인 감정 인식 결과에 기초하여 해당 콘텐츠 전체에 대한 감정을 추론하므로 콘텐츠 흐름이나 맥락에 대한 이해가 결핍된 결과를 도출하는 문제점이 있었다.
특히 이러한 방식은 결국 각 유형의 개체에 대한 개별적인 감정 인식 결과를 통계모델에 기반하여 처리함으로써, 일부 유형의 개체로부터 다소 상이한 감정 인식 결과가 도출되었음에도 불구하고 이러한 인식 결과를 무시하여 보다 세밀한 감정 인식이 불가능한 문제점이 있었다.
본원 발명은 각 유형의 개체의 특징정보를 보다 낮은 레벨에서 통합하고, 이에 기초하여 콘텐츠에 대한 감정 인식을 수행함으로써 콘텐츠의 흐름이나 맥락에 대한 이해가 부가된 감정인식 결과를 도출할 수 있고, 보다 세밀한 감정 인식 결과를 도출할 수 있다.
한편 본 발명의 일 실시예에 따른 제어부(112)는 텍스트 유형의 개체(321)로부터 생성된 제1 특징 벡터(331), 이미지 유형의 개체(322)로부터 생성된 제1 특징 벡터(332), 오디오 유형의 개체(323)로부터 생성된 제1 특징 벡터(333) 및 개인개인정보로부터 생성된 제1 특징 벡터(334)를 병합하여 제2 특징 벡터(341)를 생성할 수 있다. 이 때 제어부(112)는 다양한 방식에 따라 제1 특징 벡터(331 내지 334)로부터 제2 특징 벡터(341)를 생성할 수 있다.
가령 제어부(112)는 도 8에 도시된 방식과 유사한 방식으로, 각각의 제1 특징 벡터(331 내지 334)를 직렬적으로 병합하여 제2 특징 벡터(341)를 생성할 수 있다. 이 때 제2 특징 벡터(341)의 차원의 수는 각각의 제1 특징 벡터(331 내지 334)의 차원 수의 합에 기초하여 결정될 수 있다.
한편 제어부(112)는 전술한 방식과 달리, 제1 특징 벡터(331 내지 334)들의 차원 변환 연산 및/또는 벡터 연산에 의해 고정된 자리수의 제2 특징 벡터(341)를 생성할 수도 있다.
다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 복수의 제1 특징 벡터에 기초하여 하나의 제2 특징 벡터를 생성하는 연산이면 제한 없이 사용될 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 테스트 콘텐츠에 일부 유형의 개체가 포함되어 있지 않은 경우, 포함되어 있지 않은 유형의 개체의 제1 특징 벡터는 기 설정된 방법에 따라 생성할 수 있다.
가령, 제어부(112)는 테스트 콘텐츠에 텍스트 유형의 개체(321)가 포함되어 있지 않은 경우, 포함되어 있지 않은 유형의 개체에 대한 제1 특징 벡터(331)를 영백터(Zero Vector)로 생성할 수 있다.
바꾸어 말하면 제어부(112)는 제2 특징 벡터를 생성할 때 특정 유형의 개체가 테스트 콘텐츠에 포함되어 있지 않은 경우, 해당 유형의 개체에 대한 제1 특징 벡터를 기 설정된 벡터로 대체할 수 있다. 이 때 기 설정된 벡터는 전술한 바와 같이 '0'으로 채워진 벡터일 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(112)는 생성된 제2 특징 벡터(341) 및 테스트 콘텐츠(311)에 부가된 감정 정보(312)에 기초하여 감정 인식기(351)를 트레이닝(Training)시킬 수 있다. 이 때 감정 정보(312)는 감정에 대한 정보를 벡터의 형태로 포함할 수 있다. 따라서 이하에서는 전술한 감정 정보(312)가 제3 특징 벡터를 포함하는 것을 전제로 설명한다.
전술한 바와 같이 감정 인식기(351)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 테스트 콘텐츠(310)와 해당 콘텐츠에 대한 감정의 상관관계, 즉 양자의 매핑 정보일 수 있다.
따라서 본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 생성된 제2 특징 벡터(341)와 감정 정보(312)를 포함하는 제3 특징 벡터를 서로 대응(매핑)시킬 수 있도록 감정 인식기(351)의 데이터 셋트를 업데이트(Update)하는 방식으로 인식기(351)를 트레이닝(Training)시킬 수 있다.
가령 감정 인식기(351)의 데이터 셋트가 복수개의 계수(Weight)로 구성되는 경우, 제어부(112)는 각 테스트 콘텐츠의 제2 특징 벡터(341) 및 제3 특징 벡터에 기초하여 감정 인식기(351)를 구성하는 계수들을 조절할 수 있다. 이 때 제어부(112)는 복수의 테스트 콘텐츠로부터 제2 특징 벡터(341) 및 제3 특징 벡터를 생성 및/또는 획득하고 이에 기초하여 계수를 업데이트 함으로써 보다 정확도가 향상된 감정 인식 결과를 제공하는 감정 인식기(351)를 획득할 수 있다.
이로써 본원 발명은 각 유형의 개체의 특징정보를 보다 낮은 레벨에서 통합하고, 이에 기초하여 콘텐츠에 대한 감정 인식을 수행함으로써 콘텐츠의 흐름이나 맥락에 대한 이해가 부가된 감정인식 결과를 도출할 수 있고, 보다 세밀한 감정 인식 결과를 도출할 수 있는 감정 인식기(351)를 생성할 수 있다.
도 4 내지 도 5d는 본 발명의 일 실시예에 따른 감정 인식 장치(110)의 감정 인식기 생성 방법을 설명하기 위한 흐름도이다. 이하에서는 도 4 및 도 5d을 함께 참조하여 본 발명의 일 실시예를 설명한다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 감정 인식 장치(110)의 제어부(112)는 인식기의 생성을 위해 적어도 하나 이상의 유형의 개체를 포함하고, 사용자의 감정 정보가 표지(labeled)된 하나 이상의 테스트 콘텐츠(310)를 획득할 수 있다.(S41) 이 때 제어부(112)는 테스트 콘텐츠(310)를 전술한 바와 같이 웹 크롤링을 통하여 외부장치(300)로부터 획득할 수도 있고, 감정 인식 장치(110)의 메모리(113)로부터 획득할 수도 있다. 바꾸어 말하면 제어부(112)는 테스트 콘텐츠(310)를 감정 인식 장치(110)의 외부 및/또는 감정 인식 장치(110)의 내부로부터 획득할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
한편 테스트 콘텐츠에는 전술한 감정 정보와 더불어, 해당 감정을 느낀 사용자의 개인정보가 더 부가되어 있을 수 있다. 이 때 개인정보는 성별, 나이, 연령, 학력, 주거지역 및 직업 등과 같은 일반적인 인적 사항과 해당 콘텐츠를 언제 감상하였는지, 어디서 감상하였는지, 얼마 동안 감상하였는지 또는 어떤 경로를 통하여 감상하였는지와 같은 콘텐츠 관련 사항을 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 획득한 각각의 테스트 콘텐츠에 대해서, 테스트 콘텐츠에 포함된 개체의 유형 별로 제1 특징 벡터를 생성할 수 있다.(S42) 이 때 '유형 별로 제1 특징 벡터를 생성'하는 것은, 어느 하나의 테스트 콘텐츠 내에서 동일한 유형의 개체를 모두 수집하고, 이에 기초하여 제1 특징 벡터를 생성하는 것을 의미할 수 있다.
가령 테스트 콘텐츠(311)가 텍스트 유형의 개체(321), 이미지 유형의 개체(322) 및 오디오 유형의 개체(323)를 포함한다고 가정해 보자. 이러한 경우 제어부(112)는 텍스트 유형의 개체(321)로부터 제1 특징 벡터(331)를, 이미지 유형의 개체(322)로부터 제1 특징 벡터(332)를, 오디오 유형의 개체(323)로부터 제1 특징 벡터(333)를 생성할 수 있다.
도 5a를 참조하여, 제어부(112)가 텍스트 유형의 개체(321)로부터 제1 특징 벡터(331)를 생성하는 과정을 보다 상세히 살펴보면, 먼저 제어부(112)는 콘텐츠(311) 내의 전부 또는 일부의 텍스트 유형의 개체(321)를 수집할 수 있다.(S421a) 이어서 제어부(112)는 구문 분석을 통하여 텍스트 유형의 개체(321)의 특징을 추출할 수 있다.(S422a) 가령 제어부(112)는 구문 분석을 통하여 텍스트 유형의 개체(321) 내의 감정과 관련되는 키워드(Keyword)를 특징으로 추출할 수 있다. 이어서 제어부(112)는 추출된 키워드에 기초하여 제1 특징 벡터(331)를 생성할 수 있다.(S423a) 이 때 제어부(112)는 소정의 단위(가령 단락)별로 텍스트 유형의 개체(321)의 키워드를 추출하고, 이에 기초하여 제1 특징 벡터(331)를 생성할 수도 있고, 테스트 콘텐츠(311) 내의 텍스트 유형의 개체(321) 전체로부터 키워드를 추출하고, 이에 기초하여 제1 특징 벡터(331)를 생성할 수도 있다.
도 5b를 참조하여 제어부(112)가 이미지 유형의 개체(322)로부터 제1 특징 벡터(332)를 생성하는 과정을 보다 상세히 살펴보면, 먼저 제어부(112)는 테스트 콘텐츠(311) 내의 전부 또는 일부의 이미지 유형의 개체(322)를 수집할 수 있다. (S421b) 이어서 제어부(112)는 이미지 분석을 통하여 이미지 유형의 개체(322)의 특징을 추출할 수 있다.(S422b) 가령 제어부(112)는 특징점 추출 기법 및/또는 객체 인식 기법을 통하여 이미지 유형의 개체(322) 내의 감정과 관련되는 특징을 추출할 수 있다. 이어서 제어부(112)는 추출된 특징에 기초하여 제1 특징 벡터(332)를 생성할 수 있다.(S423b) 이 때 제어부(112)는 이미지 별로 특징을 추출하고, 이에 기초하여 제1 특징 벡터(332)를 생성할 수도 있고, 모든 이미지로부터 특징을 추출하고, 이에 기초하여 제1 특징 벡터(332)를 생성할 수도 있다.
도 5c를 참조하여 제어부(112)가 오디오 유형의 개체(323)로부터 제1 특징 벡터(333)를 생성하는 과정을 보다 상세히 살펴보면, 먼저 제어부(112)는 콘텐츠(311) 내의 전부 또는 일부의 오디오 유형의 개체(323)를 수집할 수 있다.(S421c) 이어서 제어부(112)는 오디오 분석을 통하여 오디오 유형의 개체(323)의 특징을 추출할 수 있다.(S422c) 가령 제어부(112)는 특징음 추출 기법 및/또는 음성 인식 기법을 통하여 오디오 유형의 개체(323) 내의 감정과 관련되는 특징을 추출할 수 있다. 이어서 제어부(112)는 추출된 특징에 기초하여 제1 특징 벡터(333)를 생성할 수 있다.(S423c)
각 유형의 개체로부터 생성된 제1 특징 벡터(331 내지 333)는 그 차원이 모두 상이할 수 있다. 가령 텍스트 유형의 개체(321)로부터 생성된 제1 특징 벡터(331)는 제1 차원이고, 이미지 유형의 개체(322)로부터 생성된 제1 특징 벡터(332)는 제2 차원이고, 오디오 유형의 개체(323)로부터 생성된 제1 특징 벡터(333)는 제3 차원일 수 있다. 물론 각 제1 특징 벡터(331 내지 333)중 적어도 일부는 차원이 동일할 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
한편 테스트 콘텐츠(311)에 비디오 유형의 개체(미도시)가 포함된 경우, 본 발명의 일 실시예에 따른 제어부(112)는 비디오 유형의 개체를 수집하고(S421d), 수집된 비디오 유형의 개체를 이미지 유형의 개체 및 오디오 유형의 개체로 분리하고(422d), 분리된 각각의 개체에 대한 제1 특징 벡터 생성 방법에 따라 제1 특징 벡터를 생성할 수 있다.(423d) 바꾸어 말하면 제어부(112)는 비디오 유형의 개체로부터 분리된 이미지 유형의 개체에 대해, 이미지 유형의 개체에 대한 제1 특징 벡터 생성 방식에 따라 제1 특징 벡터를 생성하고, 비디오 유형의 개체로부터 분리된 오디오 유형의 개체에 대해, 오디오 유형의 개체에 대한 제1 특징 벡터 생성 방식에 따라 제1 특징 벡터를 생성할 수 있다. 다만 이와 같은 비디오 유형의 개체는 두 개 이상의 이종 유형의 개체가 결합된 것의 예시로, 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(112)는 테스트 콘텐츠(311)에 개인정보(313)가 더 표지된 경우, 개인정보에 대한 제1 특징 벡터(334)를 더 생성할 수 있다. 이 때 제어부(112)는 전술한 바와 같이 성별, 나이, 연령, 학력, 주거지역 및 직업 등과 같은 일반적인 인적 사항과 해당 콘텐츠를 언제 감상하였는지, 어디서 감상하였는지 또는 어떤 경로를 통하여 감상하였는지와 같은 콘텐츠 관련 사항을 모두 고려하여 제1 특징 벡터(334)를 생성할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 생성된 개체의 유형 별 제1 특징 벡터에 기초하여 테스트 콘텐츠의 특징 벡터인 제2 특징 벡터를 생성할 수 있다.(S43) 이 때 제2 특징 벡터는 테스트 콘텐츠 내에 포함되는 모든 개체의 특성을 고려한 벡터로 써의 의미를 가질 수 있다.
종래기술에 따르면, 콘텐츠 내에 복수의 유형의 개체가 포함되어 있는 경우 텍스트 유형의 개체만을 기준으로 해당 콘텐츠에 대한 사용자의 감정을 추론하거나, 각각의 유형의 개체에 대한 감정을 개별적으로 추론한 뒤, 이를 통계적으로 처리하여 해당 콘텐츠에 대한 사용자의 감정을 추론하였다.
이러한 방식은 각각의 유형의 개체가 모두 동일한 주제에 관한 것임에도 불구하고, 각 유형의 개체에 대한 개별적인 감정 인식 결과에 기초하여 해당 콘텐츠 전체에 대한 감정을 추론하므로 콘텐츠 흐름이나 맥락에 대한 이해가 결핍된 결과를 도출하는 문제점이 있었다.
특히 이러한 방식은 결국 각 유형의 개체에 대한 개별적인 감정 인식 결과를 통계모델에 기반하여 처리함으로써, 일부 유형의 개체로부터 다소 상이한 감정 인식 결과가 도출되었음에도 불구하고 이러한 인식 결과를 무시하여 보다 세밀한 감정 인식이 불가능한 문제점이 있었다.
본원 발명은 각 유형의 개체의 특징정보를 보다 낮은 레벨에서 통합하고, 이에 기초하여 콘텐츠에 대한 감정 인식을 수행함으로써 콘텐츠의 흐름이나 맥락에 대한 이해가 부가된 감정인식 결과를 도출할 수 있고, 보다 세밀한 감정 인식 결과를 도출할 수 있다.
한편 본 발명의 일 실시예에 따른 제어부(112)는 텍스트 유형의 개체(321)로부터 생성된 제1 특징 벡터(331), 이미지 유형의 개체(322)로부터 생성된 제1 특징 벡터(332), 오디오 유형의 개체(323)로부터 생성된 제1 특징 벡터(333) 및 개인개인정보로부터 생성된 제1 특징 벡터(334)를 병합하여 제2 특징 벡터(341)를 생성할 수 있다. 이 때 제어부(112)는 다양한 방식에 따라 제1 특징 벡터(331 내지 334)로부터 제2 특징 벡터(341)를 생성할 수 있다.
가령 제어부(112)는 도 8에 도시된 방식과 유사한 방식으로, 각각의 제1 특징 벡터(331 내지 334)를 직렬적으로 병합하여 제2 특징 벡터(341)를 생성할 수 있다. 이 때 제2 특징 벡터(341)의 차원의 수는 각각의 제1 특징 벡터(331 내지 334)의 차원 수의 합에 기초하여 결정될 수 있다.
한편 제어부(112)는 전술한 방식과 달리, 제1 특징 벡터(331 내지 334)들의 차원 변환 연산 및/또는 벡터 연산에 의해 고정된 자리수의 제2 특징 벡터(341)를 생성할 수도 있다.
다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 복수의 제1 특징 벡터에 기초하여 하나의 제2 특징 벡터를 생성하는 연산이면 제한 없이 사용될 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 생성된 제2 특징 벡터(341) 및 테스트 콘텐츠(311)에 부가된 감정 정보(312)에 기초하여 감정 인식기(351)를 트레이닝(Training)시킬 수 있다.(S44) 이 때 감정 정보(312)는 감정에 대한 정보를 벡터의 형태로 포함할 수 있다. 따라서 이하에서는 전술한 감정 정보(312)가 제3 특징 벡터를 포함하는 것을 전제로 설명한다.
전술한 바와 같이 감정 인식기(351)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 테스트 콘텐츠(310)와 해당 콘텐츠에 대한 감정의 상관관계, 즉 양자의 매핑 정보일 수 있다.
따라서 본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 생성된 제2 특징 벡터(341)와 감정 정보(312)를 포함하는 제3 특징 벡터를 서로 대응(매핑)시킬 수 있도록 감정 인식기(351)의 데이터 셋트를 업데이트(Update)하는 방식으로 인식기(351)를 트레이닝(Training)시킬 수 있다.
가령 감정 인식기(351)의 데이터 셋트가 복수개의 계수(Weight)로 구성되는 경우, 제어부(112)는 각 테스트 콘텐츠의 제2 특징 벡터(341) 및 제3 특징 벡터에 기초하여 감정 인식기(351)를 구성하는 계수들을 조절할 수 있다. 이 때 제어부(112)는 복수의 테스트 콘텐츠로부터 제2 특징 벡터(341) 및 제3 특징 벡터를 생성 및/또는 획득하고 이에 기초하여 계수를 업데이트 함으로써 보다 정확도가 향상된 감정 인식 결과를 제공하는 감정 인식기(351)를 획득할 수 있다.
이로써 본원 발명은 각 유형의 개체의 특징정보를 보다 낮은 레벨에서 통합하고, 이에 기초하여 콘텐츠에 대한 감정 인식을 수행함으로써 콘텐츠의 흐름이나 맥락에 대한 이해가 부가된 감정인식 결과를 도출할 수 있고, 보다 세밀한 감정 인식 결과를 도출할 수 있는 감정 인식기(351)를 생성할 수 있다.
< 감정 인식 장치(110)를 이용한 감정 인식 방법 >
이상에서는 도 3 내지 도 5d를 통하여 감정 인식 장치(110), 특히 감정 인식기를 생성하는 방법을 설명하였다. 이하에서는 도 6 내지 도 8을 통하여 전술한 과정에 의하여 생성된 감정 인식 장치(110)가 인식 대상 콘텐츠에 대한 감정을 인식하는 방법을 설명한다. 따라서 이하에서는 전술한 과정에 의해서 감정 인식기가 감정 인식 장치(110)에 의해 생성되어 있음을 전제로 설명한다.
도 6은 본 발명의 일 실시예에 따른 감정 인식 장치(110)가 감정 인식기를 이용하여 인식 대상 콘텐츠의 감정을 인식하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 감정 인식 장치(110)의 제어부(112)는 적어도 하나 이상의 유형의 개체를 포함하는 인식 대상 콘텐츠(611)를 수신할 수 있다.
이 때 제어부(112)는 사용자 단말(200)로부터 인식 대상 콘텐츠(611)그 자체를 수신할 수 있다. 가령 제어부(112)는 사용자 단말(200)로부터 도 6에 도시된 바와 같이 텍스트 유형의 개체(621), 이미지 유형의 개체(622) 및 오디오 유형의 개체(623)를 포함하는 콘텐츠(611)를 수신할 수 있다.
또한 제어부(112)는 사용자 단말(200)로부터 인식 대상 콘텐츠(611)의 식별정보만을 수신할 수도 있다. 가령 제어부(112)는 사용자 단말(200)로부터 인식 대상 콘텐츠(611)의 URL을 수신할 수 있다. 이러한 경우 제어부(112)는 사용자 단말(200)로부터 수신한 식별정보에 기초하여 콘텐츠의 제공자(미도시)로부터 해당 콘텐츠(611)를 획득할 수 있다.
본 발명의 다른 실시예에 따르면, 제어부(112)는 외부장치(300)로부터 인식 대상 콘텐츠(611) 그 자체 및/또는 인식 대상 콘텐츠(611)의 식별정보를 수신할 수도 있다. 이 때 외부장치(300)는 자신이 사용자 단말(200)에 제공한 콘텐츠에 대한 식별정보를 서버(100)에 전송하고, 서버(100)로부터 해당 콘텐츠에 대한 감정 인식 결과를 수신하는 장치일 수 있다. 가령 외부장치(300)는 자신이 제공하고 있는 콘텐츠에 대한 사용자의 감정을 알고자 하는 서비스 제공 업체의 서버일 수 있다.
한편 인식 대상 콘텐츠(611)에는 해당 콘텐츠(611)를 감상하는 제1 사용자의 개인정보(612)가 부가정보로써 부가되어 있을 수 있다. 이 때 개인정보(612)는 전술한 바와 같이 성별, 나이, 연령, 학력, 주거지역 및 직업 등과 같은 일반적인 인적 사항과 해당 콘텐츠를 언제 감상하였는지, 어디서 감상하였는지 또는 어떤 경로를 통하여 감상하였는지와 같은 콘텐츠 관련 사항을 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 획득한 인식 대상 콘텐츠에 포함된 개체의 유형 별로 제1 특징 벡터(631 내지 634)를 생성할 수 있다. 이 때 '유형 별로 제1 특징 벡터를 생성'하는 것은, 인식 대상 콘텐츠 내에서 동일한 유형의 개체를 모두 수집하고, 이에 기초하여 제1 특징 벡터를 생성하는 것을 의미할 수 있다.
가령 인식 대상 콘텐츠(611)가 텍스트 유형의 개체(621), 이미지 유형의 개체(622) 및 오디오 유형의 개체(623)를 포함한다고 가정해 보자. 이러한 경우 제어부(112)는 텍스트 유형의 개체(621)로부터 제1 특징 벡터(631)를, 이미지 유형의 개체(622)로부터 제1 특징 벡터(632)를, 오디오 유형의 개체(623)로부터 제1 특징 벡터(633)를 생성할 수 있다. 물론 본 발명의 일 실시예에 따른 제어부(112)는 인식 대상 콘텐츠(611)에 개인정보(612)가 더 표지된 경우, 개인정보에 대한 제1 특징 벡터(634)를 더 생성할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 인식 대상 콘텐츠(611)에 비디오 유형의 개체가 포함된 경우, 비디오 유형의 개체를 이미지 유형의 개체 및 오디오 유형의 개체로 분리하고, 분리된 각각의 개체에 대한 제1 특징 벡터 생성 방법에 따라 제1 특징 벡터를 생성할 수 있다.
이와 같이 제어부(112)가 각각의 개체 및/또는 개인정보로부터 제1 특징 벡터(631 내지 634)를 생성하는 것은 도 3 내지 도 5d를 통하여 설명하였으므로, 이에 대한 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 제어부(112)는 생성된 개체의 유형 별 제1 특징 벡터(631 내지 634)에 기초하여 인식 대상 콘텐츠(611)의 특징 벡터인 제2 특징 벡터(641)를 생성할 수 있다. 이 때 제2 특징 벡터(641)는 인식 대상 콘텐츠(611) 내에 포함되는 모든 개체의 특성을 고려한 벡터로써의 의미를 가질 수 있다.
종래기술에 따르면, 콘텐츠 내에 복수의 유형의 개체가 포함되어 있는 경우 텍스트 유형의 개체만을 기준으로 해당 콘텐츠에 대한 사용자의 감정을 추론하거나, 각각의 유형의 개체에 대한 감정을 개별적으로 추론한 뒤, 이를 통계적으로 처리하여 해당 콘텐츠에 대한 사용자의 감정을 추론하였다.
이러한 방식은 각각의 유형의 개체가 모두 동일한 주제에 관한 것임에도 불구하고, 각 유형의 개체에 대한 개별적인 감정 인식 결과에 기초하여 해당 콘텐츠 전체에 대한 감정을 추론하므로 콘텐츠 흐름이나 맥락에 대한 이해가 결핍된 결과를 도출하는 문제점이 있었다.
특히 이러한 방식은 결국 각 유형의 개체에 대한 개별적인 감정 인식 결과를 통계모델에 기반하여 처리함으로써, 일부 유형의 개체로부터 다소 상이한 감정 인식 결과가 도출되었음에도 불구하고 이러한 인식 결과를 무시하여 보다 세밀한 감정 인식이 불가능한 문제점이 있었다.
본원 발명은 각 유형의 개체의 특징정보를 보다 낮은 레벨에서 통합하고, 이에 기초하여 콘텐츠에 대한 감정 인식을 수행함으로써 콘텐츠의 흐름이나 맥락에 대한 이해가 부가된 감정인식 결과를 도출할 수 있고, 보다 세밀한 감정 인식 결과를 도출할 수 있다.
한편 본 발명의 일 실시예에 따른 제어부(112)는 텍스트 유형의 개체(621)로부터 생성된 제1 특징 벡터(631), 이미지 유형의 개체(622)로부터 생성된 제1 특징 벡터(632), 오디오 유형의 개체(623)로부터 생성된 제1 특징 벡터(633) 및 개인개인정보(612)로부터 생성된 제1 특징 벡터(634)를 병합하여 제2 특징 벡터(641)를 생성할 수 있다. 이 때 제어부(112)는 다양한 방식에 따라 제2 특징 벡터(641)를 생성할 수 있다.
가령 제어부(112)는 도 8에 도시된 바와 같이, 각각의 제1 특징 벡터(631 내지 634)를 직렬적으로 병합하여 제2 특징 벡터(641)를 생성할 수 있다. 이 때 제2 특징 벡터(641)의 차원의 수는 각각의 제1 특징 벡터(631 내지 634)의 차원 수의 합에 기초하여 결정될 수 있다.
한편 제어부(112)는 전술한 방식과 달리, 제1 특징 벡터(631 내지 634)들의 차원 변환 연산 및/또는 벡터 연산에 의해 고정된 자리수의 제2 특징 벡터(641)를 생성할 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 복수의 제1 특징 벡터에 기초하여 하나의 제2 특징 벡터를 생성하는 연산이면 제한 없이 사용될 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 생성된 제2 특징 벡터(641) 및 감정 인식기(351)에 기초하여 제1 사용자의 인식 대상 콘텐츠(611)에 대한 감정을 결정할 수 있다.
전술한 바와 같이 감정 인식기(351)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 테스트 콘텐츠와 해당 콘텐츠에 대한 감정의 상관관계, 즉 양자의 매핑 정보일 수 있다.
따라서 이러한 감정 인식기(351)를 참조하면, 본 발명의 일 실시예에 따른 제어부(112)는 생성된 제2 특징 벡터(641)와 매핑되는 감정 정보(651)를 확인할 수 있다.
이 때 감정 정보(651)는 감정에 대한 정보를 벡터의 형태로 포함할 수 있다. 가령 감정 정보(651)가 [0.1, 0.2, 0.99, 0.4..]와 같은 벡터이고, 첫 번째 값이 '기쁨'과 관련된 값이고, 두 번째가 '슬픔'과 관련된 값이고, 세 번째가 '지루함'과 관련된 값이라고 가정해 보자. 이러한 경우 제어부(112)는 인식 대상 콘텐츠에 대한 사용자의 감정을 '지루함'으로 결정할 수 있다.
이로써 본원 발명은 인식 대상 콘텐츠로부터 콘텐츠의 흐름이나 맥락에 대한 이해가 부가된 감정인식 결과를 도출할 수 있고, 보다 세밀한 감정 인식 결과를 도출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 감정 인식 장치(110)에 의해 수행되는 감정 인식 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 감정 인식 장치(110)의 제어부(112)는 적어도 하나 이상의 유형의 개체를 포함하는 인식 대상 콘텐츠(611)를 사용자 단말(200)로부터 수신할 수 있다.(S71) 이 때 제어부(112)는 사용자 단말(200)로부터 인식 대상 콘텐츠(611)그 자체를 수신할 수 있다. 가령 제어부(112)는 사용자 단말(200)로부터 도 6에 도시된 바와 같이 텍스트 유형의 개체(621), 이미지 유형의 개체(622) 및 오디오 유형의 개체(623)를 포함하는 콘텐츠(611)를 수신할 수 있다.
또한 제어부(112)는 사용자 단말(200)로부터 인식 대상 콘텐츠(611)의 식별정보만을 수신할 수도 있다. 가령 제어부(112)는 사용자 단말(200)로부터 인식 대상 콘텐츠(611)의 URL을 수신할 수 있다. 이러한 경우 제어부(112)는 사용자 단말(200)로부터 수신한 식별정보에 기초하여 콘텐츠의 제공자(미도시)로부터 해당 콘텐츠(611)를 획득할 수 있다.
본 발명의 다른 실시예에 따르면 제어부(112)는 도 7에 도시된 바와 달리, 외부장치(300)로부터 인식 대상 콘텐츠(611) 그 자체 및/또는 인식 대상 콘텐츠(611)의 식별정보를 수신할 수도 있다. 이 때 외부장치(300)는 자신이 사용자 단말(200)에 제공한 콘텐츠에 대한 식별정보를 서버(100)에 전송하고, 서버(100)로부터 해당 콘텐츠에 대한 감정 인식 결과를 수신하는 장치일 수 있다. 가령 외부장치(300)는 자신이 제공하고 있는 콘텐츠에 대한 사용자의 감정을 알고자 하는 서비스 제공 업체의 서버일 수 있다.
한편 인식 대상 콘텐츠(611)에는 해당 콘텐츠(611)를 감상하는 제1 사용자의 개인정보(612)가 부가정보로써 부가되어 있을 수 있다. 이 때 개인정보(612)는 전술한 바와 같이 성별, 나이, 연령, 학력, 주거지역 및 직업 등과 같은 일반적인 인적 사항과 해당 콘텐츠를 언제 감상하였는지, 어디서 감상하였는지 또는 어떤 경로를 통하여 감상하였는지와 같은 콘텐츠 관련 사항을 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해 획득한 인식 대상 콘텐츠에 포함된 개체의 유형 별로 제1 특징 벡터(631 내지 634)를 생성할 수 있다.(S72) 이 때 '유형 별로 제1 특징 벡터를 생성'하는 것은, 인식 대상 콘텐츠 내에서 동일한 유형의 개체를 모두 수집하고, 이에 기초하여 제1 특징 벡터를 생성하는 것을 의미할 수 있다.
가령 인식 대상 콘텐츠(611)가 텍스트 유형의 개체(621), 이미지 유형의 개체(622) 및 오디오 유형의 개체(623)를 포함한다고 가정해 보자. 이러한 경우 제어부(112)는 텍스트 유형의 개체(621)로부터 제1 특징 벡터(631)를, 이미지 유형의 개체(622)로부터 제1 특징 벡터(632)를, 오디오 유형의 개체(623)로부터 제1 특징 벡터(633)를 생성할 수 있다. 물론 본 발명의 일 실시예에 따른 제어부(112)는 인식 대상 콘텐츠(611)에 개인정보(612)가 더 표지된 경우, 개인정보에 대한 제1 특징 벡터(634)를 더 생성할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 인식 대상 콘텐츠(611)에 비디오 유형의 개체가 포함된 경우, 비디오 유형의 개체를 이미지 유형의 개체 및 오디오 유형의 개체로 분리하고, 분리된 각각의 개체에 대한 제1 특징 벡터 생성 방법에 따라 제1 특징 벡터를 생성할 수 있다.
이와 같이 제어부(112)가 각각의 개체 및/또는 개인정보로부터 제1 특징 벡터(631 내지 634)를 생성하는 것은 도 3 내지 도 5d를 통하여 설명하였으므로, 이에 대한 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 제어부(112)는 생성된 개체의 유형 별 제1 특징 벡터(631 내지 634)에 기초하여 인식 대상 콘텐츠(611)의 특징 벡터인 제2 특징 벡터(641)를 생성할 수 있다.(S73) 이 때 제2 특징 벡터(641)는 인식 대상 콘텐츠(611) 내에 포함되는 모든 개체의 특성을 고려한 벡터로써의 의미를 가질 수 있다.
한편 본 발명의 일 실시예에 따른 제어부(112)는 텍스트 유형의 개체(621)로부터 생성된 제1 특징 벡터(631), 이미지 유형의 개체(622)로부터 생성된 제1 특징 벡터(632), 오디오 유형의 개체(623)로부터 생성된 제1 특징 벡터(633) 및 개인개인정보(612)로부터 생성된 제1 특징 벡터(634)를 병합하여 제2 특징 벡터(641)를 생성할 수 있다. 이 때 제어부(112)는 다양한 방식에 따라 제2 특징 벡터(641)를 생성할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 생성된 제2 특징 벡터(641) 및 감정 인식기(351)에 기초하여 제1 사용자의 인식 대상 콘텐츠(611)에 대한 감정을 결정할 수 있다.(S74)
전술한 바와 같이 감정 인식기(351)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 테스트 콘텐츠와 해당 콘텐츠에 대한 감정의 상관관계, 즉 양자의 매핑 정보일 수 있다.
따라서 이러한 감정 인식기(351)를 참조하면, 본 발명의 일 실시예에 따른 제어부(112)는 생성된 제2 특징 벡터(641)와 매핑되는 감정 정보(651)를 확인할 수 있다. 이 때 감정 정보(651)는 감정에 대한 정보를 벡터의 형태로 포함할 수 있다. 가령 감정 정보(651)가 [0.1, 0.2, 0.99, 0.4..]와 같은 벡터이고, 첫 번째 값이 '기쁨'과 관련된 값이고, 두 번째가 '슬픔'과 관련된 값이고, 세 번째가 '지루함'과 관련된 값이라고 가정해 보자. 이러한 경우 제어부(112)는 인식 대상 콘텐츠에 대한 사용자의 감정을 '지루함'으로 결정할 수 있다.
이로써 본원 발명은 인식 대상 콘텐츠로부터 콘텐츠의 흐름이나 맥락에 대한 이해가 부가된 감정인식 결과를 도출할 수 있고, 보다 세밀한 감정 인식 결과를 도출할 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 서버
110: 감정 인식 장치
111: 통신부
112: 제어부
113: 메모리
200: 사용자 단말
300: 외부장치
400: 통신망

Claims (10)

  1. 인식 대상 콘텐츠에 포함된 멀티모달(Multimodal) 정보에 기초하여 상기 인식 대상 콘텐츠에 대한 제1 사용자의 감정을 인식하는 방법에 있어서,
    적어도 하나 이상의 유형의 개체를 포함하는 인식 대상 콘텐츠(Contents)를 수신하는 단계;
    상기 인식 대상 콘텐츠에 포함된 개체의 유형 별로 제1 특징 벡터를 생성하는 단계;
    상기 유형 별 제1 특징 벡터에 기초하여, 상기 인식 대상 콘텐츠의 특징 벡터인 제2 특징 벡터를 생성하는 단계; 및
    상기 제2 특징 벡터 및 감정 인식기에 기초하여 상기 제1 사용자의 상기 인식 대상 콘텐츠에 대한 감정을 결정하는 단계;를 포함하고,
    상기 감정 인식기는
    적어도 하나 이상의 유형의 개체를 포함하는 복수의 테스트 콘텐츠 및 상기 복수의 테스트 콘텐츠에 대한 복수의 제2 사용자의 감정의 상관관계를 표현한 데이터 셋트인, 멀티모달 정보에 기초한 감정 인식 방법.
  2. 제1 항에 있어서
    상기 인식 대상 콘텐츠는
    텍스트(Text) 유형의 개체, 이미지(Image) 유형의 개체 및 오디오(Audio) 유형의 개체 중 적어도 하나의 유형의 개체를 적어도 하나 이상 포함하고,
    상기 제1 특징 벡터를 생성하는 단계는
    상기 텍스트 유형의 개체에 대한 제1 특징 벡터, 상기 이미지 유형의 개체에 대한 제1 특징 벡터 및 상기 오디오 유형에 대한 제1 특징 벡터 중 적어도 하나를 생성하는, 멀티모달 정보에 기초한 감정 인식 방법.
  3. 제2 항에 있어서
    상기 제2 특징 벡터를 생성하는 단계는
    상기 텍스트 유형의 개체에 대한 제1 차원의 제1 특징 벡터, 상기 이미지 유형의 개체에 대한 제2 차원의 제1 특징 벡터 및 상기 오디오 유형에 대한 제3 차원의 제1 특징 벡터 중 적어도 하나 이상을 병합하여 제4 차원의 상기 제2 특징 벡터를 생성하고,
    상기 제4 차원은
    상기 제1 차원, 상기 제2 차원 및 상기 제3 차원 중 적어도 어느 하나 이상의 합에 기초하여 결정되는, 멀티모달 정보에 기초한 감정 인식 방법.
  4. 제2 항에 있어서
    상기 감정 인식기는
    상기 복수의 테스트 콘텐츠에 대한 복수의 제2 사용자의 감정의 상관관계를 표현함에 있어서 상기 복수의 제2 사용자의 개인정보를 더 고려한 데이터 셋트이고,
    상기 콘텐츠를 수신하는 단계는
    상기 제1 사용자의 개인정보를 더 수신하고
    상기 제1 특징 벡터를 생성하는 단계는
    상기 제1 사용자의 개인정보에 대한 제1 특징 벡터를 더 생성하고,
    상기 제2 특징 벡터를 생성하는 단계는
    상기 개인정보에 대한 제1 특징 벡터를 더 고려하여 상기 제2 특징 벡터를 생성하는, 멀티모달 정보에 기초한 감정 인식 방법.
  5. 테스트 콘텐츠에 포함된 멀티모달(Multimodal) 정보에 기초하여 사용자의 감정을 인식하는 감정 인식기를 생성하는 방법에 있어서,
    적어도 하나 이상의 유형의 개체를 포함하고, 사용자의 감정 정보가 표지(labeled)된 하나 이상의 테스트 콘텐츠를 획득하는 단계;
    각각의 테스트 콘텐츠에 대해서, 상기 테스트 콘텐츠에 포함된 개체의 유형 별로 제1 특징 벡터를 생성하는 단계;
    각각의 테스트 콘텐츠에 대해서, 상기 유형 별 제1 특징 벡터에 기초하여, 테스트 콘텐츠의 특징 벡터인 제2 특징 벡터를 생성하는 단계; 및
    상기 제2 특징 벡터 및 상기 감정 정보에 기초하여 상기 감정 인식기를 트레이닝(Training)하는 단계;를 포함하고,
    상기 감정 인식기는
    적어도 하나 이상의 유형의 개체를 포함하는 복수의 테스트 콘텐츠 및 상기 복수의 테스트 콘텐츠에 대한 복수의 사용자의 감정의 상관관계를 표현한 데이터 셋트인, 멀티모달 정보에 기초한 감정 인식기 생성 방법.
  6. 제5 항에 있어서
    상기 테스트 콘텐츠 각각은
    텍스트(Text) 유형의 개체, 이미지(Image) 유형의 개체 및 오디오(Audio) 유형의 개체 중 적어도 하나의 유형의 개체를 적어도 하나 이상 포함하고,
    상기 제1 특징 벡터를 생성하는 단계는
    상기 텍스트 유형의 개체에 대한 제1 특징 벡터, 상기 이미지 유형의 개체에 대한 제1 특징 벡터 및 상기 오디오 유형에 대한 제1 특징 벡터 중 적어도 하나를 생성하는, 멀티모달 정보에 기초한 감정 인식기 생성 방법.
  7. 제6 항에 있어서
    상기 제2 특징 벡터를 생성하는 단계는
    상기 텍스트 유형의 개체에 대한 제1 차원의 제1 특징 벡터, 상기 이미지 유형의 개체에 대한 제2 차원의 제1 특징 벡터 및 상기 오디오 유형에 대한 제3 차원의 제1 특징 벡터 중 적어도 하나 이상을 병합하여 제4 차원의 상기 제2 특징 벡터를 생성하고,
    상기 제4 차원은
    상기 제1 차원, 상기 제2 차원 및 상기 제3 차원 중 적어도 어느 하나 이상의 합에 기초하여 결정되는, 멀티모달 정보에 기초한 감정 인식기 생성 방법.
  8. 제6 항에 있어서
    상기 감정 인식기는
    상기 복수의 테스트 콘텐츠에 대한 복수의 사용자의 감정의 상관관계를 표현함에 있어서 상기 복수의 사용자의 개인정보를 더 고려한 데이터 셋트이고,
    상기 테스트 콘텐츠를 획득하는 단계는
    사용자의 개인정보가 더 표지된 하나 이상의 테스트 콘텐츠를 획득하고,
    상기 제1 특징 벡터를 생성하는 단계는
    상기 사용자의 개인정보에 대한 제1 특징 벡터를 더 생성하고,
    상기 제2 특징 벡터를 생성하는 단계는
    상기 개인정보에 대한 제1 특징 벡터를 더 고려하여 상기 제2 특징 벡터를 생성하는, 멀티모달 정보에 기초한 감정 인식기 생성 방법.
  9. 제5 항에 있어서
    상기 감정 정보는 제3 특징 벡터를 포함하고,
    상기 트레이닝 하는 단계는
    상기 제2 특징 벡터와 상기 제3 특징 벡터가 대응되도록 상기 감정 인식기의 상기 데이터 셋트를 업데이트(Update)하는, 멀티모달 정보에 기초한 감정 인식기 생성 방법.
  10. 컴퓨터를 이용하여 제1 항 내지 제9 항 중 어느 한 항의 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
KR1020170038502A 2017-03-27 2017-03-27 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램 KR20180109227A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170038502A KR20180109227A (ko) 2017-03-27 2017-03-27 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170038502A KR20180109227A (ko) 2017-03-27 2017-03-27 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190100422A Division KR102110393B1 (ko) 2019-08-16 2019-08-16 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램

Publications (1)

Publication Number Publication Date
KR20180109227A true KR20180109227A (ko) 2018-10-08

Family

ID=63864176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170038502A KR20180109227A (ko) 2017-03-27 2017-03-27 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램

Country Status (1)

Country Link
KR (1) KR20180109227A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110025323A (zh) * 2019-04-19 2019-07-19 西安科技大学 一种婴幼儿情绪识别方法
CN110853680A (zh) * 2019-11-05 2020-02-28 河南工业大学 一种用于语音情感识别的具有多输入多融合策略的双BiLSTM结构
WO2020196976A1 (ko) * 2019-03-22 2020-10-01 한국과학기술원 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법
CN112489635A (zh) * 2020-12-03 2021-03-12 杭州电子科技大学 一种基于增强注意力机制的多模态情感识别方法
WO2021084165A1 (fr) 2019-11-03 2021-05-06 St37 Sport Et Technologie Procede et systeme de caracterisation d'un mouvement d'une entite en mouvement

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020196976A1 (ko) * 2019-03-22 2020-10-01 한국과학기술원 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법
KR20200119368A (ko) * 2019-03-22 2020-10-20 한국과학기술원 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법
CN110025323A (zh) * 2019-04-19 2019-07-19 西安科技大学 一种婴幼儿情绪识别方法
CN110025323B (zh) * 2019-04-19 2021-07-27 西安科技大学 一种婴幼儿情绪识别方法
WO2021084165A1 (fr) 2019-11-03 2021-05-06 St37 Sport Et Technologie Procede et systeme de caracterisation d'un mouvement d'une entite en mouvement
CN110853680A (zh) * 2019-11-05 2020-02-28 河南工业大学 一种用于语音情感识别的具有多输入多融合策略的双BiLSTM结构
CN112489635A (zh) * 2020-12-03 2021-03-12 杭州电子科技大学 一种基于增强注意力机制的多模态情感识别方法
CN112489635B (zh) * 2020-12-03 2022-11-11 杭州电子科技大学 一种基于增强注意力机制的多模态情感识别方法

Similar Documents

Publication Publication Date Title
US10003924B2 (en) Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location
KR20180109227A (ko) 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램
WO2020232861A1 (zh) 命名实体识别方法、电子装置及存储介质
CN109471945B (zh) 基于深度学习的医疗文本分类方法、装置及存储介质
KR102462426B1 (ko) 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
JP6451246B2 (ja) 人のソーシャルタイプを決定する方法、システム及びプログラム
JP6951712B2 (ja) 対話装置、対話システム、対話方法、およびプログラム
US20200372025A1 (en) Answer selection using a compare-aggregate model with language model and condensed similarity information from latent clustering
KR102264234B1 (ko) 문서 분류에 있어서 기여도가 높은 단어 및 문장을 제공하는 설명이 부가된 문서 분류 방법
US20220148576A1 (en) Electronic device and control method
CN114648392B (zh) 基于用户画像的产品推荐方法、装置、电子设备及介质
CN110309114A (zh) 媒体信息的处理方法、装置、存储介质和电子装置
Akputu et al. Emotion recognition using multiple kernel learning toward E-learning applications
CN112131345B (zh) 文本质量的识别方法、装置、设备及存储介质
CN112015928A (zh) 多媒体资源的信息提取方法、装置、电子设备及存储介质
KR102110393B1 (ko) 감정 인식 방법 및 프로그램과, 감정 인식기 생성 방법 및 프로그램
CN111783903A (zh) 文本处理方法、文本模型的处理方法及装置、计算机设备
KR20190064042A (ko) 상황 인식 기반 추천 방법 및 그 장치
CN115659008A (zh) 大数据信息反馈的信息推送系统、方法、电子设备及介质
KR102185733B1 (ko) 프로필 자동생성서버 및 방법
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
KR102564182B1 (ko) 인공지능 모델을 활용하여 영상 데이터 기반 얼굴 표정 영상 추출 및 이를 활용한 콘텐츠 생성 방법, 장치 및 시스템
CN112712056A (zh) 视频语义分析方法、装置、存储介质及电子设备
CN113536784A (zh) 文本处理方法、装置、计算机设备和存储介质
CN114579867A (zh) 资源推荐的方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment