KR102616172B1 - 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법 - Google Patents

캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법 Download PDF

Info

Publication number
KR102616172B1
KR102616172B1 KR1020160103272A KR20160103272A KR102616172B1 KR 102616172 B1 KR102616172 B1 KR 102616172B1 KR 1020160103272 A KR1020160103272 A KR 1020160103272A KR 20160103272 A KR20160103272 A KR 20160103272A KR 102616172 B1 KR102616172 B1 KR 102616172B1
Authority
KR
South Korea
Prior art keywords
information
emotion
animation object
personality
animation
Prior art date
Application number
KR1020160103272A
Other languages
English (en)
Other versions
KR20180018198A (ko
Inventor
백송이
이주현
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160103272A priority Critical patent/KR102616172B1/ko
Priority to US15/676,974 priority patent/US10726836B2/en
Publication of KR20180018198A publication Critical patent/KR20180018198A/ko
Application granted granted Critical
Publication of KR102616172B1 publication Critical patent/KR102616172B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/04—Animation description language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/12—Rule based animation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

캐릭터를 제공하는 시스템은, 분석 대상의 얼굴 대표 부위 또는 동작의 움직임 정도에 따라 분석 대상의 감정 정보를 대응시킨 감정 판단 기준, 그리고 상기 분석 대상의 얼굴 대표 부위 또는 동작의 움직임 정도에 따라 분석 대상의 성격 정보를 대응시킨 성격 판단 기준을 저장하는 메모리; 및 애니메이션 객체를 입력 받고, 감정 판단 기준과 성격 판단 기준을 토대로 애니메이션 객체의 얼굴 또는 동작의 움직임에 해당하는 감정 정보와 성격 정보를 추출하며, 감정 정보와 성격 정보를 포함하는 태그를 상기 애니메이션 객체에 매핑하는 프로세서를 포함한다.

Description

캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법{System for character providing and information gathering method using same}
본 발명은 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법에 관한 것이다.
다양한 콘텐츠를 통해 제공되고 있는 캐릭터들을 표현하기 위하여, 현재는 콘텐츠에 등장하는 모든 캐릭터에 설정된 각 동작마다 모션 데이터나 동영상을 미리 준비해 두고, 사용자의 조작에 따라 시행시키는 방식을 이용하고 있다. 이러한 종래 기술을 이용하면, 대화형 캐릭터를 생성함에 있어 캐릭터의 동작과 그에 따른 표정 값을 사용자가 일일이 정의, 제작, 수정해야 하는 번거로움이 있다.
그리고, 동일한 캐릭터라 하더라도 다양한 성격을 표현하기 어렵다는 단점이 있다. 또한, 다양한 대화 또는 콘텍스트 입력 값에 따라 캐릭터의 성격이나 감정, 이에 따른 표정도 다양하게 제공되어야 하나, 이를 물리적으로 모두 대응하기 어렵다는 한계가 있다.
따라서, 본 발명은 캐릭터의 표정과 동작을 자동화하여 제공하는 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 캐릭터 제공 시스템은,
분석 대상의 얼굴 대표 부위 또는 동작의 움직임 정도에 따라 상기 분석 대상의 감정 정보를 대응시킨 감정 판단 기준, 그리고 상기 분석 대상의 얼굴 대표 부위 또는 동작의 움직임 정도에 따라 상기 분석 대상의 성격 정보를 대응시킨 성격 판단 기준을 저장하는 메모리; 및 애니메이션 객체를 입력 받고, 상기 감정 판단 기준과 상기 성격 판단 기준을 토대로 상기 애니메이션 객체의 얼굴 또는 동작의 움직임에 해당하는 감정 정보와 성격 정보를 추출하며, 상기 감정 정보와 상기 성격 정보를 포함하는 태그를 상기 애니메이션 객체에 매핑하는 프로세서를 포함한다.
상기 프로세서는, 상기 복수의 얼굴 대표 부위 각각에 대한 위치를 상기 감정 판단 기준의 위치 정보와 비교하여 산출한 복수의 값을 합산하여 감정 값을 계산하고, 상기 계산한 감정 값에 대응하여 미리 설정되어 있는 감정 정보를 상기 애니메이션 객체에 대한 제1 감정 정보로 추출하여 상기 애니메이션 태그 정보로 생성할 수 있다.
상기 감정 판단 기준은 미리 정의되어 있는 복수의 기준 표정과 상기 복수의 표정 정보 각각에 대한 얼굴 대표 부위의 움직임 정보를 포함하며, 상기 프로세서는, 상기 감정 판단 기준을 토대로 상기 애니메이션 객체의 표정과 유사한 기준 표정을 확인하고, 상기 애니메이션 객체의 얼굴 대표 부위 각각의 위치와 상기 기준 표정에 대한 얼굴 대표 부위의 움직임 정보를 토대로 상기 애니메이션 객체에 대한 제1 감정 정보를 추출하여 상기 애니메이션 태그 정보로 생성할 수 있다.
상기 감정 정보는 제2 감정 정보를 더 포함하고, 상기 프로세서는, 상기 애니메이션 객체가 표정을 지속하는 지속 시간을 통해 상기 제2 감정 정보를 산출할 수 있다.
상기 성격 판단 기준은 복수의 전신 대표 부위의 위치 정보와 각각의 가중치정보를 포함하며, 상기 프로세서는, 상기 애니메이션 객체의 전신 대표 부위 각각의 위치를 확인하고, 상기 성격 판단 기준의 위치 정보를 토대로 상기 애니메이션 객체에 대한 제1 성격 정보를 추출하여 상기 애니메이션 태그 정보로 생성할 수 있다.
상기 성격 정보는 제2 성격 정보를 더 포함하고, 상기 애니메이션 객체의 얼굴 대표 부위의 위치 변화 값으로부터 제2 성격 정보를 추출하여 상기 애니메이션 태그 정보로 생성할 수 있다.
상기 프로세서는, 상기 애니메이션 객체의 머리 움직임을 토대로 문형 정보를 추출하고, 추출한 문형 정보를 애니메이션 태그 정보로 생성할 수 있다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 캐릭터 제공 시스템이 캐릭터를 생성하기 위하여 정보를 수집하는 방법은,
저장되어 있는 감정 판단 기준과 입력되는 애니메이션 객체의 얼굴 대표 부위의 움직임 정도를 토대로 상기 애니메이션 객체의 감정 정보를 추출하는 단계; 저장되어 있는 성격 판단 기준과, 상기 애니메이션 객체의 얼굴 대표 부위 또는 동작의 움직임 정도를 토대로, 상기 애니메이션 객체의 성격 정보를 추출하는 단계; 및 상기 추출한 감정 정보 및 성격 정보를 상기 애니메이션 객체에 매핑하여 애니메이션 태그 정보로 저장하는 단계를 포함한다.
상기 감정 정보를 추출하는 단계는, 상기 감정 판단 기준은 복수의 얼굴 대표 부위의 위치 정보, 각각의 얼굴 대표 부위의 가중치 정보, 얼굴 대표 부위의 움직임 정도에 따라 계산된 감정 값에 대응되는 감정 정보를 포함하고, 입력되는 애니메이션 객체의 얼굴 대표 부위의 위치를 확인하고, 상기 감정 판단 기준의 위치 정보와 비교하여 제1 감정 정보를 산출하는 단계를 포함할 수 있다.
상기 제1 감정 정보를 산출하는 단계 이후에, 상기 애니메이션 객체가 상기 표정을 지속한 지속 시간을 토대로 제2 감정 정보를 산출하는 단계를 포함할 수 있다.
상기 감정 정보를 추출하는 단계는, 상기 감정 판단 기준은 미리 정의되어 있는 복수의 기준 표정과 상기 복수의 표정 정보 각각에 대한 얼굴 대표 부위의 움직임 정보를 포함하고, 애니메이션 객체의 표정과 유사한 기준 표정을 확인하는 단계; 및 상기 애니메이션 객체의 얼굴 대표 부위 각각의 위치와 상기 기준 표정에 대한 얼굴 대표 부위의 움직임 정보를 토대로 상기 애니메이션 객체에 대한 제1 감정 정보를 추출하는 단계를 포함할 수 있다.
상기 성격 정보를 추출하는 단계는, 상기 성격 판단 기준은 복수의 전신 대표 부위의 위치 정보와 각각의 가중치정보를 포함하며, 상기 애니메이션 객체로부터 추출한 전신 대표 부위의 위치 정보와 미리 저장되어 있는 기준 동작 위치 그리고 각각의 가중치 정보를 토대로 제1 성격 정보를 산출하는 단계를 포함할 수 있다.
본 발명에 따르면 캐릭터 애니메이션을 정의하고 다양한 동작들을 데이터베이스화하고, 성격, 감정 값에 맞는 동작을 자동으로 매핑함으로써, 사전에 정의되지 않은 애니메이션에 대하여 대화형 캐릭터의 동작/표정을 자동으로 제공할 수 있다.
또한, 친밀한 표현까지 사용자에게 제공할 수 있어, 사용자와 캐릭터 간의 높은 감정 교감과 관계도 상승이 가능해진다. 또한, 다양한 매체에서 대화형 캐릭터 서비스를 활성화할 수 있다.
도 1은 본 발명의 실시예에 따른 캐릭터 제공 시스템이 적용된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 캐릭터 제공 시스템의 구조도이다.
도 3은 본 발명의 실시예에 따른 정보 수집 방법에 대한 흐름도이다.
도 4는 본 발명의 제1 실시예에 따른 감정 정보 수집에 대한 예시도이다.
도 5는 본 발명의 제2 실시예에 따른 감정 정보 수집에 대한 예시도이다.
도 6은 본 발명의 실시예에 따른 감정 값에 따라 설정된 감정 정보의 예시도이다.
도 7은 본 발명의 실시예에 따른 감정 형용사에 대한 예시도이다.
도 8은 본 발명의 실시예에 따른 성격 정보 수집에 대한 예시도이다.
도 9a 도 9c는 본 발명의 실시예에 따른 문형 정보 추출 방법에 대한 예시도이다.
도 10은 본 발명의 실시예에 따른 애니메이션 객체 저장의 예시도이다.
도 11은 본 발명의 실시예에 따른 적용 시나리오의 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 도면을 참조로 하여 본 발명의 실시예에 따른 캐릭터 제공을 위한 캐릭터 제공 시스템 및 방법에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 캐릭터 제공 시스템이 적용된 환경의 예시도이다.
도 1에 도시된 바와 같이, 다양한 시스템에서 전달되는 감정과 문형에 따라 각각 다른 성격을 가지는 캐릭터를 제공하기 위하여 입력되는 애니메이션 객체로부터 애니메이션 정보를 추출하여 애니메이션 태그 정보를 생성하거나, 생성된 애니메이션 태그 정보를 이용하여 캐릭터를 제공하는 캐릭터 제공 시스템(300)은 음성 인식 시스템(100)과 대화 추론 시스템(200)과 연동한다. 그리고 음성 인식 시스템(100)이 입력된 질의를 통해 생성한 음성 정보, 음성 인식 시스템(100)이 생성한 텍스트 형태의 음성 정보를 토대로 대화 추론 시스템(200)이 추론한 추론 정보를 토대로, 캐릭터 제공 시스템(300)은 질의에 대한 답변을 제공하는 캐릭터를 자동으로 생성하여 사용자에게 제공한다.
음성 인식 시스템(100)은 사용자에 의해 음성으로 인식되는 질의를 인식하여 텍스트 형태의 음성 정보로 생성한다. 대화 추론 시스템(200)은 음성 인식 시스템(100)이 생성한 텍스트 형태의 음성 정보를 수신하고, 수신한 텍스트 형태의 음성 정보를 토대로 캐릭터가 질의에 대해 답변할 답변 텍스트, 답변을 취할 때의 문형 정보, 행동 정보, 감정 정보 및 캐릭터의 캐릭터 식별 정보를 추출한다. 음성 인식 시스템(100)과 대화 추론 시스템(200)이 질의를 인식하여 음성 정보를 생성하는 방법이나, 다양한 정보를 추출하는 방법은 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
여기서, 음성 정보를 통해 대화 추론 시스템(200)에서 생성한 다양한 정보(이하, '입력 정보'라 지칭함)를 토대로 캐릭터를 생성하여 제공하거나, 사용자에게 캐릭터를 자동으로 매핑하여 제공하기 위하여 사전에 애니메이션 객체로부터 애니메이션 태그 정보를 생성하는 캐릭터 제공 시스템(300)의 구조에 대해 도 2를 참조로 설명한다.
도 2는 본 발명의 실시예에 따른 캐릭터 제공 시스템의 구조도이다.
도 2에 도시된 바와 같이, 캐릭터 제공 시스템(300)은 메모리(310)와 프로세서(320)을 포함한다.
메모리(310)는 애니메이션 객체의 얼굴 대표 부위 또는 동작의 움직임 정도에 따라 애니메이션 객체에 대한 감정 정보를 추출하는 기준인 감정 판단 기준과 성격 정보를 추출하기 위한 성격 판단 기준을 저장한다.
감정 판단 기준은 프로세서(320)가 입력되는 애니메이션 객체의 표정을 토대로 감정 정보를 추출하는 과정에서 사용되는 정보로, 기준 표정으로 설정된 무표정한 얼굴에서의 얼굴 대표 부위의 위치 정보와 각각의 얼굴 대표 부위에 대한 가중치 정보, 그리고 얼굴 대표 부위의 값을 합산하여 계산된 감정 값에 대응되는 미리 설정되어 있는 감정 정보가 감정 판단 기준이 될 수 있다. 또는, 감정 판단 기준은 미리 정의되어 있는 다양한 표정들과 각각의 표정에 대한 얼굴 대표 부위의 움직임 정도가 될 수도 있다.
본 발명의 실시예에서는 얼굴 대표 부위로 애니메이션 객체의 눈썹, 눈, 코, 입 및 턱을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
성격 판단 기준은 프로세서(320)가 입력되는 애니메이션 객체의 동작으로부터 성격 정보를 추출하는 과정에서 사용되는 기준으로, 애니메이션 객체의 동작의 움직임 정도를 판단하기 위한 전신 대표 부위의 위치 정보와 전신 대표 부위의 가중치 정보를 포함한다. 본 발명의 실시예에서는 전신 대표 부위로 머리, 손끝, 배꼽, 무릎 및 발끝을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
그리고, 각각의 전신 대표 부위에는 위치 변화의 빈도에 따라 가중치가 각각 달리 설정되어 있으며, 이에 대해서는 이후 설명한다. 본 발명의 실시예에서는 기준 동작으로 멈춰 서 있는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
또한, 메모리(310)는 애니메이션 객체의 감정 강도를 확인하기 위하여, 표정 지속 시간에 따라 정의되어 있는 감정 강도 정보를 저장한다.
메모리(310)는 캐릭터별 성격 정보를 저장한다. 캐릭터별 성격 정보는 미리 저장되며, 캐릭터의 식별 정보와 함께 성격 정보가 1:1 대응되도록 저장된다. 예를 들어, A라는 캐릭터의 식별 정보가 A0000이라 가정하고, A 캐릭터의 성격이 "즐거운"이라고 가정한다면, "A0000"과 "즐거운"이 1:1 대응되어 저장되어 있다.
그리고 메모리(310)는 프로세서(320)가 분석한 애니메이션 객체의 감정 정보와 성격 정보, 그리고 문형 정보를 포함하는 애니메이션 태그 정보를 애니메이션 객체에 대응하여 저장한다. 여기서, 감정 정보와 성격 정보는 계층화 되어 추출된 정보들로, 이에 대해서는 이후 상세히 설명한다. 그리고, 프로세서(320)로 감정 정보와 성격 정보를 제공하여, 입력 정보에 대한 캐릭터를 생성할 때 이용하도록 한다.
프로세서(320)는 외부로부터 입력되는 애니메이션 객체의 표정과 동작을 추출하고, 메모리(310)에 저장되어 있는 감정 판단 기준과 성격 판단 기준을 토대로 애니메이션 객체의 감정 정보와 성격 정보를 추출한다.
이때, 프로세서(320)는 감정 정보를 추출하는 방법에 따라 애니메이션 객체의 표정이 긍정적 표정인지 부정적 표정인지를 먼저 추출할 수도 있다. 애니메이션 객체의 표정으로부터 긍정적 표정 또는 부정적 표정을 추출하는 방법은 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
프로세서(320)는 애니메이션 객체의 특정 부위의 움직임을 토대로 애니메이션 객체의 문형 정보를 추출 한다. 본 발명의 실시예에서는 애니메이션 객체의 여러 부위 중 머리의 움직임을 토대로 애니메이션 객체의 문형 정보를 추출하는 것을 예로 하여 설명한다. 프로세서(320)가 캐릭터의 표정이나 동작을 분석하는 방법은 이후 설명한다.
프로세서(320)는 대화 추론 시스템(200)으로부터 전송되는 입력 정보, 메모리(310)에 저장되어 있는 캐릭터별 성격 정보 또는 애니메이션 태그 정보를 토대로, 입력 정보에 대한 캐릭터를 자동으로 생성한다. 입력 정보는 캐릭터 식별 정보, 대화 추론 시스템(200)에서 생성하였으며 캐릭터가 사용자에 의해 입력된 음성을 토대로 답변할 답변의 문형 정보, 그리고 답변 시 사용자에게 제공할 캐릭터의 감정 정보를 포함한다.
이상에서 설명한 캐릭터 제공 시스템(300)이 사용자에게 캐릭터를 제공하기 앞서, 다양한 캐릭터로부터 정보를 수집하는 방법에 대해 도 3 내지 도 6을 참조로 설명한다.
도 3은 본 발명의 실시예에 따른 정보 수집 방법에 대한 흐름도이다.
도 3에 도시된 바와 같이, 프로세서(320)는 애니메이션 객체가 입력되면(S100), 입력된 애니메이션 객체의 표정과 동작을 분석하여, 해당 애니메이션 객체에 대한 감정 정보와 성격 정보, 그리고 문형 정보를 추출한다(S110, S120, S130).
프로세서(320)가 추출한 감정 정보와 성격 정보, 문형 정보는 메모리(310)에 애니메이션 객체에 대한 애니메이션 태그 정보로 생성되어 저장된다(S140). 저장된 애니메이션 태그 정보는, 이후 프로세서(320)가 입력 정보를 토대로 캐릭터를 제공할 때, 입력 정보에 대한 캐릭터의 성격과 감정으로 매핑되어 사용자에게 제공된다.
각각의 정보를 추출하는 방법에 대해 도면을 참조로 상세히 설명한다. 먼저 프로세서(320)가 S110 단계에서 애니메이션 객체의 표정을 통해 감정 정보를 추출하는 방법에 대해 도 4 및 도 5를 참조로 설명한다. 본 발명의 실시예에서는 애니메이션 객체의 표정으로부터 감정 정보를 추출하는 방법으로 감정에 대한 실제 얼굴 표정과 각 얼굴 표정의 얼굴 대표 부위의 움직임 정도에 따라 감정 정보를 매핑하는 첫 번째 실시예와, 얼굴 대표 부위의 움직임 정도에 따라 감정 정보를 매핑하는 두 번째 실시예로 예를 들어 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
도 4는 본 발명의 제1 실시예에 따른 감정 정보 수집에 대한 예시도이다.
도 4에 도시된 바와 같이, 메모리(310)에 다양한 감정을 나타내는 표정(이하, 기준 표정이라 지칭함)들이 미리 정의되어 있고, 해당 표정들에 따라 감정 판단 기준인 얼굴 대표 부위의 움직임 정도가 정의되어 저장되어 있다. 여기서 움직임 정도에 대한 정보들은 도 4에 직접적으로 도시하지 않았으나, 얼굴 대표 부위인 눈썹, 눈, 코, 입 및 턱의 움직임 정도를 수치로 환산한 값이 저장될 수도 있다.
프로세서(320)는 애니메이션 객체가 입력되면, 애니메이션 객체의 표정을 먼저 메모리(310)에 저장되어 있는 다양한 기준 표정들과 비교하여 가장 유사한 표정을 짓는 기준 표정을 확인한다. 그리고 프로세서(320)는 애니메이션 객체의 얼굴 대표 부위의 움직임 정도를 확인하고, 가장 유사한 표정으로 선택된 기준 표정의 움직임 정도와 비교하여 그 차이가 미리 설정한 임계값 내에 해당하는지 판단한다.
만약 두 움직임 정도의 차가 임계값 내의 오차 값을 갖는다면, 프로세서(320)는 애니메이션 객체의 표정을, 기준 표정으로 선택한다. 그리고 기준 표정에 대한 감정 정보를 애니메이션 객체의 제1 감정 정보로 사용한다.
반면에, 애니메이션 객체의 얼굴 대표 부위의 움직임 정도와 기준 표정의 움직임 정도와의 차가 임계값보다 클 경우, 애니메이션 객체에 대한 얼굴 대표 부위의 움직임 정도와 유사한 값을 나타내는 기준 표정이 있는지 확인한다. 만약 기준 표정이 없는 경우에는, 처음 선택된 기준 표정의 감정을 애니메이션 객체의 제1 감정 정보로 설정한다. 그러나, 기준 표정이 있는 경우에는, 해당 기준 표정의 감정을 애니메이션 객체의 제1 감정 정보로 설정한다.
애니메이션 객체의 제1 감정 정보를 추출한 후, 프로세서(320)는 애니메이션 객체의 표정의 지속 시간을 통해 제1 감정 정보를 기준으로 감정 강도를 설정하여 제2 감정 정보로 추출한다. 프로세서(320)가 제2 감정 정보를 추출하기 위해, 다음 표 1에 나타낸 감정 강도 정보를 이용한다.
위치 지속시간 감정 강도
최상 N초 매우 강하게
상 N/N초 조금 강하게
기본 N/N초 보통
하 N/N초 조금 약하게
최하 0초 매우 약하게
프로세서(320)는 제1 감정 정보를 산출하기 위해 확인한 애니메이션 객체의 표정이 지속 시간이, 애니메이션의 전체 실행 시간 중 얼마나 긴 시간 동안 지속되었는지에 따라 제2 감정 정보를 산출한다. 애니메이션 객체의 표정 지속 시간 N초(또는, 분, 시간 등)를 기준으로 하여, N 단계의 강도로 분할한다. 여기서 N은 임의의 정수로, 어느 하나의 정수로 한정하여 설명하지 않는다. 그리고 위치가 '상', '기본' 그리고 '하' 각각에 대한 지속 시간을 'N/N초'로 표시하였으나, 각 초에 해당하는 사항은 다양하게 변경될 수 있으므로, 어느 하나의 형태로 표시되는 것이라 한정하지 않는다.
프로세서(320)는 애니메이션 객체의 표정 지속 시간에 따라 감정 강도를 매핑한다. 예를 들어, 프로세서(320)가 제1 감정 정보로 "긍정적"인 것으로 확인하고, 애니메이션 객체가 전체 30초의 동작 시간 중 25초 동안 긍정적인 표정을 지속하였다고 가정한다. 그러면, 프로세서(320)는 감정 강도를 "최상"의 강도로 하여, 매우 강하게 긍정적인 감정을 갖는 것으로 확인하고, 이를 제2 감정 정보로 선택한다.
한편, 본 발명의 실시예에서는 도 4에 언급한 바와 같은 얼굴 표정들과 각각의 얼굴 표정들에 대한 얼굴 대표 부위의 움직임 정도가 메모리(310)에 저장되어 있지 않은 경우, 애니메이션 객체로부터 감정 정보를 수집하는 또 다른 방법도 고려한다. 이에 대해서 도 5를 참조로 설명한다.
도 5는 본 발명의 제2 실시예에 따른 감정 정보 수집에 대한 예시도이다.
먼저, 도 5의 (a)는 기준 표정인 무표정을 도시한 것이고, (b)와 (c)는 애니메이션 객체가 짓는 표정 중 화내는 표정과 웃는 표정을 나타낸 것이다.
프로세서(320)는 애니메이션 객체의 얼굴 부분에서 감정 정보를 추출하기 위하여, 미리 설정된 얼굴 대표 부위를 확인한다. 여기서, 프로세서(320)가 애니메이션 객체에서 얼굴 부분을 확인하거나 얼굴 대표 부위를 확인하는 방법은 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지 않는다.
프로세서(320)는 입력된 애니메이션 객체에서 얼굴 표정을 확인하여 긍정적 표정인지 부정적 표정인지 1차적으로 확인한다. 프로세서(320)가 얼굴 표정을 확인하는 방법은 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
그리고, 프로세서(320)는 확인한 얼굴 표정을 기준으로, 애니메이션 객체의 얼굴 대표 부위의 위치와, 미리 메모리(310)에 저장되어 있는 기준 표정의 얼굴 대표 부위의 위치를 비교한다. 그리고 입력된 애니메이션 객체의 표정에 따른 얼굴 대표 부위의 위치 변화량을 산출한다.
본 발명의 실시예에서는 프로세서(320)가 기준 표정의 각 부위별 얼굴 대표 부위 대비 실제 애니메이션 객체에서 확인한 얼굴 대표 부위의 위치 변화량에 따라, 위치 변화량을 N 단계로 나누어 각각 산출하는 것을 예로 하여 설명한다. 여기서, N은 임의의 정수로, 어느 하나의 정수로 한정하여 설명하지 않는다.
예를 들어, 도 5의 (b) 또는 (c)에 나타낸 바와 같은 표정을 짓는 애니메이션 객체가 입력되면, 프로세서(320)는 애니메이션 객체의 표정에서 얼굴 대표 부위의 위치(이하, '확인 표정 위치'라 지칭함)를 확인한다. 그리고 메모리(310)에 미리 저장되어 있으며 도 5의 (a)에 도시한 기준 표정의 얼굴 대표 부위의 위치(이하, '기준 표정 위치'라 지칭함)와 비교한다.
프로세서(320)는 확인 표정 위치가 기준 표정 위치보다 높은 경우에는 위치 변화량에 따라 N 단계의 정수 값 중 어느 하나인 양수 값(+N)으로 설정한다. 반면 확인 표정 위치가 기준 표정 위치보다 낮은 경우에는, 위치 변화량에 따라 N단계의 정수 값 중 어느 하나인 음수 값(-N) 값으로 설정한다.
프로세서(320)는 설정한 얼굴 대표 부위 각각에 대하여 산출된 복수의 N 값을 합산하여 감정 값을 계산한다. 계산된 감정 값이 양수인 값(+N)이면 프로세서(320)는 현재 애니메이션 객체의 표정이 긍정적 표정을 짓는 것으로 확인하여, 애니메이션 객체의 표정이 '긍정적 감정'을 나타내고 있는 것으로 확인한다. 그러나 계산된 감정 값이 음수인 값(-N)이면, 프로세서(320)는 해당 애니메이션 객체의 표정이 부정적 감정을 짓는 것으로 확인한다.
도 5의 (b)에 도시한 표정을 예로 하면, 얼굴 대표 부위 중 하나인 눈썹의 위치가 기준 표정 위치보다 낮게 위치함을 알 수 있다. 따라서, 프로세서(320)는 눈썹의 위치의 변화량에 따라 산정된 음수 값인 -N 값을 산출한다.
이때, (b)에 나타낸 바와 같이 화난 표정을 짓는 애니메이션 객체라 하더라도, 입의 경우에는 위치 변화량에 따라 +N 값으로 산출될 수도 있다. 그리고, 복수의 산출값을 합산한 결과가 양수를 나타내어 긍정적 감정으로 정의될 수도 있다. 따라서, 프로세서(320)는 미리 설정해 둔 얼굴 대표 부위 각각에 대한 가중치를 각각의 산출값에 적용한 뒤 감정 값을 계산한다. 이때, 가중치는 다음 표 2와 같이 설정될 수 있다.
표정 대표 부위 가중치
눈썹 1
눈 2
코 3
입 1
턱 5
애니메이션 객체의 표정이 긍정적 감정을 나타내는 표정인지 부정적 감정을 나타내는 표정인지 확인한 후, 프로세서(320)는 계산한 감정 값에 대응되어 미리 설정되어 있는 감정 정보를 애니메이션 객체의 제1 감정 정보로 설정한다. 이에 대해 도 6을 참조로 설명한다.
도 6은 본 발명의 실시예에 따른 감정 값에 따라 설정된 감정 정보의 예시도이다.
도 6에 도시된 바와 같이, X축에 나타낸 감정 값은 몇 개의 구간으로 나뉘어 설정되어 있고, 각각의 감정 값에 대한 감정이 Y축에 나타낸 바와 같이 다양한 형태의 감정들로 매핑되도록 설정되어 있다고 가정한다. 그러면, 프로세서(320)가 계산한 감정 값에 따른 감정들이 애니메이션 객체의 표정으로부터 추출된 제1 감정 정보가 된다.
이상에서 제1 감정 정보를 산출한 뒤에, 프로세서(320)는 표정의 지속 시간을 통해 제1 감정의 강도 정보인 제2 감정 정보를 추출한다. 프로세서(320)가 제2 감정 정보를 추출하기 위해, 상기 표 1에 나타낸 감정 강도 정보를 이용한다.
프로세서(320)는 제1 감정 정보를 산출하기 위해 확인한 애니메이션 객체의 표정이 지속 시간이, 애니메이션의 전체 실행 시간 중 얼마나 긴 시간 동안 지속되었는지에 따라 제2 감정 정보를 산출한다. 애니메이션 객체의 표정 지속 시간 N초(또는, 분, 시간 등)를 기준으로 하여, N 단계의 강도로 분할한다. 여기서 N은 임의의 정수로, 어느 하나의 정수로 한정하여 설명하지 않는다.
프로세서(320)는 애니메이션 객체의 표정 지속 시간에 따라 감정 강도를 매핑한다. 예를 들어, 프로세서(320)가 제1 감정 정보로 "긍정적"인 것으로 확인하고, 애니메이션 객체가 전체 30초의 동작 시간 중 25초 동안 긍정적인 표정을 지속하였다고 가정한다. 그러면, 프로세서(320)는 감정 강도를 "최상"의 강도로 하여, 매우 강하게 긍정적인 감정을 갖는 것으로 확인하고, 이를 제2 감정 정보로 선택한다.
제2 감정 정보가 선택되면, 프로세서(320)는 제2 감정 정보를 토대로 상기 도 6을 통해 확인한 감정에서 상위 감정 또는 하위 감정을 선택, 애니메이션 객체의 감정을 확정한다. 즉, 프로세서(320)가 확인한 애니메이션 객체의 감정이 긍정적 감정이고, 계산된 감정 값이 2단계 감정 값이었으며, 감정 강도가 '상'인 것으로 확인되었다고 가정한다. 그러면, 프로세서(320)는 2단계 감정 값에서 한 단계 위인 3단계 감정 값에 대응하는 감정을 애니메이션 객체의 감정으로 설정한다.
반대로, 프로세서(320)가 확인한 애니메이션 객체의 감정이 부정적 감정이고, 계산된 감정 값이 3단계 감정 값이었으며, 감정 강도가 '하'인 것으로 확인되었다고 가정한다. 그러면, 프로세서(320)는 3단계 감정 값에서 한 단계 위인 2단계 감정 값에 대응하는 감정을 애니메이션 객체의 감정으로 설정한다. 이상에서 설명한 바는 본 발명의 실시예에 따라 다양하게 변형할 수 있는 것으로, 반드시 이와 같이 한정되는 것은 아니다.
이렇게 프로세서(320)가 추출한 애니메이션 객체의 감정 정보는 도 7에 도시되어 있는 감정 형용사 중 어느 하나에 매핑된다. 도 6에서는 긍정적 감정과 부정적 감정이 상위 레벨과 하위 레벨 각각 하나씩 나타나도록 도시하였으나, 하나의 감정에 복수의 감정들이 상위 레벨 또는 하위 레벨로 존재할 수도 있다.
도 7은 본 발명의 실시예에 따른 감정 형용사에 대한 예시도이다.
도 7에는 부정적 감정에 대한 예를 나타낸 것으로, 긍정적 감정에 대한 감정형용사도 도 7과 같이 정의될 수 있다.
도 7에 도시한 바와 같이, 본 발명의 실시예에서는 감정을 상위 레벨과 하위 레벨로 계층화하여 사용하며, 상위 레벨의 감정 형용사에 하나의 하위 레벨의 감정 형용사가 연결되어 있는 것으로 나타내었다. 그러나, 하나의 상위 레벨의 감정 형용사에 복수 개의 하위 레벨의 감정 형용사가 연결될 수도 있다. 복수 개의 하위 레벨의 감정 형용사가 연결될 경우, 상위 레벨의 감정 형용사에 포함될 수 있는 유사한 의미를 가지는 감정 형용사들이 연결될 수도 있으며, 반드시 이와 같이 한정되는 것은 아니다.
그리고, 프로세서(320)는 제2 감정 정보가 상기 표 1의 '최하'인 것으로 추출한 경우를 예로 한다면, 도 7의 레벨 1로 설정되어 있는 감정 형용사인 "부정적" 중 제1 감정 정보에 대응하는 어느 하나의 감정(굳어짐, 멸시, 낙담 등)으로 매핑한다. 그리고, 프로세서(320)는 제2 감정 정보로 산출된 감정 강도가 높아질수록 레벨 2 또는 레벨 3과 같이 하위 레벨의 감정 형용사들을 매핑한다.
예를 들어, 프로세서(320)가 임의의 애니메이션 객체의 표정으로부터 제1 감정 정보로 "부정적 감정" 중에서 굳어짐을 추출하였고, 제2 감정 정보로 레벨 3에 해당하는 "보통"의 강도를 추출하였다고 가정한다. 그러면 도 7에 도시된 level 3에 위치한 '광분'의 감정 형용사를 애니메이션 객체에 매핑하게 된다. 이때, 복수개의 부정적 감정 형용사 중 애니메이션 객체에 매핑할 형용사를 선택하는 방법은 여러 방법을 통해 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
이상에서 설명한 바와 같이, 애니메이션 객체의 얼굴 대표 부위의 움직임 정도를 통해 감정 정보를 추출한 후, 프로세서(320)는 애니메이션 객체의 미리 설정된 전신 대표 부위의 위치 값의 위치 변화량을 토대로 제1 성격 정보를 추출하고, 애니메이션 객체의 얼굴의 얼굴 대표 부위의 변화량을 통해 제1 성격 정보의 하위 정보인 제2 성격 정보를 추출한다. 이에 대해 도 8을 참조로 설명한다.
도 8은 본 발명의 실시예에 따른 성격 정보 수집에 대한 예시도이다.
애니메이션 객체의 성격 정보를 추출하기 위하여, 프로세서(320)는 애니메이션 객체의 동작을 분석하여 제1 성격 정보를 추출한다. 제1 성격 정보는 애니메이션 객체의 전신의 위치 변화량을 통해 추출되는 성격 정보인 것을 예로 하여 설명한다.
프로세서(320)는 입력되는 애니메이션 객체의 동작을 추출함에 있어, 메모리(310)에 미리 저장되어 있는 전신 대표 부위의 위치 정보와 가중치 정보를 이용한다. 본 발명의 실시예에서는 전신 대표 부위로 머리, 손끝, 배꼽, 무릎 및 발끝을 예로 하여 설명하며, 각 전신 대표 부위에 설정된 가중치가 다음 표 3과 같다고 가정한다.
전신 대표 부위 가중치
머리 3
손끝 1
배꼽 5
무릎 3
발끝 2
여기서, 각 전신 대표 부위로 선택된 부위의 위치 변화가 평상시 많은 변화를 보이면 가중치를 낮게 설정하고(예를 들어, 손끝, 발끝), 위치 변화가 적으면 가중치를 높게 설정(예를 들어, 배꼽)하는 것을 예로 한다.
프로세서(320)는 애니메이션 객체의 움직임에 따라 전신 대표 부위의 위치 값의 변화량을 미리 메모리(310)에 저장되어 있는 전신 대표 부위 기준 값과 비교하여 산출한다. 그리고, 전신 대표 부위별 변화량에 표 1에 나타낸 가중치를 적용하여 부위별 활동값을 구한다. 여기서 부위별 활동값은 수학식 1과 같이 구할 수 있다.
Figure 112016078798819-pat00001
프로세서(320)는 부위별 활동값을 합산하여 동작 성격 값을 구한다. 프로세서(320)는 산출한 동작 성격 값이 미리 설정한 임계값 보다 클 경우 애니메이션 객체의 성격을 외향적인 성격으로 설정하고, 임계값 보다 작은 경우 내향적인 성격으로 설정한다. 그리고 설정한 성격을 제1 성격 정보로 지정하여 메모리(330)에저장한다.
제1 성격 정보가 지정되면, 프로세서(320)는 애니메이션 객체의 얼굴을 토대로 제2 성격 정보를 추출한다. 제2 성격 정보를 추출하기 위해, 프로세서(320)는 애니메이션 객체의 얼굴에서 미리 정의되어 있는 성격 정의 부위의 가중치 정보와, 애니메이션 객체의 얼굴에서 추출한 얼굴 대표 부위의 부위별 위치 변화량을 토대로 제2 성격 정보를 산출한다. 제2 성격 정보에 해당하는 표정 성격 값은 다음 수학식 2를 통해 도출한다.
Figure 112016078798819-pat00002
여기서, 부위별 위치 변화값은 다음 수학식 3으로 산출한다.
Figure 112016078798819-pat00003
프로세서(320)는 일정 시간 단위에 따라 얼굴의 부위별 위치 변화량을 합산한 후 가중치를 곱하여 부위별로 위치 변화값을 구하고, 모든 부위별 위치 변화 값을 합산한 것으로부터 표정 성격 값을 산출한다. 표정 성격 값이 높을수록 해당 동작을 수행하는 성격은 감정적인 것으로 산출하고, 표정 성격 값이 낮을수록 애니메이션 객체의 성격이 안정적인 것으로 설정한다.
표정 성격 값에 따라 프로세서(320)는 도 8의 세로축에 n 단계로 캐릭터의 성격을 매핑한다. 여기서, 수학식 3의 가중치는 상기 표 1에 나타낸 바와 같은 정보를 이용하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
다음은, 프로세서(320)가 애니메이션 객체로부터 문형 정보를 추출하는 방법에 대해 도 9a 내지 도 9c를 참조로 설명한다.
도 9a 내지 도 9c는 본 발명의 실시예에 따른 문형 정보 추출 방법에 대한 예시도이다.
도 9a는 문형 정보를 긍정형으로 추출하는 예에 대한 것이고, 도 9b는 질문형으로 추출하는 예에 대한 것이다. 그리고 도 9c는 문형 정보를 부정형으로 추출하는 예에 대한 것이다.
도 9a 내지 도 9c에 도시된 바와 같이, 프로세서(320)는 입력된 애니메이션 객체로부터 문형 정보를 추출한다. 이를 위해, 애니메이션 객체의 얼굴 정면 가운데 방향을 y축으로 하여 기준을 잡는다. 머리 움직임의 방향, 각도에 따라 애니메이션 객체의 문형 정보는 긍정형, 부정형, 질문형 또는 서술형 중 어느 하나로 추출한다.
애니메이션 객체의 머리가 도 9a에 나타낸 바와 같이 y축 방향으로만 + 변화가 있는 경우, 프로세서(320)는 애니메이션 객체의 문형 정보를 "긍정형"으로 추출한다. 만약 애니메이션 객체의 머리의 움직임이 도 9b에 나타낸 바와 같이 x 방향과 z 방향으로 + 변화 및 - 변화가 있는 경우, 프로세서(320)는 애니메이션 객체의 문형 정보를 "질문형"으로 추출한다.
그리고, 애니메이션 객체의 머리가 도 9c에 나타낸 바와 같이 z축 방향으로 회전하는 경우, 프로세서(320)는 애니메이션 객체의 문형 정보를 "부정형"으로 추출한다. 마지막으로, 상기에서 언급한 긍정형, 부정형 또는 질문형에 의한 머리 움직임 이외의 움직임을 보이는 경우에는, 프로세서(320)는 애니메이션 객체의 문형 정보를 "서술형"으로 추출한다
이와 같이 캐릭터 각각에 대한 제1 감정, 제2 감정, 제1 성격, 제2 성격 및 문형에 대한 정보들이 모두 추출되면, 제2 메모리(330)에 다음 표 4와 같이 추출된 정보들이 애니메이션 태그 정보로써 애니메이션 객체와 함께 저장된다.
제1 감정 제2 감정 제1 성격 제2 성격 문형
Ani 1 긍정적 즐거운 외향적 반응적인 서술형
Ani 2 부정적 피곤한 외향적 낙관적인 서술형
Ani 3 긍정적 느긋한 내향적 조용한 긍정형
Ani 4 부정적 화난 외향적 변덕스러운 부정형
… … … … … …
여기서, 사용자에게 제공할 캐릭터의 동작을 매핑하기 위한 문형 태그 값의 예는 다음 표 5에 나타낸 바와 같다.
분류 문형 태그 값
요청 Request
wh-의문 How_question
What_question
When_question
Where_question
Who_question
Which_question
Why_question
yn-의문 Yn_question
명사 나열 Assert
수긍 Agree
거절, 부정, 취소 Reject
서술 Describe
감탄 Admire
기타 Other
다음은 애니메이션 객체가 입력된 경우, 애니메이션 객체로부터 애니메이션 태그 정보를 추출하여 메모리(310)에 저장한 예에 대해 도 10을 참조로 설명한다.
도 10은 본 발명의 실시예에 따른 애니메이션 객체 저장의 예시도이다.
도 10에 도시된 바와 같이, 애니메이션 객체가 도 10의 (a) 또는 (b)와 같이 입력되었다고 가정한다.
도 10의 (a)에 나타낸 애니메이션 객체의 감정은 "굳어짐"과 "기본"으로 추출되었고, 성격은 "내성적", "일관성 있는"으로, 문형은 "부정형"으로 추출되었다고 가정한다. 도 10의 (a)와 (b)는 하나의 실시예에 해당하는 것으로, 각 애니메이션 객체의 감정이나 성격, 문형이 반드시 이와 같이 한정되는 것은 아니다.
그러면, (a)에 도시한 바와 같이, 애니메이션 객체와 함께 애니메이션 태그 정보가 1:1 매핑되어 메모리(310)에 저장된다.
이와 마찬가지로 도 10의 (b)에 나타낸 애니메이션 객체의 감정이 "폭소"와 "최상"으로 추출되었고, 성격은 "외향적", "반응적인"으로, 문형은 "서술형"으로 추출되었다고 가정한다.
그러면, (b)에 도시한 바와 같이, 애니메이션 객체와 함께 애니메이션 태그 정보가 1:1 매핑되어 메모리(310)에 저장된다.
다음은 애니메이션 객체로부터 추출한 애니메이션 태그 정보를 토대로 사용자에게 캐릭터를 제공하는 적용 시나리오의 예에 대해 도 11을 참조로 설명한다.
도 11은 본 발명의 실시예에 따른 적용 시나리오의 예시도이다.
도 11에 도시된 바와 같이, 임의의 콘텐츠 제공 서비스를 종료할 때, 캐릭터의 성우 음성과 함께 서비스 종료를 알리는 문구와 캐릭터 애니메이션을 자동으로 매핑하여 제공한다.
예를 들어, 애니메이션 콘텐츠의 시청 시간이 짧은 상태에서 사용자가 서비스를 종료할 경우, '잘가~ 내일 봐'라는 문구를 아쉬워하는 캐릭터의 표정과 함께 제공할 수도 있다. 또는, 시청 시간이 긴 상태에서 서비스가 종료되면, 캐릭터 제공 시스템은 '내일은 더 재미있게 놀자'라는 문구를 즐거워하는 캐릭터의 표정과 함께 제공할 수 있다.
여기서, 캐릭터는 사용자별로 미리 지정되어 있으며, 사용자가 콘텐츠를 사용할수록 모인 정보를 토대로, 캐릭터의 동작이나 표정을 좀 더 상세하게 매핑하여 사용자에게 제공할 수 있다. 즉, 캐릭터가 사용자와 대화 시 주고 받는 감정 태그의 패턴 분석을 통해, 적절한 감정 표현이 가능하게 하며, 사용자가 주로 선택하거나 긴 시간 대화하는 캐릭터의 성격을 고려하여 사용자의 선호도에서 벗어나는 캐릭터의 동작이 제공되는 것을 피할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (16)

  1. 캐릭터 제공 시스템에 있어서,
    분석 대상인 애니메이션 객체의 얼굴 대표 부위 또는 동작의 움직임 정도에 따라 상기 분석 대상의 감정 정보를 대응시킨 감정 판단 기준, 그리고 상기 분석 대상의 얼굴 대표 부위 또는 동작의 움직임 정도에 따라 상기 분석 대상의 성격 정보를 대응시킨 성격 판단 기준을 저장하는 메모리; 및
    애니메이션 객체를 입력 받고, 상기 감정 판단 기준과 상기 성격 판단 기준을 토대로 상기 애니메이션 객체의 복수의 얼굴 대표 부위 또는 상기 애니메이션 객체의 동작의 움직임에 해당하는 감정 정보와 성격 정보를 추출하며, 상기 감정 정보와 상기 성격 정보를 포함하는 애니메이션 태그를 상기 애니메이션 객체에 매핑하는 프로세서
    를 포함하며,
    상기 감정 정보는, 상기 애니메이션 객체의 얼굴 대표 부위 각각의 위치와 기준 표정에 대한 얼굴 대표 부위의 움직임 정보를 토대로 추출한 상기 애니메이션 객체의 제1 감정 정보와 상기 애니메이션 객체가 표정을 지속한 지속 시간을 기초로 산출한 제2 감정 정보를 포함하고,
    상기 프로세서는,
    상기 제2 감정 정보를 기초로 복수의 레벨로 계층화되어 있는 감정 형용사들 중 상기 제2 감정 정보에 대응하는 레벨에서 상기 애니메이션 객체에 매핑할 감정 형용사를 선택하여 상기 애니메이션 객체의 감정 정보로 사용하는 캐릭터 제공 시스템.
  2. 제1항에 있어서,
    상기 감정 판단 기준은 상기 복수의 얼굴 대표 부위의 위치 정보, 각각의 얼굴 대표 부위의 가중치 정보, 얼굴 대표 부위의 움직임 정도에 따라 계산된 감정 값에 대응되는 감정 정보를 포함하는 캐릭터 제공 시스템.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 복수의 얼굴 대표 부위 각각에 대한 위치를 상기 감정 판단 기준의 위치 정보와 비교하여 산출한 복수의 값을 합산하여 감정 값을 계산하고, 상기 계산한 감정 값에 대응하여 미리 설정되어 있는 감정 정보를 상기 애니메이션 객체에 대한 상기 제1 감정 정보로 추출하여 상기 애니메이션 태그로 생성하는 캐릭터 제공 시스템.
  4. 제1항에 있어서,
    상기 감정 판단 기준은 미리 정의되어 있는 복수의 상기 기준 표정과 상기 복수의 표정 정보 각각에 대한 얼굴 대표 부위의 움직임 정보를 포함하며,
    상기 프로세서는,
    상기 감정 판단 기준을 토대로 상기 애니메이션 객체의 표정과 유사한 기준 표정을 확인하고, 상기 제1 감정 정보를 추출하여 상기 애니메이션 태그로 생성하는 캐릭터 제공 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 성격 판단 기준은 복수의 전신 대표 부위의 위치 정보와 각각의 가중치정보를 포함하며,
    상기 프로세서는,
    상기 애니메이션 객체의 전신 대표 부위 각각의 위치를 확인하고, 상기 성격 판단 기준의 위치 정보를 토대로 상기 애니메이션 객체에 대한 제1 성격 정보를 추출하여 상기 애니메이션 태그로 생성하는 캐릭터 제공 시스템.
  7. 제6항에 있어서,
    상기 성격 정보는 제2 성격 정보를 더 포함하고,
    상기 애니메이션 객체의 얼굴 대표 부위의 위치 변화 값으로부터 제2 성격 정보를 추출하여 상기 애니메이션 태그로 생성하는 캐릭터 제공 시스템.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 애니메이션 객체의 머리 움직임을 토대로 문형 정보를 추출하고, 추출한 문형 정보를 애니메이션 태그 정보로 생성하는 캐릭터 제공 시스템.
  9. 캐릭터 제공 시스템이 캐릭터를 생성하기 위하여 정보를 수집하는 방법에 있어서,
    저장되어 있는 감정 판단 기준과 입력되는 애니메이션 객체의 복수의 얼굴 대표 부위의 움직임 정도를 토대로 상기 애니메이션 객체의 감정 정보를 추출하는 단계;
    저장되어 있는 성격 판단 기준과, 상기 애니메이션 객체의 얼굴 대표 부위 또는 동작의 움직임 정도를 토대로, 상기 애니메이션 객체의 성격 정보를 추출하는 단계; 및
    상기 추출한 감정 정보 및 성격 정보를 상기 애니메이션 객체에 매핑하여 애니메이션 태그 정보로 저장하는 단계
    를 포함하며,
    상기 감정 정보를 추출하는 단계는,
    입력되는 애니메이션 객체의 얼굴 대표 부위의 위치를 확인하고, 상기 감정 판단 기준의 위치 정보와 비교하여 제1 감정 정보를 산출하는 단계, 그리고
    상기 애니메이션 객체가 표정을 지속한 지속 시간을 토대로 제2 감정 정보를 산출하는 단계
    를 포함하고,
    상기 제2 감정 정보를 기초로 복수의 레벨로 계층화되어 있는 감정 형용사들 중 상기 제2 감정 정보에 대응하는 레벨에서 상기 애니메이션 객체에 매핑할 감정 형용사를 선택하여 상기 애니메이션 객체의 감정 정보로 사용하는 정보 수집 방법.
  10. 제9항에 있어서,
    상기 감정 정보를 추출하는 단계는,
    상기 감정 판단 기준은 상기 복수의 얼굴 대표 부위의 위치 정보, 각각의 얼굴 대표 부위의 가중치 정보, 얼굴 대표 부위의 움직임 정도에 따라 계산된 감정 값에 대응되는 감정 정보를 포함하는 정보 수집 방법.
  11. 삭제
  12. 제9항에 있어서,
    상기 감정 정보를 추출하는 단계는,
    상기 감정 판단 기준은 미리 정의되어 있는 복수의 기준 표정과 상기 복수의 표정 정보 각각에 대한 얼굴 대표 부위의 움직임 정보를 포함하고,
    애니메이션 객체의 표정과 유사한 기준 표정을 확인하는 단계; 및
    상기 애니메이션 객체의 얼굴 대표 부위 각각의 위치와 상기 기준 표정에 대한 얼굴 대표 부위의 움직임 정보를 토대로 상기 애니메이션 객체에 대한 제1 감정 정보를 추출하는 단계
    를 포함하는 정보 수집 방법.
  13. 제9항에 있어서,
    상기 성격 정보를 추출하는 단계는,
    상기 성격 판단 기준은 복수의 전신 대표 부위의 위치 정보와 각각의 가중치정보를 포함하며,
    상기 애니메이션 객체로부터 추출한 전신 대표 부위의 위치 정보와 미리 저장되어 있는 기준 동작 위치 그리고 각각의 가중치 정보를 토대로 제1 성격 정보를 산출하는 단계
    를 포함하는 정보 수집 방법.
  14. 제13항에 있어서,
    상기 애니메이션 객체의 얼굴 대표 부위의 부위별 위치 변화 값을 토대로 제2 성격 정보를 산출하는 단계
    를 포함하는 정보 수집 방법.
  15. 제14항에 있어서,
    상기 제2 성격 정보를 생성하는 단계는,
    상기 얼굴 대표 부위 각각의 부위별 위치 변화량에 미리 설정된 가중치를 곱해 복수의 부위별 위치 변화값을 계산하고, 복수의 부위별 위치 변화값을 더한 값으로부터 상기 제2 성격 정보를 추출하는 정보 수집 방법.
  16. 제9항에 있어서,
    상기 애니메이션 객체의 머리의 이동 방향에 따라 긍정형, 부정형, 질문형 또는 서술형 중 어느 하나인 문형 정보를 추출하는 단계
    를 더 포함하는 정보 수집 방법.
KR1020160103272A 2016-08-12 2016-08-12 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법 KR102616172B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160103272A KR102616172B1 (ko) 2016-08-12 2016-08-12 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법
US15/676,974 US10726836B2 (en) 2016-08-12 2017-08-14 Providing audio and video feedback with character based on voice command

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160103272A KR102616172B1 (ko) 2016-08-12 2016-08-12 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법

Publications (2)

Publication Number Publication Date
KR20180018198A KR20180018198A (ko) 2018-02-21
KR102616172B1 true KR102616172B1 (ko) 2023-12-19

Family

ID=61525029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160103272A KR102616172B1 (ko) 2016-08-12 2016-08-12 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법

Country Status (1)

Country Link
KR (1) KR102616172B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298906B (zh) * 2019-06-28 2023-08-11 北京百度网讯科技有限公司 用于生成信息的方法和装置
KR102565321B1 (ko) * 2021-01-26 2023-08-09 주식회사 플랫팜 캐릭터 감정 인식 및 태깅 장치, 캐릭터 감정 인식 및 태깅 방법 및 캐릭터 감정 인식 및 태깅 장치를 포함하는 캐릭터 감정 인식 및 태깅 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101006191B1 (ko) * 2002-08-06 2011-01-07 윤재민 가상인격체의 감정표현과 동작구현방법
KR101211152B1 (ko) * 2010-12-02 2012-12-11 경희대학교 산학협력단 가상 현실 게임을 위한 행위분석 기반 스크립트 생성 장치 및 방법
KR20130022434A (ko) * 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
KR101339684B1 (ko) * 2012-04-06 2013-12-10 주식회사 럭샐 사용자 감성 전달을 위한 가상 캐릭터 생성 방법 및 장치

Also Published As

Publication number Publication date
KR20180018198A (ko) 2018-02-21

Similar Documents

Publication Publication Date Title
Caridakis et al. Modeling naturalistic affective states via facial and vocal expressions recognition
Gharavian et al. Audio-visual emotion recognition using FCBF feature selection method and particle swarm optimization for fuzzy ARTMAP neural networks
CN110147729A (zh) 用户情绪识别方法、装置、计算机设备及存储介质
Paleari et al. Features for multimodal emotion recognition: An extensive study
Deshmukh et al. Facial emotion recognition system through machine learning approach
CN112052746A (zh) 目标检测方法、装置、电子设备和可读存储介质
KR102616172B1 (ko) 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법
CN110705467A (zh) 一种人脸表情识别方法、系统、装置和存储介质
Basori Emotion walking for humanoid avatars using brain signals
JP7370531B2 (ja) 応答装置および応答方法
Pablos et al. Dynamic facial emotion recognition oriented to HCI applications
Rodrigues et al. Classification of facial expressions under partial occlusion for VR games
Kennington et al. A discriminative model for perceptually-grounded incremental reference resolution
Joshi An automated framework for depression analysis
US20200090394A1 (en) Avatar facial expression generating system and method of avatar facial expression generation for facial model
Lee et al. Robust emotion recognition algorithm for ambiguous facial expression using optimized AAM and k-NN
CN115100560A (zh) 用户不良状态的监测方法、装置、设备及计算机存储介质
CN114399827A (zh) 基于面部微表情的高校毕业生职业性格测试方法及系统
CN107992825A (zh) 一种基于增强现实的人脸识别的方法及系统
CN109697413B (zh) 基于头部姿态的人格分析方法、系统和存储介质
Deshmukh et al. A comprehensive survey on techniques for facial emotion recognition
CN112579815A (zh) 一种表情数据库的实时训练方法以及表情数据库的反馈机制
KR20210052866A (ko) 이미지 분석 기반 매칭 서비스 제공 방법 및 장치
Gunes et al. 16 automatic analysis of social emotions
KR102608964B1 (ko) 적어도 하나의 이벤트 키워드를 참조로 하여 사용자에게훈련 컨텐츠를 제공하기 위한 방법 및 컴퓨팅 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant