KR102381687B1 - 감정 증강형 아바타 애니메이션 - Google Patents

감정 증강형 아바타 애니메이션 Download PDF

Info

Publication number
KR102381687B1
KR102381687B1 KR1020187005785A KR20187005785A KR102381687B1 KR 102381687 B1 KR102381687 B1 KR 102381687B1 KR 1020187005785 A KR1020187005785 A KR 1020187005785A KR 20187005785 A KR20187005785 A KR 20187005785A KR 102381687 B1 KR102381687 B1 KR 102381687B1
Authority
KR
South Korea
Prior art keywords
animation
user
avatar
emotional state
state
Prior art date
Application number
KR1020187005785A
Other languages
English (en)
Other versions
KR20180034604A (ko
Inventor
샤오후이 지아오
샤올루 센
리단 장
퀴앙 리
웬롱 리
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20180034604A publication Critical patent/KR20180034604A/ko
Application granted granted Critical
Publication of KR102381687B1 publication Critical patent/KR102381687B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Abstract

본 명세서에는 감정 증강형 아바타 애니메이션과 관련된 장치, 방법 및 저장 매체가 개시된다. 실시예에서, 장치는 사용자의 얼굴 데이터를 수신하고, 얼굴 데이터를 분석하여 사용자의 감정 상태를 결정하며, 사용자의 감정 상태의 결정의 결과에 적어도 부분적으로 기초하여 아바타의 애니메이션을 보충하는 추가의 애니메이션을 구동하는 애니메이션 증강 엔진을 포함할 수 있다. 다른 실시예들이 기술 및/또는 청구될 수 있다.

Description

감정 증강형 아바타 애니메이션
본 개시는 데이터 프로세싱의 분야에 관한 것이다. 특히, 본 개시는 아바타의 생성 및 애니메이션에 관한 것이다.
본 명세서에 제공되는 배경 설명은 일반적으로 본 개시의 맥락을 제공하려는 것이다. 본 명세서에서 달리 표시되지 않는 이상, 이 배경기술에서 기술되는 자료들은 본 출원의 청구항들에 대한 종래 기술은 아니며 이 배경기술에 포함되는 것에 의해 종래 기술로 인정되는 것이 아니다.
사용자의 그래픽 표현으로서 아바타는 가상 세계에서는 아주 인기가 있었다. 그러나, 대부분의 기존 아바타 시스템은 정적인 것이고, 그 중 일부는 텍스트, 스크립트 또는 음성으로 구동된다. 일부 다른 아바타 시스템은 그래픽 인터체인지 포맷(graphics interchange format:GIF) 애니메이션을 사용하며, 이 애니메이션은 순차적으로 플레이되는 사전정의된 정적 아바타 이미지의 세트이다. 최근 수년 동안, 컴퓨터 비전, 카메라, 이미지 프로세싱 등이 진보함에 따라서, 일부 아바타는 얼굴 표정에 의해 구동될 수도 있다. 그러나, 기존 아바타 시스템은 계산 집약적인 경향이 있어서, 고성능의 범용 및 그래픽 프로세서를 필요로 하며, 그리고 일반적으로는 모바일 디바이스, 가령 스마트폰 또는 컴퓨팅 태블릿 상에서는 잘 작동되지 않는다. 또한, 사용자는 전자 통신 또는 소셜 네트워크에서 자신의 감정을 표현할 수 있지만, 기존의 아바타 시스템은 그러한 기능을 제공하지 못한다.
아바타의 생성 및 애니메이션을 위한 실시예는 첨부되는 도면과 연계된 아래의 상세한 설명에 의해 쉽게 이해될 것이다. 이러한 설명을 가능하게 하기 위해, 동일한 참조 부호는 동일한 구조 요소를 나타낸다. 첨부되는 도면의 내용에서 실시예는 제한요소로서 도시되는 것이 아니라 예로서 도시된다.
도 1은 다양한 실시예에 따른 감정 증강형 애니메이션을 가진 아바타 시스템의 블럭도를 도시하고 있다.
도 2는 다양한 실시예에 따른 감정 증강형 아바타 애니메이션의 예를 도시하고 있다.
도 3은 다양한 실시예에 따른 감정 상태를 결정하는 데 적합한 랜드마크(landmark)를 가진 얼굴 메시(facial mesh)의 예를 도시하고 있다.
도 4는 다양한 실시예에 따른 도 1의 얼굴 표정 트랙킹 기능부를 보다 상세하게 도시하고 있다.
도 5는 다양한 실시예에 따른 도 1의 애니메이션 증강 엔진의 동작 흐름의 측면을 도시하고 있다.
도 6은 다양한 실시예에 따른 도 1의 애니메이션 증강 엔진의 동작 흐름의 추가적인 측면을 도시하고 있다.
도 7은 다양한 실시예에 따른 감정 증강형 아바타 애니메이션에 대한 일 예의 프로세스의 측면을 도시하고 있다.
도 8은 다양한 실시예에 따른 일 예의 입자 궤적(particle trajectory)을 도시하고 있다.
도 9는 개시된 실시예에 따른 본 개시의 다양한 측면을 실시하는 데 사용하기에 적합한 일 예의 컴퓨터 시스템을 도시하고 있다.
도 10은 개시된 실시예에 따라 도 1 내지 도 8을 참조하여 기술된 방법을 실시하기 위한 명령어를 가진 저장 매체를 도시하고 있다.
감정 증강형 아바타 애니메이션과 관련된 장치, 방법 및 저장 매체가 본 명세서에 개시된다. 실시예에서 장치는, 사용자의 얼굴 데이터를 수신하고, 얼굴 데이터를 분석하여 사용자의 감정 상태를 결정하며, 사용자의 감정 상태의 결정 결과에 적어도 부분적으로 기초하여 아바타의 애니메이션을 보충하는 추가의 애니메이션을 구동하는 애니메이션 증강 엔진을 포함할 수 있다.
실시예에서, 이 장치는, 사용자의 하나 이상의 이미지 프레임을 수신하고, 하나 이상의 이미지 프레임을 분석하여 사용자의 얼굴 표정을 검출 및 트랙킹하고, 하나 이상의 이미지 프레임의 분석 결과에 적어도 부분적으로 기초하여 얼굴 데이터를 애니메이션 증강 엔진에 제공하는 얼굴 표정 트랙커(facial expression tracker)를 더 포함할 수 있다.
실시예에서, 이 장치는 아바타 애니메이션 엔진을 더 포함할 수 있는데, 얼굴 표정 트랙커는 아바타 애니메이션 엔진을 구동하여 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 아바타를 애니메이팅(animate)하며, 추가의 애니메이션을 구동하기 위해 애니메이션 증강 엔진은 아바타 애니메이션 엔진을 구동하여 검출 및 트랙킹된 사용자의 얼굴 표정에 기초한 아바타의 애니메이션을 추가의 애니메이션으로 보충한다.
후술되는 상세한 설명에서는, 본 명세서의 일부를 형성하는 첨부 도면이 참조되는데, 이 참조 도면 내의 동일한 참조 번호는 본 명세서 전체에서 동일한 부분을 나타내며, 이 참조 도면에서는 실시될 수 있는 실시예가 예로서 도시되고 있다. 본 개시의 범주를 벗어남이 없이 다른 실시예들이 이용될 수 있고 구조적 또는 논리적 변경이 행해질 수 있다는 것을 이해해야 한다. 따라서, 후술되는 상세한 설명은 제한의 의미를 갖는 것이 아니고 실시예의 범주는 첨부된 청구범위 및 그 균등물에 의해 정의된다.
본 개시의 측면들은 첨부된 설명에서 개시된다. 본 개시의 대안의 실시예 및 그 균등물은 본 개시의 사상 또는 범주를 벗어남이 없이 고안될 수 있다. 주목해야 할 것은 아래에 개시되는 동일한 구성요소는 도면의 동한 참조 부호로 표시된다는 것이다.
다양한 동작들은 청구된 요지를 이해하는 데 가장 도움이 되는 방식으로 다수의 별개의 행위들 또는 동작들로서 차례로 기술될 수 있다. 그러나, 기술의 순서는 이러한 동작들이 반드시 순서에 의존적이라는 것을 의미하는 것으로 해석되지 않아야 한다. 특히, 이러한 동작들은 제시된 순서로 수행되지 않을 수 있다. 기술된 동작들은 기술된 실시예와는 상이한 순서로 수행될 수 있다. 추가적인 다양한 동작들이 수행될 수 있고/있거나 기술된 동작들이 추가의 실시예에서 생략될 수도 있다.
본 개시에 있어서, 문구 "A 및/또는 B"는 (A), (B), 또는 (A 및 B)를 의미한다. 본 개시에 있어서, 문구 "A, B, 및/또는 C"는 (A), (B), (C), (A 및 B), (A 및 C), (B 및 C), 또는 (A, B 및 C)를 의미한다.
본 상세한 설명은 "실시예" 또는 "실시예들"이라는 문구를 사용할 수 있으며, 각각의 문구는 동일하거나 상이한 실시예들 중의 하나 이상을 가리킬 수 있다. 또한, 본 개시의 실시예들과 관련하여 사용되는 용어 "포함", "구비", "갖는" 등은 동의어이다.
본 명세서에 사용되는 용어 "모듈"은 주문형 집적 회로(ASIC), 전자 회로, 하나 이상의 소프트웨어 또는 펌웨어 프로그램을 실행하는 프로세서(공유형, 전용형, 또는 그룹형) 및/또는 메모리(공유형, 전용형, 또는 그룹형), 조합형 로직 회로, 및/또는 기술된 기능을 제공하는 다른 적합한 컴포넌트를 지칭할 수 있거나, 이들의 일부일 수 있거나, 또는 이들을 포함할 수 있다.
이제, 도 1을 참조하면, 개시된 실시예에 따른 감정 증강형 아바타 애니메이션을 가진 아바타 시스템이 도시된다. 도시된 바와 같이, 실시예들에서 아바타 시스템(100)은 얼굴 표정 및 헤드 자세 트랙커(102), 애니메이션 증강 엔진(103), 아바타 애니메이션 엔진(104), 및 아바타 렌더링 엔진(106)을 포함할 수 있으며, 이들은 서로 결합되어 있으며, 사용자의 감정 상태에 기초하여 애니메이션을 증강시키는 것을 포함하여, 사용자의 얼굴 표정 및/또는 헤드 자세에 적어도 부분적으로 기초하여 아바타를 애니메이팅하도록 구성된다.
실시예들에서, 얼굴 표정 및 헤드 자세 트랙커(102)는 카메라와 같은 이미지 캡처 디바이스(114)로부터 사용자의 하나 이상의 이미지 프레임들(118)을 수신하도록 구성될 수 있다. 얼굴 표정 및 헤드 자세 트랙커(102)는 사용자의 헤드 자세를 포함하여, 사용자의 얼굴 표정에 대한 이미지 프레임들(118)을 분석할 수 있다. 또한, 얼굴 표정 및 헤드 자세 트랙커(102)는 사용자의 결정된 얼굴 표정 및/또는 헤드 자세에 기초하여, 애니메이션 증강 엔진(103)용의 얼굴 표정 데이터(119)와, 아바타의 기본 애니메이션을 구동하기 위한 복수의 기본 애니메이션 메시지를 출력하도록 구성될 수 있다.
실시예들에서, 애니메이션 증강 엔진(103)은 얼굴 표정 데이터(119)를 수신하고, 얼굴 표정 데이터(119)를 분석하여 사용자의 감정 상태를 결정하도록 구성될 수 있다. 또한, 애니메이션 증강 엔진(103)은 사용자의 결정된 감정 상태에 기초하여, 복수의 보충 애니메이션 메시지를 증강된 아바타의 애니메이션에 출력하도록 구성될 수 있다. 실시예들에서, 결정된 감정 상태는 서브 상태 및/또는 감정 상태/서브 상태의 강도를 포함할 수 있다.
이제 도 2를 참조하면, 다양한 실시예에 따른 감정 증강형 아바타 애니메이션의 많은 예가 도시된다. 스냅 샷(142)은 사용자가 가령 슬픈 상태에 있다고 결정되는 경우 아바타 애니메이션이 눈물 방울(tear drops)에 의해 증강될 수 있는 방법을 예시하고 있다. 스냅 샷(144)은 사용자가 가령 놀란 상태에 있다고 결정되는 경우 아바타 애니메이션이 느낌표 마크에 의해 증강될 수 있는 방법을 예시하고 있다. 스냅 샷(146)은 사용자가 가령, 로맨틱하게 행복한 상태(하나 이상의 행복한 얼굴이 렌더링될 수 있는 포괄적으로 행복한 상태와는 대조적임)에 있다고 결정되는 경우 아바타 애니메이션이 복수의 하트에 의해 증강될 수 있는 방법을 예시하고 있다. 실시예들에서, 증강의 양, 가령, 스냅 샷(142)에서의 눈물 방울의 볼륨 및/또는 속도, 스냅 샷(144)에서의 느낌표 마크의 개수, 및 스냅 샷(146)에서의 하트의 개수 및/또는 움직임 속도(movement velocity)는 감정 상태/서브 상태의 결정된 강도에 따라 변화할 수 있다.
이제, 도 3을 참조하면, 다양한 실시예에 따른 감정 상태를 결정하는 데 적합한 랜드마크를 가진 예시적인 얼굴 메시(facial mesh)가 예시된다. 얼굴 메시(152)는 중립적인 비감정 상태를 예시하는 반면, 얼굴 메시(154)는 입맞춤을 하기 위해 입이 돌출된 행복한 로맨틱 상태를 예시하고 있다. 실시예들에서, 각각의 얼굴 메시(152/154)는 복수의 사전정의된 랜드마크들, 예시된 실시예의 경우 65개의 랜드마크들을 포함할 수 있다. 또한, 각각의 얼굴 메시(152/154)에 의해 도시되는 얼굴 표정은 복수의, 가령 18개의 혼합 형상(이후 보다 상세히 기술됨)으로 형성될 수 있다. 얼굴 표정 데이터(119)는 랜드마크를 기술하는 데이터를 포함하여 얼굴 메시를 기술하는 데이터를 포함할 수 있다. 얼굴 메시(152/154)는 랜드마크를 기술하는 데이터와 더불어 가령, 얼굴 표정 및 헤드 자세 트랙커(102)에 의해 이미지 프레임들(118)로부터 도출될 수 있다.
다시 도 1을 참조하게 되면, 실시예에서의 아바타 시스템(100)은 동작의 효율을 위해 복수의 사전정의된 혼합 형상을 가진 아바타를 애니메이팅하여 아바타 시스템(100)이 광범위한 모바일 디바이스에 특히 적합하게 할 수 있도록 구성될 수 있다. 중립적 표정, 및 몇몇의 전형적인 표정들, 가령 입을 벌린 표정, 입가에 미소를 띈 표정, 브로우 업(brow-up) 표정, 브로우 다운(brow-down) 표정, 눈을 깜박이는(blink) 표정 등을 가진 모델이 먼저 우선적으로 사전 구성될 수 있다. 다양한 얼굴 표정 및 헤드 자세 트랙커(102) 기능 및 타겟 모바일 디바이스 요건을 위해 혼합 형상들이 결정될 수 있거나 선택될 수 있다. 동작시에, 얼굴 표정 및 헤드 자세 트랙커(102)는 결정된 얼굴 표정 및/또는 헤드 자세에 기초하여 다양한 혼합 형상을 선택하고 혼합 형상 가중치를 할당할 수 있다. 선택된 혼합 형상 및 그 할당된 가중치는 기본 애니메이션 메시지(120)의 일부로서 출력될 수 있다.
혼합 형상 선택 및 혼합 형상 가중치(αi)의 수신시, 아바타 애니메이션 엔진(104)은 아래의 수식(식 1)을 사용하여 표현된 얼굴의 결과를 생성할 수 있다.
Figure 112018078381325-pct00013
여기서, B*는 얼굴 표정의 타겟이며, B0은 중립 표정의 기본 모델(base model)이며, ΔBi는 특정 표정에 대한 기본 모델에 기초한 정점 위치 오프셋을 저장한 i번째의 혼합 형상이다.
특히, 실시예에서 얼굴 표정 및 헤드 자세 트랙커(102)는 얼굴 표정 트랙킹 기능부(122) 및 기본 애니메이션 메시지 생성 기능부(124)를 갖도록 구성될 수 있다. 실시예에서 얼굴 표정 트랙킹 기능부(122)는 복수의 이미지 프레임들 내에서 사용자 얼굴의 얼굴 동작 움직임 및/또는 사용자의 헤드의 헤드 자세 제스처를 검출하고, 결정된 얼굴 표정 및/또는 헤드 자세를 묘사하는 복수의 얼굴 파라미터를 실시간으로 출력하도록 구성될 수 있다. 예를 들어, 복수의 얼굴 모션 파라미터는 검출된 얼굴 동작 움직임, 가령, 눈 및/또는 입 움직임을 묘사할 수 있고/있거나 헤드 자세 제스처 파라미터는 검출된 헤드 자세 제스처, 가령 헤드 회전, 헤드 움직임, 및/또는 카메라에 더 다가오거나 카메라로부터 더 멀어지는 헤드의 제스처를 묘사할 수 있다. 또한, 실시예들에서, 얼굴 표정 트랙킹 기능부(122)는 가령, 얼굴 메시의 컨텍스트(context) 내에, 다양한 얼굴 랜드마크와 관련된 데이터와 같은 얼굴 데이터(119)를 출력하도록 구성될 수 있다.
실시예들에서, 얼굴 동작 움직임 및 헤드 자세 제스처는 가령, 얼굴의 입 및 눈과 헤드에 대한 프레임간 차이를 통해, 이미지 프레임들의 픽셀 샘플링에 기초하여 검출될 수 있다. 다양한 기능 블럭들은, 피치(pitch), 요(yaw) 및/또는 롤(roll)을 포함한 사용자 헤드의 회전 각도들, 및 수평 및 수직 방향에 따른 사용자 헤드의 이동 거리(translation distance)와 카메라에 인접해지거나 카메라로부터 멀어지는 사용자 헤드의 이동 거리를 산출하여 궁극적으로 헤드 자세 제스처 파라미터의 일부로서 출력하도록 구성될 수 있다. 이러한 산출은 가령, 동적 템플릿 매칭(dynamic template matching), 재등록(re-registration) 등을 적용하는 복수의 이미지 프레임들의 서브 샘플링된 픽셀의 서브세트에 기반할 수 있다. 이러한 기능 블럭들은 충분히 정확하지만 필요한 프로세싱 파워 내에서 스케일러블하여, 아바타 시스템(100)이 가령, 스마트폰 및/또는 컴퓨팅 태블릿과 같은 광범위한 모바일 컴퓨팅 디바이스에 의해 호스팅되는 데 특히 적합하게 할 수 있다.
일 예의 얼굴 표정 트랙킹 기능부(122)는 도 4를 참조하면서 나중에 추가적으로 기술될 것이다.
실시예들에서, 기본 애니메이션 메시지 생성 기능부(124)는 사용자의 얼굴 표정 및 헤드 자세를 묘사하는 얼굴 표정 및 헤드 자세 파라미터에 기초하여, 아바타의 애니메이션을 구동하는 기본 애니메이션 메시지(120)를 선택적으로 출력하도록 구성될 수 있다. 실시예들에서, 기본 애니메이션 메시지 생성 기능부(124)는 얼굴 동작 유닛들을 아바타의 애니메이션을 위한 혼합 형상들 및 그 할당된 가중치로 변환하도록 구성될 수 있다. 얼굴 트랙킹은 아바타 렌더링 측에서와는 다른 메시 지오메트리 및 애니메이션 구조를 사용할 수 있기 때문에, 기본 애니메이션 메시지 생성 기능부(124)는 애니메이션 계수 변환 및 얼굴 모델 재목표화(retargeting)를 수행하도록 구성될 수도 있다. 실시예들에서, 기본 애니메이션 메시지 생성 기능부(124)는 혼합 형상들 및 그 가중치를 기본 애니메이션 메시지(120)의 일부로서 출력할 수 있다. 기본 애니메이션 메시지(120)는 가령, "아래 입술 낮추기"(lower lip down; LLIPD), "양 입술 넓히기"(both lips widen; BLIPW), "양 입술 높이기"(both lips up; BLIPU), "코 주름만들기"(nose wrinkle; NOSEW), "눈썹 낮추기"(eyebrow down; BROWD) 등과 같은 애니메이션들의 수를 특정할 수 있다.
다시 도 1을 참조하면, 실시예에서 애니메이션 증강 엔진(103)은 복수의 감정 분류기(126) 및 보충 애니메이션 메시지 생성 기능부(128)를 포함하도록 구성될 수 있다. 실시예들에서, 감정 분류기(126)는 사전 트레이닝되어, 얼굴 표정 데이터(119)를 분석하고, 그 분석된 결과에 기초하여 사용자의 감정 상태를 결정 및 분류할 수 있다. 실시예들에서, 감정 분류기(126)는 복수의 특징적인 분류 기술 중 임의의 하나, 가령 서포트 벡터 머신(support vector machine)을 이용하도록 구성될 수 있다.
실시예들에서, 애니메이션 증강 엔진(103)은 적어도 6개의 사전 트레이닝된 감정 분류기(126), 즉, 성난 상태 분류기, 혐오 상태 분류기, 두려운 상태 분류기, 행복한 상태 분류기, 슬픈 상태 분류기, 놀란 상태 분류기와 함께 구성될 수 있다. 실시예들에서, 각각의 분류기는 얼굴 메시 내의 얼굴 랜드마크와 관련된 얼굴 데이터에 기초하여 감정 상태를 분석, 결정 및 분류하도록 구성될 수 있다. 가령, 분류기들은 눈썹의 위치 및 형상(가령, 눈썹이 올라가 있는지의 여부), 입의 위치 및 형상(가령, 입이 개방되어 있는지의 여부와, 입이 얼마나 큰지 또는 입맞춤하도록 돌출되어 있는지의 여부) 등에 기초하여 감정 상태를 결정 및 분류할 수 있다. 실시예들에서, 앞에서 암시된 바와 같이, 분류기는 감정 상태 내에서 감정의 서브 상태, 가령, 사용자가 행복한 상태 중에서도 로맨틱한 상태에 있는지의 여부를 결정할 수 있다.
실시예들에서, 각각의 분류기는 또한 결정된 각각의 대응하는 감정 상태에 대한 강도 값, 가령, 0 내지 7 사이의 값을 출력할 수 있는데, 여기서 0은 강도가 없는 상태이며, 7은 가장 강도가 높은 상태이다(가령, 감정 상태가 슬픈 상태라고 결정될 경우, 0은 약간 슬픈 상태를 나타내고, 7은 매우 슬픈 상태를 나타낸다). 실시예들에서, 각각의 분류기는 또한 결정된 각각의 대응하는 감정 상태(및 강도)에 대한 신뢰도 값, 가령, 0 내지 7 사이의 값을 출력할 수 있는데, 여기서 0은 신뢰도가 없는 상태이며, 7은 가장 신뢰도가 높은 상태이다.
실시예들에서, 보충 애니메이션 메시지 생성 기능부(128)는 보충 애니메이션 메시지(121)를 사용자의 (가장 신뢰도가 높다고) 결정된 감정 상태(및 강도)에 기초하여 아바타의 증강 애니메이션에 선택적으로 출력하도록 구성될 수 있다. 실시예들에서, 보충 애니메이션 메시지 생성 기능부(128)는 아바타의 애니메이션을 증강시키기 위한 눈물 방울, 느낌표 마크, 행복한 얼굴, 하트 등을 포함하지만 이에 국한되는 것은 아닌 증강물을 제공하도록 구성될 수 있다. 실시예들에서, 보충 애니메이션 메시지(121)는 기본 애니메이션 메시지(120)와는 유사한 포맷 및 구조일 수 있다.
다시 도 1을 참조하면, 아바타 애니메이션 엔진(104)은 얼굴 표정 및 헤드 자세 트랙커(102)에 의해 출력되는 기본 애니메이션 메시지(120)와 애니메이션 증강 엔진(103)에 의해 출력되는 보충 애니메이션 메시지(121)를 수신하고 아바타를 애니메이팅하기 위한 아바타 모델을 구동하여, 사용자의 얼굴 표정 및/또는 스피치(speech)를 감정 기반 증강물을 이용하여 아바타 상에 복제하도록 구성될 수 있다.
아바타 렌더링 엔진(106)은 아바타 애니메이션 엔진(104)에 의해 애니메이팅되고 보충되는 바와 같은 증강물을 포함한 아바타를 드로잉(draw)하도록 구성될 수 있다. 실시예들에서, 애니메이팅되는 아바타와 증강물의 드로잉은 호스트 컴퓨팅 시스템(호스팅 아바타 시스템(100))의 그래픽 프로세서를 통해 촉진될 수 있다.
얼굴 표정 및 헤드 자세 트랙커(102), 애니메이션 증강 엔진(103), 아바타 애니메이션 엔진(104) 및 아바타 렌더링 엔진(106)은 각각 하드웨어(가령, 주문형 집적 회로(ASIC), 또는 적절한 로직으로 프로그램되는 필드 프로그램가능 게이트 어레이(FPGA)), 범용 프로세서 및/또는 그래픽 프로세서에 의해 실행될 소프트웨어, 또는 이들 모두의 조합으로 구현될 수 있다.
모션 전달(motion transferring) 및 메시 변형과 같은 다른 얼굴 애니메이션 기술과 비교할 때, 얼굴 애니메이션을 위해 혼합 형상을 사용하게 되면 다음과 같은 다양한 이점을 가질 수 있다: (1) 표정 커스텀화(expressions customization): 아바타 모델이 생성될 때 아바타의 컨셉 및 특성에 따라 표정이 커스텀화될 수 있다. 이 아바타 모델은 사용자에게 보다 재미있고 매력적으로 만들어질 수 있다. (2) 낮은 계산 비용(low computation cost): 이 계산은 모델의 사이즈에 비례하도록 구성되고 병렬 프로세싱에 보다 적합하도록 만들어질 수 있다. (3) 양호한 스케일러빌리티(good scalability): 더 많은 표정을 보다 용이하게 프레임워크 내로 추가할 수 있다.
이러한 특징들을 개별적으로 그리고 조합하여 이용함으로써, 아바타 시스템(100)이 광범위한 모바일 컴퓨팅 디바이스에 의해 호스팅되는 데 특히 적합하도록 만든다는 것이 당업자에게는 분명해질 것이다. 그러나, 아바타 시스템(100)이 모바일 디바이스, 가령, 스마트폰, 패블릿(phablet), 컴퓨팅 태블릿, 랩탑 컴퓨터, 또는 e-리더 상에서 작동되는 데 특히 적합하도록 설계되지만, 본 개시는 이에 국한되는 것은 아니다. 아바타 시스템(100)은 또한 전형적인 모바일 디바이스보다 많은 컴퓨팅 파워를 가진 컴퓨팅 디바이스, 가령, 데스크탑 컴퓨터, 게임 콘솔, 셋탑박스, 또는 컴퓨터 서버 상에서도 작동될 수 있을 것으로 예상된다. 전술한 측면 및 다른 측면의 포켓 아바타 시스템(100)은 아래에서 보다 상세하게 설명될 것이다.
이제 도 4를 참조하면, 도 1의 얼굴 표정 트랙킹 기능부(122)의 일 구현예가 다양한 실시예에 따라 보다 상세하게 도시된다. 도시된 바와 같이, 실시예들에서, 얼굴 표정 트랙킹 기능부(122)는, 도시된 바와 같이 서로 결합된, 얼굴 검출 기능 블럭(202), 랜드마크 검출 기능 블럭(204), 최초 얼굴 메시 피팅 기능 블럭(206), 얼굴 표정 추정 기능 블럭(208), 헤드 자세 트랙킹 기능 블럭(210), 입 개방 상태 추정 기능 블럭(212), 얼굴 메시 트랙킹 기능 블럭(214), 트랙킹 검증 기능 블럭(216), 눈 깜박임 검출 및 입 수정 기능 블럭(218), 및 얼굴 메시 적응 블럭(220)을 포함할 수 있다.
실시예들에서, 얼굴 검출 기능 블럭(202)은 수신된 복수의 이미지 프레임 중 하나 이상의 윈도우 스캔(window scan)을 통해 얼굴을 검출하도록 구성될 수 있다. 각각의 윈도우 위치에서, 수정된 센서스 변환(modified census transform; MCT) 특징이 추출될 수 있고, 그 얼굴을 찾는 데 캐스케이드 분류기(cascade classifier)가 적용될 수 있다. 랜드마크 검출 기능 블럭(204)은 얼굴 상의 랜드마크 포인트, 가령, 눈 중심(eye centers) 포인트, 코 끝(nose-tip) 포인트, 입 코너(mouth corners) 포인트, 및 얼굴 윤곽 포인트를 검출하도록 구성될 수 있다. 얼굴 사각형이 주어지면, 평균 얼굴 형상에 따른 최초 랜드마크 위치가 주어질 수 있다. 이후, 명시적인 형상 회귀(explicit shape regression; ESR) 방법을 통한 반복에 의해 정확한 랜드마크 위치들이 발견될 수 있다.
실시예들에서, 최초 얼굴 메시 피팅 기능 블럭(206)은 얼굴 상에서 검출된 복수의 랜드마크 포인트에 적어도 부분적으로 기초하여 얼굴 메시의 3D 자세를 초기화하도록 구성될 수 있다. Candide3 와이어프레임 헤드 모델이 사용될 수 있다. 헤드 모델의 회전 각도, 변환 벡터 및 스케일링 계수는 POSIT 알고리즘을 사용하여 추정될 수 있다. 결과적으로, 이미지 평면 상의 3D 메시의 투영은 2D 랜드마크와 매칭될 수 있다. 얼굴 표정 추정 기능 블럭(208)은 얼굴 상에서 검출된 복수의 랜드마크 포인트에 적어도 부분적으로 기초하여 복수의 얼굴 모션 파라미터를 초기화하도록 구성될 수 있다. Candide3 헤드 모델은 입 폭, 입 높이, 코 주름, 눈 개방과 같은 얼굴 동작 파라미터(facial action parameters; FAU)에 의해 제어될 수 있다. 이러한 FAU 파라미터는 최소 제곱 피팅(least square fitting)을 통해 추정될 수 있다.
헤드 자세 트랙킹 기능 블럭(210)은 피치(pitch), 요(yaw) 및/또는 롤(roll)을 포함한 사용자 헤드의 회전 각도들, 및 수평 및 수직 방향에 따라 카메라에 가까워지거나 카메라로부터 멀어지는 사용자 헤드의 이동 거리(translation distance)를 산출하도록 구성될 수 있다. 이러한 산출은 동적 템플릿 매칭(dynamic template matching) 및 재등록(re-registration)을 적용하는 복수의 이미지 프레임들의 서브 샘플링된 픽셀의 서브세트에 기초할 수 있다. 입 개방 상태 추정 기능 블럭(212)은 입의 윗 입술 및 아랫 입술의 개방 거리를 산출하도록 구성될 수 있다. 입(mouth) 지오메트리(개방/폐쇄)와 외관 간의 상관은 샘플 데이터베이스를 사용하여 트레이닝(train)될 수 있다. 또한, 입 개방 거리는 FERN 회귀를 적용하는 복수의 이미지 프레임 중 현재 이미지 프레임의 서브 샘플링된 픽셀에 기초하여 추정될 수 있다.
얼굴 메시 트랙킹 기능 블럭(214)은 복수의 이미지 프레임의 서브 샘플링된 픽셀의 서브세트에 기초하여, 얼굴 메시의 위치, 방향 또는 변형을 조정하여, 상기 얼굴 메시에 의해 얼굴의 지속적인 커버리지 및 얼굴 움직임(facial movement)의 반영(reflection)을 유지하도록 구성될 수 있다. 이러한 조정은 Candide3 모델에서 사전정의된 FAU 파라미터를 조건으로 하여, 연속하는 이미지 프레임들의 이미지 정렬을 통해 수행될 수 있다. 헤드 자세 트랙킹 기능 블럭(210) 및 입 개방 상태의 결과들은 파라미터 최적화에 대한 소프트 제약(soft-constraints)으로서 기능할 수 있다. 트랙킹 검증 기능 블럭(216)은 얼굴 메시 트랙킹 상태를 모니터링하고, 얼굴을 리로케이팅(relocate)할 필요가 있는지의 여부를 결정하도록 구성될 수 있다. 트랙킹 검증 기능 블럭(216)은 결정을 행하기 위해 하나 이상의 얼굴 영역 또는 눈 영역 분류기를 적용할 수 있다. 만약 그 트랙킹이 원활하게 실행중이라면, 그 다음 프레임 트랙킹으로 동작이 지속될 수 있지만, 그렇지 않을 경우, 얼굴이 현재 프레임을 위해 리로케이팅되도록 동작이 얼굴 검출 기능 블럭(202)으로 리턴할 수 있다.
눈 깜박임 검출 및 입 수정 기능 블럭(218)은 눈 깜박임 상태 및 입 형상을 검출하도록 구성될 수 있다. 눈 깜박임은 광 흐름 분석을 통해 검출될 수 있지만, 입 형상/움직임은 입에 대한 프레임간 히스토그램 차이의 검출을 통해 추정될 수 있다. 전체 얼굴 메시 트랙킹의 정교함으로 인해, 눈 깜박임 검출 및 입 수정 기능 블럭(216)은 보다 정확한 눈 깜박임 추정을 산출할 수 있으며, 입 움직임 감도를 향상시킬 수 있다.
얼굴 메시 적응 기능 블럭(220)은 도출된 얼굴 동작 유닛에 따른 얼굴 메시를 재구성하고, 상기 얼굴 메시 하의 현재의 이미지 프레임을 재샘플링하여 다음 이미지 프레임의 프로세싱을 셋업하도록 구성될 수 있다.
예시적인 얼굴 표정 트랙킹 기능부(122)는 공동 계류중인 특허 출원, 즉 2014년 3월 19일 출원된 "FACIAL EXPRESSION AND/OR INTERACTION DRIVEN AVATAR APPARATUS AND METHOD"라는 명칭의 PCT 특허 출원번호 제 PCT/CN2014/073695 호의 주제이다. 기술된 바와 같이, 그 구조 및 기능 블럭들 사이에 작업부하를 배포함으로써, 얼굴 표정 트랙킹 기능부(122)는 랩탑 또는 데스크탑 컴퓨터, 또는 서버와 비교할 때 비교적 컴퓨팅 리소스가 많이 제한되는 휴대형 디바이스용으로 특히 적합하게 된다. 추가의 세부사항에 대해서는 PCT 특허 출원번호 제 PCT/CN2014/073695 호를 참고하라.
대안의 실시예에서, 얼굴 표정 트랙킹 기능부(122)는 당해 분야에서 알려진 기타 다양한 얼굴 트랙커들 중의 임의의 하나일 수 있다.
이제, 도 5를 참조하여, 다양한 실시예에 따른 도 1의 애니메이션 증강 엔진의 동작 흐름의 측면들이 설명된다. 특히, 프로세스(250)로서 도시되는, 도 1의 감정 분류기(126)의 동작 흐름의 측면이 설명된다. 도시된 바와 같이, 사용자의 감정 상태를 결정 및 분류하는 프로세스(250)는 블럭(252 및 254)의 동작을 포함할 수 있다. 블럭(252)에서, 얼굴 데이터, 가령, 얼굴 메시의 얼굴 랜드마크와 관련된 얼굴 데이터가 수신될 수 있다. 블럭(254)에서, 각각의 분류기는 얼굴 데이터를 프로세싱 및 분석할 수 있고 그에 따라 감정 상태를 분류할 수 있다. 위에서 암시/기술된 바와 같이, 실시예들에서, 블럭(254)에서의 동작은 복수의 분류기, 가령 6개의 분류기에 의해 병렬로 수행될 수 있다. 이 분류기는 성난 상태 분류기, 혐오 상태 분류기, 두려운 상태 분류기, 행복한 상태 분류기, 슬픈 상태 분류기, 및 놀란 상태 분류기를 포함할 수 있다. 대안의 실시예에서, 더 많거나 더 적은 분류기들이 사용될 수 있다. 또한, 위에서 암시/기술된 바와 같이, 실시예들에서, 블럭(254)에서 분류된 감정 상태는 그 분류의 서브 상태 표시, 감정 강도 값, 및/또는 신뢰도 값을 포함할 수 있다.
이제, 도 6을 참조하여, 다양한 실시예에 따른 도 1의 애니메이션 증강 엔진의 동작 흐름의 측면들이 설명된다. 특히, 프로세스(260)로서 도시된 도 1의 보충 애니메이션 메시지 생성기(128)의 동작 흐름의 측면들이 설명된다. 도시된 바와 같이, 프로세스(160)는 블럭(262) 및 (264)에서의 동작을 포함할 수 있다. 블럭(262)에서, 감정 데이터, 가령 감정 상태/서브 상태, 강도 값 및/또는 신뢰도 값이 수신될 수 있다. 블럭(264)에서, 보충 애니메이션 메시지는 가령 결정된 최대 신뢰도의 감정 상태 및 강도에 적어도 부분적으로 기초하여 생성될 수 있다. 위에서 기술된 바와 같이, 보충 애니메이션 메시지는 제공될 증강물을 기술한다는 것을 제외하고는 전술한 기본 애니메이션 메시지와 유사하다. 위에서 암시/기술되는 바와 같이, 이러한 증강물은 가령, 슬픈 상태에 대한 눈물 방울, 놀란 상태에 대한 느낌표 마크, 행복한 상태에 대한 행복한 얼굴, 로맨틱하게 행복한 상태에 대한 하트, 성난 상태에 대한 불꽃, 혐오 상태에 대한 "grrr" 소리를 내는 치아 또는 주변을 날아다니는 파리, 두려운 상태에 대한 유령 또는 폭발하는 폭탄 등을 포함할 수 있지만, 이에 국한되는 것은 아니다. 또한, 증강물의 양, 가령, 볼륨 및/또는 속도는 결정된 감정의 강도에 따라 변화할 수 있다.
다시 도 2를 참조하면, 위에서 기술된 바와 같이, 스냅 샷(142)은 사용자가 슬픈 상태에 있다고 결정될 경우 아바타의 애니메이션을 증강시키도록 눈물 방울이 추가될 수 있는 일 예의 감정 기반 증강을 도시하고 있다. 도시된 바와 같이, 눈물 방울은 아바타의 눈으로부터 나오는 것으로서 렌더링된다. 계산상으로, 실시예들에서, 눈물 방울을 방출하기 위한 방출기들이 눈의 위치에 생성될 수 있다. 눈물 방울은 방출기들로부터 방출되는 입자에 대응할 수 있다. 입자의 이동 방향(가령, 눈물 방울의 흐름)은 복수의 사전정의된 궤적으로부터 선택된 궤적을 추종할 수 있다. 입자(가령, 눈물 방울)의 볼륨 및 속도는 결정된 감정의 강도에 기초할 수 있다.
도 7을 참조하면, 다양한 실시예에 따른 아바타의 감정 증강된 애니메이션을 위한 일 예의 프로세스의 측면이 도시된다. 도시된 바와 같이, 방출기들의 생성과 방출된 입자의 이동 방향 및 속도의 계산을 포함한 아바타의 애니메이션의 감정 기반 증강을 위한 프로세스(280)는 블럭(286-294)에서의 동작을 포함할 수 있다. 이 동작은 가령, 도 1의 전술한 애니메이션 증강 엔진(103)(특히, 보충 애니메이션 메시지 생성기(128))에 의해 수행될 수 있다.
도시된 바와 같이, 프로세스(280)는 블럭(286)에서 시작할 수 있다. 블럭(286)에서, 얼굴 랜드마크(282), 가령 얼굴 메시와 관련된 랜드마크와 관련된 데이터는 선택된 증강을 위한 방출기를 생성하는 데 사용될 수 있다. 가령, 눈물 방출기는 트랙킹된 눈 랜드마크에 놓여질 수 있다.
블럭(288)에서, 제공될 증강물의 최초 디스크립션을 제공하는 최초 세트의 입자 애니메이션 메시지가 생성될 수 있다.
블럭(290)에서, 방출기, 가령 전술한 바와 같이 사전 정의된 궤적 세트로부터 방출될 입자에 대한 모션 궤적이 획득/선택될 수 있다.
블럭(292)에서, 입자의 방향 및 속도가 산출될 수 있다.
블럭(294)에서, 입자의 계산된 방향 및 속도를 반영하도록 입자 애니메이션 메시지가 업데이트될 수 있다.
이제 도 8을 참조하면, 다양한 실시예에 따른 입자에 대한 예의 궤적이 도시된다. 중심 입자(292)는 입자(가령, 눈물 방울)의 현재 위치(position)를 나타낸다. Vp는 입자의 복합 이동 벡터를 나타낸다. 즉, 벡터 Vp의 방향은 입자의 복합 이동 방향을 제공하지만, 벡터 Vp의 크기는 입자의 이동 속도를 제공한다. 복합 벡터 Vp는 입자(292)의 방향 및 속도에 영향을 미치는 성분력들(constituent forces)의 가중화된 합일 수 있다. 성분력들의 예는 방향 및 크기를 가진 중력과 같은 외부적인 힘과, 전단력(shearing force)과 같은 내부적인 힘을 포함할 수 있지만 이에 국한되는 것은 아니다. 성분력의 다른 예는 방향 및 속도를 포함한 입자에 대한 방출력과 같은 충격력(impulsive force)을 포함할 수 있다.
도 8에서, 벡터 Vp1 및 벡터 Vp2를 가진 두 개의 영향력이 도시되며, 각각의 벡터는 성분력 1 및 2의 방향 및 크기를 나타낸다. dp,p1 및 dp,p2의 양은 각각 성분력 1 및 2의 상대적인 가중치를 나타낸다. 이해를 용이하게 하기 위해, 두 개의 성분력이 도 8에 도시된다. 그러나, 실시예들에서, 2개 초과의 성분력이 고려될 수 있다.
따라서, 일반 벡터 Vp는 다음과 같이 계산될 수 있다(식 2).
Figure 112018020171419-pct00002
여기서, Pm은 P1, P2, P3, P4 ...등일 수 있으며, Vp, Vpm, dp,p1 및 dp,p2는 위에서 정의된 것과 동일한 것이다.
도 9는 본 개시의 선택된 측면을 실시하는 클라이언트 디바이스 또는 서버로서 사용하기에 적합한 것일 수 있는 일 예의 컴퓨터 시스템을 도시하고 있다. 도시된 바와 같이, 컴퓨터(500)는 하나 이상의 프로세서 또는 프로세서 코어(502)와, 시스템 메모리(504)를 포함할 수 있다. 청구범위를 포함한 본 출원의 목적상, 문맥상 명백히 달리 요구되는 경우를 제외하고는, 용어 "프로세서"는 물리적 프로세서를 나타내는 것이고, 용어 "프로세서" 및 "프로세서 코어"는 동의어로 간주될 수 있다. 추가적으로, 컴퓨터(500)는 대용량 스토리지 디바이스(506)(가령, 디스켓, 하드드라이브, 컴팩트 디스크 판독 전용 메모리(CD-ROM) 등), 입력/출력 디바이스(508)(가령, 디스플레이, 키보드, 커서 제어 등) 및 통신 인터페이스(510)(가령, 네트워크 인터페이스 카드, 모뎀 등)를 포함할 수 있다. 구성요소들은 서로 시스템 버스(512)를 통해 연결될 수 있으며, 시스템 버스는 하나 이상의 버스를 나타낼 수 있다. 복수의 버스의 경우, 이들 버스는 하나 이상의 버스 브릿지(도시 안 됨)에 의해 브릿지될 수 있다.
이들 구성요소의 각각은 당해 분야에서 알려진 자신의 종래 기능을 수행할 수 있다. 특히, 시스템 메모리(504) 및 대용량 스토리지 디바이스(506)는, 전술된 얼굴 표정 및 헤드 자세 트랙커(102), 애니메이션 증강 엔진(103), 아바타 애니메이션 엔진(104), 및/또는 아바타 렌더링 엔진(106)와 관련된 동작을 구현하는 프로그래밍 명령어의 작업 사본(working copy) 및 영구 사본(permanent copy)을 저장하는 데 이용될 수 있으며, 집합적으로 계산 로직(522)으로 지칭될 수 있다. 다양한 구성요소들은 프로세서(502)에 의해 지원되는 어셈블러 명령어 또는 어셈블러 명령어로 컴파일링될 수 있는 가령 C와 같은 상위 레벨 랭귀지에 의해 구현될 수 있다.
이들 구성요소(510-512)의 개수, 성능 및/또는 용량은 컴퓨터(500)가 클라이언트 디바이스 또는 서버로서 사용되는지의 여부에 따라 변화할 수 있다. 클라이언트 디바이스로서 사용될 경우 구성요소(510-512)의 기능 및/또는 용량은 클라이언트 디바이스가 고정형 디바이스인지 또는 스마트폰, 컴퓨팅 태블릿, 울트라북 또는 랩탑과 같은 모바일 디바이스인지에 따라 변화할 수 있다. 그 밖에, 구성요소(510-512)의 구성은 널리 알려져 있어서 추가적으로 기술되지는 않을 것이다.
당업자에 의해 이해되는 바와 같이, 본 개시는 방법 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서, 본 개시는 전술한 바와 같은 하드웨어로 구현되는 것 이외에도, (펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함한) 소프트웨어 전용의 실시예, 또는 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 측면을 조합한 실시예의 형태를 취할 수 있다. 또한, 본 개시₁은 내부에 컴퓨터 사용가능 프로그램 코드를 구현한 임의의 유형의 또는 비일시적인 매체 내에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 도 10은 장치에 의한 명령어의 실행에 응답하여, 상기 장치로 하여금 본 개시의 선택된 측면을 실시하게 하는 명령어를 저장하는 데 사용하기에 적합한 일 예의 컴퓨터 판독가능 비일시적 저장 매체를 도시하고 있다. 도시된 바와 같이, 비일시적인 컴퓨터 판독가능 저장 매체(602)는 복수의 프로그래밍 명령어(604)를 포함할 수 있다. 프로그래밍 명령어(604)는 프로그래밍 명령어의 실행에 응답하여 디바이스, 가령 컴퓨터(500)와 같은 디바이스가 가령 얼굴 표정 및 헤드 자세 트랙커(102), 애니메이션 증강 엔진(103), 아바타 애니메이션 엔진(104), 및/또는 아바타 렌더링 엔진(106)과 관련된 다양한 동작을 수행할 수 있게 하도록 구성될 수 있다. 대안의 실시예에서, 프로그래밍 명령어(604)는 대신 복수의 컴퓨터 판독가능 비일시적 저장 매체(602)에 배치될 수 있다. 대안의 실시예에서, 프로그래밍 명령어(604)는 신호와 같은 컴퓨터 판독가능 일시적 저장 매체(602)에 배치될 수 있다.
하나 이상의 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체의 임의의 조합이 이용될 수 있다. 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체는 가령, 전자, 자기, 광, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스일 수 있지만, 이에 국한되는 것은 아니다. 컴퓨터 판독가능 매체의 더 많은 특정의 예는(누락 없는 완전한 목록은 아님), 하나 이상의 배선을 가진 전기 커넥션, 휴대형 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그램가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 광 파이버, 휴대형 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광 스토리지 디바이스, 또는 자기 스토리지 디바이스를 포함할 것이다. 주목할 것은, 프로그램이 예를 들어 종이 또는 다른 매체의 광 스캐닝을 통해 전자적으로 캡처될 수 있고, 그 후 컴파일링되거나, 인터프리팅되거나 또는 필요한 경우 이와는 달리 적당한 방식으로 프로세싱된 후 컴퓨터 메모리에 저장될 수 있기 때문에, 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체가 심지어는 프로그램이 프린팅되어 있는 종이 또는 다른 적당한 매체일 수 있다는 것이다.
본 개시의 동작을 수행하기 위한 컴퓨터 프로그램 코드는, 자바, Smalltalk, C++ 등과 같은 객체 지향형 프로그래밍 랭귀지와 "C" 프로그래밍 랭귀지 또는 유사한 프로그래밍 랭귀지와 같은 종래의 절차적 프로그래밍(procedural programming) 랭귀지를 포함한 하나 이상의 프로그래밍 랭귀지의 임의의 조합으로 기입될 수 있다. 프로그램 코드는 사용자의 컴퓨터 상에서 전적으로 실행될 수도 있고, 사용자의 컴퓨터 상에서 부분적으로 실행될 수도 있으며, 단독형 소프트웨어 패키지로서 실행될 수도 있고, 일부는 사용자의 컴퓨터 상에서 그리고 일부는 원격 컴퓨터 상에서 실행될 수도 있으며, 또는 원격 컴퓨터 또는 서버 상에서 전적으로 실행될 수도 있다. 후자의 시나리오에서, 원격 컴퓨터가 LAN 또는 WAN을 포함한 임의의 타입의 네트워크를 거쳐서 사용자의 컴퓨터에 접속될 수도 있고, 그 접속이 (가령, 인터넷 서비스 공급자를 사용하여 인터넷을 통해) 외부 컴퓨터에 대해 행해질 수도 있다.
본 개시는 본 개시의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 플로우챠트 도면 및/또는 블럭도와 관련하여 기술된다. 플로우챠트 도면 및/또는 블럭도에서의 각각의 블럭 및 플로우챠트 도면 및/또는 블럭도에서의 블럭들의 조합은 컴퓨터 프로그램 명령어에 의해 구현될 수 있다는 것이 이해될 것이다. 이러한 컴퓨터 프로그램 명령어는 범용 컴퓨터, 특정 목적 컴퓨터, 또는 머신을 생성하는 다른 프로그램가능 데이터 프로세싱 장치의 프로세서에 제공될 수 있으며, 그 결과, 상기 컴퓨터 또는 다른 프로그램가능 데이터 프로세싱 장치의 프로세서를 통해 실행되는 명령어는 플로우챠트 및/또는 블럭도의 블럭에서 특정되는 기능/동작을 구현하는 수단을 생성할 수 있다.
이러한 컴퓨터 프로그램 명령어는 또한 컴퓨터 또는 다른 프로그램가능 데이터 프로세싱 장치로 하여금 특정의 방식으로 기능하도록 관리할 수 있는 컴퓨터 판독가능 매체에 저장될 수 있으며, 그 결과, 컴퓨터 판독가능 매체에 저장된 명령어는 플로우챠트 및/또는 블럭도의 블럭에서 특정되는 기능/동작을 구현하는 명령어 수단을 포함한 제조품을 생성할 수 있다.
컴퓨터 프로그램 명령어는 또한 컴퓨터 또는 다른 프로그램가능 장치 상에 로딩되어, 일련의 동작 단계들이 컴퓨터로 구현되는 프로세스를 생성하는 상기 컴퓨터 또는 다른 프로그램가능 장치 상에서 실행될 수 있게 하며, 그 결과, 상기 컴퓨터 또는 다른 프로그램가능 장치 상에서 실행되는 명령어는 플로우챠트 및/또는 블럭도의 블럭에서 특정되는 기능/동작을 구현하는 프로세스를 제공할 수 있다.
도면들 내의 플로우챠트 및 블럭도는 본 개시의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 이용가능한 구현예의 아키텍처, 기능 및 동작을 도시하고 있다. 이와 관련하여, 플로우챠트 또는 블럭도에서의 각각의 블럭은 코드의 모듈, 세그먼트, 또는 부분을 나타내며, 이 코드는 특정된 논리 기능을 구현하기 위한 하나 이상의 실행가능 명령어를 포함한다. 또한 주목해야만 할 것은, 일부 대안의 구현예에서, 블럭에 기재된 기능은 도면에 기재된 순서와는 다르게 발생할 수 있다는 것이다. 가령, 연속적으로 도시된 두 개의 블럭은 실제로는 사실상 동시에 실행될 수도 있고, 때로는 관련된 기능에 따라서 반대의 순서로 실행될 수도 있다. 주목해야할 것은 플로우챠트 도면 및/또는 블럭도에서의 각각의 블럭 및 플로우챠트 도면 및/또는 블럭도에서의 블럭들의 조합은 특정의 기능 또는 동작을 수행하는 특정 목적의 하드웨어 기반 시스템 또는 특정 목적의 하드웨어 및 컴퓨터 명령어의 조합에 구현될 수 있다는 것이다.
본 명세서에 사용되는 용어는 특정 실시예를 기술하기 위한 목적으로만 사용되며 본 개시를 제한하려는 의도로 사용되는 것은 아니다. 본 명세서에 사용되는 바와 같이, 단수 형태는 문맥상 달리 지시되지 않은 이상 복수의 형태도 포함하는 것으로 의도된다. 본 명세서에 사용되는 용어 "포함하다" 및/또는 "포함하는"은 기술된 특징, 정수, 단계, 동작, 엘리먼트, 및/또는 컴포넌트의 존재를 특정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 엘리먼트, 컴포넌트, 및/또는 이들의 조합의 존재 또는 추가를 배제하는 것이 아니라는 것이 또한 이해될 것이다.
실시예들은 컴퓨터 프로세스, 컴퓨팅 시스템, 또는 컴퓨터 판독가능 매체의 컴퓨터 프로그램 제품과 같은 제조물로서 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독가능하고 컴퓨터 프로세스를 실행하기 위한 컴퓨터 프로그램 명령어를 인코딩하고 있는 컴퓨터 저장 매체일 수 있다.
아래의 특허청구범위에서 수단 또는 단계가 추가된 모든 기능 엘리먼트(function elements)의 대응하는 구조, 재료, 동작 및 등가물은 청구범위에서 특정된 다른 엘리먼트와 조합하여 그 기능을 수행하기 위한 임의의 구조, 재료 또는 동작을 포함하는 것으로 의도된다. 본 개시의 설명은 도시 및 서술의 목적으로 제공되었지만, 개시된 형태의 개시에 국한되는 것으로 의도되는 것은 아니다. 본 개시의 사상 및 범주를 벗어나지 않고 많은 변형 및 수정이 행해질 수 있다는 것은 당업자에게는 자명한 것이다. 본 개시의 원리 및 실제 응용을 가장 잘 설명하고 다른 당업자로 하여금 고려된 특정의 사용에 적합한 다양한 변형예를 가진 실시예들에 대한 개시를 이해할 수 있도록 하기 위해 실시예가 선택되어 기술되었다.
다시 도 9를 참조하면, 일 실시예의 경우, 프로세서(502) 중의 적어도 하나는 (메모리(504) 및 스토리지(506) 상에 저장되는 대신에) 계산 로직(522)을 갖는 메모리와 함께 패키징될 수 있다. 일 실시예의 경우, 프로세서(502) 중 적어도 하나는 계산 로직(522)을 갖는 메모리와 함께 패키징되어 시스템 패키지(system in package: SiP)를 형성할 수 있다. 일 실시예의 경우,프로세서(502) 중의 적어도 하나는 계산 로직(522)을 갖는 메모리와 동일한 다이 상에 집적될 수 있다. 일 실시예의 경우, 프로세서(502) 중 적어도 하나는 계산 로직(522)을 갖는 메모리와 함께 패키징되어 시스템 온 칩(system on chip: SoC)을 형성할 수 있다. 적어도 하나의 실시예의 경우, SoC는 가령, 스마트폰 또는 컴퓨팅 태블릿에서 이용될 수 있지만 이에 국한되는 것은 아니다.
따라서, 본 개시의 다양한 실시예는 다음과 같지만 이에 국한되는 것은 아니다.
실시예 1은 아바타를 애니메이팅하는 장치일 수 있으며, 이 장치는 하나 이상의 프로세서와, 상기 프로세서에 의해 동작되어, 사용자의 얼굴 데이터를 수신하고, 상기 얼굴 데이터를 분석하여 상기 사용자의 감정 상태를 결정하며, 상기 사용자의 상기 감정 상태의 결정의 결과에 적어도 부분적으로 기초하여 상기 아바타의 애니메이션을 보충하는 추가의 애니메이션을 구동하는 애니메이션 증강 엔진을 포함한다.
실시예 2는 실시예 1에 있어서, 상기 얼굴 데이터를 수신하기 위해, 상기 애니메이션 증강 엔진은 상기 사용자의 얼굴 메시의 얼굴 랜드마크 데이터를 수신할 수 있는 실시예일 수 있다.
실시예 3은 실시예 1에 있어서, 상기 얼굴 데이터를 분석하기 위해, 상기 애니메이션 증강 엔진은 복수의 감정 분류기를 포함할 수 있으며, 상기 복수의 감정 분류기는 상기 얼굴 데이터를 제각기 프로세싱하며, 상기 감정 분류기의 대응하는 감정 상태에 대한 복수의 신뢰도 값을 생성하는 실시예일 수 있다.
실시예 4는 실시예 3에 있어서, 상기 복수의 감정 분류기는 성난 상태 분류기, 혐오 상태 분류기, 두려운 상태 분류기, 행복한 상태 분류기, 슬픈 상태 분류기, 또는 놀란 상태 분류기 중 적어도 하나를 포함하는 실시예일 수 있다.
실시예 5는 실시예 1에 있어서, 상기 추가의 애니메이션을 구동하기 위해, 상기 애니메이션 증강 엔진은 상기 추가의 애니메이션에 대한 방출기를 생성하고, 상기 방출기로부터 방출될 입자들(particles)의 집합(collection)을 생성할 수 있는 실시예일 수 있다.
실시예 6은 실시예 5에 있어서, 상기 애니메이션 증강 엔진은 또한 움직임 궤적(movement trajectory)을 획득하며, 상기 방출기로부터 방출될 입자들의 상기 움직임 궤도에서의 속도를 산출할 수 있는 실시예일 수 있다.
실시예 7은 실시예 1 내지 6 중의 어느 하나에 있어서, 상기 하나 이상의 프로세서에 의해 동작되어, 상기 사용자의 하나 이상의 이미지 프레임을 수신하고, 상기 하나 이상의 이미지 프레임을 분석하여 상기 사용자의 얼굴 표정을 검출 및 트랙킹하며, 상기 하나 이상의 이미지 프레임의 분석의 결과에 적어도 부분적으로 기초하여 상기 얼굴 데이터를 상기 애니메이션 증강 엔진에 제공하는 얼굴 표정 트랙커를 더 포함하는 실시예일 수 있다.
실시예 8은 실시예 7에 있어서, 상기 하나 이상의 프로세서에 의해 동작되는 아바타 애니메이션 엔진을 더 포함하며, 상기 얼굴 표정 트랙커는 상기 아바타 애니메이션 엔진을 구동하여 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 상기 아바타를 애니메이팅할 수 있으며, 상기 추가의 애니메이션을 구동하기 위해, 상기 애니메이션 증강 엔진은 상기 아바타 애니메이션 엔진을 구동하여 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 감정 상태 기반 추가 애니메이션으로 보충할 수 있는 실시예일 수 있다.
실시예 9는 실시예 8에 있어서, 상기 얼굴 표정 트랙커는, 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 기본 애니메이션 메시지를 생성하며, 상기 기본 애니메이션 메시지를 상기 아바타 애니메이션 엔진에 전송하여 상기 아바타 애니메이션 엔진을 구동함으로써 상기 사용자의 얼굴 표정에 기초하여 상기 아바타를 애니메이팅하는 기본 애니메이션 메시지 생성기를 포함할 수 있으며, 상기 애니메이션 증강 엔진은, 상기 결정된 사용자의 감정 상태에 기초하여 보충 애니메이션 메시지를 생성하며, 상기 보충 애니메이션 메시지를 상기 아바타 애니메이션 엔진에 전송하여 상기 아바타 애니메이션 엔진을 구동함으로써 상기 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 상기 감정 상태 기반 추가 애니메이션으로 보충하는 보충 애니메이션 메시지 생성기를 포함하는 실시예일 수 있다.
실시예 10은 실시예 7에 있어서, 상기 장치는 스마트폰, 컴퓨팅 태블릿, 울트라북, ebook, 또는 랩탑 컴퓨터 중에서 선택된 하나일 수 있는 실시예일 수 있다.
실시예 11은 아바타를 애니메이팅하는 방법일 수 있으며, 이 방법은 컴퓨팅 디바이스에 의해, 사용자의 얼굴 데이터를 수신하는 단계와, 상기 컴퓨팅 디바이스에 의해, 상기 사용자의 감정 상태를 결정하도록 상기 얼굴 데이터를 분석하는 단계와, 상기 컴퓨팅 디바이스에 의해, 상기 사용자의 상기 감정 상태의 결정의 결과에 적어도 부분적으로 기초하여 상기 아바타의 애니메이션을 보충하는 추가의 애니메이션을 구동하는 단계를 포함한다.
실시예 12는 실시예 11에 있어서, 상기 수신하는 단계는 상기 사용자의 얼굴 메시의 얼굴 랜드마크 데이터를 수신하는 단계를 포함할 수 있는 실시예일 수 있다.
실시예 13은 실시예 11에 있어서, 상기 분석하는 단계는 상기 얼굴 데이터를 복수의 감정 분류기를 사용하여 제각기 프로세싱하여, 상기 감정 분류기의 대응하는 감정 상태에 대한 복수의 신뢰도 값을 생성하는 단계를 포함할 수 있는 실시예일 수 있다.
실시예 14는 실시예 13에 있어서, 상기 감정 상태는 성난 상태, 혐오 상태, 두려운 상태, 행복한 상태, 슬픈 상태, 또는 놀란 상태 중 적어도 하나를 포함할 수 있는 실시예일 수 있다.
실시예 15는 실시예 11에 있어서, 상기 추가의 애니메이션을 구동하는 단계는, 상기 추가의 애니메이션에 대한 방출기를 생성하는 단계와, 상기 방출기로부터 방출될 입자들의 집합을 생성하는 단계를 포함할 수 있는 실시예일 수 있다.
실시예 16은 실시예 15에 있어서, 상기 추가의 애니메이션을 구동하는 단계는, 움직임 궤적을 획득하는 단계와, 상기 방출기로부터 방출될 입자들의 상기 움직임 궤도에서의 속도를 산출하는 단계를 더 포함할 수 있는 실시예일 수 있다.
실시예 17은 실시예 11 내지 16 중의 어느 하나에 있어서, 상기 사용자의 하나 이상의 이미지 프레임을 수신하는 단계와, 상기 하나 이상의 이미지 프레임을 분석하여 상기 사용자의 얼굴 표정을 검출 및 트랙킹하는 단계와, 상기 하나 이상의 이미지 프레임의 분석의 결과에 적어도 부분적으로 기초하여 상기 얼굴 데이터를 제공하는 단계를 더 포함하는 실시예일 수 있다.
실시예 18은 실시예 17에 있어서, 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 상기 아바타의 애니메이션을 구동하는 단계를 더 포함하며, 상기 추가의 애니메이션을 구동하는 단계는 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 감정 상태 기반 추가 애니메이션으로 보충하는 단계를 포함할 수 있는 실시예일 수 있다.
실시예 19는 실시예 18에 있어서, 상기 아바타의 애니메이션을 구동하는 단계는, 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 기본 애니메이션 메시지를 생성하는 단계와, 상기 사용자의 얼굴 표정에 기초하여 상기 아바타의 애니메이션을 구동하도록 상기 기본 애니메이션 메시지를 전송하는 단계를 포함할 수 있으며, 상기 추가의 애니메이션을 구동하는 단계는, 상기 결정된 사용자의 감정 상태에 기초하여 보충 애니메이션 메시지를 생성하는 단계와, 상기 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 상기 감정 상태 기반 추가 애니메이션으로 보충하도록 아바타의 애니메이션을 구동하는 상기 보충 애니메이션 메시지를 전송하는 단계를 포함할 수 있는 실시예일 수 있다.
실시예 20은 명령어를 포함한 하나 이상의 컴퓨터 판독가능 매체로서, 상기 명령어는 컴퓨팅 디바이스에 의한 실행에 응답하여, 상기 컴퓨팅 디바이스로 하여금 애니메이션 증강 엔진을 동작시키도록 하는 컴퓨터 판독가능 매체일 수 있으며, 이 애니메이션 증강 엔진은 사용자의 얼굴 데이터를 수신하고, 상기 얼굴 데이터를 분석하여 상기 사용자의 감정 상태를 결정하며, 상기 사용자의 상기 감정 상태의 결정의 결과에 적어도 부분적으로 기초하여 상기 아바타의 애니메이션을 보충하는 추가의 애니메이션을 구동한다.
실시예 21은 실시예 20에 있어서, 상기 얼굴 데이터를 수신하는 것은 상기 사용자의 얼굴 메시의 얼굴 랜드마크 데이터를 수신하는 것을 포함할 수 있는 실시예일 수 있다.
실시예 22는 실시예 20에 있어서, 상기 얼굴 데이터를 분석하는 것은 상기 얼굴 데이터를 복수의 감정 분류기를 사용하여 제각기 프로세싱하여, 상기 감정 분류기의 대응하는 감정 상태에 대한 복수의 신뢰도 값을 생성하는 것을 포함할 수 있는 실시예일 수 있다.
실시예 23은 실시예 22에 있어서, 상기 복수의 감정 분류기는 성난 상태 분류기, 혐오 상태 분류기, 두려운 상태 분류기, 행복한 상태 분류기, 슬픈 상태 분류기, 또는 놀란 상태 분류기 중 적어도 하나를 포함할 수 있는 실시예일 수 있다.
실시예 24는 실시예 20에 있어서, 상기 추가의 애니메이션을 구동하는 것은, 상기 추가의 애니메이션에 대한 방출기를 생성하는 것과, 상기 방출기로부터 방출될 입자들의 집합을 생성하는 것을 포함할 수 있는 실시예일 수 있다.
실시예 25는 실시예 24에 있어서, 상기 추가의 애니메이션을 구동하는 것은, 움직임 궤적을 획득하는 것과, 상기 방출기로부터 방출될 입자들의 상기 움직임 궤도에서의 속도를 산출하는 것을 더 포함할 수 있는 실시예일 수 있다.
실시예 26은 실시예 20 내지 25 중의 어느 하나에 있어서, 상기 컴퓨팅 디바이스는 또한 상기 사용자의 하나 이상의 이미지 프레임을 수신하고, 상기 하나 이상의 이미지 프레임을 분석하여 상기 사용자의 얼굴 표정을 검출 및 트랙킹하고, 상기 하나 이상의 이미지 프레임의 분석의 결과에 적어도 부분적으로 기초하여 상기 얼굴 데이터를 제공하도록 구성되는 실시예일 수 있다.
실시예 27은 실시예 26에 있어서, 상기 컴퓨팅 디바이스는 또한 상기 아바타 애니메이션 엔진을 구동하여 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 상기 아바타를 애니메이팅하도록 구성되고, 상기 추가의 애니메이션을 구동하는 것은 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 감정 상태 기반 추가 애니메이션으로 보충하는 것을 포함할 수 있는 실시예일 수 있다.
실시예 28은 실시예 27에 있어서, 상기 아바타의 애니메이션을 구동하는 것은, 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 기본 애니메이션 메시지를 생성하는 것과, 상기 기본 애니메이션 메시지를 상기 아바타 애니메이션 엔진에 전송하여 상기 아바타 애니메이션 엔진을 구동함으로써 상기 사용자의 얼굴 표정에 기초하여 상기 아바타를 애니메이팅하는 것을 포함할 수 있으며, 상기 추가의 애니메이션을 구동하는 것은, 상기 결정된 사용자의 감정 상태에 기초하여 보충 애니메이션 메시지를 생성하는 것과, 상기 보충 애니메이션 메시지를 상기 아바타 애니메이션 엔진에 전송하여 상기 아바타 애니메이션 엔진을 구동함으로써 상기 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 상기 감정 상태 기반 추가 애니메이션으로 보충하는 것을 포함할 수 있는 실시예일 수 있다.
실시예 29는 아바타를 생성하거나 애니메이팅하는 장치일 수 있으며, 이 장치는 사용자의 얼굴 데이터를 수신하는 수단과, 상기 사용자의 감정 상태를 결정하도록 상기 얼굴 데이터를 분석하는 수단과, 상기 사용자의 상기 감정 상태의 결정의 결과에 적어도 부분적으로 기초하여 상기 아바타의 애니메이션을 보충하는 추가의 애니메이션을 구동하는 수단을 포함하는 실시예일 수 있다.
실시예 30은 실시예 29에 있어서, 상기 수신하는 수단은 상기 사용자의 얼굴 메시의 얼굴 랜드마크 데이터를 수신하는 수단을 포함할 수 있는 실시예일 수 있다.
실시예 31은 실시예 29에 있어서, 상기 분석하는 수단은 감정 분류기들의 대응하는 감정 상태에 대한 복수의 신뢰도 값을 생성하기 위해 상기 얼굴 데이터를 제각기 프로세싱하는 수단을 포함할 수 있는 실시예일 수 있다.
실시예 32는 실시예 31에 있어서, 상기 감정 상태는 성난 상태, 혐오 상태, 두려운 상태, 행복한 상태, 슬픈 상태, 또는 놀란 상태 중 적어도 하나를 포함하는 실시예일 수 있다.
실시예 33은 실시예 29에 있어서, 상기 추가의 애니메이션을 구동하는 수단은, 상기 추가의 애니메이션에 대한 방출기를 생성하는 수단과, 상기 방출기로부터 방출될 입자들의 집합을 생성하는 수단을 포함할 수 있는 실시예일 수 있다.
실시예 34는 실시예 33에 있어서, 상기 추가의 애니메이션을 구동하는 수단은, 움직임 궤적을 획득하는 수단과, 상기 방출기로부터 방출될 입자들의 상기 움직임 궤도에서의 속도를 산출하는 수단을 더 포함할 수 있는 실시예일 수 있다.
실시예 35는 실시예 29 내지 34 중 어느 하나에 있어서, 상기 사용자의 하나 이상의 이미지 프레임을 수신하는 수단과, 상기 하나 이상의 이미지 프레임을 분석하여 상기 사용자의 얼굴 표정을 검출 및 트랙킹하는 수단과, 상기 하나 이상의 이미지 프레임의 분석의 결과에 적어도 부분적으로 기초하여 상기 얼굴 데이터를 제공하는 수단을 더 포함하는 실시예일 수 있다.
실시예 36은 실시예 35에 있어서, 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 상기 아바타의 애니메이션을 구동하는 수단을 더 포함하며, 상기 추가의 애니메이션을 구동하는 수단은 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 감정 상태 기반 추가 애니메이션으로 보충하는 수단을 포함할 수 있는 실시예일 수 있다.
실시예 37은 실시예 36에 있어서, 상기 아바타의 애니메이션을 구동하는 수단은 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 기본 애니메이션 메시지를 생성하는 수단과, 상기 사용자의 얼굴 표정에 기초하여 상기 아바타의 애니메이션을 구동하도록 상기 기본 애니메이션 메시지를 전송하는 수단을 포함할 수 있으며, 상기 추가의 애니메이션을 구동하는 수단은 상기 결정된 사용자의 감정 상태에 기초하여 보충 애니메이션 메시지를 생성하는 수단과, 상기 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 상기 감정 상태 기반 추가 애니메이션으로 보충하도록 상기 아바타의 애니메이션을 구동하는 보충 애니메이션 메시지를 전송하는 수단을 포함할 수 있는 실시예일 수 있다.
본 개시의 사상 또는 범주를 벗어나지 않고, 개시된 디바이스 및 관련 방법의 개시된 실시예에 다양한 수정 및 변형이 행해질 수 있다는 것이 당업자에게는 자명할 것이다. 즉, 본 개시는, 위에서 개시된 실시예의 수정 및 변형이 청구항 및 그 등가물의 범주 내에 있다면, 그 수정 및 변형을 커버한다고 의도된다.

Claims (25)

  1. 아바타를 애니메이팅하는 장치로서,
    하나 이상의 프로세서와,
    상기 프로세서에 의해 동작되어, 사용자의 얼굴 표정 데이터를 수신하고, 상기 얼굴 표정 데이터를 분석하여 상기 사용자의 감정 상태 및 상기 감정 상태의 강도를 결정하며, 상기 사용자의 감정 상태 및 상기 감정 상태의 강도의 결정의 결과에 적어도 부분적으로 기초하여 상기 아바타의 애니메이션을 보충하는 추가 애니메이션을 구동하는 애니메이션 증강 엔진을 포함하되,
    상기 추가 애니메이션 및 상기 아바타의 애니메이션은 별개의 애니메이션이고,
    상기 사용자의 감정 상태 및 상기 감정 상태의 강도의 결정의 결과에 적어도 부분적으로 기초하여 상기 아바타의 애니메이션을 보충하는 추가 애니메이션을 구동하는 것은, 상기 감정 상태의 강도를 반영하는 상기 추가 애니메이션의 볼륨(volume)을 구동하는 것을 포함하고,
    상기 감정 상태의 강도를 반영하는 상기 추가 애니메이션의 볼륨을 구동하는 것은, 상기 감정 상태의 강도를 반영하는 입자들(particles)의 개수 및 입자들의 속도를 갖는 움직임 궤적(movement trajectory)을 사용하여 입자들의 집합(collection)을 방출하는 것을 포함하고,
    상기 방출되는 입자들의 집합은 상기 결정된 사용자의 감정 상태와 연관되는,
    장치.
  2. 제1항에 있어서,
    상기 얼굴 표정 데이터를 수신하기 위해, 상기 애니메이션 증강 엔진은 상기 사용자의 얼굴 메시(facial mesh)의 얼굴 랜드마크 데이터를 수신하는,
    장치.
  3. 제1항에 있어서,
    상기 얼굴 표정 데이터를 분석하기 위해, 상기 애니메이션 증강 엔진은 복수의 감정 분류기를 포함하되, 상기 복수의 감정 분류기는 상기 얼굴 표정 데이터를 제각기 프로세싱하며, 상기 감정 분류기의 대응하는 감정 상태에 대한 복수의 신뢰도 값을 생성하는,
    장치.
  4. 제3항에 있어서,
    상기 복수의 감정 분류기는 혐오 상태 분류기, 두려운 상태 분류기, 또는 놀란 상태 분류기 중 적어도 하나를 포함하는,
    장치.
  5. 제1항에 있어서,
    상기 감정 상태는 혐오 상태, 두려운 상태, 또는 놀란 상태 중 적어도 하나를 포함하는 복수의 감정 상태 중 하나인,
    장치.
  6. 제1항에 있어서,
    상기 감정 상태의 강도를 반영하는 입자들의 개수 및 입자들의 속도를 갖는 움직임 궤적을 사용하여 입자들의 집합을 방출하는 것은, 상기 움직임 궤적을 획득하는 것과, 상기 결정된 감정 상태의 강도에 적어도 부분적으로 기초하여 상기 입자들의 개수 및 상기 입자들의 속도를 계산하는 것을 포함하는,
    장치.
  7. 제6항에 있어서,
    상기 추가 애니메이션을 구동하기 위해, 상기 애니메이션 증강 엔진은 상기 추가 애니메이션에 대해 상기 입자들의 집합을 방출하는 방출기를 생성하고, 상기 방출기로부터 방출되는 상기 입자들의 집합을 생성하는,
    장치.
  8. 제1항에 있어서,
    상기 하나 이상의 프로세서에 의해 동작되어, 상기 사용자의 하나 이상의 이미지 프레임을 수신하고, 상기 하나 이상의 이미지 프레임을 분석하여 상기 사용자의 얼굴 표정을 검출 및 트랙킹하며, 상기 하나 이상의 이미지 프레임의 분석의 결과에 적어도 부분적으로 기초하여 상기 얼굴 표정 데이터를 상기 애니메이션 증강 엔진에 제공하는 얼굴 표정 트랙커를 더 포함하는
    장치.
  9. 제8항에 있어서,
    상기 하나 이상의 프로세서에 의해 동작되는 아바타 애니메이션 엔진을 더 포함하되,
    상기 얼굴 표정 트랙커는 상기 아바타 애니메이션 엔진을 구동하여 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 상기 아바타를 애니메이팅하며,
    상기 추가 애니메이션을 구동하기 위해, 상기 애니메이션 증강 엔진은 상기 아바타 애니메이션 엔진을 구동하여 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 감정 상태 기반 추가 애니메이션으로 개별적으로 보충하는,
    장치.
  10. 제9항에 있어서,
    상기 얼굴 표정 트랙커는, 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 기본 애니메이션 메시지를 생성하고 상기 기본 애니메이션 메시지를 상기 아바타 애니메이션 엔진에 전송하여 상기 아바타 애니메이션 엔진을 구동함으로써 상기 사용자의 얼굴 표정에 기초하여 상기 아바타를 애니메이팅하는, 기본 애니메이션 메시지 생성기를 포함하며,
    상기 애니메이션 증강 엔진은, 검출된 상기 사용자의 감정 상태에 기초하여 보충 애니메이션 메시지를 생성하고 상기 보충 애니메이션 메시지를 상기 아바타 애니메이션 엔진에 전송하여 상기 아바타 애니메이션 엔진을 구동함으로써 상기 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 상기 감정 상태 기반 추가 애니메이션으로 개별적으로 보충하는, 보충 애니메이션 메시지 생성기를 포함하는,
    장치.
  11. 아바타를 애니메이팅하는 방법으로서,
    컴퓨팅 디바이스에 의해, 사용자의 얼굴 표정 데이터를 수신하는 단계와,
    상기 컴퓨팅 디바이스에 의해, 상기 사용자의 감정 상태 및 상기 감정 상태의 강도를 결정하도록 상기 얼굴 표정 데이터를 분석하는 단계와,
    상기 컴퓨팅 디바이스에 의해, 상기 사용자의 상기 감정 상태 및 상기 감정 상태의 강도의 결정의 결과에 적어도 부분적으로 기초하여 상기 아바타의 애니메이션을 보충하는 추가 애니메이션을 구동하는 단계를 포함하되,
    상기 추가 애니메이션 및 상기 아바타의 애니메이션은 별개의 애니메이션이고,
    상기 분석하는 단계는 상기 결정된 사용자의 감정 상태의 서브 상태를 결정하도록 상기 얼굴 표정 데이터를 분석하는 단계를 더 포함하고,
    상기 추가 애니메이션을 구동하는 단계는, 상기 사용자의 감정 상태의 결정의 결과 및 상기 결정된 사용자의 감정 상태의 서브 상태의 결정의 결과에 적어도 부분적으로 기초하여 상기 아바타의 애니메이션을 개별적으로 보충하는 추가 애니메이션을 구동하는 단계를 포함하고,
    상기 감정 상태는 행복한 상태를 포함하고, 상기 행복한 상태는 로맨틱한(romantic) 서브 상태를 포함하며,
    상기 사용자가 로맨틱하게 행복한 상태에 있다고 결정되는 경우, 상기 추가 애니메이션을 구동하는 단계는, 상기 결정된 로맨틱하게 행복한 상태에 적어도 부분적으로 기초하여, 상기 아바타의 애니메이션을 개별적으로 보충하기 위해 쏟아지는 하트(a shower of hearts)의 추가 애니메이션을 구동하는 단계를 포함하는,
    방법.
  12. 제11항에 있어서,
    상기 얼굴 표정 데이터를 수신하는 단계는 상기 사용자의 얼굴 메시의 얼굴 랜드마크 데이터를 수신하는 단계를 포함하는,
    방법.
  13. 제11항에 있어서,
    상기 컴퓨팅 디바이스에 의해 움직임 궤적을 획득하는 단계와,
    상기 컴퓨팅 디바이스에 의해, 상기 결정된 감정 상태의 강도에 적어도 부분적으로 기초하여, 방출기로부터 방출되는 입자들의 집합에 대해 상기 움직임 궤적에서의 속도를 계산하는 단계를 더 포함하되,
    상기 방출되는 입자들의 집합은 상기 결정된 사용자의 감정 상태와 연관되는,
    방법.
  14. 제13항에 있어서,
    상기 추가 애니메이션을 구동하는 단계는, 상기 추가 애니메이션에 대해 상기 방출기를 생성하는 단계와, 상기 감정 상태의 강도를 반영하는 입자들의 볼륨을 사용하여 상기 방출기로부터 방출되는 상기 입자들의 집합을 생성하는 단계를 포함하는,
    방법.
  15. 명령어를 포함한 하나 이상의 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어는 컴퓨팅 디바이스에 의한 상기 명령어의 실행에 응답하여, 상기 컴퓨팅 디바이스로 하여금,
    사용자의 얼굴 표정 데이터를 수신하게 하고,
    상기 얼굴 표정 데이터를 분석하여 상기 사용자의 감정 상태 및 상기 감정 상태의 강도를 결정하게 하고,
    상기 사용자의 감정 상태 및 상기 감정 상태의 강도의 결정의 결과에 적어도 부분적으로 기초하여 아바타의 애니메이션을 보충하는 추가 애니메이션을 구동하게 하고,
    상기 추가 애니메이션 및 상기 아바타의 애니메이션은 별개의 애니메이션이고,
    상기 사용자의 감정 상태 및 상기 감정 상태의 강도의 결정의 결과에 적어도 부분적으로 기초하여 아바타의 애니메이션을 보충하는 추가 애니메이션을 구동하는 것은, 상기 감정 상태의 강도를 반영하는 상기 추가 애니메이션의 볼륨을 구동하는 것을 포함하고,
    상기 감정 상태의 강도를 반영하는 상기 추가 애니메이션의 볼륨을 구동하는 것은, 상기 감정 상태의 강도를 반영하는 입자들의 개수 및 입자들의 속도를 갖는 움직임 궤적을 사용하여 입자들의 집합을 방출하는 것을 포함하고,
    상기 방출되는 입자들의 집합은 상기 결정된 사용자의 감정 상태와 연관되는,
    비일시적 컴퓨터 판독가능 매체.
  16. 제15항에 있어서,
    상기 얼굴 표정 데이터를 수신하는 것은 상기 사용자의 얼굴 메시의 얼굴 랜드마크 데이터를 수신하는 것을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  17. 제16항에 있어서,
    상기 얼굴 표정 데이터를 분석하는 것은, 상기 얼굴 표정 데이터를 복수의 감정 분류기를 사용하여 제각기 프로세싱하여, 상기 감정 분류기의 대응하는 감정 상태에 대한 복수의 신뢰도 값을 생성하는 것을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  18. 제17항에 있어서,
    상기 복수의 감정 분류기는 혐오 상태 분류기, 두려운 상태 분류기, 또는 놀란 상태 분류기 중 적어도 하나를 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  19. 제15항에 있어서,
    상기 감정 상태의 강도를 반영하는 입자들의 개수 및 입자들의 속도를 갖는 움직임 궤적을 사용하여 입자들의 집합을 방출하도록, 상기 컴퓨팅 디바이스는 또한, 상기 움직임 궤적을 획득하게 되고, 상기 결정된 감정 상태의 강도에 적어도 부분적으로 기초하여, 상기 방출되는 입자들의 집합에 대해 상기 움직임 궤적에서의 속도를 계산하게 되는,
    비일시적 컴퓨터 판독가능 매체.
  20. 제19항에 있어서,
    추가 애니메이션을 구동하는 것은, 상기 추가 애니메이션에 대해 상기 입자들의 집합을 방출하는 방출기를 생성하는 것과, 상기 방출기로부터 방출되는 상기 입자들의 집합을 생성하는 것을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  21. 제15항에 있어서,
    상기 컴퓨팅 디바이스는 또한, 상기 사용자의 하나 이상의 이미지 프레임을 수신하게 되고, 상기 하나 이상의 이미지 프레임을 분석하여 상기 사용자의 얼굴 표정을 검출 및 트랙킹하게 되며, 상기 하나 이상의 이미지 프레임의 분석의 결과에 적어도 부분적으로 기초하여 상기 얼굴 표정 데이터를 제공하게 되는,
    비일시적 컴퓨터 판독가능 매체.
  22. 제21항에 있어서,
    상기 컴퓨팅 디바이스는 또한, 아바타 애니메이션 엔진을 구동하여 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 상기 아바타를 애니메이팅하게 되고,
    상기 추가 애니메이션을 구동하는 것은, 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 감정 상태 기반 추가 애니메이션으로 개별적으로 보충하는 것을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  23. 제22항에 있어서,
    상기 애니메이션을 구동하는 것은, 상기 검출 및 트랙킹된 사용자의 얼굴 표정에 기초하여 기본 애니메이션 메시지를 생성하는 것과, 상기 기본 애니메이션 메시지를 상기 아바타 애니메이션 엔진에 전송하여 상기 아바타 애니메이션 엔진을 구동함으로써 상기 사용자의 얼굴 표정에 기초하여 상기 아바타를 애니메이팅하는 것을 포함하고,
    상기 추가 애니메이션을 구동하는 것은, 검출된 상기 사용자의 감정 상태에 기초하여 보충 애니메이션 메시지를 생성하는 것과, 상기 보충 애니메이션 메시지를 상기 아바타 애니메이션 엔진에 전송하여 상기 아바타 애니메이션 엔진을 구동함으로써 상기 사용자의 얼굴 표정에 기초한 상기 아바타의 애니메이션을 상기 감정 상태 기반 추가 애니메이션으로 개별적으로 보충하는 것을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  24. 제15항에 있어서,
    상기 얼굴 표정 데이터를 분석하여 상기 사용자의 감정 상태를 결정하는 것은, 상기 얼굴 표정 데이터를 분석하여 상기 결정된 사용자의 감정 상태의 서브 상태를 결정하는 것을 더 포함하고,
    상기 아바타의 애니메이션을 개별적으로 보충하는 추가 애니메이션을 구동하는 것은, 상기 사용자의 감정 상태의 결정의 결과 및 상기 결정된 사용자의 감정 상태의 서브 상태의 결정의 결과에 적어도 부분적으로 기초하여 상기 아바타의 애니메이션을 개별적으로 보충하는 추가 애니메이션을 구동하는 것을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
  25. 제24항에 있어서,
    상기 감정 상태는 행복한 상태를 포함하고, 상기 행복한 상태는 로맨틱한 서브 상태를 포함하며,
    상기 사용자가 로맨틱하게 행복한 상태에 있다고 결정되는 경우, 상기 아바타의 추가 애니메이션을 개별적으로 보충하는 추가 애니메이션을 구동하는 것은, 상기 결정된 로맨틱하게 행복한 상태에 적어도 부분적으로 기초하여, 상기 아바타의 애니메이션을 개별적으로 보충하기 위해 쏟아지는 하트의 추가 애니메이션을 구동하는 것을 포함하는,
    비일시적 컴퓨터 판독가능 매체.
KR1020187005785A 2015-07-30 2015-07-30 감정 증강형 아바타 애니메이션 KR102381687B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/085556 WO2017015949A1 (en) 2015-07-30 2015-07-30 Emotion augmented avatar animation

Publications (2)

Publication Number Publication Date
KR20180034604A KR20180034604A (ko) 2018-04-04
KR102381687B1 true KR102381687B1 (ko) 2022-03-31

Family

ID=57883937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187005785A KR102381687B1 (ko) 2015-07-30 2015-07-30 감정 증강형 아바타 애니메이션

Country Status (6)

Country Link
US (2) US10176619B2 (ko)
EP (1) EP3329390A4 (ko)
JP (1) JP6798707B2 (ko)
KR (1) KR102381687B1 (ko)
CN (1) CN108140020A (ko)
WO (1) WO2017015949A1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
CN104170318B (zh) 2012-04-09 2018-06-01 英特尔公司 使用交互化身的通信
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
US10082866B2 (en) * 2016-04-12 2018-09-25 International Business Machines Corporation Gaze point detection using dynamic facial reference points under varying lighting conditions
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179978B1 (en) 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US9812151B1 (en) * 2016-11-18 2017-11-07 IPsoft Incorporated Generating communicative behaviors for anthropomorphic virtual agents based on user's affect
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US10438393B2 (en) * 2017-03-16 2019-10-08 Linden Research, Inc. Virtual reality presentation of body postures of avatars
US11562271B2 (en) * 2017-03-21 2023-01-24 Huawei Technologies Co., Ltd. Control method, terminal, and system using environmental feature data and biological feature data to display a current movement picture
US10872272B2 (en) * 2017-04-13 2020-12-22 L'oreal System and method using machine learning for iris tracking, measurement, and simulation
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10521948B2 (en) * 2017-05-16 2019-12-31 Apple Inc. Emoji recording and sending
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
JP6639444B2 (ja) 2017-06-07 2020-02-05 本田技研工業株式会社 情報提供装置及び情報提供方法
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
IL275078B1 (en) 2017-12-14 2024-04-01 Magic Leap Inc Context-based processing of virtual characters
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
JP7073116B2 (ja) * 2018-01-22 2022-05-23 システムインテリジェント株式会社 オフィス用バーチャルリアリティシステム、及びオフィス用バーチャルリアリティプログラム
US11334376B2 (en) 2018-02-13 2022-05-17 Samsung Electronics Co., Ltd. Emotion-aw are reactive interface
DK201870380A1 (en) 2018-05-07 2020-01-29 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
CN108933895A (zh) * 2018-07-27 2018-12-04 北京微播视界科技有限公司 三维粒子特效生成方法、装置和电子设备
US10783649B2 (en) * 2018-09-17 2020-09-22 Adobe Inc. Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models
US11127181B2 (en) * 2018-09-19 2021-09-21 XRSpace CO., LTD. Avatar facial expression generating system and method of avatar facial expression generation
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
TW202014992A (zh) * 2018-10-08 2020-04-16 財團法人資訊工業策進會 虛擬臉部模型之表情擬真系統及方法
US10726584B2 (en) * 2018-11-28 2020-07-28 International Business Machines Corporation Displaying a virtual eye on a wearable device
CN109766040B (zh) * 2018-12-29 2022-03-25 联想(北京)有限公司 一种控制方法及控制装置
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US10977549B2 (en) * 2019-02-14 2021-04-13 Adobe Inc. Object animation using generative neural networks
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11875603B2 (en) 2019-04-30 2024-01-16 Hewlett-Packard Development Company, L.P. Facial action unit detection
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
KR102241153B1 (ko) * 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
CN111078345B (zh) * 2019-12-18 2023-09-19 北京金山安全软件有限公司 一种图片展示效果确定方法、装置、电子设备及存储介质
JP6816247B2 (ja) * 2019-12-24 2021-01-20 本田技研工業株式会社 情報提供装置
US11620779B2 (en) * 2020-01-03 2023-04-04 Vangogh Imaging, Inc. Remote visualization of real-time three-dimensional (3D) facial animation with synchronized voice
US11593984B2 (en) 2020-02-07 2023-02-28 Apple Inc. Using text for avatar animation
JP7251003B2 (ja) * 2020-02-26 2023-04-03 ソウル マシーンズ リミティド 細かいしわを有する顔メッシュ変形
TWI829944B (zh) * 2020-02-27 2024-01-21 未來市股份有限公司 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
CN111695471B (zh) * 2020-06-02 2023-06-27 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质
WO2021252160A1 (en) 2020-06-08 2021-12-16 Apple Inc. Presenting avatars in three-dimensional environments
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11509612B2 (en) * 2020-12-15 2022-11-22 Microsoft Technology Licensing, Llc Modifying an avatar to reflect a user's expression in a messaging platform
KR102361883B1 (ko) * 2021-07-28 2022-02-14 주식회사 코모컴퍼니 온라인 플랫폼에서 사용자 맞춤형 캐릭터 상품을 제공하는 방법 및 그 서버
US11890545B2 (en) * 2021-09-14 2024-02-06 Sony Group Corporation Enhancement of gameplay experience based on analysis of player data
KR102577132B1 (ko) * 2021-09-24 2023-09-12 (주)이머시브캐스트 3차원 텍스트 메시징 서비스 장치 및 방법
US20240061499A1 (en) * 2022-08-22 2024-02-22 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018305A (ja) 2003-06-25 2005-01-20 Oki Electric Ind Co Ltd 画像配信システムおよび画像コミュニケーション機能付情報処理装置
US20110296324A1 (en) 2010-06-01 2011-12-01 Apple Inc. Avatars Reflecting User States
US20120139899A1 (en) 2010-12-06 2012-06-07 Microsoft Corporation Semantic Rigging of Avatars
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
WO2014094199A1 (en) 2012-12-17 2014-06-26 Intel Corporation Facial movement based avatar animation

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863216B2 (ja) * 1996-05-22 2006-12-27 富士通株式会社 感情表現装置
JP2003244425A (ja) * 2001-12-04 2003-08-29 Fuji Photo Film Co Ltd 伝送画像の修飾パターンの登録方法および装置ならびに再生方法および装置
JP2005173772A (ja) * 2003-12-09 2005-06-30 Oki Electric Ind Co Ltd 画像通信システムおよび画像生成方法
CN101069213B (zh) * 2004-11-30 2010-07-14 松下电器产业株式会社 场景修饰表现生成装置以及场景修饰表现生成方法
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
JP2009199417A (ja) * 2008-02-22 2009-09-03 Denso Corp 顔追跡装置及び顔追跡方法
JP5120777B2 (ja) * 2008-04-11 2013-01-16 カシオ計算機株式会社 電子データ編集装置、電子データ編集方法及びプログラム
JP5153434B2 (ja) * 2008-04-22 2013-02-27 キヤノン株式会社 情報処理装置及び情報処理方法
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
US8452721B2 (en) * 2010-06-15 2013-05-28 Nvidia Corporation Region of interest tracking for fluid simulation
JP5460499B2 (ja) * 2010-07-12 2014-04-02 日本放送協会 画像処理装置およびコンピュータプログラム
US9747495B2 (en) * 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
JP5790568B2 (ja) * 2012-03-28 2015-10-07 株式会社デンソー メッセージ装飾入力システム
JP5953097B2 (ja) * 2012-04-24 2016-07-20 ゼネラル・エレクトリック・カンパニイ イメージ位置合わせのための最適勾配追求
US9425974B2 (en) * 2012-08-15 2016-08-23 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US10319249B2 (en) * 2012-11-21 2019-06-11 Laureate Education, Inc. Facial expression recognition in educational learning systems
US20140153832A1 (en) * 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images
CN103873642A (zh) * 2012-12-10 2014-06-18 北京三星通信技术研究有限公司 记载通话记录的方法及设备
CN103593650B (zh) * 2013-10-28 2017-01-25 浙江大学 一种基于表情识别系统生成艺术图像的方法
CN104410911B (zh) * 2014-12-31 2015-12-09 合一网络技术(北京)有限公司 基于视频情感标注辅助识别面部表情的方法
US9576190B2 (en) * 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
US9747573B2 (en) * 2015-03-23 2017-08-29 Avatar Merger Sub II, LLC Emotion recognition for workforce analytics
US10386996B2 (en) * 2015-06-11 2019-08-20 Microsoft Technology Licensing, Llc Communicating emotional information via avatar animation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018305A (ja) 2003-06-25 2005-01-20 Oki Electric Ind Co Ltd 画像配信システムおよび画像コミュニケーション機能付情報処理装置
US20110296324A1 (en) 2010-06-01 2011-12-01 Apple Inc. Avatars Reflecting User States
US20120139899A1 (en) 2010-12-06 2012-06-07 Microsoft Corporation Semantic Rigging of Avatars
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
WO2014094199A1 (en) 2012-12-17 2014-06-26 Intel Corporation Facial movement based avatar animation

Also Published As

Publication number Publication date
EP3329390A1 (en) 2018-06-06
JP6798707B2 (ja) 2020-12-09
US20190213774A1 (en) 2019-07-11
JP2018530017A (ja) 2018-10-11
KR20180034604A (ko) 2018-04-04
US10776980B2 (en) 2020-09-15
WO2017015949A1 (en) 2017-02-02
CN108140020A (zh) 2018-06-08
EP3329390A4 (en) 2019-04-03
US10176619B2 (en) 2019-01-08
US20170206694A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
KR102381687B1 (ko) 감정 증강형 아바타 애니메이션
CN107431635B (zh) 化身面部表情和/或语音驱动的动画化
KR102450865B1 (ko) 아바타 키보드
CN107004287B (zh) 化身视频装置和方法
US20170069124A1 (en) Avatar generation and animations
KR102103939B1 (ko) 머리 회전을 갖는 아바타 얼굴 표정 애니메이션
US20160042548A1 (en) Facial expression and/or interaction driven avatar apparatus and method
US20230012372A1 (en) Methods and systems for generating three dimensional (3d) models of objects
Kowalski et al. Holoface: Augmenting human-to-human interactions on hololens
WO2014170757A2 (en) 3d rendering for training computer vision recognition
US20140306953A1 (en) 3D Rendering for Training Computer Vision Recognition
Xu et al. Statistical learning based facial animation
Schreer et al. Real-time vision and speech driven avatars for multimedia applications
Condell et al. HandPuppet3D: Motion capture and analysis for character animation
US20230394732A1 (en) Creating images, meshes, and talking animations from mouth shape data
Yu et al. Real-time 2.5 d facial cartoon animation based on pose and expression estimation
WO2023081138A1 (en) Estimating facial expressions using facial landmarks

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant