KR20120059994A - 표정 제어점을 이용한 아바타 제어 장치 및 방법 - Google Patents

표정 제어점을 이용한 아바타 제어 장치 및 방법 Download PDF

Info

Publication number
KR20120059994A
KR20120059994A KR1020100121533A KR20100121533A KR20120059994A KR 20120059994 A KR20120059994 A KR 20120059994A KR 1020100121533 A KR1020100121533 A KR 1020100121533A KR 20100121533 A KR20100121533 A KR 20100121533A KR 20120059994 A KR20120059994 A KR 20120059994A
Authority
KR
South Korea
Prior art keywords
facial expression
feature point
expression
point position
control point
Prior art date
Application number
KR1020100121533A
Other languages
English (en)
Inventor
황영규
김정배
방원철
김도균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100121533A priority Critical patent/KR20120059994A/ko
Priority to US13/307,541 priority patent/US9298257B2/en
Publication of KR20120059994A publication Critical patent/KR20120059994A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

표정 제어점을 이용한 아바타 제어 장치 및 방법이 개시된다. 아바타 제어 장치는 사용자의 얼굴 표정에서 특징점 위치와 머리 움직임을 추적하고, 특징점 위치에 머리 움직임을 제거한 후, 표정 제어점을 생성하여 사용자의 얼굴 표정을 아바타의 얼굴에 반영할 수 있다.

Description

표정 제어점을 이용한 아바타 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROL AVATAR USING EXPRESSION CONTROL POINT}
본 발명의 일실시예들은 아바타 제어 장치 및 방법에 관한 것으로, 보다 구체적으로는 사용자의 얼굴 표정으로부터 표정 제어점을 생성하고, 표정 제어점을 이용하여 아바타를 제어하는 장치 및 방법에 관한 것이다.
최근 가상 세계를 이용한 서비스가 널리 사용되면서, 가상 세계에서 아바타를 제어하는 것이 중요해졌다. 이를 위해, 아바타에 대응하는 사용자의 얼굴 표정을 아바타에 반영함으로써 아바타를 보다 사실적으로 표현하는 기술이 나타났다.
사람의 얼굴 표정은 매우 섬세하기 때문에 아주 작은 움직임을 아바타에 반영하지 못하면, 아바타는 부자연스러운 표정을 나타낸다. 따라서, 사용자의 얼굴 표정의 변화를 보다 정확하게 추적하여 보다 자연스럽게 아바타를 제어할 수 있는 기술이 요구되고 있다.
본 발명의 일실시예에 따른 장치는 사용자의 얼굴 표정 영상으로부터 얼굴 표정의 특징점 위치 및 머리 움직임을 추적하는 표정 추적부; 상기 추적한 특징점 위치에서 머리 움직임을 제거하여 상기 얼굴 표정의 특징점 위치를 재설정하는 특징점 위치 재설정부; 및 상기 재설정된 특징점 위치에 기초한 표정 파라미터를 이용하여 표정 제어점을 생성하는 제어점 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 장치는 상기 표정 제어점을 이용하여 아바타의 표정을 제어하는 표정 제어부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 방법은 사용자의 얼굴 표정 영상으로부터 얼굴 표정의 특징점 위치 및 머리 움직임을 추적하는 단계; 상기 추적한 특징점 위치에서 머리 움직임을 제거하여 상기 얼굴 표정의 특징점 위치를 재설정하는 단계; 및 상기 재설정된 특징점 위치에 기초한 표정 파라미터를 이용하여 표정 제어점을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 방법은 상기 표정 제어점을 이용하여 아바타의 표정을 제어하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 마커를 이용하지 않고 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 특징점 위치를 추적함으로써, 한 대의 카메라로 사실적인 아바타 표정 제어가 가능하다.
본 발명의 일실시예에 따르면, 사용자의 얼굴 표정으로부터 추적한 특징점 위치에 머리 움직임을 제거함으로써 얼굴 표정에 강인한 결과를 도출할 수 있다.
본 발명의 일실시예에 따르면, 마커를 통해 수집한 모션 캡쳐 데이터를 사용자의 얼굴 표정으로부터 추출한 특징점 위치에 따라 조정하여 표정 파라미터를 도출한 후 표정 제어점을 생성함으로써 보다 자연스러운 아바타 표정을 재현할 수 있다.
도 1은 본 발명의 일실시예에 따른 아바타를 제어하는 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따른 도 1의 표정 추적부의 동작을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 도 1의 특징점 위치 재설정부의 동작을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 특징점 위치를 재설정하는 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 도 1의 제어점 생성부의 동작을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 제어점을 생성하기 위한 모션 캡쳐 데이터를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 도 1의 표정 제어부의 동작을 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 아바타를 제어하는 일례를 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 아바타를 제어하는 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 1을 참고하면, 아바타를 제어하는 장치(101)는 표정 추적부(102), 특징점 위치 재설정부(103), 제어점 생성부(104) 및 표정 제어부(105)를 포함할 수 있다.
표정 추적부(102)는 사용자의 얼굴 표정 영상으로부터 얼굴 표정의 특징점 위치 및 머리 움직임을 추적할 수 있다. 그리고, 표정 추적부(102)는 사용자의 눈동자 움직임도 추적할 수 있다. 일례로, 사용자의 얼굴 표정 영상은 1대의 카메라를 통해 수집될 수 있다. 카메라를 통해 수집된 사용자의 얼굴 표정 영상은 사용자의 얼굴 표정의 변화가 반영된 영상일 수 있다.
표정 추적부(102)에 대해서는 도 2에서 구체적으로 설명하기로 한다.
특징점 위치 재설정부(103)는 추적한 특징점 위치에서 머리 움직임을 제거하여 얼굴 표정의 특징점 위치를 재설정할 수 있다. 구체적으로, 표정 추적부(102)가 추적한 특징점 위치는 머리 움직임이 반영된 결과이다. 특징점 위치 재설정부(103)는 특징점 위치에서 머리 움직임을 제거하여 사용자가 정면을 바라보고 있을 때의 특징점 위치로 재설정할 수 있다.
특징점 위치 재설정부(103)에 대해서는 도 3 및 도 4에서 구체적으로 설명하기로 한다.
제어점 생성부(104)는 재설정된 특징점 위치에 기초한 표정 파라미터를 이용하여 표정 제어점을 생성할 수 있다. 이 때, 재설정된 특징점 위치는 표정 추적부(102)가 추적한 특징점 위치에서 머리 움직임이 제거된 결과이다. 일례로, 제어점 생성부(104)는 마커에 기초한 모션 캡쳐 데이터로부터 생성된 표정 파라미터를 이용하여 표정 제어점을 생성할 수 있다. 제어점 생성부(104)에 대해서는 도 5 및 도 6에서 구체적으로 설명하기로 한다.
표정 제어부(105)는 생성된 표정 제어점을 이용하여 아바타의 표정을 제어할 수 있다. 즉, 표정 제어부(105)는 사용자의 얼굴 표정 변화를 아바타의 표정에 반영할 수 있다. 구체적으로, 표정 제어부(105)는 표정 제어점을 이용하여 아바타의 눈동자 움직임, 머리 움직임, 표정을 제어할 수 있다. 표정 제어부(105)에 대해서는 도 7 및 도 8에서 구체적으로 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 도 1의 표정 추적부의 동작을 도시한 도면이다.
표정 추적부(102)는 사용자의 얼굴 표정 영상으로부터 특징점을 추출할 수 있다(S201). 일례로, 표정 추적부(102)는 얼굴 모양을 학습하여 얼굴 표정의 특징점 위치를 추출할 수 있다. 특징점은 얼굴 및 얼굴 표정을 감지할 수 있도록 학습 또는 시맨틱(Semantic)하게 정의된 얼굴의 특정 부분을 의미한다. 구체적으로, 표정 추적부(102)는 Active Appearance Model 기법 등을 이용하여 얼굴 패턴을 학습하여 얼굴 표정 영상으로부터 특징점 위치를 자동으로 추출할 수 있다.
그리고, 표정 추적부(102)는 추출된 특징점 위치를 이용하여 머리 회전각에 기초한 머리 움직임을 추정할 수 있다(S202). 이 때, 머리 움직임은 전역 움직임(global movement)으로 표현될 수 있다.
일례로, 표정 추적부(102)는 특징점 위치를 이용하여 얼굴의 좌측 면적과 우측 면적을 구할 수 있다. 이 때, 표정 추적부(102)는 얼굴 미간의 중간에 위치한 특징점 위치, 얼굴의 윤곽을 나타내는 특징점 위치, 코 끝에 대응하는 특징점 위치, 입술 주위에 위치한 특징점 위치와 같은 대표 특징점 위치를 이용하여 얼굴의 좌측 면적과 우측 면적을 구할 수 있다. 구체적으로, 표정 추적부(102)는 대표 특정점 위치를 기초로 삼각형을 만들고, 삼각형 면적의 합을 계산하여 얼굴의 좌측 면적과 우측 면적을 구할 수 있다.
그런 다음, 표정 추적부(102)는 얼굴의 좌측 면적과 우측 면적의 비율로부터 얼굴의 포즈인 머리 회전각을 추정할 수 있다. 사용자의 머리가 오른쪽으로 회전하면 머리 회전각은 양의 값을 가지고, 사용자의 머리가 왼쪽으로 회전하면 머리 회전각은 음의 값을 가진다고 가정한다. 이 때, 사용자의 머리가 오른쪽으로 회전한 경우, 머리 회전각의 범위를 0°≤θ≤45°로 가정한다. 이 때, 얼굴의 좌측 면적(LHP)은 하기 수학식 1로 표현되고, 얼굴의 우측 면적(RHP)은 하기 수학식 2로 표현될 수 있다.
Figure pat00001
Figure pat00002
여기서, θ는 머리 회전각을 의미한다. 그리고, w1은 얼굴의 좌측 폭, w2은 얼굴의 우측 폭, h1은 얼굴의 볼에 대응하는 길이, h2은 얼굴의 턱에 대응하는 길이를 의미한다. 또한, r은 머리의 중심으로부터 머리의 외각선까지의 거리를 의미한다.
그러면, 얼굴의 좌측 면적과 우측 면적의 비율은 하기 수학식 3에 따라 결정되고, 머리 회전각은 하기 수학식 4에 따라 추정될 수 있다.
Figure pat00003
Figure pat00004
반대로, 사용자의 머리가 왼쪽으로 회전한 경우, 머리 회전각의 범위를 -45°≤θ≤0로 가정한다. 이 때, 얼굴의 좌측 면적(LHP)은 하기 수학식 5로 표현되고, 얼굴의 우측 면적(RHP)은 하기 수학식 6으로 표현될 수 있다.
Figure pat00005
Figure pat00006
여기서, θ는 머리 회전각을 의미한다. 그리고, w1은 얼굴의 좌측 폭, w2은 얼굴의 우측 폭, h1은 얼굴의 볼에 대응하는 길이, h2은 얼굴의 턱에 대응하는 길이를 의미한다. 또한, r은 머리의 중심으로부터 머리의 외각선까지의 거리를 의미한다.
그러면, 얼굴의 좌측 면적과 우측 면적의 비율은 하기 수학식 7에 따라 결정되고, 머리 회전각은 하기 수학식 8에 따라 추정될 수 있다.
Figure pat00007
Figure pat00008
이와 같은 방법을 통해 표정 추적부(102)는 머리 움직임에 따른 roll, pitch, yaw 방향의 머리 회전각을 추정할 수 있다.
도 3은 본 발명의 일실시예에 따른 도 1의 특징점 위치 재설정부의 동작을 도시한 도면이다.
특징점 위치 재설정부(103)는 머리 움직임에 기초한 역이동(inverse translation), 역회전(inverse rotation) 또는 역스케일(inverse scale)을 계산할 수 있다(S301). 머리 움직임이 존재하는 경우, 사용자가 정면을 볼 때와 비교했을 때 X, Y, Z축 회전이 존재하고, X, Y 축의 위치 변화 및 스케일 변화가 존재한다.
만약, 표정 추적부(102)를 통해 머리 움직임이 roll, pitch, yaw 방향으로 각각 -α, -β, -γ 만큼 회전한 것으로 추정된 경우, 특징점 위치 재설정부(103)는 수학식 9에 따라 머리 움직임을 α, β, γ 만큼 역회전시키는 행렬을 계산할 수 있다.
Figure pat00009
그리고, 특징점 위치 재설정부(103)는 얼굴 표정 변화에도 움직이지 않는 특징점 위치를 기준으로 X, Y축의 원점을 해당 특징점 위치로 이동시키는 역이동을 계산할 수 있다. 또는, 특징점 위치 재설정부(103)는 기준 표정 또는 처음 프레임에서 모든 특징점 위치의 자취(centroid)를 구하여 X, Y축의 원점을 이동시키는 역이동을 계산할 수 있다.
또한, 특징점 위치 재설정부(103)는 기준 표정 또는 처음 프레임에서 모든 특징점 위치의 자취를 구하고, 자취로부터 각 특징점 위치의 평균 거리(S0)를 계산할 수 있다. 특징점 위치 재설정부(103)는 다음 프레임에서 모든 특징점 위치의 자취를 구하고, 자취로부터 각 특징점 위치의 평균 거리(S')를 계산할 수 있다. 그런 다음, 특징점 위치 재설정부(103)는 평균 거리(S0)와 평균 거리(S')의 비율인 역스케일을 계산할 수 있다.
특징점 위치 재설정부(103)는 계산된 역이동(inverse translation), 역회전(inverse rotation) 또는 역스케일(inverse scale)을 이용하여 사용자가 정면을 볼 때의 기준 표정으로 특징점 위치를 재설정할 수 있다(S302).
일례로, 특징점 위치 재설정부(103)는 표정 추적부(102)가 추적한 특징점 위치에서 머리 움직임을 제거하여 특징점 위치를 재설정할 수 있다. 이 때, 수학식 10은 표정 추적부(102)가 추적한 특징점 위치와 재설정된 특징점 위치의 관계를 나타낸다.
Figure pat00010
F'는 표정 추적부(102)가 추적한 특징점 위치, F는 재설정된 특징점 위치를 나타낸다. 그리고, s는 스케일, R은 회전, t는 이동을 나타낸다. 따라서, 특징점 위치 재설정부(103)는 수학식 10에서 역스케일인 -S, 역회전인 R-1, 역이동인 -t를 적용하여 재설정된 특징점 위치를 결정할 수 있다.
도 4는 본 발명의 일실시예에 따라 특징점 위치를 재설정하는 일례를 도시한 도면이다.
도 4를 참고하면, 영상(401)은 사용자의 얼굴 표정 영상으로, 얼굴 표정의 특징점 위치가 표시되어 있다. 영상(401)에서 사용자의 머리는 중심으로부터 왼쪽으로 회전된 것을 알 수 있다.
특징점 위치 재설정부(103)는 영상(401)에 표시된 특징점 위치를 사용자가 정면으로 바라보았을 때의 기준 표정으로 재설정할 수 있다. 재설정된 특징점 위치는 영상(402)에 표시되어 있다. 본 발명의 일실시예에 따르면, 특징점 위치를 기준 표정에 대응하여 재설정함으로써 사용자의 머리 움직임에도 안정적으로 얼굴 표정 분석을 수행할 수 있다.
도 5는 본 발명의 일실시예에 따른 도 1의 제어점 생성부의 동작을 도시한 도면이다.
제어점 생성부(104)는 재설정된 특징점 위치에 기초한 표정 파라미터를 이용하여 표정 제어점을 생성할 수 있다. 일례로, 제어점 생성부(104)는 마커에 기초한 모션 캡쳐 데이터로부터 생성된 표정 파라미터를 이용하여 표정 제어점을 생성할 수 있다. 이 때, 제어점 생성부(104)는 재설정된 특징점 위치에 기초한 표정 컴포넌트의 변화와 표정 파라미터로부터 생성된 제어점 위치에 기초한 표정 컴포넌트의 변화에 기초하여 표정 파라미터를 업데이트할 수 있다. 이하에서는, 제어점 생성부(104)의 동작을 보다 구체적으로 설명하기로 한다.
제어점 생성부(104)는 DB(106)에 저장된 모션 캡쳐 데이터로부터 생성된 표정 파라미터를 사용자의 얼굴에 기초하여 조정(calibration)하고, 초기 표정 파라미터를 설정할 수 있다(S501). 이 때, 모션 캡쳐 데이터는 기준 표정을 나타내는 배우의 얼굴에 부착한 마커의 위치 정보를 의미하며, 사용자의 특징점 위치와는 다르다. 그리고, 표정 파라미터는 표정 제어점을 생성하기 위한 변수로써, 하기 수학식 11의 λ를 나타낸다. 표정 제어점은 구성요소 분석(Principal Component analysis)을 통해 생성된다.
Figure pat00011
여기서, Fc는 표정 제어점이고, M은 모션 캡쳐 데이터로부터 추출한 고유 벡터(eigen vector)를 의미한다. 이 때, Cm은 하기 수학식 12에 따라 결정된다.
Figure pat00012
Cf는 f번째 프레임에서의 표정 제어점을 나타내고, Cm은 각각의 프레임에서 표정 제어점을 평균한 값을 나타낸다.
수학식 11에서 λ는 모션 캡쳐 데이터에서부터 생성된 표정 파라미터이다. 그러나, 모션 캡쳐 데이터는 사용자의 재설정된 특징점과는 다르기 때문에 DB(106)에 저장된 표정 파라미터를 그대로 이용하면 아바타의 표정은 사용자의 얼굴 표정과 전혀 다르게 나타난다. 그래서, 제어점 생성부(106)는 모션 캡쳐 데이터로부터 생성된 표정 파라미터를 사용자의 얼굴 표정에 가깝도록 조정할 필요가 있다.
구체적으로, 제어점 생성부(104)는 DB(106)에 저장된 모션 캡쳐 데이터와 사용자의 재설정된 특징점 위치를 비교한다. 이 후, 제어점 생성부(104)는 재설정된 특징점 위치에 따라 모션 캡쳐 데이터의 입, 눈, 코, 눈썹 등의 크기와 위치의 차이를 보상할 수 있다. 이러한 과정은 사용자가 변경될 때마다 한 번씩 수행할 수 있다.
이후, 제어점 생성부(104)는 단계(S501)에서 조정된 모션 캡쳐 데이터를 이용하여 얼굴 표정 분석을 수행할 수 있다(S502). 구체적으로, 제어점 생성부(104)는 조정된 모션 캡쳐 데이터로부터 표정 파라미터를 생성한다. 그리고, 제어점 생성부(104)는 표정 파라미터에 따라 측정한 표정 컴포넌트의 변화와 재설정된 특징점 위치에 따라 측정한 표정 컴포넌트의 변화를 비교하여 얼굴 표정 분석을 수행할 수 있다. 표정 컴포넌트는 얼굴 표정 분석을 위한 컴포넌트로, 입술의 상하 길이, 입술 끝의 길이, 입술 끝의 연결된 선분이 올라가거나 내려간 정도, 한쪽 입술 끝이 좌측 또는 우측으로 이동한 정도, 입술을 연결한 선분의 기울기, 오른쪽(또는 왼쪽) 눈썹이 올라간 정도, 좌우 눈썹 사이의 길이, 코의 좌우 끝이 올라간 정도를 포함할 수 있다.
그러면, 제어점 생성부(104)는 표정 파라미터에 따라 측정한 표정 컴포넌트의 변화와 재설정된 특징점 위치에 따라 측정한 표정 컴포넌트의 변화를 각각 벡터로 표현하여, 그 차이를 계산할 수 있다. 구체적으로, 제어점 생성부(104)는 하기 수학식 13에 따라 벡터의 차이를 계산할 수 있다.
Figure pat00013
여기서, D는 벡터의 차이로 표정 파라미터에 따라 측정한 표정 컴포넌트의 변화를 나타내는 벡터(f(V))와 재설정된 특징점 위치에 따라 측정한 표정 컴포넌트의 변화를 나타내는 벡터(f(C)) 간의 유클리디안 거리(Euclidean Distance)를 의미한다. 그리고, C는 표정 제어점 set를 의미하고, V는 특징점 위치 set를 나타낸다. f는 얼굴 표정 분석을 수행하는 함수를 나타낸다.
이 때, D가 미리 설정된 임계치보다 큰 경우, 제어점 생성부(104)는 표정 파라미터를 업데이트할 수 있다(S503). 구체적으로, 제어점 생성부(104)는 하기 수학식 14에 따라 반복적으로 표정 파라미터를 업데이트할 수 있다.
Figure pat00014
여기서, ε는 반복 횟수를 나타낸다. 제어점 생성부(104)는 D가 미리 설정된 임계치보다 작거나 변하지 않을 때까지 반복적으로 표정 파라미터를 업데이트할 수 있다.
만약, D가 미리 설정된 임계치보다 작거나 변하지 않는 경우, 제어점 생성부(104)는 수학식 11에 최종적인 표정 파라미터를 입력하여 표정 제어점을 생성할 수 있다(S504).
도 6은 본 발명의 일실시예에 따라 제어점을 생성하기 위한 모션 캡쳐 데이터를 도시한 도면이다.
영상(601)은 기준 표정을 나타내는 배우의 얼굴에 부착한 마커를 표시한다. 그리고, 영상(602)은 마커의 위치 정보로 모션 캡쳐 데이터를 의미한다. 본 발명의 일실시예에 따르면, 모션 캡쳐 데이터를 사용자의 기준 표정에 기초한 특징점 위치와 유사하도록 조정한 후, 조정된 모션 캡쳐 데이터로부터 표정 파라미터를 추출하여 제어점을 생성할 수 있다.
도 7은 본 발명의 일실시예에 따른 도 1의 표정 제어부의 동작을 도시한 도면이다.
표정 제어부(105)는 표정 제어점과 아바타의 페이스 메쉬에 대응하는 제어 좌표 간의 대응 관계를 설정할 수 있다(S701). 이 때, 페이스 메쉬(face mesh)는 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위해 구성한 메쉬이다. 표정 제어부(105)는 페이스 메쉬의 정점들 중 애니메이션을 제어하기 위해 선택된 정점들(여기서는 제어 좌표들)이 표정 제어점들과 서로 1:1 매칭이 되도록 같은 개수의 점과 형태로 모델링 한 후, 각 정점들을 라벨링(labeling)할 수 있다.
표정 제어부(105)는 표정 제어점들과 제어 좌표들 중 미간과 코에 지정된 세 개의 정점을 이용하여 표정 제어점과 제어 좌표들 간의 대응 관계를 설정하는 변환 매트릭스(Transformation Matrix)를 생성할 수 있다. 표정 제어부(105)는 변환 매트릭스를 이용하여 특징점들을 global affine transformation하여 페이스 메쉬 상의 좌표로 이동시킬 수 있다.
표정 제어부(105)는 대응 관계에 기초하여 표정 제어점들의 좌표를 페이스 메쉬 상의 제어 좌표로 변환할 수 있다(S702). 구체적으로, 표정 제어부(105)는 표정 제어점과 제어 좌표 간의 맵핑 함수(F)를 정의하고, 임의의 영상 프레임에 대한 정점의 위치를 맵핑 함수를 통해 계산함으로써 표정 제어점들의 좌표를 페이스 메쉬 상의 제어 좌표로 변환할 수 있다. 표정 제어점과 제어 좌표 간의 맵핑 함수로는 예를 들어, Radial Basis Function을 이용할 수 있다.
표정 제어부(105)는 제어 좌표를 통해 아바타의 표정을 제어할 수 있다(S703). 구체적으로, 표정 제어부(105)는 제어 좌표(Cin)를 기초로 아바타에 대한 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)(Pin)를 생성할 수 있다. 포즈 벡터 (Pin)는 포즈 벡터인 Pi의 Weighted Sum(Pin = ∑ Wi*Pi)으로 표현될 수 있다. 여기서, Wi는 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 포즈 벡터(Pin)에 적용되는 가중치이다.
표정 제어부(105)는 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 포즈 벡터(Pin)에 적용되는 가중치(Wi)를 산출할 수 있다. 가중치(Wi)는 입력 포즈에 대한 포즈 공간(Pose Space)에서의 위치를 나타낸다.
표정 제어부(105)는 복수의 표정 정보로부터 계산된 사용자의 표정 변화에 대한 보정치(Di) 및 가중치(Wi)를 이용하여 아바타의 표정을 보간(interpolate)할 수 있다. 표정 제어부(105)는 가중치(Wi)를 이용하여 아바타의 포즈 공간에서의 사용자의 표정 변화에 대한 보정치(Di)를 블렌딩(Blending)하여 입력 포즈에 대한 미세한 변화를 보간할 수 있다.
또한, 표정 제어부(105)는 Smoothness 제한 기반 메쉬 최적화 알고리즘에 따라 제어 좌표의 위치를 최대한 반영하면서 메쉬를 부드럽게 변형하는 얼굴 메쉬 변형 방법에 의해 초기 변형 메쉬인 Ma(Cin)을 계산할 수 있다.
그리고, 표정 제어부(105)는 아바타의 얼굴과 결합되는 사용자의 목 부분을 표현할 수 있다. 이 때, 표정 제어부(105)는 아바타의 얼굴과 결합되는 사용자의 목 부분을 포함하는 나머지 머리 부분(Head pose)을 나타내기 위하여 목 관절(joint)의 3 Rotation 값을 이용하여 목 관절에 대한 관절체 변형(Articulated Deformation)을 수행할 수 있다. 이 때, 관절체 변형에는 얼굴 애니메이션 알고리즘이 아닌 일반적인 골격 기반 변형(Skeletal based Deformation) 알고리즘을 이용할 수 있다.
표정 제어부(105)는 아바타의 얼굴과 목 부분의 연결 지점의 좌표를 고정시킴으로써 연결 지점을 끊김 없이(seamless) 표현할 수 있다. 표정 제어부(105)는 관절체 변형과 얼굴 변형 간의 경계 부분을 자연스럽게 표현하기 위하여 아바타의 얼굴과 목 부분의 연결 지점의 정점(vertex)을 고정하고, 관절체 변형을 위한 골격 기반 변형의 가중치를 ‘1’로 정의하여 메쉬 변형을 수행한다.
도 8은 본 발명의 일실시예에 따라 아바타를 제어하는 일례를 도시한 도면이다.
도 8을 참조하면, 영상(801)과 영상(802)에 표시된 점들은 다양한 형태의 얼굴 표정들에 대한 제어 좌표 제어 좌표(Ci)를 의미한다. 제어 좌표를 통해 사용자의 얼굴 표정을 아바타의 얼굴에 반영할 수 있다. 예를 들어, 사용자가 웃거나, 울거나, 찡그리거나, 화내거나 시무룩하거나, 무표정한 얼굴 표정들을 제어 좌표를 통해 아바타의 얼굴에 반영할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 장치
102: 표정 추적부
103: 특징점 위치 재설정부
104: 제어점 생성부
105: 표정 제어부
106: DB

Claims (15)

  1. 사용자의 얼굴 표정 영상으로부터 얼굴 표정의 특징점 위치 및 머리 움직임을 추적하는 표정 추적부;
    상기 추적한 특징점 위치에서 머리 움직임을 제거하여 상기 얼굴 표정의 특징점 위치를 재설정하는 특징점 위치 재설정부; 및
    상기 재설정된 특징점 위치에 기초한 표정 파라미터를 이용하여 표정 제어점을 생성하는 제어점 생성부
    를 포함하는 장치.
  2. 제1항에 있어서,
    상기 추적부는,
    얼굴 모양을 학습하여 얼굴 표정의 특징점 위치를 추출하고, 추출된 특징점 위치를 이용하여 머리 회전각에 기초한 머리 움직임을 추정하는 것을 특징으로 하는 장치.
  3. 제1항에 있어서,
    상기 특징점 위치 재설정부는,
    상기 머리 움직임에 기초한 역이동(inverse translation), 역회전(inverse rotation) 또는 역스케일(inverse scale)을 이용하여 사용자가 정면을 볼 때의 기준 표정으로 특징점 위치를 재설정하는 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    상기 제어점 생성부는,
    마커에 기초한 모션 캡쳐 데이터로부터 생성된 표정 파라미터를 이용하여 표정 제어점을 생성하는 것을 특징으로 하는 장치.
  5. 제4항에 있어서,
    상기 제어점 생성부는,
    상기 재설정된 특징점 위치에 기초한 표정 컴포넌트의 변화와 상기 표정 파라미터로부터 생성된 제어점 위치에 기초한 표정 컴포넌트의 변화에 기초하여 상기 표정 파라미터를 업데이트하는 것을 특징으로 하는 장치.
  6. 제1항에 있어서,
    상기 장치는,
    상기 표정 제어점을 이용하여 아바타의 표정을 제어하는 표정 제어부
    를 더 포함하는 장치.
  7. 제6항에 있어서,
    상기 표정 제어부는,
    상기 표정 제어점을 상기 사용자의 얼굴에 대응하는 아바타를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하여 아바타의 표정을 제어하는 것을 특징으로 하는 장치.
  8. 사용자의 얼굴 표정 영상으로부터 얼굴 표정의 특징점 위치 및 머리 움직임을 추적하는 단계;
    상기 추적한 특징점 위치에서 머리 움직임을 제거하여 상기 얼굴 표정의 특징점 위치를 재설정하는 단계; 및
    상기 재설정된 특징점 위치에 기초한 표정 파라미터를 이용하여 표정 제어점을 생성하는 단계
    를 포함하는 방법.
  9. 제8항에 있어서,
    상기 추적하는 단계는,
    얼굴 모양을 학습하여 얼굴 표정의 특징점 위치를 추출하고, 추출된 특징점 위치를 이용하여 머리 회전각에 기초한 머리 움직임을 추정하는 것을 특징으로 하는 방법.
  10. 제8항에 있어서,
    상기 재설정하는 단계는,
    상기 머리 움직임에 기초한 역이동(inverse translation), 역회전(inverse rotation) 또는 역스케일(inverse scale)을 이용하여 사용자가 정면을 볼 때의 기준 표정으로 특징점 위치를 재설정하는 것을 특징으로 하는 방법.
  11. 제8항에 있어서,
    상기 표정 제어점을 생성하는 단계는,
    마커에 기초한 모션 캡쳐 데이터로부터 생성된 표정 파라미터를 이용하여 표정 제어점을 생성하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 표정 제어점을 생성하는 단계는,
    상기 재설정된 특징점 위치에 기초한 표정 컴포넌트의 변화와 상기 표정 파라미터로부터 생성된 제어점 위치에 기초한 표정 컴포넌트의 변화에 기초하여 상기 표정 파라미터를 업데이트하는 것을 특징으로 하는 방법.
  13. 제8항에 있어서,
    상기 표정 제어점을 이용하여 아바타의 표정을 제어하는 단계
    를 더 포함하는 방법.
  14. 제13항에 있어서,
    상기 아바타의 표정을 제어하는 단계는,
    상기 표정 제어점을 상기 사용자의 얼굴에 대응하는 아바타를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하여 아바타의 표정을 제어하는 것을 특징으로 하는 방법.
  15. 제8항 내지 제14항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020100121533A 2010-12-01 2010-12-01 표정 제어점을 이용한 아바타 제어 장치 및 방법 KR20120059994A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100121533A KR20120059994A (ko) 2010-12-01 2010-12-01 표정 제어점을 이용한 아바타 제어 장치 및 방법
US13/307,541 US9298257B2 (en) 2010-12-01 2011-11-30 Apparatus and method for controlling avatar using expression control point

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100121533A KR20120059994A (ko) 2010-12-01 2010-12-01 표정 제어점을 이용한 아바타 제어 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170014058A Division KR101815995B1 (ko) 2017-01-31 2017-01-31 표정 제어점을 이용한 아바타 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120059994A true KR20120059994A (ko) 2012-06-11

Family

ID=46161768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100121533A KR20120059994A (ko) 2010-12-01 2010-12-01 표정 제어점을 이용한 아바타 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US9298257B2 (ko)
KR (1) KR20120059994A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878224B2 (en) 2017-06-29 2020-12-29 Line Corporation Method and system for image processing
WO2021251534A1 (ko) * 2020-06-10 2021-12-16 주식회사 이엠피이모션캡쳐 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템
KR102547358B1 (ko) * 2022-11-15 2023-06-23 엠앤앤에이치 주식회사 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법

Families Citing this family (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
US9082222B2 (en) * 2011-01-18 2015-07-14 Disney Enterprises, Inc. Physical face cloning
CN104170318B (zh) 2012-04-09 2018-06-01 英特尔公司 使用交互化身的通信
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
KR101417470B1 (ko) * 2012-12-12 2014-07-08 현대자동차주식회사 응시 대상 확인 장치 및 방법
CN103309450A (zh) * 2013-06-09 2013-09-18 张家港市鸿嘉数字科技有限公司 一种识别用户面部表情操作平板电脑的方法
US9477878B2 (en) * 2014-01-28 2016-10-25 Disney Enterprises, Inc. Rigid stabilization of facial expressions
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US9824502B2 (en) * 2014-12-23 2017-11-21 Intel Corporation Sketch selection for rendering 3D model avatar
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
CN107004288B (zh) * 2014-12-23 2022-03-01 英特尔公司 非面部特征的面部动作驱动的动画
JP6391465B2 (ja) * 2014-12-26 2018-09-19 Kddi株式会社 ウェアラブル端末装置およびプログラム
US9552510B2 (en) 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
US20160307028A1 (en) * 2015-04-16 2016-10-20 Mikhail Fedorov Storing, Capturing, Updating and Displaying Life-Like Models of People, Places And Objects
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US10559062B2 (en) 2015-10-22 2020-02-11 Korea Institute Of Science And Technology Method for automatic facial impression transformation, recording medium and device for performing the method
US9978119B2 (en) * 2015-10-22 2018-05-22 Korea Institute Of Science And Technology Method for automatic facial impression transformation, recording medium and device for performing the method
US10475225B2 (en) 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
US10586380B2 (en) 2016-07-29 2020-03-10 Activision Publishing, Inc. Systems and methods for automating the animation of blendshape rigs
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US20180137663A1 (en) * 2016-11-11 2018-05-17 Joshua Rodriguez System and method of augmenting images of a user
US10055880B2 (en) * 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US11385763B2 (en) 2017-04-27 2022-07-12 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
WO2018199701A1 (en) * 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor
DK179948B1 (en) * 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
DK180007B1 (en) 2017-05-16 2020-01-16 Apple Inc. RECORDING AND SENDING EMOJI
CN108961365B (zh) * 2017-05-19 2021-09-24 腾讯科技（深圳）有限公司 三维虚拟对象摆动方法、装置、存储介质和计算机设备
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
WO2019073732A1 (ja) * 2017-10-10 2019-04-18 株式会社 資生堂 ストレスの評価方法
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
KR20230049759A (ko) 2017-11-29 2023-04-13 스냅 인코포레이티드 전자 메시징 애플리케이션들을 위한 그래픽 렌더링
CN114915606A (zh) 2017-11-29 2022-08-16 斯纳普公司 电子消息传递应用中的组故事
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
KR20200143464A (ko) 2018-04-18 2020-12-23 스냅 인코포레이티드 증강 표현 시스템
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11127181B2 (en) 2018-09-19 2021-09-21 XRSpace CO., LTD. Avatar facial expression generating system and method of avatar facial expression generation
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US11087520B2 (en) 2018-09-19 2021-08-10 XRSpace CO., LTD. Avatar facial expression generating system and method of avatar facial expression generation for facial model
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
EP3809236A1 (en) * 2019-10-17 2021-04-21 XRSpace CO., LTD. Avatar facial expression generating system and method of avatar facial expression generation
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
CN115175748A (zh) 2020-01-30 2022-10-11 斯纳普公司 用于按需生成媒体内容项的系统
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US20230079478A1 (en) * 2020-02-26 2023-03-16 Soul Machines Face mesh deformation with detailed wrinkles
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
KR20230003154A (ko) 2020-06-08 2023-01-05 애플 인크. 3차원 환경들에서 아바타들의 제시
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
JP2000194876A (ja) 1998-12-25 2000-07-14 Atr Media Integration & Communications Res Lab 仮想空間共有装置
JP2000331190A (ja) 1999-05-20 2000-11-30 Atr Media Integration & Communications Res Lab 仮想変身装置
US7027618B2 (en) 2001-09-28 2006-04-11 Koninklijke Philips Electronics N.V. Head motion estimation from four feature points
KR100912872B1 (ko) 2002-10-09 2009-08-19 삼성전자주식회사 3차원 캐리커쳐 생성 장치 및 방법
KR100647322B1 (ko) 2005-03-02 2006-11-23 삼성전자주식회사 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
JP2006331065A (ja) 2005-05-26 2006-12-07 Matsushita Electric Ind Co Ltd 顔情報送信装置、顔情報送信方法及びそのプログラムを記録した記録媒体
JP4349350B2 (ja) * 2005-09-05 2009-10-21 トヨタ自動車株式会社 顔画像撮影カメラの搭載構造
KR100896643B1 (ko) 2007-06-18 2009-05-08 에스케이 텔레콤주식회사 Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치
US20090202114A1 (en) * 2008-02-13 2009-08-13 Sebastien Morin Live-Action Image Capture
US7953255B2 (en) 2008-05-01 2011-05-31 At&T Intellectual Property I, L.P. Avatars in social interactive television
KR101081494B1 (ko) 2008-08-28 2011-11-09 동명대학교산학협력단 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성 방법 및 그 생성시스템
KR101527408B1 (ko) 2008-11-04 2015-06-17 삼성전자주식회사 얼굴 표정 검출 방법 및 시스템
US9109877B2 (en) * 2010-05-21 2015-08-18 Jonathan S. Thierman Method and apparatus for dimensional measurement

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878224B2 (en) 2017-06-29 2020-12-29 Line Corporation Method and system for image processing
WO2021251534A1 (ko) * 2020-06-10 2021-12-16 주식회사 이엠피이모션캡쳐 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템
KR20210153472A (ko) * 2020-06-10 2021-12-17 주식회사 이엠피이모션캡쳐 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템
KR102547358B1 (ko) * 2022-11-15 2023-06-23 엠앤앤에이치 주식회사 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법

Also Published As

Publication number Publication date
US20120139830A1 (en) 2012-06-07
US9298257B2 (en) 2016-03-29

Similar Documents

Publication Publication Date Title
KR20120059994A (ko) 표정 제어점을 이용한 아바타 제어 장치 및 방법
US7068277B2 (en) System and method for animating a digital facial model
US10147219B2 (en) Determining control values of an animation model using performance capture
US9036898B1 (en) High-quality passive performance capture using anchor frames
Ersotelos et al. Building highly realistic facial modeling and animation: a survey
Bhat et al. High fidelity facial animation capture and retargeting with contours
KR101681096B1 (ko) 얼굴 애니메이션 시스템 및 방법
KR101148101B1 (ko) 얼굴 표정 리타게팅 방법
JP2009534774A (ja) 演技から作り出される顔アニメーション
CN103999126A (zh) 用于估计姿态的方法和装置
KR20130003170A (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
KR101815995B1 (ko) 표정 제어점을 이용한 아바타 제어 장치 및 방법
JP5109192B2 (ja) モーションキャプチャにおけるｆａｃｓ（顔の表情符号化システム）解決法
US11443473B2 (en) Systems and methods for generating a skull surface for computer animation
Woodward et al. A low cost framework for real-time marker based 3-D human expression modeling
JP7251003B2 (ja) 細かいしわを有する顔メッシュ変形
KR20080051007A (ko) 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법
CN113326751A (zh) 一种手部3d关键点的标注方法
US11410370B1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
US20230154094A1 (en) Systems and Methods for Computer Animation of an Artificial Character Using Facial Poses From a Live Actor
Woodward et al. Journal of Applied Research and Technology
WO2023022607A1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
TW201349172A (zh) 網格動畫製作方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J301 Trial decision

Free format text: TRIAL NUMBER: 2017101000516; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170131

Effective date: 20181123