KR102645506B1 - 인공 지능에 기반한 애니메이션 이미지 구동 방법 및 장치 - Google Patents
인공 지능에 기반한 애니메이션 이미지 구동 방법 및 장치 Download PDFInfo
- Publication number
- KR102645506B1 KR102645506B1 KR1020217029446A KR20217029446A KR102645506B1 KR 102645506 B1 KR102645506 B1 KR 102645506B1 KR 1020217029446 A KR1020217029446 A KR 1020217029446A KR 20217029446 A KR20217029446 A KR 20217029446A KR 102645506 B1 KR102645506 B1 KR 102645506B1
- Authority
- KR
- South Korea
- Prior art keywords
- character
- expression
- base
- mesh
- driving
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000013473 artificial intelligence Methods 0.000 title abstract description 6
- 230000014509 gene expression Effects 0.000 claims abstract description 628
- 230000008921 facial expression Effects 0.000 claims abstract description 138
- 238000013507 mapping Methods 0.000 claims abstract description 114
- 230000001815 facial effect Effects 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000009466 transformation Effects 0.000 claims description 71
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000007935 neutral effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims 2
- 230000004048 modification Effects 0.000 claims 2
- 238000004422 calculation algorithm Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 210000000887 face Anatomy 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
인공 지능에 기반한 애니메이션 이미지 구동 방법이 개시된다. 애니메이션 이미지가 대응하는 얼굴 핀치 베이스를 갖고 다른 애니메이션 이미지는 대응하는 얼굴 핀치 베이스를 갖지 않을 때, 얼굴 핀치 베이스를 갖는 애니메이션 이미지는 구동 파티 이미지로서 사용될 수 있고, 얼굴 핀치 베이스가 없는 애니메이션 이미지는 구동되는 파티 이미지로서 사용될 수 있다. 이 방법은: 구동 파티 이미지에 대응하는 표정 베이스 및 구동되는 파티 이미지에 대응하는 표정 베이스를 획득하는 단계; 구동 파티 이미지에 대응하는 표정 베이스 및 구동되는 파티 이미지에 대응하는 표정 베이스에 따라 표정 파라미터들 간의 매핑 관계를 결정하는 단계; 및 매핑 관계에 따라, 구동 파티 이미지의 알려진 표정 파라미터 및 매핑 관계를 사용함으로써 구동 파티 이미지를 구동하여, 구동되는 파티 이미지가 알려진 표정 파라미터에 의해 식별된 실제 표정을 짓는 단계를 포함한다. 따라서 새로운 애니메이션 이미지에 대응하는 얼굴 핀치 베이스를 획득하기 위한 처리를 수행하지 않고 다른 애니메이션 이미지들의 알려진 표정 파라미터들에 의해 새로운 애니메이션 이미지가 직접 구동될 수 있으며, 이로써 새로운 애니메이션 이미지들의 푸시-아웃 속도를 증가시킬 수 있다.
Description
본 출원은 "인공 지능에 기반한 애니메이션 이미지 구동 방법 및 장치"라는 명칭으로 중국 국가지식산권국에 2019년 8월 30일자 출원된 중국 특허출원 제201910816780.X호에 대한 우선권을 주장하며, 이 출원은 그 전체가 인용에 의해 본 명세서에 포함된다.
본 개시내용은 데이터 처리 분야에 관한 것으로, 특히 인공 지능(artificial intelligence) 기반(AI 기반) 애니메이션 캐릭터 구동 기술에 관한 것이다.
현재, 인간-컴퓨터 상호 작용들이 보편화되었다. 사용자는 애니메이션 캐릭터와 상호 작용할 수 있고, 상호 작용 중에 사용자는 스피치의 임의의 세그먼트에 진입할 수 있다. 대응하게, 구동 네트워크가 스피치의 세그먼트에 대응하는 입 형상들을 만들기 위해 애니메이션 캐릭터를 구동시킬 수 있다. 이 시나리오에서, 애니메이션 캐릭터의 존재는 현실감을 크게 증강시키고, 표현성을 개선하며, 사용자에게 보다 몰입감 있는 경험을 가져올 수 있다. 애니메이션 캐릭터는 다수의 방식들로 획득될 수 있는데, 예를 들어 설계자에 의해 수동으로 설계될 수 있다.
애니메이션 캐릭터가 구동 네트워크에 의해 구동될 때, 애니메이션 캐릭터는 대개, 대응하는 표정 베이스 및 대응하는 얼굴 맞춤화 베이스를 가질 필요가 있다. 표정 베이스는 상이한 표정들을 표현하는 변형 가능한 메시들에 의해 형성되고, 각각의 변형 가능한 메시는 상이한 표정들 하에서 애니메이션 캐릭터의 3차원(3D: three-dimensional) 모델을 변경함으로써 형성된다. 얼굴 맞춤화 베이스는 상이한 얼굴 형상들을 표현하는 변형 가능한 메시들에 의해 형성되고, 각각의 변형 가능한 메시는 평균 얼굴 형상에 비해 크게 변화하는 얼굴이며, 얼굴 맞춤화 베이스의 얼굴들은 애니메이션 캐릭터와 관련될 필요가 있다.
새롭게 생성된 일부 애니메이션 캐릭터들의 경우, 설계자는 애니메이션 캐릭터들의 3D 메시들을 수동으로 설계할 수 있다. 표정 베이스는 눈들을 감거나 입을 닫는 것과 같은 제어를 수행하기 위한 엄격한 의미 정보를 갖기 때문에, 표정 베이스는 설계자에 의한 수동 모델링을 통해 편리하게 획득될 수 있다. 그러나 얼굴 맞춤화 베이스는 주성분 분석(PCA: principal component analysis)을 통해 상당량의 얼굴 데이터를 분해함으로써 획득되고, 명확한 의미 정보를 갖지 않으며, 모델의 메시 정점들과 부정확한 연관성을 갖는다. 따라서 수동 설계를 통해 얼굴 맞춤화 베이스를 획득하는 것은 어렵다. 그 결과, 대응하는 얼굴 맞춤화 베이스는 단지 복잡한 데이터 처리를 통해 결정되어야 하며, 새로운 애니메이션 캐릭터의 론치(launch)가 지연된다.
앞서 말한 기술적 문제들을 해결하기 위해, 새로운 애니메이션 캐릭터에 대응하는 얼굴 맞춤화 베이스를 획득하기 위한 처리를 수행하지 않고 다른 애니메이션 캐릭터의 알려진 표정 파라미터를 사용함으로써 새로운 애니메이션 캐릭터를 직접 구동함으로써, 새로운 애니메이션 캐릭터를 론치하는 속도를 높이도록, 본 개시내용에 따라 인공 지능 기반(AI 기반) 애니메이션 캐릭터 구동 방법 및 장치가 제공된다.
본 개시내용의 실시예들에서 다음의 기술적 솔루션들이 개시된다.
제1 양상에 따르면, 본 개시내용의 일 실시예에 따라 처리 디바이스에 의해 수행되는 AI 기반 애니메이션 캐릭터 구동 방법이 제공되며, 이 방법은:
구동 캐릭터(driving character)에 대응하는 표정 베이스 및 피구동 캐릭터(driven character)에 대응하는 표정 베이스를 획득하는 단계 ― 구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖고, 피구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않음 ―;
구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정하는 단계; 및
구동 캐릭터에 대응하는 표정 파라미터 및 매핑 관계에 따라, 피구동 캐릭터를 구동하는 단계를 포함한다.
제2 양상에 따르면, 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 장치가 제공된다. 이 장치는 획득 유닛, 결정 유닛 및 구동 유닛을 포함한다.
획득 유닛은 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스를 획득하도록 구성되며, 구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖고, 피구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않으며;
결정 유닛은 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정하도록 구성되고; 그리고
구동 유닛은 구동 캐릭터에 대응하는 표정 파라미터 및 매핑 관계에 따라, 피구동 캐릭터를 구동하도록 구성된다.
제3 양상에 따르면, 본 개시내용의 일 실시예에 따라 처리 디바이스에 의해 수행되는 AI 기반 애니메이션 캐릭터 구동 방법이 제공되며, 이 방법은:
구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스를 획득하는 단계 ― 구동 캐릭터는 대응하는 구조 베이스를 갖고, 피구동 캐릭터는 대응하는 구조 베이스를 갖지 않으며, 구조 베이스는 대응하는 캐릭터의 구조적 특징을 식별하는 데 사용되고, 변형 베이스는 대응하는 캐릭터의 변형 특징을 식별하는 데 사용됨 ―;
구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스에 따라, 구동 캐릭터에 대응하는 변형 파라미터와 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계를 결정하는 단계; 및
구동 캐릭터에 대응하는 변형 파라미터 및 매핑 관계에 따라, 피구동 캐릭터를 구동하는 단계를 포함한다.
제4 양상에 따르면, 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 장치가 제공된다. 이 장치는 획득 유닛, 결정 유닛 및 구동 유닛을 포함하며:
획득 유닛은 구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스를 획득하도록 구성되고, 구동 캐릭터는 대응하는 구조 베이스를 갖고, 피구동 캐릭터는 대응하는 구조 베이스를 갖지 않으며, 구조 베이스는 대응하는 캐릭터의 구조적 특징들을 식별하는 데 사용되고, 변형 베이스는 대응하는 캐릭터의 변형 특징들을 식별하는 데 사용되며;
결정 유닛은 구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스에 따라, 구동 캐릭터에 대응하는 변형 파라미터와 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계를 결정하도록 구성되고; 그리고
구동 유닛은 구동 캐릭터에 대응하는 변형 파라미터 및 매핑 관계에 따라, 피구동 캐릭터를 구동하도록 구성된다.
제5 양상에 따르면, 본 개시내용의 일 실시예에 따른 디바이스가 제공되며, 디바이스는 프로세서 및 메모리를 포함하고,
메모리는, 프로그램 코드를 저장하고 프로그램 코드를 프로세서에 전송하도록 구성되며; 그리고
프로세서는 프로그램 코드의 명령들에 따라 제1 양상 또는 제3 양상에 따른 방법을 수행하도록 구성된다.
제6 양상에 따르면, 본 개시내용의 일 실시예에 따른 컴퓨터 판독 가능 저장 매체가 제공된다. 컴퓨터 판독 가능 저장 매체는 프로그램 코드를 저장하도록 구성되며, 프로그램 코드는 제1 양상 또는 제3 양상에 따른 방법을 수행하는 데 사용된다.
제7 양상에 따르면, 본 개시내용의 일 실시예에 따라, 명령들을 포함하는 컴퓨터 프로그램 제품이 제공되며, 명령들은 컴퓨터 상에서 실행될 때, 컴퓨터로 하여금 제1 양상 또는 제3 양상에 따른 방법을 수행하게 한다.
하나의 애니메이션 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖고, 다른 애니메이션 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않을 때, 얼굴 맞춤화 베이스를 갖는 애니메이션 캐릭터는 구동 캐릭터로서 사용될 수 있고, 얼굴 맞춤화 베이스를 갖지 않는 애니메이션 캐릭터는 피구동 캐릭터로서 사용될 수 있는 것이 앞서 말한 기술적 솔루션들로부터 학습될 수 있다. 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간에 매핑 관계가 존재한다. 따라서 매핑 관계가 결정된 후에, 피구동 캐릭터가 얼굴 맞춤화 베이스를 갖지 않더라도 구동 캐릭터에 대응하는 표정 파라미터를 사용함으로써, 피구동 캐릭터가 직접 구동될 수 있다. 피구동 캐릭터는 구동 캐릭터에 대응하는 실제 표정 파라미터에 따라, 실제 표정을 만들도록 구동될 수 있고, 실제 표정 파라미터는 상이한 차원들 하에서 구동 캐릭터의 표정 베이스와 실제 표정 간의 상관도를 반영할 수 있는데, 즉 피구동 캐릭터에 대응하는 실제 표정 파라미터는 또한, 상이한 차원들 하에서 피구동 캐릭터의 표정 베이스와 피구동 캐릭터의 실제 표정 간의 상관도를 반영할 수 있다. 따라서 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라 앞서 말한 표정 파라미터와 표정 베이스 간의 연관 관계에 기초하여 표정 파라미터들 간의 매핑 관계가 결정될 수 있고, 피구동 캐릭터는 구동 캐릭터의 알려진 표정 파라미터 및 앞서 말한 매핑 관계를 사용함으로써 매핑 관계에 따라 구동되어, 피구동 캐릭터가 알려진 표정 파라미터에 의해 식별된 실제 표정을 만든다. 따라서 새로운 애니메이션 캐릭터에 대응하는 얼굴 맞춤화 베이스를 획득하기 위한 처리를 수행하지 않고 다른 애니메이션 캐릭터의 알려진 표정 파라미터를 사용함으로써 새로운 애니메이션 캐릭터가 직접 구동될 수 있으며, 이로써 새로운 애니메이션 캐릭터를 론치하는 속도를 높일 수 있다.
도 1은 본 개시내용의 일 실시예에 따른, 인공 지능 기반(AI 기반) 애니메이션 캐릭터 구동 방법의 애플리케이션 시나리오의 개략도이다.
도 2는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 3은 본 개시내용의 일 실시예에 따른 3DMM 라이브러리에서의 M의 차원들의 의미 및 분포의 예시적인 도면이다.
도 4는 본 개시내용의 일 실시예에 따른, AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 5는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 6은 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 7은 본 개시내용의 일 실시예에 따라 애니메이션 캐릭터를 구동하는 효과의 도면이다.
도 8은 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 9는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 10은 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 11은 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 12a는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 12b는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 장치의 구조도이다.
도 13a는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 장치의 구조도이다.
도 13b는 본 개시내용의 일 실시예에 따른 단말 디바이스의 구조도이다.
도 14는 본 개시내용의 일 실시예에 따른 서버의 구조도이다.
도 2는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 3은 본 개시내용의 일 실시예에 따른 3DMM 라이브러리에서의 M의 차원들의 의미 및 분포의 예시적인 도면이다.
도 4는 본 개시내용의 일 실시예에 따른, AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 5는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 6은 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 7은 본 개시내용의 일 실시예에 따라 애니메이션 캐릭터를 구동하는 효과의 도면이다.
도 8은 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 9는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 10은 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 11은 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 12a는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 방법의 흐름도이다.
도 12b는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 장치의 구조도이다.
도 13a는 본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 장치의 구조도이다.
도 13b는 본 개시내용의 일 실시예에 따른 단말 디바이스의 구조도이다.
도 14는 본 개시내용의 일 실시예에 따른 서버의 구조도이다.
다음은 첨부 도면들을 참조하여 본 개시내용의 실시예들을 설명한다.
관련 기술에서, 새롭게 생성된 일부 애니메이션 캐릭터들의 경우, 일반적으로 설계자는 애니메이션 캐릭터들의 3차원(3D) 메시들을 수동으로 설계할 수 있다. 예를 들어, 설계자는 수동 모델링을 통해 표정 베이스를 획득할 수 있다. 그러나 얼굴 맞춤화 베이스는 명확한 의미 정보를 갖지 않고, 모델의 메시 정점들과 부정확한 연관성을 가지며, 따라서 수동 설계를 통해 얼굴 맞춤화 베이스를 획득하는 것이 어렵다.
추가로, (예를 들어, 정점들의 양 및 정점들 간의 삼각형 토폴로지를 포함하는) 3D 메시들의 정점 토폴로지들 및 상이한 애니메이션 캐릭터들의 표정 베이스들의 차원수들이 상이할 수 있기 때문에, 특정 표정 베이스 아래의 얼굴 맞춤화 베이스를 갖는 애니메이션 캐릭터의 표정 파라미터를 사용함으로써 다른 애니메이션 캐릭터의 표정 베이스를 직접 구동하는 것은 어렵다. 따라서 다른 애니메이션 캐릭터의 표정 베이스를 구동하고 새로운 애니메이션 캐릭터를 론치하기 위해, 단지 복잡한 데이터 처리를 통해서만 대응하는 얼굴 맞춤화 베이스가 결정되어야 하며, 이로써 새로운 애니메이션 캐릭터의 론치를 지연시킨다.
이 때문에, 본 개시내용의 일 실시예에 따라, 인공 지능 기반(AI 기반) 애니메이션 캐릭터 구동 방법이 제공된다. 이 방법은 상이한 애니메이션 캐릭터들의 표정 베이스들 사이의 표정 파라미터 마이그레이션을 구현할 수 있다. 즉, 하나의 애니메이션 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖고, 하나의 애니메이션 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않을 때, 얼굴 맞춤화 베이스를 갖는 애니메이션 캐릭터는 구동 캐릭터로서 사용되고, 얼굴 맞춤화 베이스를 갖지 않는 애니메이션 캐릭터는 피구동 캐릭터로서 사용된다. 피구동 캐릭터에 대응하는 얼굴 맞춤화 베이스를 획득하기 위한 처리를 수행하지 않고 구동 캐릭터의 알려진 표정 파라미터 및 앞서 말한 매핑 관계를 사용함으로써, 피구동 캐릭터를 구동하기 위해, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계가 결정된다.
본 개시내용의 실시예들에 따라 제공되는 AI 기반 애니메이션 캐릭터 구동 방법은 애니메이션 캐릭터를 확립하는 능력을 갖는 처리 디바이스에 적용 가능하다. 처리 디바이스는 단말 디바이스일 수 있거나, 서버일 수 있다.
처리 디바이스는 컴퓨터 비전 기술을 구현하는 능력을 가질 수 있다. 본 개시내용의 실시예들에서는, 앞서 말한 컴퓨터 비전 기술을 구현함으로써, 처리 디바이스는 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라 표정 파라미터들 간의 매핑 관계를 결정하여, 매핑 관계에 따라 구동 캐릭터의 알려진 표정 파라미터 및 앞서 말한 매핑 관계를 사용함으로써, 피구동 캐릭터를 구동할 수 있으며, 이로써 이를테면, 새로운 애니메이션 캐릭터를 신속하게 론치하는 기능을 구현할 수 있다.
처리 디바이스가 단말 디바이스라면, 단말 디바이스는 스마트 단말, 컴퓨터, 개인용 디지털 보조기기(PDA: personal digital assistant), 태블릿 컴퓨터 등일 수 있다.
처리 디바이스가 서버라면, 서버는 독립적인 서버일 수 있거나, 클러스터 서버일 수 있다. 서버가 AI 기반 애니메이션 캐릭터 구동 방법을 구현할 때, 서버는 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라 표정 파라미터들 간의 매핑 관계를 결정하고, 구동 캐릭터의 알려진 표정 파라미터 및 앞서 말한 매핑 관계를 사용함으로써, 피구동 캐릭터를 구동하여 새로운 애니메이션 캐릭터를 획득하고, 새로운 애니메이션 캐릭터를 단말 디바이스 상에 디스플레이 및 론칭할 수 있다.
본 개시내용의 이 실시예에서, 애니메이션 캐릭터들은 2차원(2D: two-dimensional) 애니메이션 캐릭터 및 3D 애니메이션 캐릭터를 포함할 수 있고; 애니메이션 캐릭터는 구체적으로 얼굴 구역 또는 머리 구역만을 제시할 수 있거나, 전신 구역을 제시할 수 있고; 추가로, 애니메이션 캐릭터는 구체적으로 만화 캐릭터로서 표현될 수 있거나, 실제 인간 또는 동물에 기초하여 구성된 가상 캐릭터로서 표현될 수 있다. 애니메이션 캐릭터의 표현 형태는 본 개시내용에서 제한되지 않는다. 본 개시내용의 실시예들에 따라 제공되는 AI 기반 애니메이션 캐릭터 구동 방법은, 수동으로 설계된 애니메이션 캐릭터들이 구동될 필요가 있는 애플리케이션 시나리오들, 이를테면 뉴스 방송, 날씨 예보, 게임 해설, 및 가상 게임 캐릭터가 존재하는 게임 장면에 적용 가능하며, 애니메이션 캐릭터들이 개인 서비스들, 예를 들어 심리학자 또는 가상 어시스턴트와 같은 개인들에게 향하는 일대일 서비스들을 착수하는 애플리케이션 시나리오들에도 또한 적용 가능하다. 애플리케이션 시나리오들에서는, 본 개시내용의 실시예들에 따라 제공되는 방법을 사용함으로써, 애니메이션 캐릭터에 대응하는 얼굴 맞춤화 베이스를 획득하기 위한 처리를 수행하지 않고 애니메이션 캐릭터가 구동될 수 있다.
본 개시내용의 기술적 솔루션들의 이해의 편의상, 본 개시내용의 실시예들에 따라 제공되는 AI 기반 애니메이션 캐릭터 구동 방법은 실제 애플리케이션 시나리오를 참조하여 아래에 설명된다.
본 개시내용의 일 실시예에 따른, AI 기반 애니메이션 캐릭터 구동 방법의 애플리케이션 시나리오의 개략도인 도 1이 참조된다. 이 애플리케이션 시나리오는 처리 디바이스가 단말 디바이스인 예를 사용함으로써 설명된다. 애플리케이션 시나리오는 단말 디바이스(101)를 포함한다. 단말 디바이스(101)는 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스를 획득할 수 있다. 구동 캐릭터는 표정 베이스 및 얼굴 맞춤화 베이스를 갖고, 피구동 캐릭터는 표정 베이스를 갖지만, 얼굴 맞춤화 베이스를 갖지 않는다.
표정 베이스는 애니메이션 캐릭터의 얼굴의 표정 특징을 식별하는 데 사용되며, 상이한 표정들을 표현하는 변형 가능한 메시들에 의해 형성되고, 여기서 각각의 변형 가능한 메시는 상이한 표정들 하에서 애니메이션 캐릭터의 3D 모델을 변경함으로써 형성된다. 얼굴 맞춤화 베이스는 애니메이션 캐릭터의 얼굴의 기본 특징을 식별하는 데 사용되며, 상이한 얼굴 형상들을 표현하는 변형 가능한 메시들에 의해 형성되고, 여기서 각각의 변형 가능한 메시는 평균 얼굴 형상에 비해 크게 변화하는 얼굴이며, 얼굴 맞춤화 베이스의 얼굴들은 애니메이션 캐릭터와 관련될 필요가 있다.
구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간에 매핑 관계가 존재한다. 따라서 매핑 관계가 결정된다면, 피구동 캐릭터가 얼굴 맞춤화 베이스를 갖지 않더라도 구동 캐릭터에 대응하는 표정 파라미터를 사용함으로써, 피구동 캐릭터가 직접 구동될 수 있다. 표정 파라미터는 계수의 형태일 수 있는데, 예를 들어 특정 양의 차원들을 갖는 벡터일 수 있고; 매핑 관계는 선형 매핑 관계일 수 있거나, 비선형 매핑 관계일 수 있다. 이는 이 실시예에서 제한되지 않는다.
피구동 캐릭터는 구동 캐릭터에 대응하는 실제 표정 파라미터에 따라, 실제 표정을 만들도록 구동될 수 있고, 실제 표정 파라미터는 상이한 차원들 하에서 구동 캐릭터의 표정 베이스와 실제 표정 간의 상관도를 반영할 수 있으며, 유사하게, 피구동 캐릭터에 대응하는 실제 표정 파라미터는 또한, 상이한 차원들 하에서 피구동 캐릭터의 표정 베이스와 피구동 캐릭터의 실제 표정 간의 상관도를 반영할 수 있다. 따라서 단말 디바이스(101)는 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라, 앞서 말한 표정 파라미터와 표정 베이스 간의 연관 관계에 기초하여, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정할 수 있다.
단말 디바이스(101)는 매핑 관계 및 구동 캐릭터에 대응하는 표정 파라미터에 따라, 피구동 캐릭터에 대응하는 표정 파라미터를 계산할 수 있고, 피구동 캐릭터의 계산된 표정 파라미터는 피구동 캐릭터의 표정 베이스와 동일한 양의 차원들을 갖기 때문에, 단말 디바이스는 피구동 캐릭터의 계산된 표정 파라미터를 사용함으로써, 표정을 만들도록, 피구동 캐릭터를 구동할 수 있다. 따라서 단말 디바이스(101)는 구동 캐릭터에 대응하는 표정 파라미터 및 매핑 관계에 따라, 피구동 캐릭터를 직접 구동할 수 있다.
도 1에 도시된 애플리케이션 시나리오는 단지 일례일 뿐이라고 이해되어야 한다. 실제 애플리케이션에서, 본 개시내용의 실시예들에 따라 제공되는 AI 기반 애니메이션 캐릭터 구동 방법은 다른 애플리케이션 시나리오에 추가로 적용 가능하고, 본 개시내용의 실시예들에 따라 제공되는 AI 기반 애니메이션 캐릭터 구동 방법이 적용 가능한 애플리케이션 시나리오는 본 명세서에서 제한되지 않는다.
다음으로, 본 개시내용의 실시예들에 따라 제공되는 AI 기반 애니메이션 캐릭터 구동 방법이 첨부 도면들을 참조하여 상세히 설명된다. 도 2를 참조하면, 이 방법은 다음의 단계들(S201 내지 S203)을 포함한다.
단계(S201)에서, 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스가 획득된다.
일부 애니메이션 캐릭터들에서, 애니메이션 캐릭터들의 일부는, 론칭되었고 표정 베이스들 및 얼굴 맞춤화 베이스들을 갖는 애니메이션 캐릭터들인 한편, 애니메이션 캐릭터들의 일부는, 표정 베이스들만을 갖지만 얼굴 맞춤화 베이스들을 갖지 않는 새로운 애니메이션 캐릭터들이다. 이 실시예에서, 구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖고, 피구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않는다.
본 개시내용의 실시예들에서의 애니메이션 캐릭터는 모델 라이브러리 내의 모델일 수 있거나, 모델 라이브러리 내의 모델들의 선형 결합을 통해 획득될 수 있다. 모델 라이브러리는 얼굴 3D 모핑 가능 모델(3DMM: 3D morphable model) 라이브러리 또는 다른 모델 라이브러리일 수 있으며, 이는 이 실시예에서 제한되지 않는다. 구동 캐릭터 또는 피구동 캐릭터와 같은 애니메이션 캐릭터는 3D 메시일 수 있다.
3DMM 라이브러리가 일례로 사용된다. 3DMM 라이브러리는 주성분 분석(PCA) 방법을 사용함으로써 대량의 고정밀 얼굴 데이터로부터 획득되고, 평균 얼굴에 대한 고차원 얼굴 형상 및 표현의 주요 변화를 설명하고, 텍스처 정보를 설명할 수 있다.
일반적으로, 3DMM 라이브러리가 무표정 얼굴 형상을 설명할 때, 3DMM 라이브러리는 를 통해 획득될 수 있으며, 여기서 mu는 중립 표정을 갖는 평균 얼굴이고, Pfacei는 i번째 얼굴 형상의 주성분이며, α i 는 i번째 얼굴 형상의 주성분의 가중치, 즉 얼굴 맞춤화 파라미터이다.
3DMM 라이브러리 내의 애니메이션 캐릭터에 대응하는 메시가 M으로 표현될 수 있다고 가정하면, 즉 3DMM 라이브러리 내의 얼굴 형상, 표정 및 정점 간의 관계가 M으로 표현되고, M은 3D 행렬 [m×n×d]라고 가정하면, 여기서 차원들은 메시의 정점 좌표(m), 얼굴 형상 주성분(n) 및 표정 주성분(d)이다. 3DMM 라이브러리에서의 M의 차원들의 분포 및 의미는 도 3에 도시된다. m은 3개의 좌표들(x, y, z)의 값들을 나타내기 때문에, 메시의 정점들의 양은 m/3이며, 이는 v로 표시된다. 애니메이션 캐릭터의 얼굴 형상 또는 표정이 결정된다면, M은 2D 행렬일 수 있다.
본 개시내용의 일 실시예에서, 3DMM 라이브러리 내의 텍스처 차원에 관계없이, 애니메이션 캐릭터의 구동이 F라고 가정하면, F는 다음의 식(1)을 사용함으로써 결정될 수 있다.
(1),
여기서 M은 애니메이션 캐릭터의 메시이고, α는 얼굴 맞춤화 파라미터이며, β는 표정 파라미터이고; d는 표정 베이스의 표정 메시들의 양이고, n은 얼굴 맞춤화 베이스의 얼굴 맞춤화 메시들의 양이고, Mk,j,i는 i번째 표정 메시 및 j번째 얼굴 맞춤화 메시를 포함하는 k번째 메시이고, α j 는 한 세트의 얼굴 맞춤화 파라미터들에서 j번째 차원의 j번째 얼굴 형상 주성분을 나타내는 가중치이고, β i 는 한 세트의 표정 파라미터들에서 i번째 차원의 i번째 표정 주성분을 나타내는 가중치이다.
얼굴 맞춤화 파라미터를 결정하는 프로세스는 얼굴 맞춤화 알고리즘이고, 표정 파라미터를 결정하는 프로세스는 표정 맞춤화 알고리즘이다. 얼굴 맞춤화 파라미터는 얼굴 맞춤화 베이스와 선형적으로 조합하여 대응하는 얼굴 형상을 획득하는 데 사용된다. 예를 들어, 50개의 (변형 가능한 메시들, 예를 들어 블렌드 쉐입(blendshape)들인) 얼굴 맞춤화 메시들을 포함하는 얼굴 맞춤화 베이스가 존재하고, 얼굴 맞춤화 베이스에 대응하는 얼굴 맞춤화 파라미터는 50개의 차원들을 갖는 벡터이고, 각각의 차원은 얼굴 맞춤화 파라미터에 대응하는 얼굴 형상과 하나의 얼굴 맞춤화 메시 간의 상관도를 식별할 수 있다. 얼굴 맞춤화 베이스에 포함된 얼굴 맞춤화 메시들은 각각 상이한 얼굴 형상을 표현하고, 각각의 얼굴 맞춤화 메시는 평균 얼굴에 대해 크게 변화하는 얼굴 외양이고, PCA가 대량의 얼굴들을 분해함으로써 획득된 상이한 차원들의 얼굴 형상 주성분이며, 동일한 얼굴 맞춤화 베이스의 상이한 얼굴 맞춤화 메시들에 대응하는 정점 시퀀스 번호들은 일관되게 유지된다.
표정 파라미터는 표정 베이스와 선형적으로 조합하여 대응하는 표정을 획득하는 데 사용된다. 예를 들어, (50인 차원수와 동등한) 50개의 (변형 가능한 메시들, 예를 들어 블렌드 쉐입들인) 표정 메시들을 포함하는 표정 베이스가 존재하고, 표정 베이스에 대응하는 표정 파라미터는 50개의 차원들을 갖는 벡터이고, 각각의 차원은 표정 파라미터에 대응하는 표정과 하나의 표정 메시 간의 상관도를 식별할 수 있다. 표정 베이스에 포함된 표정 메시들은 각각 상이한 표정을 표현하고, 각각의 표정 메시는 상이한 표정들 하에서 동일한 3D 모델을 변화시킴으로써 형성되며, 동일한 표정 베이스의 상이한 표정 메시들에 대응하는 정점 시퀀스 번호들은 일관되게 유지된다.
앞서 말한 변형 가능한 메시들의 경우, 단일 메시가 미리 정의된 형상에 따라 변형되어, 임의의 양의 메시들을 획득할 수 있다.
단계(S202)에서, 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계가 결정된다.
이 실시예의 방법에 기초하여, 피구동 캐릭터가 구동 캐릭터의 표정 파라미터를 사용함으로써 표정 파라미터들 간의 매핑 관계에 따라 구동되는 시나리오에서는, 얼굴 맞춤화 베이스가 변경되지 않고 유지된다. 즉, 얼굴 형상이 고정되고, 표정 베이스만이 조정될 필요가 있다.
따라서 앞서 말한 식(1)에 기초한 애니메이션 캐릭터의 구동은 다음 식(2)으로서 추가로 표현될 수 있으며:
(2),
여기서 Mk는 고정된 얼굴 형상을 갖는 애니메이션 캐릭터의 구동이고, Mk,i는 i번째 표정 메시이고, β i 는 i번째 표정 메시에 대응하는 표정 파라미터이고, n은 표정 베이스의 표정 메시들의 양이다.
애니메이션 캐릭터(a)가 표정 베이스 및 얼굴 맞춤화 베이스를 갖고, 애니메이션 캐릭터(b)는 표정 베이스를 갖지만 얼굴 맞춤화 베이스를 갖지 않으며, 애니메이션 캐릭터(a)의 일부 표정 파라미터들이 표정 맞춤화 알고리즘을 사용함으로써 획득되었다면, 애니메이션 캐릭터(a)는 구동 캐릭터로서 사용될 수 있고, 애니메이션 캐릭터(b)는 피구동 캐릭터로서 사용될 수 있다. 표정 파라미터와 표정 베이스의 선형 조합을 통해, 다음 식(3)에 기초하여 애니메이션 캐릭터(a)의 구동이 획득될 수 있다.
(3),
여기서 은 애니메이션 캐릭터(a)의 구동이고, 은 애니메이션 캐릭터(a)의 i번째 표정 메시이고, 은 애니메이션 캐릭터(a)의 i번째 표정 메시에 대응하는 표정 파라미터이고, n a 은 애니메이션 캐릭터(a)의 표정 베이스에 포함된 표정 메시들의 양이다.
유사하게, 애니메이션 캐릭터(b)의 구동은 다음 식(4)에 기초하여 획득된다.
(4),
여기서 은 애니메이션 캐릭터(b)의 구동이고, 은 애니메이션 캐릭터(b)의 i번째 표정 메시이고, 은 애니메이션 캐릭터(b)의 i번째 표정 메시에 대응하는 표정 파라미터이고, n b 은 애니메이션 캐릭터(b)의 표정 베이스 내의 표정 메시들의 양이다.
구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계가 존재하며, 따라서 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계는 함수 f()를 사용함으로써 표현될 수 있다. 이런 식으로, 구동 캐릭터에 대응하는 표정 파라미터에 따라, 피구동 캐릭터에 대응하는 표정 파라미터를 계산하기 위한 다음 식(5)은 다음과 같으며:
(5),
여기서 βb는 피구동 캐릭터에 대응하는 표정 파라미터이고, βa은 구동 캐릭터에 대응하는 표정 파라미터이고, f()는 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 나타낸다.
따라서 매핑 관계가 결정된다면, 피구동 캐릭터(애니메이션 캐릭터(b))는 구동 캐릭터(애니메이션 캐릭터(a))에 대응하는 표정 파라미터를 사용함으로써 식(5)과 조합하여 식(4)에 따라 직접 구동될 수 있다.
피구동 캐릭터는 구동 캐릭터에 대응하는 실제 표정 파라미터에 따라, 실제 표정을 만들도록 구동될 수 있고, 실제 표정 파라미터는 상이한 차원들 하에서 구동 캐릭터의 표정 베이스와 실제 표정 간의 상관도를 반영할 수 있는데, 즉 피구동 캐릭터에 대응하는 실제 표정 파라미터는 또한, 상이한 차원들 하에서 피구동 캐릭터의 표정 베이스와 피구동 캐릭터의 실제 표정 간의 상관도를 반영할 수 있다. 따라서 표정 파라미터들 간의 매핑 관계는 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라, 앞서 말한 표정 파라미터와 표정 베이스 간의 연관 관계에 기초하여 결정될 수 있다.
단계(S203)에서, 피구동 캐릭터가 구동 캐릭터에 대응하는 표정 파라미터 및 매핑 관계에 따라 구동된다.
앞서 말한 애니메이션 캐릭터(a) 및 애니메이션 캐릭터(b)가 여전히 일례로 사용된다. 매핑 관계가 선형 관계라면, 앞서 말한 식(5)은 다음 식(6)으로 표현될 수 있으며:
(6),
여기서 βb는 피구동 캐릭터에 대응하는 표정 파라미터이고, βa은 구동 캐릭터에 대응하는 표정 파라미터이고, f는 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 나타낸다.
구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계(f)가 결정된 후에, 애니메이션 캐릭터(b)의 표정 파라미터(βb)가 식(6)에 따라 계산될 수 있다. βa의 차원수는 애니메이션 캐릭터(b)의 표정 베이스의 차원수와 상이하지만, 매핑 관계를 통해 획득된 βb의 차원수는 애니메이션 캐릭터(b)의 표정 베이스의 차원수와 동일하므로, 애니메이션 캐릭터(b)가 표정을 만들도록 구동될 수 있다. 따라서 애니메이션 캐릭터(b)는 βb를 사용함으로써 식(6)에 기초하여 구동된다. 즉, 애니메이션 캐릭터(b)의 얼굴 맞춤화 베이스를 결정하지 않고 애니메이션 캐릭터(a)에 대응하는 표정 파라미터(βa)를 사용함으로써 애니메이션 캐릭터(b)가 직접적으로 구동될 수 있다.
본 개시내용의 실시예들에 따라 제공되는 애니메이션 캐릭터 구동 방법은 상이한 애니메이션 캐릭터들에 대응하는 (얼굴들에 대한) 표정 베이스들 사이의 마이그레이션에 적용 가능한 것으로 제한되지 않는다. 즉, 피구동 캐릭터는 구동 캐릭터에 대응하는 표정 파라미터를 사용함으로써, 표정, 예를 들어 입 모양, 미소 또는 울음을 만들도록 직접 구동된다. 본 개시내용의 실시예들에 따라 제공되는 애니메이션 캐릭터 구동 방법은 신체 액션과 같은 다른 오브젝트들을 마이그레이션하는 데 추가로 적용 가능하다. 즉, 피구동 캐릭터는 구동 캐릭터에 대응하는 액션 파라미터를 사용함으로써 액션을 하도록 직접 구동된다.
하나의 애니메이션 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖고, 다른 애니메이션 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않을 때, 얼굴 맞춤화 베이스를 갖는 애니메이션 캐릭터는 구동 캐릭터로서 사용될 수 있고, 얼굴 맞춤화 베이스를 갖지 않는 애니메이션 캐릭터는 피구동 캐릭터로서 사용될 수 있는 것이 앞서 말한 기술적 솔루션들로부터 학습될 수 있다. 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간에 매핑 관계가 존재한다. 따라서 매핑 관계가 결정된 후에, 피구동 캐릭터가 얼굴 맞춤화 베이스를 갖지 않더라도 구동 캐릭터에 대응하는 표정 파라미터를 사용함으로써, 피구동 캐릭터는 매핑 관계에 기초하여 직접 구동될 수 있다. 피구동 캐릭터는 구동 캐릭터에 대응하는 실제 표정 파라미터에 따라, 실제 표정을 만들도록 구동될 수 있고, 실제 표정 파라미터는 상이한 차원들 하에서 구동 캐릭터의 표정 베이스와 실제 표정 간의 상관도를 반영할 수 있는데, 즉 피구동 캐릭터에 대응하는 실제 표정 파라미터는 또한, 상이한 차원들 하에서 피구동 캐릭터의 표정 베이스와 피구동 캐릭터의 실제 표정 간의 상관도를 반영할 수 있다. 따라서 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라 앞서 말한 표정 파라미터와 표정 베이스 간의 연관 관계에 기초하여 표정 파라미터들 간의 매핑 관계가 결정될 수 있고, 피구동 캐릭터는 구동 캐릭터의 알려진 표정 파라미터 및 매핑 관계를 사용함으로써 매핑 관계에 따라 구동되어, 피구동 캐릭터가 알려진 표정 파라미터에 의해 식별된 실제 표정을 만든다. 따라서 새로운 애니메이션 캐릭터에 대응하는 얼굴 맞춤화 베이스를 획득하기 위한 처리를 수행하지 않고 다른 애니메이션 캐릭터의 알려진 표정 파라미터를 사용함으로써 새로운 애니메이션 캐릭터가 직접 구동될 수 있으며, 이로써 새로운 애니메이션 캐릭터를 론치하는 속도를 높일 수 있다.
다음으로, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 어떻게 결정하는지가 단계(S202)에 대해 상세히 설명된다. 다음의 실시예들에서는 선형 매핑 관계인 매핑 관계가 주로 설명된다.
이 실시예에 따라, 매핑 관계를 결정하기 위한 두 가지 타입들의 방법들이 주로 제공된다. 제1 타입의 방법의 아이디어는 제1 표정 파라미터와 같은 알려진 표정 파라미터에 따라 제2 표정 파라미터와 같은 다른 표정 파라미터를 결정하는 것이다. 제1 표정 파라미터와 제2 표정 파라미터 간의 매핑 관계가 존재하기 때문에, 매핑 관계는 제1 표정 파라미터 및 제2 표정 파라미터에 따라 해결된다. 제2 타입의 방법의 아이디어는 분석적인 식에 기초하여 매핑 관계를 결정하는 것이다. 구동 캐릭터의 표정 베이스와 피구동 캐릭터의 표정 베이스 간의 변환을 통해 동일한 점군 데이터(point cloud data)가 획득될 수 있기 때문에, 매핑 관계는 점군 데이터 간의 식 관계에 기초하여 해결된다.
제1 타입의 방법의 흐름도에 대해, 도 4가 참조될 수 있다. 제1 표정 파라미터가 제1 양의 차원들을 갖는 표정 베이스를 구동하는 데 사용되며, 제1 표정 베이스의 차원수는 제1 차원수이다. 제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 타깃 메시를 결정하기 위해, 제1 표정 파라미터를 사용함으로써 제1 캐릭터에 대응하는 표정 베이스가 구동된다. 타깃 메시는 제1 표정 파라미터에 대응하는 표정을 짓는 제1 캐릭터를 식별하는 데 사용되는 타깃 정점 토폴로지를 갖는다. 타깃 정점 토폴로지를 갖는 제1 캐릭터에 대응하는 타깃 표정 베이스가 획득되고, 타깃 표정 베이스의 차원수는 제2 차원수이고, 타깃 표정 베이스는 제2 캐릭터에 대응하는 제2 표정 베이스에 따라 결정된다. 이어서, 제1 캐릭터에 대응하는 제2 표정 파라미터가 타깃 메시 및 타깃 표정 베이스에 따라 결정되며, 제2 표정 파라미터는 타깃 메시에 대한 제1 캐릭터의 표정의 변화도를 반영하는 데 사용된다. 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계는 제1 표정 파라미터 및 제2 표정 파라미터에 따라 결정된다. 타깃 메시를 결정하는 프로세스는 도 4의 좌측 점선 박스에 주석이 달려 있고, 타깃 표정 베이스를 결정하는 프로세스는 도 4의 우측 점선 박스에 주석이 달려 있다.
제1 캐릭터 및 제2 캐릭터 중 하나는 대응하는 얼굴 맞춤화 베이스를 갖고, 다른 하나는 대응하는 얼굴 맞춤화 베이스를 갖지 않으며, 구동 캐릭터는 제1 캐릭터 및 제2 캐릭터 중 대응하는 얼굴 맞춤화 베이스를 갖는 캐릭터이고, 피구동 캐릭터는 제1 캐릭터 및 제2 캐릭터 중 대응하는 얼굴 맞춤화 베이스를 갖지 않는 캐릭터이다.
타깃 메시를 결정하는 다수의 상이한 방식들이 도 4에 대응하는 실시예에 기초하여 본 개시내용의 일 실시예에 따라 제공될 수 있다. 타깃 정점 토폴로지가 제2 표정 베이스에 대응하는 제2 정점 토폴로지라면, 제1 표정 베이스가 제1 정점 토폴로지에 대응하기 때문에, 일반적으로, 제1 표정 파라미터를 사용하여 제1 표정 베이스를 구동함으로써 획득된 메시가 제1 정점 토폴로지를 갖는다고 이해될 수 있다. 제1 정점 토폴로지가 제2 정점 토폴로지와 상이할 때, 제2 정점 토폴로지를 갖는 타깃 메시를 획득하기 위해, 제1 정점 토폴로지를 갖는 메시가 제2 정점 토폴로지를 갖는 타깃 메시로 변환될 필요가 있다.
본 개시내용의 실시예들에서 언급된 제1 정점 토폴로지, 제2 정점 토폴로지 및 타깃 정점 토폴로지와 같은 정점 토폴로지들은 애니메이션 캐릭터의 구동에 수반되는 메시들 내의 정점 토폴로지들의 일부일 수 있다. 예를 들어, 애니메이션 캐릭터는 머리이고, 애니메이션 캐릭터가 얼굴 표정을 만들기 위해 구동될 때, 수반되는 정점 토폴로지들은 머리를 표현하는 메시들의 얼굴에 대응하는 정점 토폴로지들이다.
따라서 가능한 구현에서, 도 5를 참조하면, 타깃 메시를 결정하는 방식은: 제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 초기 메시를 결정하는 것을 포함할 수 있다. 초기 메시가 제1 표정 베이스에 대응하는 제1 정점 토폴로지를 갖기 때문에, 타깃 메시는 제1 정점 토폴로지와 제2 정점 토폴로지 간의 대응관계에 따라 생성될 수 있다.
이 경우, 타깃 표정 베이스를 결정하는 방식은: 제1 표정 베이스로부터, 제1 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하는 것, 그리고 제2 표정 베이스로부터, 제2 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하는 것; 그리고 그 다음에, 제1 캐릭터에 대응하는 무표정 메시 및 제2 캐릭터에 대응하는 무표정 메시에 따라 조정 메시를 결정하는 것을 포함할 수 있으며, 조정 메시는 제2 정점 토폴로지를 갖고, 제1 캐릭터가 무표정일 때 제1 캐릭터를 식별하는 데 사용된다. 조정 메시 및 제2 표정 베이스에서의 메시 변형 관계가 알려져 있기 때문에, 타깃 표정 베이스는 조정 메시 및 제2 표정 베이스에서의 메시 변형 관계에 따라 생성될 수 있다. 메시 변형 관계는 표정 베이스에서의 무표정 메시에 대한 표정 메시의 변형 관계를 반영할 수 있다.
정점 토폴로지는 애니메이션 캐릭터와 특정 관계를 갖지만, 정점 토폴로지와 애니메이션 캐릭터 간의 관계는 강하지 않다. 즉, 애니메이션 캐릭터들이 동일하다면, 정점 토폴로지들은 확실히 동일하지만, 정점 토폴로지들이 동일하다면, 애니메이션 캐릭터들은 상이할 수 있다(예를 들어, 정점 토폴로지들이 변형됨). 조정 메시를 결정하는 특정 방식은: 얼굴 맞춤화 알고리즘을 사용함으로써 제2 캐릭터에 대응하는 무표정 메시를 제1 캐릭터에 대응하는 무표정 메시에 부착하는 것을 포함할 수 있다. 예를 들어, 새로운 메시, 즉, 조정 메시를 획득하기 위해, nricp 알고리즘이 얼굴 맞춤화 알고리즘으로서 사용될 수 있다. 확실히, nricp 알고리즘에 추가로 다른 얼굴 맞춤화 알고리즘들이 사용될 수 있다. 이는 이 실시예에서 제한되지 않는다.
제1 정점 토폴로지가 제2 정점 토폴로지와 동일할 때, 제1 표정 파라미터를 사용하여 제1 표정 베이스를 구동함으로써 획득된 메시는 타깃 메시이지만 초기 메시는 아니며, 초기 메시를 타깃 메시로 변환하는 앞서 말한 단계는 필요하지 않다.
제1 캐릭터에 대응하는 제2 표정 파라미터와 제1 캐릭터에 대응하는 대량의 기존 표정 파라미터들이 동일한 데이터 분포를 가질 때, 타깃 메시 및 타깃 표정 베이스는 도 5에 대응하는 실시예에 따라 제공된 방법을 사용함으로써 보다 정확하게 결정될 수 있고, 매핑 관계가 더 정확하게 결정되어, 피구동 캐릭터가 매핑 관계 및 구동 캐릭터의 표정 파라미터에 따라 더 양호하게 구동될 수 있다.
그러나 일부 경우들에는, 도 5에 대응하는 실시예를 통해 결정된 제1 캐릭터에 대응하는 제2 표정 파라미터 및 제1 캐릭터에 대응하는 대량의 기존 표정 파라미터들이 동일한 데이터 분포를 갖지 않을 수 있다. 제1 캐릭터에 대응하는 제2 표정 파라미터와 제1 캐릭터에 대응하는 대량의 기존 표정 파라미터들 간의 데이터 분포 차이로 인해 매핑 관계가 정확하게 결정될 수 없고, 피구동 캐릭터가 구동 캐릭터에 대응하는 표정 파라미터를 사용함으로써 구동될 때 야기되는 부적절한 표정으로 인해 정확한 표현이 더는 매핑될 수 없다는 문제 및 다른 문제들을 피하기 위해, 본 개시내용의 일 실시예에 따라 타깃 메시를 결정하는 다른 방식이 추가로 제공된다.
도 6을 참조하면, 이러한 방식은: 제2 캐릭터에 대응하고, 제2 캐릭터에 대응하는 제2 표정 베이스로부터 어떠한 표정도 갖지 않는 무표정 메시를 결정하는 것; 제2 캐릭터에 대응하는 무표정 메시 및 제1 캐릭터에 대응하는 제1 표정 베이스에 따라, 제1 캐릭터에 대응하고 제2 정점 토폴로지를 갖는 조정 표정 베이스를 결정하는 것 ― 조정 표정 베이스의 차원수는 제1 차원수임 ―; 그리고 제1 표정 파라미터 및 조정 표정 베이스에 따라 타깃 메시를 결정하기 위해, 제1 표정 파라미터를 사용함으로써 조정 표정 베이스를 구동하는 것을 포함한다. 이 경우, 타깃 표정 베이스를 결정하는 방식은: 조정 표정 베이스로부터, 제1 캐릭터에 대응하고 표정이 없는 무표정 메시를 결정하는 것; 그리고 제1 캐릭터에 대응하는 무표정 메시 및 제2 표정 베이스의 메시 변형 관계에 따라 타깃 표정 베이스를 생성하는 것을 포함할 수 있다.
조정 표정 베이스를 결정하는 방식은: 새로운 표정 베이스, 예를 들어 조정 표정 베이스를 획득하기 위해, 얼굴 맞춤화 알고리즘을 사용함으로써 제2 캐릭터에 대응하는 무표정 메시를 제1 표정 베이스의 각각의 표정 메시에 부착하는 것을 포함할 수 있다. 이는 비강성(non-rigid) 등록 방법이고, 얼굴 맞춤화 알고리즘은 예를 들어, nricp 알고리즘일 수 있다.
도 6에 대응하는 실시예에 따라 제공되는 방법을 사용함으로써, 상이한 데이터 분포들로 인해 매핑 관계가 정확하게 결정될 수 없는 문제가 방지되어, 매핑 품질이 상당히 개선된다.
도 7은 도 5 및 도 6에 대응하는 실시예들에 따라 제공되는 방법에 기초하여 애니메이션 캐릭터를 구동하는 효과의 도면이다. 좌측의 도면은 도 5에 대응하는 실시예에 따라 제공된 방법에 기초하여 애니메이션 캐릭터를 구동하는 효과를 도시하고, 우측의 도면은 도 6에 대응하는 실시예에 따라 제공된 방법에 기초하여 애니메이션 캐릭터를 구동하는 효과를 도시한다. 우측의 효과의 도면에서, 입술들 주위에 더 적은 주름들이 있는데, 이들은 정상적인 스피킹의 입 모양과 더 유사다고 학습될 수 있다.
도 5 및 도 6에서 타깃 메시를 결정하는 방식들은 서로 교환될 수 있다. 유사하게, 도 5 및 도 6에서 타깃 표정 베이스를 결정하는 방식들은 또한 서로 교환될 수 있다.
제1 타입의 방법을 사용하는 경우, 제1 표정 파라미터 및 제2 표정 파라미터에 따라 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정하는 방식은: 다수의 제1 표정 파라미터들 및 다수의 제2 표정 파라미터들을 쌍들로 획득하는 것; 그리고 그 다음, 다수의 제1 표정 파라미터들에 의해 형성된 제1 행렬 및 다수의 제2 표정 파라미터들에 의해 형성된 제2 행렬에 따라 매핑 관계를 결정하는 것을 포함할 수 있다.
도 5 및 도 6에 대응하는 실시예들 중 임의의 실시예에서, 제1 캐릭터 및 제2 캐릭터 중 하나는 대응하는 얼굴 맞춤화 베이스를 갖고, 다른 하나는 대응하는 얼굴 맞춤화 베이스를 갖지 않는다고 이해될 수 있다. 제1 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖지 않는다면, 제2 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖고, 제1 표정 파라미터는 랜덤 표정 파라미터이다. 대안으로, 제1 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖는다면, 제2 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않는다. 도 5 및 도 6에 대응하는 실시예들에 기초하여, 제1 캐릭터가 얼굴 맞춤화 베이스를 갖는 경우와 제2 캐릭터가 얼굴 맞춤화 베이스를 갖는 경우 간의 차이에 대해, 애니메이션 캐릭터 구동 방법이 설명된다.
도 5에 대응하는 실시예에서, 제1 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖지 않고, 제2 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖고, 제1 표정 파라미터는 랜덤 표정 파라미터라면, 구동 캐릭터는 제2 캐릭터이고, 피구동 캐릭터는 제1 캐릭터이다. 구동 캐릭터는 애니메이션 캐릭터(a)이고, 피구동 캐릭터는 애니메이션 캐릭터(b)이고, 제1 표정 파라미터는 랜덤 표정 파라미터(Bb)이고, 형상은 Fb이고, 정점 토폴로지는 제1 정점 토폴로지(Tb)이고, 차원수는 Nb이다. 즉, 제1 표정 베이스(Eb)는 랜덤 표정 파라미터(Bb)를 사용함으로써 직접 구동될 수 있고, 제1 표정 베이스(Eb)의 형상은 Fb이고, 정점 토폴로지는 제1 정점 토폴로지(Tb)이고, 차원수는 제1 차원수(Nb)이다. 애니메이션 캐릭터(a)의 제2 표정 베이스(Ea)의 형상은 Fa이고, 정점 토폴로지는 제2 정점 토폴로지(Ta)이고, 차원수는 제2 차원수(Na)이고, 제2 표정 베이스(Ea)를 구동하기 위한 대량의 표정 파라미터들(Ba)이 있었다. Fa는 Fb와 동일하지 않고, Ta는 Tb와 동일하지 않으며, Na는 Nb와 동일하지 않다.
이 경우, 도 5에 대응하는 실시예의 구현을 위해, 도 8이 참조될 수 있다. 제1 표정 베이스(Eb)는 랜덤 표정 파라미터(Bb)를 사용함으로써 Meshmid로 표시된 초기 메시를 획득하도록 직접 구동되며, 여기서 초기 메시의 형상은 Fb이고, 초기 메시의 정점 토폴로지는 제1 정점 토폴로지(Tb)이다. 이어서, Meshmid는 제1 정점 토폴로지와 제2 정점 토폴로지 간의 대응관계에 따라 타깃 메시로 변환되고, 타깃 메시의 정점 토폴로지는 제2 정점 토폴로지(타깃 정점 토폴로지)(Ta)이며, 타깃 메시의 형상은 Fb로서 유지되고, 타깃 메시는 Meshc로 표시된다. 제2 표정 베이스(Ea)로부터 결정된 무표정 메시가 nricp 알고리즘을 사용함으로써, 제1 표정 베이스(Eb)로부터 결정된 무표정 메시에 부착되고, 공간에서 가장 가까운 점을 검색하기 위한 방법을 사용함으로써 점 대응 관계가 획득되어, Newb로 표기된 조정 메시를 획득하고, 여기서 조정 메시의 형상은 Fb이고, 조정 메시의 정점 토폴로지는 제2 정점 토폴로지(Ta)이다. 또한, 새로운 표정 베이스, 예를 들어 타깃 표정 베이스(Ea')가 획득될 필요가 있고, 타깃 표정 베이스(Ea')의 형상은 Fb이고, 타깃 표정 베이스의 정점 토폴로지는 제2 정점 토폴로지(Ta)이고, 타깃 표정 베이스의 차원수는 Na이다. 조정 메시(Newb) 및 중립 표정(무표정)에 대한 제2 표정 베이스(Ea)의 각각의 차원에서의 표정 간의 메시 변형 관계가 알려져 있기 때문에, 타깃 표정 베이스(Ea')는 조정 메시(Newb) 및 제2 표정 베이스(Ea)에서의 메시 변형 관계에 따라 조정 메시(Newb)로부터의 변형을 통해 획득될 수 있다. 따라서 타깃 메시(Meshc)는 표정 맞춤화 알고리즘을 사용함으로써 그리고 타깃 표정 베이스(Ea')를 사용함으로써 맞춤화될 수 있고, Na인 차원수를 갖는 제2 표정 파라미터(Ba')가 또한 획득된다.
따라서 Bb와 Ba' 간의 매핑 관계가 설정된다. 대량의 제1 표정 파라미터들(Bb)이 랜덤하게 생성될 때, 대량의 대응하는 제2 표정 파라미터들(Ba')이 생성될 수 있다. L개의 제1 표정 파라미터들(Bb) 및 L개의 제2 표정 파라미터들(Ba')이 있고, L개의 제1 표정 파라미터들(Bb)은 제1 행렬을 형성하고, L개의 제2 표정 파라미터들(Ba')은 제2 행렬을 형성한다고 가정되며, 여기서 제1 행렬 및 제2 행렬은 다음 식(7)으로 도시된 바와 같이, 각각 BB 및 BA'로 표기된다:
, 그리고 (7).
이 솔루션에서, 제1 표정 파라미터와 제2 표정 파라미터 간의 매핑 관계가 예를 들어, 식(6)으로 표현된 선형 매핑 관계라면, 매핑 관계는 다음 식(8)에 따라 결정될 수 있으며:
(8),
여기서 f는 매핑 관계이고, BB는 제1 행렬이고, BA'는 제2 행렬이고, inv는 역행렬 연산이다.
매핑 관계(f)가 획득된 후, 대량의 Ba가 존재했기 때문에, Ba 및 Ba' 각각에 대응하는 표정 베이스의 차원수는 Na이고, 각각의 차원수의 의미 정보는 동일하며, Ba와 Ba'는 동등할 수 있다. 따라서 임의의 세트의 Ba에 대해, 애니메이션 캐릭터(b)를 구동하기 위해, 대응하는 Bb = f *Ba가 획득되어, 표정 파라미터들(Ba)에 따라 표정 파라미터들(Bb)을 획득할 수 있다.
도 5에 대응하는 실시예에서, 제1 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖고, 제2 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않는다면, 구동 캐릭터는 제1 캐릭터이고, 피구동 캐릭터는 제2 캐릭터이다. 구동 캐릭터는 애니메이션 캐릭터(a)이고, 피구동 캐릭터는 애니메이션 캐릭터(b)이고, 제1 표정 파라미터는 표정 파라미터(Bb)이고, 형상은 Fa이고, 정점 토폴로지는 제1 정점 토폴로지(Ta)이고, 차원수는 Na이다. 즉, 제1 표정 베이스(Eb)는 표정 파라미터(Ba)를 사용함으로써 직접 구동될 수 있고, 제1 표정 베이스(Ea)의 형상은 Fa이고, 정점 토폴로지는 제1 정점 토폴로지(Ta)이고, 차원수는 제1 차원수(Na)이다. 애니메이션 캐릭터(b)의 제2 표정 베이스(Eb)의 형상은 Fb이고, 정점 토폴로지는 제2 정점 토폴로지(Tb)이고, 차원수는 제2 차원수(Nb)이고, 제1 표정 베이스(Ea)를 구동하기 위한 대량의 표정 파라미터들(Ba)이 있었다. Fa는 Fb와 동일하지 않고, Ta는 Tb와 동일하지 않으며, Na는 Nb와 동일하지 않다.
이 경우, 도 5에 대응하는 실시예의 구현을 위해, 도 9가 참조될 수 있다. 제1 표정 베이스(Ea)는 표정 파라미터(Ba)를 사용함으로써 Meshmid로 표시된 초기 메시를 획득하도록 직접 구동되며, 여기서 초기 메시의 형상은 Fa이고, 초기 메시의 정점 토폴로지는 제1 정점 토폴로지(Ta)이다. 이어서, Meshmid는 제1 정점 토폴로지와 제2 정점 토폴로지 간의 대응관계에 따라 타깃 메시로 변환되고, 타깃 메시의 정점 토폴로지는 제2 정점 토폴로지(타깃 정점 토폴로지)(Tb)이며, 타깃 메시의 형상은 Fa로서 유지되고, 타깃 메시는 Meshc로 표시된다. 제2 표정 베이스(Eb)로부터 결정된 무표정 메시가 nricp 알고리즘을 사용함으로써, 제1 표정 베이스(Ea)로부터 결정된 무표정 메시에 부착되고, 공간에서 가장 가까운 점을 검색하기 위한 방법을 사용함으로써 점 대응 관계가 획득되어, Newb로 표기된 조정 메시를 획득하고, 여기서 조정 메시의 형상은 Fa이고, 조정 메시의 정점 토폴로지는 제2 정점 토폴로지(Tb)이다. 또한, 새로운 표정 베이스, 예를 들어 타깃 표정 베이스(Eb')가 획득될 필요가 있고, 타깃 표정 베이스(Eb')의 형상은 Fa이고, 타깃 표정 베이스(Eb')의 정점 토폴로지는 제2 정점 토폴로지(Tb)이고, 타깃 표정 베이스(Eb')의 차원수는 Nb이다. 조정 메시(Newb) 및 제2 표정 베이스(Ea)에서의 메시 변형 관계가 알려져 있기 때문에, 타깃 표정 베이스(Eb')는 조정 메시(Newb) 및 제2 표정 베이스(Eb)에서의 메시 변형 관계에 따라 조정 메시(Newb)로부터의 변형을 통해 획득될 수 있다. 따라서 타깃 메시(Meshc)는 표정 맞춤화 알고리즘을 사용함으로써 그리고 타깃 표정 베이스(Eb')를 사용함으로써 맞춤화될 수 있고, Nb인 차원수를 갖는 제2 표정 파라미터(Bb)가 또한 획득된다.
대량의 대응하는 제2 표정 파라미터들(Bb)은 대량의 기존 제1 표정 파라미터들(Ba)을 사용함으로써 생성될 수 있다. 유사하게, 제1 표정 파라미터와 제2 표정 파라미터 간의 매핑 관계는 앞서 말한 식(7) 및 식(8)의 방법들을 사용함으로써 결정될 수 있다.
따라서 임의의 세트의 Ba에 대해, 애니메이션 캐릭터(b)를 구동하기 위해, 대응하는 Bb = f *Ba가 획득되어, 표정 파라미터들(Ba)에 따라 표정 파라미터들(Bb)을 획득할 수 있다.
도 6에 대응하는 실시예에서, 제1 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖고, 제2 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않는다면, 구동 캐릭터는 제1 캐릭터이고, 피구동 캐릭터는 제2 캐릭터이다. 구동 캐릭터는 애니메이션 캐릭터(a)이고, 피구동 캐릭터는 애니메이션 캐릭터(b)이고, 제1 표정 파라미터는 표정 파라미터(Ba)이고, 형상은 Fa이고, 정점 토폴로지는 제1 정점 토폴로지(Ta)이고, 차원수는 Na이다. 다시 말해서, 제1 표정 베이스(Ea)는 표정 파라미터(Ba)를 사용함으로써 직접 구동될 수 있다. 애니메이션 캐릭터(b)의 제2 표정 베이스(Eb)의 형상은 Fb이고, 정점 토폴로지는 제2 정점 토폴로지(Tb)이고, 차원수는 제2 차원수(Nb)이고, 제1 표정 베이스(Ea)를 구동하기 위한 대량의 표정 파라미터들(Ba)이 있었다. Fa는 Fb와 동일하지 않고, Ta는 Tb와 동일하지 않으며, Na는 Nb와 동일하지 않다.
이 경우, 도 6에 대응하는 실시예의 구현을 위해, 도 10이 참조될 수 있다. 타깃 정점 토폴로지가 제2 정점 토폴로지(Tb)라면, 제2 정점 토폴로지(Tb)인 정점 토폴로지를 갖는 조정 표정 베이스(Ea')가 먼저 구성되고, 조정 표정 베이스(Ea')가 제1 표정 파라미터(Ba)에 의해 구동될 수 있다는 것이 보장된다. 조정 표정 베이스(Ea')를 구성하는 다수의 방식들이 존재할 수 있다. 제1 방식은: 조정 표정 베이스(Ea')를 획득하기 위해, nricp 알고리즘과 같은 얼굴 맞춤화 알고리즘을 사용함으로써, 제2 표정 베이스(Eb)로부터 결정된 무표정 메시를 제1 표정 베이스(Ea)의 각각의 표정 메시에 부착하는 것을 포함할 수 있다. 제2 방식은: 제2 표정 베이스(Eb)에서의 메시의 정점 토폴로지와 동일한 정점 토폴로지 및 Fa인 형상을 갖는 무표정 메시를 획득하기 위해, 얼굴 맞춤화 알고리즘을 사용함으로써, Eb로부터 결정된 무표정 메시를 제1 표정 베이스(Ea)의 무표정 메시에 부착하는 것, 그리고 이어서, 조정 표정 베이스(Ea')를 획득하기 위해, 무표정 메시에 대한 Ea에서의 각각의 표정 메시의 변형에 따라, Fa인 형상 및 Tb인 정점 토폴로지를 갖는, 앞서 말한 획득된 무표정 메시를 변경함으로써, Ea 및 Eb의 한 쌍의 정점들 간의 대응이 매핑 동안 고유함을 보장하는 것을 포함할 수 있다. 조정 표정 베이스(Ea')의 형상은 Fa이고, 조정 표정 베이스(Ea')의 정점 토폴로지는 제2 정점 토폴로지(Tb)이며, 조정 표정 베이스(Ea')의 차원수는 제1 차원수(Na)이다.
제1 표정 베이스(Ea)는 제1 표정 파라미터(Ba)를 사용함으로써 직접 구동될 수 있고, 조정 표정 베이스(Ea')는 제1 표정 베이스(Ea)와 동일한 양의 차원들을 가지며, 각각의 차원의 의미 정보는 동일하기 때문에, 타깃 메시를 획득하기 위해 제1 표정 파라미터(Ba)를 사용함으로써 조정 표정 베이스(Ea')가 직접 구동될 수 있다. 타깃 메시의 형상은 Fa이고, 정점 토폴로지는 제2 정점 토폴로지(Tb)이며, 타깃 메시는 Meshc로 표기된다.
타깃 메시 및 타깃 표정 베이스에 따라, 제2 차원수(Nb)인 차원수를 갖는 제2 표정 파라미터(Bb)를 결정하기 위해, Fa인 형상, 제2 정점 토폴로지(Tb)인 정점 토폴로지, 및 Nb인 차원수를 갖는 타깃 표정 베이스가 구성될 필요가 있다. 따라서 표정이 없는 제1 캐릭터에 대응하는 무표정 메시가 조정 표정 베이스(Ea')로부터 결정되고, 제1 캐릭터에 대응하는 무표정 메시 및 제2 표정 베이스에서의 메시 변형 관계에 따라 타깃 표정 베이스(Eb')가 생성되며, 타깃 표정 베이스(Eb')의 형상은 Fa이고, 타깃 표정 베이스(Eb')의 정점 토폴로지는 제2 정점 토폴로지(Tb)이며, 타깃 표정 베이스(Eb')의 차원수는 Nb이다. 따라서 타깃 메시(Meshc)는 표정 맞춤화 알고리즘을 사용함으로써 그리고 타깃 표정 베이스(Eb')를 사용함으로써 맞춤화될 수 있고, Nb인 차원수를 갖는 제2 표정 파라미터(Bb)가 또한 획득된다.
대량의 대응하는 제2 표정 파라미터들(Bb)은 대량의 기존 제1 표정 파라미터들(Ba)을 사용함으로써 생성될 수 있다. 유사하게, 제1 표정 파라미터와 제2 표정 파라미터 간의 매핑 관계는 앞서 말한 식(7) 및 식(8)의 방법들을 사용함으로써 결정될 수 있다.
따라서 임의의 세트의 Ba에 대해, 애니메이션 캐릭터(b)를 구동하기 위해, 대응하는 Bb = f *Ba가 획득되어, 표정 파라미터들(Ba)에 따라 표정 파라미터들(Bb)을 획득할 수 있다.
도 6에 대응하는 실시예에서, 제1 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖지 않고, 제2 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖고, 제1 표정 파라미터는 랜덤 표정 파라미터라면, 구동 캐릭터는 제2 캐릭터이고, 피구동 캐릭터는 제1 캐릭터이다. 구동 캐릭터는 애니메이션 캐릭터(a)이고, 피구동 캐릭터는 애니메이션 캐릭터(b)이고, 제1 표정 파라미터는 랜덤 표정 파라미터(Bb)이고, 형상은 Fb이고, 정점 토폴로지는 제1 정점 토폴로지(Tb)이고, 차원수는 Nb이다. 즉, 제1 표정 베이스(Eb)는 랜덤 표정 파라미터(Bb)를 사용함으로써 직접 구동될 수 있고, 제1 표정 베이스(Eb)의 형상은 Fb이고, 정점 토폴로지는 제1 정점 토폴로지(Tb)이고, 차원수는 제1 차원수(Nb)이다. 애니메이션 캐릭터(a)의 제2 표정 베이스(Ea)의 형상은 Fa이고, 정점 토폴로지는 제2 정점 토폴로지(Ta)이고, 차원수는 제2 차원수(Na)이고, 제2 표정 베이스(Ea)를 구동하기 위한 대량의 표정 파라미터들(Ba)이 있었다. Fa는 Fb와 동일하지 않고, Ta는 Tb와 동일하지 않으며, Na는 Nb와 동일하지 않다.
이 경우, 도 6에 대응하는 실시예의 구현을 위해, 도 11이 참조될 수 있다. 타깃 정점 토폴로지가 제2 정점 토폴로지(Ta)라면, 제2 정점 토폴로지(Ta)인 정점 토폴로지를 갖는 조정 표정 베이스(Eb')가 먼저 구성되고, 조정 표정 베이스(Eb')가 제1 표정 파라미터(Bb)에 의해 구동될 수 있다는 것이 보장된다. 조정 표정 베이스(Eb')를 구성하는 다수의 방식들이 존재할 수 있다. 제1 방식은: 조정 표정 베이스(Eb')를 획득하기 위해, nricp 알고리즘과 같은 얼굴 맞춤화 알고리즘을 사용함으로써, 제2 표정 베이스(Ea)로부터 결정된 무표정 메시를 제1 표정 베이스(Eb)의 각각의 표정 메시에 부착하는 것을 포함할 수 있다. 제2 방식은: 제2 표정 베이스(Ea)에서의 메시의 정점 토폴로지와 동일한 정점 토폴로지 및 Fb인 형상을 갖는 무표정 메시를 획득하기 위해, 얼굴 맞춤화 알고리즘을 사용함으로써, Ea로부터 결정된 무표정 메시를 제1 표정 베이스(Eb)의 무표정 메시에 부착하는 것, 그리고 이어서, 조정 표정 베이스(Eb')를 획득하기 위해, 무표정 메시에 대한 Eb에서의 각각의 표정 메시의 변형에 따라, Fb인 형상 및 Ta인 정점 토폴로지를 갖는, 앞서 말한 획득된 무표정 메시를 변경함으로써, Ea 및 Eb의 한 쌍의 정점들 간의 대응이 매핑 동안 고유함을 보장하는 것을 포함할 수 있다. 조정 표정 베이스(Eb')의 형상은 Fb이고, 조정 표정 베이스(Eb')의 정점 토폴로지는 제2 정점 토폴로지(Ta)이며, 조정 표정 베이스(Eb')의 차원수는 제1 차원수(Nb)이다.
제1 표정 베이스(Eb)는 제1 표정 파라미터(Bb)를 사용함으로써 직접 구동될 수 있고, 조정 표정 베이스(Eb')는 제1 표정 베이스(Eb)와 동일한 양의 차원들을 가지며, 각각의 차원의 의미 정보는 동일하기 때문에, 타깃 메시를 획득하기 위해 제1 표정 파라미터(Bb)를 사용함으로써 조정 표정 베이스(Eb')가 직접 구동될 수 있다. 타깃 메시의 형상은 Fb이고, 정점 토폴로지는 제2 정점 토폴로지(Ta)이며, 타깃 메시는 Meshc로 표기된다.
타깃 메시 및 타깃 표정 베이스에 따라, 제2 차원수(Na)인 차원수를 갖는 제2 표정 파라미터(Ba')를 결정하기 위해, Fb인 형상, 제2 정점 토폴로지(Ta)인 정점 토폴로지, 및 Na인 차원수를 갖는 타깃 표정 베이스가 구성될 필요가 있다. 따라서 표정이 없는 제1 캐릭터에 대응하는 무표정 메시가 조정 표정 베이스(Eb')로부터 결정되고, 제1 캐릭터에 대응하는 무표정 메시 및 제2 표정 베이스에서의 메시 변형 관계에 따라 타깃 표정 베이스(Ea')가 생성되며, 타깃 표정 베이스(Ea')의 형상은 Fb이고, 타깃 표정 베이스(Ea')의 정점 토폴로지는 제2 정점 토폴로지(Ta)이며, 타깃 표정 베이스(Eb')의 차원수는 Na이다. 따라서 타깃 메시(Meshc)는 표정 맞춤화 알고리즘을 사용함으로써 그리고 타깃 표정 베이스(Ea')를 사용함으로써 맞춤화될 수 있고, Na인 차원수를 갖는 제2 표정 파라미터(Ba')가 또한 획득된다.
대량의 제1 표정 파라미터들(Bb)이 랜덤하게 생성될 때, 대량의 대응하는 제2 표정 파라미터들(Ba')이 생성될 수 있다. 유사하게, 제1 표정 파라미터와 제2 표정 파라미터 간의 매핑 관계는 앞서 말한 식(7) 및 식(8)의 방법들을 사용함으로써 결정될 수 있다.
매핑 관계(f)가 획득된 후, 대량의 Ba가 존재했기 때문에, 각각 Ba 및 Ba'에 대응하는 표정 베이스의 차원수는 Na이고, 각각의 차원수의 의미 정보는 동일하며, Ba와 Ba'는 동등할 수 있다. 따라서 임의의 세트의 Ba에 대해, 애니메이션 캐릭터(b)를 구동하기 위해, 대응하는 Bb = f *Ba가 획득되어, 표정 파라미터들(Ba)에 따라 표정 파라미터들(Bb)을 획득할 수 있다.
위에서 설명된 제1 타입의 방법은 주로: 샘플링을 통해 획득된 기존의 제1 표정 파라미터에 기초하여 제2 표정 파라미터를 결정하는 단계, 및 그 다음, 제1 표정 파라미터와 제2 표정 파라미터 간의 매핑 관계를 결정하는 단계를 포함한다. 불균등한 샘플링에 의해 야기된 제2 표정 파라미터들의 불완전한 분포의 문제를 피하기 위해, 본 개시내용의 일 실시예에 따라 제2 타입의 방법이 추가로 제공된다. 제2 타입의 방법의 구현은: 구동 캐릭터에 대응하는 표정 베이스 및 표정 파라미터에 따라 구동 캐릭터에 대응하는 제1 점군 데이터를 결정하는 단계, 및 피구동 캐릭터에 대응하는 표정 베이스 및 표정 파라미터에 따라, 피구동 캐릭터에 대응하는 제2 점군 데이터를 결정하는 단계를 포함할 수 있다. 제2 점군 데이터는 제1 점군 데이터를 변환함으로써 획득될 수 있거나, 제1 점군 데이터는 제2 점군 데이터를 변환함으로써 획득될 수 있다. 제1 점군 데이터 및 제2 점군 데이터의 변환 파라미터가 결정된다면, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계가 제1 점군 데이터, 제2 점군 데이터 및 변환 파라미터에 따라 결정될 수 있다. 변환은 예를 들어, 회전, 병진 및 스케일링을 포함할 수 있다. 변환 파라미터는 제2 점군 데이터가 제1 점군 데이터로 변환되는 변환 관계를 식별하는 데 사용된다.
다음으로, 점군 데이터(예를 들어, 제1 점군 데이터 및 제2 점군 데이터)를 결정하는 원리가 설명된다.
표정이 없는 애니메이션 캐릭터가 mu이고, 표정 베이스가 E이며, 표정 베이스(E)의 차원수가 n이라면, B는 n*1의 벡터이다. E가 표정 베이스 행렬이라면, 주어진 n차원 파라미터 B에 대해, 다음 식(9)을 사용함으로써 점군 데이터(R)가 획득될 수 있다:
(9).
구동 캐릭터의 표정 베이스가 Ea이고, 구동 캐릭터의 표정 파라미터는 Ba이고, 표정이 없는 구동 캐릭터는 mua이고, 피구동 캐릭터의 표정 베이스는 Eb이고, 피구동 캐릭터의 표정 파라미터는 Bb이고, 표정이 없는 피구동 캐릭터는 mub라면, 제1 점군 데이터는 Ra = mua + Ea * Ba이고, 제2 점군 데이터는 Rb = mub + Eb * Bb이다.
이 실시예에서, 변환 파라미터는 다수의 방법들을 사용함으로써 결정될 수 있다고 이해될 수 있다. 예를 들어, 변환 파라미터는 반복 최근점(ICP: iterative closest point) 알고리즘을 사용함으로써 계산될 수 있다. 변환 파라미터는 다음 식(10)으로 표현될 수 있으며:
(10),
여기서 trans는 변환 파라미터이고, s는 스케일링을 나타내고, R은 회전을 나타내고, T는 병진을 나타낸다.
변환 파라미터를 사용함으로써 제1 점군 데이터가 제2 점군 데이터로 변환되는 일례를 사용함으로써, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계가 제1 점군 데이터, 제2 점군 데이터 및 변환 파라미터에 따라 결정되는 경우가 설명된다.
변환 파라미터를 사용함으로써 처리되는 제1 점군 데이터와 제2 점군 데이터가 완전히 동일하다면, 변환 파라미터를 사용함으로써 처리되는 제1 점군 데이터 및 제2 점군 데이터는 다음 식(11)으로 표현되는 다음의 관계를 갖는다:
(11).
trans는 주로 표정 베이스에 대해 작용하기 때문에, 식(11)은 다음 식(12)으로 변환될 수 있으며:
(12),
여기서 Ec는 trans를 사용하여 표정 베이스(E a )를 처리함으로써 획득된 새로운 표정 베이스이다. trans는 주로 표정 베이스에 대해 작용하고, 표정 파라미터에는 영향을 미치지 않기 때문에, Bc = Ba이다. 또한, 식(12)에 기초하여, 2개의 표정 베이스들이 동일한 형상을 갖고, 표정이 없는 캐릭터들도 또한 동일하기 때문에, mu b = mu a 이다. 따라서 식(12)은 다음 식(13)으로 추가로 단순화될 수 있다:
(13).
실시예의 목적은 구동 캐릭터에 대응하는 표정 파라미터(Ba)와 피구동 캐릭터에 대응하는 표정 파라미터(Bb) 간의 매핑 관계(f)를 결정하는 것이므로 B b = f *B a 이기 때문에, 식(13)을 참조하여 f = E b -1 * Ec가 획득될 수 있다.
제2 타입의 방법은 더 작은 수학적 에러를 갖고, 획득된 f는 샘플링 솔루션이 아닌 분석 솔루션이며, 이로써 샘플링에 의해 야기되는 불완전한 분포의 문제를 피한다.
추가로, 이 방법에서의 계산 결과(f)는 단지 표정 베이스에만 의존한다. 원래의 점군 데이터는 불균일하게 분포될 수 있기 때문에, 균일한 포인트들의 인라이너에 의해 형성된 표정 베이스에 의해 달성될 수 있는 효과는 메시를 다운샘플링함으로써 달성될 수 있다. 추가로, 사용되는 부분(이를테면, 단지 사용되는 입 또는 눈 위의 점들)이 또한 제어될 수 있다. 이런 식으로, 애니메이션 캐릭터에서 구동될 필요가 있는 부분이 정확하게 제어될 수 있고, 이로써 중요하지 않은 부분(이를테면, 뺨)에 의해 야기되는 간섭을 피할 수 있다.
이 실시예에서는, 애니메이션 캐릭터의 얼굴에 추가하여 애니메이션 캐릭터의 다양한 구조들이 추가로 구동될 수 있다. 각각의 구동되는 구조는 애니메이션 캐릭터의 변형 가능한 컴포넌트라고 이해되어야 한다. 예를 들어, 애니메이션 캐릭터는 사람이다. 사람의 손, 발 등이 변형(예를 들어, 구부러짐)될 수 있기 때문에, 구동되는 구조는 손, 발 등일 수 있다.
따라서 본 개시내용의 일 실시예는 애니메이션 캐릭터 구동 방법을 제공한다. 도 12a를 참조하면, 이 방법은 다음의 단계들(S1201 내지 S1203)을 포함한다.
단계(S1201)에서, 구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스가 획득된다.
구동 캐릭터는 대응하는 구조 베이스를 갖고, 피구동 캐릭터는 대응하는 구조 베이스를 갖지 않으며, 구조 베이스는 대응하는 캐릭터의 구조적 특징들을 식별하는 데 사용되고, 변형 베이스는 대응하는 캐릭터의 변형 특징들을 식별하는 데 사용된다. 예를 들어, 대응하는 오브젝트는 손이다. 구조 베이스는 구조적 특징들, 이를테면 손가락 길이, 손가락 두께, 손바닥 폭 및 두께, 그리고 손가락 포지션을 반영할 수 있고; 변형 베이스는 변형 특징들, 이를테면 손가락 휨 정도를 반영할 수 있다. 확실히, 대응하는 오브젝트가 얼굴이라면, 구조 베이스는 앞서 말한 실시예들에서 언급된 얼굴 맞춤화 베이스이고, 변형 베이스는 표정 베이스이다.
단계(S1202)에서, 구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스에 따라, 구동 캐릭터에 대응하는 변형 파라미터와 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계가 결정된다.
변형 파라미터는 대응하는 오브젝트의 형상의 변화도를 식별하는 데 사용된다. 예를 들어, 대응하는 오브젝트는 손이고, 변형 파라미터는 손가락 휨 정도를 반영한다. 확실히, 대응하는 오브젝트가 얼굴이라면, 변형 파라미터는 앞서 말한 실시예들에서 언급된 표정 파라미터이다.
단계(S1203)에서, 피구동 캐릭터가 구동 캐릭터에 대응하는 변형 파라미터 및 매핑 관계에 따라 구동된다.
이 실시예의 단계들의 구현을 위해, 도 2에 대응하는 실시예의 구현이 참조될 수 있다. 세부사항들은 여기서 다시 설명되지 않는다.
다음으로, 본 개시내용의 실시예들에 따라 제공되는 AI 기반 애니메이션 캐릭터 구동 방법이 실제 애플리케이션 시나리오를 참조하여 설명된다.
본 개시내용 시나리오에서, 애니메이션 캐릭터가 설 인사들(Chinese New Year's greetings)을 송신하는 데 사용되는 것으로 가정된다. 애니메이션 캐릭터(a)가 존재했고, 애니메이션 캐릭터(a)가 얼굴 맞춤화 베이스를 갖는다면, 애니메이션 캐릭터(a)의 표정 베이스(Ea)의 형상은 Fa이고, 표정 베이스(Ea)의 정점 토폴로지는 Ta이고, 표정 베이스(Ea)의 차원수는 Na이다. 설 인사들을 송신하기 위한 새로운 애니메이션 캐릭터(b)를 론치하는 것으로 의도된다면, 애니메이션 캐릭터(b)의 표정 베이스(Eb)의 형상은 Fb이고, 표정 베이스(Eb)의 정점 토폴로지는 Tb이고, 표정 베이스(Eb)의 차원수는 Nb이다. Fa는 Fb와 동일하지 않고, Ta는 Tb와 동일하지 않으며, Na는 Nb와 동일하지 않다.
애니메이션 캐릭터(a)의 표정 파라미터(Ba)가 알려져 있다면, 애니메이션 캐릭터(b)를 론치하는 스피치를 증가시키기 위해, 알려진 표정 파라미터(Ba)를 갖는 애니메이션 캐릭터(a)가 구동 캐릭터로서 사용될 수 있고, 애니메이션 캐릭터(b)는 피구동 캐릭터로서 사용될 수 있으며, 구동 캐릭터에 대응하는 표정 베이스(Ea) 및 피구동 캐릭터에 대응하는 표정 베이스(Eb)에 따라, 구동 캐릭터에 대응하는 표정 파라미터(Ba)와 피구동 캐릭터에 대응하는 표정 파라미터(Bb) 간의 매핑 관계가 결정된다. 이런 식으로, 구동 캐릭터의 표정 파라미터(Ba)가 알려졌을 때, 피구동 캐릭터에 대응하는 표정 파라미터(Bb)는 새로운 애니메이션 캐릭터를 구동하기 위해, 애니메이션 캐릭터(b)에 대응하는 얼굴 맞춤화 베이스를 획득하기 위한 처리를 수행하지 않고 알려진 표정 파라미터(Ba) 및 매핑 관계에 따라 결정될 수 있으며, 이로써 애니메이션 캐릭터(b)를 론치하는 스피치를 증가시킬 수 있다.
앞서 말한 실시예들에 따라 제공된 방법에 기초하여, 본 개시내용의 일 실시예에 따라 AI 기반 애니메이션 캐릭터 구동 장치가 추가로 제공된다. 도 12b를 참조하면, 이 장치는 획득 유닛(1201), 결정 유닛(1202) 및 구동 유닛(1203)을 포함하며:
획득 유닛(1201)은 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스를 획득하도록 구성되며, 구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖고, 피구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않으며;
결정 유닛(1202)은 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정하도록 구성되고; 그리고
구동 유닛(1203)은 구동 캐릭터에 대응하는 표정 파라미터 및 매핑 관계에 따라, 피구동 캐릭터를 구동하도록 구성된다.
가능한 구현에서, 구동 캐릭터는 제1 캐릭터 및 제2 캐릭터 중 대응하는 얼굴 맞춤화 베이스를 갖는 캐릭터이고, 피구동 캐릭터는 제1 캐릭터 및 제2 캐릭터 중 대응하는 얼굴 맞춤화 베이스를 갖지 않는 캐릭터이다. 결정 유닛(1202)은:
제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 타깃 메시를 결정하고 ― 제1 표정 파라미터는 제1 양의 차원들을 갖는 표정 베이스를 구동하는 데 사용되며, 제1 표정 베이스의 차원수는 제1 차원수이고, 타깃 메시는 제1 표정 파라미터에 대응하는 표정을 짓는 제1 캐릭터를 식별하기 위한 타깃 정점 토폴로지를 가짐 ―;
타깃 정점 토폴로지를 갖는 제1 캐릭터에 대응하는 타깃 표정 베이스를 획득하고 ― 타깃 표정 베이스의 차원수는 제2 차원수이고, 타깃 표정 베이스는 제2 캐릭터에 대응하는 제2 표정 베이스에 따라 결정됨 ―;
제1 캐릭터에 대응하는 제2 표정 파라미터를 타깃 메시 및 타깃 표정 베이스에 따라 결정하고 ― 제2 표정 파라미터는 타깃 메시에 대한 제1 캐릭터의 표정의 변화도를 반영하는 데 사용됨 ―; 그리고
구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 제1 표정 파라미터 및 제2 표정 파라미터에 따라 결정하도록 구성된다.
가능한 구현에서, 타깃 정점 토폴로지는 제2 표정 베이스에 대응하는 제2 정점 토폴로지이고, 결정 유닛(1202)은 추가로:
제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 초기 메시를 결정하고 ― 초기 메시는 제1 표정 베이스에 대응하는 제1 정점 토폴로지를 가짐 ―, 그리고
제1 정점 토폴로지와 제2 정점 토폴로지 간의 대응관계에 따라 타깃 메시를 생성하도록 구성되며, 그리고
제1 표정 베이스로부터, 제1 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하고, 제2 표정 베이스로부터, 제2 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하고,
제1 캐릭터에 대응하는 무표정 메시 및 제2 캐릭터에 대응하는 무표정 메시에 따라 조정 메시를 결정하고 ― 조정 메시는 제2 정점 토폴로지를 갖고, 무표정인 제1 캐릭터를 식별하는 데 사용됨 ―, 그리고
조정 메시 및 제2 표정 베이스에서의 메시 변형 관계에 따라 타깃 표정 베이스를 생성하도록 구성된다.
가능한 구현에서, 타깃 정점 토폴로지는 제2 표정 베이스에 대응하는 제2 정점 토폴로지이고, 결정 유닛(1202)은 추가로:
제2 캐릭터에 대응하며 제2 캐릭터에 대응하는 제2 표정 베이스로부터 어떠한 표정도 갖지 않는 무표정 메시를 결정하고,
제2 캐릭터에 대응하는 무표정 메시 및 제1 캐릭터에 대응하는 제1 표정 베이스에 따라, 제1 캐릭터에 대응하고 제2 정점 토폴로지를 갖는 조정 표정 베이스를 결정하고 ― 조정 표정 베이스의 차원수는 제1 차원수임 ―; 그리고
제1 표정 파라미터 및 조정 표정 베이스에 따라 타깃 메시를 결정하도록 구성되며; 그리고
조정 표정 베이스로부터, 제1 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하고, 그리고
제1 캐릭터에 대응하는 무표정 메시 및 제2 표정 베이스에서의 메시 변형 관계에 따라 타깃 표정 베이스를 생성하도록 구성된다.
가능한 구현에서, 제1 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖지 않는다면, 제2 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖고, 제1 표정 파라미터는 랜덤 표정 파라미터이거나; 또는
제1 캐릭터가 대응하는 얼굴 맞춤화 베이스를 갖고, 제2 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않는다.
가능한 구현에서, 결정 유닛(1202)은 추가로:
다수의 제1 표정 파라미터들 및 다수의 제2 표정 파라미터들을 쌍들로 획득하고; 그리고
다수의 제1 표정 파라미터들에 의해 형성된 제1 행렬 및 다수의 제2 표정 파라미터들에 의해 형성된 제2 행렬에 따라 매핑 관계를 결정하도록 구성된다.
가능한 구현에서, 결정 유닛(1202)은:
구동 캐릭터에 대응하는 표정 베이스 및 표정 파라미터에 따라 구동 캐릭터에 대응하는 제1 점군 데이터를 결정하고;
피구동 캐릭터에 대응하는 표정 베이스 및 표정 파라미터에 따라, 피구동 캐릭터에 대응하는 제2 점군 데이터를 결정하고;
제1 점군 데이터 및 제2 점군 데이터의 변환 파라미터를 결정하고 ― 변환 파라미터는 제2 점군 데이터와 제1 점군 데이터 간의 변환 관계를 식별하는 데 사용됨 ―; 그리고
구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 제1 점군 데이터, 제2 점군 데이터 및 변환 파라미터에 따라 결정하도록 구성된다.
본 개시내용의 일 실시예에 따른 AI 기반 애니메이션 캐릭터 구동 장치가 추가로 제공된다. 도 13a를 참조하면, 이 장치는 획득 유닛(1301), 결정 유닛(1302) 및 구동 유닛(1303)을 포함하며:
획득 유닛(1301)은 구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스를 획득하도록 구성되고, 구동 캐릭터는 대응하는 구조 베이스를 갖고, 피구동 캐릭터는 대응하는 구조 베이스를 갖지 않으며, 구조 베이스는 대응하는 캐릭터의 구조적 특징을 식별하는 데 사용되고, 변형 베이스는 대응하는 캐릭터의 변형 특징을 식별하는 데 사용되며;
결정 유닛(1302)은 구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스에 따라, 구동 캐릭터에 대응하는 변형 파라미터와 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계를 결정하도록 구성되고; 그리고
구동 유닛(1303)은 구동 캐릭터에 대응하는 변형 파라미터 및 매핑 관계에 따라, 피구동 캐릭터를 구동하도록 구성된다.
본 개시내용의 일 실시예에 따라 디바이스가 추가로 제공된다. 디바이스는 AI에 기반하여 애니메이션 캐릭터를 구동할 수 있다. 디바이스는 첨부 도면들을 참조하여 아래에서 설명된다. 도 13b를 참조하면, 본 개시내용의 일 실시예에 따라 디바이스(1300)가 제공되며, 여기서 디바이스(1300)는 대안으로 단말 디바이스일 수 있다. 단말 디바이스는 휴대 전화, 태블릿 컴퓨터, PDA, 판매 시점(POS: point of sales) 또는 탑재형 컴퓨터를 포함하는 임의의 스마트 단말일 수 있으며, 휴대 전화인 단말 디바이스가 일례로 사용된다.
도 13b는 본 개시내용의 일 실시예에 따른 단말 디바이스와 관련된 휴대 전화의 일부의 구조의 블록도이다. 도 13b를 참조하면, 휴대 전화는 무선 주파수(RF: radio frequency) 회로(1310), 메모리(1320), 입력 유닛(1330), 디스플레이 유닛(1340), 센서(1350), 오디오 회로(1360), 무선 충실도(Wi-Fi: wireless fidelity) 모듈(1370), 프로세서(1380) 및 전원 공급 장치(1390)와 같은 컴포넌트들을 포함한다. 당해 기술분야에서 통상의 지식을 가진 자는, 도 13b에 도시된 휴대 전화의 구조가 휴대 전화에 대한 어떠한 제한도 구성하지 않으며, 휴대 전화가 도면에 도시된 것들보다 더 많은 또는 더 적은 컴포넌트들을 포함할 수 있거나, 일부 컴포넌트들이 조합될 수 있거나, 상이한 컴포넌트 배치가 사용될 수 있다고 이해할 수 있다.
메모리(1320)는 소프트웨어 프로그램 및 모듈을 저장하도록 구성될 수 있다. 프로세서(1380)는 휴대 전화의 다양한 기능 애플리케이션들 및 데이터 처리를 수행하기 위해, 메모리(1320)에 저장되는 소프트웨어 프로그램 및 모듈을 실행한다. 메모리(1320)는 주로 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능(이를테면, 사운드 재생 기능 및 이미지 디스플레이 기능)에 의해 요구되는 애플리케이션 프로그램 등을 저장할 수 있다. 데이터 저장 영역은 휴대 전화의 사용에 따라 생성된 데이터(이를테면, 오디오 데이터 및 주소록) 등을 저장할 수 있다. 추가로, 메모리(1320)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한, 비휘발성 메모리, 예를 들어 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리, 또는 다른 휘발성 솔리드 스테이트 저장 디바이스를 포함할 수 있다.
프로세서(1380)는 휴대 전화의 제어 센터이며, 다양한 인터페이스들 및 라인들을 사용함으로써 전체 휴대 전화의 다양한 부분들에 연결된다. 메모리(1320)에 저장된 소프트웨어 프로그램 및/또는 모듈을 구동 또는 실행하고, 메모리(1320)에 저장된 데이터를 호출함으로써, 프로세서는 휴대 전화의 다양한 기능들 및 데이터 처리를 수행함으로써, 휴대 전화에 대한 전체 모니터링을 수행한다. 선택적으로, 프로세서(1380)는 하나 이상의 처리 유닛들을 포함할 수 있다. 바람직하게는, 프로세서(1380)는 애플리케이션 프로세서 및 모뎀을 통합할 수 있다. 애플리케이션 프로세서는 주로 운영 체제, 사용자 인터페이스, 애플리케이션 프로그램 등을 처리한다. 모뎀은 주로 무선 통신을 처리한다. 모뎀은 프로세서(1380)에 통합되지 않을 수도 있다고 이해될 수 있다.
이 실시예에서, 단말에 포함된 프로세서(1380)는 추가로 다음의 기능들:
구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스를 획득하는 기능 ― 구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖고, 피구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않음 ―;
구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스에 따라, 구동 캐릭터에 대응하는 표정 파라미터와 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정하는 기능; 및
구동 캐릭터에 대응하는 표정 파라미터 및 매핑 관계에 따라, 피구동 캐릭터를 구동하는 기능,
또는
구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스를 획득하는 기능 ― 구동 캐릭터는 대응하는 구조 베이스를 갖고, 피구동 캐릭터는 대응하는 구조 베이스를 갖지 않으며, 구조 베이스는 대응하는 캐릭터의 구조적 특징을 식별하는 데 사용되고, 변형 베이스는 대응하는 캐릭터의 변형 특징을 식별하는 데 사용됨 ―;
구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스에 따라, 구동 캐릭터에 대응하는 변형 파라미터와 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계를 결정하는 기능; 및
구동 캐릭터에 대응하는 변형 파라미터 및 매핑 관계에 따라, 피구동 캐릭터를 구동하는 기능을 갖는다.
본 개시내용의 일 실시예는 서버를 추가로 제공한다. 도 14는 본 개시내용의 일 실시예에 따른 서버(1400)의 구조도이다. 서버(1400)는 상이한 구성들 또는 성능으로 인해 크게 변할 수 있고, 하나 이상의 중앙 처리 유닛(CPU: central processing unit)들(1422)(예를 들어, 하나 이상의 프로세서들) 및 메모리(1432), 그리고 애플리케이션 프로그램들(1442) 또는 데이터(1444)를 저장하는 하나 이상의 저장 매체들(1430)(예를 들어, 하나 이상의 대용량 저장 디바이스들)을 포함할 수 있다. 메모리(1432) 및 저장 매체(1430)는 일시적 저장 또는 영구 저장을 구현할 수 있다. 저장 매체(1430)에 저장된 프로그램은 (도면에 도시되지 않은) 하나 이상의 모듈들을 포함할 수 있고, 각각의 모듈은 서버에 대한 일련의 명령 동작들을 포함할 수 있다. 더욱이, CPU(1422)는 저장 매체(1430)와 통신하고, 서버(1400) 상에서, 저장 매체(1430)에서의 일련의 명령 동작들을 수행하도록 구성될 수 있다.
서버(1400)는 하나 이상의 전원 공급 장치들(1426), 하나 이상의 유선 또는 무선 네트워크 인터페이스들(1450), 하나 이상의 입력/출력 인터페이스들(1458) 및/또는 하나 이상의 운영 체제들(1441), 이를테면 Windows Server™, Mac OS X™, Unix™, Linux™ 및 FreeBSD™를 더 포함할 수 있다.
앞서 말한 실시예들에서 서버에 의해 수행되는 단계들은 도 14에 도시된 서버 구조에 기반하여 구현될 수 있다.
본 개시내용의 일 실시예에 따라 컴퓨터 판독 가능 저장 매체가 추가로 제공된다. 컴퓨터 판독 가능 저장 매체는 프로그램 코드를 저장하도록 구성되며, 프로그램 코드는 앞서 말한 실시예들에 따른 AI 기반 애니메이션 캐릭터 구동 방법을 수행하는 데 사용된다.
본 개시내용의 일 실시예에 따라, 명령들을 포함하는 컴퓨터 프로그램 제품이 추가로 제공되며, 명령들은 컴퓨터 상에서 실행될 때 컴퓨터로 하여금, 앞서 말한 실시예들에 따른 AI 기반 애니메이션 캐릭터 구동 방법을 수행하게 한다.
앞서 말한 실시예들은 본 개시내용을 제한하기 위한 것이 아니라, 단지 본 개시내용의 기술적 솔루션들을 설명하기 위해 의도된다. 본 개시내용은 앞서 말한 실시예들을 참조하여 상세히 설명되지만, 당해 기술분야에서 통상의 지식을 가진 자들은 본 개시내용의 실시예들의 기술적 솔루션들의 사상 및 범위를 벗어나지 않으면서, 이들이 여전히 앞서 말한 실시예들에서 설명된 기술적 솔루션들을 수정하거나 이들의 일부 기술적 특징들에 대해 동등한 대체들을 행할 수 있다고 이해한다.
Claims (16)
- 처리 디바이스에 의해 수행되는 애니메이션 캐릭터 구동 방법으로서,
구동 캐릭터(driving character)에 대응하는 표정 베이스(expression base) 및 피구동 캐릭터(driven character)에 대응하는 표정 베이스를 획득하는 단계 ― 상기 구동 캐릭터는 대응하는 얼굴 맞춤화 베이스(face customization base)를 갖고, 상기 피구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않고, 상기 표정 베이스는 상이한 표정들을 표현하는 변형 가능한 메시들에 의해 형성되고, 각각의 변형 가능한 메시는 상이한 표정들 하에서 가상 캐릭터의 3차원 모델을 변경함으로써 형성되며, 상기 얼굴 맞춤화 베이스는 상이한 얼굴 형상들을 표현하는 변형 가능한 메시들에 의해 형성되고, 각각의 변형 가능한 메시는 평균 얼굴 형상에 비해 변화하는 얼굴을 표현함 ―;
상기 구동 캐릭터에 대응하는 표정 베이스 및 상기 피구동 캐릭터에 대응하는 표정 베이스에 따라, 상기 구동 캐릭터에 대응하는 표정 파라미터와 상기 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정하는 단계 ― 상기 표정 파라미터는 상기 표정 베이스와 선형적으로 조합하여 대응하는 표정을 획득하는 데 사용됨 ―; 및
상기 구동 캐릭터에 대응하는 표정 파라미터 및 상기 매핑 관계에 따라, 상기 피구동 캐릭터를 구동하는 단계
를 포함하고,
상기 구동 캐릭터는 제1 캐릭터 및 제2 캐릭터 중 대응하는 얼굴 맞춤화 베이스를 갖는 캐릭터이고, 상기 피구동 캐릭터는 상기 제1 캐릭터 및 상기 제2 캐릭터 중 대응하는 얼굴 맞춤화 베이스를 갖지 않는 다른 캐릭터이며;
상기 구동 캐릭터에 대응하는 표정 베이스 및 상기 피구동 캐릭터에 대응하는 표정 베이스에 따라, 상기 구동 캐릭터에 대응하는 표정 파라미터와 상기 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정하는 단계는:
상기 제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 타깃 메시(target mesh)를 결정하는 단계 ― 상기 제1 표정 파라미터는 제1 차원수(quantity of dimensions)를 갖는 표정 베이스를 구동하는 데 사용되며, 상기 제1 표정 베이스의 차원수는 상기 제1 차원수이고, 상기 타깃 메시는 상기 제1 표정 파라미터에 대응하는 표정을 짓는 제1 캐릭터를 식별하기 위한 타깃 정점 토폴로지(target vertex topology)를 가짐 ―;
상기 타깃 정점 토폴로지를 갖는 제1 캐릭터에 대응하는 타깃 표정 베이스를 획득하는 단계 ― 상기 타깃 표정 베이스의 차원수는 제2 차원수이고, 상기 타깃 표정 베이스는 상기 제2 캐릭터에 대응하는 제2 표정 베이스에 따라 결정되고, 상기 제1 차원수는 상기 제2 차원수와 상이함 ―;
상기 제1 캐릭터에 대응하는 제2 표정 파라미터를 상기 타깃 메시 및 상기 타깃 표정 베이스에 따라 결정하는 단계 ― 상기 제2 표정 파라미터는 상기 타깃 메시에 대한 상기 제1 캐릭터의 표정의 변화도(change degree)를 반영하는 데 사용됨 ―; 및
상기 구동 캐릭터에 대응하는 표정 파라미터와 상기 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 상기 제1 표정 파라미터 및 상기 제2 표정 파라미터에 따라 결정하는 단계를 포함하는,
애니메이션 캐릭터 구동 방법. - 제1항에 있어서,
상기 타깃 정점 토폴로지는 상기 제2 표정 베이스에 대응하는 제2 정점 토폴로지이고, 상기 제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 타깃 메시를 결정하는 단계는:
상기 제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 초기 메시를 결정하는 단계 ― 상기 초기 메시는 상기 제1 표정 베이스에 대응하는 제1 정점 토폴로지를 가짐 ―; 및
상기 제1 정점 토폴로지와 상기 제2 정점 토폴로지 간의 대응관계에 따라 상기 타깃 메시를 생성하는 단계
를 포함하고;
상기 타깃 정점 토폴로지를 갖는 제1 캐릭터에 대응하는 타깃 표정 베이스를 획득하는 단계는:
상기 제1 표정 베이스로부터, 상기 제1 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하고, 상기 제2 표정 베이스로부터, 상기 제2 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하는 단계;
상기 제1 캐릭터에 대응하는 무표정 메시 및 상기 제2 캐릭터에 대응하는 무표정 메시에 따라 조정 메시를 결정하는 단계 ― 상기 조정 메시는 상기 제2 정점 토폴로지를 갖고, 상기 제1 캐릭터가 무표정일 때 상기 제1 캐릭터를 식별하는 데 사용됨 ―; 및
상기 조정 메시 및 상기 제2 표정 베이스에서의 메시 변형 관계에 따라 상기 타깃 표정 베이스를 생성하는 단계
를 포함하는,
애니메이션 캐릭터 구동 방법. - 제1항에 있어서,
상기 타깃 정점 토폴로지는 상기 제2 표정 베이스에 대응하는 제2 정점 토폴로지이고,
상기 제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 타깃 메시를 결정하는 단계는:
상기 제2 캐릭터에 대응하며, 상기 제2 캐릭터에 대응하는 제2 표정 베이스로부터 어떠한 표정도 갖지 않는 무표정 메시를 결정하는 단계;
상기 제2 캐릭터에 대응하는 무표정 메시 및 상기 제1 캐릭터에 대응하는 제1 표정 베이스에 따라, 상기 제1 캐릭터에 대응하고 상기 제2 정점 토폴로지를 갖는 조정 표정 베이스를 결정하는 단계 ― 상기 조정 표정 베이스의 차원수는 상기 제1 차원수임 ―; 및
상기 제1 표정 파라미터 및 상기 조정 표정 베이스에 따라 상기 타깃 메시를 결정하는 단계
를 포함하며;
상기 타깃 정점 토폴로지를 갖는 제1 캐릭터에 대응하는 타깃 표정 베이스를 획득하는 단계는:
상기 조정 표정 베이스로부터, 상기 제1 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하는 단계; 및
상기 제1 캐릭터에 대응하는 무표정 메시 및 상기 제2 표정 베이스에서의 메시 변형 관계에 따라 상기 타깃 표정 베이스를 생성하는 단계
를 포함하는,
애니메이션 캐릭터 구동 방법. - 제2항에 있어서,
상기 타깃 정점 토폴로지는 상기 제2 표정 베이스에 대응하는 제2 정점 토폴로지이고,
상기 제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 타깃 메시를 결정하는 단계는:
상기 제2 캐릭터에 대응하며, 상기 제2 캐릭터에 대응하는 제2 표정 베이스로부터 어떠한 표정도 갖지 않는 무표정 메시를 결정하는 단계;
상기 제2 캐릭터에 대응하는 무표정 메시 및 상기 제1 캐릭터에 대응하는 제1 표정 베이스에 따라, 상기 제1 캐릭터에 대응하고 상기 제2 정점 토폴로지를 갖는 조정 표정 베이스를 결정하는 단계 ― 상기 조정 표정 베이스의 차원수는 상기 제1 차원수임 ―; 및
상기 제1 표정 파라미터 및 상기 조정 표정 베이스에 따라 상기 타깃 메시를 결정하는 단계
를 포함하며;
상기 타깃 정점 토폴로지를 갖는 제1 캐릭터에 대응하는 타깃 표정 베이스를 획득하는 단계는:
상기 조정 표정 베이스로부터, 상기 제1 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하는 단계; 및
상기 제1 캐릭터에 대응하는 무표정 메시 및 상기 제2 표정 베이스에서의 메시 변형 관계에 따라 상기 타깃 표정 베이스를 생성하는 단계
를 포함하는,
애니메이션 캐릭터 구동 방법. - 제1항에 있어서,
상기 구동 캐릭터에 대응하는 표정 파라미터와 상기 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 상기 제1 표정 파라미터 및 상기 제2 표정 파라미터에 따라 결정하는 단계는:
복수의 제1 표정 파라미터들 및 복수의 제2 표정 파라미터들을 쌍들로 획득하는 단계; 및
상기 복수의 제1 표정 파라미터들에 의해 형성된 제1 행렬 및 상기 복수의 제2 표정 파라미터들에 의해 형성된 제2 행렬에 따라 상기 매핑 관계를 결정하는 단계
를 포함하는,
애니메이션 캐릭터 구동 방법. - 제1항에 있어서,
상기 구동 캐릭터에 대응하는 표정 베이스 및 상기 피구동 캐릭터에 대응하는 표정 베이스에 따라, 상기 구동 캐릭터에 대응하는 표정 파라미터와 상기 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정하는 단계는:
상기 구동 캐릭터에 대응하는 표정 베이스 및 표정 파라미터에 따라 상기 구동 캐릭터에 대응하는 제1 점군 데이터(point cloud data)를 결정하는 단계;
상기 피구동 캐릭터에 대응하는 표정 베이스 및 표정 파라미터에 따라, 상기 피구동 캐릭터에 대응하는 제2 점군 데이터를 결정하는 단계;
상기 제1 점군 데이터 및 상기 제2 점군 데이터의 변환 파라미터를 결정하는 단계 ― 상기 변환 파라미터는 상기 제2 점군 데이터와 상기 제1 점군 데이터 간의 변환 관계를 식별하는 데 사용됨 ―; 및
상기 구동 캐릭터에 대응하는 표정 파라미터와 상기 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 상기 제1 점군 데이터, 상기 제2 점군 데이터 및 상기 변환 파라미터에 따라 결정하는 단계
를 포함하는,
애니메이션 캐릭터 구동 방법. - 처리 디바이스에 의해 수행되는 애니메이션 캐릭터 구동 방법으로서,
구동 캐릭터에 대응하는 변형 베이스(deformation base) 및 피구동 캐릭터에 대응하는 변형 베이스를 획득하는 단계 ― 상기 구동 캐릭터는 대응하는 구조 베이스를 갖고, 상기 피구동 캐릭터는 대응하는 구조 베이스를 갖지 않으며, 상기 구조 베이스는 대응하는 캐릭터의 구조적 특징을 식별하는 데 사용되고, 상기 변형 베이스는 대응하는 캐릭터의 변형 특징을 식별하는 데 사용됨 ―;
상기 구동 캐릭터에 대응하는 변형 베이스 및 상기 피구동 캐릭터에 대응하는 변형 베이스에 따라, 상기 구동 캐릭터에 대응하는 변형 파라미터와 상기 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계를 결정하는 단계 ― 상기 변형 파라미터는 대응하는 캐릭터의 형상의 변화도를 식별하는 데 사용됨 ―; 및
상기 구동 캐릭터에 대응하는 변형 파라미터 및 상기 매핑 관계에 따라, 상기 피구동 캐릭터를 구동하는 단계
를 포함하고,
상기 구동 캐릭터는 제1 캐릭터 및 제2 캐릭터 중 대응하는 구조 베이스를 갖는 캐릭터이고, 상기 피구동 캐릭터는 상기 제1 캐릭터 및 상기 제2 캐릭터 중 대응하는 구조 베이스를 갖지 않는 다른 캐릭터이며;
상기 구동 캐릭터에 대응하는 변형 베이스 및 상기 피구동 캐릭터에 대응하는 변형 베이스에 따라, 상기 구동 캐릭터에 대응하는 변형 파라미터와 상기 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계를 결정하는 단계는:
상기 제1 캐릭터에 대응하는 제1 변형 파라미터 및 제1 변형 베이스에 따라 타깃 메시(target mesh)를 결정하는 단계 ― 상기 제1 변형 파라미터는 제1 차원수(quantity of dimensions)를 갖는 변형 베이스를 구동하는 데 사용되며, 상기 제1 변형 베이스의 차원수는 상기 제1 차원수이고, 상기 타깃 메시는 상기 제1 변형 파라미터에 대응하는 변형을 시키는 제1 캐릭터를 식별하기 위한 타깃 정점 토폴로지(target vertex topology)를 가짐 ―;
상기 타깃 정점 토폴로지를 갖는 제1 캐릭터에 대응하는 타깃 변형 베이스를 획득하는 단계 ― 상기 타깃 변형 베이스의 차원수는 제2 차원수이고, 상기 타깃 변형 베이스는 상기 제2 캐릭터에 대응하는 제2 변형 베이스에 따라 결정되고, 상기 제1 차원수는 상기 제2 차원수와 상이함 ―;
상기 제1 캐릭터에 대응하는 제2 변형 파라미터를 상기 타깃 메시 및 상기 타깃 변형 베이스에 따라 결정하는 단계 ― 상기 제2 변형 파라미터는 상기 타깃 메시에 대한 상기 제1 캐릭터의 변형의 변화도(change degree)를 반영하는 데 사용됨 ―; 및
상기 구동 캐릭터에 대응하는 변형 파라미터와 상기 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계를 상기 제1 변형 파라미터 및 상기 제2 변형 파라미터에 따라 결정하는 단계를 포함하는,
애니메이션 캐릭터 구동 방법. - 획득 유닛, 결정 유닛 및 구동 유닛을 포함하는 애니메이션 캐릭터 구동 장치로서,
상기 획득 유닛은 구동 캐릭터에 대응하는 표정 베이스 및 피구동 캐릭터에 대응하는 표정 베이스를 획득하도록 구성되고 ― 상기 구동 캐릭터는 대응하는 얼굴 맞춤화 베이스(face customization base)를 갖고, 상기 피구동 캐릭터는 대응하는 얼굴 맞춤화 베이스를 갖지 않고, 상기 표정 베이스는 상이한 표정들을 표현하는 변형 가능한 메시들에 의해 형성되고, 각각의 변형 가능한 메시는 상이한 표정들 하에서 가상 캐릭터의 3차원 모델을 변경함으로써 형성되며, 상기 얼굴 맞춤화 베이스는 상이한 얼굴 형상들을 표현하는 변형 가능한 메시들에 의해 형성되고, 각각의 변형 가능한 메시는 평균 얼굴 형상에 비해 변화하는 얼굴을 표현함 ―;
상기 결정 유닛은 상기 구동 캐릭터에 대응하는 표정 베이스 및 상기 피구동 캐릭터에 대응하는 표정 베이스에 따라, 상기 구동 캐릭터에 대응하는 표정 파라미터와 상기 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 결정하도록 구성되고 ― 상기 표정 파라미터는 상기 표정 베이스와 선형적으로 조합하여 대응하는 표정을 획득하는 데 사용됨 ―;
상기 구동 유닛은 상기 구동 캐릭터에 대응하는 표정 파라미터 및 상기 매핑 관계에 따라, 상기 피구동 캐릭터를 구동하도록 구성되고,
상기 구동 캐릭터는 제1 캐릭터 및 제2 캐릭터 중 대응하는 얼굴 맞춤화 베이스를 갖는 캐릭터이고, 상기 피구동 캐릭터는 상기 제1 캐릭터 및 상기 제2 캐릭터 중 대응하는 얼굴 맞춤화 베이스를 갖지 않는 다른 캐릭터이며;
상기 결정 유닛은:
상기 제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 타깃 메시를 결정하고 ― 상기 제1 표정 파라미터는 제1 차원수(quantity of dimensions)를 갖는 표정 베이스를 구동하는 데 사용되며, 상기 제1 표정 베이스의 차원수는 상기 제1 차원수이고, 상기 타깃 메시는 상기 제1 표정 파라미터에 대응하는 표정을 짓는 제1 캐릭터를 식별하는데 사용되는 타깃 정점 토폴로지(target vertex topology)를 가짐 ―;
상기 타깃 정점 토폴로지를 갖는 제1 캐릭터에 대응하는 타깃 표정 베이스를 획득하고 ― 상기 타깃 표정 베이스의 차원수는 제2 차원수이고, 상기 타깃 표정 베이스는 상기 제2 캐릭터에 대응하는 제2 표정 베이스에 따라 결정되고, 상기 제1 차원수는 상기 제2 차원수와 상이함 ―;
상기 제1 캐릭터에 대응하는 제2 표정 파라미터를 상기 타깃 메시 및 상기 타깃 표정 베이스에 따라 결정하고 ― 상기 제2 표정 파라미터는 상기 타깃 메시에 대한 상기 제1 캐릭터의 표정의 변화도를 반영하는 데 사용됨 ―; 그리고
상기 구동 캐릭터에 대응하는 표정 파라미터와 상기 피구동 캐릭터에 대응하는 표정 파라미터 간의 매핑 관계를 상기 제1 표정 파라미터 및 상기 제2 표정 파라미터에 따라 결정하도록 구성되는,
애니메이션 캐릭터 구동 장치. - 제8항에 있어서,
상기 타깃 정점 토폴로지는 상기 제2 표정 베이스에 대응하는 제2 정점 토폴로지이고,
상기 결정 유닛은 추가로:
상기 제1 캐릭터에 대응하는 제1 표정 파라미터 및 제1 표정 베이스에 따라 초기 메시를 결정하고 ― 상기 초기 메시는 상기 제1 표정 베이스에 대응하는 제1 정점 토폴로지를 가짐 ―,
상기 제1 정점 토폴로지와 상기 제2 정점 토폴로지 간의 대응관계에 따라 상기 타깃 메시를 생성하도록 구성되고;
그리고, 상기 결정 유닛은,
상기 제1 표정 베이스로부터, 상기 제1 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하고, 상기 제2 표정 베이스로부터, 상기 제2 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하고,
상기 제1 캐릭터에 대응하는 무표정 메시 및 상기 제2 캐릭터에 대응하는 무표정 메시에 따라 조정 메시를 결정하고 ― 상기 조정 메시는 상기 제2 정점 토폴로지를 갖고, 상기 제1 캐릭터가 무표정일 때 상기 제1 캐릭터를 식별하는 데 사용됨 ―,
상기 조정 메시 및 상기 제2 표정 베이스에서의 메시 변형 관계에 따라 상기 타깃 표정 베이스를 생성하도록 구성되는,
애니메이션 캐릭터 구동 장치. - 제8항에 있어서,
상기 타깃 정점 토폴로지는 상기 제2 표정 베이스에 대응하는 제2 정점 토폴로지이고,
상기 결정 유닛은 추가로:
상기 제2 캐릭터에 대응하며 상기 제2 캐릭터에 대응하는 제2 표정 베이스로부터 어떠한 표정도 갖지 않는 무표정 메시를 결정하고,
상기 제2 캐릭터에 대응하는 무표정 메시 및 상기 제1 캐릭터에 대응하는 제1 표정 베이스에 따라, 상기 제1 캐릭터에 대응하고 상기 제2 정점 토폴로지를 갖는 조정 표정 베이스를 결정하고 ― 상기 조정 표정 베이스의 차원수는 상기 제1 차원수임 ―,
상기 제1 표정 파라미터 및 상기 조정 표정 베이스에 따라 상기 타깃 메시를 결정하도록 구성되며;
그리고, 상기 결정 유닛은,
상기 조정 표정 베이스로부터, 상기 제1 캐릭터에 대응하고 어떠한 표정도 갖지 않는 무표정 메시를 결정하고,
상기 제1 캐릭터에 대응하는 무표정 메시 및 상기 제2 표정 베이스에서의 메시 변형 관계에 따라 상기 타깃 표정 베이스를 생성하도록 구성되는,
애니메이션 캐릭터 구동 장치. - 획득 유닛, 결정 유닛 및 구동 유닛을 포함하는 애니메이션 캐릭터 구동 장치로서,
상기 획득 유닛은 구동 캐릭터에 대응하는 변형 베이스 및 피구동 캐릭터에 대응하는 변형 베이스를 획득하도록 구성되고, 상기 구동 캐릭터는 대응하는 구조 베이스를 갖고, 상기 피구동 캐릭터는 대응하는 구조 베이스를 갖지 않으며, 상기 구조 베이스는 대응하는 캐릭터의 구조적 특징을 식별하는 데 사용되고, 상기 변형 베이스는 대응하는 캐릭터의 변형 특징을 식별하는 데 사용되며;
상기 결정 유닛은 상기 구동 캐릭터에 대응하는 변형 베이스 및 상기 피구동 캐릭터에 대응하는 변형 베이스에 따라, 상기 구동 캐릭터에 대응하는 변형 파라미터와 상기 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계를 결정하도록 구성되고 ― 상기 변형 파라미터는 대응하는 캐릭터의 형상의 변화도를 식별하는 데 사용됨 ―; 그리고
상기 구동 유닛은 상기 구동 캐릭터에 대응하는 변형 파라미터 및 상기 매핑 관계에 따라, 상기 피구동 캐릭터를 구동하도록 구성되고,
상기 구동 캐릭터는 제1 캐릭터 및 제2 캐릭터 중 대응하는 구조 베이스를 갖는 캐릭터이고, 상기 피구동 캐릭터는 상기 제1 캐릭터 및 상기 제2 캐릭터 중 대응하는 구조 베이스를 갖지 않는 다른 캐릭터이며;
상기 결정 유닛은:
상기 제1 캐릭터에 대응하는 제1 변형 파라미터 및 제1 변형 베이스에 따라 타깃 메시를 결정하고 ― 상기 제1 변형 파라미터는 제1 차원수(quantity of dimensions)를 갖는 변형 베이스를 구동하는 데 사용되며, 상기 제1 변형 베이스의 차원수는 상기 제1 차원수이고, 상기 타깃 메시는 상기 제1 변형 파라미터에 대응하는 변형을 시키는 제1 캐릭터를 식별하는데 사용되는 타깃 정점 토폴로지(target vertex topology)를 가짐 ―;
상기 타깃 정점 토폴로지를 갖는 제1 캐릭터에 대응하는 타깃 변형 베이스를 획득하고 ― 상기 타깃 변형 베이스의 차원수는 제2 차원수이고, 상기 타깃 변형 베이스는 상기 제2 캐릭터에 대응하는 제2 변형 베이스에 따라 결정되고, 상기 제1 차원수는 상기 제2 차원수와 상이함 ―;
상기 제1 캐릭터에 대응하는 제2 변형 파라미터를 상기 타깃 메시 및 상기 타깃 변형 베이스에 따라 결정하고 ― 상기 제2 변형 파라미터는 상기 타깃 메시에 대한 상기 제1 캐릭터의 변형의 변화도를 반영하는 데 사용됨 ―; 그리고
상기 구동 캐릭터에 대응하는 변형 파라미터와 상기 피구동 캐릭터에 대응하는 변형 파라미터 간의 매핑 관계를 상기 제1 변형 파라미터 및 상기 제2 변형 파라미터에 따라 결정하도록 구성되는,
애니메이션 캐릭터 구동 장치. - 프로세서 및 메모리를 포함하는 디바이스로서,
상기 메모리는, 프로그램 코드를 저장하고 상기 프로그램 코드를 상기 프로세서에 전송하도록 구성되며;
상기 프로세서는 상기 프로그램 코드의 명령들에 따라 제1항 내지 제7항 중 어느 한 항에 따른 방법을 수행하도록 구성되는,
디바이스. - 프로그램 코드를 저장하도록 구성된 컴퓨터 판독 가능 저장 매체로서,
상기 프로그램 코드는 제1항 내지 제7항 중 어느 한 항에 따른 방법을 수행하는 데 사용되는, 컴퓨터 판독 가능 저장 매체. - 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
명령들을 포함하고, 상기 명령들은 컴퓨터 상에서 실행될 때 상기 컴퓨터로 하여금, 제1항 내지 제7항 중 어느 한 항에 따른 방법을 수행하게 하는, 컴퓨터 프로그램. - 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910816780.XA CN110517339B (zh) | 2019-08-30 | 2019-08-30 | 一种基于人工智能的动画形象驱动方法和装置 |
| CN201910816780.X | 2019-08-30 | ||
| PCT/CN2020/105673 WO2021036665A1 (zh) | 2019-08-30 | 2020-07-30 | 一种基于人工智能的动画形象驱动方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210126697A KR20210126697A (ko) | 2021-10-20 |
| KR102645506B1 true KR102645506B1 (ko) | 2024-03-07 |
Family
ID=68629598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217029446A KR102645506B1 (ko) | 2019-08-30 | 2020-07-30 | 인공 지능에 기반한 애니메이션 이미지 구동 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11941737B2 (ko) |
| EP (1) | EP3923244A4 (ko) |
| JP (1) | JP7307194B2 (ko) |
| KR (1) | KR102645506B1 (ko) |
| CN (1) | CN110517339B (ko) |
| WO (1) | WO2021036665A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517339B (zh) * | 2019-08-30 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的动画形象驱动方法和装置 |
| CN113792705B (zh) * | 2021-09-30 | 2024-04-23 | 北京跳悦智能科技有限公司 | 一种视频表情迁移方法及系统、计算机设备 |
| CN115393488B (zh) * | 2022-10-28 | 2023-03-03 | 北京百度网讯科技有限公司 | 虚拟人物表情的驱动方法、装置、电子设备和存储介质 |
| KR102636217B1 (ko) * | 2023-04-14 | 2024-02-14 | 고려대학교산학협력단 | 가중 국소변환을 이용한 3차원 데이터 증강 방법 및 이를 위한 장치 |
| CN116485959A (zh) * | 2023-04-17 | 2023-07-25 | 北京优酷科技有限公司 | 动画模型的控制方法、表情的添加方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961496A (zh) * | 2019-02-22 | 2019-07-02 | 厦门美图之家科技有限公司 | 表情驱动方法及表情驱动装置 |
| US20190266796A1 (en) * | 2018-02-27 | 2019-08-29 | Magic Leap, Inc. | Matching meshes for virtual avatars |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001043345A (ja) * | 1999-07-28 | 2001-02-16 | Mitsubishi Electric Corp | 表情認識装置、およびそれを用いた投薬制御システム、覚醒レベル評価システム、回復評価システム |
| US6950104B1 (en) | 2000-08-30 | 2005-09-27 | Microsoft Corporation | Methods and systems for animating facial features, and methods and systems for expression transformation |
| JP2002298155A (ja) | 2001-03-29 | 2002-10-11 | Hic:Kk | 感情による３ｄコンピュータグラフィックス表情モデル形成システム |
| US9747495B2 (en) * | 2012-03-06 | 2017-08-29 | Adobe Systems Incorporated | Systems and methods for creating and distributing modifiable animated video messages |
| US9799096B1 (en) * | 2014-07-08 | 2017-10-24 | Carnegie Mellon University | System and method for processing video to provide facial de-identification |
| CN104217454B (zh) * | 2014-08-21 | 2017-11-03 | 中国科学院计算技术研究所 | 一种视频驱动的人脸动画生成方法 |
| CN105528805A (zh) * | 2015-12-25 | 2016-04-27 | 苏州丽多数字科技有限公司 | 一种虚拟人脸动画合成方法 |
| FR3053509B1 (fr) * | 2016-06-30 | 2019-08-16 | Fittingbox | Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe |
| CN107633542A (zh) * | 2016-07-19 | 2018-01-26 | 珠海金山网络游戏科技有限公司 | 一种捏脸编辑和动画附加融合方法和系统 |
| CN106709975B (zh) * | 2017-01-11 | 2017-12-22 | 山东财经大学 | 一种交互式三维人脸表情动画编辑方法、系统及扩展方法 |
| CN108874114B (zh) * | 2017-05-08 | 2021-08-03 | 腾讯科技（深圳）有限公司 | 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质 |
| CN108876879B (zh) * | 2017-05-12 | 2022-06-14 | 腾讯科技（深圳）有限公司 | 人脸动画实现的方法、装置、计算机设备及存储介质 |
| US10860838B1 (en) * | 2018-01-16 | 2020-12-08 | Electronic Arts Inc. | Universal facial expression translation and character rendering system |
| US10198845B1 (en) * | 2018-05-29 | 2019-02-05 | LoomAi, Inc. | Methods and systems for animating facial expressions |
| US10896535B2 (en) * | 2018-08-13 | 2021-01-19 | Pinscreen, Inc. | Real-time avatars using dynamic textures |
| US11151362B2 (en) * | 2018-08-30 | 2021-10-19 | FaceValue B.V. | System and method for first impression analysis and face morphing by adjusting facial landmarks using faces scored for plural perceptive traits |
| CN109493403A (zh) * | 2018-11-13 | 2019-03-19 | 北京中科嘉宁科技有限公司 | 一种基于运动单元表情映射实现人脸动画的方法 |
| CN110517339B (zh) * | 2019-08-30 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的动画形象驱动方法和装置 |
| US11475608B2 (en) * | 2019-09-26 | 2022-10-18 | Apple Inc. | Face image generation with pose and expression control |
| US11393149B2 (en) * | 2020-07-02 | 2022-07-19 | Unity Technologies Sf | Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model |
| US11977979B2 (en) * | 2021-07-23 | 2024-05-07 | Qualcomm Incorporated | Adaptive bounding for three-dimensional morphable models |
-
2019
- 2019-08-30 CN CN201910816780.XA patent/CN110517339B/zh active Active
-
2020
- 2020-07-30 WO PCT/CN2020/105673 patent/WO2021036665A1/zh unknown
- 2020-07-30 JP JP2021560989A patent/JP7307194B2/ja active Active
- 2020-07-30 KR KR1020217029446A patent/KR102645506B1/ko active IP Right Grant
- 2020-07-30 EP EP20857359.2A patent/EP3923244A4/en active Pending
-
2021
- 2021-09-27 US US17/486,641 patent/US11941737B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190266796A1 (en) * | 2018-02-27 | 2019-08-29 | Magic Leap, Inc. | Matching meshes for virtual avatars |
| CN109961496A (zh) * | 2019-02-22 | 2019-07-02 | 厦门美图之家科技有限公司 | 表情驱动方法及表情驱动装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210126697A (ko) | 2021-10-20 |
| US20220012930A1 (en) | 2022-01-13 |
| JP2022528999A (ja) | 2022-06-16 |
| US11941737B2 (en) | 2024-03-26 |
| CN110517339B (zh) | 2021-05-25 |
| JP7307194B2 (ja) | 2023-07-11 |
| WO2021036665A1 (zh) | 2021-03-04 |
| EP3923244A1 (en) | 2021-12-15 |
| CN110517339A (zh) | 2019-11-29 |
| EP3923244A4 (en) | 2022-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102645506B1 (ko) | 인공 지능에 기반한 애니메이션 이미지 구동 방법 및 장치 | |
| KR102616010B1 (ko) | 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법 | |
| JP7198332B2 (ja) | 画像正則化及びリターゲティングシステム | |
| WO2020192568A1 (zh) | 人脸图像生成方法、装置、设备及存储介质 | |
| KR102658960B1 (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
| Nieto et al. | Cage based deformations: a survey | |
| KR100891885B1 (ko) | 형태 변형 장치, 물체 동작 부호화 장치 및 물체 동작복호화 장치 | |
| CN107392984A (zh) | 一种基于人脸图像生成动画的方法及计算设备 | |
| CN115345980B (zh) | 个性化纹理贴图的生成方法及装置 | |
| US20170256098A1 (en) | Three Dimensional Facial Expression Generation | |
| CN114820905B (zh) | 虚拟形象生成方法、装置、电子设备及可读存储介质 | |
| CN115049799A (zh) | 3d模型和虚拟形象的生成方法和装置 | |
| AU2017272304A1 (en) | Auto vr: an assistant system for virtual reality painting | |
| US11113578B1 (en) | Learned model-based image rendering | |
| CN116524162A (zh) | 三维虚拟形象迁移方法、模型更新方法及相关设备 | |
| US20230316591A1 (en) | Identity Preserved Controllable Facial Image Manipulation | |
| CN115311403A (zh) | 深度学习网络的训练方法、虚拟形象生成方法及装置 | |
| CN114373033A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| CN114049472A (zh) | 三维模型调整方法、装置、电子设备、介质 | |
| CN111784805A (zh) | 一种虚拟角色交互反馈方法和装置 | |
| KR20210071024A (ko) | 모프 타겟 애니메이션 | |
| US20230196630A1 (en) | Generating stylized digital images via drawing stroke optimization utilizing a multi-stroke neural network | |
| US20240153177A1 (en) | Vector object blending | |
| KR102652652B1 (ko) | 아바타 생성 장치 및 방법 | |
| WO2023179091A1 (zh) | 三维模型渲染方法、装置、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |