KR102668161B1 - 미세한 주름을 갖는 얼굴 메시 변형 - Google Patents
미세한 주름을 갖는 얼굴 메시 변형 Download PDFInfo
- Publication number
- KR102668161B1 KR102668161B1 KR1020227032805A KR20227032805A KR102668161B1 KR 102668161 B1 KR102668161 B1 KR 102668161B1 KR 1020227032805 A KR1020227032805 A KR 1020227032805A KR 20227032805 A KR20227032805 A KR 20227032805A KR 102668161 B1 KR102668161 B1 KR 102668161B1
- Authority
- KR
- South Korea
- Prior art keywords
- mesh
- control point
- rbf
- deformation
- user
- Prior art date
Links
- 230000037303 wrinkles Effects 0.000 title claims abstract description 71
- 230000001815 facial effect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 93
- 230000007935 neutral effect Effects 0.000 claims abstract description 44
- 238000006073 displacement reaction Methods 0.000 claims description 39
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000009792 diffusion process Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000008921 facial expression Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 2
- 230000014509 gene expression Effects 0.000 abstract description 19
- 230000008569 process Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 25
- 230000009466 transformation Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 8
- 239000003607 modifier Substances 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000577 adipose tissue Anatomy 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Absorbent Articles And Supports Therefor (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
방법 및 시스템은 미세한 주름을 갖는 얼굴 메시 변형을 제공하는 것을 설명한다. 얼굴 스캔에 기반하는 중립 메시는 중립 메시에서의 초기 제어점 위치 및 비-중립적 표정에 대응하는 사용자 정의 제어점 위치와 함께 제공된다. 초기 제어점 위치 및 사용자 정의 제어점 위치의 방사형 기저 함수(RBF) 보간에 기반하여 RBF 변형 메시를 생성한다. 그런 다음, 예측된 주름 변형 데이터는 하나 이상의 계단식 회귀자 네트워크에 의해 생성된다. 마지막으로, 최종 변형 메시는 예측된 주름 변형 데이터에 기반하여 주름을 포함하여 제공된다.
Description
본 발명은 일반적으로 컴퓨터 그래픽에 관한 것으로, 보다 상세하게는 미세한 주름을 갖는 얼굴 메시 변형을 제공하기 위한 방법 및 장치에 관한 것이다.
컴퓨터 그래픽 및 컴퓨터 애니메이션 분야에서, 급성장하고 있는 관심 분야는 현실적이고 실물과 같은 디지털 아바타, 디지털 배우 및 실제 인간의 디지털 대리(이하 "디지털 아바타" 또는 "디지털 인간"으로 통칭)를 만드는 것이다. 이러한 아바타는, 무엇보다도, 영화 및 비디오 게임 산업에서 수요가 많다. 이 관심은 최근 몇 년 동안 증가했는데, 이러한 디지털 아바타를 더 적은 시간, 노력 및 처리 비용의 투입으로 더 넓은 규모로 생산할 수 있는 기술이 가능했기 때문이다.
이러한 경험이 확립되어 소비자에게 수년 동안 가능했지만, 조각 예술가의 최소한의 수작업으로 디지털 아바타를 대량으로 생산할 수 있는 수준까지 이러한 비용을 낮추는 데에는 여전히 과제가 남아 있다. 통상적인 접근 방식은 사람을 수백 번 스캔하는 것이며, 그 다음 이들 스캔에서 각 스캔에 대해 얼굴 메시가 있는 메시 토폴로지를 만들 수 있다. 각 얼굴 메시는 통상적으로 메시를 조각하는 예술가 팀을 필요로 하는데, 얼굴 메시에서 잘못 배치되거나 부재하거나 불필요한 제어점으로 인해 발생하는 여러 오류와 부정확성을 수정하기 위함이다. 그런 다음 얼굴 메시는 필요에 따라 텍스처와 특색(예: 피부, 입술, 머리카락)을 추가한 후 게임 및 영화에서 사용하도록 조정될 수 있다.
그러나, 이러한 접근 방식의 문제점은 시간이 상당히 걸린다는 것이다. 스캔 부분이 상대적으로 저렴하더라도, 여러 디지털 예술가는 종종 스캔 데이터를 삭제해야 하는데, 그것이 자주 생성된 메시로 이어지는 부정확성과 화면 깨짐(artifacting)으로 채워지기 때문이다. 또한 최종 결과물로 단순히 한 명의 디지털 인간을 만드는 것이 아니라, 잠재적으로 수십 또는 수백 명의 잠재적 디지털 인간을 위한 템플릿을 만들려는 요구가 증가하고 있다. 기존의 방식을 사용하여 상이한 아바타에서 유사한 자질, 표정, 제스처가 일관되기 어렵다.
상이한 아바타를 표준화하는 일반적인 방법은 고정된 표정과 얼굴의 기본 움직임을 허용하는 얼굴 움직임 부호화 시스템(Facial Coding Action System, FACS)이다. 그러나, FACS를 사용하면, 모든 아바타의 표정과 얼굴을 표준화할 때 잠재적으로 큰 관리 작업이 생성된다. 인간의 얼굴에서 다양한 변화는 기본 뼈 구조에서 해부학적 특징을 구별하는 데 어려움으로 이어진다. FACS의 목표는 사람의 고유한 뼈와 피부 구조(즉, 고유한 얼굴 ID)가 아닌 생리학적 움직임만을 설명하여 고유한 얼굴이 모두 동일한 표정을 가질 수 있도록 하는 것이다. 그러나, 얼굴의 각 표정의 경우, 근육 수축 뿐만 아니라 얼굴 근육이 얼굴의 기본 뼈 구조 위로 미끄러지는 특정 방식도 있다. FACS 표준화에 따라 부정확성이 형성되는 하나의 주요 영역은 주름 및 피부 주름이 표정 변화에 따라 얼굴에 나타나는 방식을 캡처할 때이다. 따라서, 디지털 예술가는 이러한 생리적 움직임을 뼈 구조에 기반한 움직임이 나타내는 고유의 방식에 맞게 조정하고, 표준화된 표정에서 상이한 얼굴에 대한 미세한 주름 및 피부 주름을 포함해야 한다.
따라서, 컴퓨터 그래픽 분야에서는 미세한 주름과 피부 주름을 갖는 사실적으로 변형된 얼굴 메시를 제공하기 위한 새롭고 유용한 시스템 및 방법을 생성할 필요가 있다. 본 발명자들이 발견한 바와 같이, 문제의 원인은 표정의 변형을 미세하게 캡처하는 정확한 자동화 방법의 부족이다.
일 실시예는 미세한 주름을 갖는 얼굴 메시 변형을 제공하는 것에 관한 것이다. 시스템은 얼굴 스캔을 기반으로 중립 메시를 수신하고, 중립 메시에서 초기 제어점 위치를 수신한다. 시스템은 또한 비-중립적 표정에 해당하는 여러 사용자 정의 제어점 위치를 수신한다. 먼저, 시스템은 초기 제어점 위치 및 사용자 정의 제어점 위치의 방사형 기저 함수(radial basis function, RBF) 보간(interpolation)을 기반으로 RBF 변형 메시를 생성한다. 그런 다음, 시스템은 RBF 변형 메시 및 사용자 정의 제어점을 기반으로 예측된 주름 변형 데이터를 생성하며, 예측된 주름 변형 데이터는 하나 이상의 계단식 회귀자 네트워크(cascaded regressors network)에 의해 생성된다. 마지막으로, 사용자 인터페이스 내의 클라이언트 장치에 디스플레이하기 위해, 시스템은 예측된 주름 변형 데이터를 기반으로 주름이 있는 최종 변형 메시를 제공한다.
다른 실시예는 초기 제어점 위치와 중립 메시의 다른 모든 정점 사이의 측지 거리의 가우시안 커널을 나타내는 확산 흐름을 계산한 다음, 계산된 확산 흐름을 기반으로 초기 제어점 위치와 사용자 정의 제어점 위치의 RBF 보간을 결정하는 것에 관한 것이다.
다른 실시예는 다수의 예제 RBF 변형 메시 각각을 다수의 고유한 얼굴 영역으로 분할한 다음, 예제 RBF 변형 메시의 각각의 고유한 얼굴 영역에 대해 계단식 회귀자 네트워크를 학습하는 것에 관한 것이다. 그런 다음, 이러한 학습된 회귀자 네트워크는 RBF 변형 메시 및 사용자 정의 제어점을 기반으로 예측된 주름 변형 데이터를 생성하는 데 사용된다.
다른 실시예는 하나 이상의 계단식 회귀자 네트워크의 각각의 일부로 변위 회귀자를 사용하여 초기 정점 변위 데이터를 예측하는 것에 관한 것이다. 그런 다음, 사용자 인터페이스 내의 클라이언트 장치에 디스플레이하기 위해, 시스템은 예측된 초기 정점 변위 데이터를 기반으로 주름이 있는 미리보기 변형 메시를 제공한다. 그런 다음, 시스템은 하나 이상의 계단식 회귀자 네트워크 각각의 일부로 변형 구배(gradient) 회귀자를 사용하여 변형 구배 텐서(tensor)를 예측한다.
이들 실시예의 특징 및 구성요소는 다음의 설명에서 더욱 상세하게 설명될 것이다. 추가적인 특징 및 이점은 또한 이어지는 설명에서 제시될 것이며, 부분적으로 설명으로부터 암시되거나, 실시예의 실행에 의해 학습될 수 있다.
도 1a는 일부 실시예가 동작할 수 있는 예시적인 환경을 도시하는 도면이다.
도 1b는 본원의 일부 방법을 수행하기 위한 명령을 실행할 수 있는 예시적인 컴퓨터 시스템을 도시하는 도면이다.
도 2a는 일부 실시예에서 수행될 수 있는 예시적인 방법을 도시하는 흐름도이다.
도 2b는 일부 실시예에 따라 수행될 수 있는 추가 단계를 도시하는 흐름도이다.
도 2c는 일부 실시예에 따라 수행될 수 있는 추가 단계를 도시하는 흐름도이다.
도 2d는 일부 실시예에 따라 수행될 수 있는 추가 단계를 도시하는 흐름도이다.
도 3a는 본원의 일부 시스템 및 방법에 따라 계단식 회귀자 네트워크를 학습하기 위한 프로세스의 예시적인 일 실시예를 도시하는 도면이다.
도 3b는 본원의 일부 시스템 및 방법에 따라 미세한 주름을 갖는 얼굴 변형을 제공하기 위한 프로세스의 예시적인 일 실시예를 도시하는 도면이다.
도 3c는 본원의 일부 시스템 및 방법에 따라 메시 조각 예술가를 위한 시각적 피드백 안내를 제공하기 위한 프로세스의 예시적인 일 실시예를 도시하는 도면이다.
도 4a는 본원의 일부 시스템 및 방법에 따라 초기 제어점 위치를 갖는 중립 메시의 일례를 도시하는 이미지이다.
도 4b는 본원의 일부 시스템 및 방법에 따라 반경 표시자를 갖는 중립 메시의 일례를 도시하는 이미지이다.
도 4c는 본원의 일부 시스템 및 방법에 따라 방사형 기저 함수(RBF) 보간에 기반하여 RBF 변형 메시를 생성하기 위한 프로세스의 일례를 도시하는 이미지이다.
도 4d는 본원의 일부 시스템 및 방법에 따라 RBF 보간에 기반하여 RBF 변형 메시를 생성하기 위한 프로세스의 추가 일례를 도시하는 이미지이다.
도 4e는 본원의 일부 시스템 및 방법에 따라 계산된 확산 흐름의 일례를 도시하는 이미지이다.
도 4f는 본원의 일부 시스템 및 방법에 따라 스플라인 보간을 제공하기 위한 프로세스의 일례를 도시하는 이미지이다.
도 4g는 본원의 일부 시스템 및 방법에 따라 스플라인 보간을 제공하기 위한 프로세스의 추가 일례를 도시하는 이미지이다.
도 4h는 본원의 일부 시스템 및 방법에 따라 시각적 피드백 안내를 제공하기 위한 프로세스의 일례를 도시하는 이미지이다.
도 4i는 본원의 일부 시스템 및 방법에 따라 분할된 마스크를 제공하기 위한 프로세스의 일례를 나타내는 이미지이다.
도 4j는 본원의 일부 시스템 및 방법에 따라 분할된 마스크를 제공하기 위한 프로세스의 추가 일례를 도시하는 이미지이다.
도 5는 일부 실시예에서 처리를 수행할 수 있는 예시적인 컴퓨터를 도시하는 도면이다.
도 1b는 본원의 일부 방법을 수행하기 위한 명령을 실행할 수 있는 예시적인 컴퓨터 시스템을 도시하는 도면이다.
도 2a는 일부 실시예에서 수행될 수 있는 예시적인 방법을 도시하는 흐름도이다.
도 2b는 일부 실시예에 따라 수행될 수 있는 추가 단계를 도시하는 흐름도이다.
도 2c는 일부 실시예에 따라 수행될 수 있는 추가 단계를 도시하는 흐름도이다.
도 2d는 일부 실시예에 따라 수행될 수 있는 추가 단계를 도시하는 흐름도이다.
도 3a는 본원의 일부 시스템 및 방법에 따라 계단식 회귀자 네트워크를 학습하기 위한 프로세스의 예시적인 일 실시예를 도시하는 도면이다.
도 3b는 본원의 일부 시스템 및 방법에 따라 미세한 주름을 갖는 얼굴 변형을 제공하기 위한 프로세스의 예시적인 일 실시예를 도시하는 도면이다.
도 3c는 본원의 일부 시스템 및 방법에 따라 메시 조각 예술가를 위한 시각적 피드백 안내를 제공하기 위한 프로세스의 예시적인 일 실시예를 도시하는 도면이다.
도 4a는 본원의 일부 시스템 및 방법에 따라 초기 제어점 위치를 갖는 중립 메시의 일례를 도시하는 이미지이다.
도 4b는 본원의 일부 시스템 및 방법에 따라 반경 표시자를 갖는 중립 메시의 일례를 도시하는 이미지이다.
도 4c는 본원의 일부 시스템 및 방법에 따라 방사형 기저 함수(RBF) 보간에 기반하여 RBF 변형 메시를 생성하기 위한 프로세스의 일례를 도시하는 이미지이다.
도 4d는 본원의 일부 시스템 및 방법에 따라 RBF 보간에 기반하여 RBF 변형 메시를 생성하기 위한 프로세스의 추가 일례를 도시하는 이미지이다.
도 4e는 본원의 일부 시스템 및 방법에 따라 계산된 확산 흐름의 일례를 도시하는 이미지이다.
도 4f는 본원의 일부 시스템 및 방법에 따라 스플라인 보간을 제공하기 위한 프로세스의 일례를 도시하는 이미지이다.
도 4g는 본원의 일부 시스템 및 방법에 따라 스플라인 보간을 제공하기 위한 프로세스의 추가 일례를 도시하는 이미지이다.
도 4h는 본원의 일부 시스템 및 방법에 따라 시각적 피드백 안내를 제공하기 위한 프로세스의 일례를 도시하는 이미지이다.
도 4i는 본원의 일부 시스템 및 방법에 따라 분할된 마스크를 제공하기 위한 프로세스의 일례를 나타내는 이미지이다.
도 4j는 본원의 일부 시스템 및 방법에 따라 분할된 마스크를 제공하기 위한 프로세스의 추가 일례를 도시하는 이미지이다.
도 5는 일부 실시예에서 처리를 수행할 수 있는 예시적인 컴퓨터를 도시하는 도면이다.
본 명세서에서, 본 발명의 특정 실시예를 상세히 참조한다. 일부 실시예 또는 이들의 양태가 도면에 도시된다.
설명의 명확성을 위해, 본 발명은 특정 실시예를 참조하여 설명되었지만, 본 발명은 설명된 실시예로 제한되지 않는다는 것을 이해해야 한다. 그와는 반대로, 본 발명은 임의의 특허 청구 범위에 의해 정의된 그의 범위 내에 포함될 수 있는 대안, 수정 및 등가물을 포함한다. 본 발명의 다음 실시예는 청구된 발명에 대한 일반성을 상실하지 않고, 제한을 부과하지 않고 설명된다. 다음 설명에서, 본 발명의 완전한 이해를 제공하기 위해 특정 세부사항이 제시된다. 본 발명은 이러한 특정 세부사항의 일부 또는 전부 없이 실시될 수 있다. 또한, 잘 알려진 특징은 본 발명을 불필요하게 모호하게 하는 것을 피하기 위해 상세하게 설명되지 않았을 수 있다.
또한, 이 예시적인 특허에 제시된 예시적인 방법의 단계는 본 명세서에 제시된 순서와 다른 순서로 수행될 수 있음을 이해해야 한다. 또한, 예시적인 방법의 일부 단계는 순차적으로 수행되지 않고 병렬로 수행될 수 있다. 또한, 예시적인 방법의 단계는 일부 단계가 네트워크 환경의 다른 컴퓨터에 의해 수행되는 네트워크 환경에서 수행될 수 있다.
일부 실시예는 미세한 주름을 갖는 얼굴 메시 변형을 제공하는 것에 관한 것이다. 본원에서 사용된 "얼굴 메시"는 예를 들어 얼굴, 머리, 몸체, 몸체 부위, 물체, 해부학, 텍스처, 텍스처 오버레이 및 임의의 적절한 메시 구성요소 또는 요소에 관한 메시를 포함하여, 디지털 아바타와 관련된 다양한 컴퓨터 그래픽 및 컴퓨터 애니메이션 메시를 고려하는 것으로 이해되어야 한다. 본원에서 사용된 "변형"은, 표정, 제스처, 움직임, 일부 외부 힘이나 몸체의 영향, 해부학적 변화를 초래하는 변형을 포함하여, 메시에 대한 다양한 변형 및 변경, 또는 메시에 대한 임의의 다른 적절한 변형 또는 변경을 고려하는 것으로 이해되어야 할 것이다. 본 명세서에 사용된 "미세한 주름" 및 "주름"은 다양한 주름, 피부 주름, 구김살, 솟은 곳, 선, 움푹 들어간 곳, 및 달리 매끄럽거나 반-매끄러운 표면의 기타 방해를 고려하는 것으로 이해되어야 한다. 통상적인 예는, 예를 들어, 노화로 인한 주름 또는 피부 주름 뿐만 아니라 보조개, 눈가 주름, 다양한 방식으로 피부를 늘리거나 또는 달리 움직이는 표정으로 인해 통상적으로 발생되는 얼굴 피부의 주름, 물에 노출되어 발생하는 피부 상의 주름 및 "웃음 선", 즉 통상적으로 미소 또는 웃음으로 인해 발생하는 입꼬리 및 눈꼬리 주위의 선 또는 주름을 포함한다. 다른 많은 이런 가능성이 고려될 수 있다.
I. 예시적인 환경
도 1a는 일부 실시예가 동작할 수 있는 예시적인 환경을 도시하는 도면이다. 예시적인 환경(100)에서, 클라이언트 장치(120) 및 선택적 스캐닝 장치(110)는 변형 엔진(102)에 연결된다. 변형 엔진(102) 및 선택적 스캐닝 장치(110)는, 스캔 데이터베이스(130), 메시 데이터베이스(132), 제어점 데이터베이스(134), 및/또는 예제 데이터베이스(136)를 포함하는, 하나 이상의 선택적 데이터베이스(들)에 선택적으로 연결된다. 하나 이상의 데이터베이스는 결합되거나 여러 데이터베이스로 분할될 수 있다. 이 환경에서 스캐닝 장치와 클라이언트 장치는 컴퓨터일 수 있다.
예시적인 환경(100)은 단순성을 위해 단 하나의 스캐닝 장치, 클라이언트 장치 및 변형 엔진으로 도시되지만, 실제로는 더 많거나 더 적은 스캐닝 장치, 클라이언트 장치 및/또는 변형 엔진이 있을 수 있다. 일부 실시예에서, 스캐닝 장치 및 클라이언트 장치는 변형 엔진과 뿐만 아니라 서로 통신할 수 있다. 일부 실시예에서, 스캐닝 장치, 클라이언트 장치 및 변형 엔진 중 하나 이상은 동일한 컴퓨터 또는 장치의 일부일 수 있다.
일 실시예에서, 변형 엔진(102)은 본원의 방법(200) 또는 다른 방법을 수행할 수 있고, 결과적으로 미세한 주름을 갖는 메시 변형을 제공할 수 있다. 일부 실시예에서, 이것은 클라이언트 장치(120) 또는 다른 장치(들)와 애플리케이션 서버 또는 일부 다른 네트워크 서버 사이의 네트워크를 통해 클라이언트 장치 또는 다른 장치(들)와의 통신을 통해 달성될 수 있다. 일부 실시예에서, 변형 엔진(102)은 컴퓨터 또는 유사한 장치에서 호스팅되는 애플리케이션이거나, 그 자체가 본원의 일부 방법 및 실시예를 수행하기 위해 애플리케이션을 호스팅하도록 구성된 컴퓨터 또는 유사한 장치이다.
스캐닝 장치(110)는 배우 또는 다른 인간으로부터 스캐닝된 이미지 데이터를 캡처하기 위한 장치이다. 일부 실시예에서, 스캐닝 장치는 카메라, 컴퓨터, 스마트폰, 스캐너, 또는 유사한 장치일 수 있다. 일부 실시예에서, 스캐닝 장치는 인간 대상의 3차원(이하 "3D") 스캔 생성을 수행하거나 수행을 용이하게 하도록 구성된 애플리케이션을 호스팅하고/하거나 이러한 애플리케이션을 호스팅하는 장치와 통신 가능하다. 일부 실시예에서, 프로세스는 3D 이미징, 스캐닝, 재구성, 모델링, 및 스캔을 생성하기 위한 임의의 다른 적합하거나 필요한 기술을 포함할 수 있다. 스캐닝 장치는, 3D 얼굴 스캔을 포함하여, 인간의 3D 이미지를 캡처하는 기능을 한다. 일부 실시예에서, 스캐닝 장치(110)는 스캐닝된 이미지 및 연관된 스캔 데이터를 선택적 스캔 데이터베이스(130)로 전송한다. 스캐닝 장치(110)는 또한 스캐닝된 이미지 및 연관된 스캔 데이터를 처리 및 분석을 위해 변형 엔진(102)으로 전송한다. 일부 실시예에서, 스캐닝 장치는 사진 측량, 단층 촬영, 라이다(light detection and ranging, LIDAR), 적외선 또는 구조화 광, 또는 임의의 다른 적절한 기술을 포함하는 다양한 기술을 사용할 수 있다. 일부 실시예에서, 스캐닝 장치는 다수의 센서, 카메라, 가속도계, 자이로스코프, 관성 측정 유닛(IMU), 및/또는 스캐닝 프로세스를 수행하는 데 필요한 다른 구성요소 또는 장치를 포함하거나 이와 통신할 수 있다. 일부 실시예에서, 스캔과 관련된 메타데이터가 추가로 생성되는데, 예를 들면 3D 좌표 데이터, 6축 데이터, 포인트 클라우드 데이터, 및/또는 임의의 다른 적절한 데이터이다.
클라이언트 장치(120)는 변형 엔진(102)에 정보를 송수신하는 장치이다. 일부 실시예에서, 클라이언트 장치(120)는, 컴퓨터 그래픽 및 컴퓨터 애니메이션 컨텍스트 내의 조각 예술가와 같은 디지털 예술가를 위한 사용자 인터페이스를 제공하는 애플리케이션을 호스팅하고 실행할 수 있는 컴퓨팅 장치이다. 일부 실시예에서, 클라이언트 장치(120)는 컴퓨터 데스크탑 또는 랩탑, 이동 전화, 가상 현실 또는 증강 현실 장치, 웨어러블, 또는 정보를 송수신할 수 있는 임의의 다른 적절한 장치일 수 있다. 일부 실시예에서, 변형 엔진(102)은 클라이언트 장치(120)에서 실행되는 애플리케이션으로서 전체적으로 또는 부분적으로 호스팅될 수 있다.
스캔 데이터베이스(130), 메시 데이터베이스(132), 제어점 데이터베이스(134) 및 예제 데이터베이스(136) 중 하나 이상을 포함하는 선택적 데이터베이스(들)는 각각 스캐닝된 이미지 및 스캔 메타데이터; 메시 및 메시 메타데이터; 제어점 위치 데이터를 포함하는 제어점 및 제어점 메타데이터; 및 예를 들어, 예제 메시, 분할 마스크, 및/또는 변형된 예시를 포함하는 예제 데이터 및 메타데이터를 저장하고/하거나 유지하는 기능을 한다. 선택적 데이터베이스(들)는 또한 변형 엔진(102)이 본원의 방법 및 시스템의 요소를 수행하도록 임의의 다른 적절한 정보를 저장하고/하거나 유지할 수 있다. 일부 실시예에서, 선택적 데이터베이스(들)는 시스템(100)의 하나 이상의 구성요소에 의해(예를 들어, 변형 엔진(102)에 의해) 질의될 수 있고, 데이터베이스(들)에서 특정 저장된 데이터가 검색될 수 있다.
도 1b는 본원에 설명된 기능의 일부를 실행할 수 있는 소프트웨어 모듈을 갖는 예시적인 컴퓨터 시스템(150)을 도시하는 도면이다.
제어점 모듈(152)은 중립 메시 및 초기 제어점 위치를 수신할 뿐만 아니라 사용자 정의 제어점 위치를 수신하는 기능을 한다. 일부 실시예에서, 제어점 모듈(152)은 예를 들어, 선택적 제어점 데이터베이스(134) 및/또는 메시 데이터베이스(132)와 같은 하나 이상의 데이터베이스로부터 상기를 검색한다. 일부 실시예에서, 제어점 모듈(152)은 업데이트된 제어점 위치와 같은 제어점 정보를 제어점 데이터베이스(134)와 같은 하나 이상의 데이터베이스에 추가로 저장할 수 있다.
보간 모듈(154)은 초기 제어점 위치 및 사용자 정의 제어점 위치의 방사형 기저 함수 보간에 기초하여 방사형 기저 함수 변형 메시를 생성하는 기능을 한다. 일부 실시예에서, 보간은 초기 제어점 위치와 사용자 정의 제어점 위치 사이의 하나 이상의 거리를 계산하는 보간 모듈(154)에 기초한다. 일부 실시예에서, 거리는 초기 제어점 위치와 중립 메시의 다른 모든 정점 사이의 측지 거리의 가우시안 커널로 표시된다.
선택적 확산 흐름 모듈(156)은 초기 제어점 위치와 중립 메시의 다른 모든 정점 사이의 측지 거리의 가우시안 커널을 나타내는 확산 흐름을 계산하는 기능을 한다.
선택적 학습 모듈(158)은 하나 이상의 계단식 회귀자 네트워크를 학습하는 기능을 한다. 일부 실시예에서, 학습 모듈(158)은 예를 들어, 예제 메시, 방사형 기저 함수 변형 메시, 및 분할 마스크의 형태로 학습 데이터를 수신하고, 학습 데이터를 하나 이상의 회귀자를 위한 입력으로 사용하여 회귀자를 학습시켜 예측 데이터 출력을 포함한 다양한 작업을 수행한다.
예측 모듈(160)은 하나 이상의 계단식 회귀자 네트워크로부터 출력할 예측 데이터를 생성하는 기능을 한다. 일부 실시예에서, 예측 모듈(160)은 예측된 주름 데이터, 예측된 초기 정점 변위, 예측된 변형 구배 텐서, 또는 시스템 내의 임의의 다른 적절한 예측된 또는 미리보기 데이터 중 하나 이상을 출력할 수 있다.
선택적 변형 모듈(162)은 시스템에서 변형 메시를 생성하는 기능을 한다. 일부 실시예에서, 변형 모듈(162)은 사용자(예를 들어, 조각 예술가)가 다양한 용도에 적응할 수 있도록 사용자 인터페이스에 디스플레이될 최종 변형 메시를 생성한다. 일부 실시예에서, 변형 모듈(162)은 사용자 인터페이스에 표시될 미리보기 변형 메시를 생성하여 사용자가 최종 변형 메시가 생성되기 전에 빠르게(예를 들어, 실시간으로 또는 실질적으로 실시간으로) 생성될 수 있는 변형 메시의 미리보기 버전을 갖게 한다.
디스플레이 모듈(164)은 클라이언트 장치의 사용자 인터페이스 내에서 하나 이상의 출력된 요소를 디스플레이하는 기능을 한다. 일부 실시예에서, 디스플레이 모듈(164)은 사용자 인터페이스 내에서 최종 변형 메시를 디스플레이할 수 있다. 일부 실시예에서, 디스플레이 모듈(165)은 사용자 인터페이스 내에서 미리보기 변형 메시를 디스플레이할 수 있다. 일부 실시예에서, 디스플레이 모듈(164)은 본원의 시스템 및 방법에 기초하여 적절하거나 필요한 대로 사용자 인터페이스 내의 하나 이상의 추가 데이터 또는 상호작용 요소를 디스플레이할 수 있다.
상기 모듈 및 그 기능은 아래의 예시적인 방법과 관련하여 더욱 상세하게 설명될 것이다.
Ⅱ. 예시적인 방법
도 2a는 일부 실시예에서 수행될 수 있는 예시적인 방법을 도시하는 흐름도이다.
202 단계에서, 시스템은 얼굴 스캔에 기초한 중립 메시 뿐만 아니라 중립 메시 상의 초기 제어점 위치를 수신한다. 일부 실시예에서, 스캐닝 장치(110)는 배우 또는 다른 스캐닝 대상의 얼굴의 스캐닝된 이미지를 생성한 다음, 생성된 스캔 이미지를 변형 엔진(102) 또는 스캔 데이터베이스(130)와 같은 시스템의 하나 이상의 다른 요소로 송신할 수 있다. 일부 실시예에서, 스캔은 클라이언트 장치(120)에 저장되고 중립 메시는 사용자에 의해 수동으로, 스캔 이미지에 기초하여 자동으로 또는 반자동으로 생성된다. 중립 메시는 3차원 물체를 구축하고/하거나 애니메이션하기 위한 컴퓨터 그래픽 및 컴퓨터 애니메이션 도구에 사용하기 위해 중립적인 표정을 가진 배우 얼굴의 스캐닝된 이미지의 3차원 메시이다. 일부 실시예에서, 초기 제어점 위치는 중립 메시를 생성하는 프로세스의 일부로 생성된다. 초기 제어점 위치는 얼굴 메시의 표면에 있는 3차원 공간에서 선택된 위치이다. 초기 제어점 위치는 얼굴 및 표정을 제어, 변형 또는 달리 수정하는 것과 관련하여 얼굴에서 구별되거나 중요한 관심 지점을 집합적으로 지정한다. 그런 다음, 이 중립 메시 및 초기 제어점 위치는 변형 엔진(102), 제어점 데이터베이스(134) 또는 메시 데이터베이스(132)와 같은 시스템의 하나 이상의 요소로 전송된다.
204 단계에서, 시스템은 또한 비-중립적 표정에 해당하는 여러 사용자 정의 제어점 위치를 수신한다. 일부 실시예에서, 사용자 정의 제어점 위치는 클라이언트 장치에서 하나 이상의 제어점 위치를 선택하거나 승인하는 사용자에 의해 생성된다. 일부 실시예에서, 사용자 정의 제어점 위치는 사용자가 하나 이상의 초기 제어점 위치를 이동하거나 조정하여 비-중립적 표정(예: 중립 메시의 기본 중립 표정과 다른 행복한 표정, 슬픈 표정, 또는 임의의 다른 표정)을 형성함으로써 생성된다. 일부 실시예에서, 제어점 위치는 중립 메시가 기반으로 하는 것과 동일한 얼굴의 비-중립적 표정의 스캐닝된 이미지에 기반한다. 사용자 정의 제어점 위치는 비-중립적 표정의 중요하거나 구별되는 특징을 나타낸다. 일부 실시예에서, 하나 이상의 사용자 정의 제어점은 자동으로 생성되고 사용자에 의해 승인된다. 일부 실시예에서, 하나 이상의 사용자 정의 제어점은 사용자 인터페이스에서 사용자에 의해 생성된다. 일부 실시예에서, 하나 이상의 사용자 정의 제어점은 사용자 인터페이스에서 자동으로 생성된 다음 사용자 인터페이스에서 사용자에 의해 조정된다. 그런 다음, 사용자 정의 제어점은 변형 엔진(102) 및/또는 제어점 데이터베이스(134)와 같은 시스템의 하나 이상의 요소로 전송된다.
206 단계에서, 시스템은 초기 제어점 위치 및 사용자 정의 제어점 위치의 방사형 기저 함수(이하 "RBF") 보간(interpolation)을 기반으로 RBF 변형 메시를 생성한다. 본원에서 사용된 RBF 보간은 방사형 기저 함수 네트워크를 사용하여 새로운 메시 변형을 구성하는 것을 의미한다. 예시적인 일 실시예에서, 위와 같은 초기 제어점 세트가 주어지면, 사용자 또는 예술가는 사용자 정의 제어점 세트를 생성하기 위해 원하는 대로 이러한 초기 제어점 중 하나 이상을 이동(또는 이동을 승인)한다. 그런 다음, 메시의 결과적 변형은 메시의 나머지 부분에 보간된다.
도 4a는 본원의 일부 시스템 및 방법에 따라 초기 제어점 위치를 갖는 중립 메시의 일례를 도시하는 이미지이다. 이미지는 배우에게서 스캐닝된 중립적인 표정의 3D 얼굴 메시를 보여준다. 여러 초기 제어점 위치가 생성되어 얼굴 메시 표면에 오버레이되었다. 초기 제어점 위치는 수동, 자동 또는 둘의 일부 조합으로 생성되었다.
도 4b는 본원의 일부 시스템 및 방법에 따라 반경 표시자를 갖는 중립 메시의 일례를 도시하는 이미지이다. 일부 실시예에서, 반경 표시자는 도 4a에 도시된 메시의 제어점 위치의 상단에 오버레이될 수 있다. 반경 표시자는, 예술가가 메시에서 제어점을 조각하고 조정하는 데 유용한 시각적 안내일 수 있는 각 제어점 위치에 대한 작은 반경을 제공한다.
도 4c는 본원의 일부 시스템 및 방법에 따라 방사형 기저 함수(RBF) 보간에 기반하여 RBF 변형 메시를 생성하기 위한 프로세스의 일례를 도시하는 이미지이다. 이미지에서, 왼쪽의 얼굴 메시는 대상 얼굴을 스캐닝된 이미지이다. 오른쪽의 얼굴 메시는 RBF 변형 얼굴 메시이며, 제어 마커는 스캐닝된 대상 얼굴이 나타내는 위치로 이동하여 조정된다. 나머지 메시 정점은 보간되고 RBF 변형자를 사용하여 예측된다. 왼쪽의 메시는 오른쪽의 메시보다 더 많은 주름을 포함하고 있는데, RBF 변형자가 제어 마커 사이의 영역에서 매끄러운 보간을 생성하여 주름이 없는 보간을 초래하기 때문이다.
도 4d는 본원의 일부 시스템 및 방법에 따라 방사형 기저 함수(RBF) 보간에 기반하여 RBF 변형 메시를 생성하기 위한 프로세스의 추가 일례를 도시하는 이미지이다. 이미지는 도 4c와 유사하지만 상이한 표정이다. RBF 변형자는 입술의 일부 양태를 수정하기 위해 제어 마커 사이의 영역에 매끄러운 보간을 만든다.
일부 실시예에서, RBF 보간은 거리 함수를 사용하는 것을 포함한다. 일부 실시예에서, 보다 전통적인 유클리드 거리 측정법이 채용되는 것에 비교하여, 채용된 거리 함수는, 메시 상의 이동으로 제한되는 경우, 이동에 필요한 상대 거리와 동일하다. 보간되는 지점에서 각 제어점까지의 상대적 거리에 기반하여, 그 다음 가중된 보간이 이러한 상대적 값에 기반하여 생성된다. 일부 실시예에서, 측지 거리는 RBF 보간을 위한 거리 함수로서 사용되며, RBF 커널(또는 가우시안 커널)이 결과 거리에 적용된다. 본원에서 사용된 측지 거리는 표면에 놓이도록 제한된 경로의 한 지점에서 다른 지점까지의 최단 거리를 나타낸다. 예를 들어, 구(예: 지구)의 두 점 사이의 측지 거리는 큰 원호의 단면일 것이다. 측지 거리를 계산하기 위해 측지 알고리즘을 사용할 수 있다.
일부 실시예에서, RBF 보간은 측지 거리를 직접 계산하는 것이 아니라, 대신에 메시 표면의 제어점 위치 사이의 확산 흐름을 계산함으로써 수행된다. 제어점이 확산 소스로 설정되고, 확산 프로세스(예: 열)가 유한한 시간 동안 표면 전체에 확산하도록 허용되면, 표면의 결과 온도 맵은 측지 거리에 기반한 가우시안 커널의 직접적인 표현이 될 것이다. 이와 같이, 일부 실시예에서, 열 흐름은 측지 거리를 계산하지 않고 직접 계산되어, 앞서 언급된 보다 전통적인 RBF 보간 방법보다 더 빠르고 수치적으로 안정적인 보간 프로세스로 이어진다.
일부 실시예에서, 계산된 확산 흐름은 확산 흐름 방정식에 기초한다. 일부 실시예에서, 확산 흐름 방정식은 메시에 대한 열원을 설정하는 것과 열원에 기반하여 열 확산을 결정하는 것을 포함하는 표준 열 확산, 및 열 확산을 구배로 변환하고, 그 다음 측지 소스를 찾는 데 사용될 수 있는 라플라시안 소스를 포함한다. 다른 실시예에서, 확산 흐름 방정식은 라플라시안 소스 계산을 제거하도록 변경되어, 측지 알고리즘을 활용하고 보간을 수행하기 위한 확산 소스만을 사용한다. 일부 실시예에서, 더 빠른 보간을 위해 RBF 보간에 대해 비선형 기반이 추가된다.
도 4e는 본원의 일부 시스템 및 방법에 따라 계산된 확산 흐름의 일례를 도시하는 이미지이다. 온도 맵은 RBF 변형 얼굴 메시 위에 오버레이된다. 온도는 사용자 정의 제어점 사이의 계산된 확산 흐름을 가진 구배로 표시된다.
RBF 보간이 수행된 후, 제어점의 가중된 보간을 사용하여 RBF 변형 메시를 생성한다. RBF 변형 메시는 사용자 정의 제어점 위치에 의해 수정된 조정된 제어점에 기반하여 중립 메시의 특징이 변형된 메시이다.
일부 실시예에서, RBF 변형 메시는 초기 제어점 위치 및 사용자 정의 제어점 위치의 스플라인 보간을 수행하는 시스템에 추가로 기반하며, 스플라인 보간은 RBF 보간 이전에 수행된다. 측지 거리의 가우시안 커널 표현을 기반으로 하는 보간의 하나의 공통적인 특징은 보간이 전역적이어서, 매끄러운 윤곽이 보간에서 정확하게 캡처되지 않음을 나타내는 국지화된 제어점으로 이어진다는 것이다. 최종 결과는 통상적으로 윤곽이 위치한 영역에 존재하는 화면 깨짐이다. 이를 수정하는 한 가지 방법은 스플라인 보간을 사용하여 메시 내에서 1차원 곡선을 보간하는 것이다. 메시의 특정 부분은 (예: 눈꺼풀, 입 및 얼굴의 기타 영역 주변 윤곽과 같은) 스플라인을 사용하여 설명할 수 있다. 스플라인 보간은 이러한 윤곽을 보간하여 매끄럽고 사실적으로 만든다. 일부 실시예에서, 스플라인 보간은 스플라인 함수를 사용하여 메시의 하나 이상의 부분을 사전 보간하는 시스템에 의해 수행된다. 여기에는, 예를 들어 매끄러운 윤곽을 생성하기 위해 스플라인 보간으로 일부를 사전 보간하여 방사형 기반의 화면 깨짐을 수정하는 것이 포함된다. 스플라인은 윤곽이 있는 영역의 가장자리를 따라 정의되며, 여기서 스플라인의 제어점은 이러한 가장자리에 있는 제어점 위치에 해당한다. 이 스플라인을 구성하는 정점(즉, 비-제어점)의 변위가 보간되고, 그런 다음, 이 정점이 전체 얼굴에 걸쳐 RBF 보간을 수행하는 데 사용되는 제어점 위치의 완전한 세트에 추가된다. 일부 실시예에서, 시스템 및/또는 사용자는 스플라인 보간을 위해 주요 얼굴 주름을 추가로 정의하여 이러한 주름이 보간되는 것을 보장할 수 있다. 따라서, 결과적 RBF 변형 메시는 메시에서 정확하게 표현되는 매끄러운 윤곽을 포함한다.
도 4f는 본원의 일부 시스템 및 방법에 따라 스플라인 보간을 제공하기 위한 프로세스의 일례를 도시하는 이미지이다. 그 이미지에서, 스플라인 보간 결과로 눈 주름을 포함하여 눈 주위의 윤곽이 사실적인 방식으로 매끄럽게 된다. 눈 주위의 주요 얼굴 주름은 특정 주름에 대해 정확하고 매끄러운 윤곽을 보장하기 위해 정의된다.
도 4g는 본원의 일부 시스템 및 방법에 따라 스플라인 보간을 제공하기 위한 프로세스의 추가 일례를 도시하는 이미지이다. 왼쪽의 얼굴 메시는 스플라인 보간 이전의 RBF 변형 메시를 보여준다. 눈 주위의 얼굴 주름에는 부자연스럽고 비현실적으로 보이는 뚜렷한 화면 깨짐이 있다. 스플라인 보간이 눈 영역 주위에 정의된 얼굴 주름으로 수행되어 눈 주위의 얼굴 주름의 매끄러운 윤곽을 제공한다.
208 단계에서, 시스템은 RBF 변형 메시 및 사용자 정의 제어점을 기반으로 예측된 주름 변형 데이터를 생성하며, 예측된 주름 변형 데이터는, "주름 변형자(Wrinkle Deformer)" 프로세스를 집합적으로 포함하는, 하나 이상의 계단식 회귀자 네트워크에 의해 생성된다. 계단식 회귀자 네트워크는 함께 계단식으로 연결된 둘 이상의 회귀자를 나타낸다. 회귀자는, 연속적인 예측 출력을 갖는 (즉, 값이 범주로 분류되지 않고 연속 범위 내에서 예측되는) 지도(supervised) 머신 러닝 알고리즘이고, 일정한 구배를 갖는 선형 회귀를 사용할 수 있다. 일부 실시예에서, 주름 변형자는 얼굴의 피부가 어떻게 국부적으로 늘어나고, 압축되고, 전단되는지를 보여주는 예에 대해 학습된 지도 머신 러닝 모델에 의해 변형이 예측되도록 허용한다.
일부 실시예에서, 계단식 회귀자 네트워크의 제1 회귀자는 메시 정점의 초기 변위를 예측하고 그 예측에 기초하여 예측 데이터를 생성하도록 구성된 변위 회귀자이다. 일부 실시예에서, 다층 선형 회귀 알고리즘이 사용된다. 초기 제어점에서 사용자 정의 제어점의 이동으로부터, 시스템은 선형 회귀자를 통해 사용자 정의 제어점 사이의 모든 정점 변위를 보간한다. 일부 실시예에서, 변위 회귀자는 사용자 정의 제어점 및 RBF 변형 메시를 사용하여 각 메시 정점 상에서 매끄러운 예제 기반 변위 필드를 예측한다. 일부 실시예에서, 변위 회귀자는 최적의 속도를 위해 정규화된 선형 회귀자를 사용하여 학습되지만, 다른 회귀자가 고려될 수 있다.
일부 실시예에서, 변위 회귀자는 얼굴의 상이한 부분에 대한 국부적 인코딩에 기초하여 예측 데이터를 생성하도록 학습된다. 일부 실시예에서, 시스템은 학습 데이터로 사용되는 학습 예제들 각각에 대한 분할 마스크를 수신한다. 분할 마스크는 예제 RBF 변형 메시를 복수의 고유한 얼굴 영역으로 분할하여 생성된다. 일부 실시예에서, 분할은 검출되거나 라벨링된 제어점 영역에 기초하여 자동으로 수행되거나, 사용자 정의 분할 마스크를 사용하여 수동으로 수행되거나, 둘 모두의 일부 조합을 사용하여 반자동으로 수행된다. 일부 실시예에서, 분할은 얼굴의 해부학적 특징에 기초하여 수행된다. 예를 들어, "지방(fat) 패드"는 인대가 피부의 부착 지점으로 작용하고 개별 지방 구획을 형성하는 얼굴에 형성될 수 있다. 지방 패드는 얼굴 영역을 분할 마스크로 분할하기 위한 해부학적 기반으로 사용할 수 있다.
도 4i는 본원의 일부 시스템 및 방법에 따라 분할된 마스크를 제공하기 위한 프로세스의 일례를 나타내는 이미지이다. 그 이미지에서, 얼굴의 한 눈썹 영역 주위에 특정 분할이 있는 분할 마스크가 표시된다.
도 4j는 본원의 일부 시스템 및 방법에 따라 분할된 마스크를 제공하기 위한 프로세스의 추가 일례를 도시하는 이미지이다. 그 이미지에서, 윗입술과 코 사이의 얼굴 영역 주위에 특정 분할이 있는 분할 마스크가 표시된다.
일부 실시예에서, 분할된 얼굴의 고유한 영역 각각에 대해 시스템은 변위 기반 회귀자를 학습한다. 일부 실시예에서, 분할된 변위 회귀자는 얼굴의 실제 스캐닝된 이미지와 RBF 변형 예제 간의 차이에 대해 학습된다. 실제 스캔이 얼굴의 미세한 주름을 캡처하는 반면, RBF 변형 예제는 중립 메시에서 매끄러운 RBF 보간을 나타낼 것이다. 스캔과 RBF 변형 예제 간의 차이에 대해 학습된 회귀자는 매끄러운 보간과 미세한 주름 사이의 차이를 예측하도록 학습될 것이다.
일부 실시예에서, 시각적 피드백 안내는 사용자 인터페이스 내에서 제공된다. 사용자 정의 제어점의 사용자 조정 또는 생성, 계단식 회귀자 네트워크 학습 또는 그 방법의 다른 단계에서, 사용자 또는 예술가는 제어점 위치를 학습 공간 또는 제어점이 제한되어야 하는 일부 다른 영역에서 너무 멀리 이동할 수 있다. 예를 들어, 학습 데이터의 표정이 "행복한" 표정을 포함하지 않은 경우, 사용자가 제어점을 조정하여 입을 위쪽으로 움직이면, 사용자는 여전히 프로세스의 데이터 조작을 사용하여 매끄러운 기하 도형을 생성할 수 있지만, 회귀자가 "행복한" 표정에 대한 정보에 대해 학습되지 않았기 때문에 의미 있는 주름이 생성되지 않을 수 있다. 일부 실시예에서, 시각적 피드백 안내는, 특별한 조정은 의미 있는 주름 데이터를 생성하기 위해 학습 공간 또는 수용 가능한 조정 공간의 우리 외부의 내부라는 것을 사용자에게 시각적으로 보여주도록 설계된 가상 마커를 생성한다. 시각적 마커는 사용자가 제어점을 너무 멀리 이동시킬 때 메시에 오버레이된 제어점의 보조 세트와 유사하다. 이 시각적 피드백 안내는 최적의 주름 추정을 가능하게 한다.
일부 실시예에서, 회귀자의 학습 동안, 초기 제어점 위치는 다수의 이전 RBF 변형 메시를 포함하는 학습 예제의 전체 또는 서브세트로부터 정의된 초공간에 매핑된다. 사용자 정의 제어점 위치에 매핑된 초기 제어점 위치 사이에서 거리는 계산된다. 그런 다음, 위에서 설명한 대로 시각적 피드백 안내를 제공하기 위해 사용자 인터페이스 내의 시각적 마커와 함께 그 거리가 제공된다. 일부 실시예에서, 시각적 마커는 계산된 거리에 기초하여 생성된다.
도 4h는 본원의 일부 시스템 및 방법에 따라 시각적 피드백 안내를 제공하기 위한 프로세스의 일례를 도시하는 이미지이다. 그 이미지에서, 얼굴 메시의 일부가 입 영역 주위에 시각적 마커와 함께 표시된다. 시각적 마커는 사용자 또는 예술가가 메시를 조각하도록 허용하여 시각적 마커 외부로 제어점을 이동하는 것을 방지하기 위해 나타날 수 있다. 이러한 방식으로, 보다 정확한 주름 데이터가 보장된다.
일부 실시예에서, 변위 회귀자가 메시 정점의 변위에 대한 예측 데이터를 생성한 후, 시스템은 예측된 초기 정점 변위 데이터로부터 얻을 수 있는 기하학적 데이터로부터 미리보기 변형 메시를 생성할 수 있다. 일부 실시예에서, 미리보기 변형 메시는, 주름 데이터를 갖는 변형 메시의 대략적인 미리보기로서 클라이언트 장치의 사용자 인터페이스 상에 디스플레이를 위해 제공될 수 있다. 최종 변형 메시만큼 정확하지 않지만, 미리보기 변형 메시는 빠르게 생성되어 짧은 시간 내에 예술가에게 유용한 데이터를 제공할 수 있다. 일부 실시예에서, 미리보기 변형 데이터는 시스템에 전송될 사용자 생성 사용자 정의 제어점에 대해 실시간으로 또는 실질적으로 실시간으로 생성될 수 있다.
일부 실시예에서, 계단식 회귀자 네트워크는, 변위 회귀자에 추가로 또는 대안적으로 변형 구배 회귀자를 포함한다. 일부 실시예에서, 변위 회귀자는 변위 회귀자와 함께 "계단식"으로 연결되고(즉, 함께 연결되고), 변형 구배 회귀자는 입력으로 변위 회귀자의 가공하지 않은 예측 데이터 및/또는 미리보기 변형 메시를 취하고 이를 정제한다. 일부 실시예에서, 변형 구배 회귀자는 예측 데이터를 생성하는 프로세스의 일부로서 국부 변형 구배 텐서를 평가하기 위해 미리보기 변형 메시를 사용한다.
일부 실시예에서, 변형 구배 회귀자는 사용자 정의 제어점 주변의 국부적 변형 구배 텐서를 수신하고/하거나 결정하고 RBF 변형 메시의 각 메시 셀에 대한 변형 구배 텐서를 예측하도록 구성된다. 얼굴의 각 부분은 통상적으로 신장(stretch) 텐서, 회전 텐서 및 전단 텐서로 설명될 수 있다. 본원에서 사용된 바와 같이 변형 구배 텐서는 얼굴 피부의 해당 국부 패치의 변형을 나타내는, 변환 구성요소가 없는 3가지 텐서 모두의 조합이다. 일부 실시예에서, 변형 구배 텐서는, 일단 예측되면, 해결되어 정점 변위로 변환된다.
일부 실시예에서, 이 변형 구배 회귀는 수치적 품질 및 안정성을 위해 부분 최소 제곱 회귀자(partial least squares regressor, PLSR)를 사용하여 학습되지만, 많은 다른 회귀자가 고려될 수 있다.
일부 실시예에서, 변형 구배 텐서는 변형 라이(Lie) 그룹, 즉 매트릭스 공간에서의 변형 전환 세트로 변환된다. 라이 그룹은 기하학적 공간의 미분 가능한(즉, 국부적으로 매끄러운) 다차원 다양체로 기능하며, 여기서 그룹의 요소는 연속적이고 매끄럽게 구성되어 그룹 작업이 기하학적 공간에서 임의의 작은 국부적 영역에 걸쳐 매끄러운 구조와 호환된다. 일부 실시예에서, 변형 구배 텐서를 변형 라이 그룹으로 변환하는 것은 변형 텐서의 매트릭스 지수(exponent)를 취하는 것을 포함한다. 이것은 선형성과 균질성을 제공하여, 전환을 교차하여 행렬을 곱할 때, 예를 들어 매트릭스를 교차하여 두 개의 매트릭스 회전을 적용할 때, 연산 순서는 더 이상 중요하지 않다. 예를 들어 얼굴의 뺨 영역에 있는 "행복한" 표정에서 국부적 변형을 취한 다음, "화난" 표정에서 변형 텐서를 가져오면, 그 다음, 올바른 연산 순서에 대한 지식이 필요한, 매트릭스 곱하기에 의해 2개의 변형 텐서를 결합해야 한다. 그러나, 2개 텐서의 매트릭스 지수를 취하면, 속성의 균질성으로 인해 순서가 중요하지 않다. 매트릭스 지수를 취하고, 함께 더한 다음, 텐서의 대수 치수를 취하여 결과를 원래의 구배 기하학으로 변환하여, 2개의 원래 매트릭스의 결합된 매트릭스인 원래의 매트릭스를 다시 가져올 수 있다. 결과 텐서는 2개 텐서의 평균이다. 이러한 의미에서, 일부 실시예에서, 시스템은 다중 텐서의 단순 가중 합을 생성하기 위해 곱셈 연산을 선형 덧셈 연산으로 변환하고, 이는 변형이 각 개별 표정의 일부 구성 요소를 가지며 그들 각각은 동일하게 가중되는 표정이다. 따라서, 스케일링 측면에서 선형 해석이 달성된다.
210 단계에서, 사용자 인터페이스 내의 클라이언트 장치에 디스플레이하기 위해, 시스템은 예측된 주름 변형 데이터를 기반으로 주름이 있는 최종 변형 메시를 제공한다. 일부 실시예에서, 최종 변형 메시는 예술가 및 다른 사용자가 다양한 컨텍스트 및 애플리케이션에서 적응을 위해 조각하기 위한 도구 세트의 일부로 제공된다. 일부 실시예에서, 하나의 애플리케이션은 타겟 모델의 해부학적 구조를 손상시키지 않으면서 소스 모델에서 타겟 모델로 주름을 전달하기 위한 것이다. 이것은, 예를 들어 주름이 기하학적 구조 및 텍스처 모두에 맞추도록 피부 교체가 발생하는 것을 허용한다. 일부 실시예에서, 사용자 인터페이스 내의 클라이언트 장치 상의 디스플레이를 위해 다수의 교환 가능한 얼굴 텍스처가 제공될 수 있다. 교체 가능한 얼굴 텍스처에는 주름 변형 데이터, 최종 변형 메시 또는 둘 다에 맞춰진 주름이 포함된다. 얼굴 텍스처를 빠르게 교체할 수 있어 상이한 얼굴이 각 얼굴에 맞춰진 동일한 주름과 피부 주름으로 나타날 수 있다. 일부 실시예에서, 각 아바타에 고유한 특징 및 주름을 잃지 않으면서 모든 타겟 모델이 일관되고 예측 가능한 방식으로 행동하도록 하는 얼굴 움직임 부호화 시스템(FACS) 정규화가 달성될 수 있다. 일부 실시예에서, 예술가가 수동으로 조각할 필요 없이 생성된 정확한 변형으로, 작은 형상 세트에서 훨씬 더 큰 형상 세트로 확장성을 얻을 수 있어, 형상 네트워크 복잡성이 자동 증가될 수 있다. 다른 많은 애플리케이션이 고려될 수 있다.
일부 실시예에서, 사용자 인터페이스는 클라이언트 장치에서 호스팅되는 소프트웨어 애플리케이션에 의해 제공된다. 소프트웨어 애플리케이션은 예를 들어 3D 모델링, 3D 물체 조각, 3D 메시의 변형, 또는 본원의 방법 및 실시예가 함께 사용될 수 있는 임의의 다른 적절한 컴퓨터 그래픽 또는 컴퓨터 애니메이션 기술 또는 프로세스와 관련되거나 이를 용이하게 할 수 있다.
도 2b는 일부 실시예에 따라 수행될 수 있는 추가 단계를 도시하는 흐름도이다. 그 단계는, 추가적인 선택적 212 단계 및 선택적 214 단계를 갖는 도 2a의 단계와 유사하거나 동일하며, 212 단계에서 시스템은 초기 제어점 위치와 중립 메시의 다른 모든 정점 사이의 측지 거리의 가우시안 커널을 나타내는 확산 흐름을 계산하고, 214 단계에서, 시스템은, 위에서 상세히 설명된 바와 같이, 계산된 확산 흐름에 기초하여 초기 제어점 위치 및 사용자 정의 제어점 위치의 RBF 보간을 결정한다.
도 2c는 일부 실시예에 따라 수행될 수 있는 추가 단계를 도시하는 흐름도이다. 그 단계는, 추가적인 선택적 216 단계 및 선택적 218 단계를 갖는 도 2a의 단계와 유사하거나 동일하며, 216 단계에서 시스템은 다수의 예제 RBF 변형 메시 각각을 다수의 고유한 얼굴 영역으로 분할하고, 218 단계에서 시스템은, 위에서 상세히 설명된 바와 같이, 예제 RBF 변형 메시의 각각의 고유한 얼굴 영역에서 계단식 회귀자 네트워크를 학습한다.
도 2d는 일부 실시예에 따라 수행될 수 있는 추가 단계를 도시하는 흐름도이다. 그 단계는, 추가적인 선택적 단계를 갖는 도 2a의 단계와 유사하거나 동일하다. 선택적 220 단계에서, 시스템은 하나 이상의 계단식 회귀자 네트워크의 각각의 일부로서 변위 회귀자를 사용하여 초기 정점 변위 데이터를 예측한다. 선택적 222 단계에서, 사용자 인터페이스 내의 클라이언트 장치에 디스플레이하기 위해, 시스템은 예측된 초기 정점 변위 데이터에 기반하여 주름을 갖는 미리보기 변형 메시를 제공한다. 선택적 224 단계에서, 단계는 하나 이상의 계단식 회귀자 네트워크 각각의 일부로서 변형 구배 회귀자를 사용하여 변형 구배 텐서를 예측한다. 이러한 단계는 위에서 더 자세히 설명되어 있다.
III. 예시적인 사용자 인터페이스
도 3a는 본원의 일부 시스템 및 방법에 따라 계단식 회귀자 네트워크를 학습하기 위한 프로세스의 예시적인 일 실시예(300)를 도시하는 도면이다. 304에서, 다수의 예제 메시(303)가 수신되고, 마커 위치(즉, 제어점 위치)는 수신된 사용자 정의 제어점 위치(302)에 기초하여 각각의 예제 메시에 대해 결정된다. 306에서, 중립 메시(308) 및 초기 제어점 위치(309)를 사용하여, 사용자 정의 제어점은 RBF 변형자를 사용하여 초기 제어점 위치와 보간된다.
310에서, 계단식 회귀자 네트워크는 다음 방식으로 학습된다(블록 312 내지 324): 시스템은 RBF 변형 예제(312) 및 분할 마스크(313)를 수신한 다음, 314에서, RBF 변형 예제 및 분할 마스크에 기초하여 변위 회귀자를 학습한다. 316에서, 각 RBF 변형 예제에 대한 초기 정점 변위가 예측된다. 318에서, 국부 변형 구배 텐서가 RBF 변형 예제에 대해 계산되고, 동시에 320에서, 변형 구배 텐서가 예제 메시로부터 계산된다. 322에서, 변형 구배 회귀자는 RBF 변형 예제의 계산된 국부 변형 구배 텐서 및 예제 메시의 변형 구배 텐서로부터 학습된다. 마지막으로 326에서, 학습된 계단식 회귀자 네트워크는 본원에 설명된 일부 방법 및 실시예를 수행하는 데 사용된다.
도 3b는 본원의 일부 시스템 및 방법에 따라 미세한 주름을 갖는 얼굴 변형을 제공하기 위한 프로세스의 예시적인 일 실시예(330)를 도시하는 도면이다. 사용자 정의 제어점 위치(302), 중립 메시(308) 및 초기 제어점 위치(309)는 306에서 수신 및 사용되며, 여기서 보간은 RBF 변형자를 사용하여 초기 제어점 위치 및 사용자 정의 제어점 위치에 대해 수행된다.
332에서, 예측된 주름 변형 데이터는 다음 방식(블록 334 내지 344)으로 계단식 회귀자 네트워크를 사용하여 생성된다: RBF 변형 메시(334)가 수신되고, 사용자 정의 제어점 위치(302)와 함께 사용되어 변위 회귀자(336)를 사용하여 초기 정점 변위를 예측한다. 338에서, 국부 변형 구배 텐서는 제어점 주변에서 계산되고 라이 텐서로 변환된다. 340에서, 변형 구배 텐서는 분할된 변형 구배 회귀자를 사용하여 예측된다. 342에서, 변형 구배 텐서는 이전 RBF 변형 메시의 전체 또는 서브세트의 초공간에 매핑된 다음, 344에서, 변형 구배 텐서는 원래 정점 좌표로 다시 변환된다.
도 3c는 본원의 일부 시스템 및 방법에 따라 메시 조각 예술가를 위한 시각적 피드백 안내를 제공하기 위한 프로세스의 예시적인 일 실시예를 도시하는 도면이다. 302에서, 사용자 정의 제어점 위치가 수신된다. 352에서, 사용자 정의 제어점 위치는 이전의 예제 메시 전체 또는 서브세트의 초공간에 매핑된다. 354에서, 사용자 정의 위치에 매핑된 제어점 위치 사이의 거리가 계산된다. 356에서, 전술한 바와 같이, 사용자 또는 예술가를 위한 사용자 인터페이스에서 시각적 피드백 안내를 제공하기 위해 매핑된 제어점 위치 뿐만 아니라 거리가 변위된다.
도 5는 일부 실시예에서 처리를 수행할 수 있는 예시적인 컴퓨터를 도시하는 도면이다. 예시적인 컴퓨터(500)는 일부 실시예와 일치하는 동작을 수행할 수 있다. 컴퓨터(500)의 아키텍처는 예시적이다. 컴퓨터는 다른 다양한 방식으로 구현될 수 있다. 본원의 실시예에 따라 다양한 컴퓨터가 사용될 수 있다.
프로세서(501)는 컴퓨터 프로그램을 실행하는 것과 같은 컴퓨팅 기능을 수행할 수 있다. 휘발성 메모리(502)는 프로세서(501)용 데이터의 임시 저장소를 제공할 수 있다. RAM은 휘발성 메모리의 한 종류이다. 휘발성 메모리는 통상적으로 저장된 정보를 유지하기 위해 전원이 필요하다. 저장소(503)는 데이터, 명령, 및/또는 임의의 정보를 위한 컴퓨터 저장소를 제공한다. 디스크와 플래시 메모리를 포함하여 전원이 공급되지 않아도 데이터를 보존할 수 있는 비휘발성 메모리가 저장소의 일례이다. 저장소(503)는 파일 시스템, 데이터베이스 또는 다른 방식으로 구성될 수 있다. 데이터, 명령 및 정보는 프로세서(501)에 의한 처리를 위해 저장소(503)에서 휘발성 메모리(502)로 로딩될 수 있다.
컴퓨터(500)는 주변 장치(505)를 포함할 수 있다. 주변 장치(505)는 키보드, 마우스, 트랙볼, 비디오 카메라, 마이크 및 기타 입력 장치와 같은 입력 주변 장치를 포함할 수 있다. 주변 장치(505)는 또한 디스플레이와 같은 출력 장치를 포함할 수 있다. 주변 장치(505)는 CD-R 및 DVD-R 레코더/플레이어와 같은 착탈식 미디어 장치를 포함할 수 있다. 통신 장치(506)는 컴퓨터(100)를 외부 매체에 연결할 수 있다. 예를 들어, 통신 장치(506)는 네트워크에 통신을 제공하는 네트워크 어댑터의 형태를 취할 수 있다. 컴퓨터(500)는 또한 다양한 다른 장치(504)를 포함할 수 있다. 컴퓨터(500)의 다양한 구성요소는 버스, 크로스바 또는 네트워크와 같은 연결 매체(510)에 의해 연결될 수 있다.
본 발명이 특정 실시예를 참조하여 구체적으로 도시되고 설명되었지만, 본 발명의 범위를 벗어나지 않고 개시된 실시예의 형태 및 세부사항의 변경이 이루어질 수 있음을 이해해야 한다. 본 발명의 다양한 이점, 양태 및 목적이 다양한 실시예를 참조하여 본원에서 논의되었지만, 본 발명의 범위가 이러한 이점, 양태 및 목적을 참조하여 제한되어서는 안 된다는 것을 이해할 것이다. 반대로, 본 발명의 범위는 특허 청구범위를 참조하여 결정되어야 한다.
Claims (20)
- 미세한 주름을 갖는 얼굴 메시 변형을 제공하고, 컴퓨터 시스템에 의해 수행되는 방법으로서,
중립 메시 및 상기 중립 메시에서 복수의 초기 제어점 위치를 수신하는 단계 ―상기 중립 메시는 얼굴의 3차원 스캐닝된 이미지에 기반함―;
비-중립적 표정에 해당하는 복수의 사용자 정의 제어점 위치를 수신하는 단계;
상기 초기 제어점 위치 및 상기 사용자 정의 제어점 위치의 방사형 기저 함수(RBF) 보간에 기반하여 RBF 변형 메시를 생성하는 단계;
상기 RBF 변형 메시 및 상기 사용자 정의 제어점에 기반하여 예측된 주름 변형 데이터를 생성하는 단계 ―상기 예측된 주름 변형 데이터는 하나 이상의 계단식 회귀자 네트워크에 의해 생성됨―; 및
사용자 인터페이스 내의 클라이언트 장치에 디스플레이하기 위해, 상기 예측된 주름 변형 데이터에 기반하여 주름을 포함하는 최종 변형 메시를 제공하는 단계를 포함하고,
상기 예측된 주름 변형 데이터를 생성하는 단계는:
상기 사용자 정의 제어점 위치 주변의 국부 변형 구배 텐서를 계산하는 단계; 및
상기 국부 변형 구배 텐서를 국부 라이 텐서로 변환하는 단계를 포함하고, 상기 하나 이상의 계단식 회귀자 네트워크는 상기 국부 라이 텐서에 기반하여 전체 메시에 대해 변형 구배 텐서를 예측하도록 구성되는 변형 구배 회귀자를 포함하는, 방법. - 제1항에 있어서, 상기 RBF 보간은 상기 초기 제어점 위치 및 상기 중립 메시의 다른 모든 정점 사이의 측지 거리의 가우시안 커널을 나타내는 계산된 확산 흐름에 해당하는, 방법.
- 제1항에 있어서, 상기 RBF 변형 메시는 상기 초기 제어점 위치 및 상기 사용자 정의 제어점 위치의 스플라인 보간에 추가로 기반하고, 상기 스플라인 보간은 상기 RBF 보간 이전에 수행되는, 방법.
- 제1항에 있어서, 상기 하나 이상의 계단식 회귀자 네트워크는 복수의 학습 예제에 대해 학습되고, 상기 학습 예제 각각은 예제 RBF 변형 메시를 포함하는, 방법.
- 제4항에 있어서, 상기 학습 예제 각각은 상기 예제 RBF 변형 메시를 복수의 고유한 얼굴 영역으로 분할함으로써 생성된 분할 마스크를 더 포함하고, 계단식 회귀자 네트워크는 각각의 고유한 얼굴 영역에 대해 학습되는, 방법.
- 제1항에 있어서, 상기 하나 이상의 계단식 회귀자 네트워크는 초기 정점 변위 데이터를 예측하도록 구성된 변위 회귀자를 포함하는, 방법.
- 제6항에 있어서,
상기 사용자 인터페이스 내의 상기 클라이언트 장치에 디스플레이하기 위해, 상기 예측된 초기 정점 변위 데이터에 기반한 주름을 포함하는 미리보기 변형 메시를 제공하는 단계를 더 포함하고, 상기 미리보기 변형 메시는 상기 초기 정점 변위 데이터를 예측하는 상기 변위 회귀자에 대해 실시간으로 디스플레이하기 위해 제공되는, 방법. - 삭제
- 제1항에 있어서,
상기 예측된 변형 구배 텐서를 상기 RBF 변형 메시의 정점 좌표로 변환하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
상기 초기 제어점 위치를 복수의 이전 RBF 변형 메시로부터 정의된 초공간에 매핑하는 단계;
상기 사용자 정의 제어점 위치에 상기 매핑된 초기 제어점 위치 사이의 거리를 계산하는 단계; 및
상기 사용자 인터페이스 내의 상기 클라이언트 장치에 디스플레이하기 위해, 상기 거리 및 상기 매핑된 초기 제어점 위치를 시각적 피드백 안내로 제공하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
추가 얼굴의 3차원 스캐닝된 이미지에 기반하여 상기 주름 변형 데이터를 하나 이상의 추가 메시에 매핑하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
상기 사용자 인터페이스에서 상기 클라이언트 장치에 디스플레이하기 위해, 상기 최종 변형 메시에 기초하여 하나 이상의 얼굴 움직임 부호화 시스템(FACS) 정규화된 메시를 제공하는 단계를 더 포함하고, 상기 예측된 주름 변형 데이터는 독립적이고 상기 하나 이상의 FACS 정규화된 메시 각각으로부터 제거되는, 방법. - 제1항에 있어서,
상기 사용자 인터페이스에서 상기 클라이언트 장치에 디스플레이하기 위해, 복수의 교환 가능한 얼굴 텍스처를 제공하는 단계를 더 포함하고, 상기 교환 가능한 얼굴 텍스처 각각은 상기 주름 변형 데이터 및 상기 최종 변형 메시 중 적어도 하나와 맞춰지는 주름을 포함하는, 방법. - 미세한 주름을 갖는 얼굴 메시 변형을 제공하기 위한 명령을 포함하고, 상기 명령은 컴퓨터 시스템에 의해 실행되는 비일시적 컴퓨터 판독 가능 매체에 있어서,
중립 메시 및 상기 중립 메시에서 복수의 초기 제어점 위치를 수신하기 위한 명령 ―상기 중립 메시는 얼굴의 3차원 스캐닝된 이미지에 기반함―;
비-중립적 표정에 해당하는 복수의 사용자 정의 제어점 위치를 수신하기 위한 명령;
상기 초기 제어점 위치 및 상기 사용자 정의 제어점 위치의 방사형 기저 함수(RBF) 보간에 기반하여 RBF 변형 메시를 생성하기 위한 명령;
상기 RBF 변형 메시 및 상기 사용자 정의 제어점에 기반하여 예측된 주름 변형 데이터를 생성하기 위한 명령 ―상기 예측된 주름 변형 데이터는 하나 이상의 계단식 회귀자 네트워크에 의해 생성됨―; 및
사용자 인터페이스 내의 클라이언트 장치에 디스플레이하기 위해, 상기 예측된 주름 변형 데이터에 기반하여 주름을 포함하는 최종 변형 메시를 제공하기 위한 명령을 포함하고,
상기 예측된 주름 변형 데이터를 생성하기 위한 명령은:
상기 사용자 정의 제어점 위치 주변의 국부 변형 구배 텐서를 계산하기 위한 명령; 및
상기 국부 변형 구배 텐서를 국부 라이 텐서로 변환하기 위한 명령을 포함하고, 상기 하나 이상의 계단식 회귀자 네트워크는 상기 국부 라이 텐서에 기반하여 전체 메시에 대해 변형 구배 텐서를 예측하도록 구성되는 변형 구배 회귀자를 포함하는, 비일시적 컴퓨터 판독 가능 매체. - 제14항에 있어서, 상기 RBF 보간은 상기 초기 제어점 위치와 상기 중립 메시의 다른 모든 정점 사이의 측지 거리의 가우시안 커널을 나타내는 계산된 확산 흐름에 해당하는, 비일시적 컴퓨터 판독 가능 매체.
- 제14항에 있어서, 상기 하나 이상의 계단식 회귀자 네트워크는 복수의 학습 예제에 대해 학습되고, 상기 학습 예제 각각은 예제 RBF 변형 메시를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
- 제16항에 있어서, 상기 학습 예제 각각은 상기 예제 RBF 변형 메시를 복수의 고유한 얼굴 영역으로 분할함으로써 생성된 분할 마스크를 더 포함하고, 계단식 회귀자 네트워크는 각각의 고유한 얼굴 영역에 대해 학습되는, 비일시적 컴퓨터 판독 가능 매체.
- 제14항에 있어서, 상기 하나 이상의 계단식 회귀자 네트워크는 초기 정점 변위 데이터를 예측하도록 구성된 변위 회귀자를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
- 제18항에 있어서,
상기 사용자 인터페이스 내의 상기 클라이언트 장치에 디스플레이하기 위해, 상기 예측된 초기 정점 변위 데이터에 기반한 주름을 포함하는 미리보기 변형 메시를 제공하기 위한 명령을 더 포함하고, 상기 미리보기 변형 메시는 상기 초기 정점 변위 데이터를 예측하는 상기 변위 회귀자에 대해 실시간으로 디스플레이하기 위해 제공되는, 비일시적 컴퓨터 판독 가능 매체. - 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NZ762119 | 2020-02-26 | ||
| NZ76211920 | 2020-02-26 | ||
| PCT/IB2021/051051 WO2021171118A1 (en) | 2020-02-26 | 2021-02-10 | Face mesh deformation with detailed wrinkles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220159988A KR20220159988A (ko) | 2022-12-05 |
| KR102668161B1 true KR102668161B1 (ko) | 2024-05-21 |
Family
ID=77490742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227032805A KR102668161B1 (ko) | 2020-02-26 | 2021-02-10 | 미세한 주름을 갖는 얼굴 메시 변형 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20230079478A1 (ko) |
| EP (1) | EP4111420A4 (ko) |
| JP (1) | JP7251003B2 (ko) |
| KR (1) | KR102668161B1 (ko) |
| CN (1) | CN115023742A (ko) |
| AU (1) | AU2021227740A1 (ko) |
| CA (1) | CA3169005A1 (ko) |
| WO (1) | WO2021171118A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102584530B1 (ko) * | 2023-03-06 | 2023-10-04 | 주식회사 메타버즈 | 인체조직 레이어 구축 방식을 활용한 디지털 휴먼 생성방법 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
| US20070229498A1 (en) * | 2006-03-29 | 2007-10-04 | Wojciech Matusik | Statistical modeling for synthesis of detailed facial geometry |
| US20090132371A1 (en) * | 2007-11-20 | 2009-05-21 | Big Stage Entertainment, Inc. | Systems and methods for interactive advertising using personalized head models |
| US8189008B2 (en) * | 2007-12-13 | 2012-05-29 | Daniel John Julio | Color control intuitive touchpad |
| CN101826217A (zh) | 2010-05-07 | 2010-09-08 | 上海交通大学 | 人脸动画快速生成方法 |
| KR101681096B1 (ko) * | 2010-07-13 | 2016-12-01 | 삼성전자주식회사 | 얼굴 애니메이션 시스템 및 방법 |
| KR20120059994A (ko) * | 2010-12-01 | 2012-06-11 | 삼성전자주식회사 | 표정 제어점을 이용한 아바타 제어 장치 및 방법 |
| US9082222B2 (en) * | 2011-01-18 | 2015-07-14 | Disney Enterprises, Inc. | Physical face cloning |
| US9626808B2 (en) * | 2014-08-01 | 2017-04-18 | Electronic Arts Inc. | Image-based deformation of simulated characters of varied topology |
| US20170069124A1 (en) * | 2015-04-07 | 2017-03-09 | Intel Corporation | Avatar generation and animations |
| KR101968437B1 (ko) * | 2015-07-09 | 2019-04-11 | 미즈호 죠호 소켄 가부시키가이샤 | 가령화 예측 시스템, 가령화 예측 방법 및 가령화 예측 프로그램 |
| US10176619B2 (en) * | 2015-07-30 | 2019-01-08 | Intel Corporation | Emotion augmented avatar animation |
| US10140764B2 (en) | 2016-11-10 | 2018-11-27 | Adobe Systems Incorporated | Generating efficient, stylized mesh deformations using a plurality of input meshes |
| US10838108B2 (en) | 2016-12-29 | 2020-11-17 | Exxonmobil Upstream Research Company | Method and system for interpolating discontinuous functions in a subsurface model |
| CN110610050B (zh) | 2019-09-18 | 2022-11-08 | 中国人民解放军国防科技大学 | 基于改进径向基函数变形算法的翼型气动减阻方法 |
-
2021
- 2021-02-10 EP EP21759941.4A patent/EP4111420A4/en active Pending
- 2021-02-10 US US17/801,716 patent/US20230079478A1/en active Pending
- 2021-02-10 WO PCT/IB2021/051051 patent/WO2021171118A1/en unknown
- 2021-02-10 CA CA3169005A patent/CA3169005A1/en active Pending
- 2021-02-10 JP JP2022551385A patent/JP7251003B2/ja active Active
- 2021-02-10 KR KR1020227032805A patent/KR102668161B1/ko active IP Right Grant
- 2021-02-10 CN CN202180011220.2A patent/CN115023742A/zh active Pending
- 2021-02-10 AU AU2021227740A patent/AU2021227740A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN115023742A (zh) | 2022-09-06 |
| US20230079478A1 (en) | 2023-03-16 |
| EP4111420A1 (en) | 2023-01-04 |
| CA3169005A1 (en) | 2021-09-02 |
| JP7251003B2 (ja) | 2023-04-03 |
| AU2021227740A1 (en) | 2022-10-20 |
| JP2023505615A (ja) | 2023-02-09 |
| WO2021171118A1 (en) | 2021-09-02 |
| EP4111420A4 (en) | 2024-04-24 |
| KR20220159988A (ko) | 2022-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cao et al. | Facewarehouse: A 3d facial expression database for visual computing | |
| JP5829371B2 (ja) | モーションキャプチャデータを使用する顔面アニメーション | |
| US10783716B2 (en) | Three dimensional facial expression generation | |
| JPWO2005024728A1 (ja) | 形態変形装置、物体動作符号化装置および物体動作復号化装置 | |
| Cong | Art-directed muscle simulation for high-end facial animation | |
| US20180165860A1 (en) | Motion edit method and apparatus for articulated object | |
| CN110660076A (zh) | 一种人脸交换方法 | |
| JP2019204476A (ja) | 画像生成装置、画像生成方法及びプログラム | |
| US11158104B1 (en) | Systems and methods for building a pseudo-muscle topology of a live actor in computer animation | |
| CN112233222A (zh) | 基于神经网络关节点估计的人体参数化三维模型变形方法 | |
| US10559116B2 (en) | Interactive caricature generation from a digital image | |
| KR102668161B1 (ko) | 미세한 주름을 갖는 얼굴 메시 변형 | |
| CN113538682B (zh) | 模型训练、头部重建方法、电子设备及存储介质 | |
| Yu et al. | A framework for automatic and perceptually valid facial expression generation | |
| CN115908664B (zh) | 人机交互的动画生成方法、装置、计算机设备、存储介质 | |
| Garcia-D’Urso et al. | Accurate estimation of parametric models of the human body from 3D point clouds | |
| US20220301348A1 (en) | Face reconstruction using a mesh convolution network | |
| US20230104702A1 (en) | Transformer-based shape models | |
| EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
| US8704828B1 (en) | Inverse kinematic melting for posing models | |
| JP2021039563A (ja) | 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法 | |
| Ren et al. | Efficient facial reconstruction and real-time expression for VR interaction using RGB-D videos | |
| US11562504B1 (en) | System, apparatus and method for predicting lens attribute | |
| US20240169635A1 (en) | Systems and Methods for Anatomically-Driven 3D Facial Animation | |
| CN116977605A (zh) | 虚拟角色形象模型的生成方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |