KR101624808B1 - 파라미터화된 3d 얼굴 생성 - Google Patents

파라미터화된 3d 얼굴 생성 Download PDF

Info

Publication number
KR101624808B1
KR101624808B1 KR1020147003820A KR20147003820A KR101624808B1 KR 101624808 B1 KR101624808 B1 KR 101624808B1 KR 1020147003820 A KR1020147003820 A KR 1020147003820A KR 20147003820 A KR20147003820 A KR 20147003820A KR 101624808 B1 KR101624808 B1 KR 101624808B1
Authority
KR
South Korea
Prior art keywords
face
face shape
delete delete
pca
response
Prior art date
Application number
KR1020147003820A
Other languages
English (en)
Other versions
KR20140043939A (ko
Inventor
샤오펑 통
웨이 후
양저우 듀
이민 장
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20140043939A publication Critical patent/KR20140043939A/ko
Application granted granted Critical
Publication of KR101624808B1 publication Critical patent/KR101624808B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

얼굴 컨트롤 파라미터에 대한 시맨틱 서술 및 연관된 측정 기준을 수신하고, PCA(principal component analysis) 계수들을 획득하고, PCA 계수들에 응답하여 3D 얼굴들을 생성하고, 측정 기준에 기초하여 3D 얼굴들의 각각에 대한 측정값을 결정하고, 측정값들에 기초하여 얼굴 컨트롤 파라미터에 대한 회귀 파라미터들을 결정하는 것을 포함하는 시스템들, 디바이스들 및 방법들이 설명된다.

Description

파라미터화된 3D 얼굴 생성{PARAMETERIZED 3D FACE GENERATION}
사람의 얼굴 특징들의 3D 모델링은 일반적으로 사람들의 현실적인 3D 표현들을 만드는 데 사용된다. 예를 들어, 아바타들과 같은 가상의 사람의 표현들은 종종 그러한 모델들을 사용한다. 생성된 얼굴 표현들에 대한 일부 종래의 애플리케이션들은, 사용자들이, 기초를 이루는 3D 모델의 다양한 요소들을 직접 수정함으로써 상이한 얼굴 유형들, 인종들 등을 반영하도록 얼굴 특징들을 커스텀화(customize)하는 것을 허용한다. 예를 들어, 종래의 솔루션들은 얼굴 형상, 텍스쳐(texture), 성별, 나이, 인종 등의 수정을 허용할 수 있다. 그러나, 기존의 접근 방법들은, 글로벌 3D 얼굴 모델의 개발을 허용하는 방식으로, 시맨틱(semantic) 얼굴 형상들, 또는 그의 일부분들의 조작을 허용하지 않는다.
본원에 설명된 자료는 첨부된 도면들에서 예로서 예시되고 한정하기 위한 것이 아니다. 예시의 간결함 및 명확함을 위해, 도면들에 예시된 요소들은 반드시 일정한 비율로 그려진 것은 아니다. 예를 들어, 명확함을 위해 일부 요소들의 크기들은 그 외의 요소들에 비해 과장될 수 있다. 또한, 적절한 것으로 간주되는 경우, 참조 표시들은 대응하거나 또는 유사한 요소들을 표시하도록 도면들 사이에서 반복되었다.
도 1은 예시의 시스템의 예시적인 도면.
도 2는 예시의 프로세스를 예시하는 도면.
도 3은 예시의 프로세스를 예시하는 도면.
도 4는 예시의 평균 얼굴을 예시하는 도면.
도 5는 예시의 프로세스를 예시하는 도면.
도 6은 예시의 사용자 인터페이스를 예시하는 도면.
도 7, 8, 9 및 10은 예시의 얼굴 컨트롤 파라미터 스킴들을 예시하는 도면.
도 11은 모두 적어도 본 발명의 일부 구현들에 따라 배열된, 예시의 시스템의 예시적인 도면.
하나 이상의 실시예들 또는 구현들이 첨부된 도면들을 참조하여 이제 설명된다. 특정 구성들 및 배열들이 논의되는 반면, 이는 예시적인 목적들만을 위한 것이라는 것은 당연하다. 본 기술분야에 숙련된 자들은, 그 외의 구성들 및 배열들이 본 설명의 기술적 사상 및 범위로부터 벗어나지 않고 이용될 수 있다는 것을 인식할 것이다. 또한 본원에 설명된 기법들 및/또는 배열들이 본원에 설명된 것 외의 다양한 그외의 시스템들 및 애플리케이션들에서 이용될 수 있다는 것은 본 기술분야에 숙련된 자들에게 명백할 것이다.
이하의 설명이 SoC(system-on-a-chip) 아키텍처(architecture)들과 같은 아키텍처들에서 나타날 수 있는 다양한 구현들을 기재하는 반면, 예를 들어, 본원에 설명된 기법들 및/또는 배열들의 구현은 특정 아키텍처들 및/또는 컴퓨팅 시스템들에 한정되지 않고 유사한 목적들을 위한 임의의 아키텍처 및/또는 컴퓨팅 시스템에 의해 구현될 수 있다. 예를 들어, 여러 IC(integrated circuit) 칩들 및/또는 패키지들, 및/또는 다양한 컴퓨팅 디바이스들 및/또는 셋 탑 박스(set top box)들, 스마트 폰들 등과 같은 소비자 전자(CE) 디바이스들을 이용하는 다양한 아키텍처들은, 예를 들어, 본원에 설명된 기법들 및/또는 배열들을 구현할 수 있다. 또한, 이하의 설명이 로직 구현들, 시스템 컴포넌트들의 유형들 및 상호관계들, 로직 분할/집적 선택들 등과 같은 다수의 특정 상세를 기재할 수 있는 반면, 청구 대상은 그러한 특정 상세들 없이 실시될 수 있다. 그외의 예시들에서, 예를 들어, 컨트롤 구조들 및 완전 소프트웨어 명령어 시퀀스들과 같은, 일부 자료는 본원에 개시된 자료를 모호하게 하지 않기 위해서 상세히 도시되지 않을 수 있다.
본원에 개시된 자료는 하드웨어, 펌웨어, 소프트웨어, 또는 그들의 임의의 조합으로 구현될 수 있다. 본원에 개시된 자료는 또한, 하나 이상의 프로세서에 의해 판독될 수 있고 실행될 수 있는, 머신 판독 가능 매체에 저장된 명령어들로서 구현될 수 있다. 머신 판독 가능 매체는 머신(예를 들어, 컴퓨팅 디바이스)에 의해 판독 가능한 형태로 정보를 저장하거나 또는 송신하기 위한 임의의 매체 및/또는 메커니즘을 포함할 수 있다. 예를 들어, 머신 판독 가능 매체는 ROM(read only memory); RAM(random access memory); 자기 디스크 저장 매체; 광 저장 매체; 플래시 메모리 디바이스들; 전기, 광, 음향 또는 그외의 형태들의 전파된 신호들(예를 들어, 반송파(carrier wave)들, 적외선 신호들, 디지털 신호들 등), 및 그외의 것들을 포함할 수 있다.
"일 구현", "구현", "예시의 구현" 등의 명세서 내의 참조는 설명된 구현이 특정 특징, 구조, 또는 특성을 포함할 수 있으나, 모든 구현이 반드시 특정 특징, 구조, 또는 특성을 포함하지는 않을 수 있다는 것을 나타낸다. 또한, 그러한 구절이 반드시 동일한 구현을 지칭하는 것은 아니다. 또한, 특정 특징, 구조, 또는 특성이 구현과 함께 설명되는 경우, 그러한 특징, 구조, 또는 특성을 본원에 명백하게 설명되거나 또는 그렇지 않은 그외의 구현들과 함께 실시하는 것이 본 기술분야에 숙달된 자의 지식에 속하는 것으로 제출되었다.
도 1은 본 발명에 따른 예시의 시스템(100)을 예시한다. 다양한 구현들에서, 시스템(100)은 모델 3D 얼굴들의 데이터베이스(104)에 저장된 모델 3D 얼굴들에 응답하여, 그리고 컨트롤 모듈(106)에 의해 제공된 컨트롤 데이터에 응답하여 파라미터화된 3D 얼굴 생성이 가능한 3D 모핑 가능한(morphable) 얼굴 모델(102)을 포함할 수 있다. 본 발명에 따르면, 데이터베이스(104)에 저장된 각각의 모델 얼굴들은 하나 이상의 PCA(Principal Component Analysis) 계수의 형식의 얼굴 형상 및/또는 텍스쳐 데이터에 대응할 수 있다. 모핑 가능한 얼굴 모델(102)은 데이터베이스(104)에 의해 제공된 형상 및/또는 텍스쳐 데이터를 벡터 공간 표현으로 변환함으로써 도출될 수 있다.
이하에 더 상세히 설명될 바와 같이, 모델(102)은, 모핑 가능한 얼굴이 PCA 고유값(eigen-value)들 및 고유 벡터(eigen-vector)들을 갖는 평균 얼굴의 선형 조합으로서 표현될 수 있는 데이터베이스(104) 내의 얼굴들에 응답하여 모핑 가능한 모델 얼굴을 학습할 수 있다. 또한 이하에 더 상세히 설명될 바와 같이, 컨트롤 모듈(106)은, 모델(102)의 아웃풋(output)을 컨트롤하도록 구성될 수 있는 하나 이상의 얼굴 특징 컨트롤(예를 들어, 슬라이더(slider)들)을 제공하는 사용자 인터페이스(UI)(108)를 포함할 수 있다.
다양한 구현들에서, 시스템(100)의 모델(102) 및 컨트롤 모듈(106)은, 컴퓨팅 시스템과 연관된 하나 이상의 저장 디바이스(예를 들어, 물리 메모리 디바이스들, 디스크 드라이브들 등)가 데이터베이스(104)를 제공할 수 있는 동안 컴퓨팅 시스템의 하나 이상의 프로세서 코어 상에서 실행되는 하나 이상의 소프트웨어 애플리케이션에 의해 제공될 수 있다. 그외의 구현들에서, 시스템(100)의 다양한 컴포넌트들은, 데이터베이스(104) 및/또는 컨트롤 모듈(106)이 모델(102)로부터 물리적으로 원격이 될 수 있도록 다양한 유선 또는 무선 네트워킹 기법들 중 임의의 것을 사용하여 지리적으로 분산될 수 있고 통신 가능하게 함께 결합될 수 있다. 예를 들어, 모델(102)로부터 원격인 하나 이상의 서버는, 데이터베이스(104)를 제공할 수 있고, 예를 들어, 인터넷을 통해 모델(102)에 얼굴 데이터를 전달할 수 있다. 마찬가지로, UI(108)와 같은, 컨트롤 모듈(106)의 적어도 일부분들은, 컴퓨팅 시스템의 웹 브라우저 내의 애플리케이션에 의해 제공될 수 있고, 그 컴퓨팅 시스템에 대해 원격이고 인터넷을 통해 모듈(106)에 결합된 하나 이상의 서버에 의해 모델(102)이 호스팅될(hosted) 수 있다.
도 2는 본 발명의 다양한 구현들에 따라 모델 얼굴들을 생성하기 위한 예시의 프로세스(200)의 흐름도를 예시한다. 다양한 구현들에서, 프로세스(200)는 시스템(100)의 데이터베이스(104)와 같은 데이터베이스에 저장될 모델 얼굴을 생성하는데 사용될 수 있다. 프로세스(200)는 도 2의 하나 이상의 블록(202, 204, 206, 208 및 210)에 의해 예시된 바와 같은 하나 이상의 동작들, 기능들 또는 액션들을 포함할 수 있다. 제한하지 않는 예시의 방식으로, 프로세스(200)는 도 1의 예시의 시스템을 참조하여 본원에 설명될 것이다. 프로세스(200)는 블록(202)에서 시작할 수 있다.
블록(202)에서, 3D 얼굴 이미지를 수신할 수 있다. 예를 들어, 블록(202)은 이미지의 각 포인트 또는 정점(vertice)에 대한 형상 데이터(예를 들어, 데카르트 좌표(Cartesian coordinates) 관점에서 x, y, z) 및 텍스쳐 데이터(예를 들어, 8비트 심도(8-bit depth)의 적색, 녹색 및 청색)의 관점에서 얼굴을 특정하는 데이터를 수신하는 것을 포함할 수 있다. 예를 들어, 블록(202)에서 수신된 3D 얼굴 이미지는 레이저 스캐닝 등과 같은 공지된 기법들을 사용하여 생성되었을 수 있고, 수천 개의 정점들을 포함할 수 있다. 다양한 구현들에서, 블록(202)에서 수신된 얼굴 이미지의 형상 및 텍스쳐는, 각각, (n이 얼굴의 정점들의 수인) 열 벡터들 S=(x1, y1, z1, x2, y2, z2, ..., xn, yn, zn)t, 및 T=(R1, G1, B1, R2, G2, B2, ..., Rn, Gn, Bn)t에 의해 표현될 수 있다.
블록(204)에서, 3D 이미지의 미리 정의된 얼굴 랜드마크들(landmarks)을 검출 또는 식별할 수 있다. 예를 들어, 다양한 구현들에서, 블록(204)에서 공지된 기법들을 3D 이미지에 적용하여 랜드마크들을 추출할 수 있다(예를 들어, Wu and Trivedi, "Robust facial landmark detection for intelligent vehicle system", International Workshop on Analysis and Modeling of Faces and Gestures, October 2005 참조). 다양한 구현들에서, 블록(204)은 공지된 기법들(예를 들어, Zhang et al., "Robust Face Alignment Based On Hierarchical Classifier Network", Proc. ECCV Workshop Human-Computer Interaction, 2006, 이하 Zhang, 참조)을 사용하여 미리 정의된 랜드마크들 및 그것들의 연관된 형상 및 텍스쳐 벡터들을 식별하는 것을 포함할 수 있다. 예를 들어, Zhang은, 예를 들어, 눈을 식별하기 위한 8개의 미리 정의된 랜드마크들을 포함하는, 팔-팔(eight-eight)(88) 미리 정의된 랜드마크들을 이용한다.
블록(206)에서, (블록(204)에서 식별된 랜드마크들에 의해 특정된 바와 같은) 얼굴 이미지를 정렬할 수 있고, 블록(208)에서 정렬된 얼굴 이미지로부터 메쉬(mesh)를 형성할 수 있다. 다양한 구현들에서, 블록들(206 및 208)은 공지된 3D 정렬 및 메슁(meshing) 기법들(예를 들어, Kakadiaris et al "3D face recognition", Proc. British Machine Vision Conf., pages 200-208(2006) 참조)을 적용하는 것을 포함할 수 있다. 다양한 구현들에서 블록들(206 및 208)은, 일반적인 좌표계가, 프로세스(200)에 의해 생성된 임의의 수의 모델 얼굴이 참조 얼굴에 대한 이미지의 랜드마크들의 형상 및 텍스쳐 변화량의 관점에서 특정되는 것을 허용할 수 있도록 얼굴 이미지의 랜드마크들을 특정 참조 얼굴 메쉬에 정렬시키는 것을 포함할 수 있다.
프로세스(200)는, 정렬된 얼굴 이미지 랜드마크들의 PCA 표현들을 생성할 수 있는, 블록(210)에서 끝날 수 있다. 다양한 구현들에서, 블록(210)은 공지된 기법들(예를 들어, M.A. Turk and A.P. Pentland, "Face Recognition Using Eigenfaces", IEEE Conf. on Computer Vision and Pattern Recognition, pp. 586-591, 1991 참조)을 사용하여 얼굴 이미지를,
Figure 112014014357762-pct00001
로서 나타내는 것을 포함할 수 있고, 여기에서 X0는 평균 열 벡터에 대응하고, Pi는 i번째 PCA 고유 벡터이고 λi는 대응하는 i번째 고유 벡터값 또는 계수이다.
도 3은 본 발명의 다양한 구현들에 따라 얼굴 특징 파라미터를 특정하기 위한 예시의 프로세스(300)의 흐름도를 예시한다. 다양한 구현들에서, 프로세스(300)는 시스템(100)의 컨트롤 모듈(106)의 얼굴 특징 컨트롤들과 연관된 얼굴 특징 파라미터들을 특정하는 데 사용될 수 있다. 프로세스(300)는 도 3의 하나 이상의 블록(302, 304, 306, 308, 310, 312, 314, 316, 318 및 320)에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 액션을 포함할 수 있다. 제한하지 않는 예시의 방식으로, 프로세스(300)는 도 1의 예시의 시스템을 참조하여 본원에 설명될 것이다. 프로세스(300)는 블록(302)에서 시작할 수 있다.
블록(302)에서, 얼굴 컨트롤 파라미터의 시맨틱 서술(semantic description) 및 연관된 측정 기준을 수신할 수 있다. 다양한 구현들에서, 블록(302)에서 수신된 시맨틱 서술은, 예를 들어, (예를 들어, 젊음부터 늙음까지 범위의) 나이, (예를 들어, 여성부터 남성까지 범위의) 성별, 형상(예를 들어, 타원, 긴, 하트, 사각, 원, 삼각 및 다이아몬드), 인종(예를 들어, 동 아시아인, 아시아 아대륙(sub-continent)인, 백인 등), 표정(예를 들어, 화남, 행복함, 놀람 등)과 같은, 얼굴의 임의의 모습, 부분 또는 특징에 대응할 수 있다. 다양한 구현들에서, 블록(302)에서 수신된 대응하는 측정 기준은 결정론적(deterministic) 및/또는 개별 측정 기준을 포함할 수 있다. 예를 들어, 성별 시맨틱 서술의 경우에 측정 기준은 남성 또는 여성일 수 있다. 다양한 구현들에서, 블록(302)에서 수신된 대응하는 측정 기준은, 특정 키 포인트(key point)들에 의해 측정될 수 있는, 얼굴 형상, 눈 크기, 코 높이 등과 같은, 수치적(numeric) 및/또는 확률론적(probabilistic) 측정 기준을 포함할 수 있다.
이후 프로세스(300)는, 계속해서 루프(303)에 의해 표현된 바와 같이 PCA 공간 내의 예시의 얼굴들의 샘플링을 할 수 있고, 블록(304)에서, 루프(303)에 대해 인덱스 k를 1로 설정할 수 있고 샘플링될 예시의 얼굴들의 총수 m을 결정할 수 있다. 예를 들어, 블록(302)에서 수신된 얼굴 컨트롤 파라미터 서술에 대해, m=100인 예시의 얼굴들의 전부를 샘플링하여 얼굴 컨트롤 파라미터에 대한 측정값들을 생성할 수 있다고 판정될 수 있다. 따라서, 이러한 예시에서, 이하에 더 상세히 설명될 바와 같이, 루프(303)는 수백 개의 예시의 얼굴들 및 대응하는 수의 얼굴 컨트롤 파라미터에 대한 측정값들을 생성하도록 총 수백 번 수행될 수 있다.
블록(306)에서, PCA 계수들을 무작위로 획득할 수 있고 블록(308)에서 예시의 3D 얼굴을 생성하는 데 사용할 수 있다. 블록(308)에서 생성된 3D 얼굴은 이후,
Figure 112014014357762-pct00002
에 의해 표현될 수 있고, 여기에서 αi는 i번째 고유 벡터에 대한 계수이다.
다양한 구현들에서, 블록(306)은 PCA 공간 내의 총 에너지의 약 95%를 표현하는 제1 n차원 고유값들에 대응하는 계수들의 세트 {αi}를 샘플링하는 것을 포함할 수 있다. 블록(306)에서 전체 PCA 공간 대신 PCA 부분 공간(sub-space)에서 샘플링하는 것은 전체 PCA 공간에 대한 측정 변화량의 특성화(characterization)를 허용할 수 있다. 예를 들어, {αi}=[-3, +3]의 범위 내의 PCA 계수들을 샘플링하는 것은 [-3*std, +3*std]의 범위("std"는 표준 편차를 표현함) 내의 데이터 변화량에 대응하는 [-3*λi, +3*λi]의 범위 내의 i번째 고유값을 샘플링하는 것에 대응할 수 있다.
블록(310)에서, 시맨틱 서술에 대한 측정값을 결정할 수 있다. 다양한 구현들에서, 블록(310)은 다양한 얼굴 랜드마크들의 좌표들을 사용하여 측정값을 산출하는 것을 포함할 수 있다. 예를 들어, i번째 샘플링된 고유값들의 계수들을, 블록(310)에서 대표적인 얼굴에 관한 우도(likelihood)를 표현하는, 대응하는 측정, Ai={αij, j=1,...n}가 되도록 설정하는 것은 B kx1 로 지정될 수 있다.
다양한 구현들에서, 각각의 공지된 시맨틱 얼굴 형상들(타원, 긴, 하트, 사각, 원, 삼각 및 다이아몬드)은 수치적으로 정의될 수 있거나 또는 하나 이상의 얼굴 특징 측정에 의해 특정될 수 있다. 예를 들어, 도 4는 본 발명의 다양한 구현들에 따른 예시의 평균 얼굴(400)에 대한 몇몇 예시의 메트릭(metric) 측정들을 예시한다. 도시된 바와 같이, 시맨틱 얼굴 형상들에 대응하는 얼굴 특징 파라미터들을 정의하거나 또는 특정하는 데 사용되는 메트릭 측정들은 이마 너비(fhw), 광대뼈 너비(cbw), 턱 너비(jw), 얼굴 너비(fw), 및 얼굴 높이(fh)를 포함할 수 있다. 다양한 구현들에서, 대표적인 얼굴 형상들은 그러한 특징 측정들의 하나 이상의 가우시안 분포(Gaussian distribution)에 의해 정의될 수 있고 각 예시의 얼굴은 그러한 측정들의 대응하는 확률 분포에 의해 표현될 수 있다.
프로세스(300)는 계속해서 블록(312)에서 k=m인지에 대한 판정을 할 수 있다. 예를 들어, m=100인 경우, 루프(303)의 블록들(306-310)의 제1 반복은 k=1에 대응하고, 그러므로 블록(312)에서 k≠m이고, 프로세스(300)는 계속해서 블록(314)에서 k=k+1로 설정하고 블록(306)으로 복귀하여 새로운 예시의 3D 얼굴에 대해 PCA 계수들을 무작위로 획득할 수 있다. 블록들(306-310)의 하나 이상의 부가적인 반복 이후, 블록(312)에서 k=m이 판정되면, 루프(303)는 끝날 수 있고, 프로세스(300)는, 계속해서 블록(316)에서, 블록(302)에서 수신된 시맨틱 서술에 대한 측정값들의 행렬을 생성할 수 있다.
다양한 구현들에서, 블록(316)은 m개의 얼굴 컨트롤 파라미터 측정들의 세트를 [-1, +1] 범위로 정규화(normalizing)하는 것 및 측정들을,
Figure 112014014357762-pct00003
로서 표현하는 것을 포함할 수 있고, 여기에서 A mxn 은, 각 행이 하나의 샘플에 대응하고, 측정 행렬 B mx1 내의 각 행이 정규화된 컨트롤 파라미터에 대응하고, 회귀(regression) 행렬 R 1xn 이 얼굴 컨트롤 파라미터를 고유값들의 계수들에 맵핑(mapping)하는, 샘플링된 고유값 계수들의 행렬이다. 다양한 구현들에서, 컨트롤 파라미터 값 b=0는 특정 시맨틱 서술에 대한 평균값(예를 들어, 평균 얼굴)에 대응할 수 있고, b=1은 그 시맨틱 서술에 대한 최대 양의(positive) 우도에 대응할 수 있다. 예를 들어, 성별 시맨틱 서술에 대해, 컨트롤 파라미터 값 b=0는 성별 중립적인 얼굴에 대응할 수 있고, b=1은 매우 남성적인 얼굴에 대응할 수 있고, b=-1은 매우 여성적인 얼굴에 대응할 수 있고, 예를 들어, b=0.8의 값을 갖는 얼굴은 b=0.5의 값을 갖는 얼굴보다 더 남성적일 수 있다.
프로세스(300)는 계속해서 블록(318)에서 얼굴 컨트롤 파라미터에 대해 회귀 파라미터들을 결정할 수 있다. 다양한 구현들에서, 블록(318)은,
Figure 112014014357762-pct00004
에 따라 수학식 3의 회귀 행렬 R 1xn 의 값들을 결정하는 것을 포함할 수 있고, 여기에서 B T 는 측정 행렬 B의 전치 행렬(transpose)이다. 프로세스(300)는 이하에 더 상세히 설명될 바와 같은 이후의 검색 및 사용을 위해 메모리에 회귀 파라미터들을 저장하는 블록(320)에서 끝날 수 있다.
다양한 구현들에서, 프로세스(300)는 타원, 긴, 하트, 사각, 원, 삼각 및 다이아몬드의 잘 인식된 시맨틱 얼굴 형상들에 대응하는 얼굴 컨트롤 파라미터들을 특정하는 데 사용될 수 있다. 또한, 다양한 구현들에서, 프로세스(300)에 의해 정의된 얼굴 컨트롤 파라미터들은, 시스템(100)의 사용자들이 3D 모핑 가능한 얼굴 모델(102)의 얼굴 특징들의 아웃풋을 수정하거나 또는 커스텀화하는 것을 가능하게 하는 UI(108)의 특징 컨트롤들(예를 들어, 슬라이더들)에 의해 조작될 수 있다. 따라서, 예를 들어, UI(108)의 얼굴 형상 컨트롤 요소들은 타원, 긴, 하트, 사각, 원, 삼각 및 다이아몬드 얼굴 형상들에 대한 컨트롤 요소들을 특정하도록 프로세스(300)를 여러 번 수행함으로써 정의될 수 있다.
도 5는 본 발명의 다양한 구현들에 따라 커스텀화된 3D 얼굴을 생성하기 위한 예시의 프로세스(500)의 흐름도를 예시한다. 다양한 구현들에서, 프로세스(500)는 시스템(100)의 컨트롤 모듈(106)에 응답하여 3D 모핑 가능한 얼굴 모델(102)에 의해 구현될 수 있다. 프로세스(500)는 도 5의 하나 이상의 블록(502, 504, 506, 508 및 510)에 의해 예시된 바와 같이 하나 이상의 동작, 기능 또는 액션을 포함할 수 있다. 제한하지 않는 예시의 방식으로, 프로세스(500)는 도 1의 예시의 시스템을 참조하여 본원에 설명될 것이다. 프로세스(500)는 블록(502)에서 시작할 수 있다.
블록(502)에서, 얼굴 컨트롤 파라미터에 대한 회귀 파라미터들을 수신할 수 있다. 예를 들어, 블록(502)은, 모델(102)이, 몇몇 예를 들면, 성별 얼굴 컨트롤 파라미터 또는 사각형 얼굴 형상 얼굴 컨트롤 파라미터와 같은 특정 얼굴 컨트롤 파라미터에 대한 수학식 3의 회귀 파라미터들 R 1xn 을 수신하는 것을 포함할 수 있다. 다양한 구현들에서, 블록(502)의 회귀 파라미터들은 메모리로부터 수신될 수 있다. 블록(504)에서, 얼굴 컨트롤 파라미터에 대한 값을 수신할 수 있고, 블록(506)에서, 얼굴 컨트롤 파라미터 값에 응답하여 PCA 계수들을 결정할 수 있다. 다양한 구현들에서, 블록(504)은, 예를 들어, (m=1인 경우) B 1x1 로 표현된 얼굴 컨트롤 파라미터 b를 수신하는 것을 포함할 수 있고, 블록(506)은 이하와 같이 회귀 파라미터들 R 1xn 을 사용하여 PCA 계수들을 산출하는 것을 포함할 수 있다.
Figure 112014014357762-pct00005
프로세스(500)는, 계속해서 블록(508)에서, 블록(506)에서 정의된 PCA 계수들에 기초하여, 커스텀화된 3D 얼굴을 생성할 수 있다. 예를 들어, 블록(508)은 수학식 2 및 수학식 5의 결과들을 사용하여 얼굴을 생성하는 것을 포함할 수 있다. 프로세스(300)는, 커스텀화된 3D 얼굴을 아웃풋으로서 제공할 수 있는 블록(510)에서 끝날 수 있다. 예를 들어, 블록들(508 및 510)은 본원에 설명된 바와 같이 얼굴 모델(102)에 의해 수행될 수 있다.
도 2, 3 및 5에서 예시된 바와 같은, 예시의 프로세스들(200, 300 및 500)의 구현은 예시된 순서대로 도시된 모든 블록들을 수행하는 것을 포함할 수 있지만, 본 발명은 이에 한정되지 않고, 다양한 예시들에서, 프로세스들(200, 300 및/또는 500)의 구현은 도시된 모든 블록들의 부분 집합만을 수행하는 것 및/또는 예시된 것과 상이한 순서로 수행하는 것을 포함할 수 있다.
또한, 도 2, 3 및 5의 임의의 하나 이상의 프로세스 및/또는 블록은 하나 이상의 컴퓨터 프로그램 제품에 의해 제공된 명령어들에 응답하여 수행될 수 있다. 그러한 프로그램 제품들은, 예를 들어, 하나 이상의 프로세서 코어에 의해 실행되는 경우, 본원에 설명된 기능성을 제공할 수 있는 명령어들을 제공하는 신호 함유 매체(signal bearing media)를 포함할 수 있다. 컴퓨터 프로그램 제품들은 임의의 형태의 컴퓨터 판독 가능 매체로 제공될 수 있다. 따라서, 예를 들어, 하나 이상의 프로세서 코어(들)를 포함하는 프로세서는, 컴퓨터 판독 가능 매체에 의해 프로세서에 전달된 명령어들에 응답하여 도 2, 3 및 5에 도시된 블록들 중 하나 이상을 수행할 수 있다.
도 6은 본 발명의 다양한 구현들에 따른 예시의 사용자 인터페이스(UI)(600)를 예시한다. 예를 들어, UI(600)는 시스템(100)의 UI(108)로서 이용될 수 있다. 도시된 바와 같이, UI(600)는 얼굴 디스플레이 창(pane)(602) 및 컨트롤 창(604)을 포함한다. 컨트롤 창(604)은 다양한 대응하는 얼굴 컨트롤 파라미터들의 값들을 변경하도록 조작될 수 있는 슬라이더들(606)의 형태의 특징 컨트롤들을 포함한다. 디스플레이 창(602) 내의 시뮬레이션된(simulated) 3D 얼굴(608)의 다양한 얼굴 특징들은 슬라이더들(606)의 조작에 응답하여 커스텀화될 수 있다. 다양한 구현들에서, UI(600)의 다양한 컨트롤 파라미터들은 파라미터 값들의 수동 입력에 의해 조정될 수 있다. 또한, 시뮬레이션의 상이한 카테고리들(예를 들어, 얼굴 형상 컨트롤들, 얼굴 인종 컨트롤들 등)은 상이한 페이지들 컨트롤 창(604)에 모여있을 수 있다. 다양한 구현들에서, UI(600)는, 사용자가 상이한 얼굴 형상들을 개별적으로 컨트롤하는 것을 허용하도록 구성된, 슬라이더와 같은, 상이한 특징 컨트롤을 포함할 수 있다. 예를 들어, UI(600)는 타원, 긴, 하트, 사각, 원, 삼각 및 다이아몬드 얼굴 형상들을 독립적으로 컨트롤하기 위한 일곱 개의 별개의 슬라이더들을 포함할 수 있다.
도 7-9는 본 발명의 다양한 구현들에 따른 예시의 얼굴 컨트롤 파라미터 스킴들을 예시한다. 본원에 설명된 프로세스들을 수행하는 것은 도 7-10의 스킴들을 제공할 수 있다. 다양한 구현들에서, 눈, 턱, 코 등과 같은 얼굴의 특정 부분들은 독립적으로 조작될 수 있다. 도 7은, 예를 들어, 눈 크기 및 코 높이와 같은 얼굴의 부분들의 수정을 허용하는 더 많은 별개의 얼굴 컨트롤 파라미터들뿐만 아니라 긴 얼굴 형상 및 사각 얼굴 형상에 대한 얼굴 컨트롤 파라미터들을 포함하는 예시의 스킴(700)을 예시한다.
그 외의 제한하지 않는 예시에 대해, 도 8은, 얼굴 형상 및 텍스쳐(예를 들어, 얼굴 색)가 조작되거나 또는 커스텀화될 수 있는 성별 및 인종에 대한 얼굴 컨트롤 파라미터들을 포함하는 예시의 스킴(800)을 예시한다. 다양한 구현들에서, 일부 컨트롤들(예를 들어, 성별) 파라미터 값들은 [-1,+1] 범위를 가질 수 있지만 인종들과 같은 그외의 것들은 0(평균 얼굴)부터 +1까지 범위일 수 있다. 또 다른 제한하지 않는 예시에서, 도 9는, 조작되거나 또는 커스텀화될 수 있는 화, 혐오, 공포, 행복, 슬픔 및 놀람을 포함하는 얼굴 표정에 대한 얼굴 컨트롤 파라미터들을 포함하는 예시의 스킴(900)을 예시한다. 다양한 구현들에서, 표정 컨트롤들은 0(평균적인 또는 중립 얼굴)부터 +1까지 범위일 수 있다. 일부 구현들에서 표정 컨트롤 파라미터 값은 과장된 표정을 시뮬레이션하도록 +1을 넘어 증가될 수 있다. 도 10은 긴, 사각, 타원, 하트, 원, 삼각 및 다이아몬드 얼굴 형상들에 대한 얼굴 컨트롤 파라미터들을 포함하는 예시의 스킴(1000)을 예시한다.
도 11은 본 발명에 따른 예시의 시스템(1100)을 예시한다. 시스템(1100)은 본원에 논의된 다양한 기능들 중 일부 또는 전부를 수행하는 데 사용될 수 있고 본 발명의 다양한 구현들에 따라 파라미터화된 3D 얼굴 생성을 수행할 수 있는 임의의 디바이스 또는 디바이스들의 컬렉션을 포함할 수 있다. 예를 들어, 시스템(1100)은 데스크톱, 모바일 또는 태블릿 컴퓨터, 스마트 폰, 셋 탑 박스 등과 같은 컴퓨팅 플랫폼 또는 디바이스의 선택된 컴포넌트들을 포함할 수 있지만, 본 발명은 이에 한정되지 않는다. 일부 구현들에서, 시스템(1100)은 CE 디바이스들을 위한, IA(Intel® architecture)에 기초한 SoC 또는 컴퓨팅 플랫폼일 수 있다. 본원에 설명된 구현들이 본 발명의 범위로부터 벗어나지 않고 대안의 프로세싱 시스템들과 함께 사용될 수 있다는 것은 본 기술 분야에 숙련된 자에게 용이하게 이해될 것이다.
시스템(1100)은 하나 이상의 프로세서 코어(1104)를 갖는 프로세서(1102)를 포함할 수 있다. 프로세서 코어들(1104)은 소프트웨어 및/또는 프로세싱 데이터 신호들을 적어도 부분적으로 실행 가능한 임의의 유형의 프로세서 로직일 수 있다. 다양한 예시들에서, 프로세서 코어들(1104)은 CISC 프로세서 코어들, RISC 마이크로프로세서 코어들, VLIW 마이크로프로세서 코어들, 및/또는 명령어 세트들의 임의의 조합을 구현하는 임의의 수의 프로세서 코어들, 또는 디지털 신호 프로세서 또는 마이크로컨트롤러와 같은, 임의의 그외의 프로세서 디바이스들을 포함할 수 있다.
프로세서(1102)는 또한, 예를 들어, 디스플레이 프로세서(1108) 및/또는 그래픽 프로세서(1110)에 의해 수신된 명령어들을, 컨트롤 신호들 및/또는 마이크로코드 엔트리 포인트들로 디코딩하는 데 사용될 수 있는 디코더(1106)를 포함한다. 시스템(1100)에서 코어(들)(1104)와는 별개의 컴포넌트들로서 예시되지만, 본 기술 분야에 숙련된 자들은 하나 이상의 코어(들)(1104)가 디코더(1106), 디스플레이 프로세서(1108) 및/또는 그래픽 프로세서(1110)를 구현할 수 있다는 것을 인식할 수 있을 것이다. 일부 구현들에서, 프로세서(1102)는 도 2, 3 및 5에 대해 설명된 예시의 프로세스들을 포함하는 본원에 설명된 임의의 프로세스들을 수행하도록 구성될 수 있다. 또한, 컨트롤 신호들 및/또는 마이크로코드 엔트리 포인트들에 응답하여, 디코더(1106), 디스플레이 프로세서(1108) 및/또는 그래픽 프로세서(1110)는 대응하는 동작들을 수행할 수 있다.
프로세싱 코어(들)(1104), 디코더(1106), 디스플레이 프로세서(1108) 및/또는 그래픽 프로세서(1110)는 시스템 인터커넥트(1116)를 통해 서로, 및/또는, 예를 들어, 메모리 컨트롤러(1114), 오디오 컨트롤러(1118) 및/또는 주변 장치들(1120)을 포함하나 이에 한정되지 않는, 다양한 그외의 시스템 디바이스들과 통신 가능하게 및/또는 동작 가능하게 결합될 수 있다. 주변 장치들(1120)은, 예를 들어, USB(unified serial bus) 호스트 포트, PCI(Peripheral Component Interconnect) Express 포트, SPI(Serial Peripheral Interface) 인터페이스, 확장 버스, 및/또는 그외의 주변 장치들을 포함할 수 있다. 도 11이 메모리 컨트롤러(1114)를 인터커넥트(1116)에 의해 디코더(1106) 및 프로세서들(1108 및 1110)에 결합된 것으로서 예시하지만, 다양한 구현들에서, 메모리 컨트롤러(1114)는 디코터(1106), 디스플레이 프로세서(1108) 및/또는 그래픽 프로세서(1110)에 직접 결합될 수 있다.
일부 구현들에서, 시스템(1100)은 도 11에 도시되지 않은 다양한 I/O 디바이스들과 I/O 버스(또한 도시되지 않음)를 통해 통신할 수 있다. 그러한 I/O 디바이스들은, 예를 들어, UART(universal asynchronous receiver/transmitter) 디바이스, USB 디바이스, I/O 확장 인터페이스 또는 그외의 I/O 디바이스들을 포함할 수 있으나 이에 한정되지 않는다. 다양한 구현들에서, 시스템(1100)은 모바일, 네트워크 및/또는 무선 통신들을 수행하기 위한 시스템의 적어도 일부들을 표현할 수 있다.
시스템(1100)은 메모리(1112)를 더 포함할 수 있다. 메모리(1112)는 DRAM(dynamic random access memory) 디바이스, SRAM(static random access memory) 디바이스, 플래시 메모리 디바이스, 또는 그외의 메모리 디바이스들과 같은 하나 이상의 개별 메모리 컴포넌트일 수 있다. 도 11이 메모리(1112)를 프로세서(1102) 외부에 있는 것으로서 예시하였지만, 다양한 구현들에서, 메모리(1112)는 프로세서(1102) 내부에 있을 수 있다. 메모리(1112)는, 도 2, 3 및 5에 대해 설명된 예시의 프로세스들을 포함하는 본원에 설명된 프로세스들 중 임의의 것을 수행하는 데 있어서 프로세서(1102)에 의해 실행될 수 있는 데이터 신호들에 의해 표현되는 명령어들 및/또는 데이터를 저장할 수 있다. 예를 들어, 메모리(1112)는 본원에 설명된 바와 같은 회귀 파라미터들 및/또는 PCA 계수들을 저장할 수 있다. 일부 구현들에서, 메모리(1112)는 시스템 메모리 부분 및 디스플레이 메모리 부분을 포함할 수 있다.
예시의 시스템(100) 및/또는 UI(600)와 같은, 본원에 설명된 디바이스들 및/또는 시스템들은 본 발명에 따른 많은 가능한 디바이스 구성들, 아키텍처들 또는 시스템들 중 몇몇을 표현한다. 예시의 시스템(100) 및/또는 UI(600)의 변형들과 같은 시스템들의 다수의 변형들이 본 발명과 일치하는 것이 가능하다.
전술한 시스템들, 및 본원에 설명된 바와 같은 그것들에 의해 수행되는 프로세싱은 하드웨어, 펌웨어, 또는 소프트웨어, 또는 그들의 임의의 조합으로 구현될 수 있다. 또한, 본원에 개시된 임의의 하나 이상의 특징은, 개별 및 집적 회로 로직, ASIC(application specific integrated circuit) 로직, 및 마이크로컨트롤러들을 포함하는, 하드웨어, 소프트웨어, 펌웨어, 및 그들의 조합들에서 구현될 수 있고, 도메인 특정(domain-specific) 집적 회로 패키지, 또는 집적 회로 패키지들의 조합의 부분으로서 구현될 수 있다. 본원에서 사용되는 바와 같이, 용어 소프트웨어는, 컴퓨터 시스템으로 하여금 본원에 개시된 하나 이상의 특징 및/또는 특징들의 조합들을 수행하게 하도록 컴퓨터 판독 가능 매체 - 그 안에 저장된 컴퓨터 프로그램 로직을 갖는 - 를 포함하는 컴퓨터 프로그램 제품을 지칭한다.
본원에 기재된 특정 특징들이 다양한 구현들을 참조하여 설명되었지만, 이러한 설명은 한정하는 의미로 해석되도록 의도되지 않는다. 그러므로, 본 발명이 속하는 본 기술 분야에 숙련된 자들에게 명백한, 그외의 구현들뿐만 아니라, 본원에 설명된 구현들의 다양한 수정들은 본 발명의 기술적 사상 및 범위에 속하는 것으로 간주된다.

Claims (30)

  1. 3차원(3D) 얼굴 모델링을 위한 방법으로서,
    얼굴 컨트롤 파라미터에 대한 시맨틱 서술(semantic description) 및 연관된 측정 기준(measurement criteria)을 수신하는 단계,
    복수의 3D 얼굴의 각각을 생성하기 위해 복수의 PCA(principal component analysis) 계수를 획득하는 단계,
    상기 복수의 PCA 계수에 응답하여 상기 복수의 3D 얼굴의 각각을 생성하는 단계,
    상기 측정 기준에 응답하여 상기 복수의 3D 얼굴의 각각에 대한 측정값을 결정하는 단계, 및
    상기 측정값들에 응답하여 상기 얼굴 컨트롤 파라미터를 상기 복수의 PCA 계수에 맵핑하기 위한 복수의 회귀 파라미터를 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 복수의 PCA 계수를 획득하는 단계는 상기 PCA 계수들을 메모리로부터 무작위로 획득하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 시맨틱 서술은 얼굴 형상의 시맨틱 서술을 포함하는 방법.
  4. 제3항에 있어서,
    상기 얼굴 형상은 타원, 긴, 하트, 사각, 원, 삼각 또는 다이아몬드 중 하나를 포함하는 방법.
  5. 제1항에 있어서,
    상기 복수의 회귀 파라미터를 메모리에 저장하는 단계를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 복수의 회귀 파라미터는 제1 회귀 파라미터들을 포함하고,
    상기 방법은,
    상기 제1 회귀 파라미터들을 상기 메모리로부터 수신하는 단계,
    상기 얼굴 컨트롤 파라미터의 값을 수신하는 단계,
    상기 값에 응답하여 제1 PCA 계수들을 결정하는 단계 - 상기 복수의 PCA 계수는 상기 제1 PCA 계수들을 포함함 -, 및
    상기 제1 PCA 계수들에 응답하여 3D 얼굴을 생성하는 단계
    를 더 포함하는 방법.
  7. 제6항에 있어서,
    상기 얼굴 컨트롤 파라미터의 상기 값은 특징 컨트롤의 조작에 응답하여 생성되는 상기 얼굴 컨트롤 파라미터의 값을 포함하는 방법.
  8. 제7항에 있어서,
    상기 특징 컨트롤은 슬라이더(slider)를 포함하는 방법.
  9. 제7항에 있어서,
    상기 특징 컨트롤은 복수의 얼굴 형상 컨트롤 중 하나를 포함하는 방법.
  10. 제9항에 있어서,
    상기 복수의 얼굴 형상 컨트롤은 긴 얼굴 형상, 타원 얼굴 형상, 하트 얼굴 형상, 사각 얼굴 형상, 원 얼굴 형상, 삼각 얼굴 형상, 및 다이아몬드 얼굴 형상의 각각에 대응하는 별개의 특징 컨트롤들을 포함하는 방법.
  11. 3차원(3D) 얼굴 모델링을 위한 시스템으로서,
    프로세서 및 상기 프로세서에 결합되는 메모리를 포함하고,
    상기 메모리 내의 명령어들은,
    얼굴 컨트롤 파라미터를 복수의 PCA(principal component analysis) 계수에 맵핑하기 위한 회귀 파라미터들을 수신하고,
    상기 얼굴 컨트롤 파라미터의 값을 수신하고,
    상기 회귀 파라미터들을 사용하여 상기 값에 응답하여 상기 PCA 계수들을 결정하고,
    상기 PCA 계수들에 응답하여 3D 얼굴을 생성
    하도록 상기 프로세서를 구성하는 시스템.
  12. 제11항에 있어서,
    사용자 인터페이스를 더 포함하고, 상기 사용자 인터페이스는 복수의 특징 컨트롤을 포함하고, 상기 메모리 내의 상기 명령어들은 상기 복수의 특징 컨트롤의 제1 특징 컨트롤의 조작에 응답하여 상기 얼굴 컨트롤 파라미터의 상기 값을 수신하도록 상기 프로세서를 구성하는 시스템.
  13. 제12항에 있어서,
    상기 복수의 특징 컨트롤은 복수의 슬라이더 컨트롤을 포함하는 시스템.
  14. 제12항에 있어서,
    상기 복수의 특징 컨트롤은 복수의 얼굴 형상 컨트롤을 포함하는 시스템.
  15. 제14항에 있어서,
    상기 복수의 얼굴 형상 컨트롤은 긴 얼굴 형상, 타원 얼굴 형상, 하트 얼굴 형상, 사각 얼굴 형상, 원 얼굴 형상, 삼각 얼굴 형상, 및 다이아몬드 얼굴 형상의 각각에 대응하는 별개의 특징 컨트롤들을 포함하는 시스템.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020147003820A 2011-08-09 2011-08-09 파라미터화된 3d 얼굴 생성 KR101624808B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/001305 WO2013020247A1 (en) 2011-08-09 2011-08-09 Parameterized 3d face generation

Publications (2)

Publication Number Publication Date
KR20140043939A KR20140043939A (ko) 2014-04-11
KR101624808B1 true KR101624808B1 (ko) 2016-05-26

Family

ID=47667837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147003820A KR101624808B1 (ko) 2011-08-09 2011-08-09 파라미터화된 3d 얼굴 생성

Country Status (6)

Country Link
US (1) US20130271451A1 (ko)
EP (1) EP2742488A4 (ko)
JP (1) JP5786259B2 (ko)
KR (1) KR101624808B1 (ko)
CN (1) CN103765480B (ko)
WO (1) WO2013020247A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748325B2 (en) 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US8737767B2 (en) * 2012-02-28 2014-05-27 Disney Enterprises, Inc. Perceptually guided capture and stylization of 3D human figures
US9747495B2 (en) * 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US20130314401A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
WO2014139118A1 (en) 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
WO2014139142A1 (en) 2013-03-15 2014-09-18 Intel Corporation Scalable avatar messaging
KR101828201B1 (ko) 2014-06-20 2018-02-09 인텔 코포레이션 3d 얼굴 모델 재구성 장치 및 방법
JP6730443B2 (ja) 2016-03-21 2020-07-29 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ カスタマイズされた製品の推奨を提供するためのシステム及び方法
FR3051951B1 (fr) * 2016-05-27 2018-06-15 Mimi Hearing Technologies GmbH Procede d'elaboration d'un modele deformable en trois dimensions d'un element, et systeme associe
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
WO2017223530A1 (en) 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10621771B2 (en) 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
US10614623B2 (en) * 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
JP6849824B2 (ja) 2017-05-31 2021-03-31 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
JP6849825B2 (ja) 2017-05-31 2021-03-31 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ 見掛け肌年齢を判定するためのシステム及び方法
US10198845B1 (en) 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
CN111027350A (zh) * 2018-10-10 2020-04-17 成都理工大学 一种基于人脸三维重建的改进pca算法
CN110035271B (zh) * 2019-03-21 2020-06-02 北京字节跳动网络技术有限公司 保真图像生成方法、装置及电子设备
KR102241153B1 (ko) 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US11551393B2 (en) 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
KR102422779B1 (ko) * 2019-12-31 2022-07-21 주식회사 하이퍼커넥트 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체
JP7076861B1 (ja) 2021-09-17 2022-05-30 株式会社PocketRD ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101418A (ja) 1999-10-04 2001-04-13 Nec Corp パターン識別のための特徴抽出装置
JP2010507854A (ja) 2006-10-24 2010-03-11 ロビン・ジャン−マルク ビデオイメージシーケンスを仮想シミュレーションする方法及び装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654498B2 (ja) * 1985-10-26 1994-07-20 ソニー株式会社 判断情報表示装置
DE69934478T2 (de) * 1999-03-19 2007-09-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US7391420B1 (en) * 2000-09-28 2008-06-24 At&T Corp. Graphical user interface graphics-based interpolated animation performance
US9400921B2 (en) * 2001-05-09 2016-07-26 Intel Corporation Method and system using a data-driven model for monocular face tracking
US7461063B1 (en) * 2004-05-26 2008-12-02 Proofpoint, Inc. Updating logistic regression models using coherent gradient
US7436988B2 (en) * 2004-06-03 2008-10-14 Arizona Board Of Regents 3D face authentication and recognition based on bilateral symmetry analysis
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
US7209577B2 (en) * 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing
KR20070068501A (ko) * 2005-12-27 2007-07-02 박현 2차원 칼라 얼굴 영상에서 반복적인 주성분분석 재구성을이용한 자동적인 잡음 제거
CN100517060C (zh) * 2006-06-01 2009-07-22 高宏 一种三维人像摄影方法
US8139067B2 (en) * 2006-07-25 2012-03-20 The Board Of Trustees Of The Leland Stanford Junior University Shape completion, animation and marker-less motion capture of people, animals or characters
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
TW201023092A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua 3D face model construction method
CN101770649B (zh) * 2008-12-30 2012-05-02 中国科学院自动化研究所 一种人脸图像自动合成方法
US8553973B2 (en) * 2009-07-07 2013-10-08 University Of Basel Modeling methods and systems
US8803950B2 (en) * 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
CN101950415B (zh) * 2010-09-14 2011-11-16 武汉大学 一种基于形状语义模型约束的人脸超分辨率处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101418A (ja) 1999-10-04 2001-04-13 Nec Corp パターン識別のための特徴抽出装置
JP2010507854A (ja) 2006-10-24 2010-03-11 ロビン・ジャン−マルク ビデオイメージシーケンスを仮想シミュレーションする方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Generation of Facial Expressions from Morphable 3D Face Model, Proceedings of workshop IEICE vol 110, No 457(2011.02.28.)

Also Published As

Publication number Publication date
EP2742488A1 (en) 2014-06-18
JP2014522057A (ja) 2014-08-28
EP2742488A4 (en) 2016-01-27
CN103765480B (zh) 2017-06-09
US20130271451A1 (en) 2013-10-17
KR20140043939A (ko) 2014-04-11
WO2013020247A1 (en) 2013-02-14
JP5786259B2 (ja) 2015-09-30
CN103765480A (zh) 2014-04-30

Similar Documents

Publication Publication Date Title
KR101624808B1 (ko) 파라미터화된 3d 얼굴 생성
CN107784293B (zh) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN114140603B (zh) 虚拟形象生成模型的训练方法和虚拟形象生成方法
CN106068514B (zh) 用于在不受约束的媒体中识别面孔的系统和方法
Li et al. Nonlinear sufficient dimension reduction for functional data
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN107609466A (zh) 人脸聚类方法、装置、设备及存储介质
CN113627482B (zh) 一种基于音频—触觉信号融合的跨模态图像生成方法及装置
CN112800292B (zh) 一种基于模态特定和共享特征学习的跨模态检索方法
CN111626211A (zh) 一种基于单目视频图像序列的坐姿识别方法
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
CN107784678B (zh) 卡通人脸图像的生成方法、装置和终端
CN115223067B (zh) 应用于无人机的点云融合方法、装置、设备及存储介质
CN109558814A (zh) 一种三维矫正和加权相似性度量学习的无约束人脸验证方法
CN112200176B (zh) 人脸图像的质量检测方法、系统和计算机设备
CN115311186B (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
Xie et al. Deep nonlinear metric learning for 3-D shape retrieval
CN113569607A (zh) 动作识别方法、装置、设备以及存储介质
CN116189155A (zh) 基于深度特征和图注意力机制的疲劳驾驶检测方法及系统
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
Yan et al. A parameter-free framework for general supervised subspace learning
CN116469147A (zh) 人脸表情迁移方法和表情迁移装置、电子设备及存储介质
CN106407884A (zh) 一种快速协同匹配的有遮挡人脸识别方法
CN116993929B (zh) 基于人眼动态变化的三维人脸重建方法、装置及存储介质
Msugh et al. Human Emotion Recognition From Facial Expressions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee