KR20200015459A - 고속, 고성능 얼굴 추적 - Google Patents

고속, 고성능 얼굴 추적 Download PDF

Info

Publication number
KR20200015459A
KR20200015459A KR1020197029061A KR20197029061A KR20200015459A KR 20200015459 A KR20200015459 A KR 20200015459A KR 1020197029061 A KR1020197029061 A KR 1020197029061A KR 20197029061 A KR20197029061 A KR 20197029061A KR 20200015459 A KR20200015459 A KR 20200015459A
Authority
KR
South Korea
Prior art keywords
face
model mesh
depth
face model
vertices
Prior art date
Application number
KR1020197029061A
Other languages
English (en)
Other versions
KR102376948B1 (ko
Inventor
쥴리앙 파스칼 크리스토프 발렌틴
조나단 제임스 테일러
샤흐람 이자디
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20200015459A publication Critical patent/KR20200015459A/ko
Application granted granted Critical
Publication of KR102376948B1 publication Critical patent/KR102376948B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00208—
    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

전자 디바이스는 깊이 카메라의 시점에서 가시적인 것으로 추정되는 얼굴 모델 메쉬의 정점들에 기초하여 생성(적) 얼굴 모델 메쉬를 깊이 맵에 피팅함으로써 얼굴의 포즈를 추정한다. 전자 디바이스의 얼굴 추적 모듈은 깊이 카메라로부터 얼굴의 깊이 이미지를 수신하여, 그 깊이 이미지에 기초하여 얼굴의 깊이 맵을 생성한다. 얼굴 추적 모듈은 깊이 카메라의 시점에서 가시적인 것으로 추정되는 얼굴 모델 메쉬의 정점들에 대응하는 깊이 맵의 픽셀에 얼굴 모델 메쉬를 피팅함으로써 얼굴의 포즈를 식별한다.

Description

고속, 고성능 얼굴 추적
본 발명은 일반적으로 이미지 캡처 및 처리에 관한 것으로, 보다 구체적으로는 캡처된 이미지를 이용한 얼굴 추적(face tracking )에 관한 것이다.
얼굴 추적은 얼굴 표정 및 머리 움직임을 가상 현실 및 증강 현실 시스템의 입력 메커니즘으로 사용할 수 있게 하여 보다 몰입감있는 사용자 경험을 지원한다. 종래의 얼굴 추적 시스템은 사용자 얼굴의 이미지 및 깊이 데이터를 캡처하여, 캡처된 이미지 또는 깊이 데이터에 생성(적) 모델(generative model)을 피팅한다(맞춘다). 캡처된 데이터에 모델을 피팅하기 위해, 얼굴 추적 시스템은 올바른 얼굴 포즈에 해당하는 최소값을 찾기 위해 에너지 함수를 정의하고 최적화한다. 그러나, 종래의 얼굴 추적 시스템은 전형적으로 정확성 및 레이턴시 이슈를 갖으므로 만족스럽지 못한 사용자 경험을 야기할 수 있다.
본 개시는 더 잘 이해될 수 있고, 그의 수 많은 특징 및 장점은 첨부 도면을 참조함으로써 당업자에게 명백하다. 상이한 도면에서 동일한 참조 부호의 사용은 유사하거나 동일한 항목을 나타낸다.
도 1은 본 개시의 적어도 일 실시예에 따른 깊이 이미지에 기초하여 얼굴의 현재 포즈를 추정하는 얼굴 추적 시스템을 도시하는 도면이다.
도 2는 본 개시의 적어도 하나의 실시예에 따은 깊이 이미지에 기초하여 얼굴의 현재 포즈를 추정하도록 구성된 도 1의 얼굴 추적 시스템의 얼굴 추적 모듈을 도시한 도면이다.
도 3은 본 개시의 적어도 하나의 실시예에 따른 얼굴 모델 메쉬의 정점들의 가시성을 추정하는 것을 도시하는 도면이다.
도 4는 본 개시의 적어도 하나의 실시예에 따른 얼굴 포즈를 추정하는 방법을 예시하는 흐름도이다.
다음의 설명은 깊이 카메라의 시점에서 가시적인 것으로(볼 수 있는 것으로) 추정되는 얼굴 모델 메쉬의 정점들에 기초하여 생성(적)(generative) 얼굴 모델 메쉬를 깊이 맵에 피팅함(맞춤)으로써 얼굴의 포즈를 추정하는 것을 포함하는 다수의 특정 실시예 및 세부 사항을 제공함으로써 본 개시의 충분한 이해를 전달하기 위한 것이다. 그러나, 본 개시는 단지 예시적인 이러한 특정 실시예 및 세부 사항으로 제한되지 않으며, 따라서 본 개시의 범위는 다음의 청구 범위 및 그 등가물에 의해서만 제한되도록 의도되는 것으로 이해된다. 공지된 시스템 및 방법의 관점에서 당업자는 특정 설계 및 다른 요구에 따라 임의의 수의 대안 실시예에서 그의 의도된 목적 및 이점을 위해 본 개시의 사용을 인식할 것임이 또한 이해된다.
도 1 내지 도 4는 깊이 카메라의 시점에서 가시적인 것으로 추정되는 얼굴 모델 메쉬의 정점들에 기초하여, 생성적 얼굴 모델 메쉬를 얼굴의 깊이 맵에 피팅함으로써 얼굴의 포즈를 추정하는 기술을 도시한다. 얼굴 추적 모듈은 깊이 카메라로부터 얼굴의 깊이 이미지를 수신하여, 그 깊이 이미지에 기초하여 얼굴의 깊이 맵을 생성한다. 얼굴 추적 모듈은 깊이 카메라의 시점에서 가시적인 것으로 추정되는 얼굴 모델 메쉬의 정점들에 대응하는 깊이 맵의 픽셀에 얼굴 모델 메쉬를 피팅함으로써 얼굴의 포즈를 식별한다. 얼굴 추적 모듈은 얼굴 모델 메쉬가 대부분 볼록한(즉, 볼록하지 않은 것보다 얼굴 모델 메쉬가 더 볼록한) 것으로 가정함으로써 깊이 카메라의 시점에서 가시적일 수 있는 얼굴 모델 메쉬의 정점들을 추정한다. 일부 실시예에서, 얼굴 추적 모듈은 얼굴 모델 메쉬의 각 정점에 수직인 벡터가 깊이 카메라에 대향하거나 그 깊이 카메라로부터 멀어지는 정도를 추정함으로써 얼굴 모델 메쉬의 어느 정점이 얼굴 카메라 메쉬의 관점에서 가시적인지를 추정한다. 가시적인 것으로 추정되는 얼굴 모델 메쉬의 정점들만 포함함으로써, 얼굴 추적 모듈은 깊이 이미지와의 연관이 존재하지 않아야 하는 얼굴 모델 메쉬의 정점(즉, 깊이 카메라의 시점에서 가시적이지 않은 정점)을 연관시키지 않는다. 이들 정점을 제외하는 것은 얼굴 포즈 추정의 정확도를 향상시킨다. 그 이유는 이들 정점이 포함되는 경우 에너지 함수가 올바른 포즈에 높은 에너지를 할당하므로 포즈를 추정하는데 사용되는 에너지 함수가 부정확해지기 때문이다.
일부 실시예에서, 얼굴 모델 메쉬는 깊이 맵에 피팅하기 위해 얼굴 모델 메쉬의 정점들을 유연하게(non-rigidly) 변형시키는 방법을 나타내는 정체성 및 표정(identity and expression) 계수들의 세트에 의해 파라미터화된다. 일부 실시예에서, 얼굴 추적 모듈은 깊이 맵을 쌍입방적으로 보간하여 픽셀 경계들에서 교차점을 평활(smooth)한다. 얼굴 추적 모듈은 깊이 맵과 더 잘 매칭하도록 정체성 및 표정 계수를 조정한다. 얼굴 추적 모듈은 얼굴 모델 메쉬의 각 가시 정점의 거리에 기초하여 에너지 함수를 최소화하여 얼굴의 포즈에 가장 근접한 얼굴 모델 메쉬를 식별한다.
도 1은 본 개시의 적어도 하나의 실시예에 따른 깊이 센서 데이터를 사용하여 AR/VR 애플리케이션에 대한 얼굴 추적 기능을 지원하도록 구성된 얼굴 추적 시스템(100)을 도시한다. 얼굴 추적 시스템(100)은 태블릿 컴퓨터, 컴퓨팅-작동 셀룰러 폰(예를 들어, "스마트폰"), 헤드 장착 디스플레이(HMD), 노트북 컴퓨터, 개인 정보 휴대 단말기(PDA), 게임 시스템 리모컨, 텔레비전 리모컨, 스크린이 있거나 없는 카메라 부착물과 같은 사용자-휴대용 모바일 디바이스를 포함할 수 있는 전자 디바이스이다. 다른 실시예에서, 얼굴 추적 시스템(100)은 자동차, 로봇, 원격-제어 드론 또는 다른 공중 디바이스 등과 같은 다른 유형의 모바일 디바이스를 포함할 수 있다. 설명의 편의를 위해, 얼굴 추적 시스템(100)은 일반적으로 태블릿 컴퓨터 또는 스마트 폰과 같은 모바일 디바이스의 예시적인 맥락에서 본 명세서에 기술되지만, 얼굴 추적 시스템(100)은 이러한 예시적인 구현으로 제한되는 것은 아니다. 얼굴 추적 시스템(100)은 본 개시의 적어도 하나의 실시예에 따라 깊이 카메라(105)에 의해 캡처된 깊이 이미지(115)에 기초하여 얼굴(120)의 현재 포즈(140)를 추정하는 얼굴 추적 모듈(110)을 포함한다.
일 실시예에서, 깊이 카메라(105)는 변조된 광 패턴을 로컬 환경으로 투사하기 위해 변조 광 프로젝터(미도시)를 사용하고, 하나 이상의 이미징 센서(106)를 사용하여 상기 변조된 광 패턴의 반사가 로컬 환경(112)의 오브젝트들부터 다시 반사될 때 그 반사를 캡처한다. 이들 변조된 광 패턴은 공간적으로 변조된 광 패턴이거나 시간적으로 변조된 광 패턴일 수 있다. 변조된 광 패턴의 캡처된 반사는 본 명세서에서 "깊이 이미지"(115)로 지칭되며 복수의 포인트를 갖는 3 차원(3D) 포인트 클라우드를 구성한다. 일부 실시예에서, 깊이 카메라(105)는 깊이 이미지(115)의 분석에 기초하여 오브젝트들의 깊이, 즉 깊이 카메라(105)로부터 오브젝트의 거리를 계산한다.
얼굴 추적 모듈(110)은 깊이 카메라(105)로부터 깊이 이미지(115)를 수신하여 그 깊이 이미지(115)에 기초하여 깊이 맵을 생성한다. 얼굴 추적 모듈(110)은 얼굴(120)에 대응하는 깊이 맵의 픽셀에 얼굴 모델 메쉬를 피팅함으로써 얼굴(120)의 포즈를 식별한다. 일부 실시예에서, 얼굴 추적 모듈(110)은 생성 얼굴 모델 메쉬의 파라미터(
Figure pct00001
)를 추정하여 RGB-D 쌍(
Figure pct00002
)로부터의 데이터를 설명한다. 일부 실시예에서, 얼굴 추적 모듈(110)은 깊이 카메라로부터 수신된 이전 프레임에서 추론된 파라미터(
Figure pct00003
)를 활용한다. 일부 실시예에서, 모델은 정체성 계수(
Figure pct00004
) 세트, 표정 가중치 세트 또는 계수(
Figure pct00005
), 머리의 3 차원(3D) 위치(
Figure pct00006
) 및 머리의 3D 회전을 나타내는 쿼터니언(
Figure pct00007
)으로 파라미터화된다. 정체성 및 표정 계수는 깊이 맵의 대응 픽셀에 피팅하기 위해 얼굴 모델 메쉬의 3D 위치들(정점)를 유연하게 변형시키는 방법을 나타낸다. 일부 실시예에서, 얼굴 모델 메쉬는 삼각 메쉬 모델이다. 얼굴 추적 모듈(110)은 N개의 3D 정점 위치의 이중 선형(PCA) 기반을 사용하여 얼굴 모델 메쉬의 3D 위치들의 변형을 모델링하는데, 여기서
Figure pct00008
은 평균 얼굴을 나타내고,
Figure pct00009
은 얼굴의 정체성을 변경할 수 있는 정점 오프셋 세트이고,
Figure pct00010
은 얼굴의 표정을 변경할 수 있는 정점 오프셋 세트이다. 파라미터(θ) 세트하에서, 얼굴 추적 모듈(110)은 다음과 같이 얼굴 모델 메쉬의 변형 및 재배치된 정점을 계산한다.
Figure pct00011
여기서
Figure pct00012
은 θ의 쿼터니언을 회전 행렬에 매핑한다.
얼굴 추적 모듈(110)은 다음 식을 해결하는 확률적 추론 문제에 기초하여 깊이 이미지(
Figure pct00013
)가 주어지면 얼굴 모델 메쉬의 파라미터(θ)를 추정한다.
Figure pct00014
일부 실시예에서, 얼굴 추적 모듈(110)은 우도(likelihood) 및 이전(prior)이 지수 패밀리에 속하는 함수라고 가정하고, 음의 로그 형태를 사용하여 식(2)의 최대화 문제를 다음과 같이 재작성한다.
Figure pct00015
Figure pct00016
에너지 최소화 효율을 높이기 위해, 얼굴 추적 모듈(110)은 깊이 카메라(105)의 관점에서 가시적인 것으로 추정되는 얼굴 모델 메쉬의 정점들만을 포함하고,
Figure pct00017
와 연관된 깊이 맵을 쌍입방적으로 보간하여, 얼굴 추적 모듈(110)이 평활하고 차별화된 에너지를 사용하여 얼굴(120)의 포즈 및 블렌드 쉐이프(blendshape) 추정을 공동으로 최적화할 수 있게 한다. 에너지에 기초하여, 얼굴 추적 모듈은 얼굴(120)의 현재 포즈(140)를 추정한다.
일부 실시예에서, 얼굴 추적 모듈(110)은 현재 포즈 추정(140)을 사용하여 디스플레이(130)상의 그래픽 데이터(135)를 업데이트한다. 일부 실시예에서, 디스플레이(130)는 태블릿, 휴대폰, 스마트 디바이스, 디스플레이 모니터, 디스플레이 모니터 어레이(들), 랩탑, 사이니지 등과 같은 물리적 표면 또는 물리적 표면으로의 투사이다. 일부 실시예에서, 디스플레이(130)는 평면이다. 일부 실시예에서, 디스플레이(130)는 곡면이다. 일부 실시예에서, 디스플레이(130)는 가상 현실 및 증강 현실을 포함하는 공간에 있는 오브젝트들의 3 차원 또는 홀로 그래픽 투사와 같은 가상 표면이다. 디스플레이(130)가 가상 표면인 일부 실시예에서, 가상 표면은 사용자의 HMD 내에 디스플레이된다. 가상 표면의 위치는 사용자의 로컬 환경(112) 내의 (벽 또는 가구와 같은) 고정 오브젝트일 수 있다.
도 2는 본 개시의 적어도 하나의 실시예에 따른 도 1의 얼굴 추적 시스템(100)의 얼굴 추적 모듈(110)을 나타내는 도면이다. 얼굴 추적 모듈(110)은 메모리(205), 가시성 추정기(210), 에너지 최소화기(215), 랜드마크 모듈(220) 및 정규화기(225)를 포함한다. 이들 모듈 각각은 본 명세서에 기술된 동작들을 실행하도록 구성된 하드웨어, 소프트웨어 또는 이들의 조합을 나타낸다. 얼굴 추적 모듈(110)은 깊이 카메라(미도시)로부터 깊이 이미지(115)를 수신하여, 그 깊이 이미지(115)에 기초하여 현재 포즈 추정(140)을 생성하도록 구성된다.
메모리(205)는 일반적으로 데이터를 저장하도록 구성된 메모리 디바이스이고, 따라서 RAM 메모리 모듈, 비 휘발성 메모리 디바이스(예를 들어, 플래시 메모리) 등일 수 있다. 메모리(205)는 얼굴 추적 시스템(100)의 메모리 계층의 일부를 형성할 수 있고 도 1에 도시되지 않은 추가 캐시와 같은 다른 메모리 모듈을 포함할 수 있다. 메모리(205)는 깊이 카메라(미도시)로부터 깊이 이미지(115)를 수신하여 저장하도록 구성된다.
가시성 추정기(210)는 관련 법선(normal)이 깊이 카메라를 대면하거나 카메라로부터 멀어지는 정도를 결정함으로써 깊이 모델의 관점에서 얼굴 모델 메쉬의 정점이 가시적인지를 추정하도록 구성된 모듈이다.
Figure pct00018
여기서
Figure pct00019
는 정점 n의 법선 벡터이다. 파라미터(δ 및 v)는 각각 곡률 및 값 0.5에 도달하는 위치를 제어한다.
에너지 최소화기(215)는 얼굴 모델 메쉬 및 얼굴의 깊이 맵 간의 차이를 기술하는 에너지 함수를 공식화 및 최소화하도록 구성된 모듈이다. 에너지 함수는 다음과 같이 정의될 수 있다.
Figure pct00020
여기서
Figure pct00021
는 θ하의 가시 정점 지수들의 세트이고,
Figure pct00022
은 포즈(θ)하의 n번째 정점의 위치이고,
Figure pct00023
는 2D이미지 도메인을 투사하고,
Figure pct00024
은
Figure pct00025
와 관련된 깊이 이미지에서 가장 가까운 픽셀의 깊이를 반환한다. 그러나,
Figure pct00026
는 부분(piecewise) 상수 매핑이며 일반적으로 최적화 동안 고정되어 있다. 따라서, 세트 O(θ)를 얻기 위해서는 명시적인 렌더링이 필요하고 함수에 불연속성이 부여된다. 따라서, 일단 각 정점이 특정 깊이 값과 연관되면 식 (6)은 평활 및 차별화될 수 있다. 이러한 경우, 포즈(θ)가 업데이트될 때마다 렌더링 및 명시적 대응이 닫힌 형태(closed form)로 재설정되어야 한다.
가시성 추정기(210)의 가시성 추정에 기초하여, 렌더링을 필요로 하지 않고 보다 효율적인 포즈 추정을 용이하게 하기 위해, 에너지 최소화기(215)는 가시성 항을 사용하여 명시적인 정점 세트 O(θ)에 대한 합(6)을 모든 정점{1,…, N}에 대한 합으로 대체하여 아래 식과 같이 개별 항을 턴온 및 턴 오프한다.
Figure pct00027
일부 실시예에서, 에너지 최소화기는
Figure pct00028
가
Figure pct00029
와 연관된 깊이 맵을 쌍입방적으로 보간하도록 하여, 에너지가 완전히 차별화되고 잘 정의될 수 있도록 한다. 일부 실시예에서, 이상값(outliers)을 핸들링하기 위해, 에너지 최소화기(215)는 임의의 평활한 강건한 커널(ψ)를 사용할 수 있다 :
Figure pct00030
랜드마크 모듈(220)은 인간 얼굴의 랜드마크로 지칭되는 차별적인 특징(예를 들어, 코끝, 눈 구석)을 검출하고 로컬화하도록 구성된 모듈이다. 랜드마크는 얼굴의 일반적인 정렬(alignment) 및 얼굴의 정체성과 표정을 추정하기 위한, 강력한 제약 조건을 제공한다. 그러나, 검출된 랜드마크는 약간 부정확할 수 있거나, 깊이 카메라(105)에 의해 직접 가시적이지 않은 경우 추정될 수 있어서, 이미지 도메인에 잔차가 발생한다. 따라서, 랜드마크 모듈(220)은 L개의 얼굴 랜드마크 (
Figure pct00031
), 신뢰 가중치(
Figure pct00032
) 및 관련 정점 인덱스(
Figure pct00033
)를 정의한다. 랜드마크 모듈(220)은 깊이 카메라(105)로부터의 얼굴의 거리로 인한 랜드마크의 변화를 감소시키는 에너지 함수을 최소화한다 :
Figure pct00034
여기서
Figure pct00035
는 얼굴의 평균 깊이이고, f는 깊이 카메라(105)의 초점 길이이다.
정규화기(225)는 정체성 및 표정 가중치를 조정하여 깊이 맵을 오버-피팅(over-fitting)하지 않도록 구성된 모듈이다. 정규화기(225)는 고유 벡터(블렌드 쉐이프)를 정규화하여 표준 정규 분포를 제공한다. 표정 계수는 일반적으로 가우시안 분포를 따르지 않지만, 정체성 파라미터는 거의 따른다. 정규화기(225)는 정체성 파라미터의 L2 놈(norm)을 최소화함으로써 통계적 정규화를 수행한다. 따라서 가중치 조정기(225)는 해들(solutions)이 다변량 정규 분포의 최대 우도 추정치(MLE)에 근접하도록 효과적으로 장려하는데, 이는 평균 얼굴이다. 정규화기(225)는 다음 식을 이용하여 통계적 정규화를 수행한다.
Figure pct00036
여기서 분포는 H 자유도를 갖는다. 이 제약 조건은 해(
Figure pct00037
)가 평균 얼굴로부터 거리(H)에서 "쉘(shell)"에 가깝게 유지되도록 효과적으로 장려하는데, 이는 대부분의 얼굴이 고차원인 곳이다.
일부 실시예에서, 정규화기(225)는 에너지에 아래의 시간 정규화 항을 추가함으로써 조인트 최적화 동안 θ의 엔트리 전체에 대한 시간 정규화를 통합한다.
Figure pct00038
여기서
Figure pct00039
는 쿼터니언 형태의 회전 파라미터의 서브 벡터이고,
Figure pct00040
는 이전 프레임의 해이다.
일부 실시예에서, 얼굴 추적 모듈(110)은 식(11)의 에너지 함수를 다음과 같은 M 제곱 잔차의 합으로서 재전송함으로써 식(11)의 에너지 함수를 최적화한다.
Figure pct00041
여기서
Figure pct00042
이다. 일부 실시예에서, 얼굴 추적 모듈(110)은 자코비안
Figure pct00043
을 계산하여 (가우스-뉴턴 업데이트의 변형인) 레벤버그(Levenberg) 업데이트를 다음과 같이 수행한다.
Figure pct00044
여기서 λ는 업데이트와 같이 매우 작은 구배 하강(gradient descent)을 달성하기 위해 단계들이 실패할 때 증가할 수 있는 감쇠 용어이다. 얼굴 추적 모듈(110)은 이전 프레임의 파라미터를 사용하여
Figure pct00045
을 초기화한다. 일부 실시예에서, 얼굴 추적 모듈(110)은 GPU에서 이 레벤버그 최적화를 수행한다. 얼굴 추적 모듈(110)은 최적화된 에너지에 기초하여 얼굴의 현재 포즈 추정(140)을 생성한다.
도 3은 본 개시의 적어도 하나의 실시예에 따른 포즈(310 및 320)에서 얼굴 모델 메쉬(305)의 정점들의 가시성을 추정하는 도 1 및 2의 얼굴 추적 모듈(110)을 도시한다. 얼굴 모델 메쉬(305)는 복수의 정점을 포함하고, 각각의 얼굴 추적 모듈(110)은 법선 벡터와 연관된다. 얼굴 모델 메쉬(305)가 정면의 대면 포즈(310)에 있는 도 3의 예에서, 가시성 추정기(210)는 법선 벡터(312, 314, 316 및 318)가 깊이 카메라(미도시)를 향하여 포인팅하는 정도를 추정한다. 이것은 얼굴이 대부분 볼록하다는 가정을 기반으로 하므로 일반적으로 카메라를 포인팅하는 법선 벡터들은 가시적인 것으로 가정할 수 있다. 이러한 가정은 코와 귀 옆에 있는 볼록하지 않은 영역 주위에서만 종종 위반된다.
깊이 카메라가 도 3을 대면하고 있다고 가정하면, 가시성 추정기(210)는 정점과 관련된 법선 벡터가 깊이 카메라를 향해 대면하거나 깊이 카메라로부터 멀어 지는 것으로 추정되는지에 기초하여 얼굴 모델 메쉬(305)의 각 정점에 값을 할당한다. 예를 들어, 90°는 깊이 카메라를 직접 대면하는(직교하는) 것으로 간주되고, -90°는 깊이 카메라로부터 직접 멀어지는 방향으로 대면하는 것으로 간주되는 경우, 가시성 추정기(210)는 정점과 관련된 법선 벡터가 깊이 카메라의 시점에서 가시적임을 나타내는 제1 값(예컨대, 1)을 할당하고, 정점과 관련된 법선 벡터가 깊이 카메라의 시점에서 가시적이지 않음을 나타내는 제2 값(예컨대, 0)을 할당한다.
따라서, 포즈(310)의 경우, 가시성 추정기(210)는 벡터(312)가 깊이 카메라에 대해 45°각도에 있고, 벡터(314)가 깊이 카메라에 대해 2°각도에 있고, 벡터(316)는 깊이 카메라에 대해 2°각도에 있으며, 벡터(318)는 깊이 카메라에 대해 10°각도에 있다고 추정한다. 가시성 추정기(210)는 각 벡터가 깊이 카메라를 포인팅하는 것으로 추정되기 때문에 각각의 벡터(312, 314, 316 및 318)와 관련된 정점에 1의 값을 할당한다.
그러나, 포즈(320)의 경우, 페이스 모델 메쉬(305)는 좌측으로 회전되어 있어, 가시성 추정기(210)는 벡터(312)가 깊이 카메라에 대해 10°각도에 있고, 벡터(314)는 깊이 카메라에 대해 20°각도에 있고, 벡터(316)는 깊이 카메라에 대해 -20°각도에 있으며, 벡터(318)는 깊이 카메라에 대해 -45°각도에 있다고 추정한다. 따라서, 가시성 추정기(210)는 벡터(312 및 314)가 깊이 카메라를 포인팅하는 것으로 추정되기 때문에, 각각의 벡터(312 및 314)와 관련된 정점에 1의 값을 할당한다. 그러나, 가시성 추정기는 벡터(316 및 318)가 깊이 카메라에서 멀어지는 쪽을 포인팅하는 것으로 정되기 때문에, 얼굴 모델 메쉬(305)가 포즈(320)에 있을 때 각각의 벡터(316 및 318)와 관련된 정점에 0의 값을 할당한다. 각 정점과 관련된 법선 벡터가 깊이 카메라를 향하거나 카메라로부터 멀어지는 것으로 추정되는지 여부에 기초하여 얼굴 모델 메쉬(305)의 정점들에 0 또는 1의 값을 할당함으로써, 얼굴 추적 모듈(110)은 얼굴 모델 메쉬(305)를 렌더링하지 않고 에너지 함수의 데이터 항들을 부드럽게 턴온 또는 오프할 수 있다.
도 4는 본 개시의 적어도 하나의 실시예에 따른 얼굴 포즈를 추정하는 방법(400)을 나타내는 흐름도이다. 블록(402)에서, 도 1 및 도 2의 얼굴 추적 모듈(110)은 깊이 카메라(105)로부터 캡처된 깊이 데이터를 수신한다. 블록(404)에서, 얼굴 추적 모듈(110)은 캡처된 깊이 데이터에 기초하여 얼굴(120)의 깊이 맵을 생성한다. 블록(406)에서, 가시성 추정기(210)는 얼굴 모델 메쉬(305)의 각 정점과 관련된 법선 벡터가 깊이 카메라(105)를 향하거나 깊이 카메라(105)로부터 멀어지는지의 추정에 기초하여 얼굴 모델 메쉬(305)의 각 정점의 가시성을 추정한다. 블록(408)에서, 정규화기(225)는 깊이 맵에 오버-피팅되는 것을 피하기 위해 얼굴 모델 메쉬(305)의 정체성 및 표정 가중치를 조정한다. 블록(410)에서, 에너지 최소화기(215)는 피처들이 한 픽셀에서 다른 픽셀로 이동함에 따라 깊이 맵의 픽셀을 쌍입방적으로 보간하여 에너지 함수을 평활한다. 블록(412)에서, 에너지 최소화기 (215)는 얼굴 모델 메쉬(305)를 깊이 맵에 피팅하는 에너지 함수를 정의하고 최소화한다. 일부 실시예에서, 에너지 최소화기(215)는 에너지 함수을 최적화하기 위해 현재 프레임 바로 직전의 깊이 카메라의 프레임의 포즈를 활용한다.
일부 실시예에서, 전술한 기술의 특정 양태는 소프트웨어를 실행하는 처리 시스템의 하나 이상의 프로세서에 의해 구현될 수 있다. 소프트웨어는 비-일시적 컴퓨터 판독 가능 저장 매체에 저장되거나 그렇지 않으면 유형적으로 구현된 하나 이상의 실행 가능 명령 세트를 포함한다. 소프트웨어는 하나 이상의 프로세서에 의해 실행될 때 전술한 기술들의 하나 이상의 양태를 수행하기 위해 하나 이상의 프로세서를 조작하는 명령 및 특정 데이터를 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체는 예를 들어, 자기 또는 광 디스크 저장 디바이스, 플래시 메모리와 같은 고체 상태 저장 디바이스, 캐시, 랜덤 액세스 메모리(RAM) 또는 다른 비 휘발성 메모리 디바이스(들)을 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체에 저장된 실행 가능 명령들은 소스 코드, 어셈블리 언어 코드, 오브젝트 코드, 또는 하나 이상의 프로세서에 의해 해석되거나 그렇지 않으면 실행 가능한 다른 명령 포맷일 수 있다.
컴퓨터 판독 가능 저장 매체는 명령 및/또는 데이터를 컴퓨터 시스템에 제공하기 위해 사용 중에 컴퓨터 시스템에 의해 액세스 가능한 임의의 저장 매체 또는 저장 매체의 조합을 포함할 수 있다. 이러한 저장 매체는 광학 매체(예를 들어, CD, DVD, 블루 레이 디스크), 자기 매체(예를 들어, 플로피 디스크, 자기 테이프 또는 자기 하드 드라이브), 휘발성 메모리(예를 들어, RAM 또는 캐시), 비-휘발성 메모리(예를 들어, ROM 또는 플래시 메모리) 또는 MEMS(microelectromechanical systems) 기반 저장 매체를 포함 할 수 있지만, 이에 한정되는 것은 아니다. 컴퓨터 판독 가능 저장 매체는 컴퓨팅 시스템(예를 들어, 시스템 RAM 또는 ROM)에 내장되거나, 컴퓨팅 시스템(예를 들어, 자기 하드 드라이브)에 고정적으로 부착되거나, 컴퓨팅 시스템(예를 들어, 광학 디스크 또는 USB 기반 플래시 메모리)에 착탈 가능하게 부착되거나 또는 유선 또는 무선 네트워크(예를 들어, 네트워크 액세스 가능 스토리지(NAS))를 통해 컴퓨터 시스템에 결합될 수 있다.
위에서 일반적인 설명으로 기술된 모든 활동 또는 요소가 요구되는 것은 아니며, 특정 활동이나 디바이스의 일부가 요구되지 않을 수 있으며, 설명된 것에 더하여 하나 이상의 추가 활동이 수행되거나 요소가 포함될 수 있음에 유의한다. 또한, 활동이 나열되는 순서는 반드시 그들이 수행되는 순서는 아니다. 또한, 개념들은 특정 실시예를 참조하여 기술되었다. 그러나, 당업자는 이하의 청구 범위에 설명된 바와 같이 본 발명의 범위를 벗어나지 않고 다양한 변경 및 변경이 이루어질 수 있음을 이해할 것이다. 따라서, 상세한 설명 및 도면은 제한적인 의미라기보다는 예시적인 것으로 간주되어야 하며, 그러한 모든 변경은 본 발명의 범위 내에 포함되는 것으로 의도된다.
이점, 다른 장점 및 문제에 대한 해결책이 특정 실시예와 관련하여 상술되었다. 그러나, 이점, 장점, 문제에 대한 해결책 및 임의의 이점, 장점 또는 해결책이 발생하거나 더 표명되도록 하는 임의의 특징(들)은 임의의 청구항 또는 모든 청구항의 결정적인, 요구되는 또는 필수적인 특징으로 해석되어서는 안된다. 더욱이, 위에서 설명된 특정 실시예는, 개시된 주제가 본 명세서의 교시의 이점을 갖는 당업자에게 상이하지만 등가 방식으로 명백하게 변경 및 실시될 수 있기 때문에, 단지 예시적인 것이다. 아래의 청구 범위에 기술된 것 이외의 본 명세서에 도시된 구성 또는 설계의 세부 사항에 제한은 없다. 따라서, 위에서 개시된 특정 실시예는 변경되거나 변경될 수 있으며, 모든 이러한 변경은 개시된 주제의 범위 내에서 고려되는 것이 명백하다. 따라서, 본 명세서에서 요구되는 보호는 이하의 청구 범위에 설명된 바와 같다.

Claims (20)

  1. 방법으로서,
    깊이 카메라에서, 얼굴의 깊이 이미지를 캡처하는 단계와, 상기 깊이 이미지는 복수의 포인트를 포함하는 3 차원 포인트 클라우드를 포함하고;
    프로세서에서, 3D 포인트 클라우드에 기초하여 얼굴의 깊이 맵을 생성하는 단계와, 상기 깊이 맵은 복수의 픽셀을 포함하고; 그리고
    프로세서에서, 복수의 정점을 포함하는 얼굴 모델 메쉬를 깊이 맵에 피팅함으로써 얼굴의 포즈를 추정하는 단계를 포함하고, 상기 피팅은,
    얼굴 모델 메쉬의 어느 정점이 깊이 카메라의 시점에서 가시적인지 추정하는 단계; 및
    깊이 맵의 각 픽셀로부터 얼굴 모델 메쉬의 정점들의 서브 세트의 대응하는 정점까지의 거리에 기초하여 에너지 함수를 최소화하는 단계를 포함하고, 상기 서브 세트는 깊이 카메라의 시점에서 가시적인 것으로 추정되는 정점들만을 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 깊이 카메라의 시점에서 얼굴 모델 메쉬의 어느 정점들이 가시적인지 추정하는 단계는 얼굴 모델 메쉬가 대부분(largely) 볼록한 것으로 가정하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 얼굴 모델 메쉬의 어느 정점이 깊이 카메라의 시점에서 가시적인지 추정하는 단계는 얼굴 모델 메쉬의 각 정점에 수직인 벡터가 깊이 카메라를 향하거나 깊이 카메라로부터 멀어지는 정도를 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 얼굴 모델 메쉬는,
    얼굴 모델 메쉬를 깊이 맵에 피팅하기 위해 얼굴 모델 메쉬의 정점들을 유연하게(non-rigidly) 변형시키는 방법을 나타내는 표정 가중치에 의해 파라미터화되고, 상기 얼굴의 포즈를 식별하는 단계는 표정(express) 가중치를 조정하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 얼굴 모델 메쉬는,
    얼굴 모델 메쉬를 깊이 맵에 피팅하기 위해 얼굴 모델 메쉬의 정점들을 유연하게 변형시키는 방법을 나타내는 정체성(identity) 계수들에 의해 파라미터화되는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 깊이 이미지와 관련된 깊이 맵의 픽셀들을 쌍입방적으로(bicubically) 보간하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 깊이 맵의 평균 깊이와 상기 깊이 카메라의 초점 길이에 기초하여 포즈 추정과 얼굴 랜드마크의 추정 사이의 차이를 정규화하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 방법으로서,
    프로세서에서, 깊이 카메라에서 캡처된 얼굴의 깊이 이미지에 기초하여 얼굴의 깊이 맵을 생성하는 단계와, 상기 깊이 맵은 복수의 픽셀을 포함하고;
    프로세서에서, 깊이 맵의 각 픽셀 및 모델 얼굴 메쉬를 포함하는 복수의 정점의 서브 세트 사이의 거리에 기초하여 에너지 함수를 최소화하는 단계와, 상기 서브 세트는 깊이 카메라의 시점에서 가시적인 것으로 추정되는 정점들만을 포함하고; 그리고
    프로세서에서, 최소화된 에너지 함수를 생성하는 모델 얼굴 메쉬의 포즈에 기초하여 얼굴의 현재 포즈를 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    프로세서에서, 얼굴 모델 메쉬가 대부분 볼록한 것으로 가정하는 것에 기초하여 얼굴 모델 메쉬의 어느 정점이 깊이 카메라의 시점에서 가시적인지 추정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 얼굴 모델 메쉬의 어느 정점이 깊이 카메라의 시점에서 가시적인지 추정하는 단계는 얼굴 모델 메쉬의 각 정점에 수직인 벡터가 깊이 카메라를 향하거나 깊이 카메라로부터 멀어지는 정도를 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제8항에 있어서,
    상기 얼굴 모델 메쉬는,
    얼굴 모델 메쉬를 깊이 맵에 피팅하기 위해 얼굴 모델 메쉬의 정점들을 유연하게 변형시키는 방법을 나타내는 표정 가중치에 의해 파라미터화되고, 상기 얼굴의 포즈를 식별하는 단계는 표정 가중치를 조정하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제8항에 있어서,
    상기 얼굴 모델 메쉬는
    얼굴 모델 메쉬를 깊이 맵에 피팅하기 위해 얼굴 모델 메쉬의 정점들을 유연하게 변형시키는 방법을 나타내는 정체성 계수들에 의해 파라미터화되는 것을 특징으로 하는 방법.
  13. 제8항에 있어서,
    상기 깊이 맵의 픽셀들을 쌍입방적으로 보간하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 전자 디바이스로서,
    사용자의 얼굴의 깊이 이미지를 캡처하는 사용자-대향 깊이 카메라, 각각의 깊이 이미지는 복수의 포인트를 포함하는 3차원 포인트 클라우드를 포함하고; 및
    프로세서를 포함하고, 상기 프로세서는,
    3D 포인트 클라우드에 기초하여 얼굴의 깊이 맵을 생성하고, 상기 깊이 맵은 복수의 픽셀을 포함하고; 그리고
    복수의 정점을 포함하는 얼굴 모델 메쉬를 깊이 맵에 피팅함으로써 얼굴의 포즈를 추정하도록 구성되고, 상기 피팅은,
    얼굴 모델 메쉬의 어느 정점이 깊이 카메라의 시점에서 가시적인지 추정하는 단계와; 그리고
    깊이 맵의 각 픽셀로부터 얼굴 모델 메쉬의 정점들의 서브 세트의 대응하는 정점까지의 거리에 기초하여 에너지 함수를 최소화하는 단계를 포함하며, 상기 서브 세트는 깊이 카메라의 시점에서 가시적인 것으로 추정되는 정점들만을 포함하는 것을 특징으로 하는 전자 디바이스.
  15. 제14항에 있어서,
    상기 얼굴 모델 메쉬의 어느 정점이 깊이 카메라의 시점에서 가시적인지 추정하는 단계는 얼굴 모델 메쉬가 대부분 볼록한 것으로 가정하는 단계를 포함하는 것을 특징으로 하는 전자 디바이스.
  16. 제14항에 있어서,
    상기 얼굴 모델 메쉬의 어느 정점이 깊이 카메라의 시점에서 가시적인지 추정하는 단계는 얼굴 모델 메쉬의 각 정점에 수직인 벡터가 깊이 카메라를 향하거나 깊이 카메라로부터 멀어지는 정도를 추정하는 단계를 포함하는 것을 특징으로 하는 전자 디바이스.
  17. 제14항에 있어서,
    상기 얼굴 모델 메쉬는,
    얼굴 모델 메쉬를 깊이 맵에 피팅하기 위해 얼굴 모델 메쉬의 정점들을 유연하게 변형시키는 방법을 나타내는 표정 가중치에 의해 파라미터화되고, 상기 얼굴의 포즈를 식별하는 것은 표정 가중치를 조정하는 것을 포함하는 것을 특징으로 하는 전자 디바이스.
  18. 제14항에 있어서,
    상기 얼굴 모델 메쉬는,
    얼굴 모델 메쉬를 깊이 맵에 피팅하기 위해 얼굴 모델 메쉬의 정점들을 유연하게 변형시키는 방법을 나타내는 정체성 계수들에 의해 파라미터화되는 것을 특징으로 하는 전자 디바이스.
  19. 제14항에 있어서,
    상기 깊이 이미지와 관련된 깊이 맵의 픽셀들을 쌍입방적으로 보간하는 단계를 더 포함하는 것을 특징으로 하는 전자 디바이스.
  20. 제14항에 있어서,
    상기 프로세서는
    상기 깊이 맵의 평균 깊이와 상기 깊이 카메라의 초점 길이에 기초하여 포즈 추정과 얼굴 랜드마크의 추정 사이의 차이를 정규화하도록 더 구성되는 것을 특징으로 하는 전자 디바이스.
KR1020197029061A 2017-06-07 2018-06-07 고속, 고성능 얼굴 추적 KR102376948B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762516646P 2017-06-07 2017-06-07
US62/516,646 2017-06-07
PCT/US2018/036528 WO2018227001A1 (en) 2017-06-07 2018-06-07 High speed, high-fidelity face tracking
US16/002,595 US10824226B2 (en) 2017-06-07 2018-06-07 High speed, high-fidelity face tracking
US16/002,595 2018-06-07

Publications (2)

Publication Number Publication Date
KR20200015459A true KR20200015459A (ko) 2020-02-12
KR102376948B1 KR102376948B1 (ko) 2022-03-21

Family

ID=64563496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197029061A KR102376948B1 (ko) 2017-06-07 2018-06-07 고속, 고성능 얼굴 추적

Country Status (5)

Country Link
US (1) US10824226B2 (ko)
EP (1) EP3593323B1 (ko)
KR (1) KR102376948B1 (ko)
CN (1) CN110476186B (ko)
WO (1) WO2018227001A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754573B (zh) * 2020-05-19 2024-05-10 新拓三维技术(深圳)有限公司 一种扫描方法及系统
CN112686978B (zh) * 2021-01-07 2021-09-03 网易（杭州）网络有限公司 表情资源的加载方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040034606A (ko) * 2001-05-09 2004-04-28 인텔 코오퍼레이션 단안 얼굴 트래킹을 위해 데이터 구동형 모델을 사용하는시스템 및 방법
JP2013156680A (ja) * 2012-01-26 2013-08-15 Kumamoto Univ フェーストラッキング方法、フェーストラッカおよび車両

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2415344B (en) * 2004-06-14 2010-10-06 Canon Europa Nv Texture data compression and rendering in 3D computer graphics
US8477147B2 (en) * 2008-04-01 2013-07-02 The United States Of America, As Represented By The Secretary Of The Navy Methods and systems of comparing face models for recognition
CN104322060B (zh) * 2012-03-28 2017-07-28 英特尔公司 用于深度图的低等待时间变形的系统、方法和装置
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
CN103198523B (zh) * 2013-04-26 2016-09-21 清华大学 一种基于多深度图的非刚体三维重建方法及系统
US9524582B2 (en) * 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
CN105023280A (zh) 2015-08-21 2015-11-04 武汉汇思聚创信息技术有限公司 一种基于3d骨架建模的检测方法
US20180286071A1 (en) * 2017-03-30 2018-10-04 Body Surface Translations Inc. Determining anthropometric measurements of a non-stationary subject
US20180330496A1 (en) * 2017-05-11 2018-11-15 Siemens Healthcare Gmbh Generation Of Personalized Surface Data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040034606A (ko) * 2001-05-09 2004-04-28 인텔 코오퍼레이션 단안 얼굴 트래킹을 위해 데이터 구동형 모델을 사용하는시스템 및 방법
JP2013156680A (ja) * 2012-01-26 2013-08-15 Kumamoto Univ フェーストラッキング方法、フェーストラッカおよび車両

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Nikolai Smolyanskiy et al, Real-time 3D face tracking based on active appearance model constrained by depth data, Image and Vision Computing.(2014.08.10.) *
Songnan Li et al, Real-Time Head Pose Tracking with Online Face Template Reconstruction, IEEE PAMI.(2016.09.) *
Thibaut Weise et al, Face/Off: Live Facial Puppetry, ACM SIGGRAPH SCA.(2009.08.01.) *

Also Published As

Publication number Publication date
CN110476186A (zh) 2019-11-19
CN110476186B (zh) 2020-12-29
EP3593323A1 (en) 2020-01-15
EP3593323B1 (en) 2020-08-05
KR102376948B1 (ko) 2022-03-21
US10824226B2 (en) 2020-11-03
US20180356883A1 (en) 2018-12-13
WO2018227001A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
US10832488B2 (en) Optimizing head mounted displays for augmented reality
US9830715B2 (en) Method for determining a parameter set designed for determining the pose of a camera and/or for determining a three-dimensional structure of the at least one real object
JP6502370B2 (ja) 適応ホモグラフィ写像に基づく視線追跡
US10937182B2 (en) Non-rigid alignment for volumetric performance capture
US11030773B2 (en) Hand tracking based on articulated distance field
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
US10839539B2 (en) System and method for active stereo depth sensing
JP2016522485A (ja) 再構成からの隠消現実感効果および媒介現実感効果
JP7441917B2 (ja) 顔に対する射影歪み補正
KR102376948B1 (ko) 고속, 고성능 얼굴 추적
US11069121B2 (en) Methods, devices and computer program products for creating textured 3D images
Chen et al. Depth recovery with face priors
CN110800024B (zh) 用于估计手的当前姿势的方法和电子装置
CN110785790A (zh) 体积性能捕获的非刚性对齐

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant