KR20160030203A - 3-차원 페이스 모델을 생성하기 위한 시스템들 및 방법들 - Google Patents

3-차원 페이스 모델을 생성하기 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20160030203A
KR20160030203A KR1020167002328A KR20167002328A KR20160030203A KR 20160030203 A KR20160030203 A KR 20160030203A KR 1020167002328 A KR1020167002328 A KR 1020167002328A KR 20167002328 A KR20167002328 A KR 20167002328A KR 20160030203 A KR20160030203 A KR 20160030203A
Authority
KR
South Korea
Prior art keywords
depth map
inverse depth
matrix
inverse
image
Prior art date
Application number
KR1020167002328A
Other languages
English (en)
Inventor
펑 궈
닝 비
잉용 치
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160030203A publication Critical patent/KR20160030203A/ko

Links

Images

Classifications

    • G06T7/0075—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

3 차원 페이스 생성을 위한 방법이 설명된다. 역 심도 맵은 심도 맵 및 인버팅된 제 1 행렬에 기초하여 계산된다. 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성된다. 역 심도 맵은 이미지 보정에 의해 야기된 심도 맵에서의 왜곡들을 정정하기 위해 정규화된다. 3 차원 페이스 모델은 심도 맵 및 2 개의 이미지들 중 하나에 기초하여 생성된다.

Description

3-차원 페이스 모델을 생성하기 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR PRODUCING A THREE-DIMENSIONAL FACE MODEL}
본 개시물은 일반적으로 전자 디바이스들에 관한 것이다. 보다 구체적으로, 본 개시물은 3-차원 (3D) 페이스 모델을 생성하기 위한 시스템들 및 방법들에 관한 것이다.
지난 수십 년간, 전자 디바이스들의 사용이 흔해지고 있다. 특히, 전자 기술에서의 진보들은 점점 더 복잡하고 유용한 전자 디바이스들의 비용을 감소시키고 있다. 비용 감소 및 소비자 요구는 전자 디바이스들의 사용을 급증시켜, 이 디바이스들이 현대 사회에서 실제적으로 흔해지도록 한다. 전자 디바이스들의 사용이 확장됨에 따라, 따라서 전자 디바이스들의 새롭고 개선된 피처들이 요구된다. 보다 구체적으로, 새로운 기능들을 수행하고/하거나 더 빠르고, 더 효율적으로 또는 더 높은 품질로 기능들을 수행하는 전자 디바이스들이 종종 수요가 많아진다.
일부 전자 디바이스들 (예를 들어, 카메라들, 비디오 캠코더들, 디지털 카메라들, 셀룰러 폰들, 스마트 폰들, 컴퓨터들, 텔레비전들 등) 은 이미지들을 캡처 또는 활용한다. 예를 들어, 디지털 카메라는 디지털 이미지를 캡처할 수도 있다.
전자 디바이스들의 새로운 및/또는 개선된 피처들은 종종 수요가 많아진다. 이 논의로부터 관측될 수 있는 바와 같이, 전자 디바이스들의 새로운 및/또는 개선된 피처들을 추가하는 시스템들 및 방법들이 이로울 수도 있다.
3-차원 페이스 생성을 위한 방법이 설명된다. 역 심도 맵은 심도 맵 및 인버팅된 제 1 행렬에 기초하여 계산된다. 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성된다. 역 심도 맵은 이미지 보정 (image rectification) 에 의해 야기된 심도 맵에서의 왜곡들을 정정하도록 정규화된다. 3-차원 페이스 모델은 역 심도 맵 및 2 개의 이미지들 중 하나에 기초하여 생성된다.
2 개의 이미지들 중 제 1 이미지에 대응하는 제 1 행렬이 획득될 수도 있다. 2 개의 이미지들 중 제 2 이미지에 대응하는 제 2 행렬이 획득될 수도 있다. 제 1 행렬은 제 1 이미지에 적용되어 제 1 보정된 이미지를 획득할 수도 있다. 제 2 행렬은 제 2 이미지에 적용되어 제 2 보정된 이미지를 획득할 수도 있다. 제 1 행렬은 제 1 이미지에 대응하는 호모그래픽 행렬일 수도 있고, 제 2 행렬은 제 2 이미지에 대응하는 호모그래픽 행렬일 수도 있다.
역 심도 맵을 계산하는 것은 제 1 행렬을 인버팅하여 인버팅된 제 1 행렬을 획득하는 것 및 인버팅된 제 1 행렬을 심도 맵에 적용하는 것을 포함할 수도 있다. 심도 맵은 제 1 보정된 이미지 및 제 2 보정된 이미지로부터 결정될 수도 있다. 기본 행렬은 2 개의 이미지들로부터 결정될 수도 있다. 제 1 행렬 및 제 2 행렬을 획득하는 것은 기본 행렬을 분해하는 것을 포함할 수도 있다.
2 개의 이미지들은 사람 얼굴에 대한 상이한 시각 (perspective) 일 수도 있다. 역 심도 맵을 정규화하는 것은 역 심도 맵에서 픽셀들의 서브세트를 정규화하는 것을 포함할 수도 있다. 역 심도 맵을 정규화하는 것은 역 심도 맵을 회전, 틸트 및 스케일링하는 것 중 하나를 포함할 수도 있다.
역 심도를 틸트하는 것은, 역 심도 맵의 서브세트 선택물에서 픽셀들의 각 컬럼에 대한 심도 미분값 (derivative) 들을 결정하는 것, 서브세트 선택물에 대한 모든 심도 미분값들의 평균 값을 결정하는 것, 평균 값을 임계 값에 비교하는 것 및 이 비교에 기초하여 역 심도 맵을 틸트하는 것을 포함할 수도 있다. 서브세트 선택물은 직사각형 영역을 포함할 수도 있다. 서브세트 선택물은 제 1 영역 및 제 2 영역을 포함할 수도 있다. 임계 값에 평균 값을 비교하는 것은 또한, 제 1 영역의 평균 값과 제 2 영역의 평균 값 간의 차이를 임계 값에 비교하는 것을 포함할 수도 있다.
역 심도 맵을 회전시키는 것은, 역 심도 맵에서 대칭적 피처들을 검출하는 것으로서, 대칭적 피처들은 좌측 피처 및 우측 피처를 갖는, 상기 대칭적 피처들을 검출하는 것, 및 좌측 피처 및 우측 피처를 수평 레벨로 만드는 것에 비례적으로 역 심도 맵을 조정하는 것을 포함할 수도 있다.
역 심도 맵을 스케일링하는 것은, 역 심도 맵에서 대칭적 피처들을 검출하는 것으로서, 대칭적 피처들은 좌측 피처 및 우측 피처를 갖는, 상기 대칭적 피처들을 검출하는 것, 및 역 심도 맵을 조정하여 좌측 피처 및 우측 피처를 균등한 비율로 그리고 동일한 심도 레벨에서 만드는 것을 포함할 수도 있다.
3-차원 페이스 생성을 위한 장치가 또한, 설명된다. 장치는 프로세서, 및 프로세서와 전자 통신하는 메모리에 저장된 실행 가능한 명령들을 포함한다. 장치는 심도 맵 및 인버팅된 제 1 행렬에 기초하여 역 심도 맵을 계산한다. 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성된다. 장치는 또한, 이미지 보정에 의해 야기된 심도 맵에서 왜곡들을 정정하기 위해 역 심도 맵을 정규화한다. 장치는 또한, 2 개의 이미지들 중 하나 및 역 심도에 기초하여 3-차원 페이스 모델을 생성한다.
3-차원 페이스 생성을 위한 다른 장치가 설명된다. 장치는 심도 맵 및 인버팅된 제 1 행렬에 기초하여 역 심도 맵을 계산하기 위한 수단을 포함한다. 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성된다. 장치는 또한, 이미지 보정에 의해 야기된 심도 맵에서 왜곡들을 정정하기 위해 역 심도 맵을 정규화하기 위한 수단을 포함한다. 장치는 또한, 2 개의 이미지들 중 하나 및 역 심도 맵에 기초하여 3-차원 페이스 모델을 생성하기 위한 수단을 더 포함한다.
3-차원 페이스 생성을 위한 컴퓨터 프로그램 제품이 설명된다. 컴퓨터 프로그램 제품은 명령들을 갖는 비일시적 컴퓨터 판독가능 매체를 포함한다. 명령들은 전자 디바이스로 하여금 심도 맵 및 인버팅된 제 1 행렬에 기초하여 역 심도 맵을 계산하게 하는 코드를 포함한다. 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성된다. 명령들은 또한, 전자 디바이스로 하여금 이미지 보정에 의해 야기된 심도 맵에서 왜곡들을 정정하기 위해 역 심도 맵을 정규화하게 하는 코드를 포함한다. 명령들은, 전자 디바이스로 하여금 2 개의 이미지들 중 하나 및 역 심도 맵에 기초하여 3-차원 페이스 모델을 생성하게 하는 코드를 더 포함한다.
도 1 은 3-차원 (3D) 페이스 모델을 생성하는 컴포넌트들을 예시하는 블록도이다.
도 2 는 역 심도 맵을 생성하는 프로세스를 예시한다.
도 3 은 3D 페이스 모델을 생성하는 방법을 예시하는 흐름도이다.
도 4 는 2 개의 틸트된 이미지들을 예시한다.
도 5 는 3D 페이스 모델을 생성하는 다른 방법을 예시하는 흐름도이다.
도 6 은 역 심도 맵을 틸트하는 방법을 예시하는 흐름도이다.
도 7 은 역 심도 맵을 정규화하는 프로세스를 예시한다.
도 8 은 3D 페이스 모델을 생성하는 다른 방법을 예시하는 흐름도이다.
도 9 는 역 심도 맵을 정규화하는 (normalizing) 방법을 예시하는 흐름도이다.
도 10 은 전자 디바이스 내에 포함될 수도 있는 소정 컴포넌트들을 예시한다.
3-차원 (3D) 페이스 모델은 가상 현실 및 페이스 인식과 같은 상이한 애플리케이션들에 대해 사용될 수 있다. 3D 모델들은 2-차원 (2D) 이미지들의 세트로부터 생성될 수도 있다. 예를 들어, 페이스의 이미지를 디스플레이하는 2D 픽처들의 세트가 사용되어 페이스의 3D 렌더링을 생성할 수도 있다. 예를 들어, 폰에 의해 캡처된 2 개의 이미지들을 사용하는 3D 페이스 모델 복원은 스튜디오 환경들에 비해 저-비용의 솔루션을 제공할 수도 있다.
하나의 알려진 접근에서, 3D 페이스 모델은 2 개의 스테레오 이미지들로부터 구성된다. 이 접근에서, 카메라 교정은 필요 없다. 그러나, 이 접근은 에피폴라 (epipolar) 지오메트리를 사용하여 심도를 직접적으로 추정한다. 2 개의 이미지들 간에 대응하는 에피폴라 라인들을 찾기 위해서, 화이트 보드 전방에서 페이스 이미지들을 취하는 것이 요구된다. 화이트 보드 상에서, 블랙 직사각형이 포함되어야 하고, 타겟 페이스의 높이가 블랙 직사각형 내에 피팅하도록 위치된다. 이 접근에서, 이미지들은 직사각형의 4 개의 코너들 상에서 임의의 극도의 컬러 (extreme color) 에 대해 수동으로 핸드-코딩되어야 한다. 따라서, 이 접근은 제한된 애플리케이션들을 갖고, 실질적인 사용자 상호작용을 요구한다.
다른 알려진 스테레오 카메라-기반 3D 페이스 복원 접근들에서, 스테레오 카메라 하드웨어 및 카메라는 교정을 요구한다. 카메라 교정은 복잡하고, 비용이 많이 들며 시간 소모적일 수 있고, 이것은 실질적인 사용자 상호작용을 요구할 수도 있다.
다른 알려진 접근에서, 일반적인 페이스 모델 및 여러 2D 페이스 이미지들이 사용되어 3D 페이스를 구성한다. 얼굴 특징 (facial feature) 들이 정합되고, 일반적인 페이스 모델이 이들 특징 포인트들에 피팅된다. 페이스 심도의 구조가 그 후, 계산된다. 그러나, 이 접근은 일반적인 페이스 모델의 아키텍처, 얼굴 특징 검출 등에 의존한다. 이 접근은 대상의 자연스러운 페이스를 캡처하지 않을 수도 있다. 다시 말해, 이 접근은 이것을 일반적인 페이스 모델에 적용하는데 있어서 대상의 페이스를 왜곡할 수도 있다.
유사하게, 단일 뷰 카메라를 이용한 3D 페이스 복원을 수반하는 다른 알려진 접근에서, 단일의 2D 이미지를 사용하여 페이스가 3D 구조로 복원된다. 이 접근은 예시의 패치들을 포함하는 객체들 (예를 들어, 페이스 모델들) 의 데이터베이스를 이용한다. 이 접근에서, 실제로 사용된 데이터 세트들은 정확한 복원들을 위해 쿼리와 충분히 유사한 객체들의 제시를 보장하지 않는다.
많은 현재의 3D 이미지-생성 방법들은, 그러나 3D 페이스 모델로서 렌더링되는 경우 대상의 페이스에 왜곡들을 야기하는 이미지 보정 (rectification) 프로세스를 사용한다. 이미지 보정은 일반적으로, 2D 이미지들의 쌍 간의 대응하는 포인트들의 세트의 검출 및 매칭을 포함한다. 이 접근 하에서, 보정된 이미지들은 비뚤어지거나 왜곡된 채로 있다. 다른 접근들에서, 이미지 보정에 의해 야기된 왜곡을 제거하기 위해 수동적인 수정들 및 정정들이 요구된다.
따라서, 본 시스템들 및 방법들은, 예를 들어 단일 카메라에 의해 취해진 2 개의 2D 이미지들로부터 3D 페이스 모델을 자동으로 생성하기 위한 개선된 방법들 및 구성들을 제공할 수도 있다. 일부 구성들에서, 최소의 사용자 상호작용으로 이미지 왜곡을 자동으로 정정하기 위해 역행렬이 이용될 수도 있다. 일부 구성들에서, 회전, 틸트 및 스케일링이 이미지 왜곡을 정정할 수도 있다. 3D 페이스 생성 및 3D 페이스 모델을 생성하기 위한 시스템들 및 방법들이 이하에서 더 상세히 설명된다.
도 1 은 3D 페이스 모델을 생성하기 위한 컴포넌트들을 예시하는 방법 (100) 의 블록도이다. 각각의 컴포넌트는 하드웨어 또는 소프트웨어에서 구현될 수도 있다. 예를 들어, 도 1 은 전자 디바이스 (미도시) 상에서 구현될 수도 있다. 전자 디바이스들의 예들은 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 디바이스들, 이-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 이들 디바이스들 중 일부는 하나 이상의 산업 표준들에 따라 동작할 수도 있다.
도 1 의 컴포넌트들은 이미지 수신기 (102), 피처 검출기/정합기 (104), 기초행렬 추정기 (106), 호모그래픽 행렬 분해기 (108), 이미지 보정기 (110), 심도 추정기 (112) 및 3D 페이스 모델러 (114) 를 포함한다. 도 1 은 또한, 호모그래픽 행렬 인버터 (116), 역 심도 맵 계산기 (118), 역 심도 맵 노멀라이저 (120) 및 대칭적 피처 검출기 (122) 를 예시한다. 이 컴포넌트들은 단일 디바이스 상에서 구현될 수도 있거나, 다수의 디바이스들 상에서 구현될 수도 있다. 이들 컴포넌트들 각각은 이하에서 더 상세히 논의될 것이다.
이미지 수신기 (102) 는 대상의 페이스의 2 개의 이미지들 (예를 들어, 원시 (raw) 데이터) 을 수신할 수도 있다. 2 개의 이미지들은 페이스에 대한 상이한 시각일 수도 있다. 다시 말해, 이미지들은, 2 개의 이미지들에서의 픽셀들이 수직으로 그리고 수평으로 상이하도록 될 수도 있다. 일 구성에서, 이미지 수신기 (102) 는 2 개의 픽처들을 취하는 단일 카메라일 수도 있다. 제 1 픽처 및 제 2 픽처는 동일한 수평 레벨에서 취해질 수도 있지만, 카메라는 수평 축을 따라 좌측 또는 우측으로 약간 이동 또는 회전되어, 약간 상이한 이미지들을 생성할 수도 있다.
다른 구성에서, 이미지 수신기 (102) 는 외부 디바이스로부터 이미지 입력을 수신하는 모듈일 수도 있다. 예를 들어, 이미지 수신기 (102) 는 전자 디바이스 상에서 구현될 수도 있고, 카메라 폰 또는 태블릿 디바이스에 의해 취해진 이미지를 수신할 수도 있다. 일부 구성들에서, 이미지 수신기 (102) 는 이미지들의 세트를 캡처하는 동일한 전자 디바이스 상에 위치될 수도 있다.
피처 검출기/정합기 (104) 는 제 1 이미지의 픽셀들을 제 2 이미지의 대응하는 픽셀들과 상관시킬 수도 있다. 예를 들어, 피처 검출기/정합기 (104) 는 2 개의 이미지들 각각에서 얼굴 특징들, 예컨대 눈, 코, 입 등을 검출하고, 제 1 이미지에서 하나의 특징으로부터의 픽셀들을 제 2 이미지에서 동일한 특징의 대응하는 픽셀들에 정합시킨다.
기본 행렬 추정기 (106) 는 기본 행렬 (H) 을 생성할 수도 있다. 기본 행렬은 스테레오 이미지들의 대응하는 포인트들, 예를 들어 2 개의 이미지들의 세트에 관련되는 3×3 행렬일 수도 있다. 기본 행렬은 2 개의 이미지들 간의 다수의 정합된 피처들, 포인트들 또는 픽셀들에 기초하여 추정될 수도 있다. 일반적으로, 기본 행렬은 적어도 7 개의 대응하는 포인트들에 기초하여 추정될 수도 있으나, 더 많거나 더 적은 대응하는 포인트들이 기본 행렬을 추정하는데 이용될 수도 있다.
일부 구성들에서, 행렬 추정기는, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 행렬의 다른 타입을 생성할 수도 있다. 다시 말해, 기본 행렬 외에 2 개의 스테레오 이미지들로부터 생성되는 행렬의 다른 타입이 사용될 수도 있다.
호모그래픽 행렬 분해기 (108) 는 예를 들어, 3×3 호모그래픽 행렬과 같은 기본 행렬로부터 하나 이상의 호모그래픽 (즉, 사영 변환 (projective transformation)) 행렬들을 분해할 수도 있다. 호모그래픽 행렬은 2 개의 이미지들 간의 카메라의 회전 및 변위 정보를 제공할 수도 있다. 호모그래픽 행렬들의 쌍, 예컨대 제 1 호모그래픽 행렬 (P L ) 및 제 2 호모그래픽 행렬 (P R ) 이 기본 행렬로부터 분해될 수도 있다. 제 1 호모그래픽 행렬은 제 1 이미지에 대응할 수도 있고, 제 2 호모그래픽 행렬은 제 2 이미지에 대응할 수도 있다.
이미지 보정기 (110) 는 2 개의 이미지들을 공통의 이미지 평면 위로 투영함으로써 2 개의 이미지들을 보정할 수도 있다. 예를 들어, 이미지 보정기 (110) 는 제 1 호모그래픽 행렬을 제 1 이미지에, 그리고 제 2 호모그래픽 행렬을 제 2 이미지에 적용할 수도 있다. 이미지 보정기 (110) 는 보정된 이미지들 (예를 들어, 제 1 보정된 이미지 및 제 2 보정된 이미지) 을 생성할 수도 있다. 일부 구성들에서, 이미지 보정기 (110) 는, 대응하는 포인트들이 동일한 로우 (row) 좌표들을 갖는 그러한 방식으로 광심 (optical center) 들 간의 라인에 평행한 공통의 이미지 평면 위로 투영한다. 이 방식에서, 2D 스테레오 관련성 (correspondence) 과 연관된 문제는 1 차원 (1D) 문제로 감소된다.
심도 추정기 (112) 는 심도 맵을 결정할 수도 있다. 심도 맵은 카메라와 같은 뷰포인트로부터 장면 객체들의 표면들의 거리에 관련된 정보를 포함하는 이미지 채널 또는 이미지일 수도 있다. 심도 맵은 2 개의 보정된 이미지들 간의 심도들에서의 차이를 나타내는 심도 값들을 제공할 수도 있다. 심도 추정기 (112) 는 2 개의 보정된 이미지들의 세트로부터 심도 맵을 생성할 수도 있다.
3D 페이스 모델러 (114) 는 2 개의 이미지들 중 하나 및 심도 맵에 기초하여 3D 페이스 모델을 생성할 수도 있다. 예를 들어, 3D 페이스 모델러 (114) 는 이미지에서 검출된 피처들을 심도 맵과 정렬시킬 수도 있다. 일부 구성들에서, 3D 페이스 모델러 (114) 는 3D 페이스 모델을 생성하는데 있어서 역 심도 맵을 이용할 수도 있다.
호모그래픽 행렬 인버터 (116) 는 호모그래픽 행렬을 인버팅할 수도 있다. 호모그래픽 행렬 인버터 (116) 는 인버팅된 호모그래픽 행렬, 예컨대 3×3 인버팅된 호모그래픽 행렬을 획득하도록 호모그래픽 행렬을 인버팅할 수도 있다. 호모그래픽 행렬 인버터 (116) 는 인버팅된 제 1 호모그래픽 행렬 (P L -1 ) 및 인버팅된 제 2 호모그래픽 행렬 (P R -1 ) 을 획득할 수도 있다.
역 심도 맵 계산기 (118) 는 역 심도 맵을 계산 또는 맵핑할 수도 있다. 예를 들어, 역 심도 맵 계산기 (118) 는 인버팅된 호모그래픽 행렬에 심도 맵을 맵핑하여 역 심도 맵을 획득할 수도 있다. 역 심도 맵은 이미지 보정에 의해 야기된 심도 맵에서의 일부 왜곡들을 정정할 수도 있다.
역 심도 맵 노멀라이저 (120) 는 역 심도 맵을 조정 및 정규화할 수도 있다. 정규화들은 역 심도 맵을 틸트, 회전, 스케일링하는 것을 포함할 수도 있다. 예를 들어, 역 심도 맵 노멀라이저 (120) 는 역 심도 맵에서의 왜곡들을 검출하고, 이에 따라 조정들을 수행할 수도 있다. 일부 구성들에서, 역 심도 맵 노멀라이저 (120) 는 역 심도 맵에서 픽셀들의 서브세트를 조정할 수도 있다. 일부 구성들에서, 역 심도 맵 노멀라이저 (120) 는 비-인버팅된 심도 맵을 정규화할 수도 있다. 다시 말해, 역 심도 맵 노멀라이저 (120) 는 심도 맵 (242) 을 직접적으로 정규화할 수도 있다.
대칭적 피처 검출기 (122) 는 사람 얼굴과 같은 이미지에서 대칭적 피처들을 검출할 수도 있다. 예를 들어, 대칭적 피처 검출기 (122) 는 대칭적 피처들, 예컨대 눈, 귀, 입술, 코, 이마 영역들, 뺨, 안경, 눈썹을 검출할 수도 있다.
도 1 에 예시된 컴포넌트들은 3D 페이스 모델을 생성할 수도 있다. 예를 들어, 페이스의 2 개의 스테레오 이미지들이 주어지면, 심도 맵이 추정될 수도 있고 심도 맵의 배경 부분은 평평한 평면으로서 설정될 수도 있다. 알려진 심도 값으로, 페이스 포인트들의 3D 좌표들이 계산될 수도 있고, 3D 페이스가 3D 페이스 모델로서 복원될 수도 있다.
일 접근에서, 이미지 수신기 (102) 는 이미지들의 세트를 수신할 수도 있다. 이미지들의 세트는 제 1 이미지 및 제 2 이미지, 좌측 이미지 및 우측 이미지, 상부 이미지 및 하부 이미지, 2 개의 스테레오 이미지들 등을 포함할 수도 있다. 이미지들의 세트에서 2 개의 이미지들은 수직으로 정렬되지만 수평으로는 상이한 대응하는 픽셀들을 포함할 수도 있다. 일부 구성들에서, 2 개의 이미지들 간의 픽셀들은 수평으로 정렬되지만, 수직으로는 정렬되지 않을 수도 있다.
이미지 수신기 (102) 는 피처 검출기/정합기 (104) 에 이미지들의 세트를 제공할 수도 있다. 예를 들어, 이미지 수신기 (102) 는 유선 접속을 통해, 무선으로 또는 저장 매체를 통해 이미지들을 전송할 수도 있다.
피처 검출기/정합기 (104) 는 2 개의 이미지들에서 대응하는 피처들을 식별할 수도 있고, 대응하는 이미지들을 함께 정합시킬 수도 있다. 피처 정합의 예시가 이하에 설명된 도 2 에 도시된다.
피처 검출기/정합기 (104) 는 상관 및 정합된 이미지들을 기본 행렬 추정기 (106) 에 제공할 수도 있다. 일단 소정 수의 픽셀들이 정합되었으면, 피처 검출기/정합기 (104) 는 이 데이터를 기본 행렬 추정기 (106) 에 제공할 수도 있다.
기본 행렬 추정기 (106) 는 상관된 이미지들에 기초하여 기본 행렬 (H) 을 추정할 수도 있다. 기본 행렬은 그 후, 호모그래픽 행렬 분해기 (108) 에 의해 분해되어 2 개의 호모그래픽 행렬들 (P L 및 P R ) 을 획득할 수도 있다. 다시 말해, 스테레오 이미지들을 보정하기 위한 사영 변환 행렬들 (P L 및 P R ) 은 기본 행렬 (H) 에 기초하여 컴퓨팅될 수도 있다.
이미지 보정기 (110) 는 호모그래픽 행렬들 (P L 및 P R ) 을 사용하여 제 1 이미지 및 제 2 이미지를 보정할 수도 있다. 예를 들어, 제 1 호모그래픽 행렬 (P L ) 은 좌측 이미지에 맵핑되어 제 1 보정된 이미지를 생성할 수도 있고, 제 2 호모그래픽 행렬 (P R ) 은 우측 이미지에 맵핑되어 제 2 보정된 이미지를 생성할 수도 있다.
이미지 보정 프로세스의 예가 이제 주어질 것이다. 일 구성에서, 이미지 보정은 피처 검출기/정합기 (104) 에 의해 2 개의 이미지들 간의 대응하는 포인트들의 세트를 검출 및 정합하는 것을 포함한다. 정확하게 정합된 포인트들이 사용되어 기본 행렬 추정기 (106) 에 의해 기본 행렬 (H) 을 컴퓨팅하므로, XR THXL　 =　 0 이고, 여기서 XL 은 좌측 이미지에서의 포인트 (예를 들어, 픽셀) 이고 XR 은 우측 이미지에서의 대응하는 포인트 (예를 들어, 픽셀) 이다. 다시 말해, XL 및 XR 은 각각 [x,y,1] 포맷으로 3D 컬럼 벡터로서 기입될 수 있는 2D 포인트를 나타낼 수도 있다. T 는 행렬 트랜스포즈를 나타낼 수도 있다. 따라서, 3D 컬럼 벡터가 트랜스포즈되는 경우, 그 결과는 3D 로우 벡터이고 [x,y,1] 로서 기입된다 (예를 들어, 컬럼 벡터 [x,y,1]T　 =　 로우 벡터 [x,y,1]).
이 구성에서, P L 및 P R 은 호모그래픽 행렬 분해기 (108) 에 의해 3×3 기본 행렬 (H) 로부터 분해된 3×3 행렬들이다. P L 및 P R 이 주어지면, 이미지 보정기 (110) 는 2 개의 이미지들 상에 2D 사영변환들을 적용한다. 여기서, 이미지들을 보정하는 것은 X=[x,y,1]T 로 기입된 원시 데이터 픽셀로부터 각각의 이미지 픽셀 (X) 을, XL’=PLXL 또는 XR=PRXR 로 기입된 보정된 이미지 픽셀로 변화시킨다. 또한, 이 구성에서, 카메라 본질적 및 외부적 파라미터들에 대한 필요성이 없다.
그러나, 이 구성에서, 호모그래픽 행렬들 (P L 및 P R ) 의 쌍은, 2 개의 스테레오-보정된 이미지들이 공통의 회전 하에서 스테레오-보정되기 때문에 고유하지 않다. 다시 말해, 호모그래픽 행렬들 (P L 및 P R ) 의 쌍은, 공통의 베이스라인 중심으로 회전된 2 개의 이미지들 간의 차이에 기초하여 공통의 회전을 공유한다. 결과적으로, 보정된 이미지들에 대한 바람직하지 않은 왜곡, 구체적으로 비뚤어짐 및 양상/스케일 왜곡들이 도입될 수도 있다. 이 왜곡의 예시는 이하의 도 2 에 도시되고 설명된다.
일단 이미지들의 세트가 보정되면, 2 개의 보정된 이미지들은 심도 추정기 (112) 에 의해 사용되어 심도 맵을 결정할 수도 있다. 다시 말해, 복원된 스테레오 이미지들이 주어지면, 심도 복원이 결정될 수도 있다. 그러나 보정된 이미지들이 왜곡되면, 심도 맵은 유사하게 왜곡될 수도 있다. 따라서, 이 접근 하에서, 이미지 보정은 심도 맵에서 바람직하지 않은 왜곡들을 야기하고, 이것은 정정되지 않는다면 왜곡된 3D 페이스 모델을 초래할 수도 있다.
이미지 보정에 의해 야기된 심도 맵에서의 왜곡을 정정하기 위해, 역 심도 맵이 역 심도 맵 계산기 (118) 에 의해 생성될 수도 있다. 역 심도 맵 계산기 (118) 는 심도 추정기 (112) 로부터 심도 맵을, 그리고 호모그래픽 행렬 인버터 (116) 로부터 인버팅된 호모그래픽 행렬을 획득할 수도 있다. 호모그래픽 행렬 인버터 (116) 는 전술된 바와 같이 호모그래픽 행렬 분해기 (108) 로부터 획득된 호모그래픽 행렬을 인버팅할 수도 있다.
역 심도 맵 계산기 (118) 는 심도 맵을, 인버팅된 호모그래픽 행렬에 맵핑하여, 역 심도 맵을 생성할 수도 있다. 예를 들어, 2 개의 보정된 스테레오 이미지들로부터 추정된 심도 맵 (M) 이 주어지면, M 은 P L 또는 P R 과 같은 역 행렬을 적용함으로써 원래의 이미지들 중 하나에 역으로 맵핑될 수도 있다. 이 예에서, m=[x,y,z]T 로서 기입된 M 에서의 픽셀은 m’=PL -1m 로서 기입된 새로운 픽셀 (m') 이 될 것이다. 따라서, 역 맵핑 후에, 역 심도 맵 (M’) 의 일부로서 m’=[x’,y’,z’]. 상기 예에서, z 는 심도 맵에서 픽셀 값을 나타내고, z' 는 역 심도 맵에서 픽셀 값을 나타낸다.
심도 맵을 인버팅하는 것은 이미지 보정 프로세스에 의해 야기된 심도 맵에서 왜곡들을 부분적으로 정정할 수도 있다. 예를 들어, 비뚤어짐 및 양상/스케일 왜곡들이 정정될 수도 있다. 이미지 보정 프로세스에 의해 야기된 심도 맵에서의 왜곡들에 대해 부분적으로 정정하는 것에 추가하여, 심도 맵/역 심도 맵에 대한 정규화가 역 심도 맵 노멀라이저 (120) 에 의해 수행될 수도 있다. 정규화는 3D 페이스 모델이 부적절하게 틸트, 회전 및/또는 스케일링되는 것을 방지하기 위해 역 심도 맵을 정정할 수도 있다. 예를 들어, 정규화된 픽셀은 [xa, ya] 로서 기입될 수도 있고, 여기서 xa=x’/z’이고 ya=y’/z’ 이다. 따라서, 정규화 후에, 심도 맵은 원래의 이미지와 동일한 평면 상에 있을 수도 있다. 또한, 2D 평면에서의 왜곡이 제거될 수도 있다.
역 심도 맵 노멀라이저 (120) 는 대칭적인 피처 검출기 (122) 로부터 입력을 수신할 수도 있다. 예를 들어, 대칭적 피처 검출기 (122) 는 검출된 대칭적 피처들 및 패턴들을 역 심도 맵 노멀라이저 (120) 로 전송할 수도 있다. 역 심도 맵 노멀라이저 (120) 는 검출된 대칭적 피처들을 사용하여, 검출된 대칭적 피처들이 정확하게 균형 잡히는 것을 보정하도록 보장들을 수행할 수도 있다. 이미지 정규화에 관한 추가의 상세가 이하에서 더 상세히 논의된다.
일단 역 심도 맵이 정정 및 정규화되면, 3D 페이스 모델러 (114) 는 3D 페이스 모델을 생성할 수도 있다. 3D 페이스 모델러 (114) 는 역 심도 맵 상의 대응하는 포인트들과 대칭적 피처 검출기 (122) 로부터 전송된 검출된 피처들을 적용하는, 역 심도 맵에 원래의 이미지들 중 하나를 맵핑할 수도 있다.
본원에 제시된 시스템들 및 방법들에 따르면, 이미지 보정 동안 바람직하지 않은 왜곡들을 감소시키기 위해 페이스 특정 특성들에 기초하여 심도 맵을 인버팅하고 역 심도 맵을 수정하는 것이 이로울 수도 있다. 구체적으로, 전술된 바와 같은 기존의 접근들은 이미지 보정 프로세스에서 이미지 왜곡을 야기하고, 종종 실질적인 사용자 상호작용을 요구한다. 본원에 제시된 시스템들 및 방법들은 이미지 보정 프로세스에서 도입된 왜곡을 부분적으로 고려하기 위해 심도 맵을 인버팅함으로써 기존의 방법들을 개선시킨다. 3D 페이스 모델의 품질을 개선시키기 위해 페이스 특정 특성들에 기초하여 역 심도 맵을 수정 및 정규화함으로써 추가의 정정들이 적용된다. 또한, 본원에 제시된 시스템들 및 방법들은 최소의 사용자 상호작용을 요구한다.
도 2 는 역 심도 맵 (242) 을 생성하는 프로세스 (200) 를 예시한다. 프로세스 (200) 는 하드웨어 또는 소프트웨어에서 구현될 수도 있다. 예를 들어, 프로세스 (200) 는 전자 디바이스 상에서 구현될 수도 있다. 일부 구성들에서, 프로세스 (200) 는 도 1 과 연관되어 설명된 컴포넌트들에 대응할 수도 있다.
도 2 는 제 1 이미지 (230) 및 제 2 이미지 (232) 를 예시한다. 제 1 이미지 (230) 및 제 2 이미지 (232) 는 스테레오 이미지들의 세트를 구성할 수도 있다. 예를 들어, 2 개의 이미지들은 상이한 뷰포인트들로부터 취해진 단일 페이스일 수도 있다. 일부 구성들에서, 페이스 외의 객체가 사용될 수도 있다.
일부 구성들에서, 2 보다 많은 이미지들이 이용될 수도 있다. 예를 들어, 수직 픽셀들이 모두 정렬되는 임의의 수의 이미지들이 사용될 수도 있다. 이 이미지들은 이미지 수신기 (102) 에 제공될 수도 있다.
상이한 뷰포인트들로부터 취해진 사람 얼굴의 2 개의 이미지들 (예를 들어, 제 1 이미지 (230) 및 제 2 이미지 (232)) 이 주어지면, 원시의, 교정되지 않은 스테레오 이미지들이 보정될 수도 있다. 2 개의 이미지들을 보정하는데 있어서, 제 1 이미지 (230) 는 먼저, 제 2 이미지 (232) 와 상관되어 결합된 상관 이미지 (234) 를 초래할 수도 있다. 예를 들어, 피처 검출기/정합기 (104) 는 제 1 이미지 (230) 및 제 2 이미지 (232) 를 검출 및 정합할 수도 있다. 그 후, 기본 행렬 추정기 (106) 는, 결합된 상관 이미지 (234) 에 도시된 바와 같이, 정합된 포인트들의 선형 투영 (projection) 들에 기초하여 기본 행렬을 계산할 수도 있다.
제 1 이미지 (230) 및 제 2 이미지 (232) 는 결합된 상관 이미지 (234) 를 통해 사용되어, 제 1 보정된 이미지 (236) 및 제 2 보정된 이미지 (238) 를 생성할 수도 있다. 예를 들어, 이미지 보정기 (110) 는 전술된 바와 같이 이미지 보정 프로세스의 일부를 수행할 수도 있다. 제 1 보정된 이미지 (236) 및 제 2 보정된 이미지 (238) 는 도 2 에 도시된 바와 같이, 이미지 보정 프로세스 동안 왜곡될 수도 있다.
심도 맵 (240) 은 제 1 보정된 이미지 (236) 및 제 2 보정된 이미지 (238) 로부터 결정될 수도 있다. 예를 들어, 심도 추정기 (112) 는 심도 맵 (240) 을 생성할 수도 있다. 심도 맵 (240) 은, 왜곡되어 있는 제 1 보정된 이미지 (236) 및 제 2 보정된 이미지 (238) 의 결과로서 왜곡될 수도 있다.
이 왜곡을 정정하기 위해, 역 심도 맵 (242) 이 계산될 수도 있다. 예를 들어, 역 심도 맵 계산기 (118) 는 역 심도 맵 (242) 을 계산할 수도 있다. 역 심도 맵 (242) 은 심도 맵 (240) 에 인버팅된 호모그래픽 행렬 (예를 들어, PL -1 또는 PR -1) 을 적용함으로써 계산될 수도 있다. 도 2 에 예시된 바와 같이, 역 심도 맵 (242) 은 이미지 보정에 의해 야기된 심도 맵 (240) 에서의 비뚤어짐과 같은 왜곡들을 정정할 수도 있다.
도 3 은 3D 페이스 모델을 생성하는 방법 (300) 을 예시하는 흐름도이다. 방법 (300) 은 하드웨어 또는 소프트웨어에서 구현될 수도 있다. 예를 들어, 방법 (300) 은 전자 디바이스 상에서 구현될 수도 있다. 전자 디바이스는 2 개의 이미지들, 예컨대 제 1 이미지 (230) 및 제 2 이미지 (232) 를 획득할 수도 있다 (302). 2 개의 이미지들은 이미지 수신기 (102) 에 의해 수신된 2 개의 스테레오 이미지들일 수도 있다.
전자 디바이스는 제 1 이미지 (230) 및 제 2 이미지 (232) 로부터 기본 행렬을 결정할 수도 있다 (304). 기본 행렬 (H) 은 2 개의 스테레오 이미지들에서 대응하는 포인트들을 추적하는 3×3 행렬일 수도 있다. 기본 행렬은 결합된 상관 이미지 (234) 에 기초하여 기본 행렬 추정기 (106) 에 의해 생성될 수도 있다.
전자 디바이스는 기본 행렬로부터 제 1 이미지 (230) 에 대응하는 제 1 행렬을 분해할 수도 있다 (306). 전자 디바이스는 또한, 기본 행렬로부터 제 2 이미지 (232) 에 대응하는 제 2 행렬을 분해할 수도 있다 (306). 예를 들어, 제 1 행렬 및 제 2 행렬은 전술된 바와 같이, 호모그래픽 행렬들 (P L 및 P R ) 일 수도 있다. 일부 구성들에서, 제 1 행렬 및 제 2 행렬은 각각 P R 및 P L 이거나, 또는 일부 다른 행렬들일 수도 있다. 일부 구성들에서, 제 1 및 제 2 행렬들은 호모그래픽 행렬 분해기 (108) 로부터 분해될 수도 있다.
전자 디바이스는 제 1 이미지 (230) 에 제 1 행렬을 적용하여 제 1 보정된 이미지 (236) 를 획득할 수도 있다 (308). 전자 디바이스는 제 2 이미지 (232) 에 제 2 행렬을 적용하여 제 2 보정된 이미지 (232) 를 획득할 수도 있다 (308). 예를 들어, 이미지 보정기 (110) 는 제 1 이미지 (230) 에 제 1 행렬을 맵핑 또는 투영하여 제 1 보정된 이미지 (236) 를 생성할 수도 있다. 제 2 보정된 이미지 (238) 는 유사하게 생성될 수도 있다. 왜곡들은 이미지 보정 동안 도입될 수도 있다.
전자 디바이스는 제 1 보정된 이미지 (236) 및 제 2 보정된 이미지 (238) 로부터 심도 맵 (240) 을 결정할 수도 있다 (310). 심도 맵 (240) 은 심도 추정기 (112) 에 의해 결정될 수도 있다. 제 1 보정된 이미지 (236) 및 제 2 보정된 이미지 (238) 가 왜곡 및 비뚤어지면, 심도 맵 (240) 이 또한 쉽게 왜곡 및 비뚤어질 것이다. 심도 맵 (240) 은 제 1 보정된 이미지 (236) 및 제 2 보정된 이미지 (238) 에 기초하여 심도들에서의 차이들을 나타내는 심도 값들을 제공할 수도 있다.
전자 디바이스는 역 심도 맵 (242) 을 계산할 수도 있다 (312). 역 심도 맵 (242) 은 제 1 행렬 (또는 제 2 행렬) 을 인버팅하고, 인버팅된 행렬을 심도 맵 (240) 에 적용함으로써 계산될 수도 있다. 예를 들어, 역 심도 맵 계산기 (118) 는 이들 계산들을 수행할 수도 있다. 인버팅된 제 1 행렬 또는 인버팅된 제 2 행렬은 PL -1 또는 PR -1 과 같은 인버팅된 호모그래픽 행렬일 수도 있다. 호모그래픽 행렬 인버터 (116) 는 인버팅된 제 1 행렬 또는 인버팅된 제 2 행렬을 역 심도 맵 계산기 (118) 에 제공하여, 역 심도 맵 (242) 을 획득할 수도 있다.
전자 디바이스는, 이미지 보정에 의해 야기된 심도 맵에서의 왜곡들을 정정하기 위해 역 심도 맵 (242) 을 정규화할 수도 있다 (314). 역 심도 맵 노멀라이저 (120) 는, 예를 들어 왜곡들을 조정할 수도 있다. 정규화에 관한 추가의 상세가 이하에서 더 상세히 설명될 것이다.
전자 디바이스는 역 심도 맵 (242) 및 2 개의 이미지들 중 하나 (예를 들어, 제 1 이미지 (230) 또는 제 2 이미지 (232)) 에 기초하여 3D 페이스 모델을 생성할 수도 있다 (316). 예를 들어, 3D 페이스 모델러 (114) 는 원래의 이미지들 중 하나를, 정규화되어 있는 역 심도 맵 (242) 에 맵핑할 수도 있다. 3D 페이스 모델을 생성하는데 있어서, 대칭적 피처 검출기 (122) 로부터 검출된 피처들은 역 심도 맵 (242) 상에서 대응하는 포인트들에 맵핑될 수도 있다. 3D 페이스 모델은 이 방법 (300) 에 의해 수행된 정정들 때문에 이미지 보정에 의해 야기된 왜곡들 중 적어도 일부를 포함하지 않는다.
역 심도 맵을 계산하는 것은 일부 왜곡을 정정할 수도 있지만, 다른 왜곡들, 예컨대 비뚤어짐, 스케일링 및 회전 왜곡들이 역 심도 맵에 여전히 영향을 줄 수도 있다. 이들 왜곡들은 이미지 보정 동안 생성된 심도 디멘전 왜곡에 의해 야기될 수도 있다. 예를 들어, 좌안은 보정 프로세스로부터 왜곡될 수도 있고, 좌안은 우안 보다 큰 심도 값을 가질 수도 있다. 정규화는 역 심도 맵을 생성함으로써 정정되지 않은 왜곡들을 정정할 수도 있다.
심도 맵을 리파이닝하기 위해, 얼굴 특성들이 사용될 수도 있다. 예를 들어, 좌측 및 우측의 대칭적 피처들이 고려될 수도 있다. 다른 예로써, 이마 및 입 영역들에 기초하여 틸팅이 조정될 수도 있다. 스케일링 및 회전은 또한, 대칭적인 얼굴 특징들, 예컨대 눈, 귀, 입술, 코, 이미 영역, 뺨, 안경, 눈썹 등에 기초하여 조정될 수도 있다. 도 4 내지 도 9 는 틸트, 스케일링 및 회전과 같은 다양한 정규화 프로세스들을 더 상세히 설명할 것이다.
도 4 는 2 개의 틸트된 이미지들을 예시한다. 틸트된 이미지들은 역 심도 맵 (242) 에 기초할 수도 있다. 틸트된 이미지들에서 오버 틸트 (over tilt) 는, 후술되는 바와 같이 역 심도 맵 (242) 의 다양한 부분들에서 상이한 심도 값들을 비교함으로써 정정될 수도 있다. 역 심도 맵 (242) 의 틸팅을 조정 및 리파이닝하는 것은 역 심도 맵 (242) 을 정규화하는 하나의 방법일 수도 있다.
도 4 에서 2 개의 틸트된 이미지들은 제 1 틸트된 이미지 (444) 및 제 2 틸트된 이미지 (454) 를 포함할 수도 있다. 제 1 타원 (452) 은 제 1 틸트된 이미지 (444) 에서 얼굴의 둘레에 정합하도록 모델링될 수도 있다. 제 1 타원 (452) 은 제 1 장축 (a)(448) 및 제 1 단축 (b)(450) 을 포함할 수도 있고, 제 1 틸트된 이미지 (444) 에서 오버 틸트와 같은 왜곡들을 검출하는 것을 도울 수도 있다. 예를 들어, 오버 틸트는 제 1 서브세트 선택 윈도우 (446) 를 활용함으로써 검출될 수도 있다. 오버 틸트는, 이미지가 수용 가능한 양을 넘어 어느 한 방향으로 틸트되는 것을 나타낼 수도 있다. 다시 말해, 오버 틸트된 이미지는 제 1 단축 (b)(450) 을 중심으로 너무 멀리 앞으로 또는 너무 멀리 뒤로 틸트될 수도 있다.
제 1 서브세트 선택 윈도우 (446) 는 직사각형일 수도 있다; 그러나 다르나 형상들이 활용될 수도 있다. 일 구성에서, 제 1 서브세트 선택 윈도우 (446) 는 a/2 의 높이 및 b/3 의 폭을 가질 수도 있다. 다른 디멘전들이 활용될 수도 있다. 일부 구성들에서, 제 1 서브세트 선택 윈도우 (446) 는 제 1 타원 (452) 과 함께-센터링될 수도 있다. 일부 구성들에서, 제 1 서브세트 선택 윈도우 (446) 는 제 1 틸트된 이미지 (444) 상에서 얼굴의 코 영역과 센터링될 수도 있다.
제 2 틸트된 이미지 (454) 는 제 2 장축 (a)(458) 및 제 2 단축 (b)(460) 을 포함하는 제 2 타원 (462) 을 유사하게 포함할 수도 있다. 제 2 타원 (462) 은 제 2 틸트된 이미지 (454) 에서 얼굴에 대응하도록 모델링될 수도 있다.
제 2 틸트된 이미지 (454) 는 또한, 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466) 을 포함할 수도 있다. 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466) 의 높이 및 폭은 동일할 수도 있다; 그러나 일부 구성들에서, 이들은 서로 상이할 수도 있다. 예를 들어, 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466) 은 a/4 의 높이 및 b/3 의 폭을 가질 수도 있다. 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466) 은 각각 직사각형일 수도 있고, 또는 타원과 같은 다른 타입의 형상일 수도 있다. 또한, 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466) 은 상이한 형상일 수도 있다.
제 2 서브세트 선택물 (456) 은 제 2 틸트된 이미지 (454) 의 이마 영역 위에 위치될 수도 있고, 제 3 서브세트 선택물 (466) 은 입 영역 위에 위치될 수도 있다. 3D 페이스 모델을 렌더링하기 위해 사용된 이상적인 이미지에서, 대상의 얼굴의 이마 및 입은 동일한 평면에 위치된다. 따라서, 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466) 이 비교되어 틸트 각도를 결정할 수도 있다.
제 1 서브세트 선택물 (446) 에 기초하여, 또는 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466) 의 비교로부터 틸트 각도를 결정하는 것은 도 5 및 도 6 에서 이하에서 논의된다.
역 심도 맵 (242) 을 정규화 (예를 들어, 틸트, 회전, 스케일링, 조정 등) 하는 동안, 이미지 포어그라운드 및 백그라운드가 고려되어, 이 조정들이 백그라운드가 아닌 대상의 얼굴에 포커싱될 수도 있다. 또한, 포어그라운드 및 백그라운드 간의 구별은 2 개의 표면들 간의 평활화를 허용한다.
일 구성에서, 이것은 페이스 심도 (fm) 의 평균 값을 계산함으로써 수행될 수도 있다. 페이스 심도의 평균 값은 백그라운드 심도 (d) 를 설정하는데 사용될 수도 있고, 이것은 3D 페이스 모델 뒤의 평평한 평면이어야 한다. 백그라운드 심도는 평균 페이스 심도보다 작아야 하지만, 그 차이가 상당히 상이하지 않아야 한다. d<w*fm 이면, 이미지 심도가 조정될 수도 있다. 여기서, w 는, 이미지 심도가 조정되고 있을 때 페이스 심도가 조정되는 것을 방지하도록 임계를 제어하기 위한 계수이다. 이 방식에서, 백그라운드 및 페이스 경계는 평활하게 병합되므로, 경계 상에 더 강한 블러 (blur) 가 존재하지 않을 수도 있다.
도 5 는 3D 페이스 모델을 생성하는 다른 방법 (500) 을 예시하는 흐름도이다. 방법 (500) 은 하드웨어 또는 소프트웨어에서 구현될 수도 있다. 일부 구성들에서, 방법 (500) 은 전자 디바이스 상에서 구현될 수도 있다. 전자 디바이스는 역 심도 맵 (242) 을 계산할 수도 있다 (502).
전자 디바이스는 역 심도 맵 (242) 의 서브세트 선택물에서 픽셀들의 각 컬럼에 대해 심도 미분값 (derivative) 들을 결정할 수도 있다 (504). 예를 들어, 서브세트 선택물은 제 1 서브세트 선택물 (446), 제 2 서브세트 선택물 (456) 또는 제 3 서브세트 선택물 (466) 일 수도 있다. 심도 미분값은 서브세트 선택물에서 각각의 수직 컬럼에 대해 컴퓨팅될 수도 있다. 예를 들어, 각각의 수직 컬럼은 각각의 서브세트 선택물에 대해 상부에서 하부까지 컴퓨팅될 수도 있다.
일 구성에서, 전자 디바이스는 단일의 직사각형 서브세트 선택물 (예를 들어, 제 1 서브세트 선택물 (446)) 을 사용할 수도 있다 (506). 이 구성에서, 전자 디바이스는 서브세트 선택물에 대한, 즉 단일의 서브세트 선택물에서 모든 심도 미분값들에 대한 평균 값 (m) 을 결정할 수도 있다 (508). 다시 말해, 각각의 심도 미분값이 평균되어 m 을 계산할 수도 있다.
전자 디바이스는 평균 값을 임계 값 (t1) 에 비교할 수도 있다 (510). |m| > t1 이면, 역 심도 맵 (242) 에서의 페이스는 오버-틸트된 것으로서 분류될 수도 있고, |m| ≤ t1 의 조건이 만족될 때까지 조정들이 행해질 수도 있다. 다시 말해, 전자 디바이스는 이 비교에 기초하여 역 심도 맵 (242) 을 틸트할 수도 있다 (518). 전자 디바이스는 전술된 바와 같이 역 심도 맵 (242) 및 2 개의 이미지들 중 하나에 기초하여 3D 페이스 모델을 생성할 수도 있다 (520).
다른 구성에서, 전자 디바이스 (512) 는 2 개의 직사각형 서브세트 선택물들 (예를 들어, 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466)) 을 사용할 수도 있다 (512). 2 개의 직사각형 서브세트 선택물들은 제 1 서브세트 선택 영역 및 제 2 서브세트 선택 영역을 나타낼 수도 있다.
전자 디바이스는 각각의 서브세트 선택물에 대해 평균 값 (m) 을 결정할 수도 있다 (514). 예를 들어, 전자 디바이스는 제 1 서브세트 선택 영역에 대한 제 1 평균 값 (m1) 및 제 2 서브세트 선택 영역에 대한 평균 값 (m2) 을 결정할 수도 있다 (514).
전자 디바이스는 제 1 영역 평균 값과 제 2 영역 평균 값 간의 차이를 임계 값 (t2) 에 비교할 수도 있다 (516). 예를 들어, |m1 - m2| 은 차이 값 (diff) 과 동일할 수도 있고; diff 는 t2 에 비교될 수도 있다. |diff| > t2 이면, 역 심도 맵 (242) 은 오버-틸트된 것으로서 분류될 수도 있고, |diff| ≤ t2 의 조건이 만족될 때까지 조정들이 행해질 수도 있다. 다시 말해, 전자 디바이스는 이 비교에 기초하여 역 심도 맵 (242) 을 틸트할 수도 있다 (518). 임계 값들 (즉, t1 및 t2) 은 실증적 데이터, 사용자 선호도, 이력 값들 등에 기초할 수도 있다.
전자 디바이스는 역 심도 맵 (242) 및 2 개의 이미지들 중 하나에 기초하여 3D 페이스 모델을 생성할 수도 있다 (520). 이것은 전술된 바와 같이 수행될 수도 있다.
도 6 은 역 심도 맵 (242) 을 틸트하는 방법 (600) 을 예시하는 흐름도이다. 방법 (600) 은 하드웨어 또는 소프트웨어에서 구현될 수도 있다. 예를 들어, 방법 (600) 은 전자 디바이스 상에서 구현될 수도 있다. 이 방법 (600) 은 역 심도 맵 (242) 을 정규화하는 일 예일 수도 있다.
전자 디바이스는 틸트 조정들을 개시할 수도 있다 (602). 전자 디바이스는 얼굴 검출 및 눈 검출을 수행할 수도 있다 (604). 예를 들어, 얼굴 검출 및 눈 검출은 역 심도 맵 (242) 또는 원시 입력 이미지들 중 하나 상에서 수행될 수도 있다. 일부 구성들에서, 얼굴 검출 및 눈 검출을 수행하는 것 (604) 은 대칭적 피처 검출기 (122) 에 의해 수행될 수도 있다.
전자 디바이스는 장축 (a) 및 단축 (b) 을 갖는 타원으로서 페이스를 모델링할 수도 있다 (606). 예를 들어, 타원은 도 4 와 관련하여 전술된 제 1 타원 (452) 또는 제 2 타원 (462) 과 유사할 수도 있다.
일 구성에서, 전자 디바이스는 타원과 함께-센터링된 하나의 직사각형을 설정할 수도 있다 (608). 직사각형은 b/3 의 폭 및 a/2 의 높이를 가질 수도 있다. 예를 들어, 직사각형은 도 4 의 제 1 서브세트 선택물 (446) 과 유사할 수도 있다.
전자 디바이스는 페이스의 수직 방향을 따라 평균 미분 값 (m) 을 계산할 수도 있다 (610). 전자 디바이스는 |m| > 임계 (t1) 인지 (즉, 이미지가 오버 틸트되는지) 를 비교할 수도 있다 (612). 이 경우에서, 전자 디바이스는 |m|<=t1 때까지 페이스의 수직 방향을 따라 (예를 들어, 단축 (b) 에 대하여) 심도 값을 조정할 수도 있다 (614).
다른 구성에서, 전자 디바이스는 2 개의 직사각형들을 설정할 수도 있고 (616), 직사각형들 각각은 b/3 의 폭 및 a/2 의 높이를 갖고, 타원에서 이마 및 입 영역들에 센터링된다. 예를 들어, 2 개의 직사각형들은 도 4 의 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466) 과 유사할 수도 있다. 전자 디바이스는 2 개의 직사각형들 각각에 대한 평균 심도 값 (m1 및 m2) 을 계산할 수도 있다 (618). 이것은 상기 도 5 와 연관되어 설명된 바와 같이 수행될 수도 있다. 전자 디바이스는 |m1 - m2| > 임계 (t2) 인지 (즉, 이미지가 오버 틸트되는지) 를 비교할 수도 있다 (620). 이 경우에서, 전자 디바이스는 |m1 - m2|≤t2 때까지 페이스의 수직 방향을 따라 (예를 들어, 단축 (b) 에 대하여) 심도 값을 조정할 수도 있다 (622).
도 7 은 역 심도 맵 (742) 을 정규화하는 프로세스 (700) 를 예시한다. 프로세스 (700) 는 하드웨어 또는 소프트웨어에서 구현될 수도 있다. 예를 들어, 프로세스 (700) 는 전자 디바이스 상에서 구현될 수도 있다. 일부 구성들에서, 프로세스 (700) 는 도 1 과 연관되어 설명된 컴포넌트들에 대응할 수도 있다.
도 7 은 전술된 바와 같이 역 심도 맵 (242) 에 대응할 수도 있는, 역 심도 맵 (742) 을 예시한다. 도 7 은 또한, 검출된 이미지 (774), 정규화된 역 심도 맵 (778) 및 3D 페이스 모델 (780) 을 예시한다. 역 심도 맵 (742) 은 오버 틸트에 대해 이전에 조정 및 정정되었을 수도 있다. 다른 접근들에서, 틸팅은 이후에 조정될 수도 있다.
일부 구성들에서, 얼굴 영역 및 눈들의 포지션들이 검출된 대칭적 피처 (776) 에서 도시된 바와 같이 검출될 수도 있다. 좌/우안 검출에 기초하여, 역 심도 맵 (742) 은 동일한 심도 레벨 상에서 좌측 및 우측 사이드들을 만들도록 비례적으로 조정될 수도 있다. 다시 말해, 검출된 이미지 (774) 는 한 쌍의 눈과 같은 검출된 대칭적 피처 (776) 를 포함할 수도 있다. 다른 대칭적 피처들은 귀, 입술, 코, 이마 영역, 뺨, 안경, 눈썹 등을 포함할 수도 있다.
검출된 이미지 (774) 는 대칭적 피처 검출기 (122) 에 의해 생성될 수도 있다. 검출된 이미지 (774) 는 스테레오 이미지들의 세트로부터 제 1 이미지 (230) 또는 제 2 이미지 (232) 를 활용할 수도 있다. 대안으로, 검출된 이미지 (774) 는 심도 맵 (240) 또는 역 심도 맵 (742) 일 수도 있다.
역 심도 맵 (742) 및 검출된 이미지 (774) 는 정규화된 역 심도 맵 (778) 을 획득하는데 사용될 수도 있다. 예를 들어, 역 심도 맵 노멀라이저 (120) 는 역 심도 맵 (742) 및/또는 검출된 이미지 (774) 를 사용하여 정규화된 역 심도 맵 (778) 을 생성할 수도 있다.
3D 페이스 모델 (780) 은 2 개의 이미지들 중 하나 (예를 들어, 제 1 이미지 (230) 또는 제 2 이미지 (232)) 및 역 심도 맵 (742) 에 기초하여 생성될 수도 있다. 예를 들어, 3D 페이스 모델러 (114) 는 역 심도 맵 (742) 과 이미지에서 검출된 대칭적 피처들 (776) 을 정렬하도록 3D 페이스 모델 (780) 을 생성할 수도 있다.
도 8 은 3D 페이스 모델 (780) 을 생성하는 다른 방법 (800) 을 예시하는 흐름도이다. 방법 (800) 은 하드웨어 또는 소프트웨어에서 구현될 수도 있다. 예를 들어, 방법 (800) 은 전자 디바이스 상에서 구현될 수도 있다.
전자 디바이스는 전술된 바와 같이, 역 심도 맵 (742) 을 계산할 수도 있다 (802). 전자 디바이스는 역 심도 맵 (742) 에서 대칭적 피처들을 결정할 수도 있다 (804). 예를 들어, 우측 피처와 대칭인 좌측 피처가 결정될 수도 있다 (804). 좌측 피처 및 우측 피처는 검출된 대칭적 피처 (776) 로서 포함될 수도 있다. 대칭적 피처들은 대칭적 피처 검출기 (122) 에 의해 정합될 수도 있다. 대칭적 피처들은 알려진 얼굴 특징들에 기초하거나, 이미지의 대응하는 사이드들 상의 대칭-형 피처들로부터 계산될 수도 있다.
좌측 피처 및 우측 피처는, 예를 들어 한 쌍의 눈일 수도 있다. 한 쌍의 눈은 서로 균형잡히지 않을 수도 있다. 다시 말해, 역 심도 맵 (742) 에서 좌안은 우안보다 더 큰 심도 값을 가질 수도 있다.
일 구성에서, 전자 디바이스는 좌측 피처 및 우측 피처를 수평 레벨로 만들도록 비례적으로 역 심도 맵 (742) 을 조정할 수도 있다 (806). 예를 들어, 역 심도 맵 (742) 은 이미지에 수직으로 구동하는 축에 대하여 회전되어, 좌측 피처 및 우측 피처를 이들이 수평 레벨에 있을 때까지 정렬시킬 수도 있다. 이것은 도 9 와 관련하여 이하에서 더 상세히 설명된다.
일부 구성들에서, 전자 디바이스는 좌측 피처 및 우측 피처를 균등하게 비례적으로 그리고 동일한 심도 레벨로 만들도록 역 심도 맵 (742) 을 조정할 수도 있다 (808). 일 예에서, 역 심도 맵 (742) 은, 좌측 피처 및 우측 피처가 균등해질 때까지 수직 축에 대하여 회전될 수도 있다.
다른 예에서, 하나 또는 양자의 피처들에서 픽셀들은, 좌측 피처 및 우측 피처가 비례적으로 균등해질 때까지 조정될 수도 있다. 예를 들어, 좌안이 우안보다 더 큰 한 쌍이 눈이 주어지면, 좌안의 심도 레벨은 감소되고/되거나 우안의 심도 레벨은 증가될 수도 있다. 다른 경우에서, 좌안의 사이즈 또는 스케일이 감소되고/되거나 우안의 사이즈 또는 스케일이 증가될 수도 있다. 조정들의 조합은 좌측 피처 및 우측 피처를 비례적으로 균등하게 그리고 동일한 심도 레벨로 만들도록 수행될 수도 있다. 이 방식에서, 역 심도 맵 (742) 은, 좌측 피처 및 우측 피처가 동일한 평면 상에 있을 때까지 조정될 수도 있다. 전자 디바이스는 역 심도 맵 (742) 및 2 개의 이미지들 중 하나에 기초하여 3D 페이스 모델 (780) 을 생성할 수도 있다 (810). 이것은 전술된 바와 같이 수행될 수도 있다.
도 9 는 역 심도 맵 (742) 을 정규화하는 방법 (900) 을 예시하는 흐름도이다. 방법 (900) 은 하드웨어 또는 소프트웨어에서 구현될 수도 있다. 예를 들어, 방법 (900) 은 전자 디바이스 상에서 구현될 수도 있다. 일부 구성들에서, 이 방법 (900) 은 역 심도 맵 (742) 을 틸트하기 위해 도 6 과 관련하여 설명된 방법 (600) 과 관련하여 활용될 수도 있다.
전자 디바이스는 회전 조정들을 개시할 수도 있다 (902). 전자 디바이스는 얼굴 검출 및 눈 검출을 수행할 수도 있다 (904). 예를 들어, 얼굴 검출 및 눈 검출은 역 심도 맵 (742) 또는 원시 입력 이미지들 중 하나 상에서 수행될 수도 있다. 일부 구성들에서, 얼굴 검출 및 눈 검출을 수행하는 것 (904) 은 대칭적 피처 검출기 (122) 에 의해 수행될 수도 있다.
전자 디바이스는 장축 (a) 및 단축 (b) 을 갖는 타원으로서 페이스를 모델링할 수도 있다 (906). 일 구성에서, 타원은 도 4 와 관련하여 전술된 제 1 타원 (452) 또는 제 2 타원 (462) 과 유사할 수도 있다.
일부 구성들에서, 전자 디바이스는 2 개의 직사각형들, 좌안에 센터링된 하나 및 우안에 센터링된 하나를 설정할 수도 있다 (908). 각각의 직사각형은 b/4 의 폭 및 a/8 의 높이를 가질 수도 있다. 다른 디멘전들 및 형상들이 활용될 수도 있다. 예를 들어, 2 개의 직사각형들은 각각 b/3 의 폭 및 a/2 의 높이를 가질 수도 있다. 다른 예로서, 2 개의 직사각형들은 서로 상이한 디멘전들을 가질 수도 있다. 또한, 직사각형들 외의 형상들이 활용될 수도 있다.
2 개의 직사각형들은 도 4 의 제 2 서브세트 선택물 (456) 및 제 3 서브세트 선택물 (466) 과 유사할 수도 있지만, 눈들 위에 포지셔닝되고 상이한 디멘전들을 갖는다.
전자 디바이스는 2 개의 직사각형들에 대한 평균 심도 값 (m1 및 m2) 을 계산할 수도 있다 (910). 이것은 상기 도 5 와 연관되어 설명된 바와 같이 수행될 수도 있다. 전자 디바이스는 |m1 - m2| > 임계 (t2) 인지 (즉, 이미지가 오버 틸트되는지) 를 비교할 수도 있다 (912). 이 경우에서, 전자 디바이스는 |m1 - m2|≤t2 때까지 페이스의 수평 방향을 따라 (예를 들어, 장축에 대하여) 심도 값을 조정할 수도 있다 (914).
도 10 은 전자 디바이스 (1001) 내에 포함될 수도 있는 소정 컴포넌트들을 예시한다. 전술된 전자 디바이스들 중 하나 이상의 도 10 에 도시되는 전자 디바이스 (1001) 와 유사하게 구성될 수도 있다.
전자 디바이스 (1001) 는 프로세서 (1009) 를 포함한다. 프로세서 (1009) 은 범용 단일칩 또는 다중칩 마이크로프로세서 (예를 들어, ARM), 특수 목적용 마이크로프로세서 (예를 들어, 디지털 신호 처리기 (digital signal processor; DSP)), 마이크로제어기, 프로그램가능 게이트 어레이 등일 수도 있다. 프로세서 (1009) 는 중앙 처리 장치 (CPU) 로 지칭될 수도 있다. 도 10 의 전자 디바이스 (1001) 에 단지 단일 프로세서 (1009) 만이 도시되었지만, 대안의 구성에서, 프로세서들 (예를 들어, ARM 및 DSP) 의 조합이 사용될 수 있다.
전자 디바이스 (1001) 는 또한, 프로세서 (1009) 와 전자 통신하는 메모리 (1003) 를 포함한다 (즉, 프로세서 (1009) 는 메모리 (1003) 로부터 정보를 판독하고/하거나 메모리 (1003) 에 정보를 기입할 수 있다). 메모리 (1003) 는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트일 수도 있다. 메모리 (1003) 는 RAM (random access memory), ROM (read-only memory), 자기 디스크 저장 매체, 광학 저장 매체, RAM의 플래시 메모리 디바이스, 프로세서와 함께 포함된 온-보드 메모리, 프로그램가능 판독 전용 메모리 (PROM), 소거가능 프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 레지스터들 등, 및 이들의 조합으로서 구현될 수도 있다.
명령들 (1005a) 및 데이터 (1007a) 가 메모리 (1003) 에 저장될 수도 있다. 이 명령들 (1005a) 은 하나 이상의 프로그램들, 루틴들, 서브-루틴들, 기능부들, 프로시저들, 코드 등을 포함할 수도 있다. 명령들 (1005a) 은 단일의 컴퓨터 판독가능 스테이트먼트 또는 많은 컴퓨터 판독가능 스테이트먼트들을 포함할 수도 있다. 명령들 (1005a) 은 프로세서 (1009) 에 의해 실행 가능하여, 전술된 방법들 (300, 500, 600, 800 및 900) 중 하나 이상을 구현할 수도 있다. 명령들 (1005a) 을 실행하는 것은 메모리 (1003) 에 저장되는 데이터 (1007a) 의 사용을 수반할 수도 있다. 도 10 은 일부 명령들 (1005b) 및 데이터 (1007b) 가 프로세서 (1009) 에 로딩되는 것을 나타낸다 (이것은 명령들 (1005a) 및 데이터 (1007a) 에서 올 수도 있음).
일부 구성들에서, 전자 디바이스 (1001) 는 이미지들을 캡처하기 위해 하나 이상의 이미지 캡처 컴포넌트들 (1017) 을 포함할 수도 있다. 일 구성에서, 이미지 캡처 컴포넌트 (1017) 는 스테레오 이미지들과 같은 이미지들을 캡처하기 위한 카메라 또는 포토 셀일 수도 있다.
전자 디바이스 (1001) 는 또한, 다른 전자 디바이스들과 통신하기 위한 하나 이상의 통신 인터페이스들 (1013) 을 포함할 수도 있다. 통신 인터페이스들 (1013) 은 유선 통신 기술, 무선 통신 기술, 또는 양자 모두에 기초할 수도 있다. 통신 인터페이스들 (1013) 의 상이한 타입들의 예들은 직렬 포트, 병렬 포트, 유니버셜 시리얼 버스 (USB), 이더넷 어댑터, IEEE 1394 버스 인터페이스, 소형 컴퓨터 시스템 인터페이스 (SCSI) 버스 인터페이스, 적외선 (IR) 통신 포트, 블루투스 무선 통신 어댑터 등을 포함한다.
전자 디바이스 (1001) 는 또한, 하나 이상의 입력 디바이스들 (1015) 및 하나 이상의 출력 디바이스들 (1019) 을 포함할 수도 있다. 입력 디바이스들 (1015) 의 상이한 종류들의 예들은 키보드, 마우스, 마이크로폰, 원격 제어 디바이스, 버튼, 조이스틱, 트랙볼, 터치패드, 광펜 등을 포함한다. 예를 들어, 전자 디바이스 (1001) 는 이미지들을 캡처하기 위해 하나 이상의 이미지 캡처 컴포넌트들 (1017) 을 포함할 수도 있다.
출력 디바이스들 (1019) 의 상이한 종류들의 예들은 스피커, 프린터, 3D 프린터 등을 포함한다. 전자 디바이스 (1001) 에 통상적으로 포함될 수도 있는 출력 디바이스 (1019) 의 일 특정 타입은 디스플레이 (1023) 이다. 본원에 개시된 구성들과 사용된 디스플레이 (1023) 는 임의의 적합한 이미지 투영 기술, 예컨대 음극선관 (CRT), 액정 디스플레이 (LCD), 발광 다이오드 (LED), 가스 플라즈마, 전기루미네선스 등을 이용할 수도 있다. 예를 들어, 3D 페이스 모델들은 디스플레이 (1023) 상에 디스플레이될 수도 있다. 디스플레이 제어기 (1025) 는 또한, 메모리 (1003) 에 저장된 데이터를 디스플레이 (1023) 상에 보여진 텍스트, 그래픽 및/또는 이동 이미지들 (적합하게) 로 컨버팅하기 위해 제공될 수도 있다.
전자 디바이스 (1001) 는 또한, 송신기 (미도시) 및 수신기 (미도시) 를 포함하여, 전자 디바이스 (1001) 와 원격 로케이션 (예를 들어, 다른 전자 디바이스, 무선 통신 디바이스 등) 간의 신호들의 송신 및 수신을 허용할 수도 있다. 송신기 및 수신기는 집합적으로 트랜시버로서 지칭될 수도 있다. 안테나 (미도시) 가 트랜시버에 전기적으로 커플링될 수도 있다. 전자 디바이스 (1001) 는 (미도시된) 다수의 송신기들, 다수의 수신기들, 다수의 트랜시버들 및/또는 다수의 안테나를 또한 포함할 수도 있다.
전자 디바이스 (1001) 의 다양한 컴포넌트들은 하나 이상의 버스들에 의해 함께 커플링될 수도 있는데, 상기 버스들은 전력 버스, 제어 신호 버스, 상태 신호 버스, 데이터 버스 등을 포함할 수도 있다. 간략화를 위해, 다양한 버스들이 버스 시스템 (1011) 로서 도 10 에 예시된다.
일 구성에서, 회로는 3-차원 페이스를 생성하도록 적응될 수도 있다. 이 회로의 제 1 섹션은 심도 맵 및 인버팅된 제 1 행렬에 기초하여 역 심도 맵을 계산하도록 적응될 수도 있다. 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성될 수도 있다. 또한, 동일한 회로, 상이한 회로, 상이한 회로의 섹션 또는 동일한 회로의 제 2 섹션은 이미지 보정에 의해 야기된 심도 맵에서의 왜곡들을 정정하기 위해 역 심도 맵을 정규화하도록 적응될 수도 있다. 또한, 동일한 회로, 상이한 회로, 상이한 회로의 섹션 또는 동일한 회로의 제 3 섹션은 역 심도 맵 및 2 개의 이미지들 중 하나에 기초하여 3-차원 페이스 모델을 생성하도록 적응될 수도 있다.
상기 설명에서, 참조 부호들은 가끔, 다양한 용어들과 관련되어 사용되고 있다. 용어가 참조 부호와 관련하여 사용되는 경우, 이것은 도면들 중 하나 이상에서 도시되는 특정 엘리먼트를 지칭하는 것으로 의미될 수도 있다. 용어가 참조 부호 없이 사용되는 경우, 이것은 임의의 특정 도면에 한정되지 않고 그 용어를 일반적으로 지칭하는 것으로 의미될 수도 있다.
용어 "결정하기" 는 매우 다양한 액션들을 포괄하므로, "결정하기" 는 계산하기, 컴퓨팅하기, 처리하기, 도출하기, 조사하기, 검색하기 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조 내 검색하기), 확인하기 등을 포함할 수 있다. 또한, "결정하기" 는 수신하기 (예를 들어, 정보를 수신하기), 액세스하기 (예를 들어, 메모리 내의 데이터에 액세스하기) 등을 포함할 수도 있다. 또한, "결정하기" 는 해결하기, 선택하기, 고르기, 확립하기 등을 포함할 수 있다.
구절 "~에 기초하는" 은 달리 명백히 명시되지 않는 한 "오직 ~에만 기초하는" 을 의미하지 않는다. 다시 말해, 구절 "~에 기초하는" 은 "오직 ~에만 기초하는" 및 "적어도 ~에 기초하는" 양자 모두를 설명한다.
용어 "프로세서"는 범용 프로세서, 중앙 처리 유닛 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포괄하도록 광범위하게 해석되어야 한다. 어떤 상황 하에서, "프로세서"는 주문형 반도체, 프로그래머블 로직 디바이스 (PLD), 필드 프로그래머블 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서" 는 프로세싱 디바이스들의 조합, 예를 들어 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.
용어 "메모리"는 전자적 정보를 저장할 수 있는 임의의 전자적 컴포넌트를 포괄하도록 광의적으로 해석되어야만 한다. 용어 메모리는 여러 타입들의 프로세서 판독가능 매체, 예컨대 RAM (random access memory), ROM (read-only memory), 비휘발성 RAM (NVRAM; non-volatile random access memory), PROM (programmable read-only memory), EPROM (erasable programmable read-only memory), EEPROM (electrically erasable PROM), 플래시 메모리, 자기 또는 광학 데이터 스토리지, 레지스터 등을 가리킬 수도 있다. 메모리는, 프로세서가 이 메모리로부터 정보를 판독하고 이 메모리에 정보를 기입할 수 있다면, 프로세서와 전자적으로 통신하고 있다고 말해진다. 프로세서에 일체형인 메모리는 프로세서와 전자적으로 통신한다.
용어, "명령들" 및 "코드"는 임의의 타입의 컴퓨터 판독가능 명령문(들)을 포함하도록 광의적으로 해석되어야 한다. 예를 들어, "명령들" 및 "코드"의 용어들은 하나 이상의 프로그램들, 루틴들, 서브루틴들, 함수들, 프로시져들 등을 가리킬 수도 있다. "명령들" 및 "코드"는 단일의 컴퓨터 판독 가능한 명령문 또는 많은 컴퓨터 판독 가능한 명령문을 포함할 수도 있다.
본원에서 설명된 기능들은 하드웨어에 의해 실행되는 소프트웨어 또는 펌웨어에서 구현될 수도 있다. 이 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 또는 "컴퓨터 프로그램 제품"은 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 유형의 비일시적 저장 매체를 가리킨다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장 디바이스, 자기 디스크 저장 디바이스 또는 다른 자기 저장 디바이스, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 타입으로 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본원에서 사용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루-레이® 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크 (disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다.
본원에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 도는 작동들을 포함한다. 방법 단계들 및/또는 작동들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 설명된 방법들의 적합한 동작을 위해 단계들 또는 액션들의 특정한 순서가 요구되지 않는 한, 특정한 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위를 벗어나지 않으면서 수정될 수도 있다.
또한, 도 3, 도 5-6, 및 도 8-9 에서 예시된 것들과 같이, 본원에서 설명된 방법들 및 기법들을 수행하기 위한 모듈들 및/또는 다른 적합한 수단들은 다운로드될 수 있고 및/또는 다르게는 디바이스에 의해 획득될 수도 있음을 주지해야 한다. 예를 들어, 본원에서 설명된 방법들을 수행하기 위한 수단의 전송을 용이하게 하기 위한 서버에 전자 디바이스가 커플링될 수도 있다. 다르게는, 본원에서 설명된 여러 방법들은 저장 수단 (예를 들어, RAM, ROM, CD (compact disc) 또는 플로피디스크 등과 같은 물리적 저장 매체) 을 통해 제공될 수 있고, 따라서, 저장 수단이 디바이스에 커플링되거나 제공되면, 디바이스는 여러 방법들을 획득할 수도 있다.
청구항들은 상기에서 예시된 정확한 구성 및 컴포넌트들로 제한되지 않는 것으로 이해되어야 한다. 특허청구범위의 범위를 벗어나지 않으면서, 본원에서 설명된 시스템들, 방법들 및 장치들의 배치, 동작 및 세부사항들에서 다양한 수정들, 변경들 및 변형들이 행해질 수도 있다.

Claims (42)

  1. 3 차원 페이스 생성을 위한 방법으로서,
    심도 맵 및 인버팅된 제 1 행렬에 기초하여 역 심도 맵을 계산하는 단계로서, 상기 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성되는, 상기 역 심도 맵을 계산하는 단계;
    이미지 보정 (image rectification) 에 의해 야기된 상기 심도 맵에서의 왜곡들을 정정하기 위해 상기 역 심도 맵을 정규화하는 단계; 및
    상기 역 심도 맵 및 상기 2 개의 이미지들 중 하나에 기초하여 3 차원 페이스 모델을 생성하는 단계를 포함하는, 3 차원 페이스 생성을 위한 방법.
  2. 제 1 항에 있어서,
    상기 2 개의 이미지들 중 제 1 이미지에 대응하는 제 1 행렬을 획득하는 단계;
    상기 2 개의 이미지들 중 제 2 이미지에 대응하는 제 2 행렬을 획득하는 단계;
    상기 제 1 행렬을 상기 제 1 이미지에 적용하여 제 1 보정된 이미지를 획득하는 단계; 및
    상기 제 2 행렬을 상기 제 2 이미지에 적용하여 제 2 보정된 이미지를 획득하는 단계를 더 포함하는, 3 차원 페이스 생성을 위한 방법.
  3. 제 2 항에 있어서,
    상기 제 1 행렬은 상기 제 1 이미지에 대응하는 호모그래픽 행렬이고, 상기 제 2 행렬은 상기 제 2 이미지에 대응하는 호모그래픽 행렬인, 3 차원 페이스 생성을 위한 방법.
  4. 제 2 항에 있어서,
    상기 역 심도 맵을 계산하는 단계는,
    상기 제 1 행렬을 인버팅하여 상기 인버팅된 제 1 행렬을 획득하는 단계; 및
    상기 인버팅된 제 1 행렬을 상기 심도 맵에 적용하는 단계를 포함하는, 3 차원 페이스 생성을 위한 방법.
  5. 제 2 항에 있어서,
    상기 제 1 보정된 이미지 및 상기 제 2 보정된 이미지로부터 상기 심도 맵을 결정하는 단계를 더 포함하는, 3 차원 페이스 생성을 위한 방법.
  6. 제 2 항에 있어서,
    상기 2 개의 이미지들로부터 기본 행렬을 결정하는 단계를 더 포함하는, 3 차원 페이스 생성을 위한 방법.
  7. 제 6 항에 있어서,
    상기 제 1 행렬을 획득하는 단계 및 상기 제 2 행렬을 획득하는 단계는 상기 기본 행렬을 분해하는 단계를 포함하는, 3 차원 페이스 생성을 위한 방법.
  8. 제 1 항에 있어서,
    상기 2 개의 이미지들은 사람 얼굴에 대한 상이한 시각들인, 3 차원 페이스 생성을 위한 방법.
  9. 제 1 항에 있어서,
    상기 역 심도 맵을 정규화하는 단계는 상기 역 심도 맵에서의 픽셀들의 서브세트를 정규화하는 단계를 포함하는, 3 차원 페이스 생성을 위한 방법.
  10. 제 1 항에 있어서,
    상기 역 심도 맵을 정규화하는 단계는 상기 역 심도 맵을 회전하는 것, 틸트하는 것, 및 스케일링하는 것 중 하나를 포함하는, 3 차원 페이스 생성을 위한 방법.
  11. 제 10 항에 있어서,
    상기 역 심도 맵을 틸트하는 것은,
    상기 역 심도 맵의 서브세트 선택물에서 픽셀들의 각 컬럼에 대한 심도 미분값 (derivative) 들을 결정하는 것;
    상기 서브세트 선택물에 대해, 상기 심도 미분값들 전부의 평균 값을 결정하는 것;
    상기 평균 값을 임계 값에 비교하는 것; 및
    상기 비교에 기초하여 상기 역 심도 맵을 틸트하는 것을 포함하는, 3 차원 페이스 생성을 위한 방법.
  12. 제 11 항에 있어서,
    상기 서브세트 선택물은 직사각형 영역을 포함하는, 3 차원 페이스 생성을 위한 방법.
  13. 제 11 항에 있어서,
    상기 서브세트 선택물은 제 1 영역 및 제 2 영역을 포함하고,
    상기 비교하는 것은 상기 제 1 영역의 평균 값과 상기 제 2 영역의 평균 값 간의 차이를 임계 값에 비교하는 것을 포함하는, 3 차원 페이스 생성을 위한 방법.
  14. 제 10 항에 있어서,
    상기 역 심도 맵을 회전하는 것은,
    상기 역 심도 맵에서 대칭적 피처들을 검출하는 것으로서, 상기 대칭적 피처들은 좌측 피처 및 우측 피처를 포함하는, 상기 대칭적 피처들을 검출하는 것; 및
    상기 좌측 피처 및 상기 우측 피처를 수평 레벨로 만들도록 비례적으로 상기 역 심도 맵을 조정하는 단계를 포함하는, 3 차원 페이스 생성을 위한 방법.
  15. 제 10 항에 있어서,
    상기 역 심도 맵을 스케일링하는 것은,
    상기 역 심도 맵에서 대칭적 피처들을 검출하는 것으로서, 상기 대칭적 피처들은 좌측 피처 및 우측 피처를 포함하는, 상기 대칭적 피처들을 검출하는 것; 및
    상기 좌측 피처 및 상기 우측 피처를 비례적으로 균등하고 동일한 심도 레벨로 만들도록 상기 역 심도 맵을 조정하는 단계를 포함하는, 3 차원 페이스 생성을 위한 방법.
  16. 3 차원 페이스 생성을 위한 장치로서,
    프로세서;
    상기 프로세서와 전자 통신하는 메모리; 및
    상기 메모리에 저장된 명령들을 포함하고,
    상기 명령들은,
    심도 맵 및 인버팅된 제 1 행렬에 기초하여 역 심도 맵을 계산하는 것으로서, 상기 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성되는, 상기 역 심도 맵을 계산하고;
    이미지 보정에 의해 야기된 상기 심도 맵에서의 왜곡들을 정정하기 위해 상기 역 심도 맵을 정규화하며;
    상기 역 심도 맵 및 상기 2 개의 이미지들 중 하나에 기초하여 3 차원 페이스 모델을 생성하도록 실행 가능한, 3 차원 페이스 생성을 위한 장치.
  17. 제 16 항에 있어서,
    상기 2 개의 이미지들 중 제 1 이미지에 대응하는 제 1 행렬을 획득하고;
    상기 2 개의 이미지들 중 제 2 이미지에 대응하는 제 2 행렬을 획득하고;
    상기 제 1 행렬을 상기 제 1 이미지에 적용하여 제 1 보정된 이미지를 획득하며;
    상기 제 2 행렬을 상기 제 2 이미지에 적용하여 제 2 보정된 이미지를 획득하도록 실행 가능한 명령들을 더 포함하는, 3 차원 페이스 생성을 위한 장치.
  18. 제 17 항에 있어서,
    상기 제 1 행렬은 상기 제 1 이미지에 대응하는 호모그래픽 행렬이고, 상기 제 2 행렬은 상기 제 2 이미지에 대응하는 호모그래픽 행렬인, 3 차원 페이스 생성을 위한 장치.
  19. 제 17 항에 있어서,
    상기 역 심도 맵을 계산하도록 실행 가능한 명령들은,
    상기 제 1 행렬을 인버팅하여 상기 인버팅된 제 1 행렬을 획득하며;
    상기 인버팅된 제 1 행렬을 상기 심도 맵에 적용하도록 실행 가능한 명령들을 포함하는, 3 차원 페이스 생성을 위한 장치.
  20. 제 17 항에 있어서,
    상기 제 1 보정된 이미지 및 상기 제 2 보정된 이미지로부터 상기 심도 맵을 결정하도록 실행 가능한 명령들을 더 포함하는, 3 차원 페이스 생성을 위한 장치.
  21. 제 17 항에 있어서,
    상기 2 개의 이미지들로부터 기본 행렬을 결정하도록 실행 가능한 명령들을 더 포함하는, 3 차원 페이스 생성을 위한 장치.
  22. 제 21 항에 있어서,
    상기 제 1 행렬을 획득하고 상기 제 2 행렬을 획득하도록 실행 가능한 명령들은 상기 기본 행렬을 분해하도록 실행 가능한 명령들을 포함하는, 3 차원 페이스 생성을 위한 장치.
  23. 제 16 항에 있어서,
    상기 2 개의 이미지들은 사람 얼굴에 대한 상이한 시각들인, 3 차원 페이스 생성을 위한 장치.
  24. 제 16 항에 있어서,
    상기 역 심도 맵을 정규화하도록 실행 가능한 명령들은 상기 역 심도 맵에서의 픽셀들의 서브세트를 정규화하도록 실행 가능한 명령들을 포함하는, 3 차원 페이스 생성을 위한 장치.
  25. 제 16 항에 있어서,
    상기 역 심도 맵을 정규화하도록 실행 가능한 명령들은 상기 역 심도 맵을 회전하도록 실행 가능한 명령들, 틸트하도록 실행 가능한 명령들, 및 스케일링하도록 실행 가능한 명령들 중 하나를 포함하는, 3 차원 페이스 생성을 위한 장치.
  26. 제 25 항에 있어서,
    상기 역 심도 맵을 틸트하도록 실행 가능한 명령들은,
    상기 역 심도 맵의 서브세트 선택물에서 픽셀들의 각 컬럼에 대한 심도 미분값들을 결정하고;
    상기 서브세트 선택물에 대해, 상기 심도 미분값들 전부의 평균 값을 결정하고;
    상기 평균 값을 임계 값에 비교하며;
    상기 비교에 기초하여 상기 역 심도 맵을 틸트하도록 실행 가능한 명령들을 포함하는, 3 차원 페이스 생성을 위한 장치.
  27. 제 26 항에 있어서,
    상기 서브세트 선택물은 직사각형 영역을 포함하는, 3 차원 페이스 생성을 위한 장치.
  28. 제 26 항에 있어서,
    상기 서브세트 선택물은 제 1 영역 및 제 2 영역을 포함하고,
    상기 비교하도록 실행 가능한 명령들은 상기 제 1 영역의 평균 값과 상기 제 2 영역의 평균 값 간의 차이를 임계 값에 비교하도록 실행 가능한 명령들을 포함하는, 3 차원 페이스 생성을 위한 장치.
  29. 제 25 항에 있어서,
    상기 역 심도 맵을 회전하도록 실행 가능한 명령들은,
    상기 역 심도 맵에서 대칭적 피처들을 검출하는 것으로서, 상기 대칭적 피처들은 좌측 피처 및 우측 피처를 포함하는, 상기 대칭적 피처들을 검출하며;
    상기 좌측 피처 및 상기 우측 피처를 수평 레벨로 만들도록 비례적으로 상기 역 심도 맵을 조정하도록 실행 가능한 명령들을 포함하는, 3 차원 페이스 생성을 위한 장치.
  30. 제 25 항에 있어서,
    상기 역 심도 맵을 스케일링하도록 실행 가능한 명령들은,
    상기 역 심도 맵에서 대칭적 피처들을 검출하는 것으로서, 상기 대칭적 피처들은 좌측 피처 및 우측 피처를 포함하는, 상기 대칭적 피처들을 검출하며;
    상기 좌측 피처 및 상기 우측 피처를 비례적으로 균등하고 동일한 심도 레벨로 만들도록 상기 역 심도 맵을 조정하도록 실행 가능한 명령들을 포함하는, 3 차원 페이스 생성을 위한 장치.
  31. 3 차원 페이스 생성을 위한 장치로서,
    심도 맵 및 인버팅된 제 1 행렬에 기초하여 역 심도 맵을 계산하는 수단으로서, 상기 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성되는, 상기 역 심도 맵을 계산하는 수단;
    이미지 보정에 의해 야기된 상기 심도 맵에서의 왜곡들을 정정하기 위해 상기 역 심도 맵을 정규화하는 수단; 및
    상기 역 심도 맵 및 상기 2 개의 이미지들 중 하나에 기초하여 3 차원 페이스 모델을 생성하는 수단을 포함하는, 3 차원 페이스 생성을 위한 장치.
  32. 제 31 항에 있어서,
    상기 역 심도 맵을 정규화하는 수단은 상기 역 심도 맵에서의 픽셀들의 서브세트를 정규화하는 수단을 포함하는, 3 차원 페이스 생성을 위한 장치.
  33. 제 31 항에 있어서,
    상기 역 심도 맵을 정규화하는 수단은 상기 역 심도 맵을 회전하는 수단, 틸트하는 수단, 및 스케일링하는 수단 중 하나를 포함하는, 3 차원 페이스 생성을 위한 장치.
  34. 제 33 항에 있어서,
    상기 역 심도 맵을 틸트하는 수단은,
    상기 역 심도 맵의 서브세트 선택물에서 픽셀들의 각 컬럼에 대한 심도 미분값들을 결정하는 수단;
    상기 서브세트 선택물에 대해, 상기 심도 미분값들 전부의 평균 값을 결정하는 수단;
    상기 평균 값을 임계 값에 비교하는 수단; 및
    상기 비교에 기초하여 상기 역 심도 맵을 틸트하는 수단을 포함하는, 3 차원 페이스 생성을 위한 장치.
  35. 제 34 항에 있어서,
    상기 서브세트 선택물은 제 1 영역 및 제 2 영역을 포함하고,
    상기 비교하는 수단은 상기 제 1 영역의 평균 값과 상기 제 2 영역의 평균 값 간의 차이를 임계 값에 비교하는 수단을 포함하는, 3 차원 페이스 생성을 위한 장치.
  36. 제 33 항에 있어서,
    상기 역 심도 맵을 회전하는 수단은,
    상기 역 심도 맵에서 대칭적 피처들을 검출하는 수단으로서, 상기 대칭적 피처들은 좌측 피처 및 우측 피처를 포함하는, 상기 대칭적 피처들을 검출하는 수단; 및
    상기 좌측 피처 및 상기 우측 피처를 수평 레벨로 만들도록 비례적으로 상기 역 심도 맵을 조정하는 수단을 포함하는, 3 차원 페이스 생성을 위한 장치.
  37. 명령들을 갖는 비일시적 컴퓨터 판독가능 매체를 포함하는, 3 차원 페이스 생성을 위한 컴퓨터 프로그램 제품으로서,
    상기 명령들은,
    전자 디바이스로 하여금, 심도 맵 및 인버팅된 제 1 행렬에 기초하여 역 심도 맵을 계산하게 하는 코드로서, 상기 인버팅된 제 1 행렬은, 픽셀들이 수직으로는 정렬되고 수평으로는 상이한 2 개의 이미지들로부터 생성되는, 상기 역 심도 맵을 계산하게 하는 코드;
    상기 전자 디바이스로 하여금, 이미지 보정에 의해 야기된 상기 심도 맵에서의 왜곡들을 정정하기 위해 상기 역 심도 맵을 정규화하게 하는 코드; 및
    상기 전자 디바이스로 하여금, 상기 역 심도 맵 및 상기 2 개의 이미지들 중 하나에 기초하여 3 차원 페이스 모델을 생성하게 하는 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  38. 제 37 항에 있어서,
    상기 전자 디바이스로 하여금 상기 역 심도 맵을 정규화하게 하는 코드는, 상기 전자 디바이스로 하여금 상기 역 심도 맵에서의 픽셀들의 서브세트를 정규화하게 하는 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  39. 제 37 항에 있어서,
    상기 전자 디바이스로 하여금 상기 역 심도 맵을 정규화하게 하는 코드는, 상기 전자 디바이스로 하여금 상기 역 심도 맵을 회전하게 하는 코드, 틸트하게 하는 코드, 및 스케일링하게 하는 코드 중 하나를 포함하는, 비일시적 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  40. 제 39 항에 있어서,
    상기 전자 디바이스로 하여금 상기 역 심도 맵을 틸트하게 하는 코드는,
    상기 전자 디바이스로 하여금 상기 역 심도 맵의 서브세트 선택물에서 픽셀들의 각 컬럼에 대한 심도 미분값들을 결정하게 하는 코드;
    상기 전자 디바이스로 하여금 상기 서브세트 선택물에 대해, 상기 심도 미분값들 전부의 평균 값을 결정하게 하는 코드;
    상기 전자 디바이스로 하여금 상기 평균 값을 임계 값에 비교하게 하는 코드; 및
    상기 전자 디바이스로 하여금 상기 비교에 기초하여 상기 역 심도 맵을 틸트하게 하는 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  41. 제 40 항에 있어서,
    상기 서브세트 선택물은 제 1 영역 및 제 2 영역을 포함하고,
    상기 비교하는 것은 상기 제 1 영역의 평균 값과 상기 제 2 영역의 평균 값 간의 차이를 임계 값에 비교하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  42. 제 39 항에 있어서,
    상기 전자 디바이스로 하여금 상기 역 심도 맵을 회전하게 하는 코드는,
    상기 전자 디바이스로 하여금 상기 역 심도 맵에서 대칭적 피처들을 검출하게 하는 코드로서, 상기 대칭적 피처들은 좌측 피처 및 우측 피처를 포함하는, 상기 대칭적 피처들을 검출하게 하는 코드; 및
    상기 전자 디바이스로 하여금 상기 좌측 피처 및 상기 우측 피처를 수평 레벨로 만들도록 비례적으로 상기 역 심도 맵을 조정하게 하는 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
KR1020167002328A 2013-07-08 2014-06-12 3-차원 페이스 모델을 생성하기 위한 시스템들 및 방법들 KR20160030203A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/936,867 US9842423B2 (en) 2013-07-08 2013-07-08 Systems and methods for producing a three-dimensional face model
US13/936,867 2013-07-08
PCT/US2014/042185 WO2015006014A1 (en) 2013-07-08 2014-06-12 Systems and methods for producing a three-dimensional face model

Publications (1)

Publication Number Publication Date
KR20160030203A true KR20160030203A (ko) 2016-03-16

Family

ID=51168400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167002328A KR20160030203A (ko) 2013-07-08 2014-06-12 3-차원 페이스 모델을 생성하기 위한 시스템들 및 방법들

Country Status (6)

Country Link
US (1) US9842423B2 (ko)
EP (1) EP3020023B1 (ko)
JP (1) JP2016526742A (ko)
KR (1) KR20160030203A (ko)
CN (1) CN105474263B (ko)
WO (1) WO2015006014A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406135B2 (en) * 2012-10-29 2016-08-02 Samsung Electronics Co., Ltd. Device and method for estimating head pose
JP6543062B2 (ja) * 2015-03-23 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法
US10275863B2 (en) * 2015-04-03 2019-04-30 Cognex Corporation Homography rectification
US9542732B2 (en) 2015-04-03 2017-01-10 Cognex Corporation Efficient image transformation
KR102146398B1 (ko) * 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
CN106327571B (zh) * 2016-08-23 2019-11-05 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
CN107839221A (zh) * 2016-08-31 2018-03-27 合肥龙精灵信息技术有限公司 3d打印机使用的拍摄装置
CN107134008A (zh) * 2017-05-10 2017-09-05 广东技术师范学院 一种基于三维重建下的动态物体识别的方法及系统
CN109242901B (zh) * 2017-07-11 2021-10-22 深圳市道通智能航空技术股份有限公司 应用于三维相机的图像校准方法和装置
CN107509043B (zh) * 2017-09-11 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置及计算机可读存储介质
CN109697749A (zh) * 2017-10-20 2019-04-30 虹软科技股份有限公司 一种用于三维建模的方法和装置
CN108024056B (zh) * 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
US11579472B2 (en) 2017-12-22 2023-02-14 Optikam Tech, Inc. System and method of obtaining fit and fabrication measurements for eyeglasses using depth map scanning
US10620454B2 (en) 2017-12-22 2020-04-14 Optikam Tech, Inc. System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
CN108876894B (zh) * 2018-02-01 2022-07-15 北京旷视科技有限公司 三维人脸模型和三维人头模型生成方法和生成装置
US10776609B2 (en) * 2018-02-26 2020-09-15 Samsung Electronics Co., Ltd. Method and system for facial recognition
CN108257210A (zh) * 2018-02-28 2018-07-06 浙江神造科技有限公司 一种通过单张照片生成人脸三维模型的方法
CN109727303B (zh) * 2018-12-29 2023-07-25 广州方硅信息技术有限公司 视频展示方法、系统、计算机设备、存储介质和终端
CN110222573B (zh) * 2019-05-07 2024-05-28 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
US11030801B2 (en) * 2019-05-17 2021-06-08 Standard Cyborg, Inc. Three-dimensional modeling toolkit
KR102187143B1 (ko) * 2020-08-13 2020-12-04 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
KR102242027B1 (ko) * 2020-08-28 2021-04-23 머지리티 주식회사 이미지 통합 방법 및 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608923B1 (en) * 1999-06-19 2003-08-19 Microsoft Corporation System and method for rectifying images of three dimensional objects
US7519236B2 (en) * 2003-04-09 2009-04-14 Arcsoft, Inc. Image retrieval
CN1595280A (zh) 2004-07-01 2005-03-16 上海交通大学 旋转平台上的三维人脸重建系统
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
WO2008007781A1 (fr) * 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
CN101159015B (zh) 2007-11-08 2010-12-08 清华大学 一种二维人脸图像的识别方法
US8401276B1 (en) 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
JP4778569B2 (ja) * 2009-03-19 2011-09-21 旭化成株式会社 ステレオ画像処理装置、ステレオ画像処理方法及びステレオ画像処理プログラム
US20110080466A1 (en) 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
DE102009046114B4 (de) * 2009-10-28 2011-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erzeugen einer kalibrierten Projektion
US8908011B2 (en) 2010-09-17 2014-12-09 Panasonic Corporation Three-dimensional video creating device and three-dimensional video creating method
US20120068996A1 (en) * 2010-09-21 2012-03-22 Sony Corporation Safe mode transition in 3d content rendering
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US8928729B2 (en) 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
CN102426712B (zh) 2011-11-03 2014-07-16 中国科学院自动化研究所 一种基于两幅图像的三维头部建模方法
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables

Also Published As

Publication number Publication date
US9842423B2 (en) 2017-12-12
CN105474263B (zh) 2019-01-22
WO2015006014A1 (en) 2015-01-15
JP2016526742A (ja) 2016-09-05
CN105474263A (zh) 2016-04-06
EP3020023B1 (en) 2017-09-27
EP3020023A1 (en) 2016-05-18
US20150009207A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
KR20160030203A (ko) 3-차원 페이스 모델을 생성하기 위한 시스템들 및 방법들
EP3614340B1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
US10839557B1 (en) Camera calibration for augmented reality
US10872439B2 (en) Method and device for verification
US9652849B2 (en) Techniques for rapid stereo reconstruction from images
TWI398796B (zh) Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
CA3016906C (en) Perspective correction for curved display screens
US9710109B2 (en) Image processing device and image processing method
WO2019179168A1 (zh) 投影畸变校正方法、装置、系统及存储介质
KR102170182B1 (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US8398246B2 (en) Real-time projection management
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
US11282232B2 (en) Camera calibration using depth data
US10540784B2 (en) Calibrating texture cameras using features extracted from depth images
US20130136302A1 (en) Apparatus and method for calculating three dimensional (3d) positions of feature points
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11488354B2 (en) Information processing apparatus and information processing method
US11403781B2 (en) Methods and systems for intra-capture camera calibration
US10884546B2 (en) Projection alignment
US9536133B2 (en) Display apparatus and control method for adjusting the eyes of a photographed user
US10339702B2 (en) Method for improving occluded edge quality in augmented reality based on depth camera
US20130208976A1 (en) System, method, and computer program product for calculating adjustments for images
WO2024146165A1 (zh) 人眼定位方法、装置、计算设备及存储介质
CN116596994A (zh) 一种基于三目视觉的目标位姿确定方法、装置、设备及存储介质
TW202040514A (zh) 使用紅外線攝影機的互動影像處理系統

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid