KR20080108430A - 2ｄ 영상들로부터 3ｄ 안면 재구성 - Google Patents

2ｄ 영상들로부터 3ｄ 안면 재구성 Download PDF

Info

Publication number
KR20080108430A
KR20080108430A KR1020087020957A KR20087020957A KR20080108430A KR 20080108430 A KR20080108430 A KR 20080108430A KR 1020087020957 A KR1020087020957 A KR 1020087020957A KR 20087020957 A KR20087020957 A KR 20087020957A KR 20080108430 A KR20080108430 A KR 20080108430A
Authority
KR
South Korea
Prior art keywords
images
face
facial
pairs
prior knowledge
Prior art date
Application number
KR1020087020957A
Other languages
English (en)
Inventor
제라드 메디오니
더글라스 휘다레오
Original Assignee
유니버시티 오브 써던 캘리포니아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니버시티 오브 써던 캘리포니아 filed Critical 유니버시티 오브 써던 캘리포니아
Publication of KR20080108430A publication Critical patent/KR20080108430A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

안면의 사진과 같은 2D 영상들을 사용하는 3D 안면 재구성 기술이 기재된다. 선행 안면 지식(prior face knowledge) 또는 일반적 안면(generic face)은 영상들로부터 희소 3D 정보를 검출하고, 영상 쌍들을 식별하기 위해 사용된다. 번들 조정(bundle adjustment)은 더 정확한 3D 카메라 위치를 판단하기 위해 수행되고, 영상 쌍들은 수정되고, 고밀도 3D 안면 정보는 선행 안면 지식을 사용하지 않고 검출된다. 이상값(outlier)들은 예컨대 텐서 보팅(tensor voting)을 사용하여 제거된다. 3D 면은 고밀도 3D 정보로부터 검출되고, 면 상세 정보는 영상들로부터 검출된다.

Description

2Ｄ 영상들로부터 3Ｄ 안면 재구성{3D Face Reconstruction from 2D Images}
본 발명은 3차원 안면 정보를 얻기 위한 방법 및 장치에 관한 것이다.
종래의 안면 재구성 기술들은 보통 안면의 3차원 표현을 생성하기 위해 안면의 2차원 영상 또는 영상들(예컨대, 디지털 사진들)을 사용한다. 생성된 표현은 여러 안면들의 개인적 특성들을 나타내는 전자 파일과 같은 파일일 수 있다. 이 파일은 이후에 예컨대, 안면 인식(facial recognition), 애니메이션(animation), 또는 렌더링(rendering)을 위해 사용될 수 있다.
한 번 획득된 영상들은 종종 안면들이 일반적으로 보이는 모습의 선행 지식 또는 추정들에 기초하여 프로세싱될 수 있다. 이러한 지식은 종종 "도메인 지식(domain knowledge)", "선행 모델(prior model)", 또는 더 구체적으로 "일반적 안면(generic face)"이라 불린다. 예를 들면, 선행 안면 지식은 눈, 코 등과 같은 여러 종류의 안면 형태들의 존재 또는 대략의 위치를 나타낼 수 있다. 선행 안면 지식은 안면이 기본 안면 형상들 및 외양들, 카메라 파라미터들, 광(lighting) 파라미터들, 및 기타 알려진 요소들, 또는 추정가능한 요소들의 선형 조합의 형태라고 가정할 수 있다. 이 요소들은 안면의 외양과 유사하게 추정하기 위해 결합될 수 있다. 특히, 도메인 지식은 화가(artist)에 의해 정의되는 일반적 안면 형상, 또는 복수의 공지의 안면 형상들로부터 계산된 평균적 안면 형상의 형태에서 나올 수 있다.
안면 재구성을 위한 하나의 일반적 기술은 재구성 프로세스를 통해, 일반적 안면(generic face)의 선행 안면 지식을 이용하고, 가능하게는 안면 메트릭들(metrics) 또는 변형 파라미터들의 세트를 이용한다. 다른 일반적 기술은 선행 안면 지식의 사용을 피하는 대신에, 안면을 재구성하기 위해 순수 데이터 구동 접근 방식(purely data-driven approach)을 사용한다. 이는 예를 들면, 다중 정렬 카메라들(multiple calibrated cameras)로부터의 다중 영상들에서 2차원 지점들의 삼각 측량법(triangulation)을 이용하여 수행될 수 있다. 불행히도, 전자의 접근 방식은 프로세스를 통해, 일반적 안면(generic face)의 사용으로 인해 비현실적인 데이터를 제공할 수 있다. 후자의 접근 방식은 합리적인 비용으로 실제적으로 구현하기에 어려운 부가적인 하드웨어 하부조직(infrastructure)을 요구한다. 단일 카메라의 순수 데이터 구동 접근 방식은 다중 뷰 입체 방식들(multi-view stereo methods)의 하드웨어 제한들의 일부를 거부하지만, 프로세스의 스테이지들에서의 제한들의 부족으로 인해, 그 자체로 불안정할 수 있다.
본 발명은 보조적인 기술을 사용하여 3차원 안면 정보를 얻기 위한 기술들을 기재한다. 본 발명의 측면들에 따라, 안면 구조의 선행 지식은 프로세싱 동작 동안 일부 지점들에서 사용되지만, 프로세싱 동작 동안 다른 부분들은 순수 데이터 구동 방식이 사용된다.
다른 동작은 2D 영상들의 세트로부터 3D 애니메이션의 측정(determination)을 위해 단일 카메라를 사용한다.
도 1은 동작의 개괄적인 흐름도를 도시한다.
도 2는 흐름도를 수행할 수 있는 범용 컴퓨터를 도시한다.
도 3은 어떻게 3차원 안면 추적자가 일반적 안면에 도움을 받는지 도시한다.
도 4a 및 4b는 각각 원기둥 공간 및 풀어진 삼각 형태에 포함된 고밀도 3차원 형태들을 도시한다.
일반적인 구조 및 기술들, 그리고 더욱 일반적인 목적을 수행하는 다른 방법들을 달성하기 위해 사용될 수 있는 더욱 특정한 실시예들이 본원에 기재된다.
본 출원은 객체, 예컨대 안면에 대한 3차원 정보를 판단하는 것을 언급한다. 본 발명의 실시예가 안면의 3D 재구성 및 렌더링을 언급하여 기재될지라도, 이것과 동일한 기술은 임의의 객체의 다중 뷰들(mutiple views)을 재구성하고 렌더링하기 위해 사용될 수 있다는 것이 이해되어야 한다. 안면을 위해 사용될 때, 본원에 기재된 기술에 의해 생성되는 3차원 정보는 애니메이션, 인식, 또는 렌더링과 같은 임의의 안면 기반 응용을 위해 사용될 수 있다. 본원에 기재된 기술들은 일반적 안면의 선행 지식에 더욱 널리 의존하는 다른 기술들보다 더욱 현실적일 수 있다.
본 발명의 발명자들은 안면을 재구성하기 위해 안면 외양의 강력한 선행 지식을 사용했던 이전 시스템들이 실제적으로 안면을 형성하고 렌더링하기 위해 사용 되는 기본 형상들의 수를 양자화한다는 것을 인지한다. 강력한 선행 지식 또는 일반적 안면 접근 방식은 부과된 선행 안면 지식 또는 일반적 안면에 의해 제공된 자유도들(degrees of freedom)에 의해 효과적으로 제한된다. 그래서, 정보 및 차후의 재구성은 원래의 안면의 모든 미세한 상세 부분들을 포착하지는 않는다.
이 "안면 공간(face space)" 양자화는 선행 지식 및 관련된 변환이 시스템에 의해 재구성될 수 있는 모든 가능한 안면들의 공간을 제한하기 때문에 일어난다. 일반적 안면 또는 순수 선행 안면 지식 기반 방법들은 전체적인 안면 공간을 커버하기 위해 충분한 자유도들을 갖지 않을 수 있다.
일 실시예는 프로세스의 중요 지점들에서 선행 안면 지식 또는 일반적 안면 제한들을 무시하고, 대신에 본원에서 고밀도 형태들(dense features)로 언급되는 안면의 상세 부분들을 발견하기 위해 데이터 구동 접근 방식을 사용하여 데이터에 의존하는 것에 의해 미세한 안면 상세 부분들을 포착한다. 데이터 구동 접근 방식은 노이즈(noise), 측정 불확정성, 및 이상값들(outliers)을 효과적으로 다루기 위해 대용량의 데이터를 요구한다. 그러나, 본 시스템은 순수 데이터 구동 접근 방식을 사용하지 않을 뿐만 아니라, 선행 안면 지식 또는 일반적 안면들을 통합하는 방법들에 의해 보조된다.
본 발명의 일 측면에 따라, 대용량의 데이터는 다중 영상들을 얻기 위해 동작하는 단일 카메라로부터 획득될 수 있다. 예를 들면, 이것은 영상들의 이동 시퀀스(moving sequence)를 집합적으로 형성하는 비디오의 프레임들을 사용할 수 있다. 이것은 또한 하나 또는 다수의 카메라들로부터 획득된 다중의 다른 정지 영상 들(still images)로부터 획득될 수 있다.
미국 특허 제 7,103,211호는 3D 안면 모델을 생성하기 위한 방법을 개시하며, 이 방법은 어떠한 선행 안면 지식도 사용하지 않고, 대신에 완전히 데이터 구동 방식이다. 본 시스템은 대부분 데이터 구동 방식인 시스템을 사용하지만, 정보의 특정 부분들을 판단하기 위해 선행 안면 지식 또는 일반적 안면을 사용한다.
일 실시예가 도 1의 흐름도를 참조하여 기재된다. 도 1은 또한 동작을 설명하는 일부의 예시적인 섬네일(thumbnail) 영상들을 도시한다. 이 흐름도는 도 2에 도시된 시스템과 같은 임의의 범용 컴퓨터(general purpose computer)로 수행될 수 있다. 이 시스템은 프로세서(200), 마우스 및 키보드와 같은 사용자 인터페이스(205), 및 디스플레이 스크린(210)을 포함한다. 컴퓨터는 예를 들면 인텔(Intel) 기반 프로세서 또는 임의의 기타 종류의 프로세서일 수 있다. 컴퓨터는 하나 또는 그 이상의 카메라들(215), 예컨대 스틸 카메라(still camera)들 또는 비디오 카메라들로부터 비가공(raw)된 또는 프로세싱된 않은 영상을 수신한다. 프로세서(200)는 본원에 제공되는 설명들에 따라 비가공된 영상 데이터를 프로세싱한다. 대안적으로, 카메라 정보는 예컨대 하드 드라이브와 같은 메모리(220)에 저장될 수 있고, 일정 시간 후에 프로세싱될 수 있다.
일 실시예는 예컨대 비디오 시퀀스, 비디오 시퀀스로부터의 정지 모션 형식 영상들의 시퀀스, 또는 단순히 다수의 정지 영상들과 같은 영상들의 시퀀스로부터 정보를 검출한다. 피사체(subject)가 완전히 정지하여 서있지 않고, 카메라가 위치를 변경한다면, 영상들의 시퀀스는 영상들의 세트에서 피사체의 머리의 다중의 다 른 뷰들을 가질 것이다.
단계(100)에서, 최초의 자세 추정이 판단된다. 이는 최초의 머리 자세 추정을 도출하고, 또한 안면의 모양을 표현하는 마스크(mask)를 도출하기 위해 도 3에 도시된 것과 같은 안면 추적 알고리즘(face tracking algorithm)을 사용할 수 있다. 이것은 머리의 대략의 위치 및 자세, 코, 입 등과 같은 안면 형태들의 위치, 및 기타 등을 판단하기 위해 안면 구조의 선행 지식을 사용한다. 도 3은 3개의 다른 영상들(310, 320, 330)에서 3개의 다른 자세들을 도시한다. 동일한 안면 마스크(300)가 각각의 상기 영상들에 얹어 있다. 안면 마스크(300)는 일반적 안면을 표현하고, 이에 따라 눈, 코, 임 등을 위한 점들을 갖는다. 이러한 방법으로, 마스크는 영상들의 자세를 추정하는 것을 돕는다.
자세 추정 기술은 110에서 희소 형태 추적 모듈(sparse feature tracking module)로 뷰(view)들의 세트를 전달한다. 상기 모듈로 전달되는 뷰들은 3차원 영상이 검출될 수 있는 영상 쌍들을 위한 양호한 지원자(candidate)들로 신뢰되는 것들이다. 상기 희소 형태 추적 모듈(110)은 각각의 영상 쌍에 대해 형태 일치의 세트를 생성한다. 쌍의 2개의 영상들은 충분히 근접되고, 이에 따라 이 형태 일치들이 획득될 수 있다.
자세 선택은 단계(120)에서 수행되고, 3D 정보의 판단을 위해 사용될 수 있는 쌍을 적절히 만드는 영상들을 선택한다. 이 쌍들은 자세에서 근접되고, 유사한 광 특성들을 가져야한다.
전체적인 최적화(global optimization)가 단계(130)에서 형태 점들의 전체적 인 세트상에서 수행된다. 이는 카메라 위치 추정을 개선하고 희소한 2차원 형태들의 3차원 구조를 계산하기 위해 사용된다.
개선된 카메라 위치들은 단계(135)에서 영상들의 쌍들을 수정하기 위해 사용되며, 이에 따라 대응하는 형태 점들을 위한 검색 공간을 쌍의 영상들의 수평 주사선(horizontal scan line)으로 제한한다.
단계(140)에서, 고밀도 형태(dense feature) 매칭(matching)은 쌍들을 교차하여 수행된다. 이것은 단계(110)에서 수행되었던 희소 검출을 넘어서 부가적인 형태들을 발견한다. 이러한 일치(correspondesce)들은 고밀도의 3-D 점 구름(point cloud) 또는 불일치 맵을 형성하기 위해 최적화된 카메라 자세들을 사용하여 삼각 측량법에 의해 판단된다.
개별적인 쌍들에 대응하는 점 구름들은 단일 구름으로 병합되고, 이상값들은 단계(145)에서 거부된다. 고밀도 형태 검출(dense feature detection)은 선행 안면 지식 또는 일반적 안면들을 사용하지 않고 전적으로 데이터 구동 방식이다. 단계(150)는 고밀도 형태 매칭으로의 단순화로서 사용되는 고밀도 형태 계산 보조 방식들(dense feature computation aids)을 정의한다. 이는 이상값 거부 기술들(예컨대, 텐서 보팅(tensor voting))을 포함하고, 영역 검색 최소화(area search minimization)를 포함할 수 있다.
단계(155)에서, 최종적인 청소된 점 구름(cleaned point cloud)은 연결된 면을 형성하기 위해 사용된다. 면 텍스처(face texture)은 정면 영상으로부터 얻어진다. 최종적인 결과는 면을 표현하는 정보이다. 이는 3각 조각들로 형성된 3-D 그물 망(mesh)이다. 이 최종 결과는 대안적으로 3D 점들의 세트, 또는 예컨대 곡선형 박판(spline)들, 세분된 면들, 또는 기타 디지털 면 정의들에 의해 정의된 면일 수 있다.
동작에 대한 추가적인 상세한 설명은 이제 제공된다.
종래의 입체 재구성 방식은 하나 또는 그 이상의 유사한 영상 쌍들을 얻는 다중 카메라들의 존재에 의존한다. 이들 다중 영상 쌍들 사이의 형태 대응이 판단된다. 형태 대응은 그 후에 점들의 최종 3차원 그룹을 찾기 위해 3각 형태로 된다.
일 실시예에서, 단일 카메라는 다중 영상들을 얻기 위해 사용되고, 이후에 영상들은 다중 뷰 입체 영상들로서 개조된다. 일 실시예에서, 이 프로세스는 머리가 정적이고, 카메라가 머리에 대해 이동중 또는 이동된 것을 가정한다. 이것이 있을 법한 상황이 아닌 한편, 이러한 가정은 예컨대, 카메라가 정적이고 머리가 이동되거나, 카메라와 머리 모두가 이동될 수 있는 것과 같이, 일반성의 비손실을 제공한다.
상기 기재된 바와 같이, 처음에 다중 영상들은 영상들 사이에서 카메라 자세의 최초 추정을 판단하기 위해 단계(100)에서 분석된다. 이러한 최초 추정은 추정을 수행하기 위해, 예컨대 선행 안면 지식 또는 일반적 안면과 같은 안면을 나타내는 정보를 사용한다. 이것은 시스템이 영상들 사이의 대응 및 자세를 찾기 위해 충분한 정보를 판단하도록 허용하는 "희소(sparse)" 정보를 제공한다.
예를 들면, 선행 안면 지식 또는 일반적 안면으로 수행된 최초 추정들은 안면 경계선, 안면의 부분들을 정의하는 마스크의 위치들, 또는 기타 정보를 나타내 는 정보를 제공할 수 있다. 이는 영상 선택을 위한 정보를 제공하고, 매칭되는 희소 형태들의 세트를 제한한다. 선행 안면 지식 또는 일반적 안면은 희소 형태들을 생성하기 위해 사용되지만, 희소 형태들은 고밀도 형태들이 판단되는 것에 앞서 데이터 구동 최적화를 사용하여 개선될 수 있다.
추적자 자세 추정 모듈은 서로에 대해 수정될 수 있는 유사한 영상들을 발견하기 위해 영상들을 조사한다. 유사한 영상들은 유사한 자세들을 정의하는 영상들을 포함한다. 이에 따라 이것은 영상들의 부분 집합의 선택이 재구성을 위해 사용되도록 허용한다. 이 영상들은 기본선 정보(baseline information) 뿐만 아니라, 다중 영상들을 교차하는 신뢰성이 있는 추적된 형태 점들 모두를 사용하여 선택된다.
다중의 다른 영상들 사이에는 항상 측정의 불확실성이 있다. 예를 들면, 영상들의 쌍 사이에 각진 기본선이 감소하면, 계산된 3-D 점들의 오류는 확대된다. 이에 따라 이러한 감소된 각진 기본선은 3-D 측정의 불확실성을 증가시킨다. 덜 정확한 3D 정보는 영상들 사이의 더 작은 각진 기본선들이 있는 영상들로부터 획득될 수 있다. 각진 기본선이 증가하면, 더 정확한 3D 정보가 검출될 수 있으나, 또한 2개의 뷰들 사이의 공통인 더 작은 면 영역이 있고, 이에 따라 더 작은 가능성으로 매칭한다. 따라서 영상 쌍들은 측정 불확실성과 오류의 수들 사이에서 균형되기 위해 선택된다. 예를 들면, 영상 쌍을 교차하여 매칭된 6개의 점들과 8 내지 15도의 각진 기본선이 있는 영상들이 선호될 수 있다.
균형화(balancing)는 다중 선택 영상들의 형태 점들을 추적하는 것에 의해 수행될 수 있다. 형태들 사이의 높은 신뢰 매치(match)들(예컨대, 90%보다 더 큰)을 갖는 영상들만 형태 사슬들을 설정하기 위해 유지된다. 프레임 쌍들은 만일 영상들이 형태 점들에 부합하고, 또한 설정 기본선 기준에 부합한다면 영상들의 세트 내에서 유지된다. 예를 들면, 기본선 기준은 적어도 5도의 각진 기본선을 요구하는 것과 같이 설정될 수 있다. 형태 점 기준은 또한 크게 부정확한 추적자 자세 추정들을 갖는 프레임들을 거부한다.
이러한 희소 매칭 위상은 시퀀스를 교차하여 매칭되는 영상들 및 형태 점들의 세트를 생성한다. 이러한 형태 점 매칭에 의해 제공되는 매치들은 자세 추적자에 의해 단독으로 예측되는 매치들보다 더욱 정확할 것이다. 형태 점 매치들은 또한 추적자 예측된 매치들보다 많은 수의 프레임들을 커버할 수 있고, 이에 따라 카메라 자세 개선 프로세스상의 더욱 큰 제한들을 제공한다. 이러한 제한들은 단계(130)에서 자세 개선에 있어 더욱 큰 정확도를 결과할 수 있다.
번들 조정(bundle adjustment)은 영상 세트를 교차하여 매칭된 형태 점들 및 영상들의 세트들로 시작한다. 이들은 상술된 바와 같이 형태 추적에 의해 획득된다. 단계(130)에서 수행된 번들 조정은 영상들의 세트들 사이의 2차원 대응들에 기초하여 점들의 3-D 위치들 및 카메라 파라미터들을 해석하는 최적화 기술이다. 최적화된 파라미터들은 카메라의 위치 및 방위를 포함할 수 있고, 2-D 형태 점들의 3-D 구조를 포함할 수 있다. 최적화는 구조에 대한 부분적인 방법, 및 이후의 카메라 자세에 대한 부분적인 방법을 교체하는 것에 의해 수행될 수 있다. 대안적으로, 컴퓨터는 적당한 방법이 수렴할 때까지 이들 계산들 모두를 수행할 수 있다.
그리고 번들 조정은 최종적으로 수렴할 때까지, 반복적인 방식으로 점들의 위치와 카메라의 자세를 추정하는 것 사이에서 플립 플롭핑(flip-flopping)에 의해 각각의 영상에서 카메라의 위치를 추정한다. 마지막 결과는 더욱 정확한 카메라 위치 뿐만 아니라 점들의 구조이다. 이들이 희소한 "높은 신뢰도" 점들이기 때문에, 전체의 고밀도의 표현을 제공하지는 않지만, 그것은 이후의 스테이지들에서 수행된다.
대안적인 기술은 양호한 값들이 획득될 때까지 단순히 반복적으로 값들을 변경할 수 있다.
추정되고 개선된 번들 조정(130)으로서 매칭된 형태 점들의 3-D 위치들은 재구성의 범위를 제한하기 위해 이후의 스테이지들에서 사용된다. 이들은 모든 차후의 프로세싱 스테이지들에서 사용되는 최적화된 카메라 자세들을 형성한다.
고밀도 형태 매칭(140)은 영상 쌍들 사이에서 대응하는 점들에 대한 더 많은 정보를 발견한다. 그러나 각각의 매치를 위해 전체 영상 검색을 요구할 수 있기 때문에, 제한되지 않은 고밀도의 매칭은 계산적으로 금지될 수 있다. 비제한된 검색은 모든 다른 영상의 각각의 점에 대하여 각각의 영상의 각각의 점을 비교할 것이다.
단계(150)는 일반적으로 고밀도 형태 검색의 범위를 감소시키기 위해 사용되는 기술들을 표현한다.
일 실시예에 따라, 에피폴라 기하학(epipolar geometry) 기술이 사용된다. 에피폴라 기하학에서, 각각의 대응하는 항목은 쌍으로 된 또는 밀집된 영상들 사이 에서 확장하는 단일 선을 따라 놓여져야만 한다. 프로세스는 영상들을 수정하는 것에 의해 더 단순화될 수 있고, 이에 따라 각각의 에피폴라 선은 수평 주사선으로 일치한다. 이는 각각의 잠재적인 매치를 위해 영상들을 재 샘플링(re-sample)해야하는 필요를 제거한다.
수정 이후에, 영상들의 각각의 쌍에서 대응하는 점들은 매칭 프로세스를 사용하여 발견된다. 선행 안면 지식 또는 일반적 안면은 안면 마스크를 추적하는 것에 의해 커버되는 영역으로의 매칭을 제한하는 것에 의해 매칭 프로세스(matching process)를 보조하도록 사용될 수 있다. 이는 검색을 단순화하는 것을 허용하며, 이에 따라 템플릿(template)이 한 영상에서 각각의 픽셀에 대한 고정된 윈도우 크기(window size)를 사용하여 검출된다. 템플릿은 쌍으로된 영상에서 대응하는 에피폴라 선을 따라 매칭된다.
안면에 대해 적절한 최소의 상관 임계값 및 제한된 불일치 범위는 가짜 매칭들의 수를 감소시키기 위해 사용된다. 평평한 상관도(correlation plot)를 갖는 위치들은 제거되고, 명백한 피크(peak)는 제거되지 않는다. 그러나, 다중의 후보 매치들은 최적의 매칭을 찾기 위해 유지될 수 있다.
매칭 프로세스의 결과는 불일치 체적(disparity volume)이다. 각각의 (x,y,d) 트리플릿(triplet)은 하나의 수정된 영상의 픽셀(x,y)을 쌍으로된 영상의 픽셀 (x+d,y)로 맵핑한다.
알려진 자세들은 불일치 값들을 3차원 점들로 변환하기 위해 삼각 형태로 될 수 있다. 각각의 불일치 픽셀은 수정하는 변환의 역변환을 사용하여 자신의 원래의 영상 공간으로 변환된다. 매치의 3차원 위치는 카메라의 광학 중심을 통해 통과하는 광선들 사이의 교차점, 및 영상 평면의 대응하는 형태 매치들에 의해 제공된다. 실제로, 형태 매칭의 오류 및 카메라 추정들은 이들 선들이 정확하게 교차하는 것을 막을 것이다. 광선들 사이의 직교 거리를 최소화하는 3차원 점이 사용될 수 있다.
다른 제한은 도출된 구조의 이상값들의 거부에 의해 제공될 수 있다. 번들 조정 프로세스로부터의 3차원 결과는 희소하더라도 더욱 정확한 3차원 안면 구조의 추정을 제공한다. 이는 안면의 미세 구조를 포착하기에 충분하지 않다. 일 실시예에서, 이것은 고밀도의 재구성에서 허용가능한 3차원 계산에 제한을 제공하도록 사용된다. 특히, 계산된 구조는 번들 조정으로 도출된 구조에서 멀리 벗어나서는 안된다. 이 구조는 먼저 내삽된 번들 조정된 구조를 복셀들(voxels)로 변환하고, 상기 복셀들로부터 미리 정해진 거리에서 데이터를 거부하는 것에 의해 데이터를 프리필터링(prefilter)하도록 사용된다. 실제로, 이것은 데이터 최적화 기술이 된다.
복셀 검사는 번들 복셀들로부터 미리 정해진 거리보다 더 멀리 있는 큰 이상값들을 제거한다. 이것은 또한 안면 마스크의 부정확한 배치로 인한 경계 아티팩트들(boundary artifacts)을 제거한다. 그러나, 형태 매칭의 오류들은 재구성 노이즈를 결과할 수 있다. 만일 노이즈가 뷰들 내에서 및 뷰들 사이에서 상관되지 않는다면, 이것은 3차원 구조에서 희소한 고 주파수 변형으로서 나타날 것이다. 그러나, 정확한 매치들은 안면 구조의 연속성 및 평탄함으로 인해 뷰들 사이에서 상관될 것이다.
텐서 보팅(tensor voting)은 또한 표면 돌출(saliency)을 판단하기 위해 사용될 수 있고, 이에 따라 상관 구조를 유지하는 것은 텐서 보팅이다. 3차원 텐서 보팅 방식은 표면 돌출을 강화하고 판단하기 위해 사용될 수 있다. 텐서 보팅은 각각의 3-D 점이 공 텐서(ball tensor) 또는 막대 텐서(stick tensor) 중 어느 하나로 인코딩되도록 허용한다. 텐서의 정보는 보팅 동작을 통해 이들의 이웃들로 전파된다. 이웃들은 유사한 구조를 갖고 이에 따라 텐서 보팅 프로세스를 통해 서로 강화한다. 구조적인 강화의 양은 초기의 구조적 돌출에 의해 영향받는다. 이 기술은 점들의 구름으로부터 표면을 회복한다.
포인트 노멀(point normal)들의 양호한 초기 추정은 공 텐서들로서 점들을 무턱대고 인코딩하는 것보다 우선시될 수 있다. 일 실시예에서, 머리는 도 4a에 도시된 것과 같이 원기둥에 의해 근사화된다. 원기둥 상태들이 획득된다. 원기둥 상태들은 점 상태 근사화로서 사용될 수 있다.
도 4b는 풀어지고 삼각 형태인 동일한 점들을 도시한다.
일 실시예에서, 시스템은 3 x 3 고유 시스템(Eigensystem)을 사용할 수 있고, 그 고유 시스템에서 첫 번째 고유 벡터(eigenvector)로서 상태를 고정할 수 있다. 남아 있는 기본 벡터들은 이후에 단일 값 분해(singular value deocomposition)를 사용하여 계산될 수 있다. 예컨대 최초의 2개의 고유 벡터들 사이의 크기 차이에 의해 정의된 초기의 표면 돌출은 모든 점들에 대해 균일하게 설정될 수 있다.
번들 조정으로부터 획득된 3D 점들은 매우 정확하지만, 안면 구조의 희소 추 정들이다. 이 점들은 밀어 올려진 표면 돌출이 있는 텐서 보팅 설정으로 부가된다. 방사형 기저 함수들(radial basis functions)은 또한 번들 조정으로부터 획득된 3D 점들 사이에 평탄한 표면을 내삽하기 위해 사용될 수 있다. 이러한 실시예에서, 3D 번들 점들에 대한 상태들은 텐서 보팅을 위해 사용하기 위해 내삽된 표면으로부터 계산된다. 그러나, 내삽된 표면 자체는 바람직하게는 텐서 보팅을 위해 사용되지 않는다.
텐서 보팅이 2회 지나간 후에, 낮은 표면 돌출이 있는 점들은 제거되고, 안면의 표면을 교차하여 분산된 점들의 고밀도 구름을 남긴다.
선행 안면 지식 또는 일반적 안면은 고밀도 재구성 스테이지에 도입될 수 있고, 이에 따라 안면 공간은 제한되지 않는다. 특히, 일 실시예는 예컨대 존재하는 일반적 안면 표현의 근사화에 기초하여 이상값들을 판단 및 제거하기 위해 고밀도 프로세스에서 선행 안면 지식 또는 일반적 안면을 사용할 수 있지만, 재구성된 점들의 3D 위치를 계산 또는 수정하기 위해 사용되지 않는다.
안면 상세 구조는 3차원 점 구름에서 효과적으로 포착된다. 만일 최종 목표가 안면의 수학적 기술이라면, 3차원 점 구름은 충분할 것이다.
일 실시예는 고밀도 3차원 구조에 기초하여 그물망을 생성 및 짜기 위해 도메인 지식을 사용한다. 이 실시예는 3-D 점 구름을 원기둥 투사(cylindrical projection)를 통해 2차원 평면으로 풀도록 동작한다. 원기둥 투사에 따라, 각각의 3차원 점 구름은 대응하는 2차원 맵 위치를 갖는다. 2차원 맵 위치들은 들로네 삼각화 방식(Delaunay triangulation)을 사용하여 삼각화 될 수 있다. 이들의 연결 정보는 이후에 3차원 점들로 전달되고, 표면은 결과적인 그물망에 따라 정의된다. 원기둥 풀기(cylindrical unwrapping) 및 삼각화는 도 4b에 도시된다.
일반적인 구조 및 기술들, 특히 더욱 일반적인 목적을 수행하는 여러 방법들을 달성하기 위해 사용될 수 있는 특정 실시예들이 본원에 기재된다.
몇 개의 실시형태들만이 위에서 상세하게 개시되었으나, 다른 실시형태들이 가능하며 본 발명자(들)은 발명의 상세한 설명 내에 포함될 이러한 다른 실시형태들을 의도하고 있다. 본 발명의 상세한 설명은 다른 방식으로 달성될 수 있는 더 일반적인 목적을 달성하기 위한 특정한 예를 설명한다. 이러한 개시사항은 예시적인 것으로 의도되며, 청구항은 해당 기술분야에서 통상의 지식을 가진자에게 예측가능할 수 있는 어떠한 변경(modification) 또는 대안(alternative)을 포함하도록 의도된다. 예를 들면, 본원에 기재된 다수의 동작들은 일반적 안면 또는 선행 안면 지식을 사용하지 않는 동작을 가리킨다. 대안적으로 이 기술들은 이 기술들의 전부가 아닌 일부에 대해 일반적 안면 또는 선행 안면 지식을 사용하여 수행될 수 있다.
또한, 본 발명자(들)은 "~를 위한 수단"이라는 용어를 사용하는 청구항들만이 35 USC 112, 6번째 단락 하에서 해석되도록 의도되어 진다는 것을 의도한다. 더욱이, 본 발명의 상세한 설명으로부터의 어떠한 제한도 -그러한 제한이 청구항에 표현되어 포함되지 않는 한- 임의의 청구항에 가해지지 않도록 의도된다. 여기에서 설명된 컴퓨터는 어떠한 종류의 컴퓨터도 -범용 목적 컴퓨터 또는 워크 스테이션과 같은 일부 특정 목적 컴퓨터 중 어느 것이나- 될 수 있다. 컴퓨터는 윈도우즈 XP(Windows XP) 또는 리눅스(Linux)를 실행하는 펜티엄(Pentium)급 컴퓨터일 수 있으며, 또는 매킨토시(Macintosh) 컴퓨터일 수도 있다. 또한, 컴퓨터는 PDA, 셀룰러폰, 또는 랩탑과 같은 휴대용(handheld) 컴퓨터일 수도 있다.
프로그램은 C, 또는 자바(Java), 브루(Brew) 또는 어떤 다른 프로그래밍 언어로도 작성될 수 있다. 프로그램은 저장 매체, 예를 들어 자기 또는 광, 컴퓨터 하드 드라이브, 메모리 스틱이나 SD 매체 같은 착탈식 디스크 또는 매체, 또는 기타 착탈식 매체 상에 상주할 수도 있다. 프로그램은 -예를 들어 로컬 머신에 신호를 보냄으로써 로컬 머신이 여기에서 설명된 동작들을 수행할 수 있도록 하는 서버 또는 기타 머신을 갖는- 네트워크상에서 실행될 수도 있다.
특정 수치적 값이 본원에 언급되는 경우, 이는 20%에 의해 증가 또는 감소될 수 있고, 일부의 다른 범위가 특별히 언급되지 않는다면 본 출원의 범위 내에 여전히 존재한다는 것이 고려되어야 한다.

Claims (39)

  1. 안면 재구성 방법에 있어서,
    안면의 선행 지식(prior knowledge)을 사용하여 희소(sparse) 3차원 안면 형태들을 발견하기 위해, 복수의 안면 영상들을 분석하는 단계; 및
    임의의 선행 지식을 사용하지 않고 데이터 구동 접근 방식(data driven approach)을 사용하여 고밀도(dense) 3차원 형태들을 발견하기 위해, 상기 복수의 영상들을 분석하도록 상기 희소 3차원 안면 형태들을 사용하는 단계를 포함하는 것을 특징으로 하는 안면 재구성 방법.
  2. 청구항 1에 있어서,
    상기 영상들에서 형태들을 식별하기 위해, 상기 선행 지식을 사용하는 단계, 및 유사 영상 쌍들을 발견하기 위해 영상들의 쌍들 사이에서 수정하는 단계를 더 포함하는 것을 특징으로 하는 안면 재구성 방법.
  3. 청구항 1에 있어서,
    상기 선행 지식은, 상기 안면의 부분들을 식별하기 위해 사용되는 것을 특징으로 하는 안면 재구성 방법.
  4. 청구항 1에 있어서,
    상기 선행 지식은, 일반적 안면(generic face)을 표현하는 안면 마스크(face mask)를 식별하기 위해 사용되는 것을 특징으로 하는 안면 재구성 방법.
  5. 청구항 1에 있어서,
    상기 선행 지식을 사용하는 단계는, 희소 3차원 형태들의 세트를 형성하는 안면 형태들을 제한하도록 상기 선행 지식을 사용하는 단계를 포함하는 것을 특징으로 하는 안면 재구성 방법.
  6. 청구항 2에 있어서,
    상기 유사 영상 쌍들은, 3차원 정보를 식별하기에 충분하지만, 특정 양을 넘어 측정 불확실성을 의도하지 않게 증가시도록 크지 않은 각진 기본선(angular baseline)을 포함하는 영상 쌍들인 것을 특징으로 하는 안면 재구성 방법.
  7. 청구항 2에 있어서,
    첫 번째의 특정 양보다 큰 각진 기본선을 요구하고, 및 두 번째의 특정 양보다 큰 쌍의 형태들 사이에서 대응(correspondence)을 요구하기 위해 상기 영상 쌍들을 시험하는 단계를 더 포함하는 것을 특징으로 하는 안면 재구성 방법.
  8. 청구항 1에 있어서,
    특정 양보다 큰 영상들 사이에서 형태 점 매치들(feature point matches)을 갖는 영상 클러스터들(clusters)을 발견하기 위해 상기 복수의 영상들을 두 번째로 분석하는 단계, 및 추적된 형태 점들의 세트를 형성하기 위해 상기 선행 지식을 사용하여 수행된 첫 번째 분석을 개선하도록 상기 영상 클러스터들을 사용하는 단계를 더 포함하는 것을 특징으로 하는 안면 재구성 방법.
  9. 청구항 8에 있어서,
    상기 영상 클러스터들은 영상들의 쌍들을 포함하는 것을 특징으로 하는 안면 재구성 방법.
  10. 청구항 8에 있어서,
    상기 추적된 형태 점들의 위치 및 이동을 발견하기 위해 상기 추적된 형태 점들의 세트를 사용하는 단계를 더 포함하는 것을 특징으로 하는 안면 재구성 방법.
  11. 청구항 10에 있어서,
    상기 희소 3차원 형태들을 개선하기 위해, 상기 추적된 형태 점들의 위치를 사용하는 단계를 더 포함하는 것을 특징으로 하는 안면 재구성 방법.
  12. 청구항 1에 있어서,
    상기 고밀도 형태들을 발견하는 단계는, 상기 고밀도 형태들에 대한 검색 범 위를 제한하는 단계를 포함하는 것을 특징으로 하는 안면 재구성 방법.
  13. 청구항 1에 있어서,
    상기 고밀도 형태들을 발견하는 단계는, 다른 형태들보다 미리 정해진 거리보다 먼 이상값(outlier) 부분들을 거부하는 단계를 포함하는 것을 특징으로 하는 안면 재구성 방법.
  14. 청구항 13에 있어서,
    상기 이상값 부분들을 거부하는 단계는, 데이터를 복셀들(voxels)로 변환하는 단계, 및 상기 복셀들로부터 미리 정해진 거리보다 먼 있는 데이터를 거부하는 단계를 포함하는 것을 특징으로 하는 안면 재구성 방법.
  15. 청구항 1에 있어서,
    특정 양보다 많이 표면 돌출로부터 벗어난 부분들을 거부하는 단계를 더 포함하는 것을 특징으로 하는 안면 재구성 방법.
  16. 청구항 15에 있어서,
    상기 거부하는 단계는, 텐서 보팅(tensor voting)을 사용하는 것에 의해 상기 부분들을 검색하는 단계를 포함하는 것을 특징으로 하는 안면 재구성 방법.
  17. 안면 재구성 시스템에 있어서,
    복수의 안면 영상들을 획득하는 카메라; 및
    프로세싱부(processing part)로서, 안면의 선행 지식(prior knowledge)을 사용하여 희소(sparse) 3차원 안면 형태들을 발견하기 위해 상기 복수의 영상들을 분석하고, 임의의 선행 지식을 사용하지 않고 데이터 구동 접근 방식(data driven approach)을 사용하여 고밀도 형태들을 발견하기 위해 상기 복수의 영상들을 분석하도록 상기 희소 3차원 안면 형태들을 사용하는, 상기 프로세싱부를 포함하는 것을 특징으로 하는 안면 재구성 시스템.
  18. 청구항 17에 있어서,
    상기 카메라는 스틸 카메라(still camera)인 것을 특징으로 하는 안면 재구성 시스템.
  19. 청구항 17에 있어서,
    상기 카메라는 비디오 카메라인 것을 특징으로 하는 안면 재구성 시스템.
  20. 청구항 17에 있어서,
    상기 프로세싱부는 상기 영상들에서 형태들을 식별하기 위해 상기 선행 지식을 사용하여 동작하고, 유사 영상 쌍들을 발견하기 위해 영상들의 쌍들 사이에서 수정하는 것을 특징으로 하는 안면 재구성 시스템.
  21. 청구항 20에 있어서,
    상기 프로세싱부는 일반적 안면을 표현하는 안면 마스크를 식별하기 위해 상기 선행 지식을 사용하는 것을 특징으로 하는 안면 재구성 시스템.
  22. 청구항 17에 있어서,
    상기 프로세싱부는 첫 번째의 특정 양보다 큰 각진 기본선을 요구하고, 두 번째의 특정 양보다 큰 쌍의 형태들 사이의 대응을 요구하기 위해, 상기 영상 쌍들을 시험하도록 동작하는 것을 특징으로 하는 안면 재구성 시스템.
  23. 청구항 22에 있어서,
    상기 영상 클러스터들은 영상들의 쌍들을 포함하는 것을 특징으로 하는 안면 재구성 시스템.
  24. 청구항 17에 있어서,
    상기 프로세싱부는 다른 형태들로부터 미리 정해진 거리보다 먼 이상값 부분들을 거부하는 단계에 의해 고밀도 형태들을 발견하는 것을 특징으로 하는 안면 재구성 시스템.
  25. 청구항 24에 있어서,
    상기 프로세싱부는 텐서 보팅(tensor voting)을 사용하여 상기 거부하는 단계를 수행하는 것을 특징으로 하는 안면 재구성 시스템.
  26. 안면 재구성 방법에 있어서,
    복수의 영상들을 수정하고 상기 복수의 영상들로부터 적어도 하나의 안면을 나타내는 3차원 정보를 발견하기 위해, 단일 카메라로부터 상기 복수의 영상들을 분석하는 단계를 포함하고,
    상기 복수의 영상들을 분석하는 단계는 상기 영상들 내의 최초의 형태들을 판단하기 위해 안면의 선행 지식(prior knowledge)을 사용하는 최초 분석, 및 임의의 선행 지식을 사용하지 않고 부가적인 정보를 발견하기 위해 상기 안면의 최초 형태들을 사용하는 차후 분석을 포함하는 것을 특징으로 하는 안면 재구성 방법.
  27. 청구항 26에 있어서,
    상기 영상들의 형태들을 식별하기 위해 상기 선행 지식을 사용하는 단계, 및 유사 영상 쌍들을 발견하기 위해 영상들의 쌍들 사이에서 수정하는 단계를 더 포함하는 것을 특징으로 하는 안면 재구성 방법.
  28. 청구항 26에 있어서,
    상기 선행 지식은 상기 안면의 부분들을 식별하기 위해 사용되는 것을 특징으로 하는 안면 재구성 방법.
  29. 청구항 28에 있어서,
    상기 선행 지식은 일반적 안면(generic face)을 표현하는 안면 마스크를 식별하기 위해 사용되는 것을 특징으로 하는 안면 재구성 방법.
  30. 청구항 27에 있어서,
    상기 유사 영상 쌍들은 3차원 정보를 식별하기에 충분하지만, 특정 양을 넘어 측정 불확실성을 의도하지 않게 증가시키도록 크지 않은 각진 기본선을 포함하는 영상 쌍들인 것을 특징으로 하는 안면 재구성 방법.
  31. 청구항 26에 있어서,
    상기 차후 분석은 고밀도 형태들 검색 범위를 제한하는 단계를 포함하는 것을 특징으로 하는 안면 재구성 방법.
  32. 청구항 26에 있어서,
    다른 형태들로부터 미리 정해진 거리보다 먼 이상값(outlier) 부분들을 거부하는 단계를 더 포함하는 것을 특징으로 하는 안면 재구성 방법.
  33. 청구항 32에 있어서,
    상기 이상값들 부분을 거부하는 단계는 데이터를 복셀들(voxels)로 변환하는 단계, 및 상기 복셀들로부터 미리 정해진 거리보다 먼 데이터를 거부하는 단계를 포함하는 것을 특징으로 하는 안면 재구성 방법.
  34. 청구항 26에 있어서,
    특정 양보다 큰 면 돌출로부터 벗어난 부분들을 거부하는 단계를 더 포함하는 것을 특징으로 하는 안면 재구성 방법.
  35. 청구항 34에 있어서,
    상기 거부하는 단계는 텐서 보팅(tensor voting)을 사용하여 상기 부분들을 검색하는 단계를 포함하는 것을 특징으로 하는 안면 재구성 방법.
  36. 안면으로부터 희소(sparse) 정보를 발견하기 위해 복수의 안면 영상들을 분석하는 단계; 및
    데이터 구동 접근 방식(data driven approach)을 사용하여 고밀도(dense) 정보를 발견하기 위해 상기 희소 정보를 사용하는 단계를 포함하며,
    상기 희소 정보를 사용하는 단계는 텐서 보팅(tensor voting) 기술을 사용하여 고밀도 정보 검색 범위를 제한하는 단계를 포함하는 것을 특징으로 하는 방법.
  37. 안면 프로세싱(processing) 방법에 있어서,
    일반적 안면(generic face)의 선행 지식(prior knowledge)을 사용하여 영상 들 사이의 매치(match)들을 발견하기 위해 복수의 안면 영상들을 분석하는 단계로서, 상기 매치들은 희소(sparse) 정보를 형성하기 위해 사용되는, 상기 복수의 안면 영상들을 분석하는 단계;
    영상들의 쌍들을 형성하기 위해 상기 매치들을 사용하는 단계; 및
    상기 일반적 안면의 임의의 선행 지식 없이 데이터 구동 접근 방식(data driven approach)을 사용하여 고밀도(dense) 형태들의 세트를 발견하기 위해 상기 쌍들을 분석하는 단계를 포함하고,
    상기 고밀도 형태들의 세트를 발견하기 위해 상기 쌍들을 분석하는 단계는 고밀도 형태들의 세트로부터 이상값(outlier) 부분들을 제거하는 단계를 포함하는 것을 특징으로 하는 안면 프로세상 방법.
  38. 인간 안면의 복수의 2D 영상들로부터 3D 안면을 자동적으로 재구성하기 위한 방법에 있어서,
    최초의 카메라 위치 추정을 도출함에 있어서 일반적 안면(generic face)의 선행 안면 지식(prior face knowledge)을 사용하는 단계;
    영상 쌍들을 선택하고, 상기 영상 쌍들의 각각에 대해 희소(sparse) 형태 점들을 검출하는 단계;
    상기 최초의 카메라 위치 추정 및 상기 희소 형태 점들을 개선하는 단계;
    상기 영상 쌍들로부터 고밀도(dense) 3D 점 구름들을 검출함에 있어 순수 데이터 구동 접근 방식(data-driven approach)을 사용하는 단계;
    상기 고밀도 3D 점 구름들을 단일 3D 구름으로 병합하는 단계;
    청소된(cleaned) 3D 점 구름을 형성하기 위해 상기 단일 3D 점 구름으로부터 이상값(outlier)들을 제거하는 단계;
    연결된 면을 상기 청소된 3D 점 구름에 맞추는(fitting) 단계; 및
    피사체의 안면의 면 상세 정보 및 색상 정보를 상기 연결된 면으로 텍스처 맵핑(texture mapping)하는 단계를 포함하는 것을 특징으로 하는 인간 안면의 복수의 2D 영상들로부터 3D 안면을 자동적으로 재구성하기 위한 방법
  39. 인간 안면의 복수의 2D 영상들로부터 3D 안면을 자동적으로 재구성하기 위한 방법에 있어서,
    최초의 카메라 위치 추정을 도출함에 있어서 일반적 안면(generic face)의 선행 안면 지식(prior face knowledge)을 사용하는 단계;
    영상 쌍들을 선택하고, 상기 영상 쌍들의 각각에 대해 희소(sparse) 형태 점들을 검출하는 단계;
    상기 최초의 카메라 위치 추정 및 상기 희소 형태 점들을 개선하는 단계;
    상기 영상 쌍들로부터 고밀도(dense) 3D 점 구름들을 검출함에 있어 순수 데이터 구동 접근 방식(data-driven approach)을 사용하는 단계;
    상기 고밀도 3D 점 구름들을 단일 3D 구름으로 병합하는 단계;
    청소된(cleaned) 3D 점 구름을 형성하기 위해 상기 단일 3D 점 구름으로부터 이상값(outlier)들을 제거함에 있어 일반적 안면의 선행 안면 지식을 사용하는 단 계;
    연결된 면을 상기 청소된 3D 점 구름에 맞추는(fitting) 단계; 및
    피사체의 안면의 면 상세 정보 및 색상 정보를 상기 면으로 텍스처 맵핑(texture mapping)하는 단계를 포함하는 것을 특징으로 하는 인간 안면의 복수의 2D 영상들로부터 3D 안면을 자동적으로 재구성하기 위한 방법.
KR1020087020957A 2006-01-31 2007-01-31 2ｄ 영상들로부터 3ｄ 안면 재구성 KR20080108430A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US76400706P 2006-01-31 2006-01-31
US60/764,007 2006-01-31
US11/669,099 2007-01-30
US11/669,099 US7856125B2 (en) 2006-01-31 2007-01-30 3D face reconstruction from 2D images

Publications (1)

Publication Number Publication Date
KR20080108430A true KR20080108430A (ko) 2008-12-15

Family

ID=38334107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087020957A KR20080108430A (ko) 2006-01-31 2007-01-31 2ｄ 영상들로부터 3ｄ 안면 재구성

Country Status (5)

Country Link
US (3) US7856125B2 (ko)
EP (1) EP1982292A4 (ko)
JP (1) JP2009525543A (ko)
KR (1) KR20080108430A (ko)
WO (1) WO2008013575A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002626A1 (ko) * 2010-06-29 2012-01-05 전남대학교산학협력단 문자열의 라인 생성 방법 및 장치
KR101229428B1 (ko) * 2011-08-22 2013-02-04 전남대학교산학협력단 텐서보팅을 이용한 전역적 움직임 추정 방법
KR101399236B1 (ko) * 2012-05-01 2014-05-27 구글 인코포레이티드 신뢰도 스코어에 기반한 3차원 모델의 통합

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7804997B2 (en) * 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
JP5174684B2 (ja) 2006-03-14 2013-04-03 プライムセンス リミテッド スペックル・パターンを用いた三次元検出
US20110071804A1 (en) * 2007-02-21 2011-03-24 Yiling Xie Method And The Associated Mechanism For 3-D Simulation Stored-Image Database-Driven Spectacle Frame Fitting Services Over Public Network
WO2008120217A2 (en) * 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
US20080281182A1 (en) * 2007-05-07 2008-11-13 General Electric Company Method and apparatus for improving and/or validating 3D segmentations
US8494252B2 (en) * 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US8064724B2 (en) * 2007-10-25 2011-11-22 Hewlett-Packard Development Company, L.P. Apparatus, and associated method, for displaying data using data painting of an asymmetrical facial image
JP5018404B2 (ja) * 2007-11-01 2012-09-05 ソニー株式会社 画像識別装置および画像識別方法、並びに、プログラム
US8730231B2 (en) 2007-11-20 2014-05-20 Image Metrics, Inc. Systems and methods for creating personalized media content having multiple content layers
US8737721B2 (en) 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
US8401276B1 (en) * 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
US8204299B2 (en) * 2008-06-12 2012-06-19 Microsoft Corporation 3D content aggregation built into devices
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8131063B2 (en) * 2008-07-16 2012-03-06 Seiko Epson Corporation Model-based object image processing
US8289318B1 (en) * 2008-08-29 2012-10-16 Adobe Systems Incorporated Determining three-dimensional shape characteristics in a two-dimensional image
JP4613994B2 (ja) * 2008-09-16 2011-01-19 ソニー株式会社 動態推定装置、動態推定方法、プログラム
US8704832B2 (en) 2008-09-20 2014-04-22 Mixamo, Inc. Interactive design, synthesis and delivery of 3D character motion data through the web
US8982122B2 (en) 2008-11-24 2015-03-17 Mixamo, Inc. Real time concurrent design of shape, texture, and motion for 3D character animation
US8659596B2 (en) 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
US8462207B2 (en) * 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US20100259547A1 (en) 2009-02-12 2010-10-14 Mixamo, Inc. Web platform for interactive design, synthesis and delivery of 3d character motion data
US8260038B2 (en) * 2009-02-25 2012-09-04 Seiko Epson Corporation Subdivision weighting for robust object model fitting
US8204301B2 (en) * 2009-02-25 2012-06-19 Seiko Epson Corporation Iterative data reweighting for balanced model learning
US8208717B2 (en) * 2009-02-25 2012-06-26 Seiko Epson Corporation Combining subcomponent models for object image modeling
US8260039B2 (en) * 2009-02-25 2012-09-04 Seiko Epson Corporation Object model fitting using manifold constraints
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
WO2010134200A1 (ja) * 2009-05-22 2010-11-25 株式会社東芝 画像処理装置、方法及びプログラム
US8547374B1 (en) * 2009-07-24 2013-10-01 Lockheed Martin Corporation Detection and reconstruction of 3D objects with passive imaging sensors
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
US8803950B2 (en) * 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8644563B2 (en) * 2009-12-14 2014-02-04 Microsoft Corporation Recognition of faces using prior behavior
US8526684B2 (en) * 2009-12-14 2013-09-03 Microsoft Corporation Flexible image comparison and face matching application
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
US9317970B2 (en) * 2010-01-18 2016-04-19 Disney Enterprises, Inc. Coupled reconstruction of hair and skin
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US8928672B2 (en) 2010-04-28 2015-01-06 Mixamo, Inc. Real-time automatic concatenation of 3D animation sequences
WO2011140178A1 (en) * 2010-05-04 2011-11-10 Bae Systems National Security Solutions Inc. Inverse stereo image matching for change detection
CN101882326A (zh) * 2010-05-18 2010-11-10 广州市刑事科学技术研究所 基于中国人全面部结构形数据的三维颅面复原方法
US9135514B2 (en) * 2010-05-21 2015-09-15 Qualcomm Incorporated Real time tracking/detection of multiple targets
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US8447098B1 (en) 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
EP2643659B1 (en) 2010-11-19 2019-12-25 Apple Inc. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
JP5633080B2 (ja) * 2010-12-08 2014-12-03 Ｎｅｃソリューションイノベータ株式会社 属性値推定装置、属性値推定方法、プログラム及び記録媒体
US8274508B2 (en) 2011-02-14 2012-09-25 Mitsubishi Electric Research Laboratories, Inc. Method for representing objects with concentric ring signature descriptors for detecting 3D objects in range images
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
CN102332087A (zh) * 2011-06-15 2012-01-25 夏东 一种基于稀疏表示的人脸识别方法
US10049482B2 (en) 2011-07-22 2018-08-14 Adobe Systems Incorporated Systems and methods for animation recommendations
CN103765479A (zh) * 2011-08-09 2014-04-30 英特尔公司 基于图像的多视点3d脸部生成
US10748325B2 (en) 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation
WO2013074153A1 (en) 2011-11-17 2013-05-23 University Of Southern California Generating three dimensional models from range sensor data
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
WO2013112749A1 (en) 2012-01-24 2013-08-01 University Of Southern California 3d body modeling, from a single or multiple 3d cameras, in the presence of motion
US9639959B2 (en) 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data
EP2817586B1 (en) 2012-02-15 2020-03-25 Apple Inc. Scanning depth engine
US20130215113A1 (en) * 2012-02-21 2013-08-22 Mixamo, Inc. Systems and methods for animating the faces of 3d characters using images of human faces
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
JP5928010B2 (ja) * 2012-03-07 2016-06-01 株式会社豊田中央研究所 道路標示検出装置及びプログラム
US9418475B2 (en) 2012-04-25 2016-08-16 University Of Southern California 3D body modeling from one or more depth cameras in the presence of articulated motion
US20130287294A1 (en) * 2012-04-30 2013-10-31 Cywee Group Limited Methods for Generating Personalized 3D Models Using 2D Images and Generic 3D Models, and Related Personalized 3D Model Generating System
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
BR112015007836A2 (pt) 2012-10-12 2017-07-04 Koninklijke Philips Nv dispositivo de computação configurado para fornecer dimensões faciais de um indivíduo com base em ao menos duas imagens bidimensionais obtidas com uma câmera, sistema para coletar dados da face de um indivíduo, método para coletar dados tridimensionais da face de um indivíduo, método para fornecer uma interface para o paciente a um indivíduo, e programa de computador
CN102999942B (zh) * 2012-12-13 2015-07-15 清华大学 三维人脸重建方法
CN103108124B (zh) * 2012-12-28 2017-07-18 上海鼎为电子科技（集团）有限公司 图像获取方法、装置及移动终端
US9208382B2 (en) * 2013-03-08 2015-12-08 Trimble Navigation Limited Methods and systems for associating a keyphrase with an image
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN103984920B (zh) * 2014-04-25 2017-04-12 同济大学 一种基于稀疏表示与多特征点的三维人脸识别方法
CN103984922B (zh) * 2014-04-30 2017-04-26 苏亚 一种基于稀疏表示和形状约束的人脸识别方法
BE1022215B1 (nl) 2014-05-09 2016-03-01 Materialise N.V. Werkwijzen en inrichtingen voor het ontwerpen van schoeisel
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6646659B2 (ja) * 2014-06-14 2020-02-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実を作成する方法およびシステム
US9619933B2 (en) 2014-06-16 2017-04-11 Occipital, Inc Model and sizing information from smartphone acquired image sequences
US9940727B2 (en) 2014-06-19 2018-04-10 University Of Southern California Three-dimensional modeling from wide baseline range scans
KR102238693B1 (ko) 2014-06-20 2021-04-09 삼성전자주식회사 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치
CN104142978B (zh) * 2014-07-14 2018-04-27 重庆邮电大学 一种基于多特征和稀疏表示的图像检索系统及方法
JP6457072B2 (ja) * 2014-09-11 2019-01-23 サイバーオプティクス コーポレーション 三次元表面形状計測における多数のカメラ及び光源からの点群統合
KR101997500B1 (ko) 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
US9767620B2 (en) 2014-11-26 2017-09-19 Restoration Robotics, Inc. Gesture-based editing of 3D models for hair transplantation applications
CN104581047A (zh) * 2014-12-15 2015-04-29 苏州福丰科技有限公司 用于监控录像的三维人脸识别方法
US9734381B2 (en) * 2014-12-17 2017-08-15 Northrop Grumman Systems Corporation System and method for extracting two-dimensional fingerprints from high resolution three-dimensional surface data obtained from contactless, stand-off sensors
US10440350B2 (en) * 2015-03-03 2019-10-08 Ditto Technologies, Inc. Constructing a user's face model using particle filters
WO2016183380A1 (en) * 2015-05-12 2016-11-17 Mine One Gmbh Facial signature methods, systems and software
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
EP3274986A4 (en) 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
US10082237B2 (en) 2015-03-27 2018-09-25 A9.Com, Inc. Imaging system for imaging replacement parts
US10429272B2 (en) * 2015-09-30 2019-10-01 Caterpillar Inc. Command-driven automatic and semi-automatic mobile wear detection
US10122996B2 (en) * 2016-03-09 2018-11-06 Sony Corporation Method for 3D multiview reconstruction by feature tracking and model registration
BR102016009093A2 (pt) * 2016-04-22 2017-10-31 Sequoia Capital Ltda. Equipment for acquisition of 3d image data of a face and automatic method for personalized modeling and manufacture of glass frames
US9686539B1 (en) 2016-06-12 2017-06-20 Apple Inc. Camera pair calibration using non-standard calibration objects
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
WO2017223530A1 (en) 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
CN106203449A (zh) * 2016-07-08 2016-12-07 大连大学 移动云环境的近似空间聚类系统
US10984222B2 (en) 2016-07-12 2021-04-20 Microsoft Technology Licensing, Llc Method, apparatus and system for 3D face tracking
CN107657653A (zh) 2016-07-25 2018-02-02 同方威视技术股份有限公司 用于对三维表面的图像进行重建的方法、装置和系统
US10038894B1 (en) 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
CN107730519A (zh) * 2017-09-11 2018-02-23 广东技术师范学院 一种人脸二维图像到人脸三维重建的方法及系统
CN108010123B (zh) * 2017-11-23 2021-02-09 东南大学 一种保留拓扑信息的三维点云获取方法
US10643383B2 (en) 2017-11-27 2020-05-05 Fotonation Limited Systems and methods for 3D facial modeling
CN108710823B (zh) * 2018-04-09 2022-04-19 金陵科技学院 一种人脸相似性比较方法
US10198845B1 (en) 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
CN110689602A (zh) * 2018-06-20 2020-01-14 中兴通讯股份有限公司 三维人脸重建方法、装置、终端及计算机可读存储介质
CN110148468B (zh) * 2019-05-09 2021-06-29 北京航空航天大学 动态人脸图像重建的方法及装置
CN110111418B (zh) 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
US11551393B2 (en) 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR102538645B1 (ko) 2019-10-07 2023-05-31 보스턴 폴라리메트릭스, 인크. 편광을 사용한 센서 시스템 및 이미징 시스템의 증강 시스템 및 방법
US11170571B2 (en) * 2019-11-15 2021-11-09 Lucasfilm Entertainment Company Ltd. LLC Obtaining high resolution and dense reconstruction of face from sparse facial markers
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
CN111260597B (zh) * 2020-01-10 2021-12-03 大连理工大学 一种多波段立体相机的视差图像融合方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
CN111462108B (zh) * 2020-04-13 2023-05-02 山西新华防化装备研究院有限公司 一种基于机器学习的头面部产品设计工效学评估操作方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN112684445B (zh) * 2020-12-02 2021-09-07 中国人民解放军国防科技大学 基于md-admm的mimo-isar三维成像方法
CN112686202B (zh) * 2021-01-12 2023-04-25 武汉大学 一种基于3d重建的人头识别方法及系统
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
CN113077552A (zh) * 2021-06-02 2021-07-06 北京道达天际科技有限公司 基于无人机影像的dsm生成方法和装置
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
EP4227903A1 (en) 2022-02-14 2023-08-16 Carl Zeiss Vision International GmbH Method for head image registration and head model generation and corresponding devices
WO2023219907A1 (en) 2022-05-09 2023-11-16 Materialise Nv Methods and apparatuses for designing footwear

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4710873A (en) 1982-07-06 1987-12-01 Marvin Glass & Associates Video game incorporating digitized images of being into game graphics
WO1993018505A1 (en) 1992-03-02 1993-09-16 The Walt Disney Company Voice transformation system
US5830065A (en) 1992-05-22 1998-11-03 Sitrick; David H. User image integration into audiovisual presentation system and methodology
US7137892B2 (en) 1992-05-22 2006-11-21 Sitrick David H System and methodology for mapping and linking based user image integration
IL113496A (en) 1995-04-25 1999-09-22 Cognitens Ltd Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof
JP3512919B2 (ja) * 1995-09-18 2004-03-31 株式会社東芝 物体形状・カメラ視点移動の復元装置及び復元方法
JP4078677B2 (ja) 1995-10-08 2008-04-23 イーサム リサーチ デヴェロップメント カンパニー オブ ザ ヘブライ ユニヴァーシティ オブ エルサレム 映画のコンピュータ化された自動オーディオビジュアルダビングのための方法
CA2248909A1 (en) 1996-03-15 1997-09-25 Zapa Digital Arts Ltd. System for producing an animation sequence according to character behaviour characteristics
US6188776B1 (en) * 1996-05-21 2001-02-13 Interval Research Corporation Principle component analysis of images for the automatic location of control points
US5917553A (en) 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6283858B1 (en) 1997-02-25 2001-09-04 Bgk International Incorporated Method for manipulating images
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6047078A (en) * 1997-10-03 2000-04-04 Digital Equipment Corporation Method for extracting a three-dimensional model using appearance-based constrained structure from motion
JP2002516443A (ja) * 1998-05-15 2002-06-04 トリコーダー テクノロジー ピーエルシー ３次元表示のための方法および装置
US6999073B1 (en) 1998-07-20 2006-02-14 Geometrix, Inc. Method and system for generating fully-textured 3D
US6553138B2 (en) * 1998-12-30 2003-04-22 New York University Method and apparatus for generating three-dimensional representations of objects
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6350199B1 (en) 1999-03-16 2002-02-26 International Game Technology Interactive gaming machine and method with customized game screen presentation
DE69934478T2 (de) * 1999-03-19 2007-09-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
US6313835B1 (en) 1999-04-09 2001-11-06 Zapa Digital Arts Ltd. Simplified on-line preparation of dynamic web sites
US6559845B1 (en) 1999-06-11 2003-05-06 Pulse Entertainment Three dimensional animation system and method
GB0004165D0 (en) 2000-02-22 2000-04-12 Digimask Limited System for virtual three-dimensional object creation and use
ATE393936T1 (de) * 2000-03-08 2008-05-15 Cyberextruder Com Inc Vorrichtung und verfahren zur erzeugung einer dreidimensionalen darstellung aus einem zweidimensionalen bild
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP4341135B2 (ja) * 2000-03-10 2009-10-07 コニカミノルタホールディングス株式会社 物体認識装置
US6539354B1 (en) 2000-03-24 2003-03-25 Fluent Speech Technologies, Inc. Methods and devices for producing and using synthetic visual speech based on natural coarticulation
US7224357B2 (en) 2000-05-03 2007-05-29 University Of Southern California Three-dimensional modeling based on photographic images
US6894686B2 (en) 2000-05-16 2005-05-17 Nintendo Co., Ltd. System and method for automatically editing captured images for inclusion into 3D video game play
JP3668769B2 (ja) * 2000-06-26 2005-07-06 独立行政法人産業技術総合研究所 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法
US6954498B1 (en) 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
EP1334468B1 (de) * 2000-11-13 2006-03-15 Siemens Aktiengesellschaft Verfahren und system zur rekonstruktion einer fläche
US6975750B2 (en) * 2000-12-01 2005-12-13 Microsoft Corp. System and method for face recognition using synthesized training images
US7016824B2 (en) 2001-02-06 2006-03-21 Geometrix, Inc. Interactive try-on platform for eyeglasses
US20020164068A1 (en) * 2001-05-03 2002-11-07 Koninklijke Philips Electronics N.V. Model switching in a communication system
US20030007700A1 (en) 2001-07-03 2003-01-09 Koninklijke Philips Electronics N.V. Method and apparatus for interleaving a user image in an original image sequence
JP2003030684A (ja) * 2001-07-10 2003-01-31 Nippon Telegr & Teleph Corp <Ntt> 顔３次元コンピュータグラフィック生成方法及び装置及び顔３次元コンピュータグラフィック生成プログラム及び顔３次元コンピュータグラフィック生成プログラムを格納した記憶媒体
US7123263B2 (en) 2001-08-14 2006-10-17 Pulse Entertainment, Inc. Automatic 3D modeling system and method
US7103211B1 (en) * 2001-09-04 2006-09-05 Geometrix, Inc. Method and apparatus for generating 3D face models from one camera
US7634103B2 (en) * 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
US7010158B2 (en) * 2001-11-13 2006-03-07 Eastman Kodak Company Method and apparatus for three-dimensional scene modeling and reconstruction
US6816159B2 (en) 2001-12-10 2004-11-09 Christine M. Solazzi Incorporating a personalized wireframe image in a computer software application
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
EP1495447A1 (en) 2002-03-26 2005-01-12 KIM, So-Woon System and method for 3-dimension simulation of glasses
EP1370075B1 (en) 2002-06-06 2012-10-03 Accenture Global Services Limited Dynamic replacement of the face of an actor in a video movie
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US7027054B1 (en) 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US7184071B2 (en) * 2002-08-23 2007-02-27 University Of Maryland Method of three-dimensional object reconstruction from a video sequence using a generic model
JP2004147288A (ja) * 2002-10-25 2004-05-20 Reallusion Inc 顔画像の補正方法
US7242807B2 (en) 2003-05-05 2007-07-10 Fish & Richardson P.C. Imaging of biometric information based on three-dimensional shapes
US20040223631A1 (en) 2003-05-07 2004-11-11 Roman Waupotitsch Face recognition based on obtaining two dimensional information from three-dimensional face shapes
US7212664B2 (en) * 2003-08-07 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Constructing heads from 3D models and 2D silhouettes
US7218774B2 (en) * 2003-08-08 2007-05-15 Microsoft Corp. System and method for modeling three dimensional objects from a single image
US20050111705A1 (en) 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP4511147B2 (ja) * 2003-10-02 2010-07-28 株式会社岩根研究所 三次元形状生成装置
US7285047B2 (en) 2003-10-17 2007-10-23 Hewlett-Packard Development Company, L.P. Method and system for real-time rendering within a gaming environment
US8050491B2 (en) * 2003-12-17 2011-11-01 United Technologies Corporation CAD modeling system and method
WO2006078265A2 (en) 2004-03-30 2006-07-27 Geometrix Efficient classification of three dimensional face models for human identification and other applications
JP2005309992A (ja) * 2004-04-23 2005-11-04 Toyota Motor Corp 画像処理装置および画像処理方法
AU2005286823B2 (en) * 2004-09-17 2009-10-01 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US7342587B2 (en) * 2004-10-12 2008-03-11 Imvu, Inc. Computer-implemented system and method for home page customization and e-commerce support
JP4216824B2 (ja) * 2005-03-07 2009-01-28 株式会社東芝 ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
US20060212353A1 (en) * 2005-03-16 2006-09-21 Anton Roslov Targeted advertising system and method
US7415152B2 (en) 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
WO2006138525A2 (en) * 2005-06-16 2006-12-28 Strider Labs System and method for recognition in 2d images using 3d class models
US8615719B2 (en) * 2005-09-14 2013-12-24 Jumptap, Inc. Managing sponsored content for delivery to mobile communication facilities
US7755619B2 (en) * 2005-10-13 2010-07-13 Microsoft Corporation Automatic 3D face-modeling from video
US20080007567A1 (en) * 2005-12-18 2008-01-10 Paul Clatworthy System and Method for Generating Advertising in 2D or 3D Frames and Scenes
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US7720284B2 (en) 2006-09-08 2010-05-18 Omron Corporation Method for outlining and aligning a face in face processing of an image
US7870026B2 (en) * 2007-06-08 2011-01-11 Yahoo! Inc. Selecting and displaying advertisement in a personal media space

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002626A1 (ko) * 2010-06-29 2012-01-05 전남대학교산학협력단 문자열의 라인 생성 방법 및 장치
KR101229428B1 (ko) * 2011-08-22 2013-02-04 전남대학교산학협력단 텐서보팅을 이용한 전역적 움직임 추정 방법
KR101399236B1 (ko) * 2012-05-01 2014-05-27 구글 인코포레이티드 신뢰도 스코어에 기반한 3차원 모델의 통합

Also Published As

Publication number Publication date
US20070183653A1 (en) 2007-08-09
US20080152213A1 (en) 2008-06-26
EP1982292A4 (en) 2013-05-29
WO2008013575A2 (en) 2008-01-31
JP2009525543A (ja) 2009-07-09
EP1982292A2 (en) 2008-10-22
WO2008013575A3 (en) 2008-06-19
US20080152200A1 (en) 2008-06-26
WO2008013575A9 (en) 2008-03-20
US7856125B2 (en) 2010-12-21
US8126261B2 (en) 2012-02-28

Similar Documents

Publication Publication Date Title
KR20080108430A (ko) 2ｄ 영상들로부터 3ｄ 안면 재구성
Fusiello et al. Efficient stereo with multiple windowing
Farnebäck Two-frame motion estimation based on polynomial expansion
US20180218507A1 (en) 3d reconstruction of a human ear from a point cloud
Zhang et al. Stereo matching with segmentation-based cooperation
KR20180087947A (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
KR101428627B1 (ko) 개선된 이미지 매칭을 위한 방법 및 장치
EP1072014A1 (en) Face recognition from video images
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
Kazemi et al. Real-time face reconstruction from a single depth image
US20140168204A1 (en) Model based video projection
JP5561786B2 (ja) ３次元形状モデル高精度化方法およびプログラム
Izquierdo Stereo image analysis for multi-viewpoint telepresence applications
KR20190069750A (ko) 2d를 3d로 변환하는 기술과 posit 알고리즘을 이용한 증강현실 표현방법
CN101395613A (zh) 由2d图像实现3d人脸重建
Nicolescu et al. A voting-based computational framework for visual motion analysis and interpretation
JP2002032741A (ja) ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体
EP1580684B1 (en) Face recognition from video images
Park et al. A tensor voting approach for multi-view 3D scene flow estimation and refinement
Kang et al. Adaptive support of spatial–temporal neighbors for depth map sequence up-sampling
WO2020118565A1 (en) Keyframe selection for texture mapping wien generating 3d model
Savakar et al. A relative 3D scan and construction for face using meshing algorithm
Bronstein et al. Facetoface: An isometric model for facial animation
KR102665543B1 (ko) 다시점 영상으로부터의 깊이지도 생성 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid