KR101602593B1

KR101602593B1 - 3d 모델 모핑을 위한 방법 및 장치

Info

Publication number: KR101602593B1
Application number: KR1020147022346A
Authority: KR
Inventors: 새미 리에벤스; 도니 티트가트; 마르텐 아츠; 얼빈 식스
Original assignee: 알까뗄 루슨트
Priority date: 2012-01-12
Filing date: 2013-01-08
Publication date: 2016-03-10
Also published as: EP2615583A1; JP5893166B2; JP2015507272A; EP2615583B1; KR20140109496A; CN104040593A; CN104040593B; US20140340397A1; WO2013104592A1

Abstract

2D 이미지 데이터 입력에 기초하여 표준 3D 모델을 모핑(morphing)하는 방법은, 검출 모델 및 모핑 모델을 이용하여 상기 표준 3D 모델의 초기 모핑을 수행(100)함으로써, 모핑된 표준 3D 모델을 얻는 단계; 상기 2D 이미지 데이터 입력과 상기 모핑된 표준 3D 모델 간의 광학 흐름(optical flow)을 결정하는 단계(200); 상기 광학 흐름을 상기 모핑된 표준 3D 모델에 적용(300)함으로써, 미세 조정 모핑된 3D 표준 모델을 제공하는 단계를 포함한다.

Description

3D 모델 모핑을 위한 방법 및 장치{METHOD AND ARRANGEMENT FOR 3D MODEL MORPHING}

본 발명은 3차원 모델 모핑을 위한 방법에 관한 것이다.

현재, 실제 동적 장면 또는 심지어 저가의 카메라에 의해 촬영된 이미지에 기초한 모델의 모핑은 어려운 문제일 수 있다. 3차원(본 문서의 나머지에서는 약어로 3D로 칭해짐) 모델 예술가들은 고도로 상세하고 실제와 같은 3D 콘텐츠 및 3D 애니메이션을 창작하기에, 예를 들면, 많은 시간 및 노력을 소비할 수 있다. 그러나, 이것은, 예를 들면, 모임 참석자들이 3D 시각화를 온 더 플라이(on the fly) 생성해야 한다면, 바람직하지 않으며, 심지어 차세대 통신 시스템에서 실행가능하지도 않다.

따라서, 본 발명의 실시예의 목적은, 저품질의 실생활 캡션들로부터의 2차원(이후 2D로 축약됨)에 기초하여 고품질의 3D 이미지 모델을 생성할 수 있는 한편, 동시에, 값싸고, 간단하며 자동화된 솔루션을 제공하는 이미지 모델 모핑을 위한 방법 및 장치를 제공하는 것이다.

본 발명의 실시예에 따라, 이 목적은, 2D 이미지 데이터 입력에 기초하여 표준 3D 모델을 모핑(morphing)하는 방법으로서,

검출 모델 및 모핑 모델을 이용하여 상기 표준 3D 모델의 초기 모핑을 수행함으로써, 모핑된 표준 3D 모델을 얻는 단계;

2D 이미지 데이터 입력과 모핑된 표준 3D 모델 간의 광학 흐름(optical flow)을 결정하는 단계;

광학 흐름을 상기 모핑된 표준 3D 모델에 적용함으로써, 미세 조정 모핑된 3D 표준 모델을 제공하는 단계

를 포함하는 방법에 의해 달성된다.

이 방식에서, 고전적인 검출 기반 모핑은 광학 흐름 모핑을 이용하여 향상된다. 그 결과, 보다 현실적인 모델을 가져오고, 이 모델은 또한 실시간으로 실현될 수 있다.

일 실시예에서, 2D 이미지 데이터 입력과 모핑된 표준 3D 모델 간의 광학 흐름은 이전의 2D 이미지 프레임에 대해 결정된 이전의 미세 조정 모핑된 3D 표준 모델에 기초하여 결정된다.

변형예에서, 2D 이미지 데이터 입력과 모핑된 표준 3D 모델 간의 광학 흐름을 결정하는 단계는,

모핑된 표준 3D 모델의 2D 투영과 이전의 미세 조정 모핑된 3D 표준 모델의 2D 투영 간의 제1 광학 흐름을 결정하는 단계;

실제 2D 프레임과 이전의 미세 조정 모핑된 3D 표준 모델의 2D 투영 간의 제2 광학 흐름을 결정하는 단계;

제1 광학 흐름과 제2 광학 흐름을 조합하여, 실제 2D 프레임과 모핑된 표준 3D 모델의 2D 투영 간의 제3 광학 흐름을 얻는 단계; 및

2D 이미지 데이터 입력과 모핑된 표준 3D 모델 간의 광학 흐름을 얻기 위해 상기 모핑된 표준 3D 모델의 2D 투영 중에 얻어진 깊이 정보에 기초하여 상기 제3 광학 흐름을 적용하는 단계

를 포함한다.

이것은 고품질 및 시간 효율적인 방법을 가능하게 한다.

또 다른 실시예에서, 2D 이미지 데이터 입력과 모핑된 표준 3D 모델 간의 광학 흐름에 기초하여 상기 초기 모핑 단계에서 사용된 모핑 모델이 적용된다. 이것은 또한 결과적인 모델, 및 그에 대응하는 입력 비디오 객체의 품질을 증가시킬 것이다.

또 다른 실시예에서, 2D 이미지 프레임과 이전의 2D 이미지 프레임 간에 결정된 광학 흐름 정보에 기초하여, 상기 초기 모핑 단계에서 사용된 상기 검출 모델이 또한 적용된다.

이것은 다시 입력되는 2D 이미지에 따라 3D 표준 모델의 보다 빠르고 보다 현실적인 세이핑(shaping)/모핑에 부가된다.

또 다른 변형예에서, 광학 흐름을 적용하는 단계는 에너지 최소화 절차를 포함한다.

이것은 또한 결과의 미세 조정 모핑된 모델의 품질을 향상시킬 수 있다.

본 발명은 또한 이미지에 대해 이러한 방법을 수행하는 장치, 또는 그러한 장치를 채용하는 비디오 프로세싱 디바이스의 실시예에 관한 것이고, 데이터 프로세싱 장치상에서 실행될 때, 전술하거나 청구되는 방법 단계들을 수행하는데 적용되는 소프트웨어를 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

청구범위에 사용되는 용어 "결합된"은 직접적인 접속에만 국한되는 것으로 해석되어서는 안된다는 것을 알아야 한다. 따라서, 표현 '디바이스 B에 결합된 디바이스 A'의 범위는 디바이스 A의 출력이 디바이스 B의 입력에 직접 접속되는 디바이스 또는 시스템에 국한되어서는 안된다. 이것은 다른 디바이스들 또는 수단을 포함하는 경로일 수 있는, A의 출력과 B의 입력 사이의 경로가 존재한다는 것을 의미한다.

청구범위에 사용되는 용어 '포함하는'은 이후 리스트되는 수단에 국한되는 것으로 해석되어서는 안된다는 것을 알아야 한다. 따라서, 표현 '수단 A 및 B를 포함하는 디바이스'의 범위는 컴포넌트 A 및 B만으로 구성되는 디바이스로 국한되어서는 안된다. 이것은 본 발명에 대해, 단지 디바이스의 관련 컴포넌트가 A 및 B라는 것을 의미한다.

전술한 바와 같이, 본문 전체에 걸쳐, 이차원은 2D로 축약되는 한편, 3차원은 3D로 축약될 것이다.

본 발명의 상기 및 다른 목적 및 특징은 첨부 도면과 결합하여 취해진 실시예의 다음의 설명을 참조함으로써 최상으로 이해될 것이다.
도 1은 방법의 제1 하이레벨 실시예를 도시한다.
도 2 및 도 3은 도 1에 도시된 실시예의 몇몇 모듈의 보다 상세한 실시예를 도시한다.
도 4는 본 발명의 또 다른 실시예의 하이레벨 개략도를 도시한다.
도 5 및 도 6은 도 4에 도시된 실시예의 몇몇 모듈의 추가 상세를 도시한다.
도 7 및 도 8은 두 개의 추가 상세 실시예를 도시한다.
도 9는 본 발명의 또 다른 하이레벨 실시예를 도시한다.
도 10 및 도 11은 두 개의 보다 상세한 대체 실시예를 도시한다.

여기의 임의의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념도를 나타낸다는 것을 당업자는 이해해야 한다. 유사하게, 임의의 플로우 차트, 흐름도, 상태 천이도, 의사 코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되고, 컴퓨터 또는 프로세서(그러한 컴퓨터 또는 프로세서가 명시적으로 도시되어 있든 아니든 간에)에 의해 실행될 수 있다는 것이 이해될 것이다.

도 1은 입력되는 2D 비디오로부터 고품질 실시간 3D 모델을 생성하기 위한 장치 및 대응하는 방법의 제1 실시예의 하이레벨 기법을 도시한다. 실시예는 입력으로서 비디오 시퀀스의 연속적인 프레임들을 취한다. 도 1에서, 단계들은 특정 프레임 상에서 수행되고, 시간 T에서 2D 비디오 프레임인 것에 대하여 설명된다.

제1 동작 모듈(100)은, 예를 들면, 메모리에서 선택되거나 이전에 저장된 이용가능한 표준 3D 모델의 모핑을 포함한다. 이 표준 3D 모델은 시간 T에서 입력되는 2D 비디오 프레임에 따라 모듈(100)에서 모핑된다. 이러한 모핑 절차에 대한 상세한 실시예는 도 2를 참조하여 설명될 것이다. 따라서, 모듈(100)의 출력은 시간 T에서 모핑된 표준 3D 모델이다.

모핑 단계(100)와 부분적으로 병행하여, 시간 T에서 2D 비디오 프레임으로부터 시간 T에서 모핑된 표준 3D 모델로의 광학 흐름이 결정된다. 이것은 시간 T에서의 2D 비디오 프레임, 모듈(100)에 의해 제공되는 바와 같은 모핑된 표준 3D 모델, 및 이전 시간 단계에서 결정된 장치의 출력을 입력으로서 갖는 모듈(200)에서 발생된다. 이러한 이전에 결정된 출력은 미세 조정 모핑된 3D 표준 모델에 관한 것으로, 도 1에 도시된 실시예에서 시간 T-1인 이전 시간 단계에서 결정되고, 장치의 출력으로부터 이 모듈(200)로의 피드백 접속을 통해 제공된다. 도 1에서, 피드백 루프는, 예를 들면, 이전에 결정된 출력을 제공할 수 있는 지연 소자 D를 채용한 것으로 도시되어 있다. 물론, 단순한 메모리 저장소에 기초하여 많은 다른 구현예가 예상될 수 있고, 따라서, 전용 지연 소자의 필요성은 배제할 수 있다. 또한, 또 다른 이전 시간 단계에서 결정된, 따라서 이전 비디오 프레임 T-1에만 대응하지 않는 출력이 사용될 수 있다는 것 또한 주목해야 한다. 지연은 이들 실시예에서 적절히 적용되어야 한다.

도 1의 실시예는 또한 모듈(200)에서 결정된 바와 같은 광학 흐름을 모듈(100)에 의해 제공된 모핑된 표준 3D 모델에 적용하는 것을 목표로 하는 또 다른 모듈(300)을 포함한다. 따라서, 기본 생각은 상대적으로 간단한 3D 모델을 사용하고 있는 모듈(100)의 모델 기반 접근법을 보다 상세한 모듈(300)의 흐름 기반 모핑과 결합하는 것으로, 이에 의해 광학 흐름 자체가 모듈(200)에서 도출된다. 사실상, 예를 들면, 얼굴 모델링에 적용될 때, 모듈(100)로부터의 모델 기반 모핑은 일반적으로 어느 정도 인공적인 얼굴을 낳을 수 있고, 이것은 다음에, 모듈(300)의 흐름 기반 모핑으로 증강/정정되고, 광학 흐름 자체는 모듈(200)에 의해 결정된다.

전술한 바와 같이, 결과의 미세 조정 모핑된 3D 표준 모델은 광학 흐름의 결정을 위한 피드백 루프에서 사용된다.

다음의 보다 상세한 실시예는 얼굴 특징들의 모델링을 참조하여 설명될 것이다. 비디오에서 다른 변형가능한 객체, 예를 들면, 동물 등의 모핑에 적용하기 위해 본 문서의 교시를 어떻게 사용할지는 당업자에게 알려져 있다.

도 2는 도 1의 표준 3D 모핑 블록(100)의 보다 상세한 실시예를 도시한다. 이 모듈은 Active Appearance Model의 약어인 AAM 검출 모듈과 같은 검출 모듈을 포함한다. 그러나, Active Shape Model의 약어인 ASM과 같은 다른 검출 모델을 이용하는 다른 실시예가 존재한다.

이 검출 모듈(110)은 AAM 검출 모델과 같은 검출 모델에 따라 시간 T에서 비디오 프레임 내의 얼굴 특징을 검출할 수 있다. AAM 모델과 AAM 검출은 비강체 객체(non-rigid object)에 대한 특징 포인트를 검출하기 위한 컴퓨터 비전에서는 잘 알려진 기술이다. AAM 모핑은 또한 3D 비디오가 시스템에 입력되는 경우에 3D 로컬라이제이션으로 확장될 수 있고, AAM 검출 모듈은 얼굴과는 다른 객체들에 대한 특징 포인트를 또한 검출할 수 있다. 검출이 수행되는 객체 카테고리는 AAM 모델 검출 모델의 트레이닝 단계에 관한 것일 수 있고, 이 트레이닝은 오프라인에서 또는 이전 트레이닝 절차에서 발생했을 수 있다. 설명된 실시예에서, AAM 검출 모듈(110)은 따라서 2D 비디오 프레임에서 검출된 비강체 객체인 인간 얼굴의 코, 입, 눈, 눈썹 및 볼과 같은 얼굴 특징 포인트를 검출하도록 트레이닝된다. AAM 검출 모듈(110) 내에서 사용되는 AAM 검출 모델 자체는 따라서 모델들의 세트에서 선택되거나, 또는 사전에 프로그래밍되거나 모든 인간 얼굴에 일반적으로 적용가능하게 되도록 오프 라인으로 트레이닝될 수 있다.

예를 들면, 고양이 같은 동물 모델의 모핑의 경우, 트레이닝 절차는 이 고양이의 형태/잠재적인 표정에 대한 다른 중요한 특징 포인트를 검출하도록 적용되었을 것이다. 이들 기술 또한 당업자에게 잘 알려져 있다.

인간 얼굴 모델링의 예에서, AAM 검출 블록(110)은 일반적으로 비디오 프레임에서 인간 얼굴의 대략적인 움직임을 검출하고, 그와 함께 또는 그에 이어 인간 감정에 관련된 몇몇의 보다 상세한 얼굴 표정을 검출한다. 라이브 비디오 프레임에서 전체적인 얼굴의 상대 또는 절대 위치를 도 1에서 "위치" 정보로서 표시한다. 이 위치 정보는 모듈(120)에서 "표준 3D 모델"로 정의된 얼굴의 3D 표준 모델을 이동 및/또는 회전하는데 사용될 것이다. 부가하여, 제한된 양의 얼굴 표정 또한 코, 눈썹, 입 등의 위치의 몇몇 대략적인 표시에 의해 모듈(110)에서 검출된다. 이 출력이 도 1에서 "특징"으로 표시되어 있고, 이들은 위치가 적용된 표준 모델의 대응하는 얼굴 특징을 모듈(120)에 의한 출력으로서 적용하기 위한 모핑 모듈(130)에서 사용된다.

모듈(120)에 입력되는 3D 표준 모델은 또한 일반적으로 표준 데이터베이스로부터 이용가능/선택가능하다. 그러한 표준 데이터베이스는 인간 얼굴, 및 고양이, 개 종류 등과 같은 몇몇 동물의 3D 표준 모델을 포함할 수 있다. 이 표준 3D는 따라서 모듈(110)로부터의 위치 정보에 따라 변환, 회전 및/또는 스케일링될 것이다.

인간 얼굴 모델링의 경우에, 이 위치 적응 단계를 거치면 라이브 비디오 공급에서 얼굴과 동일한 포즈를 반영하는 3D 표준 모델이 생성된다. 3D 모델을 2D 프레임의 올바른 얼굴 표정에 또한 적용하기 위해, 단계 130에서 부분적으로 조정된 3D 표준 모델에 모듈(110)로부터 검출된 특징이 적용된다. 이 모핑 모듈(130)은 또한 도 2에서 "모핑 모델"로 표시된 특정 적용 모델을 사용하고, 이 모델은 검출 모듈로부터의 제공에 응답하여 표준 3D 모델에 얼굴 특징을 어떻게 적용할지에 대한 명령을 포함할 수 있다. AAM 검출 모델이 사용된 경우, 모핑 모델은 일반적으로 AAM 모핑 모델이 될 것이다. 전술한 ASM 모핑과 같은 다른 모델이 사용되는 경우에도 유사하게 고려될 것이다.

따라서, 결과적으로 모듈(130)에 의해 모핑된 표준 3D 모델이 제공된다.

이러한 모델 기반 모핑의 예시적인 구현은 라이브 비디오 공급의 얼굴 특징 검출 결과에 기초하여 얼굴 특징에 관한 표준 모델 3D의 꼭지점들을 재위치시키는 것을 포함할 수 있다. 얼굴 특징들 간에서의 3D 콘텐츠는 간단한 선형 보간에 의해 더 채워질 수 있거나, 또는 얼굴의 탄력성을 포함하는 보다 복잡한 고차원의 AAM 모핑 모델이 사용되는 경우, 보다 높은 차원의 보간 또는 심지어 다른 보다 복잡한 함수가 사용된다. 꼭지점들이 위치되는 방법 및 그들 사이에 데이터가 채워지는 방법은 모핑 모델에 모두 포함된다.

이용가능한 (AAM) 검출 및 모핑 모델의 품질에도 불구하고, 일반적으로 적용가능한 검출 모델은 라이브 비디오 공급시에 얼굴 특징들의 위치를 검출하는데에만 사용되기 때문에 여전히 인공적인 표정 결과가 얻어질 수 있고, 이 결과는 그 후 비디오 공급시 그들의 위치에 기초하여 3D 위치 적응 모델에서 얼굴 특징들을 위치시키는데 사용된다. 이 3D 표준 모델에서의 얼굴 특질들 간의 영역들은 (AAM) 모핑 모델을 이용하여 보간된다. 그러나, 후자는 각각의 얼굴 특징의 변위가 이웃하는 얼굴 영역들에 어떻게 영향을 미치는지에 관해 전혀 알지 못하거나 단지 제한적으로 알고 있다. 얼굴 표정 및 탄력성에 관한 것일 수 있는 얼굴 영역에 대한 그들의 영향에 관한 몇몇 일반적인 정보는 이 모핑 모델에 적용될 수 있지만, 이것은 또한, 단순히 각각의 개인이 상이하고 모든 얼굴 표정이 모든 인간 얼굴을 커버하는 하나의 매우 일반적인 모델로 커버될 수 없기 때문에, 인공적인 표정 모핑 결과를 가져올 것이다.

3D 표준 모델에 기초한 비디오에서 검출된 동물과 같은 다른 변형가능한 객체를 모핑하는 것에도 유사하게 고려되는 것이 유효하다.

모핑된 표준 3D 모델을 더 향상시키기 위해, 모듈(100)에 의해 제공되는 이 인공적인 표정 모핑 모델은, 도 1을 참조하여 이전에 논의된 바와 같이, 단계 300에서 흐름 기반 모핑을 이용하여 강화될 수 있다.

이 흐름 기반 모핑 단계를 수행하기 전에, 광학 흐름 자체가 결정되어야 한다. 광학 흐름은 여기서 한 프레임에서 다른 프레임으로 또는 한 프레임에서 2D 또는 3D 모델로의 시각적 장면에서의 객체, 표면 및 에지의 분명한 움직임의 패턴 및 변위로서 정의된다. 여기서 설명되는 실시예에서, 광학 흐름을 결정하는 방법은 픽셀 레벨에서 시간상 상이한 순간, 예를 들면, T와 T-1에서 취해진 두 개의 이미지들 간의 움직임을 계산하는 것을 목적으로 하거나, 또는 대안으로 시간 T에서의 픽셀과 시간 T에서 3D 모델의 대응하는 복셀(voxel) 간의 변위를 계산하는 것을 목적으로 하고, 그 역도 마찬가지다.

광학 흐름이 모듈(300)에서 2D 비디오 프레임에 기초하여 모핑된 표준 3D 모델에 적용되어야함에 따라, 광학 흐름은 이 프레임으로부터 이 3D 모델까지 계산되어야 한다. 그러나, 일반적으로, 광학 흐름 계산은 2D 프레임으로부터 또 다른 2D 프레임가지 계산되고, 따라서, 2D 프레임으로부터 3D 모핑된 모델까지의 광학 흐름을 결정하기 위해 몇몇의 여분의 단계들이 부가된다. 이 여분의 단계는, 예를 들면, T-1에서 결정된 이전에 결정 미세 조정 3D 모델인 기준 3D 입력을 이용하는 것을 포함할 수 있다. 따라서, 이 정보는 장치의 출력으로부터 모듈(200)로 제공된다.

도 3은 모듈(200)을 실현하기 위한 상세한 실시예를 도시한다. 이 실시예에서, 제1 모듈(250)은 모핑된 표준 3D 모델의 2D 투영과 이전의 미세 조정 모핑된 3D 표준 모델의 2D 투영 간의 제1 광학 흐름을 결정하도록 적용된다. 제2 모듈(290)은 시간 T에서의 실제 2D 프레임과 이전의 미세 조정 모핑된 3D 표준 모델의 2D 투영 간의 제2 광학 흐름을 결정하도록 적용된다. 결합 모듈(270)은 상기 제1 광학 흐름과 제2 광학 흐름으로부터 제3 광학 흐름을 계산한다. 이 제3 광학 흐름은 시간 T에서의 실제 2D 프레임과 시간 T에서의 모핑된 표준 3D 모델의 2D 투영 간의 광학 흐름이다. 모듈(280)은 다음에 이 제3 광학 흐름을 적용하여 시간 T에서의 2D 이미지 데이터 입력과 시간 T에서의 모핑된 표준 3D 모델 간의 원하는 광학 흐름을 얻는다. 이제, 추가의 상세가 설명될 것이다.

모핑된 표준 3D 모델의 2D 투영과 이전의 미세 조정 모핑된 3D 표준 모델의 2D 투영 간의 제1 광학 흐름을 결정하기 위해, 이들 2D 투영은 모듈(200)에 제공되는 각각의 3D 모델 상에서 수행된다. 이를 위해, 모듈(230)은 모듈(100)에 의해 제공되는 바와 같이 모핑된 표준 3D 모델 상에 2D 렌더링 또는 투영을 수행하도록 적용되는 한편, 모듈(240)은 도 3의 실시예에서 시간 T-1에서 결정되는 이전의 미세 조정 모핑된 3D 표준 모델의 유사한 2D 투영을 수행하도록 적용된다. 이들 투영에 사용되는 투영 파라미터는 바람직하게는 2D 비디오 프레임을 기록하기 위한 비디오 카메라의 투영 파라미터에 대응한다. 이들은 비디오 카메라의 교정 파라미터에 관한 것이다.

도 3에 도시된 실시예에서, 모듈(290)은 3개의 추가의 서브-모듈을 포함한다. 모듈(220)에서, 시간 T에서 제공되는 비디오 프레임과 이전의 것, 이 경우, T-1에서의 것인 비디오 간의 광학 흐름이 결정된다. 이전의 2D 프레임에 대한 타이밍 인스턴스는 이전의 미세 조정 모핑된 3D 표준 모델에 대한 타이밍 인스턴스와 동일하다.

따라서, 모듈(290)의 지연 소자(210)는 도 1의 완전한 장치의 피드백 루프에서 사용되는 것과 동일한 지연을 도입한다. 물론, 이러한 2D 비디오의 이전 값을 제공하기 위한 다른 실시예 또한 가능하고, 따라서, 내부 메모리에 단지 저장될 수 있고, 추가의 지연 블록의 필요성을 완화할 수 있다.

따라서 모듈(220)에서 연속적인 비디오 프레임 T와 T-1 간에 계산된 광학 흐름이 결정되고, 시간 T-1에서 미세 조정되어 출력된 3D의 2D 투영으로부터 T에서의 2D 비디오 프레임으로의 광학 흐름을 결정하기 위해 모듈(260)에서 추가로 사용된다. 따라서, 투영 자체는 모듈(240)에서 수행되었다. 이 투영 파라미터는 2D 비디오 프레임이 기록되는 2D 카메라에서 사용되는 것들에 매핑한다.

단계 260에서의 이 제2 광학 흐름의 결정은 표준 모델과 라이브 비디오 공급이 때때로 어떻게든 정렬되어야 하는 상이한 사람들을 나타낼 수 있다는 것을 고려한다. 몇몇 실시예에서, 모듈(260)은 두 개의 단계를 포함할 수 있다: 제1 얼굴 등록 단계, 여기서, 이전 프레임 T-1에서의 라이브 비디오 공급의 얼굴 형상은 (시간 T-1에서) 이전의 미세 조정 모핑된 3D 콘텐츠의 2D 투영의 얼굴 형상에 매핑된다. 이 등록 단계는 다시 AAM 검출기를 사용할 수 있다. 다음에, 시간 T에서 라이브 비디오 공급에서 계산된 광학 흐름은, 예를 들면, 시간 T-1에서 2D 투영된 3D 콘텐층의 얼굴 형상으로의 보간에 의해 정렬된다. 이들 실시예는 도 7 및 도 8에 보다 상세하게 도시되어 있다.

모듈(250)에 의해 시간 T에서의 모핑된 표준 모델의 2D 투영과 시간 T-1에서의 이전의 미세 조정 표준 모델 간에 결정된 제1 광학 흐름은 다음에 모듈(260)에서 결정된 제2 광학 흐름과 조합되어, 시간 T에서의 2D 비디오로부터 시간 T에서의 모핑된 표준 모델의 2D 투영으로의 제3 광학 흐름을 생성한다. 이것이 2D에서 실제로 원하는 광학 흐름이다. 이 조합이 이전에 결정된 미세 조정 모델의 2D 투영인 중간의 공통 요소를 차감하는 것을 포함하기 때문에, 이 조합은 모듈(270)에서 "-" 부호로 표시된다.

그러나, 이러한 결정된 제3 광학 흐름이 여전히 2D에서 두 개의 이미지들 간의 광학 흐름에 관심이 있기 때문에, 시간 T에서의 2D 비디오 프레임으로부터 시간 T에서의 모핑된 표준 3D 모델의 3D 콘텐츠로의 이러한 광학 흐름의 변환을 위한 추가의 단계 280가 필요하다. 이것은 2D 투영동안 사용되는 바와 같은 역 프로세스를 이용하는, 따라서, 동일한 투영 파라미터를 갖는 역-투영을 포함할 수 있다. 이러한 목적을 위해, 2D로부터 3D로의 꼭지점들을 재계산하기 위해 2D 투영으로부터 기인하는 깊이가 사용된다.

연속적인 프레임 및 연속적으로 결정되는 미세 조정 모핑된 3D 모델을 이용하는 것 대신에, 시간 T 및 T-1에서, 새로운 프레임과 이전 프레임 사이의 시간 갭이 프레임 지연보다 더 길 수 있다는 것이 주목되어야 한다. 이 경우에, 실제 프레임과 모듈(200)에서 사용된 바와 같은 이전 프레임 간의 타이밍 차이가 새롭게 결정된 출력과 광학 흐름을 결정하는데 사용된 이전 출력 간의 타이밍 차이에 대응하도록 이전에 결정된 대응하는 출력 모핑된 모델이 사용되어야 한다. 실시예에서, 이것은, 예를 들면, 도 1의 피드백 루프 및 도 3의 모듈(210)에서의 유사한 지연 소자 D를 이용함으로써 실현될 수 있다.

도 1의 모듈(300)은 그에 따라 계산된 광학 흐름을 모핑된 표준 3D 모델에 적용함으로써, 미세 조정 모핑된 3D 표준 모델을 생성한다.

도 4에 도시된 장치의 제1 변형 실시예에서, 시간 T에서의 2D 비디오와 이 시간 T에서의 모핑된 표준 3D 모델 간에 광학 흐름을 계산하는 모듈(200)의 출력에서 표준 3D 모델의 초기 모핑을 수행하기 위한 적용 모듈(1000)로의 사이에 추가 피드백 루프가 제공된다. 이 적용 모듈(1000)은 도 5에 보다 상세히 도시된다. 도 2와 비교하면, 이 모듈(1000)은 광학 흐름 계산 모듈(200)의 출력에 의해 제공된 "광학 흐름"으로 표시된 여분의 입력 신호를 수신하고, 이 정보는 모핑 모듈(130) 자체에서 사용되는 모핑 모델을 적용하기 위해 사용된다. 모핑 모듈(1000) 내의 부가의 모듈(140)은 따라서 이 광학 흐름 정보에 기초하여 모핑 모델의 이전 버전을 갱신한다. 도 5에 다시 도시된 실시예에서, 지연 소자의 사용이 도시되어 있지만, 다른 실시예는 단지 이전 값을 저장하는 것도 가능하다.

광학 흐름 피드백을 이용한 모핑 모델의 이러한 갱신은 일반적인 표준 모핑 모델이 각각의 얼굴 특징의 변위가 이웃하는 얼굴 영역에 어떻게 영향을 미치는지에 관한 지식을 갖지 않기 때문에 유용할 수 있다. 이것은 기본 모핑 모델에서의 탄력성의 개념이 없거나 충분하지 않기 때문이다. 따라서, 광학 흐름의 제공은 보다 복잡한 고차원 모핑 모델의 학습을 가능하게 한다. 여기서의 아이디어는 라이브 비디오 공급을 완전히 닮도록 완전한 모핑 모델이 3D 표준 모델을 모핑한다는 것으로, 이 경우, 모듈(200)의 "광학 흐름 조합" 블록(270)은 결과적으로 여분의 광학 흐름이 인가되지 않게 되고, 따라서, 필요 없게 된다.

도 6에 도시된 또 다른 변형 실시예에서, 광학 흐름 계산 모듈(200)로부터 표준 3D 모핑 모듈(100)로 내부 신호를 피드백하기 위한 또 다른 피드백 루프가 제공된다. 도 7은 이에 대한 상세한 실시예를 도시하는 것으로, 피드백은 시간 T 및 T-1에서 비디오 프레임들 간의 2D 레벨에서의 광학 흐름으로부터 여분의 AAM 또는 다른 검출 모델 적용 모듈 자체로 실제 제공된다. 라이브 비디오 공급시 프레임들 T-1과 T 사이에 계산된 광학 흐름은 프레임 T-1에서 검출된 얼굴 특징을 프레임 T에서 검출된 얼굴 특징에 매핑시킨다고 가정될 수 있다. 따라서 모든 얼굴 표정이 이 검출 모델에 의해 커버되지 않을 가능성이 있기 때문에, 라이브 비디오 공급시의 얼굴 특징 검출이 때때로 실패할 수 있다. 이러한 시나리오는 미래의 발생이 검출되고 따라서 3D 표준 모델에 적용되도록 이러한 얼굴 표정을 포함하도록 얼굴 특징을 검출하기 위한 검출 모델에 적용함으로써 해결될 수 있다.

도 8은 지금까지 설명된 모든 피드백 루프가 통합되는 실시예를 도시한다.

도 9는 모델 기반 및 흐름 기반 모핑 모두의 조합에 보다 확률적인 접근을 구현하는 또 다른 하이레벨 실시예를 도시한다. 모델 기반 모듈(100)은 3D 모델의 제한된 성긴 특징 포인트들의 세트의 정확한 변위를 제공하고, 반면, 흐름 기반 모듈은 덜 정확한 2차원 변위 추정치를 제공하지만 모델에 대해 더 밀도가 있는 포인트들의 세트를 제공한다. 확률 접근을 통해 상이한 정확도를 갖는 이들의 상이한 종류의 관찰들을 조합함으로써 미세 조정 모핑된 3D 표준 모델에 대해 보다 정확한 결과를 얻을 수 있다. 그러한 확률 접근은 도 9의 실시예의 에너지 최소화 모듈(400)에 의해 실현된다.

얼굴 모델링의 경우에, 그러한 확률 접근법은 미관찰된 갭들에 채우기 위한 얼굴의 기초적인 탄력 모델을 직관적으로 가능하게 한다. 얼굴은 단지 특정 방식으로 이동할 수 있다. 이동에 대한 제한이 있다. 예를 들면, 모델 상의 이웃하는 포인트들은 유사한 방식으로 이동할 것이다. 또한 얼굴 상의 대칭 포인트들은 상관이 있다. 이것은 당신이 당신의 얼굴의 왼쪽 부분이 웃고 있는 것을 본다면, 오른쪽 부분이 관찰될 수 없더라도 오른쪽 부분 또한 웃고 있을 확률이 높다는 것을 의미한다.

수학적으로, 이것은 두 개의 데이터 항(data terms) 및 평활 항(smoothness term)으로 구성되는 에너지 최소화 문제로서 공식화될 수 있다.

E = S + D_FLOW + D_MODEL

D_FLOW는 최종의 미세 조정 모핑된 3D 모델에 대한 제안된 후보 솔루션과 2D 입력 이미지 단독의 광학 흐름을 보는 것으로부터 예상되는 것 사이의 몇몇의 거리 메트릭이다. 관찰된 밀도있는 광학 흐름 맵이 주어지면, 제안된 후보가 확률 분포에 보다 잘 정합할수록, 이 거리는 더 작게 된다. 메트릭은 광학 흐름 추정치의 정확도에 반비례하여 가중치가 부여된다.

D_MODEL은 유사한 메트릭이지만, 후보 솔루션과 관찰된 AAM 기반 모핑된 3D 모델 간의 정합에 따른 거리를 나타낸다. D_MODEL에도 AAM 알고리즘의 정확도에 반비례하여 가중치가 부여된다.

S는 얼굴의 개연성이 낮은 움직임에 페널티를 부과한다. 이것은 두 종류의 서브항: 절대 및 상대 페널티를 포함한다. 절대 페널티는, 간단히 줄이자면, 얼굴의 특정 포인트가 제안된 방향으로 이동하지 않을 가능성에 비례하여 페널티를 부과한다. 상대 페널티는 유사한 방식으로 페널티를 부과하지만, 이웃하는 포인트들(또는 다른 상대 포인트들, 예를 들면, 대칭 포인트들)의 변위가 주어진다.

에너지 최소화 문제는 다수의 기술에 의해 해결될 수 있다. 예로서, 구배법(gradient descent method), 확률론적 방법(시뮬레이션된 어닐링(simulated annealing), 유전 알고리즘, 임의 행로법(random walk)), 그래프 컷, 신뢰도 확산, 칼만 필터 등이 있다. 목적은 상기 수식에서 에너지가 최소가 되는 제안된 모핑 3D 모델을 찾는 것으로 항상 동일하다.

도 9의 실시예에 대한 보다 상세한 설명이 도 10에 도시되어 있다.

도 11에 제2 확률적 실시예가 도시되어 있다. 이 실시예에서, 정렬된 광학 흐름은 시간에 걸쳐 누적된다. 누적된 정렬 광학 흐름과 에너지 최소화 문제에서의 AAM 검출/모핑 결과를 조합함으로써 용이하고 현실적으로 보이는 3D 데이터베이스 콘텐츠를 생성할 수 있다. 시간에 걸쳐 광학 흐름을 누적함으로써 유도되는 잠재적인 드리프트는 AAM 모핑 결과를 포함함으로써 관리된다. 그리고, 인공적으로 보이는 모핑 결과는 광학 흐름 모핑 결과를 포함함으로써 제거된다.

모든 설명된 실시예는 인간의 얼굴에만 제한되는 것이 아니라는 것을 유의하자. 모델 기반 접근법에서 모핑을 위해 임의의 비강체 객체에 대한 모델이 구축되고 이용될 수 있다. 부가하여, 실시예는 AAM 모델의 사용에 제한되는 것이 아니다. 초기 모핑 모듈(100) 동안, 예를 들면, ASM(Active Shape Models) 같은 다른 모델이 사용될 수 있다.

특정 장치와 연결하여 본 발명의 원리를 전술하였지만, 이러한 설명은 단지 예로서 이루어진 것이고 첨부의 청구범위에서 정의된 바와 같이 본 발명의 범위를 제한하는 것이 아니라는 것이 명확히 이해되어야 한다. 청구범위에서 특정 기능을 수행하기 위한 수단으로서 표현되는 임의의 구성요소는 그러한 기능을 수행하기 위한 임의의 방식을 포함하는 것을 의도한다. 이것은, 예를 들면, 그러한 기능을 수행하는 전기적 또는 기계적 구성요소의 조합, 또는 소프트웨어로 제어되는 회로에 결합되는 기계적 구성요소뿐만 아니라 그러한 기능을 수행하기 위해 소프트웨어를 실행하기 위한 적절한 회로와 결합된 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다. 그러한 청구범위에 의해 정의되는 본 발명은 다양하게 인용된 수단에 의해 제공되는 기능들이 결합되고 청구범위가 요구하는 방식으로 합쳐지고, 특별히 정의되지 않았다면, 임의의 물리적 구조는 청구되는 발명의 신규성에 거의 또는 전혀 중요하지 않다는 사실에 있다. 따라서, 출원인은 여기서 도시된 바와 균등한 기능들을 제공할 수 있는 임의의 수단을 고려한다.

Claims

특정 시점(T)에서의 2D 비디오 프레임(2D 비디오 프레임(T))에 기초하여 표준 3D 모델을 모핑(morphing)하는 방법으로서,
상기 2D 비디오 프레임(2D 비디오 프레임(T)), 검출 모델 및 모핑 모델을 이용하여 상기 표준 3D 모델의 초기 모핑을 수행(100)함으로써, 상기 특정 시점(T)에서 상기 2D 비디오 프레임(T)에 대해 모핑된 표준 3D 모델을 얻는 단계와,
상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델 간의 광학 흐름(optical flow)을 결정하는 단계(200)와,
상기 광학 흐름을 상기 모핑된 표준 3D 모델에 적용(300)하여, 상기 특정 시점(T)에서의 미세 조정(fine tuned) 모핑된 3D 표준 모델을 제공하는 단계를 포함하며,
상기 특정 시점(T)에서 상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델(T) 간의 광학 흐름을 결정하는 단계는,
상기 모핑된 표준 3D 모델(T)의 2D 투영과 이전의 2D 비디오 프레임(T-1)에 대해 결정된 이전의 미세 조정 모핑된 3D 표준 모델(T-1)의 2D 투영 간의 제1 광학 흐름을 결정하는 단계(250)와,
상기 2D 비디오 프레임(T)과 상기 이전의 2D 비디오 프레임(T-1)에 대해 결정된 상기 이전의 미세 조정 모핑된 3D 표준 모델(T-1)의 2D 투영 간의 제2 광학 흐름을 결정하는 단계(290)와,
상기 제1 광학 흐름과 상기 제2 광학 흐름을 조합(270)하여, 상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델(T)의 2D 투영 간의 제3 광학 흐름을 얻는 단계와,
상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델(T) 간의 광학 흐름을 얻기 위해 상기 모핑된 표준 3D 모델(T)의 2D 투영 중에 얻어진 깊이 정보에 기초하여 상기 제3 광학 흐름을 역-투영하는(back-projecting) 단계(280)를 포함하는
표준 3D 모델 모핑 방법.
삭제
삭제
제1항에 있어서,
상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델 간의 광학 흐름에 기초하여 상기 초기 모핑 수행 단계(100)에서 사용된 상기 모핑 모델을 갱신하는 단계(140)를 더 포함하는
표준 3D 모델 모핑 방법.
제1항 또는 제4항에 있어서,
상기 2D 비디오 프레임(T)과 이전의 2D 비디오 프레임(T-1) 간에 결정된 광학 흐름 정보에 기초하여, 상기 초기 모핑 수행 단계에서 사용된 상기 검출 모델을 갱신하는 단계를 더 포함하는
표준 3D 모델 모핑 방법.
제1항 또는 제4항에 있어서,
상기 광학 흐름을 상기 모핑된 표준 3D 모델에 적용(300)하는 단계는 에너지 최소화 절차(400)를 포함하는
표준 3D 모델 모핑 방법.
특정 시점(T)에서의 2D 비디오 프레임(2D 비디오 프레임(T))에 기초하여 표준 3D 모델을 모핑하는 장치로서, 상기 장치는,
상기 2D 비디오 프레임(2D 비디오 프레임(T)), 검출 모델 및 모핑 모델을 이용하여 상기 표준 3D 모델의 초기 모핑을 수행(100)함으로써, 상기 특정 시점(T)에서 상기 2D 비디오 프레임에 대해 모핑된 표준 3D 모델을 얻고,
상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델 간의 광학 흐름을 결정하며(200),
상기 광학 흐름을 상기 모핑된 표준 3D 모델에 적용(300)함으로써, 미세 조정 모핑된 3D 표준 모델을 상기 장치의 출력부에 제공하도록 구성되고,
상기 장치는,
상기 모핑된 표준 3D 모델(T)의 2D 투영과 이전의 2D 비디오 프레임(T-1)에 대해 결정된 이전의 미세 조정 모핑된 3D 표준 모델(T-1)의 2D 투영 간의 제1 광학 흐름을 결정하고(250),
상기 2D 비디오 프레임(T)과 상기 이전의 2D 비디오 프레임(T-1)에 대해 결정된 상기 이전의 미세 조정 모핑된 3D 표준 모델(T-1)의 2D 투영 간의 제2 광학 흐름을 결정하며(290),
상기 제1 광학 흐름과 상기 제2 광학 흐름을 조합(270)하여, 상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델(T)의 2D 투영 간의 제3 광학 흐름을 얻고,
상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델(T) 간의 광학 흐름을 얻기 위해 상기 모핑된 표준 3D 모델의 2D 투영 중에 얻어진 깊이 정보에 기초하여 상기 제3 광학 흐름을 역-투영(280)함으로써,
상기 특정 시점(T)에서 상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델(T) 간의 광학 흐름을 결정하도록 더 구성되는
표준 3D 모델 모핑 장치.
삭제
삭제
제7항에 있어서,
상기 장치는 상기 2D 비디오 프레임(T)과 상기 모핑된 표준 3D 모델 간의 광학 흐름에 기초하여 상기 초기 모핑 수행 단계(100)에서 사용된 상기 모핑 모델을 갱신(140)하는
표준 3D 모델 모핑 장치.
제7항 또는 제10항에 있어서,
상기 장치는 상기 2D 비디오 프레임(T)과 상기 이전의 2D 비디오 프레임(T-1) 간에 결정된 광학 흐름 정보에 기초하여, 상기 초기 모핑 수행 단계에서 사용된 상기 검출 모델을 갱신하는
표준 3D 모델 모핑 장치.
제7항 또는 제10항에 따른 표준 3D 모델 모핑 장치를 포함하는 이미지 프로세싱 장치.
데이터 프로세싱 장치상에서 실행될 때, 제1항 또는 제4항에 따른 방법의 각 단계들을 수행하도록 구성되는 소프트웨어를 포함하는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 저장 매체.