KR100317138B1 - 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 - Google Patents

Abstract

본 발명은 여러 방향에서 찍은 사람의 얼굴 텍스처 영상을 이용하여 3차원 메쉬 모델을 각각 텍스처 평면상에서 변형하고 변형된 결과를 종합하여, 특정 사람의 얼굴 구조에 근접한 3차원 얼굴을 합성하는 방법에 관한 것으로써, 특정 사람의 3차원 얼굴 모델 생성의 성능을 향상시키는 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법을 제공하는 데 그 목적이 있다.

이러한 본 발명에 따른 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법은, 특정 사람의 얼굴을 적어도 4방향에서 촬영하여 여러 장의 2차원 텍스처 영상을 구하는 제1단계와, 상기 여러 장의 텍스처 영상을 이용하여 3차원 얼굴 모델을 변형시켜서 상기 특정 사람의 얼굴과 비슷한 얼굴 모델을 구하는 제2단계, 상기 여러 장의 2차원 텍스처 영상을 이용하여 상기 특정 사람의 파노라마 영상을 생성하는 제3단계, 및 상기 제2단계에서 특정 사람의 얼굴과 비슷하게 변형된 얼굴 모델에 상기 파노라마 영상을 텍스처 매핑하는 제4단계를 포함한 것을 특징으로 한다.

Description

얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 { Three-dimensional face synthesis method using facial texture image from several views }

본 발명은 얼굴 애니메이션 기술에 관한 것으로서, 특히 여러 방향에서 찍은 사람의 얼굴 텍스처 영상을 이용하여 3차원 메쉬 모델을 각각 텍스처 평면상에서 변형하고 변형된 결과를 종합하여, 특정 사람의 얼굴 구조에 근접한 3차원 얼굴을 합성하는 방법에 관한 것이다.

일반 얼굴 모델과 특정 사람의 얼굴 영상을 맞추는 방법은 두 가지가 있다. 그 중 하나는 특정 사람의 얼굴 영상을 일반 얼굴 모델에 맞춰 변형시키고 그 변형된 영상을 텍스처 매핑시키는 것이다. 나머지 하나는 일반 얼굴 모델을 특정 사람에게 맞게 변형시킨 후에 텍스처를 입히는 것이다. 전자의 경우에는 텍스처 영상이 왜곡될 뿐만 아니라 3차원 모델 자체가 변형되지 않기 때문에 원래 사람의 모습을 충실히 나타내기 어렵다. 또한, 일반 얼굴 모델이 모든 사람들의 얼굴에 적합할 수는 없기 때문에 후자의 경우처럼 모델을 변형할 필요가 있다.

후자의 방법과 같이, 일반 얼굴 영상을 이용하여 특정 사람의 얼굴 구조에 근접한 3차원 얼굴 모델을 생성하는 방법 중 가장 간단한 방법은 정면 영상만을 사용하는 방법이다. 그러나, Takaaki Akimoto와 Yasuhito Suenaga는 정면 얼굴 영상과 측면 영상을 일반 3차원 모델과 함께 사용하는 방식을 제시하였다. 이 방법에서는 눈, 코, 입, 턱의 윤곽과 같은 특징점(feature vertex)들을 추출하고, 이 결과를 이용하여 일반 얼굴 모델을 수정한다. 이때, 모델의 각 특징점들의 위치를 바뀌게 하는 수정 벡터를 계산하고, 수정 벡터들의 보간(interpolation)에 의해 비특징점(non feature vertex)들의 위치를 계산한다.

도 1은 세 특징점들의 변위벡터(displacement vector)에 의해 하나의 비특징점이 특징점들과의 거리에 의해 보간되는 상태를 도시한 도면이다.

일반적으로 비특징점 i의 변위벡터는 수학식 1과 같이 계산된다.

여기서, f(r)은 r값이 작을수록 큰 값을 갖는 함수로서,과 같은 값이 사용된다. 그리고, 특징점들의 수정 벡터는 특징점들의 변위 벡터를 이용하여 연립방정식을 풀어서 구한다. 위의 수학식 1에서 비특징점들의 변위 벡터대신 특징점들의 변위 벡터를 사용하여 연립방정식을 세운다.

이러한 방법에 의해 정면 영상과 측면 영상에 대한 모델상의 정점의 이차원 위치를 결정하고, 3차원 좌표(x,y,z)는 정면 영상에서 x값을, 정면 영상과 측면 영상의 평균인 y값을 할당하여 결정한다.

이러한 3차원 모델링방법은 튀어나온 광대뼈와 같이 앞모습이나 옆모습에서 가려지는 부분은 모델링할 수 없다. 또한, 특징점들의 수를 적게 하면 그만큼 모델이 불일치하기 때문에 정확하게 모델을 얼굴 영상에 일치시키기 위해서는 많은 정점을 지정해 주어야 하는 번거로움이 있었다.

한편, 다른 3차원 모델링 방법으로, Terzopoulos와 Waters는 3차원 레인지 스캐너(range scanner)와 같은 전문장비를 사용하여 얼굴을 모델링하는 방법을 제시하였다. 이 방법은 3차원 레인지 스캐너로부터 피실험자 얼굴까지의 거리 정보를 피실험자 얼굴의 색상 정보를 직접 얻을 수 있기 때문에 영상을 이용하는 방법보다 좋은 성능을 얻을 수 있다. 그러나, 이 방법은 값비싼 장비가 필요하며 피실험자가 반드시 장비가 설치되어 있는 장소로 이동하여야 하는 문제점이 있었다.

따라서, 본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로써, 4방향, 8방향 16방향 등 여러 방향에서 찍은 사진 영상을 합성하여, 파노라마 형태의 얼굴 영상을 텍스처 영상으로 사용함으로써, 특정 사람의 3차원 얼굴 모델 생성의 성능을 향상시키는 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법을 제공하는 데 그 목적이 있다.

도 1은 세 특징점들의 변위벡터(displacement vector)에 의해 하나의 비특징점이 특징점들과의 거리에 의해 보간되는 상태를 도시한 도면,

도 2는 본 발명에 따른 얼굴 모델링 및 애니메이션을 실행하는 처리 블록도,

도 3은 특정 사람의 3차원 얼굴 모델을 생성하기 위하여 여러 방향에서의 얼굴 사진을 촬영하는 상태를 도시한 도면,

도 4는 본 발명에 따른 특징선에 기초한 모델 변형방법의 진행 과정을 도시한 도면,

도 5는 본 발명의 방법을 사용하여 8장의 영상으로 생성한 파노라마 형태의 영상도,

도 6은 도 5의 파노라마 형태의 영상을 생성된 모델에 텍스처 매핑한 결과를 도시한 영상도이다.

이러한 목적을 달성하기 위하여, 본 발명에 따른 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법은, 특정 사람의 얼굴을 적어도 4방향에서 촬영하여 여러 장의 2차원 텍스처 영상을 구하는 제1단계와,

상기 여러 장의 텍스처 영상을 이용하여 3차원 얼굴 모델을 변형시켜서 상기 특정 사람의 얼굴과 비슷한 얼굴 모델을 구하는 제2단계,

상기 여러 장의 2차원 텍스처 영상을 이용하여 상기 특정 사람의 파노라마 영상을 생성하는 제3단계, 및

상기 제2단계에서 특정 사람의 얼굴과 비슷하게 변형된 얼굴 모델에 상기 파노라마 영상을 텍스처 매핑하는 제4단계를 포함한 것을 특징으로 한다.

또한, 본 발명은, 컴퓨터에,

특정 사람의 얼굴을 적어도 4방향에서 촬영한 여러 장의 2차원 텍스처 영상이 입력되면, 3차원 일반 얼굴 모델을 텍스처 영상의 촬영 각도와 동일한 각도에서 2차원 영상 평면 상에 프로젝션시키는 제1단계와,

상기 텍스처 영상에서 특징점들을 연결하는 특징선들을 구하는 제2단계,

상기 프로젝션된 일반 얼굴 모델에서 특징점들을 연결하여 상기 텍스처 영상의 특징선들과 대응되는 특징선들을 구하는 제3단계,

상기 텍스처 영상의 특징선과 일치하도록 상기 일반 얼굴 모델의 특징선들을 변형시키는 제4단계,

모든 텍스처 영상에 대하여 상기 제1단계 내지 제4단계를 반복하여 상기 특정 사람의 얼굴과 비슷한 얼굴 모델을 구하는 제5단계,

모든 텍스처 영상을 반지름이 R인 실린더에 투영하는 제6단계,

인접한 두 텍스처 영상을 이용하여 임의의 각도에 대한 각각의 시각 영상을 구하는 제7단계,

상기 임의의 각도에 대한 두 개의 시각 영상을 보간하여, 상기 임의의 각도에서의 영상을 구하는 제8단계,

모든 각도(0°∼ 359°)에서 상기 제6단계 내지 제8단계를 수행하여 파노라마 영상을 구하는 제9단계, 및

상기 특정 사람의 얼굴과 비슷하게 변형된 얼굴 모델에 상기 파노라마 영상을 텍스처 매핑하는 제10단계를 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 보다 상세하게 설명하면 다음과 같다.

도 2는 본 발명에 따른 얼굴 모델링 및 애니메이션을 실행하는 처리 블록도이다. 여러 방향에서 찍은 특정 사람의 2차원 얼굴 사진 영상(21)이 여러 장 주어지고 일반 얼굴 모델(22)이 주어지면, 특정 사람의 얼굴 영상들을 이용하여 일반 모델을 변형한다(23). 또한, 변형된 일반 모델을 실린더에 투영시킨다(24). 한편, 특정 사람의 2차원 얼굴 사진 영상들로부터 하나의 파노라마 형태의 영상을 생성한 후(25), 그 영상을 변형된 일반 모델에 텍스처 매핑시킨다(26). 이와 같이 텍스처 매핑된 변형된 특정 얼굴 모델을 사용하여 얼굴 표정 애니메이션을 수행한다(27). 본 발명은 특정 사람의 2차원 얼굴 사진 영상을 이용하여 그 특정 사람의 얼굴 구조와 유사한 일반 얼굴 모델을 형성한다.

도 3은 특정 사람의 3차원 얼굴 모델을 생성하기 위하여 여러 방향에서의 얼굴 사진을 촬영하는 상태를 도시한 도면이다.

이때, 피실험자(31)가 움직이면 조명 등의 외부 영향을 많이 받을 수 있기 때문에 피실험자는 움직이지 않게 하고, 피실험자 주위를 돌아가며 각각의 방향에서 사진을 촬영한다. 사진 촬영은 4개 이상의 방향에서 한다. 8개 방향에서 피실험자의 영상을 촬영하는 것이 바람직하며 4의 배수로 영상 촬영을 한다. 이때, 4장 이상의 영상이 촬영할 수 없고, 정면 영상과 측면 영상만 있을 때에는 1장의 측면 영상을 대칭시켜 좌우 영상을 만들고, 후면 영상은 머리 색깔의 영상으로 만들어 사용한다.

보다 바람직하게는 여러 개의 카메라(32)를 동시에 사용한다. 피실험자의 여러 방향에서의 영굴 영상이 얻어지면, 각각의 방향의 사진 영상으로 일반 모델을 변형하고 실린더 형태의 얼굴 텍스처 영상을 합성하여 텍스처 매핑을 수행한다.

이를 보다 자세하게 살펴보면 다음과 같다. 특정 사람에 대한 여러 방향에서의 사진 영상이 얻어지면, 먼저 특정 사람의 사진 영상을 이용하여 일반 얼굴 모델을 변형시킨다.

이렇게, 일반 얼굴 모델을 각 방향의 사진 영상에 의해 변형시키기 위해서는 일반 얼굴 모델을 영상 평면에 프로젝션시킨다. 일반 얼굴 모델을 프로젝션시킬 때는 사진 영상을 촬영할 때의 각도 α가 사용되며, 그 계산식은 수학식 2와 같다.

여기서,는 3차원 상의 점 (x,y,z)를 영상 평면에 프로젝션시켰을 때의 x 좌표 및 z 좌표이며, y 좌표는 모델상의 정점의 y값이 그대로 사용된다.

이와 같이 일반 모델을 프로젝션한 후에는 해당하는 영상에 의해 일반 모델을 변형한다. 이런 변형을 하기 위해서 영상과 모델 사이의 매핑을 정의한다. 즉, 특징 기반의 영상 변형방법(Feature-based Image Metamorphosis)을 프로젝션된 일반 모델에 적용한다.

특징선에 기초한 모델 변형방법은 도 4에 도시된 바와 같이 진행된다.

먼저, (a)와 같이 정면 텍스처 영상이 주어지면, 일반 모델을 정면에서 프로젝션시켜서 (b)와 같이 정면 프로젝션 영상을 얻어낸다. 다음, (c)와 같이 정면 텍스처 영상의 특징선을 표시하고, (d)와 같이 정면 프로젝션된 일반 모델에 특징선을 표시한다. 이때, 정면 텍스처 영상의 특징선과 정면 프로젝션의 특징선이 일대일 대응되도록 한다. 다음, (e)와 같이 텍스처와 일반 모델을 매칭시키고, (f)와 같이 일반 모델을 정면 텍스처 영상에 따라 변형시킨다.

이와 같은 특징선에 기초한 모델 변형방법을 이용하여, 텍스처 영상의 모든 방향에서 일반 얼굴 모델을 변형시킨다.

상기와 같이 특정 사람의 얼굴 구조와 유사한 일반 모델을 생성한 후, 여러 장의 사진 영상을 이어 붙여서 파노라마 형태의 텍스처 영상을 매핑시킨다. 이때, 모든 각도(0°∼ 359°)에서의 시각 영상은 인접한 두 영상의 보간법에 의해 생성한다.

이를 위하여 먼저, 사람의 얼굴을 반지름 R인 실린더로 가정한다. α 각도에서의 영상에서 사람 얼굴의 θ 각도의 시각은 수학식 3과 같이 표현할 수 있다.

여기서, C는 영상에서의 x축 방향의 얼굴 중심 좌표이다. 이때, θ의 범위는 α-π/2 ≤ θ ≤ α+π/2 이다.

이렇게 하여 두 개의 인접 시각 영상의 보간에 의해 각 각도에서의 영상을 얻을 수 있다. 예를 들어, 선형 보간법을 사용하는 경우, 두 개의 인접 시각 영상,에 의해 생성되는 θ 각도에서의 영상이 수학식 4와 같이 계산된다. 즉, α 각도에서의 시각 영상과 β 각도에서의 시각 영상을 이용하여 θ 각도에서의 텍스처 영상을 수학식 4와 같이 두 시각 영상의 인터폴레이션에 의해 결정할 수 있다. 이때,와는 각 θ에 대해 정의되어 있어야 한다.

이렇게 하여 모든 각도에서의 텍스처 영상 I(θ)가 주어지면, 이를 변형된 모델의 둘레에 텍스처 매핑시킨다. 특정 사람의 얼굴에 대한 파노라마 형태의 시각 영상과 실린더에 프로젝션된 모델을 얻은 후에 생성한 파노라믹 영상을 모델에 텍스처 매핑한다. 이때, 텍스처 영상이 모델에 정확하게 매칭되지 않을 수 있기 때문에 일반 모델을 실린더 표면 상에서 특징선에 기초한 모델변형방법을 사용하여 변형한다. 그리고, 프로젝션된 모델을 프로젝션의 역에 의해 재구성한다.

도 5는 본 발명의 방법을 사용하여 8장의 영상으로 생성한 파노라마 형태의 영상이며, 도 6은 도 5의 파노라마 형태의 영상을 생성된 모델에 텍스처 매핑한 결과를 도시한 영상이다.

이상과 같이 본 발명은, 여러 방향에서 찍은 2차원 사진 영상을 합성하여 일반 얼굴 모델을 특정 사람과 유사하게 변형하고, 변형된 얼굴 모델에 파노라마 형태의 얼굴 영상을 텍스처 영상을 입힘으로써, 보다 저렴하고 성능이 향상된 3차원 얼굴 모델을 생성할 수 있는 효과가 있다.

Claims (4)

1. 특정 사람의 얼굴을 적어도 4방향에서 촬영하여 여러 장의 2차원 텍스처 영상을 구하는 제1단계와,

   상기 여러 장의 텍스처 영상을 이용하여 3차원 얼굴 모델을 변형시켜서 상기 특정 사람의 얼굴과 비슷한 얼굴 모델을 구하는 제2단계,

   상기 여러 장의 2차원 텍스처 영상을 이용하여 상기 특정 사람의 파노라마 영상을 생성하는 제3단계, 및

   상기 제2단계에서 특정 사람의 얼굴과 비슷하게 변형된 얼굴 모델에 상기 파노라마 영상을 텍스처 매핑하는 제4단계를 포함한 것을 특징으로 하는 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법.
2. 제1항에 있어서, 상기 제2단계는,

   상기 3차원 일반 얼굴 모델을 텍스처 영상의 촬영 각도와 동일한 각도에서 2차원 영상 평면 상에 프로젝션시키는 제1서브단계와,

   상기 텍스처 영상에서 특징점들을 연결하는 특징선들을 구하는 제2서브단계,

   상기 프로젝션된 일반 얼굴 모델에서 특징점들을 연결하여 상기 텍스처 영상의 특징선들과 대응되는 특징선들을 구하는 제3서브단계,

   상기 텍스처 영상의 특징선과 일치하도록 상기 일반 얼굴 모델의 특징선들을 변형시키는 제4서브단계, 및

   모든 텍스처 영상에 대하여 상기 제1서브단계 내지 제4서브단계를 반복하여 상기 특정 사람의 얼굴과 비슷한 얼굴 모델을 구하는 제5서브단계를 포함한 것을 특징으로 하는 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법.
3. 제2항에 있어서, 상기 제3단계는,

   모든 텍스처 영상을 반지름이 R인 실린더에 투영하는 제1서브단계와,

   인접한 두 텍스처 영상을 아래의 식 1에 적용하여, 임의의 각도에 대한 각각의 시각 영상()을 구하는 제2서브단계,

   상기 임의의 각도에 대한 두 개의 시각 영상을 아래의 식 2에 적용하여 보간하여, 상기 임의의 각도에서의 영상(I(θ))을 구하는 제3서브단계, 및

   모든 각도에 대하여 상기 제2서브단계 내지 제3서브단계를 수행하여 파노라마 영상을 구하는 제4서브단계를 포함한 것을 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법.

   < 식 1 >

   ,

   여기서, C는 영상에서의 x축 방향의 얼굴 중심 좌표이며,

   α-π/2 ≤ θ ≤ α+π/2 , β-π/2 ≤ θ ≤ β+π/2 이다.

   < 식 2 >

   여기서, α ≤ θ ≤ β 이다.
4. 컴퓨터에,

   특정 사람의 얼굴을 적어도 4방향에서 촬영한 여러 장의 2차원 텍스처 영상이 입력되면, 3차원 일반 얼굴 모델을 텍스처 영상의 촬영 각도와 동일한 각도에서 2차원 영상 평면 상에 프로젝션시키는 제1단계와,

   상기 텍스처 영상에서 특징점들을 연결하는 특징선들을 구하는 제2단계,

   상기 프로젝션된 일반 얼굴 모델에서 특징점들을 연결하여 상기 텍스처 영상의 특징선들과 대응되는 특징선들을 구하는 제3단계,

   상기 텍스처 영상의 특징선과 일치하도록 상기 일반 얼굴 모델의 특징선들을 변형시키는 제4단계,

   모든 텍스처 영상에 대하여 상기 제1단계 내지 제4단계를 반복하여 상기 특정 사람의 얼굴과 비슷한 얼굴 모델을 구하는 제5단계,

   모든 텍스처 영상을 반지름이 R인 실린더에 투영하는 제6단계,

   인접한 두 텍스처 영상을 이용하여 임의의 각도에 대한 각각의 시각 영상을 구하는 제7단계,

   상기 임의의 각도에 대한 두 개의 시각 영상을 보간하여, 상기 임의의 각도에서의 영상을 구하는 제8단계,

   모든 각도(0°∼ 359°)에서 상기 제6단계 내지 제8단계를 수행하여 파노라마 영상을 구하는 제9단계, 및

   상기 특정 사람의 얼굴과 비슷하게 변형된 얼굴 모델에 상기 파노라마 영상을 텍스처 매핑하는 제10단계를 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.