KR100281965B1 - 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법 - Google Patents

Abstract

표준 형상 모델 얼굴을 텍스쳐 영상 얼굴과 매칭하여 3차원 얼굴 형상을 생성하기 위한 모델 기반 코딩 시스템에서, 텍스쳐 영상 얼굴의 종횡비 및 대각선비를 고려하여 표준 형상 모델 얼굴의 크기를 조절하는 얼굴 텍스쳐 맵핑 방법에 관한 것으로, 전송자 얼굴의 기설정 크기의 상기 텍스쳐 영상 얼굴을 취득하고, 상기 텍스쳐 영상 얼굴과 상기 표준 형상 모델 얼굴을 합성한후, 상기 텍스쳐 영상의 종횡비 및 대각선비를 연산한다. 이후, 텍스쳐 영상 얼굴의 종횡비 및 대각선비에 의거하여 상기 표준 형상 모델 얼굴을 상기 텍스쳐 영상 얼굴 크기로 확장하고, 표준 형상 모델 얼굴의 기설정된 특징점들을, 상기 표준 형상 모델 얼굴의 특징점들에 대응하는 상기 텍스쳐 영상 얼굴의 정점들에 겹쳐서 일치되도록 매칭시킨다.

Description

모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법

본 발명은 표준 형상 모델 얼굴을 텍스쳐 영상 얼굴과 매칭하여 3차원 얼굴 형상을 생성하기 위한 모델 기반 코딩 시스템에 있어서, 특히 텍스쳐 영상 얼굴의 종횡비 및 대각선비를 고려하여 표준 형상 모델 얼굴의 크기를 조절하는 얼굴 텍스쳐 맵핑 방법에 관한 것이다.

3차원 물체 모델, 특히 인간의 형상 모델을 이용한 응용 기술은 비디오 코딩(video coding), 가상현실 및 컴퓨터 그래픽스(computer graphics) 분야에서 응용되고 있다. 현재 진행중인 비디오 코딩(video coding) 분야에서는 좀더 적은 데이터량으로 만족스러운 화질의 영상을 전송하려는 연구가 지속되고 있다. 전송되는 데이터량에 따른 연구과제를 살펴보면 크게 HDTV 로부터 시작하여 적게는 현재 활발히 연구되고있는 MPEG4가 있다.

이중 MPEG4 에서는 매우 적은 데이터량을 이용하여 비디오 신호를 전송하기 때문에 단순히 정보 이론을 이용한 변환, 예를 들면, 코사인 변환(cosine transform) 계수 방법만 사용되는 것이 아니라, 그밖의 컴퓨터 비젼(computer vision), 컴퓨터 그래픽스에서 사용되는 기술들이 응용되기도 한다.

일반적으로 비디오 폰 또는 비디오 회의(video conference)에서 보이는 사람의 형태는 허리 이상인 흉부만이 보인다. 특히 말하는 사람의 얼굴이 영상 정보 전달의 대부분을 차지하고 있다.

만약, 사람 얼굴 외의 정보, 즉, 배경 정보 등을 무시하고 얼굴 형태에 대한 특징적인 규칙화된 정보만 보낼 수 있다면 전송량을 매우 줄일수 있을 것이다. 즉 얼굴에 나타나는 일반적인 희, 노, 애, 락 감정 표정 및 말을 할 때의 입 모양에 나타나는 규칙을 찾아내어 하나의 정보화된 코드로 상대편에게 보내고, 상대방에서는 이를 받아서 자신이 갖고 있는 3 차원 모델을 수신된 코드에 따라 얼굴 형태를 변형시켜 도시함으로써 전송자의 표정 형태를 적은 데이터 양으로 파악 할 수 있을 것이다.

보다 상세히 말해서, 3 차원 모델 기반 코딩 시스템은 비디오 폰과 같이 두 사람이 현장에서 실 시간으로 이야기를 하며, 소리뿐아니라 변화하는 얼굴 또는 몸도 같이 실시간으로 전송하는 것을 코딩의 대상으로한다. 그런데 일반 비디오 코딩과 다른 것은 전송 데이터는 시시각각 변화하는 픽셀들로 이루어진 영상을 취급하는 것이 아니고 어떤 특정한 움직임 변수를 추출하여 전송한 다음, 수신측에서 가지고있는 자료, 즉, 전송자의 얼굴 영상, 일반적인 3 차원 머리 형태 모델, 몸 형태 모델등과 결합되어 재구성된후 최종 변화하는 전송자의 얼굴 또는 몸 영상을 구성하는 것이다.

물론, 이와 같은 시스템 구성은 전송하고자 하는 데이터의 양이 데이터 전송 대역 폭에 의해 매우 크게 제약을 받아 많은 양은 보내지 못하지만, 쌍방간 정확한 인식을 위한 충분한 화질을 요할 경우 사용될 수 있는 것이다. 대역폭이 커서 충분한 데이터를 보낼 수 있다면 이 시스템의 장점은 그만큼 낮아질것이다. 왜냐하면, 규칙화된 코드로서는 자연스런 표정을 나타내기에 부족한 감이 있기 때문이다.

이와같은 3차원 모델 기반 코딩 시스템에 있어서, 얼굴 모양 표현 애니메이션은 하나의 얼굴 모양으로부터, 여러 가지 다른 얼굴 모양을 합성하는 방식으로, 3차원 와이어 프레임으로 구성된 표준 형상 얼굴을 전송자 자신의 얼굴에 매칭시키고, 텍스쳐 데이터를 투사(project)하는 텍스쳐 맵핑을 수행한다. 텍스쳐 맵핑에서는 텍스쳐 영상 얼굴의 종횡비를 구하고, 텍스쳐 영상 얼굴의 종횡비에 대응하도록 표준 형상 모델 얼굴의 종횡비를 조절하여, 표준 형상 모델 얼굴이 텍스쳐 영상 얼굴에 겹쳐지도록 하고 있다.

이후, 표준 형상 모델 얼굴의 특징점들을 텍스쳐 영상 얼굴의 대응 특징점들과 일치시켜, 표준 형상 모델 얼굴이 텍스쳐 영상 얼굴에 겹쳐서 일치되도록 매칭시켜주어야 한다.

그러나, 종래의 경우에는 텍스쳐 맵핑을 수행하는데 있어서, 텍스쳐 영상 얼굴의 종횡비만을 고려하여, 표준 형상 모델 얼굴의 크기를 조절하고 있기 때문에, 표준 형상 모델 얼굴과 정확한 매칭이 이루어지지 않은 문제점이 있었다.

본 발명은 상기 문제점을 해결하기 위해 안출한 것으로, 텍스쳐 얼굴 형상의 대각선 비까지도 고려함으로서, 보다 정확한 텍스쳐 매칭이 이루어질수 있도록 한 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법을 제공함에 그 목적이 있다.

본 발명은 상기 목적을 달성하기 위하여, 표준 형상 모델 얼굴을 텍스쳐 영상 얼굴과 매칭하여 3차원 얼굴 형상을 생성하기 위한 모델 기반 코딩 시스템에서 표준 형상 모델 얼굴을 텍스쳐 영상 얼굴과 정합하는 얼굴 텍스쳐 맵핑 방법에 있어서: 전송자 얼굴의 기설정 크기의 상기 텍스쳐 영상 얼굴을 취득하는 단계; 상기 텍스쳐 영상 얼굴과 상기 표준 형상 모델 얼굴을 합성한후, 상기 텍스쳐 영상의 종횡비 및 대각선비를 연산하는 단계; 상기 텍스쳐 영상 얼굴의 종횡비 및 대각선비에 의거하여 상기 표준 형상 모델 얼굴을 상기 텍스쳐 영상 얼굴 크기로 확장하는 단계; 상기 표준 형상 모델 얼굴의 기설정된 특징점들을, 상기 표준 형상 모델 얼굴의 특징점들에 대응하는 상기 텍스쳐 영상 얼굴의 정점들에 겹쳐서 일치되도록 매칭시키는 단계를 포함하여 이루어짐을 특징으로 한다.

도 1은 본 발명의 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법을 수행하기위한 블록 구성도,

도 2는 텍스쳐 맵핑을 위하여 제공되는 와이어 프레임 표준 형상 얼굴 모델을 도시한 도면,

도 3은 텍스쳐 맵핑을 위하여 제공되는 텍스쳐 얼굴 영상을 도시한 도면,

도 4는 본 발명의 바람직한 실시예에 따라 표준 형상 모델 얼굴을 텍스쳐 얼굴 영상과 맵핑하는 과정을 설명하기 위한 도면.

＜도면의 주요부분에 대한 부호의 설명＞

10 : 표준 형상 모델 제공부 20 : 텍스쳐 영상 취득부

30 : 텍스쳐 맵핑부

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

도 1에는 본 발명의 얼굴 텍스쳐 맵핑 방법을 수행하기 위한 블록 구성도가 도시된다. 도 1에서, 본 발명의 얼굴 텍스쳐 맵핑 방법을 수행하기 위한 구성은 표준 형상 모델 제공부(10), 얼굴 텍스쳐 영상 취득부(20), 텍스쳐 맵핑부(30)를 포함한다.

표준 형상 모델 제공부(10)는 3차원 얼굴 모델을 구비하고 있으며, 3차원 얼굴 모델은 도 2에 도시된 바와 같이, 실리콘 그래픽스 인터페이스(SGI : Silicon Graphics Interface) 워크 스테이션을 이용하여 구성된 다수의 다각형(polygon)을 연결한 망의 형태를 갖는 와이어 프레임(wire frame)이라는 3차원 컴퓨터 그래픽스 형태로 저장되어 있다. 3차원 얼굴 모델(100)은 텍스쳐 맵핑부(30)에 제공된다.

얼굴 텍스쳐 영상 취득부(20)는 카메라(도시안됨)로부터 제공되는 전송자의 얼굴 영상을 세그멘테이션(segmentation) 방식을 이용하여 화소값이 비슷한 영역끼리 분리함으로서, 전송자의 실제 2차원 얼굴 텍스쳐 영상을 추출한다. 추출된 얼굴 텍스쳐 영상은 영상의 밝기가 급격히 변하는 원영상의 밝기 분포를 이용하는 에지 검출 방법을 이용하여 얼굴 영상에 대하여, 에지 부분들을 추출하고, 추출된 에지들의 경계를 나타내는 윤곽선(contour)과 그 영역의 내부에 대한 정보인 내용(content)를 저장한다. 얼굴 텍스쳐 영상 취득부(20)에 의해 취득된 텍스쳐 영상은 텍스쳐 맵핑부(30)에 제공된다.

텍스쳐 맵핑부(30)는 텍스쳐 영상의 텍스쳐 데이터를 표준 형상 모델에 투사하는 텍스쳐 맵핑을 수행한다. 텍스쳐 맵핑을 위해서는 텍스쳐 영상 얼굴과 표준 형상 모델 얼굴이 겹쳐지도록 매칭시켜 주어야 한다.

따라서, 텍스쳐 맵핑부(30)는 얼굴 텍스쳐 영상 취득부(20)로부터 제공된 텍스쳐 영상에 대해, 도 3에 도시된 바와 같은 512*512 크기의 윈도우(200)를 형성하고, 윈도우상에 표준 형상 모델 얼굴(100)을 합성한다.

텍스쳐 영상 얼굴과 표준 형상 모델 얼굴을 합성할 경우, 텍스쳐 영상 얼굴의 크기와 표준 형상 모델 얼굴의 크기가 다를 수밖에 없게된다. 따라서, 텍스쳐 맵핑부(30)는 표준 형상 모델 얼굴을 텍스쳐 영상 얼굴의 얼굴 크기로 변환시켜주어야 한다.

이를 위해, 본 발명의 바람직한 실시예에 따른 텍스쳐 맵핑부(30)는 텍스쳐 영상 얼굴의 종횡비 및, 대각선비를 검출한후, 종횡비와 대각선비간의 평균을 연산하고, 평균값에 의거하여 표준 형상 모델 얼굴의 크기를 변환시킨다.

도 4에는 이와 같은 표준 형상 모델 얼굴의 크기를 변환시켜주기 위한 과정을 설명하기 위한 도면이 도시된다. 도 4a에는 텍스쳐 영상 얼굴이 도시되고, 도 4b에는 표준 형상 모델 얼굴이 도시되며, 도 4c에는 도 4a에 도시된 텍스쳐 얼굴 영상의 종횡비와 대각선비간의 평균을 고려하여 도 4b의 표준 형상 모델 얼굴을 변환한 결과가 도시된다.

도 4a에서, 텍스쳐 영상 얼굴의 종횡비가 , 대각선비가 일때, 도 4b의 표준 형상 모델 얼굴을 텍스쳐 영상 얼굴의 종횡비 와 대각선비 간의 평균(A)으로 확장하여 정합하게 되면, 도 4c와 같은 형태가 된다.

도 4c를 보면, 텍스쳐 영상 얼굴과 표준 형상 모델 얼굴이 정확하게 정합되고 있지 않음을 알수 있다. 따라서, 텍스쳐 맵핑부(30)는 텍스쳐 영상 얼굴과 표준 형상 모델 얼굴이 정확하게 정합되도록 하기 위해서, 표준 형상 모델 얼굴의 특징점(P1 내지 P8)들을 텍스쳐 영상 얼굴의 대응 정점(P'1 내지 P'8)들에 일치되도록 해야한다.

이때, 표준 형상 모델 얼굴의 특징점(P1 내지 P8)들에 대응하는 좌표값과 텍스쳐 영상 얼굴의 대응 정점(P'1 내지 P'8)들에 대응하는 좌표값은 이미 알고 있는 것으로, 텍스쳐 맵핑부(30)는 표준 형상 모델 얼굴의 특징점(P1 내지 P8)들에 대응하는 좌표값을 텍스쳐 영상 얼굴의 대응 정점(P'1 내지 P'8)들에 대응하는 좌표값으로 이동하여 텍스쳐 영상 얼굴과 표준 형상 모델 얼굴이 정확하게 정합되도록 한다.

한편, 텍스쳐 영상 얼굴 중에서 눈, 코, 입등은 시각적으로 매우 중요한 정보를 가지고 있다. 예를들어 입술의 형태는 전송자가 무슨말을 하고 있는지, 어떤 감정을 나타내고 있는지를 알수 있는 정보로서 작용한다. 따라서 텍스쳐 맵핑부(30)는 3차원 와이어 프레임으로 구성된 표준 형상 모델 얼굴내에 포함되어 있는 눈, 코, 입술을 전송자 자신의 눈, 코, 입술에 매칭시키고, 텍스쳐 데이터를 투사하는 텍스쳐 맵핑을 수행한다.

눈, 코, 입술에 대한 텍스쳐 맵핑은 표준 형상 모델의 눈, 코, 입술에 모든 좌표값과, 이에 대응하는 텍스쳐 영상 얼굴의 모든 좌표값을 구한후, 표준 형상 모델의 눈을 이에 대응하는 텍스쳐 영상 얼굴의 눈에 겹쳐주고, 표준 형상 모델의 코를 이에 대응하는 텍스쳐 영상 얼굴의 코에 겹쳐주며, 표준 형상 모델의 입술을 이에 대응하는 텍스쳐 영상 얼굴의 입술에 겹쳐주는 과정으로 이루어 진다.

이상 설명한 바와 같이, 본 발명의 바람직한 실시예에 따른 텍스쳐 맵핑에서는, 텍스쳐 영상 얼굴의 종횡비와 대각선비를 구하고, 텍스쳐 영상 얼굴의 종횡비 및 대각선비간의 평균에 대응하도록 표준 형상 모델 얼굴의 크기를 조절하여 표준 형상 모델 얼굴이 텍스쳐 영상 얼굴에 겹쳐지도록 하고 있기 때문에 보다 정확한 정합을 이룰수 있는 효과가 있다.

Claims (3)

1. 표준 형상 모델 얼굴을 텍스쳐 영상 얼굴과 매칭하여 3차원 얼굴 형상을 생성하기 위한 모델 기반 코딩 시스템에서 표준 형상 모델 얼굴을 텍스쳐 영상 얼굴과 정합하는 얼굴 텍스쳐 맵핑 방법에 있어서:

   전송자 얼굴의 기설정 크기의 상기 텍스쳐 영상 얼굴을 취득하는 단계;

   상기 텍스쳐 영상 얼굴과 상기 표준 형상 모델 얼굴을 합성한후, 상기 텍스쳐 영상의 종횡비 및 대각선비를 연산하는 단계;

   상기 텍스쳐 영상 얼굴의 종횡비 및 대각선비에 의거하여 상기 표준 형상 모델 얼굴을 상기 텍스쳐 영상 얼굴 크기로 확장하는 단계;

   상기 표준 형상 모델 얼굴의 기설정된 특징점들을, 상기 표준 형상 모델 얼굴의 특징점들에 대응하는 상기 텍스쳐 영상 얼굴의 정점들에 겹쳐서 일치되도록 매칭시키는 단계를 포함하여 이루어진 얼굴 텍스쳐 맵핑 방법.
2. 제 1 항에 있어서, 상기 매칭 단계는:

   상기 표준 형상 모델 얼굴의 기설정된 특징점들의 좌표값과, 상기 텍스쳐 영상 얼굴의 대응 정점들의 좌표값을 검출하는 과정;

   상기 표준 형상 모델 얼굴의 기설정된 특징점들의 좌표들을 상기 텍스쳐 영상 얼굴의 대응 정점들의 좌표로 각각 이동하는 과정으로 이루어진 얼굴 텍스쳐 맵핑 방법.
3. 제 1 항 또는 제 2 항에 있어서, 상기 확장 단계는:

   상기 텍스쳐 영상 얼굴의 종횡비와 대각선비간의 평균으로 상기 표준 형상 모델 얼굴을 확장하는 얼굴 텍스쳐 맵핑 방법.