KR100289702B1 - 모델 기반 부호화 시스템에서 파노라마 영상을 이용한 얼굴영상 정합 방법 - Google Patents

Abstract

본 발명은 3차원 모델 기반 부호화 시스템에서 사용되어, 표준 얼굴 영상을 텍스쳐 얼굴 영상에 정합하는 방법에 관한 것으로, 얼굴의 정면, 좌측면, 우측면, 뒷면에 대한 표준 얼굴 영상과 이에 대응되는 방향의 텍스쳐 얼굴 영상을 대응되게 서로 겹친후, 이동 변위와, 기설정된 스케일 팩터에 의해 표준 얼굴 영상을 변경하여 표준 얼굴 영상을 텍스쳐 얼굴 영상과 정합한다. 그런후, 눈, 코 및 입, 귀와 같은 특징 원소들의 위치를 텍스쳐 얼굴 영상 및 확장 또는 축소된 3차원 표준 얼굴 영상에서 감지하고, 텍스쳐 얼굴 영상 내의 각 특징 원소를 확장 또는 축소된 3차원 표준 얼굴 영상 내의 해당 특징 원소에 정합한다.

Description

모델 기반 부호화 시스템에서 파노라마 영상을 이용한 얼굴 영상 정합 방법

본 발명은 3차원 모델 기반 부호화 시스템의 얼굴 영상 정합 방법에 관한 것으로, 특히 얼굴의 정면, 양측면, 및 뒷면에 대한 영상을 3차원 표준 얼굴 영상과 정합시키는 얼굴 영상 정합 방법에 관한 것이다.

화상 전화, 화상 회의 및 고화질 텔레비전 시스템과 같은 디지털 텔레비전 시스템에서는, 영상 프레임 신호 내에 있는 영상 신호가 화소값이라 지칭되는 일련의 디지털 데이터로 이루어져 있기 때문에, 각 영상 프레임 신호를 정의하기 위해서는 많은 양의 디지털 데이터가 필요하게 된다. 그러나, 통상의 전송 채널의 이용 가능한 주파수 대역폭이 제한되어 있기 때문에, 이를 통해 많은 양의 디지털 데이터를 전송하기 위해서는, 인간의 형상을 전송하기 위해 채용되는 화상 전화 및 화상 회의 시스템과 같은 저비트율 영상 신호 부호화기의 경우, 다양한 데이터 압축 기법을 사용하여 데이터 량을 줄이거나 압축할 필요가 있다.

한편, 화상 전화 및 화상 회의 시스템에서는, 영상이 주로 인간의 상반신과 같은 머리 및 어깨 부분으로 구성된다. 게다가, 시청자의 주된 관심은 인간의 얼굴이고, 시청자는 배경 장면이나 다른 요소들이 아니라, 특히 인간이 영상 장면에서 말할 때 움직이게 되는 입술, 턱, 머리 등을 포함하는 입 주변과 같은 움직이는 부분에 관심을 집중하게 된다. 따라서, 얼굴의 형상에 관한 일반적인 정보만을 전송하는 경우, 디지털 데이터의 양은 상당히 줄어들게 된다.

따라서, 3차원 모델 기반 코딩 시스템에 있어서는, 끊임없이 변화하는 모든 화소값들을 전송하는 대신, 특정한 움직임 변수가 얼굴 영상으로부터 추출되어 수신단으로 전송된다. 수신단에서는 얼굴 영상을 재구성하기 위하여, 수신된 움직임 변수가 수신단으로 미리 전송된 사람의 기본 얼굴 영상과 합쳐지는데, 사람의 기본 얼굴 영상은 그 사람의 텍스쳐 얼굴 영상을 3차원 표준 얼굴 영상과 정합하여 얻는다.

통상의 3차원 모델 기반 부호화 시스템에 따르면, 사람의 텍스쳐 얼굴 영상을 3차원 표준 얼굴 영상에 정합하는 제 1 단계는, 두 얼굴 영상을 서로 겹치는 것이다. 그런 다음, 텍스쳐 얼굴 영상의 종횡비가 계산된다. 계산된 비율에 기초하여, 3차원 표준 얼굴 영상이 확장 또는 축소되어 텍스쳐 얼굴 영상과 정합된다.

그 후, 눈, 코 및 입과 같은 특징 원소들의 위치가 텍스쳐 얼굴 영상 및 확장 또는 축소된 3차원 표준 얼굴 영상에서 감지되고, 텍스쳐 얼굴 영상 내의 각 특징 원소는 확장 또는 축소된 3차원 표준 얼굴 영상 내의 해당 특징 원소에 정합된다. 그리고, 텍스쳐 얼굴 영상의 텍스쳐 데이터가 3차원 표준 얼굴 영상에 투사된다.

그러나, 통상의 3차원 모델 기반 부호화 시스템에서는, 얼굴 정면만을 고려하고 있으며, 얼굴의 옆면이나 뒷면에 대해서는 전혀 고려하고 있지 않았다.

따라서, 본 발명은 얼굴의 정면뿐만이 아니라, 얼굴의 양측면, 및 뒷면에 대한 영상을 3차원 표준 얼굴 영상과 정합시키는 얼굴 영상 정합 방법을 제공함에 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 3차원 모델 기반 부호화 시스템에서 사용되어, 표준 얼굴 영상을 텍스쳐 얼굴 영상에 정합하는 방법에 있어서, 얼굴 사진이 3차원 모델 기반 부호화 시스템으로 제공될 때: 정면, 좌측면, 우측면 및 뒷면 얼굴 사진으로부터 텍스쳐 정면 얼굴 영상과, 텍스쳐 좌측면 얼굴 영상과, 텍스쳐 우측면 얼굴 영상 및 텍스쳐 뒷면 얼굴 영상을 각각 추출하는 단계와; 3차원 표준 얼굴 영상으로부터 표준 정면 얼굴 영상과, 표준 좌측면 얼굴 영상과, 표준 우측면 얼굴 영상, 및 표준 뒷면 얼굴 영상을 추출하는 단계와; 상기 각 방향의 표준 얼굴 영상의 윤곽선들이 대응되는 방향의 상기 텍스쳐 얼굴의 윤곽선들과 일치할 때 까지 상기 표준 정면 얼굴 영상과, 표준 좌측면 얼굴 영상과, 표준 우측면 얼굴 영상, 및 표준 뒷면 얼굴 영상의 크기를 변경하여, 윤곽선 정합된 표준 정면 얼굴 영상과, 윤곽선 정합된 표준 좌측면 얼굴 영상과, 윤곽선 정합된 표준 우측면 얼굴 영상, 및 윤곽선 정합된 표준 뒷면 얼굴 영상을 생성하는 단계와; 지식에 기반한 특징 추출 알고리즘에 기초하여, 상기 정면, 좌측면, 우측면 얼굴 사진으로부터, 상기 대응되는 방향의 텍스쳐 얼굴 영상들의 특징 원소들의 위치를 감지하고, 상기 윤곽선 정합된 상기 각 방향의 표준 얼굴 영상들의 특징 원소들의 위치를 감지하는 단계와; 상기 윤곽선 정합된 상기 각 방향의 표준 얼굴 영상들의 특징 원소들의 위치들을, 상기 대응되는 방향의 텍스쳐 얼굴 영상들의 특징 원소들의 위치들에 기초하여 재배치함으로서, 상기 각 방향에 대응하는 특징 정합된 표준 얼굴 영상들을 생성하는 단계; 상기 각 정면, 좌측면, 우측면의 텍스쳐 얼굴 영상의 텍스쳐 데이터를 상기 대응되는 특징 정합된 표준 얼굴 영상에 일대일 대응되게 투사하고, 상기 뒷면의 텍스쳐 얼굴 영상의 텍스쳐 데이터를 상기 윤곽선 정합된 표준 뒷면 얼굴 영상에 투사하여 텍스쳐 정합된 얼굴 영상을 생성하는 단계; 상기 각 방향에 대한 텍스쳐 정합된 얼굴 영상들을 하나의 영상으로 합성하는 단계를 포함하여 이루어짐을 특징으로 한다.

도 1은 본 발명의 얼굴 영상 정합 방법을 수행하기 위한 얼굴 영상 정합 장치를 도시한 도면,

도 2a는 사용자의 텍스쳐 정면 얼굴 영상을 나타낸 도면,

도 2b는 3차원 표준 정면 얼굴 영상을 나타낸 도면,

도 3a 내지 도 3c는 텍스쳐 정면 얼굴 영상의 종횡비 및 대각선비를 이용한 정면 얼굴 윤곽선 정합 과정을 도시한 도면,

도 4는 텍스쳐 정면 얼굴 영상의 특징 원소 추출 과정을 설명하기 위한 도면,

도 5a는 사용자의 텍스쳐 좌측면 얼굴 영상을 나타낸 도면,

도 5b는 3차원 표준 좌측면 얼굴 영상을 나타낸 도면,

도 6a는 사용자의 텍스쳐 우측면 얼굴 영상을 나타낸 도면,

도 6b는 3차원 표준 우측면 얼굴 영상을 나타낸 도면,

도 7a는 사용자의 텍스쳐 뒷면 얼굴 영상을 나타낸 도면,

도 7b는 3차원 표준 뒷면 얼굴 영상을 나타낸 도면,

도 8은 영상 합성 과정에서 겹침 현상을 설명하기 위해 도시된 도면.

＜도면의 주요부분에 대한 부호의 설명＞

105 : 제 1 텍스쳐 얼굴 영상 추출부

110 : 제 2 텍스쳐 얼굴 영상 추출부

115 : 제 3 텍스쳐 얼굴 영상 추출부

120 : 제 4 텍스쳐 얼굴 영상 추출부

125 : 얼굴 정면 윤곽선 정합부

130 : 제 1 얼굴 옆면 윤곽선 정합부

135 : 제 2 얼굴 옆면 윤곽선 정합부

140 : 얼굴 뒷면 윤곽선 정합부 145 : 표준 얼굴 영상 제공부

150 : 제 1 특징 원소 추출부 155 : 제 2 특징 원소 추출부

160 : 제 3 특징 원소 추출부 165 : 제 1 특징 원소 정합부

170 : 제 2 특징 원소 정합부 175 : 제 3 특징 원소 정합부

180 : 텍스쳐 정합부 185 : 영상 합성부

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

도 1을 참조하면, 본 발명의 얼굴 영상 정합 방법을 수행하기 위한 얼굴 영상 정합 장치의 블록 구성도가 도시된다. 도 1 에서, 얼굴 영상 정합 장치는 제 1 텍스쳐 얼굴 영상 추출부(105), 제 2 텍스쳐 얼굴 영상 추출부(110), 제 3 텍스쳐 얼굴 영상 추출부(115), 제 4 텍스쳐 얼굴 영상 추출부(120), 얼굴 정면 윤곽선 정합부(125), 제 1 얼굴 옆면 윤곽선 정합부(130), 제 2 얼굴 옆면 윤곽선 정합부(135), 얼굴 뒷면 윤곽선 정합부(140), 표준 얼굴 영상 제공부(145), 제 1 특징 원소 추출부(150), 제 2 특징 원소 추출부(155), 제 3 특징 원소 추출부(160), 제 1 특징 원소 정합부(165), 제 2 특징 원소 정합부(170), 제 3 특징 원소 정합부(175), 텍스쳐 정합부(180), 영상 합성부(185)를 포함하고 있다.

예를 들어, CCD(charge coupled device) 디지털 카메라(도시되지 않음)에 의해 포착된 정면 얼굴에 대한 얼굴 사진은 제 1텍스쳐 얼굴 영상 추출부(105), 및 제 1 특징 원소 추출부(150)에 제공되고, 좌측 옆면에 대한 얼굴 사진은 제 2 텍스쳐 얼굴 영상 추출부(110) 및 제 2 특징 원소 추출부(155)로 제공되며, 우측 옆면에 대한 얼굴 사진은 제 3 텍스쳐 얼굴 영상 추출부(115) 및 제 3 특징 원소 추출부(160)에 제공되고, 얼굴 뒷면에 대한 사진은 제 4 텍스쳐 얼굴 영상 추출부(120)에 제공된다.

제 1 텍스쳐 얼굴 영상 추출부(105)는 정면 얼굴 사진으로부터 도 2a에 도시된 것과 같은 텍스쳐 정면 얼굴 영상 210을 추출하는데, 텍스쳐 정면 얼굴 영상 210은 예를 들어 512 × 512 화소 크기이다. 이에 더하여, 텍스쳐 얼굴 영상 추출부(105)은 텍스쳐 정면 얼굴 영상(210)상의 다수 개의 특징점들을 감지한다.

6개의 특징점 P1 내지 P6이 도 2a에 도시되어 있는데, P1 내지 P4 및 P6은 텍스쳐 정면 얼굴 영상(210)의 윤곽선 상에 존재하고, P5는 텍스쳐 정면 얼굴 영상(210) 내에 존재한다. 보다 자세히 말해서, P1은 최상위점이고, P2는 최좌위점이며, P3은 최하위점이고, P4는 최우위점이며, P5는 중심점이고, P6은 P5로부터 가장 먼 점이다.

텍스쳐 정면 얼굴 영상(210)은 텍스쳐 정합부(180)으로 제공되고, 텍스쳐 정면 얼굴 영상(210) 및 감지된 특징점 P1 내지 P6은 얼굴 정면 윤곽선 정합부(125)로 제공된다. 그리고, 표준 얼굴 영상 제공부(145)는 내부에 저장되어 있던 표준 얼굴 영상중, 도 2b에 도시된 바와 같이 표준 정면 얼굴 영상 220과, 특징점 Q1 내지 Q6 및 특징 원소들의 위치를 얼굴 정면 윤곽선 정합부(125)로 제공하는데, Q1 내지 Q6은 각각 P1 내지 P6에 대응한다.

표준 얼굴 영상은 다수 개의 다각형들을 연결함으로써 구현되는 3차원 컴퓨터 그래픽의 형태로 저장되어 있다. 표준 정면 얼굴 영상을 텍스쳐 정면 얼굴 영상(210)에 정합시키기 위하여, 다각형들의 정점들의 위치는 각 정점이 3차원 좌표 (x, y, z)를 가짐에도 불구하고 z 좌표가 ″0″으로 설정된 2차원 좌표 (x, y)로서 제공된다.

얼굴 정면 윤곽선 정합부(125)는 도 3a 내지 도 3c에 도시된 것과 같이 텍스쳐 정면 얼굴 영상(210)과 표준 정면 얼굴 영상(220)의 얼굴 윤곽선 정합 과정을 수행한다.

도 3a를 참조하면, 표준 정면 얼굴 영상(220)이 텍스쳐 정면 얼굴 영상(210)과 겹쳐져 있다. 얼굴 정면 윤곽선 정합부(125)는 텍스쳐 정면 얼굴 영상(210)내의 P5와 표준 정면 얼굴 영상 220 내의 Q5 사이의 변위를 결정하여 표준 정면 얼굴 영상(220)을 도 3b에 도시된 것과 같이 결정된 변위만큼 이동시킨다. 결과적으로, 텍스쳐 정면 얼굴 영상(210)상의 P5의 위치는 표준 정면 얼굴 영상 220 상의 Q5의 위치와 일치하게 되어, 이동된 표준 정면 얼굴 영상 220-2, 이동된 특징점Q1' 내지 Q4', Q6'을 생성한다.

그런 다음, 스케일 팩터 SF1가 텍스쳐 정면 얼굴 영상 210의 종횡비 R1 및 대각선비 R2를 이용하여 수학식 1과 같이 계산된다.

계산된 스케일 팩터 SF1에 기초하여, 그 형태가 텍스쳐 정면 얼굴 영상(210)과 같아지도록 표준 정면 얼굴 영상(220)이 확대 또는 축소된다. 그리고, 얼굴 정면 윤곽선 정합부(130)는, 도 3c에서와 같이 이동된 표준 정면 얼굴 영상(220-2)의 윤곽선이 텍스쳐 정면 얼굴 영상(210)의 윤곽선에 정확히 정합되도록, 이동된 표준 정면 얼굴 영상(220-2)상의 이동된 특징점 Q1' 내지 Q4' 및 Q6'을 텍스쳐 정면 얼굴 영상(210)상의 상응하는 특징점 P1 내지 P4 및 P6의 위치로 각각 이동시켜서 윤곽선 정합된 표준 정면 얼굴 영상 220-4를 생성한다.

나아가, 얼굴 정면 윤곽선 정합부(125)는 SF1 및 변위에 기초하여 표준 정면 얼굴 영상(220)의 특징점들의 위치를 갱신하여 윤곽선 정합된 표준 정면 얼굴 영상(220-4)의 수정된 특징점들의 위치를 생성한다.

제 1 특징 원소 추출부(150)는 얼굴 정면 사진을 수신하고, 지식에 기반한 특징 추출 알고리즘을 사용하여 얼굴 정면 사진의 특징 원소들, 예를들어 눈, 코, 입과 같은 특징 원소들의 위치를 추출한다. 제 1 특징 원소 추출부(150)는 특징 원소들의 위치를 추출하기 위해, 우선적으로, 기설정된 에지 추출 기법에 의해 얼굴 정면 사진의 에지들을 추출하여 도 4에 도시된 에지-감지된 얼굴 영상 210-2를 생성한다.

그런 다음, 제 1 특징 원소 추출부(150)는 에지-감지된 얼굴 영상 210-2를 가장 왼쪽 윗부분에 위치한 화소로부터 가장 오른쪽 아랫부분에 위치한 화소까지 한 화소 단위로 스캔한다. 에지-감지된 얼굴 영상 210-2를 스캔하는 동안, 제 1 특징 원소 추출부(150)는 특징 영역들을 감지하는데, 특징 영역에 포함된 화소들은 인접한 화소들과 현저한 차이를 보이는 화소값을 갖는다. 그 후, 특징 영역들의 대표 수평 및 수직 좌표가 감지되는데, 특징 영역의 대표 수평 좌표는 특징 영역의 중앙 수평 좌표로 결정되고, 특징 영역의 대표 수직 좌표는 특징 영역의 중앙 수직 좌표로 결정된다.

도 4를 참조하면, 3개의 수직 좌표, 즉, X1 내지 X3과 5개의 수직 좌표, 즉 Y1 내지 Y5가 감지된다.

지식에 기반한 특징 추출 알고리즘은 다음과 같다.

지식 1 : 화소값들의 합이 최대가 되는 행이 눈썹 또는 눈에 해당한다. (Y1 또는 Y2가 눈썹 또는 눈에 해당한다.)

지식 2 : 눈에서 코까지의 수직 거리는 코에서 입까지의 수직 거리보다 길다.

지식 3 : 에지-감지된 얼굴 영상은 코를 중심으로 좌우 대칭이다.

지식 4 : 왼쪽 눈은 코의 왼쪽에, 코는 오른쪽 눈의 왼쪽에 위치한다.

(X1 〈 X2 〈 X3)

지식 5 : 눈썹은 눈 위에, 눈은 코 위에, 코는 입 위에 그리고 입은 턱 위에 위치한다. (Y1 〈 Y2 〈 Y3 〈 Y4 〈 Y5)

지식 6 : 한 눈에서 코까지의 수평 거리와 눈에서 입까지의 수직 거리의 비는 1 : 1.5이다.

상기 지식을 이용하여 도 4의 X1 내지 X3 각각은 왼쪽 눈, 코 및 오른쪽 눈으로 결정되고; Y1 내지 Y5는 눈썹, 눈, 코, 입 및 턱으로 결정된다.

에지-감지된 얼굴 정면 영상 210-2의 결정된 특징 원소들의 위치는 텍스쳐 정면 얼굴 영상(210)의 특징 원소들의 위치로서 제 1 특징 원소 정합부(165)로 제공된다.

제 1 특징 원소 정합부(165)에서는, 윤곽선 정합된 표준 정면 얼굴 영상(220-4)의 특징 원소들이 텍스쳐 정면 얼굴 영상(210)의 상응하는 특징 원소들에 정합된다. 이러한 특징 원소 정합 과정은 텍스쳐 정면 얼굴 영상(210)의 특징 원소들의 위치들 및 윤곽선 정합된 표준 정면 얼굴 영상(220-4)의 수정된 특징 원소들의 위치들에 기초하여 이루어진다. 결과적으로, 윤곽선 정합된 표준 정면 얼굴 영상 (220-4)의 수정된 특징점들의 위치들은 윤곽선 정합된 정면 얼굴 영상(220-4)의 수정된 특징 원소들을 텍스쳐 정면 얼굴 영상(210)의 상응하는 특징 원소들에 정확하게 정합시키기 위하여 미세하게 조정될 수 있고, 그 결과 특징 정합된 표준 얼굴 영상을 생성한다. 제 1 특징 원소 정합부(165)은 특징 정합된 표준 정면 얼굴 영상을 텍스쳐 정합부(180)으로 제공한다.

한편, 제 2 텍스쳐 얼굴 영상 추출부(110)는 좌측 옆면 얼굴 사진으로부터 텍스쳐 좌측면 얼굴 영상을 추출하고 텍스쳐 좌측면 얼굴 영상상의 다수 개의 특징점들P7 내지 P12를 감지한다(도 5a 참조).

텍스쳐 좌측면 얼굴 영상은 텍스쳐 정합부(180)에 제공되고, 텍스쳐 좌측면 얼굴 영상 및 감지된 특징점들P7 내지 P12는 제 1 얼굴 옆면 윤곽선 정합부(130)로 제공된다. 그리고, 표준 얼굴 영상 제공부(145)는 내부에 저장되어 있던 표준 얼굴 영상중, 표준 좌측면 얼굴 영상과, 기설정된 특징점Q7 내지 Q12 및 특징 원소들의 위치를 제 1 얼굴 옆면 윤곽선 정합부(130)로 제공하는데, 이때, 텍스쳐 좌측면 얼굴 영상의 특징점들은 표준 좌측면 얼굴 영상의 특징점들Q7 내지 Q12에 대응한다(도 5b 참조).

제 1 얼굴 옆면 윤곽선 정합부(130)는 얼굴 정면 윤곽선 정합부(125)와 마찬가지로, 표준 좌측면 얼굴을 소정의 변위만큼 이동 시킨후, 얼굴 좌측면에 대한 스케일 팩터SF2를 계산하고, 스케일 팩터 SF2에 기초하여, 그 형태가 텍스쳐 좌측면 얼굴 영상과 같아지도록 표준 좌측면 얼굴 영상을 확대 또는 축소함으로서, 윤곽선 정합된 표준 좌측면 얼굴 영상을 생성한다. 또한, 제 1 얼굴 옆면 윤곽선 정합부(130)는 SF2 및 변위에 기초하여 표준 좌측면 얼굴 영상의 특징점들의 위치를 갱신하여 윤곽선 정합된 표준 좌측면 얼굴 영상의 수정된 특징점들의 위치를 생성한다.

제 2 특징 원소 추출부(155)는 얼굴 좌측면 사진을 수신하고, 지식에 기반한 특징 추출 알고리즘을 사용하여 얼굴 좌측면 사진의 특징 원소들, 예를들어 귀와 같은 특징 원소들의 위치를 추출하고, 추출된 특징 원소들의 위치는 텍스쳐 좌측면 얼굴 영상의 특징 원소들의 위치로서 제 2 특징 원소 정합부(170)로 제공된다.

제 2 특징 원소 정합부(170)에서는, 윤곽선 정합된 표준 좌측면 얼굴 영상의 특징 원소들이 텍스쳐 좌측면 얼굴 영상의 상응하는 특징 원소들에 정합된다.

제 2 특징 원소 정합부(170)는 특징 정합된 표준 좌측면 얼굴 영상을 텍스쳐 정합부(180)로 제공한다.

다른 한편, 제 3 텍스쳐 얼굴 영상 추출부(115)는 우측 옆면 얼굴 사진으로부터 텍스쳐 우측면 얼굴 영상을 추출하고 텍스쳐 우측면 얼굴 영상상의 다수 개의 특징점들P13 내지 P18을 감지한다(도 6a참조).

텍스쳐 우측면 얼굴 영상은 텍스쳐 정합부(180)에 제공되고, 텍스쳐 우측면 얼굴 영상 및 감지된 특징점들P13 내지 P18은 제 2 얼굴 옆면 윤곽선 정합부(135)로 제공된다. 그리고, 표준 얼굴 영상 제공부(145)는 내부에 저장되어 있던 표준 얼굴 영상중, 표준 우측면 얼굴 영상과, 기설정된 특징점Q13 내지 Q18 및 특징 원소들의 위치를 제 2 얼굴 옆면 윤곽선 정합부(135)로 제공하는데, 이때, 텍스쳐 우측면 얼굴 영상의 특징점들은 표준 우측면 얼굴 영상의 특징점들Q13 내지 Q18에 대응한다(도 6b참조).

제 2 얼굴 옆면 윤곽선 정합부(135)는 얼굴 정면 윤곽선 정합부(125)와 마찬가지로, 표준 우측면 얼굴을 소정의 변위만큼 이동 시킨후, 얼굴 우측면에 대한 스케일 팩터SF3을 계산하고, 스케일 팩터 SF3에 기초하여, 그 형태가 텍스쳐 우측면 얼굴 영상과 같아지도록 표준 우측면 얼굴 영상을 확대 또는 축소함으로서, 윤곽선 정합된 표준 우측면 얼굴 영상을 생성한다. 또한, 제 2 얼굴 옆면 윤곽선 정합부(135)는 SF3 및 변위에 기초하여 표준 우측면 얼굴 영상의 특징점들의 위치를 갱신하여 윤곽선 정합된 표준 우측면 얼굴 영상의 수정된 특징점들의 위치를 생성한다.

제 3 특징 원소 추출부(160)는 얼굴 좌측면 사진을 수신하고, 지식에 기반한 특징 추출 알고리즘을 사용하여 얼굴 우측면 사진의 특징 원소들, 예를들어 귀와 같은 특징 원소들의 위치를 추출하고, 추출된 특징 원소들의 위치는 텍스쳐 우측면 얼굴 영상의 특징 원소들의 위치로서 제 3 특징 원소 정합부(175)로 제공된다.

제 3 특징 원소 정합부(175)에서는, 윤곽선 정합된 표준 우측면 얼굴 영상의 특징 원소들이 텍스쳐 우측면 얼굴 영상의 상응하는 특징 원소들에 정합된다. 제 3 특징 원소 정합부(175)는 특징 정합된 표준 우측면 얼굴 영상을 텍스쳐 정합부(180)로 제공한다.

제 4 텍스쳐 얼굴 영상 추출부(120)는 얼굴 뒷면 사진으로부터 텍스쳐 뒷면 얼굴 영상을 추출하고 텍스쳐 뒷면 얼굴 영상상의 다수 개의 특징점들P19 내지 P24을 감지한다(도 7a 참조).

텍스쳐 뒷면 얼굴 영상은 텍스쳐 정합부(180)에 제공되고, 텍스쳐 뒷면 얼굴 영상 및 감지된 특징점들P19 내지 P24는 얼굴 뒷면 윤곽선 정합부(140)로 제공된다. 그리고, 표준 얼굴 영상 제공부(145)는 내부에 저장되어 있던 표준 얼굴 영상중, 표준 뒷면 얼굴 영상과, 기설정된 특징점들Q19 내지 Q24의 위치를 얼굴 뒷면 윤곽선 정합부(140)로 제공하는데, 이때, 텍스쳐 뒷면 얼굴 영상의 특징점들은 표준 뒷면 얼굴 영상의 특징점들Q19 내지 Q24에 대응한다(도 7b 참조).

얼굴 뒷면 윤곽선 정합부(140)는 얼굴 정면 윤곽선 정합부(125)와 마찬가지로, 표준 뒷면 얼굴을 소정의 변위만큼 이동 시킨후, 얼굴 뒷면에 대한 스케일 팩터SF4을 계산하고, 스케일 팩터 SF4에 기초하여, 그 형태가 텍스쳐 뒷면 얼굴 영상과 같아지도록 표준 뒷면 얼굴 영상을 확대 또는 축소함으로서, 윤곽선 정합된 표준 뒷면 얼굴 영상을 생성하여, 텍스쳐 정합부(180)에 제공한다.

텍스쳐 정합부(180)는 특징 정합된 표준 정면 얼굴 영상의 다각형들을 텍스쳐 정면 얼굴 영상의 상응하는 영역에 맵핑하고, 특징 정합된 표준 좌측면 얼굴 영상의 다각형들을 텍스쳐 좌측면 얼굴 영상의 상응하는 영역에 맵핑하며, 특징 정합된 표준 우측면 얼굴 영상의 다각형들을 텍스쳐 우측면 얼굴 영상의 상응하는 영역에 맵핑한다. 또한 윤곽선 정합된 표준 뒷면 얼굴 영상의 다각형들을 텍스쳐 뒷면 얼굴 영상의 상응하는 영역에 맵핑한다. 여기에서, 한 다각형 및 그 상응하는 영역은 같은 위치에 놓여있는 것을 말한다. 그런 다음, 정면, 좌측면, 우측면, 뒷면에 대한 텍스쳐 얼굴 영상의 영역들의 텍스쳐 값들이 특징 정합된 표준 얼굴 영상의 상응하는 다각형으로 일대일 대응되게 투사되어 텍스쳐 정합된 얼굴 영상을 생성하고, 이에 따라 텍스쳐 정합된 얼굴 영상은 3차원 좌표를 갖게된다.

영상 합성부(185)에는 얼굴 정면에 대한 텍스쳐 정합된 얼굴 영상과, 얼굴 좌측면에 대한 텍스쳐 정합된 얼굴 영상, 및 얼굴 우측면에 대한 텍스쳐 정합된 얼굴 영상, 얼굴 뒷면에 대한 텍스쳐 정합된 얼굴 영상이 입력된다.

영상 합성부(185)는 텍스쳐 정합된 각 방향의 얼굴 영상을 합성하여 하나의 영상으로 형성한다. 이때, 각 방향의 얼굴 영상을 하나의 영상으로 합성하기 위해서는 각 얼굴 영상의 에지(edge) 영역에 대한 처리가 필요하다.

도 8에는 영상 합성 과정에서 발생되는 겹침 부분을 설명하기 위한 도면이 도시된다. 도 8을 참조하면, 얼굴 정면 영상ⓐ과 얼굴 좌측면 영상ⓑ을 합성하게 되면, 얼굴 정면의 왼쪽 에지 영역과 얼굴 좌측면의 오른쪽 에지 영역이 겹치게 되고, 얼굴 정면 영상ⓐ과 얼굴 우측면 영상ⓒ을 합성하게 되면, 얼굴 정면의 오른쪽 에지 영역과 얼굴 우측면의 왼쪽 에지 영역이 겹치게 된다. 또한 얼굴 좌측면 영상ⓑ과 얼굴 뒷면 영상ⓓ을 합성하게 되면, 얼굴 좌측면의 왼쪽 에지 영역과 얼굴 뒷면의 오른쪽 에지 영역이 겹치게 되고, 얼굴 우측면 영상ⓒ과 얼굴 뒷면 영상ⓓ을 합성하게 되면, 얼굴 우측면의 오른쪽 에지 영역과 얼굴 뒷면의 왼쪽 에지 영역이 겹치게 된다.

따라서, 영상 합성부(185)는 영상 합성 과정에서 발생하는 얼굴 정면의 왼쪽 에지 영역과 얼굴 좌측면의 오른쪽 에지 영역간의 겹침 부분을 매끄럽게 하기 위하여, 얼굴 정면의 왼쪽 에지 영역에서 겹침 부분에 대한 3차원 좌표들을 추출하고, 얼굴 좌측면의 오른쪽 에지 영역에서 겹침 부분에 대한 3차원 좌표들을 추출한다. 그런후, 얼굴 정면의 왼쪽 에지 영역에서 겹침 부분에 대한 3차원 좌표들을, 얼굴 좌측면의 오른쪽 에지 영역에서 겹침 부분에 대한 3차원 좌표들과 일대일 대응시킨다. 영상 합성부(185)는 일대일 대응된 두 3차원 좌표들간의 평균을 계산하여, 겹침 부분에 대한 새로운 좌표를 생성한다.

이와 같은 과정에 의해, 얼굴 정면의 오른쪽 에지 영역에서의 겹침 부분과, 얼굴 우측면의 왼쪽 에지 영역에서의 겹침 부분에 대한 각각의 3차원 좌표들을 일대일 대응시켜 겹침 부분에 대한 새로운 좌표를 생성하고, 얼굴 좌측면의 왼쪽 에지 영역에서의 겹침 부분과 얼굴 뒷면의 오른쪽 에지 영역에서의 겹침 부분에 대한 새로운 좌표를 생성하며, 얼굴 우측면의 오른쪽 에지 영역에서의 겹침 부분과 얼굴 뒷면의 왼쪽 에지 영역에서의 겹침 부분에 대한 새로운 좌표를 생성한다.

이와 같이, 영상 합성부(185)는 텍스쳐 정합된 각 방향의 얼굴 영상을 합성하여 하나의 영상으로 형성하되, 합성 과정에서 발생되는 겹침 부분은 두 영상 좌표간의 평균을 취하여 새로운 좌표를 형성한다.

이상 설명한 바와 같이 본 발명은 얼굴의 정면뿐만이 아니라, 얼굴의 양측면, 및 뒷면에 대한 영상을 3차원 표준 얼굴 영상과 정합시킴으로서, 다양한 각도에서 얼굴의 형상을 볼수 있는 효과가 있다.

Claims (4)

1. 3차원 모델 기반 부호화 시스템에서 사용되어, 표준 얼굴 영상을 텍스쳐 얼굴 영상에 정합하는 방법에 있어서, 얼굴 사진이 3차원 모델 기반 부호화 시스템으로 제공될 때:

   (a) 정면, 좌측면, 우측면 및 뒷면 얼굴 사진으로부터 텍스쳐 정면 얼굴 영상과, 텍스쳐 좌측면 얼굴 영상과, 텍스쳐 우측면 얼굴 영상 및 텍스쳐 뒷면 얼굴 영상을 각각 추출하는 단계와;

   (b) 3차원 표준 얼굴 영상으로부터 표준 정면 얼굴 영상과, 표준 좌측면 얼굴 영상과, 표준 우측면 얼굴 영상, 및 표준 뒷면 얼굴 영상을 추출하는 단계와;

   (c) 상기 각 방향의 표준 얼굴 영상의 윤곽선들이 대응되는 방향의 상기 텍스쳐 얼굴의 윤곽선들과 일치할 때 까지 상기 표준 정면 얼굴 영상과, 표준 좌측면 얼굴 영상과, 표준 우측면 얼굴 영상, 및 표준 뒷면 얼굴 영상의 크기를 변경하여, 윤곽선 정합된 표준 정면 얼굴 영상과, 윤곽선 정합된 표준 좌측면 얼굴 영상과, 윤곽선 정합된 표준 우측면 얼굴 영상, 및 윤곽선 정합된 표준 뒷면 얼굴 영상을 생성하는 단계와;

   (d) 지식에 기반한 특징 추출 알고리즘에 기초하여, 상기 정면, 좌측면, 우측면 얼굴 사진으로부터, 상기 대응되는 방향의 텍스쳐 얼굴 영상들의 특징 원소들의 위치를 감지하고, 상기 윤곽선 정합된 상기 각 방향의 표준 얼굴 영상들의 특징 원소들의 위치를 감지하는 단계와;

   (e) 상기 윤곽선 정합된 상기 각 방향의 표준 얼굴 영상들의 특징 원소들의 위치들을, 상기 대응되는 방향의 텍스쳐 얼굴 영상들의 특징 원소들의 위치들에 기초하여 재배치함으로서, 상기 각 방향에 대응하는 특징 정합된 표준 얼굴 영상들을 생성하는 단계;

   (f) 상기 각 정면, 좌측면, 우측면의 텍스쳐 얼굴 영상의 텍스쳐 데이터를 상기 대응되는 특징 정합된 표준 얼굴 영상에 일대일 대응되게 투사하고, 상기 뒷면의 텍스쳐 얼굴 영상의 텍스쳐 데이터를 상기 윤곽선 정합된 표준 뒷면 얼굴 영상에 투사하여 텍스쳐 정합된 얼굴 영상을 생성하는 단계와;

   (g) 상기 각 방향에 대한 텍스쳐 정합된 얼굴 영상들을 하나의 영상으로 합성하는 단계를 포함한 모델 기반 부호화 시스템에서 파노라마 영상을 이용한 얼굴 영상 정합 방법.
2. 제 1 항에 있어서, 상기 (c) 단계는

   (c1) 상기 표준 정면 얼굴 영상과, 표준 좌측면 얼굴 영상과, 표준 우측면 얼굴 영상, 및 표준 뒷면 얼굴 영상을, 상기 텍스쳐 정면 얼굴 영상과, 텍스쳐 좌측면 얼굴 영상과, 텍스쳐 우측면 얼굴 영상 및 텍스쳐 뒷면 얼굴 영상에 일대일 대응되게 겹치는 과정과;

   (c2) 상기 각 방향의 표준 얼굴 영상들과, 이에 대응되는 상기 각 방향의 텍스쳐 얼굴 영상간의 이동 변위를 각각 결정하는 과정과;

   (c3) 상기 각 방향의 표준 얼굴 영상들을 상기 결정된 이동 변위만큼 이동시키는 과정과;

   (c4) 상기 각 방향의 텍스쳐 얼굴 영상의 형태에 기초하여 상기 각 방향에 대응하는 스케일 팩터들을 결정하는 과정과;

   (c5) 상기 결정된 스케일 팩터에 의거하여, 상기 각 방향의 표준 얼굴 영상들의 형태를 변경하여, 상기 각 방향의 표준 얼굴 영상들을 상기 대응하는 텍스쳐 얼굴 영상들과 정합시키는 과정으로 이루어진 모델 기반 부호화 시스템에서 파노라마 영상을 이용한 얼굴 영상 정합 방법.
3. 제 2 항에 있어서, 단계(d)가:

   (d1) 상기 각 방향의 텍스쳐 얼굴 영상의 에지들을 감지하여 에지 감지된 얼굴 영상들을 각각 생성하는 과정과;

   (d2) 에지 감지된 상기 각 방향의 얼굴 영상을 한 화소 단위로 스캐닝하는 과정과;

   (d3) 과정(d2) 도중 상기 각 방향의 얼굴 영상에 대한 특징 영역들을 찾아내는 과정과;

   (d4) 지식에 기반한 특징 추출 알고리즘에 기초하여 상기 특징 영역 각각을 상응하는 특징 원소로 결정하는 과정 및;

   (d5) 각 특징 원소의 위치를 얻는 과정을 포함하는 모델 기반 부호화 시스템에서 파노라마 영상을 이용한 얼굴 영상 정합 방법.
4. 제 1 항에 있어서, 단계(g)가:

   (g1) 상기 각 방향에 대한 텍스쳐 정합된 얼굴 영상들을 합성하는 과정과;

   (g2) 상기 합성 과정에서 생성되는 것으로, 이웃하는 얼굴 영상들간의 겹침 영역들을 추출하는 과정과;

   (g3) 상기 겹침 영역에서, 상기 텍스쳐 정합된 얼굴 영상들의 3차원 좌표들을 추출하는 과정과;

   (g4) 상기 추출된 3차원 좌표들을 서로 겹친 영역끼리 일대일 대응시킨후, 상기 일대일 대응된 3차원 좌표간의 평균을 연산하여 새로운 3차원 좌표를 생성하는 과정으로 이루어진 모델 기반 부호화 시스템에서 파노라마 영상을 이용한 얼굴 영상 정합 방법.