KR100289703B1 - 모델 기반 부호화 시스템에서의 얼굴 영상 정합 방법 - Google Patents

Abstract

본 발명은 3차원 모델 기반 부호화 시스템에 있어서 3차원 표준 얼굴 영상을 텍스쳐 얼굴 영상에 정합시키는 방법에 관한 것으로서, 얼굴 사진이 3차원 모델 기반 부호화 시스템으로 제공되면, 이로부터 텍스쳐 얼굴 영상을 얻고, 3차원 표준 얼굴 영상을 얻는다. 3차원 표준 얼굴 영상은 그 얼굴 윤곽선이 텍스쳐 얼굴 영상의 윤곽선과 일치할 때까지 크기가 변경되어 윤곽선 정합된 표준 얼굴 영상을 생성한다. 그런 다음, 텍스쳐 얼굴 영상의 특징 원소들의 위치가 지식 기반 특징 추출 알고리즘에 기반하여 얼굴 사진으로부터 결정되고, 윤곽선 정합된 표준 얼굴 영상의 특징 원소들의 위치도 감지된다. 윤곽선 정합된 표준 얼굴 영상의 특징 원소들이 텍스쳐 얼굴 영상의 특징 원소들의 위치에 기초하여 위치를 변경함으로써 특징 정합된 표준 얼굴 영상을 생성하고, 텍스쳐 얼굴 영상의 텍스쳐 데이터가 특징 정합된 표준 얼굴 영상에 투사된다.

Description

모델 기반 부호화 시스템에서의 얼굴 영상 정합 방법

본 발명은 얼굴 영상 매핑 방법에 관한 것으로서, 보다 자세하게는 3차원 모델 기반 부호화 시스템에서 텍스쳐 얼굴 영상을 3차원 표준 얼굴 영상에 정합시키는 방법에 관한 것이다.

화상 전화, 화상 회의 및 고화질 텔레비전 시스템과 같은 디지탈 텔레비전 시스템에서는, 영상 프레임 신호 내에 있는 영상 신호가 화소값이라 지칭되는 일련의 디지털 데이터로 이루어져 있기 때문에, 각 영상 프레임 신호를 정의하기 위해서는 많은 양의 디지탈 데이터가 필요하게 된다. 그러나, 통상의 전송 채널의 이용 가능한 주파수 대역폭이 제한되어 있기 때문에, 이를 통해 많은 양의 디지털 데이터를 전송하기 위해서는, 인간의 형상을 전송하기 위해 채용되는 화상 전화 및 화상 회의 시스템과 같은 저비트율 영상 신호 부호화기의 경우, 다양한 데이터 압축 기법을 사용하여 데이터 량을 줄이거나 압축할 필요가 있다.

한편, 화상 전화 및 화상 회의 시스템에서는, 영상이 주로 인간의 상반신과 같은 머리 및 어깨 부분으로 구성된다. 게다가, 시청자의 주된 관심은 인간의 얼굴이고, 시청자는 배경 장면이나 다른 요소들이 아니라, 특히 인간이 영상 장면에서 말할 때 움직이게 되는 입술, 턱, 머리 등을 포함하는 입 주변과 같은 움직이는 부분에 관심을 집중하게 된다. 따라서, 얼굴의 형상에 관한 일반적인 정보만을 전송하는 경우, 디지털 데이터의 양은 상당히 줄어들게 된다.

따라서, 3차원 모델 기반 코딩 시스템에 있어서는, 끊임없이 변화하는 모든 화소값들을 전송하는 대신, 특정한 움직임 변수가 얼굴 영상으로부터 추출되어 수신단으로 전송된다. 수신단에서는 얼굴 영상을 재구성하기 위하여, 수신된 움직임 변수가 수신단으로 미리 전송된 사람의 기본 얼굴 영상과 합쳐지는데, 사람의 기본 얼굴 영상은 그 사람의 텍스쳐 얼굴 영상을 3차원 표준 얼굴 영상과 정합하여 얻는다.

통상의 3차원 모델 기반 부호화 시스템에 따르면, 사람의 텍스쳐 얼굴 영상을 3차원 표준 얼굴 영상에 정합하는 제 1 단계는, 두 얼굴 영상을 서로 겹치는 것이다. 그런 다음, 텍스쳐 얼굴 영상의 종횡비가 계산된다. 계산된 비율에 기초하여, 3차원 표준 얼굴 영상이 확장 또는 축소되어 텍스쳐 얼굴 영상과 정합된다.

그 후, 눈, 코 및 입과 같은 특징 원소들의 위치가 텍스쳐 얼굴 영상 및 확장 또는 축소된 3차원 표준 얼굴 영상에서 감지되고, 텍스쳐 얼굴 영상 내의 각 특징 원소는 확장 또는 축소된 3차원 표준 얼굴 영상 내의 해당 특징 원소에 정합된다. 그리고, 텍스쳐 얼굴 영상의 텍스쳐 데이터가 3차원 표준 얼굴 영상에 투사된다.

그러나, 통상의 3차원 모델 기반 부호화 시스템에서는, 3차원 표준 얼굴 영상이 텍스쳐 얼굴 영상의 종횡비만을 고려하여 확대 또는 축소되어 두 얼굴 영상이 부정확하게 정합되는 결과를 낳는다. 뿐만 아니라, 3차원 표준 얼굴 영상의 특징 원소들의 위치는 미리 알려져 있지만, 텍스쳐 얼굴 영상의 특징 원소들의 위치는 몇몇 특징점들을 제외하고는 알려져 있지 않다. 텍스쳐 얼굴 영상의 특징 원소들의 정확한 위치를 찾아내는 과정은 복잡하며 오랜 시간이 걸린다. 따라서, 두 얼굴 영상을 정확하게 정합시키고 텍스쳐 얼굴 영상의 특징 원소들의 위치를 효과적으로 찾아낼 수 있는 얼굴 영상 정합 기법을 개발할 필요가 있다.

본 발명은 상술한 바와 같은 종래의 문제점을 해결하기 위해 안출된 것으로서, 3차원 모델 기반 부호화 시스템에서 사용되는 텍스쳐 얼굴 영상과 표준 얼굴 영상을 효과적으로 정합시키는 방법을 제공한다.

상술한 바와 같은 목적을 달성하기 위하여 본 발명은, 3차원 모델 기반 부호화 시스템에서 사용되어, 표준 얼굴 영상을 텍스쳐 얼굴 영상에 정합하는 방법에 있어서, 얼굴 사진이 3차원 모델 기반 부호화 시스템으로 제공될 때: (a) 얼굴 사진으로부터 텍스쳐 얼굴 영상을 추출하고, 상기 텍스쳐 얼굴 영상의 다수 개의 특징점들을 제공하되, 특징점들은 최상위점, 최좌위점, 최하위점, 최우위점, 중앙점 및 중앙점으로부터 최원위점인 단계와; (b) 3차원 표준 얼굴 영상과, 3차원 표준 얼굴 영상의 특징 원소들의 위치, 및 상기 3차원 표준 얼굴 영상의 다수개의 특징점들을 제공하되, 3차원 표준 얼굴 영상의 각 특징점은 텍스쳐 얼굴 영상의 한 특징점에 상응하는 단계와; (c) 3차원 표준 얼굴 영상을 텍스쳐 얼굴 영상과 겹친후, 텍스쳐 얼굴 영상과 3차원 표준 얼굴 영상의 중앙점 사이의 변위를 결정하는 단계와; (d) 3차원 표준 얼굴 영상을 결정된 변위만큼 이동하여 이동된 표준 얼굴 영상, 이동된 특징 원소들의 위치들 및 이동된 특징점들을 생성하는 단계와; (e) 크기 변경된 표준 얼굴 영상의 윤곽선이 텍스쳐 얼굴 영상의 윤곽선과 일치할 때까지 3차원 표준 얼굴 영상의 크기를 변경하여 윤곽선 정합된 표준 얼굴 영상 및 윤곽선 정합된 특징 원소들의 위치들을 생성하는 단계와; (f) 지식에 기반한 특징 추출 알고리즘에 기초하여 얼굴 사진으로부터 텍스쳐 얼굴 영상의 특징 원소들의 위치들을 결정하는 단계와; (g) 윤곽선 정합된 표준 얼굴 영상의 특징 원소들의 위치를 감지하는 단계와; (h) 윤곽선 정합된 표준 얼굴 영상의 특징 원소들을 텍스쳐 얼굴 영상의 특징 원소들의 위치들에 기초하여 재배치함으로써 특징 정합된 표준 얼굴 영상을 생성하는 단계 및; (i) 텍스쳐 얼굴 영상의 텍스쳐 데이터를 특징 정합된 표준 얼굴 영상에 투사하는 단계를 포함하는 것을 특징으로 한다.

도 1은 본 발명의 얼굴 영상 정합 방법을 수행하기 위한 얼굴 영상 정합 장치의 블럭도,

도 2a는 사용자의 텍스쳐 얼굴 영상을 나타낸 도면,

도 2b는 3차원 표준 얼굴 영상을 나타낸 도면,

도 3a 내지 3c는 텍스쳐 얼굴 영상의 종횡비 및 대각선비를 사용한 얼굴 윤곽선 정합 과정을 도시한 도면,

도 4는 텍스쳐 얼굴 영상의 특징 원소 추출 과정을 설명하기 위한 도면.

〈도면의 주요부분에 대한 부호의 설명〉

110 : 텍스쳐 얼굴 영상 추출부 120 : 특징 원소 추출부

130 : 얼굴 윤곽선 정합부 140 : 표준 얼굴 영상 제공부

150 : 특징 원소 정합부 160 : 텍스쳐 정합부

이하, 첨부된 도면을 참조하여 본 발명에 따른 3차원 모델 기반 부호화 시스템에서 사용되는 텍스쳐 얼굴 영상과 표준 얼굴 영상을 효과적으로 정합시키는 방법을 설명한다.

도 1을 참조하면, 본 발명의 얼굴 영상 정합 방법을 수행하기 위한 얼굴 영상 정합 장치 100의 블럭도가 도시되어 있는데, 얼굴 영상 정합 장치 100은 텍스쳐 얼굴 영상 추출부 110, 특징 원소 추출부 120, 얼굴 윤곽선 정합부 130, 표준 얼굴 영상 제공부 140, 특징 원소 정합부 150 및 텍스쳐 정합부 160을 포함하고 있다.

예를 들어, CCD(charge coupled device) 디지털 카메라(도시되지 않음)에 의해 포착된 얼굴 사진은 텍스쳐 얼굴 영상 추출부 110 및 특징 원소 추출부 120으로 인가된다. 텍스쳐 얼굴 영상 추출부는 얼굴 사진으로부터 도 2a에 도시된 것과 같은 텍스쳐 얼굴 영상 210을 추출하는데, 텍스쳐 얼굴 영상 210은 예를 들어 512 × 512 화소 크기이다. 이에 더하여, 텍스쳐 얼굴 영상 추출부 110은 텍스쳐 얼굴 영상 210 상의 다수 개의 특징점들을 감지한다.

6개의 특징점 P1 내지 P6이 도 2a에 도시되어 있는데, P1 내지 P4 및 P6은 텍스쳐 얼굴 영상 210의 윤곽선 상에 존재하고, P5는 텍스쳐 얼굴 영상 210 내에 존재한다. 보다 자세히 말해서, P1은 최상위점이고, P2는 최좌위점이며, P3은 최하위점이고, P4는 최우위점이며, P5는 중심점이고, P6은 P5로부터 가장 먼 점이다.

텍스쳐 얼굴 영상 210 및 감지된 특징점 P1 내지 P6은 텍스쳐 얼굴 영상 추출부 110으로부터 얼굴 윤곽선 정합부 130으로 제공된다. 그리고, 표준 얼굴 영상 제공부 140은 그 안에 저장되어 있던 도 2b에 도시된 것과 같은 표준 얼굴 영상 220, 특징점 Q1 내지 Q6 및 특징 원소들의 위치를 얼굴 윤곽선 정합부 130으로 제공하는데, Q1 내지 Q6은 각각 P1 내지 P6에 대응한다.

표준 얼굴 영상 220은 다수 개의 다각형들을 연결함으로써 구현되는 3차원 컴퓨터 그래픽의 형태로 저장되어 있다. 표준 얼굴 영상 220을 텍스쳐 얼굴 영상 210에 정합시키기 위하여, 다각형들의 정점들의 위치는 각 정점이 3차원 좌표 (x, y, z)를 가짐에도 불구하고 z 좌표가 ″0″으로 설정된 2차원 좌표 (x, y)로서 제공된다. 얼굴 윤곽선 정합부 130은 도 3a 내지 도 3c에 도시된 것과 같이 텍스쳐 얼굴 영상 210과 표준 얼굴 영상 220의 얼굴 윤곽선 정합 과정을 수행한다.

도 3a를 참조하면, 표준 얼굴 영상 220이 텍스쳐 얼굴 영상 210과 겹쳐져 있다. 얼굴 윤곽선 정합부 130은 텍스쳐 얼굴 영상 210 내의 P5와 표준 얼굴 영상 220 내의 Q5 사이의 변위를 결정하여 표준 얼굴 영상 220을 도 3b에 도시된 것과 같이 결정된 변위만큼 이동시킨다. 결과적으로, 텍스쳐 얼굴 영상 210 상의 P5의 위치는 표준 얼굴 영상 220 상의 Q5의 위치와 일치하게 되어, 이동된 표준 얼굴 영상 220-2, 이동된 특징점Q1' 내지 Q4', Q6' 및 이동된 특징 원소들의 위치를 생성한다.

그런 다음, 스케일 팩터 SF가 텍스쳐 얼굴 영상 210의 종횡비 R1 및 대각선비 R2를 이용하여 수학식 1과 같이 계산된다.

계산된 스케일 팩터 SF에 기초하여, 그 형태가 텍스쳐 얼굴 영상 210과 같아지도록 표준 얼굴 영상 220이 확대 또는 축소된다. 그리고, 얼굴 윤곽선 정합부 130은, 도 3c에서와 같이 이동된 표준 얼굴 영상 220-2의 윤곽선이 텍스쳐 얼굴 영상 210의 윤곽선에 정확히 정합되도록, 이동된 표준 얼굴 영상 220-2 상의 이동된 특징점 Q1' 내지 Q4' 및 Q6'을 텍스쳐 얼굴 영상 210 상의 상응하는 특징점 P1 내지 P4 및 P6의 위치로 각각 이동시켜서 윤곽선 정합된 표준 얼굴 영상 220-4를 생성한다..

나아가, 얼굴 윤곽선 정합부 130은 SF 및 변위에 기초하여 표준 얼굴 영상 220의 특징점들의 위치를 갱신하여 윤곽선 정합된 표준 얼굴 영상 220-4의 수정된 특징점들의 위치를 생성한다.

한편, 특징 원소 추출부 120은 얼굴 사진을 수신하고, 지식에 기반한 특징 추출 알고리즘을 사용하여 얼굴 사진의 특징 원소들의 위치를 추출한다. 우선, 기설정된 에지 추출 기법에 의해 얼굴 사진의 에지들이 추출되어 도 4에 도시된 에지-감지된 얼굴 영상 210-2를 생성한다.

그런 다음, 특징 원소 추출부 120은 에지-감지된 얼굴 영상 210-2를 가장 왼쪽 윗부분에 위치한 화소로부터 가장 오른쪽 아랫부분에 위치한 화소까지 한 화소 단위로 스캔한다. 에지-감지된 얼굴 영상 210-2를 스캔하는 동안, 특징 원소 추출부 120은 특징 영역들을 감지하는데, 특징 영역에 포함된 화소들은 인접한 화소들과 현저한 차이를 보이는 화소값을 갖는다.

그 후, 특징 영역들의 대표 수평 및 수직 좌표가 감지되는데, 본 발명의 실시예에 따르면, 특징 영역의 대표 수평 좌표는 특징 영역의 중앙 수평 좌표로 결정되고, 특징 영역의 대표 수직 좌표는 특징 영역의 중앙 수직 좌표로 결정된다. 도 4를 참조하면, 3개의 수직 좌표, 즉, X1 내지 X3과 5개의 수직 좌표, 즉 Y1 내지 Y5가 감지된다.

지식에 기반한 특징 추출 알고리즘은 다음과 같다.

지식 1 : 화소값들의 합이 최대가 되는 행이 눈썹 또는 눈에 해당한다. (Y1 또는 Y2가 눈썹 또는 눈에 해당한다.)

지식 2 : 눈에서 코까지의 수직 거리는 코에서 입까지의 수직 거리보다 길다.

지식 3 : 에지-감지된 얼굴 영상은 코를 중심으로 좌우 대칭이다.

지식 4 : 왼쪽 눈은 코의 왼쪽에, 코는 오른쪽 눈의 왼쪽에 위치한다.

(X1 〈 X2 〈 X3)

지식 5 : 눈썹은 눈 위에, 눈은 코 위에, 코는 입 위에 그리고 입은 턱 위에 위치한다. (Y1 〈 Y2 〈 Y3 〈 Y4 〈 Y5)

지식 6 : 한 눈에서 코까지의 수평 거리와 눈에서 입까지의 수직 거리의 비는 1 : 1.5이다.

상기 지식을 이용하여 도 4의 X1 내지 X3 각각은 왼쪽 눈, 코 및 오른쪽 눈으로 결정되고; Y1 내지 Y5는 눈썹, 눈, 코, 입 및 턱으로 결정된다. 에지-감지된 얼굴 영상 210-2의 결정된 특징 원소들의 위치는 텍스쳐 얼굴 영상 210의 특징 원소들의 위치로서 특징 원소 정합부 150으로 제공된다.

특징 원소 정합부 150에서는, 윤곽선 정합된 표준 얼굴 영상 220-4의 특징 원소들이 텍스쳐 얼굴 영상 210의 상응하는 특징 원소들에 정합된다. 이러한 특징 원소 정합 과정은 텍스쳐 얼굴 영상 210의 특징 원소들의 위치들 및 윤곽선 정합된 표준 얼굴 영상 220-4의 수정된 특징 원소들의 위치들에 기초하여 이루어진다. 결과적으로, 윤곽선 정합된 표준 얼굴 영상 220-4의 수정된 특징점들의 위치들은 윤곽선 정합된 얼굴 영상 220-4의 수정된 특징 원소들을 텍스쳐 얼굴 영상 210의 상응하는 특징 원소들에 정확하게 정합시키기 위하여 미세하게 조정될 수 있고, 그 결과 특징 정합된 표준 얼굴 영상을 생성한다.

특징 원소 정합부 150은 텍스쳐 얼굴 영상 210 및 특징 정합된 표준 얼굴 영상을 텍스쳐 정합부 160으로 제공한다. 텍스쳐 정합부 160은 특징 정합된 표준 얼굴 영상의 다각형들은 텍스쳐 얼굴 영상 210의 상응하는 영역에 맵핑하는데, 한 다각형 및 그 상응하는 영역은 같은 위치에 놓여있는 것을 말한다. 그런 다음, 텍스쳐 얼굴 영상 210의 영역들의 텍스쳐 값들이 특징 정합된 표준 얼굴 영상의 상응하는 다각형으로 투사되어 텍스쳐 정합된 얼굴 영상을 생성한다.

위에서 설명된 바와 같이, 텍스쳐 얼굴 영상과 표준 얼굴 영상의 얼굴 윤곽선이 텍스쳐 얼굴 영상의 종횡비뿐 아니라 대각선 비도 이용하여 정합된다. 게다가, 텍스쳐 얼굴 영상의 특징 원소들의 위치들이 지식에 기반한 특징 추출 알고리즘에 기초하여 감지된다. 따라서, 본 발명에 의하면, 얼굴 윤곽선 및 특징 원소 정합 과정이 보다 효과적으로 수행된다.

상술한 바와 같이, 본 발명을 도면을 참조하여 설명하였지만 해당 기술분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 물론이다.

Claims (5)

1. 3차원 모델 기반 부호화 시스템에서 사용되어, 표준 얼굴 영상을 텍스쳐 얼굴 영상에 정합하는 방법에 있어서, 얼굴 사진이 3차원 모델 기반 부호화 시스템으로 제공될 때:

   (a) 얼굴 사진으로부터 텍스쳐 얼굴 영상을 추출하고, 상기 텍스쳐 얼굴 영상의 다수 개의 특징점들을 제공하되, 특징점들은 최상위점, 최좌위점, 최하위점, 최우위점, 중앙점 및 중앙점으로부터 최원위점인 단계와;

   (b) 3차원 표준 얼굴 영상과, 3차원 표준 얼굴 영상의 특징 원소들의 위치, 및 상기 3차원 표준 얼굴 영상의 다수개의 특징점들을 제공하되, 3차원 표준 얼굴 영상의 각 특징점은 텍스쳐 얼굴 영상의 한 특징점에 상응하는 단계와;

   (c) 3차원 표준 얼굴 영상을 텍스쳐 얼굴 영상과 겹친후, 텍스쳐 얼굴 영상과 3차원 표준 얼굴 영상의 중앙점 사이의 변위를 결정하는 단계와;

   (d) 3차원 표준 얼굴 영상을 결정된 변위만큼 이동하여 이동된 표준 얼굴 영상, 이동된 특징 원소들의 위치들 및 이동된 특징점들을 생성하는 단계와;

   (e) 크기 변경된 표준 얼굴 영상의 윤곽선이 텍스쳐 얼굴 영상의 윤곽선과 일치할 때까지 3차원 표준 얼굴 영상의 크기를 변경하여 윤곽선 정합된 표준 얼굴 영상 및 윤곽선 정합된 특징 원소들의 위치들을 생성하는 단계와;

   (f) 지식에 기반한 특징 추출 알고리즘에 기초하여 얼굴 사진으로부터 텍스쳐 얼굴 영상의 특징 원소들의 위치들을 결정하는 단계와;

   (g) 윤곽선 정합된 표준 얼굴 영상의 특징 원소들의 위치를 감지하는 단계와;

   (h) 윤곽선 정합된 표준 얼굴 영상의 특징 원소들을 텍스쳐 얼굴 영상의 특징 원소들의 위치들에 기초하여 재배치함으로써 특징 정합된 표준 얼굴 영상을 생성하는 단계 및;

   (i) 텍스쳐 얼굴 영상의 텍스쳐 데이터를 특징 정합된 표준 얼굴 영상에 투사하는 단계를 포함하는 것을 특징으로 하는 표준 얼굴 영상의 텍스쳐 얼굴 영상에의 정합 방법.
2. 제 1항에 있어서, 상기 단계 (e)가:

   (e1) 텍스쳐 얼굴 영상의 종횡비를 계산하는 단계와;

   (e2) 텍스쳐 얼굴 영상의 대각선비를 계산하는 단계와;

   (e3) 종횡비와 대각선비를 평균하여 스케일 팩터를 결정하는 단계와;

   (e4) 스케일 팩터에 기초하여, 3차원 표준 얼굴 영상의 형태를 변형하여 변형된 표준 얼굴 영상, 변형된 특징 원소들의 위치들 및 변형된 특징점들을 생성하는 단계 및;

   (e5) 변형된 특징점들을 텍스쳐 얼굴 영상의 상응하는 특징점들에 정합시킴으로써 변형된 표준 얼굴 영상의 크기를 바꾸어 윤곽선 정합된 표준 얼굴 영상 및 윤곽선 정합된 특징 원소들의 위치들을 생성하는 단계를 포함하는 것을 특징으로 하는 표준 얼굴 영상의 텍스쳐 얼굴 영상에의 정합 방법.
3. 제 2항에 있어서, 상기 단계(f)가:

   (f1) 텍스쳐 얼굴 영상의 에지들을 감지하여 에지 감지된 얼굴 영상을 생성하는 단계와;

   (f2) 에지 감지된 얼굴 영상을 한 화소 단위로 스캐닝하는 단계와;

   (f3) 단계 (f2) 도중 특징 영역들을 찾아내는 단계와;

   (f4) 지식에 기반한 특징 추출 알고리즘에 기초하여 특징 영역 각각을 상응하는 특징 원소로 결정하는 단계 및;

   (f5) 각 특징 원소의 위치를 얻는 단계를 포함하는 것을 특징으로 하는 표준 얼굴 영상의 텍스쳐 얼굴 영상에의 정합 방법.
4. 제 3항에 있어서, 상기 종횡비는:

   상기 텍스쳐 얼굴 영상의 중앙점으로부터 최상위점까지의 거리를 텍스쳐 얼굴 영상의 중앙점으로부터 최우위점까지의 거리로 나누어 얻으며, 대각선비는 텍스쳐 얼굴 영상의 중앙점과 최원점위점을 연결하는 선분의 기울기인 것을 특징으로 하는 표준 얼굴 영상의 텍스쳐 얼굴 영상에의 정합 방법.
5. 제 4항에 있어서, 상기 단계 (h)는:

   상기 윤곽선 정합된 표준 얼굴 영상의 윤곽선 정합된 특징 원소 각각을 텍스쳐 얼굴 영상의 상응하는 특징 원소들의 위치로 이동하여 특징 정합된 표준 얼굴 영상을 생성하는 것을 특징으로 하는 표준 얼굴 영상의 텍스쳐 얼굴 영상에의 정합 방법.