KR20170005273A

KR20170005273A - 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법

Info

Publication number: KR20170005273A
Application number: KR1020150094719A
Authority: KR
Inventors: 노명철
Original assignee: 주식회사 에스원
Priority date: 2015-07-02
Filing date: 2015-07-02
Publication date: 2017-01-12
Also published as: KR101705584B1

Abstract

본 발명 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법은 카메라로부터 촬영된 얼굴 영상을 입력받는 단계와, 입력된 영상에 대하여 각 특징점별 패치 영상 벡터를 추출하는 단계와, 얼굴 영상에서 추출된 각 특징점별 패치 영상 벡터에 대한 FFPD(Training Facial Feature Point Descriptor)학습을 통해 랜덤 포리스트(Random Forest)를 순행하여 출력 값을 구하는 단계와, 상기 랜덤 포리스트의 출력 값을 기초로 각 특징점별 확률 값인 서술 벡터를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.

Description

얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법{ System of Facial Feature Point Descriptor for Face Alignment and Method thereof}

본 발명은 얼굴 정렬을 위한 특징점 추출하기 위한 특징점 서술자에 관한 것이다. 일반적으로 얼굴 정렬은 얼굴의 특징점들의 위치와 모양을 찾는 것으로 눈, 코, 입, 턱 등의 위치와 모양을 찾는 것으로 얼굴 정렬 방법으로는 CLM(Constrained Local Model), SDM(Supervised Descent Method)이 있으며, 상기와 같은 얼굴 정렬 방법은 특징점 별로 범용 서술자(Descriptor)나 학습된 모델을 사용하여 얼굴 정렬을 위한 특징점을 추출하여 사용하고 있으며 서술자로는 SIFT(Scale-Invariant Feature Transform)이나 HOG(Histogram of Oriented Gradient)가 사용되고 학습된 모델은 Linear-SVM 등을 사용하는 것이다.

본 발명과 관련된 종래의 기술은 대한민국 등록 특허 제10-1096049호(2011. 12. 19. 공고)에 개시되어 있는 것이다. 도 1은 상기 종래의 강인한 얼굴 인식을 위한 얼굴 자동 정렬 시스템 구성도이다. 상기도 1에서 종래의 강인한 얼굴 인식을 위한 얼굴 자동 정렬 시스템은 정렬된 기준 영상 및 입력된 얼굴 영상, 변형된 열굴 영상을 저장하는 영상 저장부(10); 상기 정렬된 기준 영상 및 입력된 얼굴 영상의 특징점을 추출하는 특징점 추출부(20); 상기 정렬된 기준 영상 및 입력된 얼굴 영상의 특징점을 이용하여 특징점의 분포를 연산하는 특징점 분포 연산부(30); 상기 정렬된 기준 영상의 특징점 분포와 입력된 얼굴 영상의 특징점 분포를 이용하여 엔트로피 값의 산출, 비교 및 저장을 하는 엔트로피 처리부(40); 상기 입력된 얼굴 영상을 회전, 평행 이동, 확대 또는 축소를 하는 영상 변형부(50); 및 최종적으로 자동 정렬된 얼굴을 검출하는 얼굴 검출부(60);를 포함하여 구성되는 것을 특징으로 하는 것이다. 먼저, 정면을 향하고 있는 정렬된 기준 영상과 얼굴의 자동 정렬을 필요로 하는 임의로 입력된 얼굴 영상의 준비가 요구되며 각 영상은 디지털 카메라, 캠코더 등을 이용하여 본 시스템(100)에 입력 가능하며 상기 입력된 영상은 상기 영상 저장부(10)에 저장되어 본 시스템에서의 처리를 가능하게 되는 것이다.

또한 종래의 얼굴 정렬을 위해 사용되는 특징점의 특징 추출 방법은 서술자를 사용하는 방법으로 SIFT, HOG를 사용하여 특징을 추출하였으며 이 방법은 사용하기 쉬운 장점이 있으나 학습 기반이 아니므로 좋은 결과를 내지 못하거나 연산 시간이 오래 걸리는 문제점이 있는 것이다. 또 다른 종래의 얼굴 정렬을 위한 특징점의 특징 추출방법은 학습 기반의 확률/스코어 추출 방법으로 Linear-SVM 등의 방법을 사용하는데 이 방법은 각각의 특징점별로 학습 되는 것이 특징이다. 따라서 상기와 같은 종래의 학습 기반의 확률/스코어 추출 방법은 학습 기반이므로 얼굴에 대하여 좋은 성능을 보일 수 있으나 연산 시간이 오래 걸리는 문제점이 있는 것이다. 도 2는 종래 얼굴 정렬을 위하여 특징점의 특징을 추출하는 확률/스코어 방법 관련 구성도이다. 상기도 2에서 종래의 특징점의 특징을 추출하는 확률/스코어 방법은 N 개의 특징점을 사용한다고 하는 경우 (a), (b), (c)는 각각 첫 번째, 두 번째, N 번째 특징점에 대한 연산을 나타내고 있는 것으로 각 특징점별로 독립된 연산을 수행하므로 Sliding Window 영역의 최소화/최적화를 통하여 중복되는 영역을 줄일 수 있으나 겹치는 영역이 발생하게 되는 문제점이 있는 것이고, 또한 지역적인 영역만을 사용하여 학습하므로 그 모델이 표현할 수 있는 특징이 풍부하지 못할 수도 있는 것이다.

상기와 같은 종래의 얼굴 정렬 방법은 상기와 같이 종래의 정렬 방법에 사용된 종래의 SIFT와 같은 범용 서술자나 종래의 Linear-SVM과 같은 학습기반 서술자를 사용하여 특징점별 특징을 추출하므로 연산 시간이 많이 걸리거나 정확도가 떨어지는 문제점이 있는 것이다. 따라서 본 발명의 목적은 특징점 별 특징 추출이 한번에 이루어지고 연산 속도가 빠르며 정확한 특징 추출을 할 수 있는 학습 기반 서술자를 제공하기 위한 것이다.

상기와 같은 목적을 가진 본 발명 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법은 카메라로부터 촬영된 얼굴 영상을 입력받는 단계와, 입력된 영상에 대하여 각 특징점별 패치 영상 벡터를 추출하는 단계와, 얼굴 영상에서 추출된 각 특징점별 패치 영상 벡터에 대한 FFPD(Training Facial Feature Point Descriptor)학습을 통해 랜덤 포리스트(Random Forest)를 생성하고 랜덤 포리스트의 각 분기 노드에서 사용되는 한 쌍의 두점을 찾고 각 잎-노드에서의 확률 값을 선정하여 저장하는 단계와, 상기 랜덤 포리스트를 반복 순행하여 도달한 잎- 노드의 값들(출력 값)을 이용하여 서술 벡터를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다. 또한 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템은 얼굴을 촬영하여 얼굴 영상 정보를 전송하는 카메라와, 카메라로부터 얼굴 영상 정보를 수신하여 저장하고 수신된 얼굴 영상 정보로부터 얼굴의 특징점별 패치 영상 벡터를 추출하는 특징점 추출부와, 추출된 각 특징점별 패치 영상 벡터에 대한 FFPD 학습을 이행하여 랜덤 포리스트를 생성하고 랜덤 포리스트의 각 분기 노드에서 사용되는 한 쌍의 두 점을 찾고 각 잎-노드에서의 확률 값을 산정하고 저장하는 특징점 학습부와, 상기 랜덤 포리스트를 반복 순행하여 도달한 각 잎-노드에서의 확률 값을 수신하여 서술자를 서술 벡터 형태로 생성하는 서술자 생성부로 구성된 것을 특징으로 하는 것이다.

상기와 같이 구성된 본 발명 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법은 얼굴 특징점의 특징 추출이 한번에 이루어지고 간단한 이진 비교를 이용한 Random Forest를 사용하므로 연산 속도가 빠른 효과가 있는 것이다. 또한 본 발명의 다른 효과는 서술자가 얼굴 각 특징점 별 서술 값의 집합으로 서술 벡터를 구성하므로 얼굴 특징을 풍부하고 정확히 나타낼 수 있는 효과가 있는 것이다. 또한 본 발명의 다른 효과는 정확한 얼굴 정렬 및 눈 검출이 가능하므로 얼굴 인식, 표정 인식 및 3D 얼굴 복원 등의 성능을 향상시킬 수 있는 효과가 있는 것이다.

도 1은 종래의 강인한 얼굴 인식을 위한 얼굴 자동 정렬 시스템 구성도,
도 2는 종래 얼굴 정렬을 위하여 특징점의 특징을 추출하는 확률/스코어 방법 관련 구성도,
도 3은 본 발명 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템 구성도,
도 4는 본 발명 얼굴 정렬을 위한 각 특징점별 서술 벡터 생성 방법에 대한 제어 흐름도,
도 5는 본 발명에 적용되는 FFPD 학습 방법에 대한 흐름도,
도 6은 본 발명에 적용되는 트리 생성 방법에 대한 흐름도,
도 7은 본 발명에 적용되는 트리 생성에 이용되는 분기 함수 결정에 대한 제어 흐름도,
도 8은 본 발명에 적용되는 패치 영상와 특징점별 일련번호를 입력으로 K 개의 트리를 가지는 랜덤 포리스트에 대한 예시도,
도 9는 본 발명에 의한 얻어진 서술 벡터를 나타내는 예,
도 10은 본 발명에서 구한 서술 벡터를 이용한 서술자의 특징을 나타내는 사례이다.

상기와 같은 목적을 가진 본 발명 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템 및 서술벡터 생성 방법을 도 3 내지 도 10을 기초로 설명하면 다음과 같다.

도 3은 본 발명 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템 구성도이다. 상기도 3에서 본 발명 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템은 얼굴을 촬영하여 얼굴 영상 정보를 전송하는 카메라(110)와, 카메라로부터 얼굴 영상 정보를 수신하여 저장하고 수신된 얼굴 영상 정보로부터 얼굴의 특징점별 패치 영상 벡터를 추출하는 특징점 추출부(120)와, 추출된 각 특징점별 패치 영상 벡터에 대한 FFPD 학습을 이행하여 랜덤 포리스트를 생성하고 랜덤 포리스트의 각 분기 노드에서 사용되는 한 쌍의 두 점을 찾고 각 잎-노드에서의 확률 값을 산정하고 저장하는 특징점 학습부(130)와, 상기 랜덤 포리스트를 반복 순행하여 도달한 각 잎-노드에서의 확률 값을 수신하여 서술자를 서술 벡터 형태로 생성하는 서술자 생성부(140)로 구성된 것을 특징으로 하는 것이다.

도 4는 본 발명 얼굴 정렬을 위한 각 특징점별 서술 벡터 생성 방법에 대한 제어 흐름도이다. 상기도 4에서 본 발명 얼굴 정렬을 위한 각 특징점별 서술 벡터 생성 방법은 카메라로부터 촬영된 얼굴 영상을 입력받는 단계(S11)와, 입력된 영상에 대하여 각 특징점별 패치 영상 벡터를 추출하는 단계(S12)와, 얼굴 영상에서 추출된 각 특징점별 패치 영상 벡터에 대한 FFPD(Training Facial Feature Point Descriptor)학습을 통해 랜덤 포리스트(Random Forest)를 생성하고 랜덤 포리스트의 각 분기 노드에서 사용되는 한 쌍의 두점을 찾고 각 잎-노드에서의 확률 값을 선정하여 저장하는 단계(S13)와, 상기 랜덤 포리스트를 반복 순행하여 도달한 잎- 노드의 값들(출력 값)을 이용하여 서술 벡터를 생성하는 단계(S14)를 포함하여 이루어지는 것을 특징으로 하는 것이다. 상기 S13 단계 및 상기 랜덤 포리스트를 반복 순행하여 도달한 잎- 노드의 값들(출력 값)을 얻는 단계는 랜덤 포리스트(K 개의 트리로 이루어지고 K는 임의의 상수임)에서 각 트리의 내부 노드에서 패치 영상의 한 쌍의 두점(a,b)을 임의로 선택하고 a-b가 양수인지 음수인지를 판별하여 패치 영상 벡터의 분기방향(오른쪽 또는 왼쪽방향)을 결정하도록 하는 것을 반복하는 단계와 상기와 같이 반복하면서 엔트로피가 가장 낮은 한 쌍을 선택하는 방식으로 랜덤 포리스트를 순행하여 얻는 출력 값을 생성하는 단계로 이루어지는 것이다. 상기에서 엔트로피(E)를 구하는 식은 아래 수식 1과 같이 정의될 수 있는 것이다.

상기 수식 1에서 c는 오른쪽(R)과 왼쪽(L)을 나타내고, P(n,c)는 n번째 특징점이 오른쪽(또는 왼쪽)에서 나타날 확률을 나타내는 것으로 이는 오른쪽(또는 왼쪽)으로 분류된 n번째 특징점의 개수를 오른쪽(또는 왼쪽)으로 분류된 전체 데이터수로 나눈 값이다.

또한 상기에서 랜덤 포리스트를 순행하여 얻은 출력 값은 아래 수식 2로 정의될 수 있는 것을 특징으로 하는 것이다.

상기 수식 2에서 R은 랜덤 포리스트 모델, R_k는 각 트리, f_n는 특징점 일련번호, I_x는 입력된 패치 영상, K는 랜덤 포리스트의 트리 개수, n(≤N)은 특징점의 개수를 나타내고 있는 것이다.

또한 상기 S14 단계에서 서술 벡터는 아래 수식 3과 같이 정의될 수 있는 것을 특징으로 하는 것이다.

상기 수식 3은 각 트리의 잎-노드의 값이 N 개의 특징점에 대한 확률 분포를 나타내는 것으로 모든 특징점의 확률 값을 얻기 위해서 여러 번 연산을 수행할 필요없이 한번에 얻을 수 있음을 나타내고 있는 것이다.

도 5는 본 발명에 적용되는 FFPD 학습 방법에 대한 흐름도이다. 상기도 5에서 본 발명에 적용되는 FFPD 학습 방법은 각 특징점별 패치 영상 벡터를 추출하는 단계(S31)와, 상기 패치 영상 벡터를 기초로 K 개의 트리로 구성된 랜덤 포리스트를 생성하는 단계(S32)와 상기 랜덤 포리스트의 각 분기 노드에서 사용되는 한쌍의 두점을 찾고 각 잎-노드에 도달한 데이터의 각 특징점별 확률을 산정하는 단계(S33)로 이루어지는 것을 나타내고 있는 것이다.

도 6은 본 발명에 적용되는 트리 생성 방법에 대한 흐름도이다. 상기도 6에서 본 발명에 적용되는 트리 생성 방법은 분기 함수를 결정하기 위하여 패치 영상의 임의의 한쌍의 두점(a,b) 를 선택하는 단계(S41)와, 모든 패치 영상 벡터 X에 대하여 X(a) > X(b)를 판단하고 벡터 집합의 분기 방향(오른쪽 노드(R) 또는 왼쪽 노드(L))을 결정하는 단계(S42) 및 각 분기 방향에 대한 백터 집합에 대하여 S41 및 S42 단계를 반복 수행하는 단계로 이루어지는 것을 특징으로 하는 것이다. 상기에서 R 또는 L에 해당하는 벡터가 없으면 반복을 중단하는 것을 특징으로 하는 것이다.

도 7은 본 발명에 적용되는 트리 생성에 이용되는 분기 함수 결정에 대한 제어 흐름도이다. 상기도 7에서 본 발명에 적용되는 트리 생성에 이용되는 분기 함수 결정은 분기 함수를 결정하기 위하여 패치 영상의 임의의 한쌍의 두점(a,b) 를 선택하는 단계(S51)와, 모든 패치 영상 벡터 X에 대하여 X(a) > X(b)를 판단하고 벡터 집합의 분기 방향(오른쪽 노드(R) 또는 왼쪽노드(L))을 결정하는 단계(S52)와 상기 한쌍의 분기 방향의 벡터 집합에 대하여 엔트로피를 계산하는 단계(S53) 및 상기 S51 내지 S53 단계를 반복하여 엔트로피가 가장 낮은 a',b'를 분기함수(X(a), X(b))의 계수로 선택하는 단계(S54)로 이루어지는 것을 특징으로 하는 것이다. 상기에서 엔트로피(E)는 상기 수식 1로 동일하게 정의될 수 있는 것을 특징으로 하는 것이다.

도 8은 본 발명에 적용되는 패치 영상과 특징점별 일련번호를 입력으로 K 개의 트리를 가지는 랜덤 포리스트에 대한 예시도 이다. 상기도 8에서 본 발명에 적용되는 패치 영상과 특징점별 일련번호를 입력으로 K 개의 트리를 가지는 랜덤 포리스트는 각 학습 영상에 대하여 각 특징점의 일련번호(ID)와 특징점을 중심으로 한 패치(patch) 영상의 쌍을 랜덤 포리트스의 각 트리의 입력 벡터로 사용하며 각 트리의 잎-노드에서 각 특징점의 일련번호별 확률을 산정하도록 하는 것임을 나타내고 있는 것이다.

도 9는 본 발명에 의한 얻어진 서술 벡터를 나타내는 예이다. 상기도 9에서 본 발명에 얻어지는 서술 벡터는 입력된 패치 영상을 랜덤 포리스트에 순행하여 서술 벡터를 얻을 수 있음을 나타내고 있는 것이다. 상기에서 서술 벡터는 트리 순행의 결과 K(트리의 수) 개의 N(특징점의 수)차원 벡터를 얻을 수 있으며 상기 서술 벡터는 패치 영상을 서술함과 동시에 각 차원은 대응되는 특징점의 일련번호에 해당하는 확률 값을 나타내는 것이다.

도 10은 본 발명에서 구한 서술 벡터를 이용한 서술자의 특징을 나타내는 사례이다. 상기도 10에서 본 발명 서술 벡터를 이용하면 한번의 슬라이딩 윈도우 탐색으로 여러 개의 특징점에 대한 확률 값을 얻을 수 있으며 빠르고 풍부한 서술이 가능함을 나타내고 있는 것이다.

110 : 카메라, 120 : 특징점 추출부,
130 : 특징점 학습부, 140 : 서술자 생성부,

Claims

수신한 카메라 영상의 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템에 있어서
얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템은,
얼굴을 촬영하여 얼굴 영상 정보를 전송하는 카메라(110)와;
카메라로부터 얼굴 영상 정보를 수신하여 저장하고 수신된 얼굴 영상 정보로부터 얼굴의 특징점별 패치 영상 벡터를 추출하는 특징점 추출부(120)와;
추출된 각 특징점별 패치 영상 벡터에 대한 FFPD 학습을 이행하여 랜덤 포리스트를 생성하고 랜덤 포리스트의 각 분기 노드에서 사용되는 한 쌍의 두 점을 찾고 각 잎-노드에서의 확률 값을 산정하고 저장하는 특징점 학습부(130);
및 상기 랜덤 포리스트를 반복 순행하여 도달한 각 잎-노드에서의 확률 값(출력 값)을 수신하여 서술자를 서술 벡터 형태로 생성하는 서술자 생성부(140)로 구성된 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템.
제1항에 있어서,
상기 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템은,
랜덤 포리스트(K 개의 트리로 이루어지고 K는 임의의 상수임)에서 각 트리의 내부 노드에서 패치 영상의 한쌍의 두점(a,b)을 임의로 선택하고 a-b가 양수인지 음수인지를 판별하여 패치 영상 벡터의 분기방향(오른쪽 또는 왼쪽방향)을 결정하도록 하는 것을 반복하면서 엔트로피가 가장 낮은 한 쌍을 선택하는 방식으로 랜덤 포리스트를 순행하여 얻는 출력 값을 생성하는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템.
제1항에 있어서,
상기 출력 값은,

로 정의될 수 있는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템.
상기 수식 2에서 R은 랜덤 포리스트 모델, R_k는 각 트리, f_n는 특징점 일련번호, I_x는 입력된 패치 영상, K는 랜덤 포리스트의 트리 개수, n(≤N)은 특징점의 개수를 나타냄.
제1항에 있어서,
상기 서술 벡터는,

로 정의될 수 있는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템.
제2항에 있어서,
상기 엔트로피는,

로 정의될 수 있는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템.
상기 수식 1에서 c는 오른쪽(R)과 왼쪽(L)을 나타내고, P(n,c)는 n번째 특징점이 오른쪽(또는 왼쪽)에서 나타날 확률임.
제4항에 있어서,
상기 수식 3은,
랜덤 포리스트의 각 트리의 잎-노드의 값이 N 개의 특징점에 대한 확률 분포를 나타내는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 시스템.
수신한 카메라 영상의 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법에 있어서,
얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법은,
카메라로부터 촬영된 얼굴 영상을 입력받는 단계(S11)와;
입력된 영상에 대하여 각 특징점별 패치 영상 벡터를 추출하는 단계(S12)와;
얼굴 영상에서 추출된 각 특징점별 패치 영상 벡터에 대한 FFPD(Training Facial Feature Point Descriptor)학습을 통해 랜덤 포리스트(Random Forest)를 생성하고 랜덤 포리스트의 각 분기 노드에서 사용되는 한쌍의 두점을 찾고 각 잎-노드에서의 확률 값을 선정하여 저장하는 단계(S13);
및 상기 랜덤 포리스트를 반복 순행하여 도달한 잎- 노드의 값들(출력 값)을 이용하여 서술 벡터를 생성하는 단계(S14)를 포함하여 이루어지는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법.
제7항에 있어서,
얼굴 영상에서 추출된 각 특징점별 패치 영상 벡터에 대한 FFPD(Training Facial Feature Point Descriptor)학습을 통해 랜덤 포리스트(Random Forest)를 생성하고 랜덤 포리스트이 각 분기 노드에서 사용되는 한쌍의 두점을 찾고 각 잎-노드에서의 확률 값을 선정하여 저장하는 단계 및 상기 랜덤 포리스트를 반복 순행하여 도달한 잎- 노드의 값들(출력 값)을 얻는 단계는,
랜덤 포리스트(K 개의 트리로 이루어지고 K는 임의의 상수임)에서 각 트리의 내부 노드에서 패치 영상의 한쌍의 두점(a,b)을 임의로 선택하고 a-b가 양수인지 음수인지를 판별하여 패치 영상 벡터의 분기방향(오른쪽 또는 왼쪽방향)을 결정하도록 하는 것을 반복하는 단계;
및 상기와 같이 반복하면서 엔트로피가 가장 낮은 한 쌍을 선택하는 방식으로 랜덤 포리스트를 순행하여 얻는 출력 값을 생성하는 단계로 이루어지는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법.
제7항에 있어서,
상기 출력 값은,

로 정의될 수 있는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법.
상기 수식 2에서 R은 랜덤 포리스트 모델, R_k는 각 트리, f_n는 특징점 일련번호, I_x는 입력된 패치 영상, K는 랜덤 포리스트의 트리 개수, n(≤N)은 특징점의 개수를 나타냄.
제7항에 있어서,
상기 서술 벡터는,

로 정의될 수 있는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법.
제7항에 있어서,
상기 학습 방법은,
각 특징점별 패치 영상 벡터를 추출하는 단계(S31)와;
상기 패치 영상 벡터를 기초로 K 개의 트리로 구성된 랜덤 포리스트를 생성하는 단계(S32);
및 상기 랜덤 포리스트의 출력을 기초로 각 잎-노드에 도달한 데이터의 각 특징점별 확률을 산정하는 단계(S33)를 포함하여 이루어지는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법.
제7항에 있어서,
상기 랜덤 포리스트의 트리 생성 방법은,
분기 함수를 결정하기 위하여 패치 영상의 임의의 한쌍의 두점(a,b) 를 선택하는 단계(S41)와;
모든 패치 영상 벡터 X에 대하여 X(a) > X(b)를 판단하고 벡터 집합의 분기 방향(오른쪽 노드(R) 또는 왼쪽 노드(L))을 결정하는 단계(S42);
및 각 분기 방향에 대한 백터 집합에 대하여 S41 및 S42 단계를 반복 수행하는 단계로 이루어지는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법.
제8항에 있어서,
상기 엔트로피는,

로 정의될 수 있는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법.
상기 수식 1에서 c는 오른쪽(R)과 왼쪽(L)을 나타내고, P(n,c)는 n번째 특징점이 오른쪽(또는 왼쪽)에서 나타날 확률임.
제12항에 있어서,
상기 랜덤 포리스트의 트리 생성 방법은,
R 또는 L에 해당하는 벡터가 없으면 반복을 중단하는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법.
제12항 또는 제14항에 있어서,
상기 트리 생성에 이용되는 분기함수의 결정은,
분기 함수를 결정하기 위하여 패치 영상의 임의의 한쌍의 두점(a,b) 를 선택하는 단계(S51)와;
모든 패치 영상 벡터 X에 대하여 X(a) > X(b)를 판단하고 벡터 집합의 분기 방향(오른쪽 노드(R) 또는 왼쪽노드(L))을 결정하는 단계(S52)와;
상기 한쌍의 분기 방향의 벡터 집합에 대하여 엔트로피를 계산하는 단계(S53);
및 상기 S51 내지 S53 단계를 반복하여 엔트로피가 가장 낮은 a',b'를 분기함수(X(a), X(b))의 계수로 선택하는 단계(S54)로 이루어지는 것을 특징으로 하는 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술벡터 생성 방법.