KR101945821B1 - 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법 - Google Patents

Abstract

본 발명은 멀티 클래스 아다부스트 프레임워크를 기반으로 하는 얼굴 표식 위치 추정 방법 및 그 장치에 관한 것으로, 본 발명에 따른 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법은 (a) 입력부를 이용하여, 표식(u)와 공간 컨텍스트 관계를 갖는 인접한 표식들을 입력하는 단계 및 (b) 출력부를 이용하여, 공간 컨텍스트 아다부스트의 함수를 출력하는 단계를 포함하며, 상기 공간 컨텍스트 아다부스트는

로 정의되고, 표식 분류기 함수

를 확장시킨 것으로 인접한 표식들 간의 공간 컨텍스트 관계를 포함하는 것을 기술적 특징으로 한다.

Description

공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법{Facial landmark localization method using a spatial-contextual AdaBoost algorithm}

본 발명은 멀티 클래스 아다부스트 프레임워크를 기반으로 하는 얼굴 표식 위치 추정 방법 및 그 장치에 관한 것으로, 인접한 표식들 간의 공간 컨텍스트 관계를 기반으로 위치추정의 정확도를 크게 향상시킬 수 있는 기술이다.

일반적으로 생체 인식 기술은 개인마다 다른 지문, 얼굴, 홍채, 정맥 등의 신체 특징을 인식하는 기술이다. 이와 같은 신체 특징은 열쇠나 비밀번호처럼 타인에게 도용이나 복제될 수 없으며, 변경되거나 분실할 위험성이 없어 보안 분야 등에 활용될 수도 있다. 이중 얼굴 인식 기술은 비디오 혹은 사진 이미지에서 얼굴 영역을 검출한 후 검출된 얼굴 영역에 포함된 얼굴의 신원을 식별하는 기술을 포함하므로, 보안 분야뿐만 아니라 스마트폰 시대에 발맞추어 다양한 애플리케이션 등에도 활용될 수 있다.

구체적으로, 얼굴 인식 기술은 검출된 얼굴 이미지에서 특징점 위치를 이용하여 얼굴을 식별하는 기술로서, 특징점에는 눈의 중점, 각 눈의 양 끝점, 눈썹의 양 끝점 및 중점, 입술의 양 끝점 등이 포함될 수 있다. 이와 같은 얼굴 특징점의 위치 검출을 위한 기술로서는 가령 히스토그램(Histrogram)을 이용한 방법, 주성분 분석(PCA; Principal Component Analysis)을 이용한 방법, 대한민국 등록특허 공보 제10-1175597호(2012. 08. 14)에 기재된 아다부스트(Adaboost) 학습 알고리즘을 이용한 방법 등의 기술이 이용되고 있다.

대한민국 등록특허 공보 10-1175597B1, 2012. 08. 14, 10쪽 내지 13쪽.

본 발명에 따른 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법의 목적은, 공간 컨텍스트 관계를 갖는 약 분류기들을 결정하고, 실험적 위험을 최소화하는 방법으로 약 분류기들의 가중치를 결정하여, 인접한 표식들 간의 공간 컨텍스트 관계를 기반으로 위치추정의 정확도가 향상된 얼굴 표식 위치 추정 방법을 제공하는데 있다.

본 발명에 따른 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법은 (a) 입력부를 이용하여, 표식(u)와 공간 컨텍스트 관계를 갖는 인접한 표식들을 입력하는 단계 및 (b) 출력부를 이용하여, 공간 컨텍스트 아다부스트의 함수를 출력하는 단계를 포함하며, 상기 공간 컨텍스트 아다부스트는

로 정의되고, 표식 분류기 함수

를 확장시킨 것으로 인접한 표식들 간의 공간 컨텍스트 관계를 포함하는 것을 특징으로 한다.

이상에서 설명한 바와 같이, 본 발명은 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법은 공간 컨텍스트 관계를 갖는 약 분류기들을 결정하고, 실험적 위험을 최소화하는 방법으로 약 분류기들의 가중치를 결정함으로써, 인접한 표식들 간의 공간 컨텍스트 관계를 기반으로 위치 추정의 정확성을 크게 향상시킬 수 있는 효과가 있다.

도 1은 본 발명에 따른 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법에 있어서, 인접한 표식 분류기

가 (a) 안쪽 눈썹과 (b) 눈동자의 표식위치를 추정했을 때 바깥쪽 눈썹 표식 위치 u의 위치추정 기대치를 나타내는 도면. (u의 위치추정 기대치 : 초록색 ＞ 빨간색 ＞ 파란색 ＞ 검정색)
도 2는 본 발명에 따른 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법의 전체 흐름을 나타내는 도면.
도 3은 본 발명에 따른 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법에 있어서, 눈동자 후보위치 u(=w_o)를 l₅로 레이블할 때 인접한 표식들이 미치는 영향을 나타내는 도면.

이하, 본 발명에 따른 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.

본 발명에 있어서, 공간 컨텍스트 아다부스트(SC-AdaBoost)는 하나의 강 분류기로 약 분류기들의 집합으로 결정되는데, SC-AdaBoost

는 표식 분류기 함수

를 확장시킨 것으로 인접한 표식들 간의 공간 컨텍스트 관계를 포함한다. 이때,

는 가보 웨이블릿 분석 기반의 사후확률로 위치 u를 중심으로하는 이미지 패치에 대한 표식 분류기이다.

본 발명에 있어서, u와 w를 두 표식의 위치로 하였을 때, 공간상 관계는 가우시안 분포를 따르는 연결 매개변수에 의해 제한되는데, 연결 매개변수(c_uw)는 u와 w의 평균 s_uw과 공분산 Σ_uw을 갖는 가우시안 분포로

로 정의된다. 이상적인 경우, 표식 u의 위치는 표식 w로부터 c_uw 거리만큼 떨어져 있다.

본 발명에 따른 SC-AdaBoost의 두 표식 간의 공간상 관계는 같은 얼굴 구성요소(왼쪽 눈, 오른쪽 눈, 코와 입 영역)에서 나타나는 인접한 표식들 간의 상대적인 위치를 x축과 y축 2차원 벡터로 표현하며, 두 표식의 위치 u와 w가 같은 얼굴 구성요소에 나타난다고 가정했을 때 공간상의 관계는 [수학식 1]와 같이 정의된다.

[수학식 1]

여기서, 가우시안 분포를 따른다고 가정할 때, μ_x와 μ_y는 두 표식 u와 w간의 평균 벡터를 나타내고, σ_x와 σ_y는 표준편차를 나타내고 p는 0보다 크고 1보다 작은 값을 나타내기 때문에 인접한 표식들이 서로에게 미치는 영향은 d의 크기에 반비례한다.

도 1는 인접한 표식 분류기

가 (a) 안쪽 눈썹과 (b) 눈동자의 표식위치를 추정했을 때 수학식 1을 이용하여, 바깥쪽 눈썹 표식 위치 u의 위치추정 기대치를 나타내는 도면으로, u의 위치추정 기대치는 초록색 > 빨간색 > 파란색 > 검정색 순이다. 즉, 초록색 영역은 u가 나타날 기대치가 가장 높고, 초록색 영역에서 멀리 떨어질수록 u가 나타날 기대치는 낮은 것이다.

이러한 본 발명에 따른 SC-AdaBoost의 공간 컨텍스트 관계는 상기 수학식 1의 조건을 만족하며 다음 수학식 2와 같이 정의된다.

[수학식 2]

본 발명에 있어서, 두 표식(u, w) 간의 상관관계는

이고, 1에 가까울수록 두 표식 간의 상관관계가 높다고 판단되며, 만일 u와 w가 같은 표식이라면

이다. 두 인접한 표식의 공간상의 관계는

이지만 대부분의 경우 두 표식간의 d(u,w)의 크기는 10이하의 값을 갖는다. 10 이상의 값을 가질 경우 신뢰하기 힘든 표식 위치 분포를 나타내기 때문에 d_min과 d_max를 각각 0과 10으로 설정한다.

표식 u와 공간 컨텍스트 관계를 갖는 인접한 표식들을 측정값 χ를 기반으로 내림차순으로 정렬하면 다음 수학식 3과 같다.

[수학식 3]

이때, w는 u의 표식 위치 추정에 영향을 줄 수 있는 u를 포함하는 인접한 표식들을 나타낸다. u=w일 때, 공간 컨텍스트 관계는 수학식 2에 의해 가장 높은 값을 1로 나타내므로 u=w₀라고 할 수 있다.

Ψ(u)의 k^th에 존재하는 표식을 Ψ_k(u)라고 하고, u와 w를 l_i와 l_j로 레이블 했을 때, u 레이블의 사후확률은 k^th에 존재하는 인접한 표식으로부터 영향을 받고 다음 수학식 4와 같이 정의된다.

[수학식 4]

는 중심 점 w를 갖고 있는 이미지 패치에 대한 표식 위치 분류기를 나타내고, 표식 레이블 l_j의 테스트를 실시한다. 또한, u와 공간 컨텍스트 관계가 k^th인 표식 l_i로 레이블할 때, k^th로 많은 영향을 미친다.

따라서, 표식 l_i에 대한 후보영역 u의 SC-AdaBoost 함수는 다음 수학식 5와 같이 정의된다.

[수학식 5]

여기서,

는 약 분류기들의 가중치 집합이고, λ₀＞λ₁＞..＞λ_k의 조건을 만족하며,

는 인접한 이미지 패치로부터 컨텍스트 관계를 고려하지 않는 분류기를 나타낸다.

약 분류기들의 가중치를 정의하면 분류기 φ의 표식 l_i에 대한 지수 손실 함수는 수학식 6과 같이 정의된다.

[수학식 6]

는 X(u)의 정답 라벨이며, 실험적 위험 함수 R은 손실 함수 f_LOSS의 평균으로 다음 수학식 7과 같이 표현된다.

[수학식 7]

m은 학습 데이터의 개수이고, ｜V｜는 표식의 개수를 나타내고, 계수 λ_i는 위험을 최소하도록 다음 수학식 8과 같이 결정된다.

[수학식 8]

Φ는 표식 분류기의 집합으로 수학식 7의 표식 후보들 간의 의존성 때문에 직접적으로 평가될 수 없으므로, 모든 표식에 대한 Φ₀를 계산하고, 두 번째 단계에서 Φ₀의 정보를 사용하여 모든 표식들에 대한 Φ₁을 계산하고, 세 번째 단계에서는 Φ₁의 정보를 사용하여 Φ₂를 계산한다.

이러한 본 발명에 따른 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법에 있어서, SC-AdaBoost를 구성하는 방법은 도 2에 도시된 바와 같이, 전체 흐름을 나타내는 흐름도로, 입력부를 이용하여, 표식(u)와 공간 컨텍스트 관계를 갖는 인접한 표식들을 입력하는 단계(S10) 및 (b) 출력부를 이용하여, 공간 컨텍스트 아다부스트의 함수를 출력하는 단계(S20)를 포함한다.

또한 상기 S20 단계는 표식(u)을 중심으로 하는 이미지 패치 X(u)에 표식 분류기인

를 수학식 4로 결정하는 단계(S21)를 수행하고,

로 가중치 λ_k를 결정하는 단계(S23)를 수행하고, 가중치가 λ_k<0인지 확인하는 단계(S25)를 수행하며, S25 단계에서 λ_k<0이라면 가중치 결정 과정을 멈춘다.

이후, 공간 컨텍스트 아다부스트의 함수 수학식 5로 결정하는 단계(S27)를 수행하는 것으로 요약할 수 있다.

도 3은 표식(u)가 오른쪽 눈동자 l5의 후보위치이고, 표식(u)를 포함하는 인접한 표식 5개가 존재할 때 SC-AdaBoost에 대한 실시예를 나타내는 도면으로,

이고, 약 분류기들은

,

,

,

그리고

이다.

l₁...l₅는 각각 바깥쪽 눈썹, 안쪽 눈썹, 바깥쪽 눈 꼬리, 안쪽 눈 꼬리, 눈동자 레이블을 의미한다. 눈동자 표식 분류기 SC-AdaBoost는 5개의 약 분류기로 구성되어 눈동자, 안쪽 눈 꼬리, 바깥쪽 눈 꼬리, 안쪽 눈썹, 바깥쪽 눈썹 분류기의 순서대로 강한 영향력을 미친다.

즉, 안쪽과 바깥쪽 눈썹 분류기가 표식 위치추정을 정확하게 하지 못했지만 눈동자 표식 위치추정에 상대적으로 약하게 영향을 미치기 때문에 눈동자의 위치추정을 정확하게 할 수 있는 것이다.

이상에서 설명한 바와 같이, 본 발명은 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법을 적용 시, 공간 컨텍스트 관계를 갖는 약 분류기들을 결정하고, 실험적 위험을 최소화하는 방법으로 약 분류기들의 가중치를 결정함으로써, 인접한 표식들 간의 공간 컨텍스트 관계를 기반으로 위치 추정의 정확성을 크게 향상시킬 수 있다.

이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법으로 구현할 수 있다.

w₁ 내지 w₄ : 표식(u)의 위치 추정에 영향을 미치는 인접 표식들

Claims (5)

1. (a) 입력부를 이용하여, 표식(u)와 공간 컨텍스트 관계를 갖는 인접한 표식들을 입력하는 단계 및
   (b) 출력부를 이용하여, 공간 컨텍스트 아다부스트의 함수를 출력하는 단계를 포함하며,
   상기 공간 컨텍스트 아다부스트는

   

   로 정의되고, 표식 분류기 함수

   

   를 확장시킨 것으로 인접한 표식들 간의 공간 컨텍스트 관계를 포함하는 것을 특징으로 하여
   상기 공간 컨텍스트 관계는,
   동일한 얼굴 구성요소에 위치한 u와 w가 존재하는 경우, 수학식 1과 같이, x축과 y축의 2차원 벡터로 정의되는 공간상의 관계를 만족하고, 수학식 2로 정의되는 것을 특징으로 하는 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법.
   [수학식 1]
   

   

   
   여기서, μ_x와 μ_y는 두 표식 u와 w간의 평균 벡터를 나타내고, σ_x와 σ_y는 표준편차를 나타내고 p는 0보다 크고 1보다 작은 값임.
   [수학식 2]
   

   

   
   여기서, 두 표식 간의 상관관계는

   

   이고, 1에 가까울수록 두 표식간의 상관관계가 높다고 판단하고, u와 w가 같은 표식이라면

   

   이며, d(u,w)의 크기는 d_min 과 d_max를 각각 0과 10로 설정함.
   
2. 삭제
3. 제1항에 있어서,
   상기 (b) 단계는,
   (b-1) 표식(u)을 중심으로 하는 이미지 패치 X(u)에 표식 분류기인

   

   를 수학식 4로 결정하는 단계 및
   (b-2)

   

   로 가중치

   

   를 결정하는 단계를 포함하는 것을 특징으로 하는 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법.
   [수학식 4]
   

   

   
   여기서,

   

   의 k^th에 존재하는 표식을

   

   라고 하고, u와 w를 l_i와 l_j로 레이블 한 것으로,

   

   는 중심 점 w를 갖고 있는 이미지 패치에 대한 표식 위치 분류기임.
   
4. 제3항에 있어서,
   상기 (b-2) 단계 이후에,
   (b-3) 가중치가

   

   인지 확인하는 단계를 수행하며, 상기 (b-3) 단계에서

   

   이라면 가중치 결정 과정을 멈추는 것을 특징으로 하는 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법.
   
5. 제4항에 있어서,
   상기 (b-3) 단계 이후에,
   (d-4) 공간 컨텍스트 아다부스트의 함수 수학식 5로 결정하는 단계를 더 포함하는 것을 특징으로 하는 간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법.
   [수학식 5]
   

   

   
   여기서,

   

   는 약 분류기들의 가중치 집합이고,

   

   의 조건을 만족한다. 참고로

   

   는 인접한 이미지 패치로부터 컨텍스트 관계를 고려하지 않는 분류기임.
   
   

Images