KR101184097B1

KR101184097B1 - 얼굴 정면포즈 판단 방법

Info

Publication number: KR101184097B1
Application number: KR1020090120574A
Authority: KR
Inventors: 홍태화; 정영민; 손주영; 김창한; 조성대
Original assignee: 삼성전자주식회사
Priority date: 2009-12-07
Filing date: 2009-12-07
Publication date: 2012-09-18
Also published as: US20110075933A1; KR20110064117A; CN102087703A; CN102087703B; US8811744B2; EP2333694A1

Abstract

본 발명은 얼굴 정면포즈 판단 방법에 관한 것으로, 특히 얼굴의 대칭성 이용하여 얼굴의 포즈가 정면인지 판단하는 얼굴 정면포즈 판단 방법에 관한 것이다.

이를 달성하기 위해 얼굴 정면포즈 판단 방법이, 영상에서 얼굴영역을 검출하는 과정과; 상기 검출된 얼굴영역에서 눈 영역을 검출하는 과정과; 상기 얼굴영역을 정규화 하는 과정과; 상기 정규화된 얼굴영역에서 추출된 영상에서 좌우대칭을 보정한 최종 대칭스코어를 추출하여 최종 기준대칭축을 설정하고,상기 최종 기준대칭축이 설정된 영상에서 좌우매칭 영역의 히스토그램간의 유사도를 적용하여 얼굴의 정면포즈를 판단하기 위한 최종스코어를 계산하여 상기 얼굴영역의 대칭성을 분석하는 과정과; 상기 대칭성 분석을 통해 상기 얼굴 포즈가 정면인지 판단하는 과정을 포함한다.

얼굴영역, 눈 영역, 마스크, 대칭스코어, Ri-LBP(Rotation-invariant Local Binary Pattern)

Description

얼굴 정면포즈 판단 방법{METHOD FOR DETERMINING FRONTAL POSE OF FACE}

일반적으로 얼굴의 포즈를 물리적으로 정량화하기 위해서는 3개의 방향 축(Yaw, Pitch, Roll)에 대한 회전 정보를 알고 있어야 한다. 이는 정확한 측량을 요구하는 문제로서 카메라 프리뷰를 통해 들어오는 영상정보의 경우 2D 평면에 투영되기 때문에 사실상 측정이 불가능하다. 따라서 얼굴의 모양을 실린더와 같은 3차원 형태로 모델링하고 영상의 투영면과의 관계를 계산한 후 얼굴의 포즈를 추정하는 방식이 많이 연구되고 있다. 그러나 이러한 기술은 모델과 투영면과의 관계 역행렬을 매번 반복적으로 계산해야 하기 때문에 계산 량이 매우 복잡하여 임베디드 환경의 실시간 어플리케이션에는 적용이 불가능하고 성능 또한 실측치에 대해 10도 정도의 허용오차를 안고 있다.

또한 검출된 얼굴 내에서 몇 개의 특징 점(눈, 코, 입 등)을 검출 또는 추적하여 그 들의 기하학적인 관계(거리, 각, 면적 등)를 이용하여 얼굴 포즈를 추정하는 방법 또한 많이 연구되고 있다. 이러한 방식의 경우 실린더 모델 기반의 접근방 식 보다 속도에서는 이점이 있으나 이 또한 각 특징 점을 독립적으로 검출하여야 하고 검출된 포지션의 정확성이 보장되어야 기하학적인 포즈 추정 방식이 의미를 가질 수 있기 때문에 계산 량이 적지만은 않고 또한 성능이 실린더 모델보다 우수하다고 판단할 수는 없다.

그리고, 상기와 같은 방식들은 얼굴의 포즈(Yaw, Pitch, Roll) 등을 추정하기 위한 방법으로서 활용되며, 일반적으로 포즈 보다 정면인지 아닌지를 판단하는 문제를 해결하기 위해 많이 사용되는 방식은 대부분 학습을 통해 이루어진다. 즉 정면 포즈의 가능한 범위를 정의하고 정면 포즈인 학습 데이터와 정면이 아닌 학습데이터를 대량으로 수집한 뒤 이들을 최대한으로 구분해 낼 수 있는 분류기(classifier)를 학습방법을 통해 설계하는 것이다. 이를 위해 주로 신경망(Neural Network)이나 SVM(Support Vector Machine) 등의 패턴인식 기법들이 이용된다.

그러나, 얼굴의 포즈를 분석하는 기존의 방법들은 계산량에 있어서 많은 시간을 필요로 한다. 모델 기반 접근 방식은 단일 영상에 적용하기 어렵고, 동영상의 경우에도 반복적으로 에러 값들을 수정하여야 하기 때문에 실시간성이 요구되는 임베디드 시스템에는 적합하지 않다. 또한 특징점 추적기반 접근 방식은 필요로 하는 특징점들의 정확한 검출이 바탕이 되어야 하기 때문에 에러율이 높고 또한 실시간성을 보장하기 힘들다.

한편 얼굴의 대칭성을 이용하여 얼굴을 분석하는 기존의 방법들은 주로 영상 내에서 얼굴 객체의 영역을 검출하기 위해 사용되었으나 얼굴 대칭성의 특성상 얼 굴 포즈에 제한적이기 때문에 실질적으로 이용되기에는 많은 문제점이 있다.

따라서 본 발명의 목적은 얼굴 정면포즈 판단 방법에 관한 것으로, 특히 얼굴의 대칭성 이용하여 얼굴의 포즈가 정면인지 판단하는 얼굴 정면포즈 판단 방법을 제공함에 있다.

상기 목적을 달성하기 위한 휴얼굴 정면포즈 판단 방법이, 영상에서 얼굴영역을 검출하는 과정과; 상기 검출된 얼굴영역에서 눈 영역을 검출하는 과정과; 상기 얼굴영역을 정규화 하는 과정과; 상기 정규화된 얼굴영역에서 추출된 영상에서 좌우대칭을 보정한 최종 대칭스코어를 추출하여 최종 기준대칭축을 설정하고,상기 최종 기준대칭축이 설정된 영상에서 좌우매칭 영역의 히스토그램간의 유사도를 적용하여 얼굴의 정면포즈를 판단하기 위한 최종스코어를 계산하여 상기 얼굴영역의 대칭성을 분석하는 과정과; 상기 대칭성 분석을 통해 상기 얼굴 포즈가 정면인지 판단하는 과정을 포함한다.

즉, 상술한 바와 같이 본 발명은 얼굴 정면포즈 판단 방법을 제공함으로써, 많은 어플리케이션에서 유용하게 사용될 수 있으며, 정면 얼굴의 경우 피사체의 대부분의 정보들을 담고 있기 때문에 촬영자의 입장에서는 피사체의 얼굴 정면을 담을 수 있는 효과가 있다. 또한 아기나 유아의 경우 사진 촬영 시 집중력이 떨어지기 때문에 정면포즈를 검출한다면 자동적으로 좋은 포즈의 사진을 얻을 수 있는 효과가 있다. 또한 얼굴인식의 경우 포즈 변화가 심한 사진들은 얼굴을 등록한다거나 인식할 때 사람간의 차이보다 포즈간의 차이로 인해 인식이 실패하는 경우가 다수 발생하기 때문에 정면포즈에 대한 판별은 그러한 실패율을 줄일 수 있는 효과가 있다.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

도 1은 본 발명의 실시 예에 따른 얼굴 정면포즈를 판단하기 위한 과정을 도시한 흐름도이다.

상기 도 1을 참조하면, 얼굴 정면포즈 판단모드인 100단계에서 영상이 입력되면, 제어부(미도시)는 이를 감지하고 상기 입력된 영상에서 얼굴영역을 검출하는 200단계를 진행한다.

상기 200단계에서 제어부는 Adaboost 학습패턴 기반 윈도우 스캔방식을 이용하여, 상기 입력된 영상을 N개 레벨로 피라미드화 한 후 각 피라미드 영상에서 학습된 얼굴 윈도우를 스캔하면서 후보 영역을 찾는다. 그리고 마지막으로 후보 영상들 중 비슷한 위치에 존재하는 것들을 병합하여 최종적으로 얼굴영역을 결정하여 검출한다.

상기 200단계에서 얼굴영역이 검출되면, 상기 제어부는 상기 검출된 얼굴영역에서 눈 영역을 검출하는 300단계를 진행한다.

상기 300단계에서 상기 제어부는, 도 4와 같이 상기 얼굴영역을 포함하는 정 사각형 얼굴영역(401)에 좌측 눈 영역(402a)과 우측 눈 영역(402b)을 할당한다.

상기 좌측 눈 영역(402a)과 우측 눈 영역(402b)은 좌측 눈과 우측 눈을 스캔하기 위한 후보영역으로, 이는 얼굴의 포즈가 영상평면 상에서 회전되었을 경우(Roll각)눈을 발견할 확률을 높이기 위한 것이다.

따라서, 상기 제어부는 얼굴포즈에 따라 달라지는 상기 얼굴영역에서 눈 주변의 에지 방향성을 분석하여 회전(Roll)각의 회전방향(시계방향 또는 반시계방향)을 검출하고, 상기 검출된 회전각의 회전방향에 따라 상기 좌측 눈 영역(402a) 또는 우측 눈 영역(402b)을 조절한다. 상기 회전각의 회전방향에 따라 상기 좌측 눈 영역(402a) 또는 상기 우측 눈 영역(402b)을 조절 값은 메모리에 미리 저장되어 있다.

도 5는 상기 회전각의 회전방향에 따라 상기 좌측 눈 영역(402a) 또는 상기 우측 눈 영역(402b)의 조절을 설명하는 도면이다.

상기 도 5의 (a)와 같이 얼굴 포즈가 시계방향으로 기울어져 있을 때, 상기 제어부는 얼굴영역에서 눈 주변의 에지 방향성을 분석하여 회전(Roll)각의 회전방향을 검출하고, 상기 검출된 회전(Roll)각의 회전방향에 따라 좌측 눈 영역(402a)을 상측으로 조절한다.

또한 상기 도 5의 (b)와 같이 얼굴 포즈가 반시계방향으로 기울어져 있을 때, 상기 제어부는 얼굴영역에서 눈 주변의 에지 방향성을 분석하여 회전(Roll)각의 회전방향을 검출하고, 상기 검출된 회전(Roll)각의 회전방향에 따라 우측 눈 영역(402b)을 상측으로 조절한다.

상기 300단계에서 상기 회전각의 회전방향에 따라 상기 좌측 눈 영역(402a) 또는 상기 우측 눈 영역(402b)을 조절하여 눈을 검출 한 후, 상기 제어부(110)는 상기 검출된 얼굴영역을 정규화하는 400단계를 진행한다.

상기 400단계의 얼굴 정규화 과정은 도 2를 통해 상세히 설명한다.

상기 도 2를 참조하면, 상기 제어부는 상기 검출된 얼굴 영역에서 얼굴의 위치를 정렬하는 401단계를 진행한다.

상기 401단계에서 상기 제어부는 상기 검출된 눈 영역에서 눈의 위치를 미리 설정된 영상의 고정된 눈의 위치로 이동하여 얼굴을 정렬시킨 I_A영상을 추출한다.

예를 들어, 상기 미리 설정된 영상의 해상도가 50*40이고, 상기 미리 설정된 영상에서 눈의 위치가 각각 (15,30),(15,30)이라고 가정한다면, 상기 제어부는 상기 검출된 눈 영역에서 눈의 위치를 각각 (15,30),(15,30) 위치로 이동시킨다.

그리고, 상기 제어부는 상기 검출된 눈 영역에서 눈의 위치를 미리 설정된 영상의 고정된 눈의 위치로 이동한 후, 상기 얼굴영역에서 비게 되는 나머지 픽셀들에 대해 Affine 변환행렬을 계산하고, 상기 계산된 변환행렬에 맞추어 상기 나머지 빈 픽셀들 채워준다.

상기 401단계에서 얼굴이 정렬된 I_A영상을 추출한 후, 상기 제어부는 상기 I_A영상에 마스크를 설정 및 필터링하여 눈, 코 및 입의 영역이 별도로 구분되는 I_M영상을 추출을 추출하는 402단계를 진행한다.

상기 마스크가 설정된 I_M영상은 도 6과 같이, 대칭분석 시 가중치를 부여하 기 위한 눈 영역(R_E), 코 영역(R_N) 및 입 영역(R_M)에 대한 영역을 별도로 구분되며, x축에 수직방향이 되는 가상의 대칭축(A_k)을 설정할 수 있다.

도 7에서 (a)는 상기 도 1의 100단계에 입력되는 영상을 나타내며, (b)는 상기 도 1의 200단계에서 검출되는 얼굴영역을 나타내며, (c)는 상기 도 1의 300단계에서 검출되는 눈의 영역을 나타내며,(d)는 상기 도 2의 401단계에서 얼굴이 정렬된 I_A영상을 나타내며, (e)는 상기 도 2의 402단계에서 마스크가 설정된 I_M영상을 나타내고 있다.

상기 402단계에서 마스크가 설정되어 필터링 된 I_M영상이 추출되면, 상기 제어부는 상기 도 1에서 대칭성을 분석하는 500단계를 진행한다.

상기 500단계의 대칭성 분석 과정은 도 3을 통해 상세히 설명한다.

상기 도 3을 참조하면, 상기 제어부는 상기 I_M영상에서 좌우대칭을 보정한 최종기준 대칭축을 설정하는 501단계를 진행한다.

상기 501단계는 상기 눈 검출과정의 부정확을 일부 보정하는 방법으로, 상기 제어부는 상기 도 6과 같이 상기 I_M영상에서 기준 대칭축(Ak)을 기준으로 좌우로 일정픽셀 값을 가지는 마진(Margin)(M)을 두어 좌우 영역의 대칭특징을 비교한다.

상기 제어부는 상기 마진(M) 범위 내에서 상기 기준 대칭축(Ak)을 이동시키면서 좌우 대칭을 비교한 대칭스코어를 구한 후, 그 중 최소 값을 가지는 대칭축에서의 대칭스코어를 상기 I_M영상의 최종 대칭스코어로 정의한다. 이를 정리하면 하기 와 같은 <식 1>과 같다.

<식 1>

S_{k :}대칭스코어

A_R:X축에 수직방향이 되는 기준대칭축

M : 기준대칭축(A_R)을 중심으로 좌우 일정 픽셀 값을 가지는 마진(Margin)의 범위

k : 마진(M)의 범위에서 이동하는 이동 대칭축

상기 <식 1>에서, j번째 얼굴의 대칭스코어 C_j는 이동 대칭축 k가 기준 대칭축(A_R)과 마진(M)의 정의에 의해 범위를 가질 때, 각 축에 대한 대칭스코어 S_k중 최소 값으로 정의한다.

상기 501단계에서 상기 I_M영상에 대한 최종기준 대칭축이 설정되면, 상기 제어부는 상기 I_M영상의 대칭성을 분석하기 위해 Ri-LBP(Rotation-invariant Local Binary Pattern)을 적용하는 502단계를 진행한다.

도 8은 Ri-LBP을 설명하기 위한 도면이다.

상기 도 8을 참조하면, LBP(Local Binary Pattern)는 3x3 마스크내의 중심 픽셀에 대해 주변 픽셀과의 크기 비교를 통해 선택된 이진 패턴을 의미한다. 주변의 8개 픽셀에 대해 일정한 방향이 정해지면 각 픽셀이 중심보다 크면 1, 작거나 같으면 0을 할당하여 8bit의 값이 결정되고 이를 중심픽셀의 값으로 할당한다. 따라서 도 8의 (a) 경우, 256개(0 ~ 2⁸-1)의 패턴을 생성하게 되며, 상기와 같은 패턴은 조명에 강인한 면을 갖고 있다.

또한 하나의 패턴에 대해 비트이동을 통해 가지게 되는 패턴들을 동일한 카테고리로 묶었을 경우 이를 Rotation-invariant LBP(Ri-LBP)라고 한다. 상기 도 8의 (b)와 같이, 상기 도 8의 (a)에서 추출된 하나의 패턴에 대해 한 비트씩 8번의 비트 이동을 하게 되면 8개의 패턴들이 획득되고, 상기 8개의 패턴을 동일한 패턴으로 묶게 되면, LBP를 통해 생성된 256개의 패턴은 36개의 패턴으로 감소하게 된다. 상기 도 8의 (c)는 원본 영상에 LBP를 적용한 영상과 Ri-LBP 적용한 영상을 나타내고 있다.

상기 502단계에서 상기 I_M영상에 Ri-LBP가 적용되면, 상기 제어부는 상기 Ri-LBP가 적용된 I_M영상에서 좌우매칭 영역인 눈, 코 및 입의 영역에 대한 각각의 히스토그램의 유사도를 계산하는 503단계를 진행한다.

상기 503단계에서 상기 제어부는 좌우매칭 영역인 눈(eye), 코(nose) 및 입(mouth)의 영역에 대한 각각의 히스토그램의 유사도를 계산하기 위해 하기 <식 2>와 같이 Bhattacharyya거리를 이용한다.

<식 2>

: 좌측영역(눈,코 및 입)의 Ri-LBP 패턴 히스토그램

: 우측영역(눈,코 및 입)의 Ri-LBP 패턴 히스토그램

도 9는 상기 대칭성 분석을 설명하기 위한 도면, (a)는 마스크가 적용된 I_M영상이고, (b)는 상기 (a)영상에 Ri-LBP가 적용된 영상이며, (c)는 상기 (b)영상에서 상기 도 3의 501단계에서 설정된 최종 기준 대칭축에 따라 좌측 매칭 영역(eye)과 우측 매칭 영역(eye)에 각각에 대한 Ri-LBP 패턴 히스토그램을 나타내고 있다.

상기 503단계에서 상기 <식 2>를 통해 좌우매칭 영역인 눈,코 및 입의 영역에 대한 각각의 히스토그램간의 유사도가 계산되면, 상기 제어부는 상기 계산된 히스토그램간의 유사도를 하기 <식 3>에 적용하여 얼굴의 정면포즈를 판단하기 위한 최종스코어를 계산하는 504단계를 진행한다.

<식 3>

I=1 : 눈 영역

I=2: 코 영역

I=3: 입 영역

W: 가중치 (W₁ + W₂ + W₃=1, W₂ > W₃ > W₁)

상기 5041단계에서 얼굴정면 포즈를 판단하기 위한 최종스코어가 계산되면, 상기 제어부는 이를 감지하고 상기 도 1의 600단계에서 상기 최종스코어와 미리 설정된 기준 값을 비교한다. 상기 최종스코어가 상기 미리 설정된 기준 값보다 크면, 상기 제어부는 상기 100단계에서 입력된 영상에서의 얼굴 포즈가 정면임을 판단하는 700단계를 진행한다. 그러나 상기 최종스코어가 상기 미리 설정된 기준 값보다 작으면, 상기 제어부는 상기 100단계에서 입력된 영상의 얼굴 포즈가 정면이 아닌 것으로 판단하는 800단계를 진행한다.

상술한 본 발명의 설명에서는 휴대 단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.

도 1은 본 발명의 실시 예에 따른 얼굴 정면포즈를 판단하기 위한 과정을 도시한 흐름도.

도 2는 도 1에서 얼굴정규화 과정을 도시한 흐름도.

도 3은 도 1에서 대칭성분석 과정을 도시한 흐름도.

도 4-도 5는 도 2에서 눈 영역 검출과정을 설명하기 위한 도면.

도 6은 도 2에서 마스크가 적용된 I_A영상을 설명하기 위한 도면.

도 7은 도 2에서 얼굴이 정렬된 I_A영상과 마스크가 적용된 I_M영상을 설명하기 위한 도면

도 8은 Ri-LBP을 설명하기 위한 도면.

도 9는 도 1에서 대칭성 분석을 설명하기 위한 도면.

Claims

얼굴 정면포즈 판단 방법에 있어서,

영상에서 얼굴영역을 검출하는 과정과,

상기 검출된 얼굴영역에서 눈 영역을 검출하는 과정과,

상기 얼굴영역을 정규화 하는 과정과,

상기 정규화된 얼굴영역에서 추출된 영상에서 좌우대칭을 보정한 최종 대칭스코어를 추출하여 최종 기준대칭축을 설정하고,상기 최종 기준대칭축이 설정된 영상에서 좌우매칭 영역의 히스토그램간의 유사도를 적용하여 얼굴의 정면포즈를 판단하기 위한 최종스코어를 계산하여 상기 얼굴영역의 대칭성을 분석하는 과정과,

상기 대칭성 분석을 통해 상기 얼굴 포즈가 정면인지 판단하는 과정을 포함하는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.
제1 항에 있어서,

상기 얼굴영역은 Adaboost 학습패턴 기반 윈도우 스캔방식을 이용하여 검출되는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.
제1 항에 있어서, 상기 눈 영역을 검출하는 과정이,

상기 얼굴영역을 포함하는 정사각형 얼굴영역에 좌/우측 눈 영역을 할당하는 과정과,

상기 얼굴포즈에 따라 검출되는 회전각의 회전방향에 따라, 상기 좌/우측 눈 영역을 조절하여 눈 영역을 검출하는 과정을 포함하는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.
제1 항에 있어서, 상기 얼굴영역을 정규화 하는 과정이,

상기 검출된 눈 영역에서 눈의 위치를 미리 설정된 영상의 고정된 눈의 위치로 이동하여 얼굴을 정렬시킨 I_A영상을 추출하는 과정과,

상기 I_A영상에 마스크를 설정하여 눈,코 및 입 영역이 구분되는 I_M영상을 추출하는 과정을 포함하는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.
제4 항에 있어서,

상기 검출된 눈 영역에서 눈의 위치를 상기 미리 설정된 영상의 고정된 눈의 위치로 이동한 후, 상기 얼굴영역에서 나머지 빈 픽셀들을 Affine 변환행렬계산을 통해 채우는 과정을 더 포함하는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.
제1 항에 있어서, 상기 대칭성을 분석하는 과정이,

상기 정규화된 얼굴영역에서 추출된 I_M영상에서 좌우대칭을 보정한 최종 대칭스코어를 추출하여 상기 최종 기준대칭축을 설정하는 과정과,

상기 최종 기준대칭축이 설정된 I_M영상에 Ri-LBP를 적용하는 과정과,

상기 Ri-LBP가 적용된 I_M영상에서 좌우매칭 영역의 히스토그램간의 유사도를 계산하는 과정과,

상기 계산된 좌우매칭 영역의 히스토그램간의 유사도를 적용하여 얼굴의 정면포즈를 판단하기 위한 최종스코어를 계산하는 과정을 포함하며,

상기 I_M영상은 상기 검출된 눈 영역에서 눈의 위치를 미리 설정된 영상의 고정된 눈의 위치로 이동하여 얼굴을 정렬시킨 I_A영상에 마스크를 설정하여 눈, 코 및 입영역을 구분하는 영상인 것을 특징으로 하는 얼굴 정면포즈 판단 방법.
제6 항에 있어서, 상기 최종 대칭스코어는 하기 <식 1>을 통해 추출되는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.

<식 1>

S_{k :}대칭스코어

A_R:X축에 수직방향이 되는 기준대칭축

M : 기준대칭축(A_R)을 중심으로 좌우 일정 픽셀 값을 가지는 마진(Margin)의 범위

k : 마진(M)의 범위에서 이동하는 이동 대칭축
제6 항에 있어서,

상기 최종 대칭스코어는 M의 범위 내에서 이동하는 이동 축(k)에 대한 대칭스코어(S_k) 중 최소 값이며,

상기 M은 상기 I_M영상에서 X축에 수직방향이 되는 기준대칭축(A_R)을 중심으로 좌우 일정 픽셀 값을 가지는 마진(Margin)의 범위인 것을 특징으로 하는 얼굴 정면포즈 판단 방법.
제6 항에 있어서,

상기 좌우매칭 영역은 눈, 코 및 입에 대한 각각의 영역을 포함하는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.
제6 항에 있어서, 상기 좌우매칭 영역의 히스토그램간의 유사도 계산은 하기 <식 2>를 통해 계산되는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.

<식 2>

: 좌측영역(눈,코 및 입)의 Ri-LBP 패턴 히스토그램

: 우측영역(눈,코 및 입)의 Ri-LBP 패턴 히스토그램
제6 항에 있어서, 상기 최종스코어는 하기 <식 3>을 통해 계산되는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.

<식 3>

I=1 : 눈 영역

I=2: 코 영역

I=3: 입 영역

W_i(i=: 1,...,3):가중치 (W₁ + W₂ + W₃=1, W₂ > W₃ > W₁)
제1 항에 있어서, 상기 얼굴 포즈가 정면인지 판단하는 과정이,

상기 대칭성 분석을 통해 추출된 최종스코어와 미리 설정된 기준 값을 비교 하는 과정과,

상기 최종스코어가 상기 미리 설정된 기준 값 이상이면 얼굴포즈가 정면인 것으로 판단하는 과정을 포함하는 것을 특징으로 하는 얼굴 정면포즈 판단 방법.