KR20040040826A - Ｓｖｍ을 이용한 얼굴 영역 검출 방법 - Google Patents

Abstract

본 발명은 카메라로부터 입력된 영상에서 얼굴 영역을 보다 빠르고 정확하게 검출하여 실시간 얼굴 검출을 가능케 하는 SVM을 이용한 얼굴 영역 검출 방법에 관한 것으로서, 카메라로 촬영된 영상에서 명암 정보를 이용하여 눈 쌍 후보를 검출하고, 상기 추출된 두 눈의 중심을 이용하여 기울기 보정 및 얼굴 영역을 정규화 한 후, 상기와 같이 정규화된 얼굴 후보 영역들을 미리 학습시킨 SVM 검증기를 통해 검증하여 가장 확률이 높은 얼굴 후보 영역을 얼굴 영역으로 검출하도록 하는 것이다.

Description

ＳＶＭ을 이용한 얼굴 영역 검출 방법{FACE REGION DETECTING METHOD USING SUPPORT VECTOR MACHINE}

본 발명은 카메라로부터 입력된 영상에서 얼굴 영역을 검출하는 방법에 관한 것이며, 먼저 명암 정보를 이용하여 두 눈의 후보 영역들을 검출하고, 이를 이용하여 각각의 얼굴 후보 영역들에 대해 기울기 보정 및 정규화를 수행한 후, SVM검증기를 통해 얼굴 영역임을 최종적으로 판단함으로써 보다 빠르고 신뢰성 있는 SVM을 이용한 얼굴 영역 검출 방법에 관한 것이다.

일반적으로, 보안이나 사용자 인식에 사용되는 얼굴 인식 기술은 크게 얼굴 검출, 특징 추출, 동일성 검증의 세가지 단계로 이루어진다.

얼굴 인식 결과에 대한 성능을 높이기 위해서는 무엇보다도 첫 번째 과정인 정확한 얼굴의 검출이 선행되어야 한다. 특히, 얼굴의 전체적인 특징을 이용하는 얼굴 인식 방법에 있어서는 얼굴 영역을 얼마나 정확히 검출하는가 하는 문제가 얼굴 인식의 성능을 좌우하게 된다.

얼굴 영역 검출을 위하여 기존에는 두 눈의 중심을 먼저 찾고, 이를 이용하여 얼굴 영역을 검출하는데 있어서, 탐지된 여러 개의 눈의 쌍 후보들 중에서 탬플릿 매칭 방법 또는 다른 결정 규칙을 사용하여 하나의 눈 쌍을 결정한 후, 결정된 눈쌍을 중심으로 얼굴 영역을 검출하고 있다.

그런데, 이러한 방법은 얼굴 검출 속도가 빠르고 기울어진 얼굴에 대한 기울기 보정이 용이하지만, 눈썹이나 머리카락을 눈으로 오인식할 수 있으며 그에 따라 잘못된 영역을 얼굴로 검출하는 경우가 많이 발생한다는 단점이 있다.

얼굴 영역 검출의 다른 방법으로, 얼굴의 탬플릿을 학습시킨 신경망이나 SVM(Support Vector Machine)을 이용하는 방법이 있으나, 이는 전체 영상에 대해서피라미드 기법으로 영상의 크기를 줄여나가며 스캔해서 얼굴의 유무를 판단하는 것이기 때문에, 처리시간이 길고 따라서 실시간 얼굴 영역 검출의 경우에는 적용하기 힘들다는 단점이 있다.

이에 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로서, 그 목적은 영상으로부터 하나 이상의 눈의 쌍 후보를 찾고 그 눈의 쌍 후보를 기준으로 다수의 얼굴 후보 영역을 검출후 SVM 검증기를 이용하여 최종적으로 정확한 얼굴영역을 검출하도록 함으로서 얼굴의 잘못된 검출을 막고 보다 신뢰성있는 실시간 얼굴 검출을 가능하게 한 SVM을 이용한 얼굴 영역 검출 방법을 제공하는 것이다.

도 1은 본 발명에 의한 얼굴 영역 검출 방법을 도시한 플로우챠트이다.

도 2는 본 발명에 의한 얼굴 영역 검출 방법에 있어서, 눈의 쌍 후보 영역 검출 과정을 나타낸 플로우챠트이다.

도 3은 본 발명에 의한 얼굴 영역 검출 방법에 있어서, 얼굴 영역 정규화 과정을 나타낸 플로우챠트이다.

도 4는 본 발명에 의한 얼굴 영역 검출 방법에 있어서, SVM 생성과정을 보인 플로우챠트이다.

도 5a는 본 발명의 얼굴 영역 검출 방법에 의하여 검출된 눈의 쌍 후보 영역의 일예를 보인 영상이다.

도 5b는 본 발명에 의한 얼굴 영역 검출 방법에 의하여 정규화된 얼굴 후보 영역의 일예를 보인 영상이다.

상술한 본 발명의 목적을 달성하기 위한 기술적인 수단으로서, 본 발명에 의한 SVM을 이용한 얼굴 영역 검출 방법은

입력된 영상의 명암 정보를 이용하여 하나 이상의 눈 쌍 후보를 검출하는 제 1단계와;

상기 검출된 하나 이상의 눈 쌍 후보의 중심을 기준으로 영상에 대한 기울기 보정을 실시하고 얼굴 후보 영역을 정규화하는 제 2단계와;

상기 정규화된 얼굴 후보 영역들을 사전에 학습된 SVM 검증기로 검증하여 얼굴일 확률이 가장 높은 얼굴 후보 영역을 얼굴 영역으로 검출하는 제 3단계를 포함하여 이루어지는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 의한 얼굴 영역 검출 방법에 대하여 상세하게 설명한다.

도 1은 본 발명에 의한 얼굴 영역 검출 방법의 전체 과정을 나타낸 플로우챠트이다.

상기 도면에 의해 도시된 바와 같이, 본 발명은 카메라로부터 영상을 획득하면(100), 상기 획득된 영상중 눈의 쌍 후보 영역을 추출한다(200).

상기 과정에서 하나의 눈 쌍 후보 영역도 검출되지 않았다면, 다시 초기 단계(100)로 되돌아가 새로운 영상을 획득하고, 획득된 영상에서 눈의 쌍 후보 영역을 추출하는 과정을 하나 이상의 눈의 쌍 후보 영역이 검출될 때까지 반복한다(300).

그 다음, 상기에 의해 검출된 눈의 쌍 후보영역들 각각에 대한 각 후보영역의 중심을 이용하여 얼굴 후보 영역을 정규화한다(400). 이는 인식코자 하는 대상 물의 크기나 방향이 다를 수 있으므로, 이를 동일한 크기 및 방향으로 정규화하여 인식이 용이하도록 하기 위한 것이다.

그 다음으로, 상기 정규화된 얼굴 후보 영역들을 각각 SVM검증기로 입력하여, 실제 얼굴 영역인지 아닌지를 검증한다(500).

이때, 검증에 사용되는 SVM 검증기는 미리 수집된 얼굴 영상과 얼굴이 아닌 영상 데이타들로부터 학습된 것으로서, 입력된 얼굴 후보 영역에 대한 검증 결과값으로, 얼굴 영역이라면 양의 값을, 얼굴 영역이 아니라면 음의 값을 출력한다.

그리고, 상기 검증결과를 체크하여, 정규화된 얼굴 후보 영역들 중 SVM 검증기로부터 양의 값을 받은 후보 영역이 존재하는지를 체크한다. 만약, 양의 값을 받은 얼굴 후보 영역이 하나도 존재하지 않는다면, 적절한 얼굴 후보 영역이 검출되지 않은 것이므로, 다시 초기단계(100)로 되돌아가 다른 영상에 대해서 상기 과정을 반복한다(700).

반대로, 정규화된 얼굴 후보 영역들 중, 양의 결과를 갖는 후보 영역이 하나 이상 존재하면, 그 중에서 가장 큰 값을 갖는 얼굴 후보 영역을 얼굴영역으로 검출한다(800).

따라서, 잘못된 얼굴 영역의 검출 자체가 일어날 수 없으며, 신뢰성있는 실시간 얼굴 영역 검출이 가능케 된다.

도 2는 상술한 얼굴 영역 검출 과정에 있어서, 영상으로부터 눈 쌍 후보 영역을 추출하는 과정(200)을 더 상세하게 나타난 플로우챠트이다.

눈쌍 후보 영역은 상기 도시된 바와 같이, 획득된 영상신호(흑백신호)에 적당한 임계치를 주어 비교하여 수평 수직 에지를 검출하고(210). 추출된 에지에 레이블링을 수행하여(220), 고립영역을 추출한다(230). 즉, 영상의 윤곽을 추출해 내는 것이다.

상기와 같이 레이블링을 통해 생성된 고립 영역들을, 각각 크기, 모양, 위치 등의 정보를 복합적으로 판단하여, 그 중에서 눈의 쌍 후보 영역을 검출한다(240).

즉, 일반적인 눈의 쌍 영역과 가장 유사한 후보 영역을 검출하는 것이다.

도 5a는 이러한 과정을 통해 검출된 눈 쌍 후보 영역의 일예를 보인 것으로서, 소정의 샘플 영상(250)내에서 검출된 눈의 쌍 후보 영역을 하얀 선으로 표시하였다.

도 3은 상술한 얼굴 영역 검출 과정에 있어서, 검출된 눈의 쌍 후보영역을 중심으로 얼굴 후보 영역을 검출하여 정규화하는 과정(400)을 상세하게 나타난 플로우챠트로서, 얼굴 후보 영역의 정규화는 다음과 같이 이루어질 수 있다.

앞서 설명한 과정에 의해 검출된 눈의 쌍 후보 영역들 각각에 대해, 두 눈의 중심을 구하고, 상기 두 눈의 중심의 기울기를 이용하여, 영상을 회전시켜 영상의 기울기를 보정한다(410).

또한, 상기 눈의 쌍 후보 영역들 각각에 대한 두 눈의 중심 사이의 거리를 기준으로 하여, 얼굴 후보 영역을 클리핑한다(420).

그리고, 클리핑된 얼굴 후보 영역들을 모두 미리 설정된 기준 사이즈, 예를 들어, 32 ×32 의 크기로 샘플링한다(430).

그리고, 상기 샘플링된 얼굴 후보 영역들에서 배경이나 머리 모양에 영향을 받지 않도록 매스킹 과정을 수행한다(440). 도 5b에 첨부된 영상(460)은 앞서 설명한 바와 같이, 도 5a에 보인 눈의 쌍 후보 영역을 기준으로 추출되어 정규화 및 매스킹 과정을 거친 얼굴 후보 영역(460)의 일예를 보인 것이다.

마지막으로, 상기 도 5b와 같이 정규화 및 매스킹 처리한 얼굴 후보 영역의 각 픽셀을 SVM 검증기의 입력범위의 신호가 되도록 -1 에서 1 사이의 값으로 정규화한다(450).

따라서, 추출된 모든 얼굴 후보 영역들이 동일한 사이즈 및 신호레벨로 정규화되어 SVM 검증기를 통한 비교가 용이하게 된다.

상기 얼굴 영역의 검증에 사용되는 SVM에 대하여 간단히 설명하면, SVM은 두 클래스(class)를 분류하는 하이퍼플랜(hyperplane)을 설계하는 것으로, 훈련 데이터가 다음과 같이 주어졌다고 가정한다.

여기서, x_i는 입력패턴이고, y_i는 목표출력이다.

상기에서 만약 두 클래스가 선형 분리가 가능하다면, 다음의 수학식 2와 같은 하이퍼플랜에 의해서 두 클래스를 구분할 수 있다.

이러한 하이퍼플랜중에서 하이퍼플랜과 가장 가까운 데이터 포인트와의 거리를 최대로 하는 하이퍼플랜을 최적의 하이퍼플랜(optimal hyperplane)이라 하고, 최적 하이퍼플랜과 거리가 가장 가까운 데이터를 지원 벡터(support vector)라고한다. SVM은 이러한 지원 벡터(support vector)를 이용하여 최적 하이퍼플랜을 나타내는 방법으로, 다음의 수학식 3과 같이 구할 수 있다.

상기는 입력데이터들이 선형 분리 가능한 경우이며, 입력데이터가 선형 분리 가능하지 않은 경우에는 커널(kernel) 함수를 이용하면 최적의 하이퍼플랜을 얻을 수 있다.

상술한 설명은 SVM에 대한 일반적으로 알려진 기본 개념을 설명하기 위한 것으로서, 상기와 같이 SVM은 n차원 공간 상에서 두 클래스를 분류함에 있어서 가장 대표적인 특성을 갖는 소수의 벡터들을 이용하여, 두 클래스간의 거리를 최대화하면서 같은 클래스에 속하는 데이터들을 같은 쪽에 위치하게 하는 n-1 차원의 최적 하이퍼플랜(Hyperplane)을 찾아가면서 학습을 수행하는 것이다.

이하, 본 발명에 의한 얼굴 영역 검증용 SVM의 학습에 대해서 설명한다.

도 4는 본 발명에 의한 얼굴 영역 검출 방법에서, 상기 정규화된 영상 후보 영역이 실제 얼굴 영역인지 아닌지를 검증하는 SVM 검증기를 생성하는 과정을 보인 플로우챠트로서, 이는 얼굴 영역 검출 처리전 미리 생성되며, 새로운 데이터에 의해 수시로 학습됨으로서 결과의 정확도를 높힐 수 있다.

SVM 검증기 생성은 먼저, 적당한 개체수의 얼굴 영상과 얼굴이 아닌 영상을 구하고, 각각 앞서의 전처리와 같이 소정 사이즈 32 ×32 크기로 샘플링하고, 매스킹을 수행한 후, 각 픽셀을 -1 에서 1 사이의 값으로 정규화하여 다수의 학습용 DB 및 테스트용 DB를 획득하는(610) 것으로 시작된다.

그리고, 학습용 DB의 정규화된 영상들을 각각 SVM의 입력으로 하고, 각각의 영상이 얼굴인 경우 출력을 1로, 얼굴이 아닌 경우 출력을 -1로 지정한 후, SVM을 학습시킨다(620).

이때, 얼굴이 아닌 영상은 얼굴 영상보다 훨씬 다양할 수 있기 때문에, 대표 영상을 선택하는 문제가 어려워진다. 그리고, 학습에 사용된 얼굴이 아닌 영상에 어떤 영상을 이용하였느냐에 따라서 SVM 검증기의 성능이 크게 달라질 수 있기 때문에, 여기에서, 학습용 얼굴이 아닌 영상의 선택이 매우 중요하다.

참고로 카메라로 촬영된 장소의 영상, 즉, 얼굴의 주된 배경이 되는 영상을 얼굴이 아닌 학습용 영상으로 이용하는 것이 검증의 신뢰도를 가장 높힐 수 있다.

상기와 같이 학습에 의해 생성된 SVM 검증기는 얼굴 영상인 경우, 양의 값을, 얼굴이 아닌 영상에 대해서는 음의 값을 출력하게 된다.

그 다음, 이렇게 생성된 SVM 검증기에 대하여, 상기 학습용 영상 DB와 같은 전처리 작업을 수행하여 처리한 적당한 개체수의 테스트용 영상 DB의 데이타로 테스트를 수행한다(630).

그리고, 상기 SVM의 테스트결과를 체크하여, 상기 SVM 검증기의 인식률이 설정 조건을 만족하는지를 판단한다(640). 예를 들어, SVM의 검증결과와, 실제 테스트에 사용된 영상을 비교하여, 인식률이 설정 조건(예를 들어, 95% 이상의 정확도)을 만족하는지를 판단하는 것이다.

상기에서, 테스트 결과가 설정조건을 만족시키지 못한다면, 테스트한 영상중 오인식된 영상을 다시 학습용 영상DB로 추가시킨 후(650), 다시 학습을 실행한다(620).

그리고, 상기 테스트 결과가 설정 조건을 만족한다면, 학습을 종료하고, 이렇게 학습이 종료된 SVM 검증기는 실제 얼굴 영역 검출 과정에서 검출된 얼굴 후보 영역의 검증을 수행한다.

상술한 바와 같이, 본 발명은 카메라로부터 입력된 영상에서 얼굴의 구성 요소 중 눈의 쌍 후보 영역을 검출하고, 각각의 눈의 쌍 후보 영역들을 중심으로 하는 얼굴 후보 영역을 검출한 후 SVM 검증을 통하여 최종적으로 가장 확률이 높은 얼굴 후보 영역을 얼굴 영역으로 검출함으로서 보다 빠르게 신뢰성있는 얼굴인식을 가능케 하는 우수한 효과가 있다.

더하여, 본 발명은 얼굴 영역 검출의 처리속도 및 신뢰성을 향상시킴으로서 실시간 얼굴 영역 검출을 가능케 하는 우수한 효과가 있는 것이다.

Claims (6)

1. 소정의 영상내에서 얼굴 영역을 검출하는 SVM을 이용한 얼굴 영역 검출 방법에 있어서,

   입력된 영상의 명암 정보를 이용하여 하나 이상의 눈 쌍 후보를 검출하는 제 1단계와;

   상기 검출된 하나 이상의 눈 쌍 후보의 중심을 기준으로 영상에 대한 기울기 보정을 실시하고 얼굴 후보 영역을 정규화하는 제 2단계와;

   상기 정규화된 얼굴 후보 영역들을 사전에 학습된 SVM 검증기로 검증하여 얼굴일 확률이 가장 높은 얼굴 후보 영역을 얼굴 영역으로 검출하는 제 3단계를 포함하여 이루어지는 것을 특징으로 하는 SVM을 이용한 얼굴 영역 검출 방법.
2. 제 1항에 있어서, 상기 제 1단계는

   입력된 영상의 명암정보에 적당한 임계치를 적용하여 수평 및 수직 에지를 검출하는 단계와,

   상기 단계에서 검출된 수평 및 수직 에지의 연결영역에 순서별로 레이블링을 처리하여 고립 영역들을 추출하는 단계와,

   상기 단계에서 추출된 고립영역들을 사전에 설정된 크기, 모양, 위치의 기준정보와 복합적으로 비교하여 눈의 쌍 영상과 유사한 눈의 쌍 후보 영역들을 검출하는 단계로 이루어지는 것을 특징으로 하는 SVM을 이용한 얼굴 영역 검출 방법.
3. 제 1항에 있어서, 상기 제 2단계는 각각의 눈의 쌍 후보 영역에 대하여,

   눈의 쌍 후보 영역의 두 눈의 중심을 구하는 단계와,

   상기 눈의 중심의 기울기를 이용하여 영상을 회전시켜 기울기를 보정하는 단계와,

   상기 두 눈의 중심 거리를 이용하여 얼굴 후보 영역을 클립핑하는 단계와,

   상기 클립핑된 얼굴 후보 영역을 설정된 사이즈로 샘플링하는 단계와,

   상기 샘플링된 영역에서 배경이나 머리모양에 영향을 받지 않도록 매스킹과정을 수행하는 단계와,

   상기 소정 사이즈로 샘플링된 얼굴 후보 영역의 각 픽셀값을 -1에서 1사이로 정규화는 단계를 수행하여 정규화된 얼굴 후보 영역들을 검출하는 것을 특징으로 하는 SVM을 이용한 얼굴 영역 검출 방법.
4. 제 1항에 있어서, 상기 제 3 단계는

   상기 제 2 단계에서 정규화 된 얼굴 후보 영역들을 각각 SVM 검증기에 입력하여 검증하는 단계와,

   상기 단계에서 검증된 각 얼굴 후보 영역들중 검증 결과값이 가장 큰 양의 결과값을 갖는 얼굴 후보 영역을 최종적으로 얼굴영역으로 검출하는 단계로 이루어지는 것을 특징으로 하는 SVM을 이용한 얼굴 영역 검출 방법.
5. 제 1항에 있어서, 상기 방법은

   소정 개체수의 정규화된 얼굴 영상과 얼굴이 아닌 영상들을 수집하여 학습용 DB와 테스트용 DB를 획득하는 단계와,

   상기 획득된 학습용 DB의 얼굴 영상에 대해 출력을 1로, 얼굴이 아닌 영상에 대해 출력을 -1로 하여 SVM을 학습시킴으로서 SVM 검증기를 생성하는 단계와,

   상기 생성된 SVM 검증기로 테스트용 DB의 영상을 검사하는 단계와,

   상기 테스트결과 상기 SVM 검증기의 인식률이 설정 조건을 만족하는지를 체크하는 단계;

   상기 체크결과 SVM 검증기의 테스트결과가 설정조건을 만족하지 못하면 해당 SVM검증기에서 오인식한 영상들을 학습용 DB에 추가시킨 후 상기 학습과정을 반복시키는 단계;

   상기 체크결과 SVM 검증기의 테스트결과가 설정조건을 만족하면, SVM 학습을 종료하는 단계로 실행되는 제4단계를 더 포함하는 것을 특징으로 하는 SVM을 이용한 얼굴 영역 검출 방법.
6. 제 1 항 내지 제 5 항중 어느 한 항에 기재된 단계를 수행하는 프로그램을 기록한 컴퓨터 판독가능한 기록매체.