KR20090042558A

KR20090042558A - Ａａｍ을 이용한 얼굴검출 방법 및 장치

Info

Publication number: KR20090042558A
Application number: KR1020070108386A
Authority: KR
Inventors: 오현준; 오석표
Original assignee: 에스케이 텔레콤주식회사
Priority date: 2007-10-26
Filing date: 2007-10-26
Publication date: 2009-04-30
Also published as: KR100951315B1

Abstract

본 발명에 따른 AAM을 이용한 얼굴검출 방법은, [a] 입력 영상에서 얼굴 윤곽을 검출하는 단계; [b] 상기 얼굴 윤곽의 내부에서 1이상의 얼굴 특징부를 검출하는 단계; [c] 상기 얼굴 윤곽과 상기 얼굴 특징부를 기반으로 Shape Model(형상 모델)을 변환하는 단계; [d] 상기 변환된 Shape Model로 상기 얼굴 윤곽 내부의 상기 얼굴 특징부를 AAM(Active Appearance Model)검색하는 단계; 및 [e] 상기 AAM검색된 얼굴 특징부를 기반으로 상기의 얼굴윤곽 영역을 AAM검색하는 단계를 포함하는 것을 특징으로 한다.

따라서, 보다 효과적으로 정확한 얼굴검출을 수행할 수 있다.

얼굴인식, AAM

Description

ＡＡＭ을 이용한 얼굴검출 방법 및 장치{Method and device detect face using AAM(Active Appearance Model)}

AAM 방식으로 얼굴 인식을 수행하여 얼굴을 검출할 수 있는 방법 및 장치에 관련된 기술분야에 속하는 발명이다.

Active Shape Model(ASM) 방식을 개선한 방법인 AAM(Active Appearance Model)이 있다. 상기 AAM은 기존 ASM의 물체 형태 정보와 물체의 텍스쳐 정보를 이용하여 이미지 내부의 물체를 찾는 방법이다. 이 방법은 물체의 형태 정보와 텍스쳐 정보를 이용하여 물체의 형태를 유지하면서 학습된 텍스쳐 정보를 기반으로 가장 유사한 텍스쳐를 가지는 부분을 검색하여 보다 정확하게 물체의 형태 및 위치를 찾을 수 있도록 하는데, 본 발명에서는 이러한 AAM 방식에 있어서 보다 개량된 발명을 제공한다.

즉, AAM(Active Appearance Model)을 기반으로 하는 얼굴 추정 방법 등에 있어서 그 검출 성능을 보다 향상시키기 위한 발명이다.

얼굴을 검출하고 추적하는 기술은 이동로봇, 감시 시스템, 인간과 로봇간의 상호작용 등 많은 응용시스템에서 연구되고 있는 분야 중 하나이다. 현재의 비전 기술을 이용하여 실시간으로 얼굴을 검출하고, 추적하는 일은 어려운 일임에도 불구하고, 컴퓨터 성능의 발달로 인해 영상처리 기법의 발전과 더불어 이에 관한 연구가 활발히 진행되고 있다.

얼굴 추적은 영역 추적 방법과 세부 특징점 추적 방법으로 그 유형을 나눌 수 있다. Qian은 피부색 정보를 이용해 얼굴 영역을 추적하였고, Birchfield는 얼굴의 색과 형태 정보 모두를 이용한 방법을 제안했다. 얼굴 영역 추적방법과 비교해 Cootes가 제안한 AAM 알고리즘은 정교한 얼굴 특징점 정보를 추출할 수 있기 때문에 추적과 인식에서 많이 사용되고 있고 좋은 성능을 보여 주고 있다.

얼굴인식의 알고리즘에는 ACM, ASM, AAM 등의 방법이 있다.

Active Contour Model (ACM)은 검색되는 형태가 뱀이 움직이는 모양과 유사하여 일명 Snake모델이라고도 불린다. 이 모델은 물체의 윤곽선을 추적할 수 있는 변형적(deformable) 모델이다.

도1의 식별기호 101은 상기 ACM에 의한 모델링방법의 예시를 보여준다. 이 알고리즘은 비학습형이며, 오일러 식을 이용하여 비교적 빠르게 각 점들을 찾아 낼 수 있지만 Image 항과 Constraint 항에 의한 수렴으로는 결과를 확신하기 힘들고 이미지 힘이 높은 곳에서 윤곽선의 일부분으로 몰리는 경향이 있다. 또한 Concavity(오목한 모양)의 부분에서 윤곽선의 추적이 어렵다. Active Shape Model (ASM)은 Cootes 등에 의해 제안된 방법으로 ACM모델과 유사한 성격을 지닌다.

Shape Model이란 어떤 물체의 위치, 크기, 회전 효과가 제거된 형태의 모든 기하학적인 정보를 말한다. 이러한 Shape Model을 이용하는 ASM은 물체 외형의 정 보를 학습시키고 이 정보를 바탕으로 물체의 평균 형태에 변형을 가하여 새로운 이미지 내에서 물체를 찾는 방법이다. 이 방법은 학습된 지식을 기반으로 하기 때문에 물체의 형태를 유지하면서 검색하게 된다. 이 방법은 연산속도는 빠르지만, 새로운 이미지 내에서 물체를 찾을 때에 물체의 외형이 되는 부분을 정확하게 찾아야 하기 때문에 ACM과 마찬가지로 윤곽선이 명확하지 않은 이미지의 경우 물체의 정확한 형태를 찾기가 어렵다는 단점이 있다.

도1의 식별기호 102는 ASM에 의한 모델을 모여주고 있다. ASM 알고리즘은 학습형이며, 연산속도는 빠르지만, 새로운 이미지 내에서 물체를 찾을 때에 물체의 외형이 되는 부분을 정확하게 찾아야 하기 때문에 ACM과 마찬가지로 윤곽선이 명확하지 않은 이미지의 경우 물체의 정확한 형태를 찾기가 어렵다는 단점이 있다.

AAM(Active Appearance Model)은 ASM(Active Shape Model)방식을 개선한 방법으로, 기존 ASM의 물체 형태 정보와 물체의 텍스쳐 정보가 포함되는 Appearance를 이용하여 이미지내의 물체를 찾는 방법이다. 이 방법은 물체의 형태 정보와 텍스쳐 정보를 이용하여 물체의 형태를 유지하면서 학습된 텍스쳐 정보를 기반으로 가장 유사한 텍스쳐를 가지는 부분을 검색하여 보다 정확하게 물체의 형태 및 위치를 찾을 수 있도록 한다.

도1의 식별기호 103은 AAM방식을 개략적으로 보여주고 있다.

또한, 도2는 AAM방식을 상세히 설명하고 있다. 즉, 텍스쳐 정보를 기반으로 한 Appearance(230)를 완성하기 위한 작업(210)을 수행하여 상기 Appearance(230)을 완성한다. 동시에 특징점 추출을 통하여 형태정보를 수집하고(220) 이를 기초로 초기 형상 모델(Shape Model, 240)을 생성한다. 상기의 초기 형상 모델(240) 및 상기 Appearance(230)를 이용하여 AAM 모델을 조합할 수 있게 된다(250).

AAM (Active Appearance Model)은 Combined AAM과 Independent AAM가 있다.

Combined AAM알고리즘은 학습형이고, Shape과 Appearance를 하나의 파라미터로 파라미터화하여 피팅하는 방식으로 비교적 피팅 속도가 느리다.

Independent AAM알고리즘은 학습형이며, Shape과 Appearance가 독립적이기 때문에 Vector의 길이가 무한대로 길어져, 비교 분석 시 검출율에서 Combined AAM보다 우위를 보인다.

종래의 AAM은 초기값에 민감하다. 즉, Shape Model의 초기 위치가 입력 이미지에 어디에 위치하는가에 따라 결과가 다르거나 정확한 얼굴 윤곽 검출이 어려워진다. 즉 Shape가 얼굴의 외곽영역을 벗어날 수 있다.

AAM은 전체 특징 점들에 대해 피팅 과정에서의 에러의 제곱을 최소화하기 때문의 특정 부분의 특징 점들에 대한 큰 에러가 다른 특징 점 부분 피팅에도 영향을 초래할 수 있다.

따라서, 본 발명의 목적은 이러한, 상기의 문제점을 해결하기 위한 발명으로서, [a] 입력 영상에서 얼굴 윤곽을 검출하는 단계; [b] 상기 얼굴 윤곽의 내부에서 1이상의 얼굴 특징부를 검출하는 단계; [c] 상기 얼굴 윤곽과 상기 얼굴 특징부를 기반으로 Shape Model(형상 모델)을 변환하는 단계; [d] 상기 변환된 Shape Model로 상기 얼굴 윤곽 내부의 상기 얼굴 특징부를 AAM(Active Appearance Model)검색하는 단계; 및 [e] 상기 AAM검색된 얼굴 특징부를 기반으로 상기의 얼굴윤곽 영역을 AAM검색하는 단계를 포함하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 방법을 제공하는데 있다.

본 발명의 제1목적에 따른 AAM을 이용한 얼굴검출 방법은 [a] 입력 영상에서 얼굴 윤곽을 검출하는 단계; [b] 상기 얼굴 윤곽의 내부에서 1이상의 얼굴 특징부를 검출하는 단계; [c] 상기 얼굴 윤곽과 상기 얼굴 특징부를 기반으로 Shape Model(형상 모델)을 변환하는 단계; [d] 상기 변환된 Shape Model로 상기 얼굴 윤곽 내부의 상기 얼굴 특징부를 AAM(Active Appearance Model)검색하는 단계; 및 [e] 상기 AAM검색된 얼굴 특징부를 기반으로 상기의 얼굴윤곽을 AAM검색하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 얼굴 특징부는 눈, 눈썹, 코 및 입 중에서 적어도 1이상을 포함하는 것을 특징으로 할 수 있다.

더욱 바람직하게는, 상기 [c]단계는, 상기 눈 사이의 선분인 x 및 상기 선분 x와 상기 입 사이의 최단 거리의 선분인 y를 기반으로 상기 Shape Model을 변환하는 것을 특징으로 할 수 있다.

더욱 바람직하게는, 상기 [d]단계는, [d-1] 상기 얼굴 특징부를 AAM 검색하여 상기 얼굴 특징부의 AAM 파라미터 벡터를 추출하는 단계; [d-2] 상기 얼굴의 얼굴윤곽을 AAM 검색하여 상기 얼굴윤곽의 AAM 파라미터 벡터를 추출하는 단계; [d- 3] 상기 검출된 얼굴 특징부의 파라미터 벡터 및 상기 얼굴윤곽의 파라미터 벡터와의 관계 행렬을 계산하는 단계; 및 [d-4] 상기 얼굴 윤곽의 AAM 파라미터 벡터 및 상기 관계 행렬을 기반으로 상기 얼굴 특징부의 AAM 파라미터 벡터를 최적화하는 단계를 포함하는 것을 특징으로 할 수 있다.

더욱 바람직하게는, 상기 [e]단계는, [e-1] 상기 얼굴 특징부 AAM 파라미터 벡터에서 상기 관계행렬을 통하여 얼굴 윤곽 AAM 파라미터 벡터의 초기값을 설정하는 단계; 및 [e-2] 상기 [e-1]단계의 상기 초기값을 이용한 모델을 토대로 AAM 검색을 수행하여 얼굴 윤곽 파라미터 벡터를 최적화하는 단계를 포함하는 것을 특징으로 할 수 있다.

본 발명의 제2목적에 따른 AAM을 이용한 얼굴검출 장치는 얼굴이 포함된 입력 영상에서 얼굴 윤곽을 검출하고 상기 얼굴 윤곽의 내부에서 1이상의 얼굴 특징부를 검출한 뒤, 상기 얼굴 윤곽과 상기 얼굴 특징부를 기반으로 Shape Model을 변환하고, 상기 변환된 Shape Model로 상기 얼굴 윤곽 내부의 상기 얼굴 특징부를 AAM(Active Appearance Model)검색하여, 상기 AAM검색된 얼굴 특징부를 기반으로 상기의 얼굴윤곽을 AAM검색하는 것을 특징으로 한다.

바람직하게는, 상기 AAM을 이용한 얼굴검출 장치는, 얼굴이 포함된 영상을 입력 받는 입력부; 상기 입력부에서 입력 받은 입력영상에서 얼굴 윤곽을 검출하고 상기 얼굴 윤곽의 내부에서 1이상의 얼굴 특징부를 검출하는 검출부; 상기 얼굴 윤곽 및 상기 얼굴 특징부를 기반으로 Shape Model을 변환하는 변환부; 및 상기 변환된 Shape Model로 상기 얼굴 윤곽 내부의 상기 얼굴 특징부를AAM검색하고, 상기 AAM검색된 얼굴 특징부를 기반으로 상기의 얼굴윤곽을 AAM검색하는 AAM검색부를 포함하는 것을 특징으로 할 수 있다.

더욱 바람직하게는, 상기 얼굴 특징부는 눈, 눈썹, 코 및 입 중에서 적어도 1이상을 포함하는 것을 특징으로 할 수 있다.

더욱 바람직하게는, 상기 변환부는, 상기 눈 사이의 선분인 x; 및 상기 선분 x와 상기 입 사이의 최단 거리의 선분인 y를 기반으로 Shape Model을 변환하는 것을 특징으로 할 수 있다.

더욱 바람직하게는, 상기 AAM검색부의 상기 얼굴 특징부의 AAM검색은, 얼굴 특징부를 AAM 검색하여 상기 얼굴 특징부의 AAM 파라미터 벡터를 추출하고, 얼굴윤곽을 AAM 검색하여 상기 얼굴윤곽의 AAM 파라미터 벡터를 추출한 후, 상기 검출된 얼굴 특징부의 파라미터 벡터 및 상기 얼굴윤곽의 파라미터 벡터와의 관계 행렬을 계산하고, 상기 얼굴 윤곽의 AAM 파라미터 벡터 및 상기 관계 행렬을 기반으로 상기 얼굴 특징부의 AAM 파라미터 벡터를 최적화하는 것을 특징으로 할 수 있다.

더욱 바람직하게는, 상기 AAM검색부의 상기 얼굴 윤곽의 AAM검색은, 상기 얼굴 특징부 AAM 파라미터 벡터에서 상기 관계행렬을 통하여 얼굴 윤곽 AAM 파라미터 벡터의 초기값을 설정하고, 상기 얼굴 윤곽 AAM 파라미터 벡터의 초기값을 이용한 얼굴 윤곽을 토대로 AAM 검색을 수행하여 얼굴 윤곽 AAM 파라미터 벡터를 최적화하는 것을 특징으로 할 수 있다.

종래의 AAM은 초기값에 민감하다. 즉, Shape Model의 초기 위치가 입력 이미 지에 어디에 위치하는가에 따라 결과가 다르거나 정확한 얼굴 윤곽 검출이 어려워진다. 즉 Shape가 얼굴의 외곽영역을 벗어날 수 있다.

그러나, 본 발명에서는 입력된 이미지에서 얼굴의 영역을 검출한 후, 검출된 영역 안에서 눈과 입을 찾아 Shape Model의 위치와 크기(scale)를 조정하여 초기의 위치를 설정하고 있기 때문에 보다 정확한 검출이 가능하다.

즉, 초기에 정확한 위치에 놓고 피팅을 할 수 있으므로 기존의 AAM 보다 향상된 성공률을 보일 수 있다.

뿐만 아니라 초기 모델이 비교적 정확하게 설정되므로 기존의 AAM 보다 나은 성능 향상이 성취된다. 또한 평균 Shape 보다 눈과 뺨의 폭이 적거나 턱이 짧은 특이한 얼굴의 사람의 경우에 있어서, 기본 AAM 방식에서 피팅이 안 되는 경우라도 피팅이 가능하게 된다.

종래의 AAM은 전체 특징 점들에 대해 피팅 과정에서의 에러의 제곱을 최소화하기 때문의 특정 부분의 특징 점들에 대한 큰 에러가 다른 특징 점 부분 피팅에도 영향을 초래할 수 있다.

그러나, 본 발명에서는 상대적으로 변화가 적고 배경 화면에 영향을 적게 받는 얼굴 내부의 주요 부위인 얼굴 특징부(눈썹, 눈, 코, 입)만을 먼저 검색한 다음 얼굴의 윤곽을 검색하므로 보다 정확한 얼굴검출이 가능하다.

즉, 1 및 2차로 나누어 얼굴 특징부인 눈, 코, 입 등을 먼저 AAM검색하고 이를 기반으로 다시 얼굴 윤곽 영역을 AAM검색함으로써 복잡한 배경을 가진 이미지의 검출 성공률이 향상되고 기존 AAM 보다 더욱 안정적으로 정확하게 특징 점들을 검 출할 수 있다.

AAM (Active Appearance Model)은 Combined AAM, Independent AAM가 있다. 이러한, AAM은 얼굴 윤곽 검출에 잘 적용되어 왔으나 초기값 (Mean Shape Model의 위치)에 민감하다. 따라서, 본원 발명에서는 입력된 이미지의 얼굴 영역 검출 후 눈과 입의 위치를 검출하여 초기값의 정확도를 향상하고 1, 2차 단계로 검출을 점진적으로 검출한다.

이하, 본 발명의 구체적인 실시예를 도면을 참고하여 설명하기로 한다.

도3은 본 발명에 의한 얼굴검출방법의 순서도를 도시하고 있다. 얼굴이 포함된 영상을 입력 받는다(S200), 상기 얼굴이 포함된 영상으로부터 얼굴 윤곽을 검출하고(S300), 상기 얼굴 윤곽 내부의 얼굴 특징부를 검출한다(S400). 상기 얼굴 특징부는 눈, 코, 입 또는 눈썹 등이 될 수 있다. 상기의 검출된 얼굴 윤곽 및 눈, 입 등의 특징부를 토대로 Shape Model을 변환 및 스케일링을 한다(S500). 즉, 얼굴 윤곽 내부의 얼굴 특징부를 고려를 안 하고 Shape Model을 만들면 대상 얼굴의 위치 자세에 따라서, 정확한 윤곽 검출이 불가능하거나 곤란해질 우려가 있기 때문이다.

위와 같은 얼굴 윤곽 및 얼굴 특징부인 눈, 입 등의 위치 검출은 칼라정보를 이용한 얼굴 영역 추적방법을 쓸 수 있다. 예를 들면, 색 정보에 대한 히스토그램 기반 추적은 많은 추적 시스템에서 사용되는 방법 중에서 가장 자주 쓰는 Mean Shift 또는 CAMshift(Continuously Adaptive Mean Shift) 알고리즘을 사용할 수 있 다.

이들 알고리즘은 추적 대상 영역을 특정 색 공간으로 바꾸고 커널 기반으로 히스토그램을 구한다. 이 분포를 가지고 다음 프레임 영상에 히스토그램 정보를 역투영시키고, 이 분포의 모드를 반복적으로 찾기 위해 Mean-Shift 방법을 사용한다. 그러나 이 알고리즘은 추정 영역의 크기가 고정되어 있다는 단점이 있다. 이 문제를 해결하기 위해 CAMShift(Continuously Adaptive Mean Shift) 방법이 제안되었다. 이 알고리즘은 커널의 크기를 조절함으로써 추적대상의 크기가 변하는 경우에도 대상 영역을 성공적으로 추적할 수 있다.

이후, 얼굴 특징부를 AAM검색하고 이를 기초로 얼굴 윤곽 AAM검색을 하여 얼굴을 검출한다. 즉, 상대적으로 변화가 적고 배경 화면에 영향을 적게 받는 얼굴 내부의 주요 부위(눈, 코, 입 등의 얼굴특징부)만을 먼저 검색한 후 2차적으로 얼굴의 윤곽을 AAM검색하는 것이다. 이러한 구성으로 인하여 다른 부분의 에러의 영향을 최소화 할 수 있다.

도4를 참조하여 상기 AAM검색을 좀 더 구체적으로 설명하면 다음과 같다. Shape Model을 변환(S500)한 후에 상기 변환된 Shape Model을 기초로 하여 얼굴특징부를 AAM검색하여 얼굴 특징부의 AAM파라미터 벡터를 추출(S610)한다. 이어서, 얼굴 윤곽 AAM파라미터 벡터를 추출한다(S620). 얼굴 특징부의 파라미터 벡터 및 상기 얼굴 윤곽의 파라미터 벡터와의 관계 행렬을 계산(S630)하고, 상기 얼굴 윤곽 AAM 파라미터 벡터 및 상기 관계 행렬을 기반으로 상기 얼굴 특징부의 AAM 파라미터 벡터를 최적화한다.

즉, 먼저 얼굴 바깥쪽(턱부분)보다 안정적이고 변화가 적은 얼굴 내부인 얼굴 특징부에 대해 얼굴특징부 AAM모델을 구성하고, 얼굴 전체의 윤곽에 대해 얼굴 전체 AAM모델을 구성한다. 이어서, 얼굴 내부 모델의 파라미터 벡터인 얼굴 특징부 파라미터 벡터와, 얼굴 전체 모델의 파라미터 벡터인 얼굴 윤곽 파라미터 벡터 간의 관계행렬 값을 구한다. 이후, 얼굴 윤곽 AAM 파라미터 벡터와 상기 관계 행렬을 기초로 상기 얼굴 특징부의 AAM 파라미터 벡터를 최적화한다.

또한, 이후 얼굴 특징부 AAM 파라미터 벡터에서 상기 관계 행렬을 이용하여 얼굴 윤곽 AAM 파라미터 벡터의 초기값을 추정하여 설정하고(S710), 이러한 초기값을 이용하여 AAM 검색을 하여 상기 얼굴 윤곽 AAM 파라미터 벡터를 최적화하여 전체 얼굴 윤곽을 검출(S720)한다.

도6의 식별번호 310의 사진은 얼굴 특징부의 AAM검색의 과정(S600)을 보이고 있으며, 식별번호 320의 사진은 얼굴 전체 윤곽을 검출하는 과정을 보이고 있다.

도5는 본 발명에 의한 AAM을 이용한 얼굴 검출 장치의 구성도를 간략히 도시하고 있다. 상기 얼굴 검출 장치는 입력부(410), 검출부(420), 변환부(430), AAM검색부(440) 및 출력부(450)를 포함하고 있다. 상기 입력부(410)은 얼굴이 포함된 영상을 입력 받는다. 검출부(420)는 얼굴윤곽 및 얼굴특징부를 검출한다. 변환부(430)는 상기 얼굴 윤곽 및 상기 얼굴 특징부를 기반으로 Shape Model을 변환한다. AAM검색부(440)는 상기 변환된 Shape Model로 상기 얼굴 윤곽 내부의 상기 얼굴 특징부를 AAM검색하고, 상기 AAM검색된 얼굴 특징부를 기반으로 상기의 얼굴윤 곽을 AAM검색한다. 상기 AAM 검색 결과는 상기 출력부(450)를 통하여 출력한다.

상기 얼굴 특징부는 눈, 눈썹, 코 및 입 중에서 적어도 1이상을 포함할 수 있다.

상기 변환부는, 상기 눈 사이의 선분인 x; 및 상기 선분 x와 상기 입 사이의 최단 거리의 선분인 y를 기반으로 Shape Model을 변환한다. 즉, 예를 들어 통상적인 정면 Shape를 기초로 비스듬한 얼굴을 검색하는 경우에는 인식이 안 될 수도 있지만, 특징부인 눈 또는 입 등을 연결하는 선분들을 바탕으로, 상기의 x의 길이와 얼굴 좌우 회전각도(yawing)는 반비례한다거나, 상기의 y는 얼굴의 상하 회전(pitching)각도에 반비례 또는 y의 각도는 수직회전각도(rolling)으로 간주하는 등의 기준으로 Shape Model을 설정하는 경우에는 인식 성공률이 높아진다.

상기 AAM검색부의 상기 얼굴 특징부의 AAM검색을 상세히 설명하면, 얼굴 특징부를 AAM 검색하여 상기 얼굴 특징부의 AAM 파라미터 벡터를 추출하고, 얼굴윤곽을 AAM 검색하여 상기 얼굴윤곽의 AAM 파라미터 벡터를 추출한 후, 상기 검출된 얼굴 특징부의 파라미터 벡터 및 상기 얼굴윤곽의 파라미터 벡터와의 관계 행렬을 계산하고, 상기 얼굴 윤곽의 AAM 파라미터 벡터 및 상기 관계 행렬을 기반으로 상기 얼굴 특징부의 AAM 파라미터 벡터를 최적화한다.

상기 AAM검색부의 상기 얼굴 윤곽의 AAM검색은, 상기 얼굴 특징부 AAM 파라미터 벡터에서 상기 관계행렬을 통하여 얼굴 윤곽 AAM 파라미터 벡터의 초기값을 설정하고, 상기 얼굴 윤곽 AAM 파라미터 벡터의 초기값을 이용한 얼굴 윤곽을 토대로 AAM 검색을 수행하여 얼굴 윤곽 AAM 파라미터 벡터를 최적화한다.

도7의 이미지를 사용하여 아래와 같은 테스트를 하여 아래와 같은 결과를 었었다. 이미지는 300*400의 JPEG포맷의 파일이며 자체 제작한 이미지로서 남녀 각 20명씩 5가지 포즈의 200매로 테스트를 하였다. 이 테스트는 피팅 에러 값이 최소일 때 피팅을 종료하고 검출을 통해 얻어진 특징점과 실제 이미지의 특징점들로부터 3픽셀 이내로 검출한 경우를 성공으로 간주했다.

얼굴 윤곽 검출 후 Shape에 스케일링만 가한 검출 방법과 눈과 입을 검출한 후 검출된 결과에 상응하도록 Shape를 변형한 검출 방법의 결과를 비교하면 다음의 표와 같다.

얼굴 영역 검출 방법	입력 영상수	성공률
종래의 AAM	200	90.0%
눈, 입 등을 우선 검출하여Shape를 변환하는 AAM	200	95.0%

종래의 AAM과 본원발명의 AAM 방법을 이용한 실시예의 비교는 다음과 같다.

특징점 검출방법	입력 영상수	성공률	소요시간(ms)
종래의 AAM	200	82.0 %	500
본원 발명의 경우	200	92.5 %	800

1,2차로 나누어 우선 얼굴 특징부(눈, 코, 입 등)를 먼저 검색하고 얼굴전체 윤곽을 검색하는 방식을 취함으로써 복잡한 배경을 갖는 이미지의 검출율이 향상되 고 기존 AAM보다 더욱 안정적으로 특징점들을 검출한다. 기존의 AAM보다 300ms 정도 검출이 늦어지기는 했으나 2D이미지를 3D로 적용하는데 있어서는 특징점의 정확도가 더욱 중요하므로 본원발명은 이러한 점은 큰 의미가 없다고 할 것이다.

이상 설명된 바와 같이, 본 발명에서는 입력된 이미지에서 얼굴의 영역을 검출한 후, 검출된 영역 안에서 눈과 입을 찾아 Shape Model의 위치와 크기(scale)를 조정하여 초기의 위치를 설정하고 있기 때문에 보다 정확한 검출이 가능하며, 뿐만 아니라 초기 모델이 비교적 정확하게 설정되므로 기존의 AAM 보다 나은 성능 향상이 성취된다. 또한 평균 Shape 보다 눈과 뺨의 폭이 적거나 턱이 짧은 특이한 얼굴의 사람의 경우에 있어서, 기본 AAM 방식에서 피팅이 안 되는 경우라도 피팅이 가능하게 된다. 또한, 발명에서는 상대적으로 변화가 적고 배경 화면에 영향을 적게 받는 얼굴 내부의 주요 부위인 얼굴 특징부(눈썹, 눈, 코, 입)만을 먼저 검색한 다음 얼굴의 윤곽을 검색하므로 보다 정확한 얼굴검출이 가능하다. 즉, 1 및 2차로 나누어 얼굴 특징부인 눈, 코, 입 등을 먼저 AAM검색하고 이를 기반으로 다시 얼굴 윤곽 영역을 AAM검색함으로써 복잡한 배경을 가진 이미지의 검출 성공률이 향상되고 기존 AAM 보다 더욱 안정적으로 정확하게 특징 점들을 검출할 수 있다.

따라서, 본 발명은 얼굴인식 분야를 이용한 보안, 엔터테인먼트 산업 등에 유용한 발명이므로 산업상 이용가능성이 있다.

도1은 종래 기술에 따른 ACM, ASM, AAM방법에 따른 얼굴인식의 방법을 간략히 예시하고 있다.

도2는 AAM 방법의 원리를 도시하고 있다.

도3은 본 발명에 의한 얼굴 검출 방법의 순서도를 도시하고 있다.

도4는 본 발명에 의한 얼굴 검출 방법의 보다 상세한 순서도를 도시하고 있다.

도5는 본 발명에 의한 얼굴 검출 장치의 간략한 구성도를 도시하고 있다.

도6은 본 발명에 따른 AAM검색을 수행하는 그림을 도시하고 있다.

도7은 본 발명의 테스트에 사용된 이미지의 일부이다.

<도면의 주요부분에 대한 설명>

101: ACM방식의 얼굴인식

102: ASM방식의 얼굴인식

103: AAM방식의 얼굴인식

200: AAM방식에서 검색수행과정

210: Appearance 요소

220: Shape 요소

230: 완성 Appearance

240: 완성 Shape

250: AAM 검색 결과

410: 입력부

420: 검출부

430: 변환부

440: AAM검색부

450: 출력부

Claims

[a] 입력 영상에서 얼굴 윤곽을 검출하는 단계;

[b] 상기 얼굴 윤곽의 내부에서 1이상의 얼굴 특징부를 검출하는 단계;

[c] 상기 얼굴 윤곽과 상기 얼굴 특징부를 기반으로 Shape Model(형상 모델)을 변환하는 단계;

[d] 상기 변환된 Shape Model로 상기 얼굴 윤곽 내부의 상기 얼굴 특징부를 AAM(Active Appearance Model)검색하는 단계; 및

[e] 상기 AAM검색된 얼굴 특징부를 기반으로 상기의 얼굴윤곽을 AAM검색하는 단계를 포함하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 방법.
제1항에 있어서,

상기 얼굴 특징부는 눈, 눈썹, 코 및 입 중에서 적어도 1이상을 포함하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 방법.
제2항에 있어서,

상기 [c]단계는,

상기 눈 사이의 선분인 x 및

상기 선분 x와 상기 입 사이의 최단 거리의 선분인 y를 기반으로 상기 Shape Model을 변환하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 방법.
제1항에 있어서,

상기 [d]단계는,

[d-1] 상기 얼굴 특징부를 AAM 검색하여 상기 얼굴 특징부의 AAM 파라미터 벡터를 추출하는 단계;

[d-2] 상기 얼굴의 얼굴윤곽을 AAM 검색하여 상기 얼굴윤곽의 AAM 파라미터 벡터를 추출하는 단계;

[d-3] 상기 검출된 얼굴 특징부의 파라미터 벡터 및 상기 얼굴윤곽의 파라미터 벡터와의 관계 행렬을 계산하는 단계; 및

[d-4] 상기 얼굴 윤곽의 AAM 파라미터 벡터 및 상기 관계 행렬을 기반으로 상기 얼굴 특징부의 AAM 파라미터 벡터를 최적화하는 단계를 포함하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 방법.
제4항에 있어서,

상기 [e]단계는,

[e-1] 상기 얼굴 특징부 AAM 파라미터 벡터에서 상기 관계행렬을 통하여 얼굴 윤곽 AAM 파라미터 벡터의 초기값을 설정하는 단계; 및

[e-2] 상기 [e-1]단계의 상기 초기값을 이용한 모델을 토대로 AAM 검색을 수행하여 얼굴 윤곽 파라미터 벡터를 최적화하는 단계를 포함하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 방법.
얼굴이 포함된 입력 영상에서 얼굴 윤곽을 검출하고 상기 얼굴 윤곽의 내부에서 1이상의 얼굴 특징부를 검출한 뒤, 상기 얼굴 윤곽과 상기 얼굴 특징부를 기반으로 Shape Model을 변환하고,

상기 변환된 Shape Model로 상기 얼굴 윤곽 내부의 상기 얼굴 특징부를 AAM(Active Appearance Model)검색하여, 상기 AAM검색된 얼굴 특징부를 기반으로 상기의 얼굴윤곽을 AAM검색하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 장치.
제6항에 있어서,

상기 AAM을 이용한 얼굴검출 장치는,

얼굴이 포함된 영상을 입력 받는 입력부;

상기 입력부에서 입력 받은 입력영상에서 얼굴 윤곽을 검출하고 상기 얼굴 윤곽의 내부에서 1이상의 얼굴 특징부를 검출하는 검출부;

상기 얼굴 윤곽 및 상기 얼굴 특징부를 기반으로 Shape Model을 변환하는 변환부;

상기 변환된 Shape Model로 상기 얼굴 윤곽 내부의 상기 얼굴 특징부를 AAM검색하고, 상기 AAM검색된 얼굴 특징부를 기반으로 상기의 얼굴윤곽을 AAM검색하는 AAM검색부; 및

상기 AAM 검색 결과를 출력하는 출력부를 포함하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 장치.
제6항에 있어서,

상기 얼굴 특징부는 눈, 눈썹, 코 및 입 중에서 적어도 1이상을 포함하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 장치.
제7항에 있어서,

상기 변환부는,

상기 눈 사이의 선분인 x; 및

상기 선분 x와 상기 입 사이의 최단 거리의 선분인 y를 기반으로 Shape Model을 변환하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 장치.
제7항에 있어서,

상기 AAM검색부의 상기 얼굴 특징부의 AAM검색은,

얼굴 특징부를 AAM 검색하여 상기 얼굴 특징부의 AAM 파라미터 벡터를 추출하고, 얼굴윤곽을 AAM 검색하여 상기 얼굴윤곽의 AAM 파라미터 벡터를 추출한 후,

상기 검출된 얼굴 특징부의 파라미터 벡터 및 상기 얼굴윤곽의 파라미터 벡터와의 관계 행렬을 계산하고, 상기 얼굴 윤곽의 AAM 파라미터 벡터 및 상기 관계 행렬을 기반으로 상기 얼굴 특징부의 AAM 파라미터 벡터를 최적화하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 장치.
제10항에 있어서,

상기 AAM검색부의 상기 얼굴 윤곽의 AAM검색은,

상기 얼굴 특징부 AAM 파라미터 벡터에서 상기 관계행렬을 통하여 얼굴 윤곽 AAM 파라미터 벡터의 초기값을 설정하고, 상기 얼굴 윤곽 AAM 파라미터 벡터의 초기값을 이용한 얼굴 윤곽을 토대로 AAM 검색을 수행하여 얼굴 윤곽 AAM 파라미터 벡터를 최적화하는 것을 특징으로 하는 AAM을 이용한 얼굴검출 장치.