KR20080068959A - 활성형상모델과 가버 특징 벡터 기반 얼굴 인식 시스템 - Google Patents

Abstract

본 발명은 AAM(Active Appearance Model)과 가버 특징 벡터를 이용한 얼굴 인식 시스템을 제안한다. 가버 특징 벡터는 이미지의 모양, 스케일, 회전 등의 작은 변화에 대해 강인한 것으로 잘 알려져 물체 인식의 특징 벡터로 많이 사용된다. 가버 특징 벡터를 사용하는 대표적인 얼굴 인식 알고리즘인 EBGM(Elastic Bunch Graph Matching)은 가버 특징 벡터를 추출하기 위해 얼굴 특징점들의 검출을 필요로 한다. 그런데, EBGM에서 사용되는 얼굴 특징점 검출 방법은 가버젯 유사도에 기반하는데 이는 초기점에 민감하며, 잘못된 특징점 검출은 얼굴 인식에 영향을 미친다. 한편, AAM은 얼굴 특징점 검출에 효과적인 것으로 알려져 있다. 본 발명에서는 AAM으로 얼굴 특징점들을 대략적으로 추정하고 추정된 특징점들을 초기점으로 하여 가버젯 유사도 기반 특징점 검출방법으로 특징점 검출을 정교화하는 얼굴 특징점 검출 방법과 이에 기반한 얼굴 인식 시스템을 제안한다.

본 발명에서 제공된 AAM과 가버 특징 벡터를 이용한 얼굴 인식 시스템에서 사용하는 AAM과 가버젯 유사도 기반 얼굴 특징점 검출 방법이 가버젯 유사도만을 기반으로 하는 검출 방법에 비해 더 강인하다는 것을 실험을 통해 확인하였다.

얼굴 인식, AAM, 가버 특징 벡터, EBGM, 얼굴 특징점 검출

Description

활성형상모델과 가버 특징 벡터 기반 얼굴 인식 시스템 {Robust Face Recognition using AAM and Gabor Feature Vectors}

1) 도 1은 본 발명에서 제공하는 AAM과 가버 특징 벡터를 이용한 얼굴 인식 시스템의 구성 및 동작 흐름도

2) 도 2는 본 발명에서 제공하는 AAM과 가버 특징 벡터를 이용한 얼굴 인식 시스템에서의 과정중 하나인 얼굴 영역 검출 및 크기 정규화

3) 도 3은 본 발명에서 제공하는 AAM과 가버 특징 벡터를 이용한 얼굴 인식 시스템에서의 과정중 하나인 얼굴 자세 정규화

4) 도 4는 본 발명에서 제공하는 AAM과 가버 특징 벡터를 이용한 얼굴 인식 시스템에서 사용한 얼굴 특징점 위치

본 발명은 얼굴 인식에 속한 것이다.

보다 안전한 사회를 위하여 개인 신원 확인에 기반한 신뢰성 높은 출입 통제 시스템 구축에 대한 관심이 점증되고 있다. 보다 안전한 신원 확인을 위하여 종래의 토큰 방식(카드, 키 등)보다는 사람 고유의 생체 정보를 이용한 생체 인식 분야 기술 이 활발히 연구되고 있는 데, 생체 인식 가운데 얼굴 인식은 이용자의 거부감이 적고 가장 자연스러운 생체 인식 방법이어서 많은 연구 노력이 집중되고 있다. 그런데, 조명, 자세, 얼굴 표정, 세월 등의 환경에 있어서의 차이에 따라 같은 사람의 얼굴 이미지라도 매우 변화가 심하여 경우에 따라서는 같은 사람의 이미지끼리의 상관관계보다도 다른 사람 얼굴 이미지와의 상관관계가 더 높을 수 있다. 이러한 이유 등으로 조명, 자세, 표정, 세월 등에 무관한 안정적인 얼굴 인식 알고리즘의 개발이 매우 어렵다는 것이 잘 알려져 있다.

현재까지 연구 보고된 얼굴 인식 알고리즘들은 크게 얼굴 이미지 정보를 이용하는 이미지 기반 방법, 얼굴 이미지에서 특징 벡터를 추출하여 이를 이용하는 특징 벡터 기반 방법 등으로 나눌 수 있다. 이미지 기반 방법의 대표적 기법에는 PCA, LDA, ICA, Local Feature Analysis, 템플레이트 기반 방법 등이 있으며, 특징 벡터 기반 방법의 대표적 방법에는 EBGM(Elastic Bunch Graph Matching), AAM(Active Appearance Model), Morphable Model 등이 있다. EBGM, AAM, Morphable Model 등은 먼저 모델 구성을 필요로 하므로 모델 기반 얼굴 인식 방법이라 하기도 한다.

이미지 기반 얼굴 인식 방법은 보통 이미지의 전체 (픽셀) 정보를 이용하기 때문에 얼굴 이미지의 한 국소부분의 조그마한 조명, 자세, 표정 변화라도 인식 알고리즘에 영향을 미치게 되어 조명, 자세, 표정 변화 등에 덜 강인하다. 반면에 모델 기반 얼굴 인식 방법은 조명, 자세, 표정 변화를 감안하여 모델을 구성할 수 있으므로 인식 시에 이러한 요인에 의한 영향을 줄일 수 있다. 모델 구성 시에 이용되는 특징 벡터로는 가버 특징 벡터(얼굴 이미지 특징점에 대해 가버 웨이블렛 커널을 컨볼루션하여 얻어진 계수)가 조명, 자세, 표정 변화에 대해 어느 정도 강인한 것으로 밝혀져 얼굴 인식에 많이 채택된다. 가버 특징 벡터를 이용한 대표적인 얼굴 인식 방법에는 EBGM이 있다. EBGM에 의한 얼굴 인식 방법은 얼굴의 특징점들을 찾은 후 이 특징점들에서 가버 계수를 구하고 이를 이용하여 얼굴 인식을 수행한다. 그런데, EBGM에서 사용되는 얼굴 특징점 검출 알고리즘은 가버젯 유사도를 이용하는데, 이는 초기값에 민감한 것으로 알려져 있다. EBGM은 모델 구성에서 얻어진 모델 얼굴 이미지들의 얼굴 특징점 위치의 평균값을 해당 얼굴 특징점 검출시의 초기값으로 사용한다. 그런데, 구성된 모델에서 얼굴 특징점 위치들의 평균값으로 취해진 초기값은 실제 인증시의 얼굴 이미지가 조명, 자세, 표정 변화에 따라 다양한 경우에 가버젯 유사도 기반 얼굴 특징점 검출 알고리즘이 전역 최소값(진짜 특징점)으로 수렴하는 것을 보장하도록 충분히 전역 최소값 근방에 놓여 있지 않은 경우가 많다. 잘못된 특징점 위치에서의 특징 벡터 추출은 얼굴 인식률 저하를 초래한다.

한편, 변형 가능한 2D 물체의 특징점 검출에 가장 효과적인 방법의 하나는 AAM(Active Appearance Model)이다. AAM 은 Edwards 등 (G. Edwards, C. J. Taylor, and T. F. Cootes, “Interpreting Face Images using Active Appearance Models,” in Proc. IEEE Int. Conf. Automatic Face and Gesture Recognition, pp. 300-30, 1998)에 의해 처음 제안되었으며, Cootes 등 (T. F. Cootes, D. J. Edwards, and S. J. Taylor, “Active Appearance Models,” IEEE Trans. Pattern Anal. Mach. Intell., vol.23, no.6, pp. 681?685, Jun. 200) 에 의해 확장되었다. 얼굴 특징점들을 검출하는 데 있어서, AAM은 조명, 자세, 표정 등에 완전히 자유로운 것은 아니나 비교적 안정적인 것으로 잘 알려져 있다.

따라서 먼저 AAM을 이용하여 얼굴 특징점들을 대략 검출하고, 이를 EBGM에서 사용된 가버젯 유사도 기반 얼굴 특징점 검출 알고리즘의 초기값으로 취한 다음, 가버젯 유사도 기반 얼굴 특징점 검출 알고리즘으로 얼굴 특징점 검출을 정교화하도록 시도하는 경우에 보다 안정적인 얼굴 특징점 검출이 가능하다. 본 발명에서는 이러한 방법을 취하고 있다.

얼굴 인식 알고리즘에서는 보통 얼굴의 특징 벡터를 추출하여 인식을 수행하는 데, 특징 벡터 가운데 가버 특징 벡터는 조명, 자세, 표정 변화에 대해 어느 정도 강인한 것으로 밝혀져 얼굴 인식에 많이 채택되었다.

가버 특징 벡터를 이용한 대표적인 얼굴 인식 방법에는 EBGM(L. Wiskott, J. M. Fellous, N. Kuiger, C. von der Malsburg, "Face Recognition by Elastic Bunch Graph Matching," Pattern Analysis and Machine Intelligence, IEEE Transactions on Vol.19, pp. 775?779, July 1997.)이 있다. EBGM에 의한 얼굴 인식 방법은 얼굴의 특징점들을 찾은 후 이 특징점들에서 가버 계수를 구하고 이를 이용하여 얼굴 인식을 수행한다. 그런데, EBGM에서 사용되는 얼굴 특징점 검출 알고리즘은 가버젯 유사도를 이용하는데, 이는 초기값에 민감한 것으로 알려져 있다. EBGM은 모델 구성에서 얻어진 모델 얼굴 이미지들의 얼굴 특징점 위치의 평균값을 해당 얼굴 특징점 검출시의 초기값으로 사용한다. 그런데, 구성된 모델에서 얼굴 특징점 위치들의 평균값으로 취해진 초기값은 실제 인증시의 얼굴 이미지가 조명, 자세, 표정 변화에 따라 다양한 경우에 가버젯 유사도 기반 얼굴 특징점 검출 알고리즘이 전역 최소값(진짜 특징점)으로 수렴하는 것을 보장하도록 충분히 전역 최소값 근방에 놓여 있지 않은 경우가 많다. 잘못된 특징점 위치에서의 특징 벡터 추출은 얼굴 인식률 저하를 초래한다.

한편, 얼굴 특징점들을 검출하는 데 있어서, AAM은 조명, 자세, 표정 등에 완전히 자유로운 것은 아니나 비교적 안정적인 것으로 잘 알려져 있다.

본 발명은 먼저 AAM을 이용하여 얼굴 특징점들을 대략 검출하고, 이를 EBGM에서 사용된 가버젯 유사도 기반 얼굴 특징점 검출 알고리즘의 초기값으로 취한 다음, 가버젯 유사도 기반 얼굴 특징점 검출 알고리즘으로 얼굴 특징점 검출을 보다 정교화한 후에, 검출된 얼굴 특징점들에서 가버 특징 벡터를 추출하여 저장된 가버 특징 벡터들과 비교하여 인식을 수행하는 얼굴 인식 시스템을 제공하여 기존 EBGM방법의 초기값 및 자세 변화 등에 취약한 약점 등을 보완하고자 한다.

이상에서 기술한 내용을 기반으로 정리한 본 발명의 목적은 다음과 같다.

1) 자세 및 초기값 등에 대해 EBGM 방법 보다 개선된 얼굴 인식 알고리즘 제공

2) AAM과 가버 특징 벡터 기반 얼굴 인식 방법의 장점들을 취한 얼굴 인식 알고리즘 제공

3) 기존 EBGM에서 제공하는 얼굴 특징점 검출 방법보다도 검출율이 개선된 얼굴 특징점 검출 방법 제공

본 발명은 출입 통제, 출퇴근 관리, 신원 인증 등에 필요한 얼굴 인식 시스템에 있 어서 비교적 성능이 우수한 EBGM 기반 얼굴 인식 알고리즘에서 쓰는 얼굴 특징점 검출 방법이 초기값, 자세 등에 민감한 단점을 개선하여 보다 정확한 특징점 검출이 가능한 방법을 제공하여 초기값, 자세 변화 등에 보다 강인하게 인식율이 개선된 얼굴 인식 알고리즘을 제공하고자 하는 데 있다. 본 발명에서 기반을 둔 기술은 AAM과 가버 특징 벡터를 이용한 EBGM(Elastic Bunch Graph Matching)방법이다.

본 발명에서 제공하는 AAM 및 가버 특징 벡터를 이용한 얼굴 인식 시스템의 구성 및 동작 흐름도는 도면 1에 표시되어 있다. 본 발명에서 제공하는 AAM 및 가버 특징 벡터를 이용한 얼굴 시스템은 모델링, 등록, 인증 등 3 가지 과정으로 나누어져 수행된다(도 1 참조). 모델링 과정 절차는 1) 모델 입력 이미지에서 얼굴 영역 검출 2) 검출된 얼굴 영역 정규화 3) 수동으로 얼굴 특징점 검출 4) 가버 특징 벡터 추출 5) 모델 번치 그래프 제작 등으로 구성된다(도 1(a) 참조). 등록 과정 절차는 1) 모델 입력 이미지에서 얼굴 영역 검출 2) 검출된 얼굴 영역 정규화 3) AAM을 이용한 대략적 얼굴 특징점 검출 4) 가버젯 유사도를 이용한 정교한 얼굴 특징점 검출 5) 가버 특징 벡터 추출 6) 특징 벡터 데이터 베이스 등록 등으로 구성된다(도 1(b) 참조). 인증 과정 절차는 1) 모델 입력 이미지에서 얼굴 영역 검출 2) 검출된 얼굴 영역 정규화 3) AAM을 이용한 대략적 얼굴 특징점 검출 5) 가버젯 유사도를 이용한 정교한 얼굴 특징점 검출 6) 등록된 가버 특징 벡터와의 유사성 측정 및 허용/거부 판별 등으로 구성된다(도 1(c) 참조).

가. 모델링 과정

1) 얼굴영역 검출

얼굴 특징점들을 찾기 위해 입력 영상에서 얼굴 영역을 먼저 검출하여야 한다. 얼굴 영역을 검출하는 데에는 Ada-Boosting알고리즘을 이용하였다.

2) 정규화

정규화 절차에서는 얼굴 크기를 정규화하고 자세가 틀어진 얼굴에 대해서 똑바로 한다.

●크기 정규화

을 높이기 위해서는 검출된 얼굴 영상의 크기를 일정하게 만드는 정규화 과정이 필요하다. 본 발명에서는 얼굴 영상의 크기를 256(픽셀)256(픽셀)크기로 정규화하였다. 도면 2는 입력 영상에서 컬러인 경우 흑백으로 바꾸고 흑백 영상에서 얼굴을 검출하고 256x256 크기로 정규화한 결과를 보여준다.

●자세 정규화

- 얼굴이 회전(rotation in plane)되어 있는 경우에 valley와 edge정보를 사용하여 틸트각도를 얻어 내어 얼굴이 회전(rotation in plane)되어 있는 경우, 얼굴자세를 똑바로 하였다.

도면 3은 얼굴 자세를 정규화한 결과를 보여준다.

3) 수동으로 얼굴 특징점 검출

본 발명에서 사용한 얼굴 특징점의 개수는 80개이며, 수동으로 25개를 검출하고 나머지 55개는 내삽법으로 얻는다. 이들 얼굴 특징점들의 위치는 도 4에 나타나 있다.

4) 가버 특징 벡터 추출

상기 3)의 과정에서 검출된 얼굴 특징점들에 대해 가버 특징 벡터를 추출한다.

여기서 가버 특징 벡터를 추출하기 위해 본 발명에서 사용한 가버 웨이블렛 커널에 대해 간단히 설명한다.

본 발명에서 사용한 얼굴 이미지 특징점에서의 가버 특징 벡터는 얼굴 이미지 특징점에 대해 가버 웨이블렛 커널을 컨볼루션하여 얻어진 벡터이다.

본 발명에서 사용한 가버 웨이블렛 커널은 다음과 같이 표현된다.

(1)

여기서, 웨이브 벡터

는

로 주어지며, 이 때

는 웨이블렛의 방향을

는 웨이블렛의 파장(주파수 역수에 비례)을 나타낸다. 또한 식(1)에서

는

에 비례하는 가우시안의 크기를 나타낸다. 본 논문에서 식 (1)로 표현되는 가버 웨이블렛 커널에 대해

와 ,

,

의 40개 조합으로 나타나는 가버 웨이블렛 커널을 사용하였다. 이상 40개 조합에 대한 가버 웨이블렛 커널을 실수부와 허수부로 나누고 각각을 이산화하여 가버 웨이블렛 마스크를 만들고 이 가버 웨이블렛 마스크와 이미지의 점(x,y) 근방 각 점에서의 이미지 픽셀값(그레이값)들과 컨볼루션하여 복소 계수

(여기서

) 들을 구하였다.

이때, 각 이미지의 점(x,y)에서의 가버젯

은

으로 정의된다. 또한 각 복소 가버 웨이블렛 계수

은

(크기

, 위상

)로 표현될 수 있다.

이미지의 점

에서의 각 복소 가버 웨이블렛 계수와 가버젯을 각각

,

라 하면, 가버젯

와

사이의 가버젯 유사도

는 다음과 같이 정의된다.

(2)

5) 모델 번치 그래프 제작

일정한 개수 M개의 모델 얼굴 이미지들에 대해서, 얼굴을 찾은 후에 얼굴 자세를 똑바로 하며 얼굴 크기를 동일한 크기로 하는 정규화를 수행한 후, 정규화된 얼굴에서 개의 특징점들을 수동으로 검출하고 이 각 특징점에 대해 가버젯을 구한다. 이때, {M개의 각 모델 이미지에서의 해당 특징점에서 얻어진 M개의 가버젯, M개의 각 모델 이미지에서의 해당 특징점 좌표, 해당 특징점의 평균 위치}를 해당 특징점에서의 가버 번치라 하고, v 개의 특징점들에서의 모든 가버 번치들의 집합을 모델 번치 그래프(Model Bunch Graph)라 한다. 모델 번치 그래프의 개념은 EBGM에서 도입되었다.

모델 번치 그래프를 만드는데 사용되는 모델 이미지는 다양한 포즈, 표정과 조명을 반영하여 고르게 선정하여야(randomly distributed) 각종 다양한 얼굴 이미지에 대해서 얼굴 특징점들의 검출이 잘된다.

나. 등록 과정

등록 과정의 절차 1), 2)는 모델링 과정의 절차 1), 2)와 동일하므로 생략하고 3)부터 기술한다.

3) AAM을 이용한 대략적 얼굴 특징점 검출

AAM은 2D 물체의 특징점 검출에 효과적이다. 가)의 모델링 과정에서 설정한 80개 얼굴 특징점들을 훈련된 AAM 모델을 통해 검출한다. AAM 모델링 및 AAM 정합에 의한 특징점 추출 과정은 AAM에 관한 논문(T. F. Cootes, D. J. Edwards, and S. J. Taylor, “Active Appearance Models,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 23, no. 6, pp. 681-685, Jun. 200) 등을 참조하여 구현되었다.

4) 가버젯 유사도를 이용한 정교한 얼굴 특징점 검출

가버젯 유사도에 기반한 얼굴 특징점 검출은 다음과 같이 수행된다.

정규화된 입력 얼굴 이미지에 대해서, 해당 특징점의 추정 초기 위치를 포함한 근방의 각 위치에서 가버젯을 구하고 모델 번치 그래프에 등록되어 있는 해당 특징점의 가버젯들과의 유사도를 구하여 가장 유사도가 높은 위치를 특징점으로 결정한다. 추정 초기 위치는 보통 모델 번치 그래프에 등록되어 있는 해당 특징점 위치의 평균값으로 취하나, 여기서는 앞 절차 3) AAM에 의해 추출된 특징점들을 초기 위치로 추정한다.

그런데, 추정 초기 위치 근방의 모든 위치에 대해 가버젯을 구하는 것은 많은 계산 시간이 소요되므로 해당 특징점에 대해 추정 초기 위치 근방의 모든 위치에서 가버젯을 구하고 모델 번치 그래프에 등록되어 있는 해당 특징점의 거버젯과 유사도를 구하여 가장 유사도가 높은 위치를 특징점으로 결정하는 방법은 실시간 처리에 적합하지 않다. 따라서 EBGM에서는 다음과 같이 빠른 계산 방법을 제안하였다.

추정 초기 위치

에 대해 구한 가버젯을

라 할 때, 점

에서 작은 변위

만큼 떨어진 점

의 가버젯

와 모델 번치 그래프에 등록되어 있는 가버젯

사이의 가버젯 유사도는 점

에서의 가버젯

을 구하지 않고도 다음과 같이 근사적으로 구할 수 있다.

(3)

여기서,

이며,

,

이다. 또한 식 (3)을 최대로 하는

는 식(4)와 같이 근사적으로 구할 수 있다.

(4)

이제 해당 특징점의 추정 초기 위치

와 그 근방의 모든 점들에서의 가버젯과 모델 번치 그래프에 등록되어 있는 각 가버젯

사이의 가버젯과의 가버젯 유사도를 최대로 하는 변위

는 식 (4)를 통하여 구할 수 있다. 따라서 해당 특징점의 최종위치

는 다음과 같이 결정된다.

여기서

는

중 가버젯 유사도를 최대로 하는 변위, 즉 식(3)의 값을 최대로 하는 변위이다.

5) 가버 특징 벡터 추출

앞 모델링 과정의 절차 4)와 동일하므로 내용을 생략한다.

6) 특징 벡터 데이터베이스에 등록

앞 절차 5)에서 추출한 가버 특징 벡터, 가버젯을 데이터베이스에 등록한다.

다. 인증 과정

얼굴 인증 과정의 절차 1), 2), 3), 4), 5)는 등록과정과 동일하므로 내용 기술은 생략하고 6)만 기술한다.

6) 유사도 측정 및 허용/거부 판별

추출된 가버젯을 데이터베이스에 등록된 가버젯들과 유사성을 측정한 뒤 최종적으로 등록된 사람인지를 판별하여 출입 허용/거부 여부를 판단한다.

통과 또는 거부의 결정은 기본적으로 등록된 데이터베이스에서의 가버젯과 새로운 입력 영상에서 추출된 가버젯 사이의 유사도 계산에 기반하나, 제안된 얼굴 인식 시스템에서는 얼굴 인식 실패율(특히, FAR(False Acceptance Rate))을 개선시키기 위해 가버젯 유사도에 기반한 순위 규칙을 고안하고 이를 이용하였다.

본 발명에서 제공한 얼굴 인식 시스템은 특징 벡터 기반 얼굴 인식 방법으로, 얼굴 특징점들에서의 가버 특징 벡터를 추출하고 이에 기반하여 얼굴 인식을 수행한다. 따라서 안정적인 얼굴 특징점 검출이 중요하다. 가버 특징 벡터 기반의 대표적인 얼굴 인식 알고리즘인 EBGM에서는 얼굴 특징점 검출에 가버젯 유사도에 기반한 방법을 제안하였다. 이 방식의 얼굴 특징점 검출은 초기 위치에 매우 민감하여 얼굴 자세가 정면이 아닌 경우에는 안정적인 얼굴 특징점 검출을 보장하지 못한다.

본 발명에서는 AAM을 이용하여 대략적으로 얼굴 특징점을 검출하여 이를 초기값으로 이용하고, 가버젯 유사도 기반으로 보다 정교하게 얼굴 특징점들을 검출하는 방법을 제시하였다. 또한 이러한 얼굴 특징점 검출 방법에 기반한 강인한 얼굴 인식 시스템을 제안하였다. 본 발명에서 제안한 얼굴 특징점 검출 방법이 기존의 가버젯 유사도만을 사용하는 얼굴 특징점 검출 방법보다 얼굴 자세와 조명에 더 강인하며 따라서 이에 기반한 얼굴 인식 시스템의 성능 향상을 가져오는 장점이 있다.

Claims (4)

1. 도면 1에 표시된 AAM 및 가버 특징 벡터 기반 얼굴 인식 시스템의 모델링 과정, 등록 과정, 인증 과정의 구성 및 흐름도
2. 제 1항에 있어서, 등록과정 및 인증과정에서 얼굴 특징점 추출을 AAM을 이용한 대략적 얼굴 특징점 검출 및 가버젯 유사도를 이용한 정교한 얼굴 특징점 검출 등의 2단계로 하는 얼굴 특징점 검출 방법
3. 제 1항에 있어서, AAM과 가버 특징 벡터 모두를 응용한 얼굴 특징점 검출 방법
4. 제 1항에 있어서, AAM과 가버 특징 벡터 모두를 응용한 얼굴 인식 방법

Images