KR20040007000A - 얼굴 포즈 정보와 가중치 스키마를 이용한 얼굴 인식 방법 - Google Patents

Abstract

본 발명은 포즈 변화가 심한 얼굴 영상이 입력되더라도 정확하게 얼굴을 인식할 수 있는 방법에 관한 것으로서, 포즈 정렬과 포즈 기반의 가중치 스키마를 사용하여 얼굴 영상의 포즈별 유사성 차이를 최소화함으로써 더욱 정확한 얼굴 인식율을 달성할 수 있도록 하는 것을 주목적으로 하며, 상기 목적은 포즈별 유사 변환을 이용하여 포즈 변화가 심한 얼굴 영상들을 정렬함으로써 포즈별 유사도 차이를 최소화하고, 유사성 비교시 포즈 정보를 이용하여 포즈 차이에 의한 동일인 사이의 유사성을 보정함으로써 달성되는 것을 특징으로 한다.

Description

얼굴 포즈 정보와 가중치 스키마를 이용한 얼굴 인식 방법{METHOD FOR RECOGNIZING FACE USING A WEIGHTING SCHEME AND FACIAL POSE INFORMATION}

본 발명은 얼굴 영상이 입력된 경우 얼굴 데이터베이스로부터 자신의 얼굴을 검색해내는 얼굴 인식 방법에 관한 것으로서, 특히 포즈 변화가 심한 얼굴 영상이 입력되더라도 정확하게 얼굴을 인식할 수 있는 방법을 제공하는 것이다.

본 발명은 포즈 정렬과 포즈 기반 가중치 스키마를 이용한 포즈 변화를 보정함으로써 이전의 컴포넌트 기반 선형 판별 분석(Component-based Linear Discriminant Analysis : LDA라 함) 얼굴 디스크립터를 확장한 것이다.

새롭게 부가된 심한 포즈 변화를 포함하는 xm2vts 데이터 베이스를 처리하기 위하여, 이전의 포즈 정렬 과정이 개선되어 포즈 기반 가중치 스키마가 새롭게 제안되었다. 디스크립션(description)은 포즈 클래스를 표현하는 3개의 별도 비트로 확장되며, 다른 얼굴들 사이의 유사성은 포즈 관계를 기반으로 한 가중치 스키마에 의해 계산된다.

결과적으로, 개선된 알고리즘과 확장된 디스크립션은 페어팩스 데이터 조합(Fairfax data set)에 적용되어 ANMRR(Average Normalized Modified Retrieval Rate)와 ASR (Average Success Rate) 면에서 더욱 정확한 검색 및 인식율을 달성하게 되었다.

얼굴 검색의 목적은 순위상 가장 유사한 얼굴 영상을 검색하는 것이다. 성공적인 검색 시스템은 쿼리 영상과 동일한 얼굴 영상을 포함하는 데이터베이스로부터 높은 순위의 동일한 얼굴 영상을 찾아내야만 하지만, xm2vts 데이터베이스와 같이 큰 포즈 변화를 갖는 이미지들중에서 정확한 검색결과를 얻는 것은 매우 어렵다.

또한, 대부분 동일한 포즈의 다른 사람들의 영상간 유사성은 동일인의 다른 포즈 이미지들간 유사성보다 크다는 문제점을 갖고 있다.

본 발명은 상기한 문제점들을 해결하기 위해 안출된 것으로, 본 발명의 목적은 포즈 정렬과 포즈 기반의 가중치 스키마를 사용하여 얼굴 영상의 포즈별 유사성차이를 최소화함으로써 더욱 정확한 얼굴 인식율을 달성할 수 있도록 하는 것이다.

도 1은 본 발명에 따른 얼굴 인식 방법에 있어서 포즈 추정 및 포즈 정렬을 통하여 포즈 가중치 계수를 연산하는 것을 설명하는 도면이다.

도 2는 본 발명에 따른 얼굴 인식 방법에 있어서 가중치 스키마를 적용하여 얼굴 영상을 검색하는 것을 설명하기 위한 도면이다.

도 3은 본 발명에 따른 얼굴 인식 방법에 있어서 포즈에 의한 유사변환을 설명하기 위한 도면이다.

도 4는 전체론적인 LDA 프로젝션들의 조합으로부터 포즈간 최대 상관 관계를 나타내는 도면이다.

상기 목적을 달성하기 위하여 본 발명에 따른 얼굴 인식 방법은, 포즈별 유사 변환을 이용하여 포즈 변화가 심한 얼굴 영상들을 정렬함으로써 포즈별 유사도 차이를 최소화하고, 유사성 비교시 포즈 정보를 이용하여 포즈 차이에 의한 동일인 사이의 유사성을 보정하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.

(1) 포즈 추정 및 포즈 정렬

도 1은 본 발명에 따른 얼굴 인식 방법에 있어서 포즈 추정 및 포즈 정렬을 통하여 포즈 가중치 계수를 연산하는 것을 설명하는 도면이다.

컴포넌트 포지션들이 컴포넌트 검출 또는 밀도 매칭(dense matching) 방법에 의하여 잘 정렬되어 있을 때 포즈 변화가 보상될 수 있고, 그 결과 정확성이 개선될 수 있다.

그러나, 밀도 매칭 또는 컴퍼넌트 검출은 매우 어려우며 많은 연산을 필요로 하기 때문에, 포즈 분류 기술과 컴퍼넌트들의 2D 변환 추정을 결합하여 포즈 변화를 효율적으로 보상하는 방법을 생각할 수 있다.

그러나, 이 방법 역시 xm2vts 데이터베이스와 같이 큰 포즈 변화를 가진 경우에 있어서 2D 변환은 얼굴 컴퍼넌트들내에서 포즈 변화를 표현하는 데는 불충분하다. 따라서, 이러한 CE에 있어서 2D 변환에서 2D 유사 변환으로 모션 모델(motion model)을 확장시키는데, 이 과정은 마지막 CE의 변환들과 유사하며,다음과 같이 포즈 분류와 포즈 정렬의 두 단계를 포함한다.

(가) 포즈 추정 : 각 얼굴 영상에서 눈의 위치를 트레이닝한다. 그 다음, 얼굴 영상은 수동 클러스터링에 의하여 정면, 좌측면, 우측면, 상면, 하면, 약간 오른쪽, 약간 왼쪽, 약간 윗쪽, 약간 아랫쪽 등의 9가지 포즈 조합들로 분류된다. 각 포즈 클래스의 조합으로부터 PCA에 의하여 고유얼굴(eigenface)이 추출된다. 포즈 분류 단계동안 테스트 영상은 각 포즈 클래스의 제1 고유얼굴에 해당하는 다섯개의 다른 고유 서브영역들로 프로젝션된다. 영상은 최소의 프로젝션 에러(projection error)와 함께 클래스로 분류된다.

(나) 포즈 정렬 : 일반적으로, 지정된 포즈 클래스에 따라 정면얼굴에 대응하는 영상들이 레퍼런스로 선택되며, 다른 포즈의 영상들은 유사 변환을 이용하여 레퍼런스로 왜곡된다. 유사 변환은 트레이닝 데이터 조합내에서 얼굴상의 기준 포인트들의 평균 위치들의 왜곡으로부터 계산될 수 있다. 따라서, 밀도 매칭 없이 컴퍼넌트들이 정렬되며 포즈 변화로 인한 영상 변화가 많이 제거된다. 포즈 변화가 제거된 후, 대응 컴퍼넌트들은 디스크립션을 위해 인코딩되어 유사성 연산에 사용되며, 그 결과 더욱 정확한 얼굴 인식율을 달성하게 된다.

(2) 유사성 매칭에서의 포즈간 가중치

도 2는 본 발명에 따른 얼굴 인식 방법에 있어서 가중치 스키마를 적용하여 얼굴 영상을 검색하는 것을 설명하기 위한 도면이며, 도 3은 본 발명에 따른 얼굴 인식 방법에 있어서 포즈에 의한 유사변환을 설명하기 위한 도면이다.

얼굴 포즈가 이전의 포즈 정렬 단계에서 정렬이 되었다고 하더라도, 포즈간유사성은 오컬루전(occlusion)과 미정렬(mis-alignment)로 인하여 동일인이라 할지라도 고르게 분포되지 않는다. 특히, 데이터 조합이 큰 포즈 변화를 갖고 있을 때, 올바른 비교를 위해서는 보정이 필요로 된다.

도 4는 전체론적인 LDA 프로젝션들의 조합으로부터 포즈간 최대 상관 관계를 나타내는 도면이다.

다른 포즈들간의 유사성을 보정하기 위해서 포즈 기반 가중치 스키마가 제안되며, 트레이닝 단계에서 포즈간 유사성의 통계가 얻어지면 영상 검색 및 얼굴 인식은 그 정보를 기초로 하여 수행된다.

(가) 포즈간 트레이닝 통계: 포즈-정렬된 트레이닝 데이터가 주어지면 이들의 상관관계는 LDA 프로젝션들로부터 계산된다. 계산된 상관관계와 이에 대응하는 포즈 정보로부터 포즈간 상관관계 통계가 정의될 수 있다. 특히, 포즈간 상관관계의 바이어스(bias)를 제거하기 위해서 포즈간 최대 상관관계는 1로 조정된다.

(나) 포즈간 가중치 스키마: 얼굴 검색에 있어서 포즈간 통계들은 LDA 프로젝션을 조정하는데 사용되며, 그 조정은 포즈간 가중치와 같기 때문에 이 방법을 "포즈간 가중치 스키마" 라고 부른다. 포즈간 최대 상관관계의 조정 매핑값(z)는 포즈 클래스와 포즈 클래스로부터 하기의 수학식 1과 같이 주어진다.

(3) 실험 결과

본 발명에 따른 알고리즘의 가능성을 나타내기 위하여, 큰 포즈 변화를 포함하는 xm2vts 데이터베이스에 이를 적용하였다. 이 실험에 있어서, 영상들의 반(147 persons*10 images)은 트레이닝 조합으로서 사용되었으며, 다른 나머지 반(148 persons*10 images)은 실험 데이터 조합으로서 사용되었다. 실험결과, 정확성은 ANMRR. 면에서 0.610296 에서 0.570243까지 약 6.6 % 정도 개선되었다.

따라서, 본 발명에 따르면 포즈가 다른 동일인의 얼굴 영상이 입력되더라도 얼굴을 정확하게 인식할 수 있는 효과가 있다.

Claims (1)

1. 포즈별 유사 변환을 이용하여 포즈 변화가 심한 얼굴 영상들을 정렬함으로써 포즈별 유사도 차이를 최소화하고, 유사성 비교시 포즈 정보를 이용하여 포즈 차이에 의한 동일인 사이의 유사성을 보정하는 얼굴 포즈 정보와 가중치 스키마를 이용한 얼굴 인식 방법.