KR20030083510A

KR20030083510A - 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템

Info

Publication number: KR20030083510A
Application number: KR1020020022215A
Authority: KR
Inventors: 기석철
Original assignee: 삼성전자주식회사
Priority date: 2002-04-23
Filing date: 2002-04-23
Publication date: 2003-10-30
Also published as: KR100438841B1; EP1357520A2; EP1357520A3; US7187786B2; DE60312427D1; JP2003317101A; EP1357520B1; DE60312427T2; US20030198368A1; JP4156430B2

Abstract

본 발명은 얼굴 검증시 눈위치 검출의 오류로 인한 얼굴 인식 성능의 저하를 개선하고, 얼굴 등록단계에서 최적의 특징 분류기(classifier)를 설계할 만큼 충분한 학습 데이터를 얻을 수 없는 문제점을 해결하기 위해서, 얼굴 등록 과정에서 검출된 눈의 위치를 소정의 방향으로 소정의 길이만큼 이동하여 새로운 눈위치 좌표쌍들을 생성하고, 생성된 각각의 좌표쌍들에 따라서 얼굴 영상을 정규화하여 특징 분류기를 학습함으로써 눈 검출 오류에 대응할 수 있는 구성을 개시한다.

아울러, 등록되지 않은 사람의 영상으로 데이터 베이스가 갱신되지 않도록 2 중 임계값을 설정하여, 검증시에 이용된 최신의 얼굴 영상으로 데이터 베이스를 갱신하는 구성을 개시한다.

Description

이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를 이용한 얼굴 인식 시스템{Method for verifying users and updating the data base, and face verification system using thereof}

본 발명은 데이터 베이스 자동 갱신 방법을 이용한 얼굴 검증 방법 및 시스템에 관한 것이다.

21세기 정보화 사회로 이행되는 과정에서 개인은 물론 특정 단체의 정보는 어느 자산보다도 중요한 가치를 지니게 되었다. 이렇게 중요한 정보를 보호하기 위해서 각종 패스워드가 사용되고, 기타 신분을 확인할 수 있는 기술이 절실히 요구되고 있다. 정보 보호 차원을 넘어서 신용카드, 현금카드, 전자 주민등록증 등 신분 확인을 필요로 하는 사회적 요구는 계속 확대되고 있으나 현재까지는 비밀번호 이외의 보조적인 신분 확인 방법이 없기 때문에 컴퓨터를 사용한 범죄 등 많은 사회적 문제점을 안고 있다. 최근에는 이러한 문제점을 해결할 수 있는 방법으로 지문, 홍체, 정맥의 모양등 사람의 생체 정보를 이용하여 신원을 판별하는 생체 인식 기술이 주목받고 있다.

이 가운데 얼굴 검증 기술은 사용자가 특별한 동작이나 행위를 취할 필요 없이 단순히 카메라를 쳐다보면 되고, 심지어는 사용자 자신이 인지하지 못하는 동안 신분 확인을 할 수 있다는 장점이 있기 때문에 가장 편리하고, 경쟁력 있는 신분 확인 방법으로 평가된다. 얼굴 검증 기술은 단순한 신원 확인 이외에도, 단말기 접근 제어, 공공 장소 관제 시스템, 전자 사진첩, 범죄자 얼굴 인식 등 많은 응용분야를 가지고 있어 정보화 사회에서 그 파급효과가 큰 기술이라고 평가된다.

일반적으로 생체인식 기술을 이용한 모든 신분 검증방법은 크게 2가지 과정을 거치게 되는데, 하나는 이용자의 생체 정보를 등록하는 과정이고, 다른 하나는 이용자가 실제 신분을 검증하는 과정이다.

일반적인 얼굴 검증 시스템을 이용하기 위해서, 이용자들은 먼저 자신의 얼굴을 검증 시스템에 등록한다. 얼굴 등록을 위해서 이용자는 카메라를 이용하여 자신의 얼굴이 포함된 영상 데이터를 얼굴 검증 시스템에 입력하게 된다. 입력된 전체 영상에서 얼굴 영역만이 자동으로 검출된 후, 검출된 얼굴 영역으로부터 인식 특징들이 추출되어 그 특징값이 계산된다. 얼굴 영상 그 자체는 정보량이 너무 많고 표정, 노화, 조명, 크기 변화에 민감하게 반응하기 때문에, 적은 정보량으로 얼굴 특징값을 표현하면서, 동시에 얼굴의 다양한 변화에 무관한 특징값을 찾아내게 된다. 추출된 얼굴의 특징값들은 특징 분류기(classifier)를 학습하는데 이용된 후, 얼굴 영상 데이터베이스에 저장되어, 얼굴 검증 과정에서 이용된다.

얼굴 검증 시스템의 얼굴 검증 과정은 얼굴 데이터 등록과정과 대부분 동일하다. 다만, 얼굴 검증 과정에서는 검증 대상이 되는 얼굴의 특징값을 추출한 후, 이 특징값들을 기존의 얼굴 데이터 베이스에 등록된 이용자의 얼굴 특징값들과 비교하여, 검증 대상이 되는 얼굴이 등록된 얼굴인지 여부를 검증하게 된다.

전술한 종래의 방법에 의해서 기존의 얼굴 검증 장치에서 얼굴 검증을 행하는 경우에, 얼굴 등록 단계와 얼굴 검증 단계에서 동시에 사용하는 얼굴 검출기의 분해능이 낮기 때문에 얼굴 검출 오류에 따른 인식률 저하가 항상 발생된다. 특히,얼굴 인식 과정의 첫 단계로서 눈의 위치를 검출할 경우, 눈의 위치 검출시에 오류가 발생하면 최종적인 얼굴 인식 결과에 상당한 성능 저하를 초래한다.

도 1을 참조하여 눈위치 검출 오류에 의한 영향을 살펴보면, 동일한 사람으로부터 입력된 서로 다른 2장의 영상에 대해서 눈의 위치를 2차례 검출한 결과를 각각 왼쪽과 오른쪽에 나타내었다. 각각의 영상에서 검출된 두 눈의 위치를 기준으로 하여, 영상을 각각 후술할 방법에 따라서 정규화하고 왼쪽 영상에서 오른쪽 영상을 감산하면, 즉, 왼쪽 영상의 화소값에서 대응되는 오른쪽 영상의 화소값을 감산하면, 눈의 위치가 정확하게 일치되어 두 영상의 대응되는 화소값이 동일한 경우에는 차영상은 검은색으로 나타나고, 눈의 위치가 불일치 되어 화소값이 동일하지 않은 경우에는 흰색으로 나타난다. 따라서, 차영상의 흰색 부분이 짙어지거나 많아질수록 얼굴 인식 오류의 확률이 높아지게 되는 것을 의미한다.

도 1 에 도시된 바와 같이, 사람이 눈으로 구분하기 힘든 정도의 작은 눈 검출 오차에 의해서 얼굴 영역의 정규화 결과가 달라지게 되고, 정규화 영상에 대한 차영상에서 오차의 심각성 정도를 알 수 있다.

이러한 눈위치 검출의 오차로 인한 얼굴 인식 성능 저하 이외에도 다양한 얼굴 인식 성능의 저하 요인이 존재하고, 일반적인 얼굴 인식 성능은 충분한 학습 영상을 입력하여 최적의 특징 분류기를 설계함으로써 극복이 가능하다. 그러나, 현실적으로 이용자의 편의를 고려하여 이용자 등록시에 최적의 특징 분류기를 설계할 만큼 충분한 학습 영상을 얻는 것은 불가능하다.

도 2를 참조하여 학습영상의 수에 따른 특징 분류기의 설계 영향을 설명한다. 도 2는 얼굴 특징 벡터공간에서 한 사람으로 분류되는 공간인 각각의 클래스(class)를 구분하기 위해서 한 클래스 당 3번의 학습데이터(동일한 사람에 대한 서로 다른시점에서 취득한 얼굴 영상)취득 후 학습한 특징 분류기와 5번의 학습데이터 취득 후 학습한 특징 분류기의 하이퍼플레인(hyperplane)모양변화를 도시하였다.

한 사람에 대해서 3장의 얼굴 영상만 등록한 경우의 특징 분류기의 하이퍼플레인의 위치가 새로운 2개의 학습 영상이 더 추가됨에 따라서 변화될 수 있다는 것을 보이고 있다. 학습 영상 숫자가 적어서 학습 영상으로 표현하지 못하는 공간에 대해서는 효과적으로 분류기를 설계할 수 없지만 학습 영상이 많아지면 이러한 부분을 상세히 설계할 수 있게 된다. 즉, 다양한 변화를 포함하는 가능한 많은 학습 데이터를 학습할수록 신뢰성 있는 특징 분류기를 구성할 수 있다. 따라서, 이용자 등록 단계에서 가급적 많은 학습 영상을 취득할수록 시스템 성능이 좋아지지만, 실제 얼굴 검증 시스템을 운영하기 위해서 사용자에게 수십장의 얼굴을 등록하게 요구하는 것은 사용상의 큰 불편을 초래하게 한다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위해 눈위치 변경을 통해, 얼굴 검출을 위한 초기 단계인 눈 검출시에 발생 가능한 오류를 고려한 영상 데이터를 사전에 등록하여 둠으로써 얼굴 검출의 오류로 인한 인식 성능 저하를 막는 얼굴 검증 방법 및 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 눈 위치 변경을 통해서 생성된 눈좌표 쌍들에 따라서 정규화된 영상 데이터를 특징 분류기의 학습에 이용되는 학습 영상 데이터에 포함시켜 학습 데이터의 수를 증가시킴으로써, 최적의 특징 분류기를 설계하여 인식 성능 저하를 막는 얼굴 검증 방법 및 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 얼굴 검증을 위해서 입력된 얼굴 영상을, 차후의 얼굴 검증에 이용할 수 있도록 특징 분류기의 학습에 이용하고, 얼굴 데이터 베이스를 자동으로 갱신하는 얼굴 검증 방법 및 시스템을 제공하는 것을 목적으로 한다.

도 1 은 종래의 얼굴 검증 장치에서의 눈위치 검출 오류의 영향을 도시한 도면이다.

도 2 는 종래의 학습 영상의 양에 따른 특징 분류기의 설계를 예시적으로 도시한 도이다.

도 3 은 본 발명의 얼굴 검증 시스템의 구성을 도시한 블록도이다.

도 4 는 본 발명의 얼굴 검증 시스템의 이용자 얼굴 등록 과정을 도시한 흐름도이다.

도 5 는 본 발명의 얼굴 검증 시스템의 얼굴 검증 과정을 도시한 흐름도이다.

도 6 은 본 발명의 눈 위치 변경 방향을 예시적으로 도시하는 도면이다.

도 7a 는 이상적인 영상 데이터의 벡터값의 분포를 나타내는 도면이고, 도 7b 는 현실적인 영상 데이터의 벡터값의 분포를 고려하여 2중으로 임계값을 적용하는 예를 도시하는 도면이다.

도 8 은 본 발명의 하이퍼플레인에서 입력되는 특징값에 따라서 특징 분류기의 위치 및 얼굴 검증 임계값의 변화를 도시한 도이다.

상술한 목적을 달성하기 위해서, 본 발명의 얼굴검증 시스템은 입력된 얼굴 영상을 영상처리에 적합한 형태로 가공하는 전처리부; 상기 입력된 얼굴 영상에서 배경과 얼굴을 분리하여 얼굴을 검출하는 얼굴 영역 검출부; 상기 검출된 얼굴 영역에서 눈의 위치를 검출하고 소정의 방향으로 소정의 길이만큼 눈 좌표를 이동하여 복수의 영상을 생성하는 눈위치 변경부; 눈위치가 변경된 상기 각각의 영상에 대해서 얼굴 영상의 조명, 크기 및 기울어짐의 영향을 감소시키는 얼굴 영역 정규화부; 상기 각각의 얼굴 영상에서 얼굴 인식의 특징을 추출하여 특징값을 계산하는 인식 특징 추출부; 상기 계산된 얼굴 인식 특징값을 이용하여 특징 분류기를 학습하는 특징 분류기 학습부; 얼굴 인식 특징값들을 저장하는 데이터 베이스; 및 상기 얼굴 인식의 특징값으로부터, 상기 입력된 얼굴 영상과 등록된 얼굴 영상의 유사여부 및 상기 입력된 얼굴 영상을 이용하여 상기 데이터 베이스의 갱신여부를 판정하는 판정부를 포함한다.

또한, 본 발명의 얼굴 검증 시스템에서 얼굴을 등록하고 검증하는 방법은 입력 영상에서 이용자의 얼굴 영역을 검출하는 단계; 검출된 상기 얼굴 영역에서 눈의 위치를 검출하고, 상기 검출된 눈의 위치를 소정의 방향 및 소정의 거리로 각각 변경하여, 변경된 눈의 좌표쌍들을 생성하는 단계; 상기 생성된 각각의 눈의 좌표쌍들에 따라서 얼굴 영상을 정규화하고 얼굴의 인식 특징들을 추출하는 단계; 상기 추출된 인식 특징들을 이용하여 특징 분류기를 학습하고, 상기 인식 특징들을 데이터 베이스에 저장하는 단계; 검증 대상 얼굴 영상을 입력받아 얼굴 영역을 검출하고 얼굴 영역을 정규화하여 얼굴의 인식 특징들을 추출하고 특징값을 계산하는 단계; 상기 특징 분류기를 이용하여 상기 추출된 인식 특징값들의 벡터 영역에서의 분포를 계산하고, 상기 분포를 수치적으로 표현한 비교값을 계산하는 단계; 및 상기 비교값이 제 1 임계값이하인 경우에 상기 이용자의 시스템 통과를 불승인하고, 상기 비교값이 제 1 임계값보다 큰 경우에는 상기 이용자의 시스템 통과를 승인하는 단계를 포함한다.

본 발명의 얼굴 검증 시스템에서 얼굴을 등록하고 검증하는 방법의 다른 실시예는, 상기 구성에 상기 비교값이 제 2 임계값보다 큰 경우에 상기 검증 대상 얼굴 영상에 대해서, 상기 검출된 상기 얼굴 영역에서 눈의 위치를 검출하고, 상기 검출된 눈의 위치를 소정의 방향 및 소정의 거리로 각각 변경하여, 변경된 눈의 좌표쌍들을 생성하는 단계; 상기 생성된 각각의 눈의 좌표쌍들에 따라서 얼굴 영상을 정규화하고 얼굴의 인식 특징들을 추출하는 단계; 상기 추출된 인식 특징들을 이용하여 특징 분류기를 학습하고, 상기 인식 특징들을 데이터 베이스에 저장하는 단계;를 수행하여 상기 검증 대상 얼굴 영상으로 상기 데이터 베이스를 갱신하는 단계를 더 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 3 은 본 발명의 검증 시스템의 구성을 도시하는 블록도이다.

본 발명의 검증 시스템은 입력된 영상을 영상처리에 적합한 형태로 가공하는 전처리부(310), 입력된 영상에서 배경과 얼굴을 분리하는 얼굴영역 검출부(320), 입력된 영상에서 눈의 위치를 검출하고 소정의 방향으로 일정한 변위만큼 눈 좌표를 이동하여 눈 검출 오류에 대비한 눈좌표쌍들을 생성하는 눈위치 변경부(330), 눈위치가 변경된 각각의 눈좌표쌍들에 따라서 얼굴 영상의 조명 또는 크기의 영향을 감소시키는 얼굴 영역 정규화부(340), 얼굴 영상에서 얼굴 인식의 특징을 추출하여 특징값을 계산하는 인식 특징 추출부(350), 계산된 얼굴 인식 특징값을 이용하여 특징 분류기, 즉 특징분류 데이터를 학습하는 특징 분류기 학습부(360), 검증 대상 얼굴 영상으로부터 추출된 얼굴 인식 특징값과 등록된 얼굴 인식 특징값을 비교하여 유사여부를 판정하는 판정부(370) 및 얼굴 인식 특징값 및 특징 분류기 학습부(360)에서 학습된 특징분류데이터를 저장하는 데이터 베이스(380)를 포함한다.

이하, 도 3 및 도 4 를 참조하여 본원 발명의 검증 시스템에서 얼굴 데이터를 등록하는 방법을 설명한다.

본 발명의 얼굴 검증 시스템을 이용하기 위해서 이용자는 자신의 얼굴을 검증 시스템에 먼저 등록하게 되는데, 이용자의 얼굴은 저해상도 카메라로 촬영되어 시스템에 입력된다(S400).

얼굴 영상을 수신한 전처리부(310)는 얼굴 영역 추출이 용이하도록 저해상도카메라로부터 입력된 영상에 포함된 노이즈를 제거하고, 입력 영상의 포맷이나 컬러 형식등을 본 발명의 시스템에서 처리할 수 있는 형식으로 변환하는 전처리 과정을 수행한다(S410).

얼굴 영역 검출부(320)는 전처리된 입력 영상에서 얼굴 영역을 배경과 분리 함으로써 얼굴 영역을 검출하게 된다(S420). 정확한 얼굴 검증을 위해서는 입력된 영상으로부터 얼굴 영역을 정확하게 검출하는 것이 필요하다. 그러나, 얼굴은 표정, 배경 조명등에 의해서 왜곡되고, 머리 모양, 화장, 안경등에 의해서 큰 변화가 생기므로 배경과 얼굴 영역을 완벽하게 분리하는 것은 어렵다. 2차원 영상으로부터 얼굴 영역을 검출하는 방법은 얼굴의 지형적인 특성을 사용하는 방법, 통계적인 분석법, 신경망을 사용하는 방법, 얼굴 영상의 주성분 분석법, 고립영역에 의한 얼굴 추출 방법 등이 있다.

얼굴 데이터를 등록하는 경우에, 검출된 얼굴 영역은 눈위치 변경부(330)에서 눈의 위치가 소정의 방향으로 소정의 거리만큼 이동된 후, 얼굴 영역 정규화부(340)로 출력된다(S430).

일반적인 얼굴 인식 및 검증 방법은 얼굴 영상에서 두 눈의 위치를 검출하고, 두 눈의 좌표로부터 두 눈의 중심점의 좌표를 찾게된다. 그 후, 계산된 두 눈의 중심점을 기준으로 모든 얼굴을 후술하는 방법들에 의해서 정규화하고, 정규화된 영상에서 인식의 특징을 찾아서 얼굴을 등록하고, 얼굴 검증에 사용하게 된다.

이때, 얼굴 검출기의 성능에 제한이 있으므로 모든 영상에서 항상 정확한 두 눈의 중심점을 찾는 것은 거의 불가능하다. 따라서, 전술한 바와 같이 얼굴 영상에서 눈의 위치를 검출할 때마다 오류가 발생하게 되고, 이러한 오류가 결국 최종 인식 성능의 저하를 초래하게 된다.

본 발명은 눈위치 변경부(330)에서 입력 영상으로부터 측정된 눈의 위치를 소정의 방향으로 소정의 거리만큼 이동한 후, 눈위치가 변경된 각각의 눈좌표쌍에 따라서 입력 영상을 후술하는 방법들에 의해서 정규화한다. 이렇게 정규화된 영상 데이터로부터 인식 특징을 추출하여 특징 분류기를 학습함으로써, 상술한 문제점들을 해결한다.

도 6 에 도시된 바와 같이 본 발명의 검증 시스템의 눈위치 변경부(330)는 입력된 얼굴 영역에서 두 눈의 위치를 검출하고, 자동 검출된 눈의 좌표를 기준으로 상, 하, 좌, 우 또는 대각선 방향으로 일정한 거리만큼 눈의 좌표점을 이동하여 새로운 눈의 좌표로 설정하여 등록에 사용한다. 새로운 좌표점은 (x,y)→(x+x_d, y+y_d) 와 같은 규칙에 따라서 설정된다.

이 때, 눈 좌표가 이동되는 거리 x_d및 y_d는 추출된 얼굴 영상의 크기에 따라서 알맞도록 선택된다. 예컨대, 본 발명에서는 얼굴 영상의 가로 길이가 약 30 픽셀정도의 크기라면 x_d및 y_d는 약 2 픽셀의 크기정도로 선택되고, 얼굴 영상의 크기에 따라 일정할 비율로 조절이 가능하다.

눈위치 변경 방법을 구체적으로 살펴보면, 자동 얼굴 검출에 의해 찾아진 왼쪽 눈 및 오른쪽 눈의 위치를 각각 (x_o ^l,y_o ^r) 라고 하고, 두 눈의 위치를 기준으로검출 오류의 가능성이 있는 눈의 좌표를 일정한 규칙에 의해서 새로운 좌표값으로 생성하고, 이에 해당하는 두 눈의 위치를 각각 (x_m ^l,y_m ^r) 라고 한다. 이때, 새로운 좌표값 x_m ^l,y_m ^r에 총s개 만큼의 새로운 좌표를 부여하면, 다음과 같은 새로운 눈 좌표 조합이 생기게 된다.

즉, 새로운 두 눈의 위치가 각각s개 만큼 변화되면 총 (s+1)*(s+1)개 만큼의 눈 좌표 조합이 생기게 된다. 예를 들어 상하, 좌우 4 방향으로 새로운 눈 좌표를 설정한다면 왼쪽, 오른쪽 눈에 각각 5개의 좌표가 생기고, 이의 모든 조합의 개수는 총 25개가 생성된다. 가상의 얼굴 검출 오류에 대비하여 검출된 눈위치를 변경한 새로운 눈 좌표가 생성되면, 생성된 눈 좌표의 각각의 조합에 따라서 영상을 정규화하여 등록 영상으로 학습한다. 즉, 1 장의 학습 영상만으로 총 25 장의 눈 검출 오류에 대응할 수 있는 학습 영상을 얻게 되는 효과가 생기므로, 검증시에 눈 검출 오류로 인한 인식성능 저하를 개선할 수 있다.

아울러, 동시에 1 장의 등록만으로 25 장의 학습 영상을 가상으로 만들어 내기 때문에, 학습 영상의 숫자가 적어서 최적의 특징 분류기를 설계할 수 없었던 기존의 문제를 해결할 수 있게 된다.

얼굴 영역 검출부(320)에서 수신된 얼굴 영역 영상은 등록된 얼굴 영상에 비하여, 조명에 의한 명도 변화, 카메라와의 거리에 의한 얼굴의 크기변화, 영상의 기울어짐등으로 인해 검증 성능이 저하된다. 따라서, 얼굴 영역 정규화부(340)는 검출된 얼굴 영상의 명도를 교정하고, 얼굴 영상을 회전시켜 얼굴 영역의 기울어짐을 교정하며, 얼굴 영역을 확대 또는 축소하여 얼굴 영상의 크기를 교정함으로써 검출된 얼굴 영역을 정규화하여 인식특징 추출부(350)로 제공한다 (S440).

정규화된 얼굴 영상을 수신한 인식 특징 추출부(350)는 얼굴의 표정, 노화에 무관하면서도 각 개인을 구별할 수 있는 특징값을 추출한다(S450). 이러한 얼굴의 특징들로는 눈, 코, 입등의 얼굴의 주요부분의 형태와 기하학적인 배치, 코의 방향 성분, 눈동자 사이의 길이와 코길이의 비, 코폭의 비 등 기하학적인 배치에 의한 특징들이 있으며, 그래디언트(Gradient)를 취해서 특징점을 찾거나 탬플릿 (Template)을 이용한 방법, 피씨에이(PCA:Principal Component Analysis) 나 엘에프에이(LFA:Local Feature Analysis)와 같이 수학적인 변환을 사용하는 방법, 변형 가능한 모델을 변형하여 얼굴에 사상시켜 얼굴구성요소와 특징을 찾는 방법등이 이용될 수 있다.

특징 분류기 학습부(360)는 인식 특징 추출부(350)로부터 제공되는 인식 특징값들을 소정의 벡터공간에 사상(mapping)하여 특징 분류기, 즉 특징분류 데이터를 학습한다(S460).

한편, 학습에 사용된 특징값들 및 학습된 특징분류 데이터는 데이터베이스(DB:380)에 저장되므로써 얼굴 등록 과정은 종료된다(S470).

이하, 도 5 및 도 7b 를 참조하여 본 발명의 얼굴 검증 시스템에서 얼굴을 검증하는 과정을 설명한다.

얼굴 검증 과정에서, 카메라를 통해서 영상이 입력되면(S500), 입력된 영상을 전처리하여(S510) 얼굴 영역을 검출하고(S520), 검출된 얼굴 영역을 정규화하여 (S530) 얼굴 인식 특징을 추출하는 과정(S540)은, 눈위치를 변경하는 과정(S430)이 생략된다는 점을 제외하면, 얼굴 등록과정의 제 S400 내지 S450 단계와 동일하다.

검증 대상인 얼굴 영상의 특징값들은 인식 특징 추출부(350)에서 판정부(370)로 출력되고, 판정부(370)는 데이터베이스(380)에 저장된 학습된 특징 분류기, 즉 학습된 특징분류 데이터를 이용하여 추출된 검증 대상 영상의 특징값들의 벡터 영역 분포를 계산하고, 이러한 벡터 영역의 분포를 수치화한 비교값을 계산한다(S550).

또한, 판정부(370)는 검증 대상 얼굴의 승인 여부를 결정하기 위해 계산된 비교값을 사전에 설정된 제 1 임계값(FV1)과 그 크기를 비교하여, 비교값이 제 1 임계값(FV1)보다 작은 경우에는 검증 대상을 침입자의 얼굴 영상으로 간주하여 시스템 통과를 불승인하는 결과를 출력한다(S570). 한편, 비교값이 제 1 임계값(FV1)보다 큰 경우에는 등록된 이용자임을 승인하는 결과를 출력(S580)하고 다음 단계로 진행한다(S560).

여기에서, 임계값을 결정하는 방법을 아래의 수학식 및 도 8 을 참조하여 설명한다. 먼저, 선형 특징 분류 함수는 다음의 수학식으로 정의된다.

f(x) = sgn(<w*x>+b)

상기 수식에서 sgn 은 본 발명의 하이퍼플레인 함수를, w 는 학습을 통해서 구해지는 하이퍼플레인의 기울기를, x 는 얼굴 검증시에 입력되는 특징값을 각각 의미하며, bias 값인 b 가 얼굴 검증 여부를 결정하는 임계값이 된다.

이때, 도 8 에 도시된 바와 같이, 하이퍼플레인(hyperplane)에서 최소의 거리에 떨어진 특징값들의 거리를 최대화 시키는 방향으로 하이퍼플레인을 설계한다면 최적의 하이퍼플레인이라고 할 수 있다.

여기서, 하이퍼플레인 함수 <w*x>+b=0 에서 0 을 bias 값으로 정의하고, bias 값을 바꾸어 줌으로써 임계값의 위치를 변경하여 적용할 수 있다. 즉, 0 보다 큰 양수의 bias 값을 적용하면 임계값이 class 1쪽으로 이동하고, 0 보다 작은 음수의 값을 적용하면 임계값이 class 2 쪽으로 움직이게 된다.

판정부(370)는 검증 대상 얼굴이 승인되면, 입력된 검증 대상 얼굴 영상을 이용하여 데이터 베이스를 등록 이용자의 최신의 얼굴 영상으로 갱신하기 위해서, 검증 대상의 비교값을 데이터 베이스(380)의 갱신여부를 결정하기 위한 사전 설정된 제 2 임계값(FV2)과 비교하여, 비교값이 제 2 임계값보다 큰 경우에는 눈위치변경부(330)로 제어신호를 발생하여 등록 과정의 제 S430 단계부터 다시 수행하도록 함으로써 얼굴 영상이 등록되게 한다(S590).

전술한 바와 같이 본 발명에서 2 중의 임계값을 설정하여 데이터 베이스를 갱신하는 이유를 도 7a 및 도 7b를 참조하여 설명한다.

모든 생체 인식 검증 시스템에는 2종류의 오류가 존재한다. 첫번째는 등록되지 않은 사람(이하, "침입자"라 함)이 등록된 사람으로 위장하고 얼굴 검증 시스템을 통과하려고 시도하는 경우에 통과가 승인되는 FAR (False Acceptance Rate) 과, 사전에 얼굴을 등록하고 정상적으로 검증 시스템을 통과하려는 사람(이하, "등록 이용자"라 함 )이 통과가 불승인되는 FRR (False Rejection Rate)이다. 설명된 두 오류의 관계를 도 7b 에 나타내었다.

도 7a 에 도시된 바와 같이 두 클래스의 벡터 영역의 분포가 이상적으로 완전히 분리되어서 하나의 임계값만을 사용하여 두 클래스를 오류없이 나눌 수 있다면 얼굴 검증 시스템에서 전혀 문제가 발생하지 않는다. 하지만, 현실적으로는 도 7b와 같이 두 클래스 사이에 서로 중복되는 영역이 생기고, 이로 인하여 통과를 승인할 임계값을 어디에 설정하는가에 따라서 FAR, FRR의 값이 변화하게 된다.

침입자의 통과를 방지하기 위해서 도 7b의 FV2와 같이 FAR 이 0 이 되도록 임계값을 높게 설정한다면 침입자의 통과는 막을 수 있겠지만, 이에 비례해서 FRR의 값이 매우 커지기 때문에 등록 이용자가 자주 통과 거부되어 사용이 매우 불편하게 된다. 따라서, 일반적으로 도 7b의 FV1과 같이, 매우 작은 확률이지만 침입자의 출입을 허용하고, 사용자가 불편하지 않을 정도의 임계값을 설정하여 운영한다. 본 발명에서도 전술한 이유로 통과를 위한 제 1 임계값을 FV1과 같이 설정하였다.

한편, 일반적으로 얼굴 검증 시스템의 등록 과정에서 충분한 얼굴을 등록할 수 없음은 전술한 바와 같다. 하지만, 일단 등록된 이용자는 검증 시스템을 자주 이용하게 되므로, 시스템은 등록 과정과 관계없이 이용자가 얼굴 검증 시스템을 통과할 때마다, 얼굴 영상을 확보하게 되어 다량의 학습용 데이터를 얻을 수 있게 된다. 하지만 검증 과정에서 취득된 영상을 그대로 학습에 사용하게 된다면 보안 성능에 치명적인 오류가 발생하게 된다. 즉, FAR이 발생한 얼굴이 자동으로 학습에 사용되어 데이터 베이스가 갱신된다면 한번 검증을 통과한 침입자가 다음 번에는 아무런 방해없이 등록 이용자와 같은 확률로 시스템을 통과할 수 있기 때문이다. 결국, FAR의 발생을 허락하지 않으면서 자동으로 검증 영상을 학습에 사용할 수 있는 방법이 반드시 필요하게 되는 것이다.

따라서, 본 발명에서는 이러한 문제점을 해결하기 위해서, 시스템 통과를 위한 제 1 임계값(FV1) 이외에 얼굴 데이터 베이스를 갱신하기 위한 제 2 임계값(FV2)을 설정하여, 검증 대상 영상의 특징값을 벡터영역으로 변환하여 계산한 비교값이 FV1 이상이고 FV2 이하이면, 단순히 시스템 통과만을 승인한다. 반면, 비교값이 FV2 이상이면, 통과를 승인함과 동시에 검증용 얼굴 영상에 대해서 등록과정의 눈위치 변경단계(S430)이후의 단계를 수행하여 얼굴 등록과정과 동일한 방법으로 특징 분류기를 학습하고 데이터 베이스(380)를 갱신하게 된다.

상술한 이유로 본 발명은 2 중 임계값을 함께 적용하여, 이용자의 불편을 최소화하였고, 침입자의 얼굴 영상으로 데이터 베이스가 갱신되는 것을 막으면서, 등록된 이용자의 최신 영상으로 데이터 베이스를 갱신함으로써 검증 시스템의 인식 성능을 개선하였다.

본 발명의 구성에 따른 얼굴 검증 시스템의 성능 향상 정도를 다음 표를 참조하여 살펴본다.

EER(％)	눈위치 변경	필터링
5. 33	NO	NO
1. 67	BY 2	NO
5. 00	NO	Gaussian
1. 57	BY 2	Gaussian

< SVM-SMO>

EER(％)	눈위치 변경	필터링
5. 40	NO	NO
3. 33	BY 2	NO
5. 00	NO	Gaussian
2. 04	BY 2	Gaussian

< SVM-PCA>

총 40명에 대해서 1인당 5장의 얼굴영상을 본 발명의 시스템에 적용하여 얻은 효과를 위의 표에 나타내었다.

먼저, 30명에 대해서 1 인당 3장의 얼굴을 미리 등록하고, 30명의 나머지 2장을 사용하여 총 60장의 영상으로 등록 이용자 출입 성능을 평가하여 FRR을 구하고, 등록하지 않은 10명의 각 5장 영상을 가지고, 총 1500회의 침입자 출입 성능을 평가하여 FAR을 측정하였다. 표에는 FAR=FRR 되는 지점의 EER(Equal Error Rate)를 나타내었다. 첫 번째 표는 인식 특징을 구하지 않고 특징 분류기만을 SVM-SMO (Support Vector Machine - Sequential Minimal Optimizer) 으로 구현해서 평가한 경우이고, 두 번째 표는 인식 특징으로 PCA (Principal Component Analysis)를 사용하고 SVM 을 특징 분류기로 구현한 경우이다.

두가지 경우 모두 눈의 위치를 변경함으로써, 눈의 위치를 변경하지 않은 일반적인 경우보다 2배 가까이 검증 오류를 줄일 수 있음을 확인할 수 있다.

한편, 본 발명의 얼굴 등록방법 및 얼굴 검증방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

본 발명은 가상의 얼굴 검출 오류에 대비하여 최초 검출된 눈위치를 변경한 새로운 눈 좌표가 생성되면, 생성된 눈 좌표에 따라서 얼굴 영상을 정규화하고, 얼굴 인식의 특징을 추출하여 학습 및 저장함으로써, 얼굴 검증시에 눈의 위치가 얼굴 등록시의 눈의 위치와 다르게 검출되어 발생하는 인식의 오류를 개선할 수 있는 효과가 있다.

또한, 본 발명은 입력 영상의 눈위치 변경을 통해서 생성된 눈좌표쌍들에 따라서 입력 영상 데이터를 정규화하고, 이렇게 정규화된 데이터를 특징 분류기의 학습에 이용되는 학습 데이터에 포함시켜 학습 데이터의 수를 증가시킴으로써, 최적의 특징 분류기를 설계하여 인식 성능 저하를 막는 효과가 있다.

또한, 본 발명은 2중 임계값을 적용하여 이용자의 불편을 최소화하고 침입자의 얼굴 영상으로 데이터 베이스가 갱신되는 것을 막음과 동시에, 얼굴 검증시에 입력된 영상으로 데이터 베이스를 갱신함으로써 데이터 베이스를 항상 최신의 데이터로 유지하여 검증 시스템의 인식 성능을 개선하였다.

Claims

얼굴 검증 시스템에서 얼굴을 검증하는 방법으로서,

(a) 입력 영상에서 이용자의 얼굴 영역을 검출하는 단계;

(b) 검출된 상기 얼굴 영역에서 눈의 위치를 검출하고, 상기 검출된 눈의 위치를 소정의 방향 및 소정의 거리로 각각 변경하여, 변경된 눈의 좌표쌍들을 생성하는 단계;

(c) 상기 생성된 각각의 눈의 좌표쌍들에 따라서 얼굴 영상을 정규화하고 얼굴의 인식 특징들을 추출하는 단계;

(d) 상기 추출된 인식 특징들을 이용하여 특징 분류기를 학습하고, 상기 인식 특징들을 데이터 베이스에 저장하는 단계;

(e) 검증 대상 얼굴 영상을 입력받아 얼굴 영역을 검출하고 얼굴 영역을 정규화하여 얼굴의 인식 특징들을 추출하고 특징값을 계산하는 단계;

(f) 상기 특징 분류기를 이용하여 상기 추출된 인식 특징값들의 벡터 영역에서의 분포를 계산하고, 상기 분포를 수치적으로 표현한 비교값을 계산하는 단계; 및

(g) 상기 비교값이 제 1 임계값이하인 경우에 상기 이용자의 시스템 통과를불승인하고, 상기 비교값이 제 1 임계값보다 큰 경우에는 상기 이용자의 시스템 통과를 승인하는 단계를 포함하는 것을 특징으로 하는 얼굴 검증 방법.
제 1 항에 있어서,

상기 비교값이 제 2 임계값보다 큰 경우에는 상기 검증 대상 얼굴 영상에 대해서, 상기 (b) 내지 (d) 단계를 수행하여 상기 검증 대상 얼굴 영상으로 상기 데이터 베이스를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 검증 방법.
제 2 항에 있어서,

얼굴 영상을 상기 데이터 베이스에 저장하지 않은 사람이 시스템을 통과할 확률이 0 으로 설정된 상기 제 2 임계값은 상기 제 1 임계값보다 크며, 상기 비교값이 클수록 상기 검증 대상 얼굴 영상이 상기 데이터 베이스에 미리 얼굴 영상이 저장된 이용자의 얼굴 영상과 일치할 확률이 높음을 의미하는 것을 특징으로 하는 얼굴 검증 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 (a) 단계 이전에

상기 입력 영상의 형식들을 상기 얼굴 검증 시스템에 적합한 형식으로 변환하는 전처리 단계를 더 포함하는 것을 특징으로 하는 얼굴 검증 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 (c) 단계는

상기 생성된 각각의 눈의 좌표쌍들의 중심점들을 계산하고, 상기 계산된 각각의 중심점들에 따라서 얼굴 영역의 기울어짐을 보상하여 정규화하는 것을 특징으로 하는 얼굴 검증 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 (b) 단계의 상기 소정의 길이는, 상기 검출된 얼굴 영역의 가로방향의 길이와의 비율에 따라서 계산되며, 상기 소정의 길이 대 상기 검출된 얼굴 영역의 가로방향 길이의 비는 1/15 인 것을 특징으로 하는 얼굴 검증 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서

상기 (b) 단계의 상기 소정의 방향은 상, 하, 좌 및 우의 4 방향인 것을 특징으로 하는 얼굴 검증 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서

상기 임계값은 다음의 수식에 의해서 결정되며,

f(x) = sgn(<w*x>+b)

상기 수식에서 sgn 은 본 발명의 하이퍼플레인 함수를, w 는 학습을 통해서 구해지는 하이퍼플레인의 기울기를, x 는 얼굴 검증시에 입력되는 특징값을 각각 의미하며, 바이어스 값인 b 값을 조절함으로써 임계값을 결정할 수 있는 것을 특징으로 하는 얼굴 검증 방법.
제 1 항 내지 제 3 항 중 어느 한 항의 방법을 컴퓨터에서 실행 가능한 프로그램 코드로 기록한 기록 매체.
입력된 얼굴 영상을 영상처리에 적합한 형태로 가공하는 전처리부;

상기 입력된 얼굴 영상에서 배경과 얼굴을 분리하여 얼굴을 검출하는 얼굴 영역 검출부;

상기 검출된 얼굴 영역에서 눈의 위치를 검출하고 소정의 방향으로 소정의 길이만큼 눈 좌표를 이동하여 복수의 영상을 생성하는 눈위치 변경부;

눈위치가 변경된 상기 각각의 영상에 대해서 얼굴 영상의 조명, 크기 및 기울어짐의 영향을 감소시키는 얼굴 영역 정규화부;

상기 정규화된 각각의 얼굴 영상에서 얼굴 인식의 특징을 추출하여 특징값을 계산하는 인식 특징 추출부;

상기 계산된 얼굴 인식 특징값을 이용하여 특징 분류기를 학습하는 특징 분류기 학습부;

상기 얼굴 인식 특징값들을 저장하는 데이터 베이스; 및

상기 얼굴 인식의 특징값으로부터, 상기 입력된 얼굴 영상과 등록된 얼굴 영상의 유사여부 및 상기 입력된 얼굴 영상을 이용하여 상기 데이터 베이스의 갱신여부를 판정하는 판정부를 포함하는 것을 특징으로 하는 얼굴 검증 시스템.
제 10 항에 있어서, 상기 눈위치 변경부는

상, 하, 좌 및 우의 4 방향으로, 상기 얼굴 영역 영상의 가로방향 길이의 1/15 비율의 길이만큼 각 눈의 좌표를 이동하여, 변경된 좌표쌍들을 생성하는 것을 특징으로 하는 얼굴 검증 시스템.
제 10 항에 있어서,

상기 판정부는 상기 검증 대상 얼굴 영상으로부터 추출된 얼굴 인식 특징값들의 벡터 공간에서의 분포를 수치적으로 표현한 비교값을 계산하고, 상기 비교값을 미리 등록된 이용자들의 얼굴 인식 특징값들의 분포에 따라서 설정된 임계값들과 비교하여, 입력된 얼굴 영상과 등록된 얼굴 영상의 유사여부 및 데이터 베이스 갱신 여부를 판정하는 것을 특징으로 하는 얼굴 검증 시스템.
제 12 항에 있어서,

상기 임계값들은 다음의 수식에 의해서 결정되며,

f(x) = sgn(<w*x>+b)

상기 수식에서 sgn 은 본 발명의 하이퍼플레인 함수를, w 는 학습을 통해서 구해지는 하이퍼플레인의 기울기를, x 는 얼굴 검증시에 입력되는 특징값을 각각 의미하며, 바이어스 값인 b 값을 조절함으로써 임계값을 결정할 수 있는 것을 특징으로 하는 얼굴 검증 시스템.