KR100442834B1

KR100442834B1 - 얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한얼굴 검출 방법 및 시스템

Info

Publication number: KR100442834B1
Application number: KR10-2002-0042486A
Authority: KR
Inventors: 김태균
Original assignee: 삼성전자주식회사
Priority date: 2002-07-19
Filing date: 2002-07-19
Publication date: 2004-08-02
Also published as: US20040022442A1; US7447338B2; JP2004054956A; KR20040008792A; EP1388804A2; EP1388804A3

Abstract

본 발명은 얼굴 영상 및 유사얼굴 영상을 이용하여 패턴 분류기를 학습하고, 이를 이용하여 얼굴을 검출하는 시스템 및 방법을 개시한다.

본 발명의 얼굴 검출 시스템은 복수의 얼굴 영상들 및 복수의 유사얼굴 영상들로부터, 얼굴 영상들을 표현하는 복수의 얼굴 기저 벡터들 및 유사얼굴 영상들을 표현하는 복수의 유사얼굴 기저벡터들을 추출하는 기저벡터 추출부; 얼굴 영상들 및 유사얼굴 영상들을 기저 벡터들에 투영하여 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출하고, 얼굴 검출을 위한 입력영상을 기저 벡터들에 투영하여 입력영상 특징 벡터를 추출하는 특징 벡터 추출부; 얼굴 특징 벡터들과 유사얼굴 특징 벡터들을 소정의 서브 클래스로 분류하고, 서브 클래스 중 입력영상 특징 벡터가 속하는 서브 클래스 번호를 출력하는 클러스터링부; 각 서브 클래스에 속하는 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 이용하여, 서브 클래스에 해당하는 패턴 분류기를 학습하는 패턴 분류기 학습부; 및 입력영상 특징 벡터를 입력영상 특징 벡터가 속하는 서브 클래스의 패턴 분류기에 인가하여 입력영상이 얼굴인지를 판정하는 얼굴 판정부를 포함한다.

Description

얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한 얼굴 검출 방법 및 시스템{Method and system for face detecting using classifier learned decision boundary with face/near-face images}

본 발명은 이용한 얼굴 검출 방법 및 시스템에 관한 것이다. 구체적으로, 본 발명은 얼굴 영상 및 유사얼굴 영상을 이용하여 학습된 패턴 분류기를 이용하여 얼굴을 검출하는 방법 및 시스템에 관한 것이다.

얼굴 검출 기술은 얼굴 인식을 위한 전단계로서 뿐 아니라, 최근 휴먼 컴퓨터 인터페이스, 비디오 감시 시스템, 얼굴을 이용한 영상 검색등의 다양한 응용분야가 생겨나면서, 그 중요성이 점점 커지고 있다. 최근 얼굴 검출 기술에 대한 많은 연구가 이루어지고 있으나, 실제 생활에 적용되기에는 아직 알고리즘의 검출신뢰성이 낮고, 또한, 검출속도가 만족스럽지 못하다.

이러한 문제를 해결하기 위해서, 얼굴 샘플 패턴으로부터 결정 바운더리(decision boundary)를 학습시켜 얼굴 검출에 이용하는 방법이 연구되고 있다. 그 대표적인 방법으로는 MLP (Multi Layer Perceptron)와 SVM (Support Vector Machine)이 있다.

종래의 MLP은 local receptive field를 사용해 얼굴 영상에 적용했고, 다른 종래의 방법은 다수의 PCA (Principle Component Analysis) 공간(subspace)에 영상패턴을 투영(projection)하고, 공간(subspace)에 대한 거리들을 MLP의 입력으로 사용하였다.

그러나, MLP를 통한 학습 방법은 주어진 샘플 데이터로부터의 에러만을 최소화시키므로, 학습된 데이터에 대해서는 잘 동작하지만, 학습이 되지 않은 새로운 데이터에 대해서는 성공적인 동작을 보장할 수 없다. 특히, 조명, 표정, 및 포즈등의 요인으로 의한 얼굴 영상의 다양한 변화를 고려할 때, MLP에 기반한 방법은 샘플 데이터의 수가 광대하지 않다면 신뢰성이 떨어진다.

이에 반해, SVM은 주어진 데이터의 에러를 최소화시킬 뿐만 아니라, 전체 시스템의 margin을 동시에 최대화시키기 때문에, MLP에 비해 새로운 패턴에 대한 일반화 능력이 뛰어나다. 종래의 기술은 SVM을 얼굴 영상에 그대로 적용하여, 어느 정도 신뢰성 있는 얼굴 검출 결과를 얻었으나 실제로 적용되기에는 아직 만족스럽지 못하고, 다른 종래 기술은 얼굴 영상을 그대로 사용하지 않고, 독립성분 분석법(ICA , Independent Component Analysis)을 통해 특징을 추출하고, SVM을 적용함으로써 얼굴 검출의 신뢰성을 다소 향상하였다. 그러나, 이러한 종래의 기술은 신뢰성 있는 얼굴 검출 성능을 얻기 위해서 일반적으로 비선형 SVM을 사용하는데, 이는 연산량이 많아 알고리즘의 수행 속도가 느린 문제점이 있다.

본 발명의 목적은 얼굴 및 유사얼굴 패턴을 패턴 분류기에 미리 학습함으로써 얼굴 검출의 신뢰성이 높은 패턴 분류기를 학습하는 방법 및 이를 이용한 얼굴 검출 방법 및 시스템을 제공하는 것이다.

본 발명의 다른 목적은 패턴 분류기를 병렬화함으로써 얼굴 검출 수행 속도가 향상된 패턴 분류기를 학습하는 방법 및 이를 이용한 얼굴 검출 방법 및 시스템을 제공하는 것이다.

도 1a 는 본 발명의 바람직한 실시예에 따른 얼굴 검출 시스템의 패턴 분류기 학습 시스템의 구성을 도시한 블록도이다.

도 1b 는 도 1a 에 도시된 기저벡터 추출부의 상세 블록도이다.

도 1c 는 도 1a 에 도시된 특징 추출부의 상세 블록도이다.

도 2 는 본 발명의 얼굴 검출 시스템의 구성을 간략하게 도시한 블록도이다.

도 3a 는 본 발명의 바람직한 실시예에 따른 얼굴 검출 방법을 설명하는 흐름도이다.

도 3b 는 도 3a 에 도시된 S380 단계의 상세 흐름도이다.

도 4 는 본 발명의 바람직한 실시예에 따라 추출된 기저벡터를 영상으로 표현한 도면이다.

도 5 는 본 발명의 바람직한 실시예에 따라 계산된 잔여 오차값을 도시한 도면이다.

도 6 은 본 발명의 바람직한 실시예에 따른 서브 클래스의 중심 얼굴 특징 벡터를 도시한 도면이다.

도 7 은 본 발명의 바람직한 실시예에 따른 패턴 분류기의 학습 과정을 설명하는 도면이다.

도 8 은 본 발명의 패턴 분류기에 따른 검출율을 도시한 도면이다.

상술한 첫 번째 목적을 달성하기 위한 본 발명의 얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한 얼굴 검출 시스템은 복수의 얼굴 영상들 및 복수의 유사얼굴 영상들을 입력받아, 얼굴 영상들을 표현하는 복수의 얼굴 기저 벡터들 및 복수의 유사얼굴 영상들을 표현하는 복수의 유사얼굴 기저벡터들을 추출하는 기저벡터 추출부; 얼굴 영상들 및 유사얼굴 영상들을 기저 벡터들에 투영하여 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출하고, 얼굴 검출을 위한 입력영상을 기저 벡터들에 투영하여 입력영상 특징 벡터를 추출하는 특징 벡터 추출부; 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 이용하여 패턴 분류기를 학습하는 패턴 분류기 학습부; 및 입력영상 특징 벡터를 패턴 분류기에 인가하여 입력영상이 얼굴 영상인지를 판정하는 얼굴 판정부를 포함한다.

또한, 상술한 첫 번째 목적을 달성하기 위한 얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한 얼굴 검출 방법은 (a) 복수의 얼굴 영상들 및 복수의 유사얼굴 영상들을 입력받아, 얼굴 영상들을 표현하는 복수의 얼굴 기저벡터들 및 유사얼굴 영상들을 표현하는 복수의 유사얼굴 기저벡터들을 추출하는 단계; (b) 얼굴 영상들 및 유사얼굴 영상들을 기저벡터들에 투영하여 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출하는 단계; (c) 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을이용하여 패턴 분류기를 학습하는 단계; 및 (d) 얼굴 검출을 위한 입력영상을 기저벡터들에 투영하여 입력영상의 특징 벡터를 추출하고, 입력영상의 특징 벡터를 패턴 분류기에 인가하여 입력영상이 얼굴 영상인지를 판정하는 단계를 포함한다.

한편, 상술한 본 발명의 첫 번째 및 두 번째 목적을 동시에 달성하기 위한 얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한 얼굴 검출 시스템은, 복수의 얼굴 영상들 및 복수의 유사얼굴 영상들을 입력받아, 얼굴 영상들을 표현하는 복수의 얼굴 기저 벡터들 및 유사얼굴 영상들을 표현하는 복수의 유사얼굴 기저벡터들을 추출하는 기저벡터 추출부; 얼굴 영상들 및 유사얼굴 영상들을 기저 벡터들에 투영하여 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출하고, 얼굴 검출을 위한 입력영상을 기저 벡터들에 투영하여 입력영상 특징 벡터를 추출하는 특징 벡터 추출부; 얼굴 특징 벡터들과 유사얼굴 특징 벡터들을 소정의 서브 클래스로 분류하고, 서브 클래스 중 입력영상 특징 벡터가 속하는 서브 클래스 번호를 출력하는 클러스터링부; 각 서브 클래스에 속하는 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 이용하여, 서브 클래스에 해당하는 패턴 분류기를 학습하는 패턴 분류기 학습부; 및 입력영상 특징 벡터를 입력영상 특징 벡터가 속하는 서브 클래스의 패턴 분류기에 인가하여 입력영상이 얼굴인지를 판정하는 얼굴 판정부를 포함한다.

또한, 상술한 본 발명의 첫 번째 및 두 번째 목적을 동시에 달성하기 위한, 얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한 얼굴 검출 방법은, (a) 복수의 얼굴 영상들 및 복수의 유사얼굴 영상들을 입력받아, 얼굴 영상들을 표현하는 복수의 얼굴 기저벡터들 및 유사얼굴 영상들을 표현하는 복수의 유사얼굴 기저벡터들을 추출하는 단계; (b) 얼굴 영상들 및 유사얼굴 영상들을 기저벡터들에 투영하여 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출하는 단계; (c) 얼굴 특징 벡터들과 유사얼굴 특징 벡터들을 소정의 서브 클래스로 분류하는 단계; (d) 각 서브 클래스에 속하는 얼굴 특징 벡터들 및 유사얼굴 특징벡터들을 이용하여 서브클래스에 해당하는 패턴 분류기를 학습하는 단계; 및 (e) 얼굴 검출을 위한 입력영상의 특징 벡터를 추출하고, 입력영상 특징 벡터를 입력영상 특징 벡터가 속하는 서브 클래스의 패턴 분류기에 인가하여 입력영상이 얼굴인지를 판정하는 단계를 포함한다.

또한, 상기 (e) 단계는 (e1) 얼굴 검출을 위한 입력영상을 기저 벡터들에 투영하여 입력영상 특징값들을 얻고, 상기 특징값들을 이용하여 입력영상 특징 벡터를 추출하는 단계; (e2) 서브 클래스 중 입력영상 특징 벡터가 속하는 서브 클래스를 결정하는 단계; 및 (e3) 입력영상 특징 벡터를 입력영상 특징 벡터가 속하는 서브 클래스의 패턴 분류기에 인가하여 입력영상이 얼굴인지를 판정하는 단계를 포함하는 것이 바람직하다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

본 발명의 바람직한 실시예는 패턴 분류기로서 SVM을 이용하였고, 이하 본 명세서 및 첨부된 도면은 SVM 을 패턴 분류기와 동일한 의미로 사용하였다.

본 발명의 패턴 분류기 학습 시스템은 얼굴 영상을 저장한 얼굴 DB(100), 얼굴과 유사한 패턴의 영상을 저장한 유사얼굴 DB(105), 얼굴 DB 및 유사얼굴 DB로부터 복수의 영상을 각각 입력받아 영상을 표현하는 복수의 기저벡터를 추출하는 기저벡터 추출부(110), 복수의 기저벡터에 저장된 얼굴영상 및 유사얼굴 영상을 투영하여 영상의 특징벡터 및 잔여 오차값을 검출하는 특징 추출부(120), 특징 추출부(120)로부터 제공되는 특징 벡터들을 소정의 서브 클래스로 분류하는 클러스터링부(130a), 각 서브 클래스별로 특징 벡터를 저장하는 특징 클래스 데이터베이스(140), 각 서브 클래스별로 SVM을 학습하는 SVM 학습부(150)를 포함한다.

이하, 본 발명의 바람직한 실시예에 따른 얼굴 검출 방법을 설명하는 흐름도인 도 3a를 참조하여 본 발명의 패턴 분류기 학습 과정 및 얼굴 검출 과정을 설명한다.

본 발명은 패턴 분류기를 학습하기 위해서, 다양한 표정과 조명이 반영된 여러 사람의 얼굴 영상들을 얼굴 DB(100)로 구축하고, 얼굴과 패턴이 유사한 다수의 영상을 유사얼굴 DB(105)로 구축한다(S300).

얼굴이 아닌 패턴들은 그 종류가 너무 다양해 모델링에 큰 의미가 없으며, 모델링 또한 어려우므로, 얼굴이 아니면서 얼굴과 그 패턴이 유사해 오류를 일으킬 수 있는 패턴을 유사얼굴 샘플로 수집한다. 유사얼굴 샘플을 수집하는 방법은 다양한데, 본 발명은 초기에는 평균 얼굴 영상 패턴과의 유클리디안 거리(Euclidean Distance)가 일정 값 이하인 영상 패턴을 수집하여 유사얼굴 DB(105)를 구축하였다. 또한, 패턴 분류기를 설계한 후에 얼굴 검출을 실시한 후 오류가 검출된 얼굴이 아닌 패턴들을 유사얼굴 샘플로 수집하여 유사얼굴 DB(105)에 저장하여 학습을 반복하였다.

얼굴 DB(100) 및 유사얼굴 DB(105)에 저장된 영상들은 기저벡터 추출부(110)로 출력되어, 기저벡터 추출부(110)에 의해 기저 벡터들이 추출된다(S310, S320). 도 1b를 참조하여 기저벡터 추출부(110)의 구성을 살펴보면, 기저벡터 추출부(110)는 입력된 영상에 주성분 분석법(PCA, Principle Component Analysis)을 수행하여 PCA 기저벡터를 추출하는 PCA 기저벡터 추출부(112), PCA 기저벡터 추출부(112)로부터 입력된 PCA 기저벡터들을 저장하였다가 출력하는 제 1 얼굴 기저벡터 DB(114) 및 제 1 유사얼굴 기저벡터 DB(115), 기저벡터 DB(114, 115)로부터 입력된 기저벡터들에 독립성분 분석법(ICA, Independent Component Analysis)을 수행하여 ICA 기저벡터를 출력하는 ICA 기저벡터 추출부(116) 및 얼굴 영상에 대한 ICA 기저벡터를 저장하는 제 2 얼굴 기저벡터 DB(118) 및 제 2 유사얼굴 기저벡터 DB(119)를 포함한다.

얼굴 DB(100)로부터 출력된 얼굴 영상들은 기저벡터 추출부(110)의 PCA 기저벡터 추출부(112)로 입력되고, PCA 기저벡터 추출부(112)는 입력된 영상들에 대해서 주성분 분석법을 수행하여 PCA 기저벡터를 추출한다(S310).

PCA 기저벡터 추출부(112)는 얼굴 DB(100)로부터 입력된 얼굴 영상의 눈 좌표를 이용하여, 얼굴 영상의 위치와 크기를 정규화한다. 그 후, 주성분 분석법을 수행하여, 얼굴 공간을 잘 표현할 수 있는 PCA 기저 벡터들을 추출한다. 유사얼굴 DB(105)로부터 입력된 유사얼굴 영상에 대해서도 주성분 분석법을 수행하여, 유사얼굴 공간(space)의 기저 벡터들을 추출한다.

도 4(a) 는 30 개의 얼굴 영상에 대한 PCA 기저벡터들을 영상으로 표현한 도면이고, 도 4(b) 는 30개의 유사 얼굴 영상에 대한 PCA 기저벡터들을 영상으로 표현한 도면이다.

이렇게 추출된 PCA 기저벡터들 중 얼굴 영상에 대한 기저벡터는 제 1 얼굴 기저벡터 DB(114)에, 유사얼굴 영상에 대한 기저벡터는 제 1 유사얼굴 기저벡터 DB(115)에 각각 저장되고, 각 DB 별로 저장된 기저벡터들 중 고유값이 큰 N 개의 기저벡터들이 ICA 기저벡터 추출부(116)로 출력된다. 아울러, PCA 기저벡터들을 DB(114, 115)에 저장하지 않고 PCA 기저벡터 추출부(112)로부터 ICA 기저벡터 추출부(116)로 직접 출력하는 것이 가능함은 물론이다.

ICA 기저벡터 추출부(116)는 입력된 얼굴 및 유사얼굴 PCA 기저벡터들에 대해서 독립성분 분석법(ICA)을 수행하여 ICA 기저 벡터들을 추출한다(S320).

종래의 패턴 분류기 학습 시스템 및 방법은 영상의 인접 픽셀간의 관계를 2차원적으로 표현하는 주성분 분석법만을 사용하여 패턴 분류기를 학습하였으나, 본 발명은 인접하지 않은 픽셀간의 관계까지도 표현함으로써 영상의 고차원적 표현이 가능하도록 PCA 기저벡터들에 대해서 독립성분 분석법을 수행하여 ICA 기저벡터를 추출하게되고, 이렇게 추출된 ICA 기저벡터들은 얼굴을 표현하는데 더 뛰어난 성능을 나타낸다.

도 4(c) 는 30 개의 얼굴 영상에 대한 ICA 기저벡터들을 영상으로 표현한 도면이고, 도 4(d)는 30 개의 유사 얼굴 영상에 대한 ICA 기저벡터들을 영상으로 표현한 도면이다.

상술한 바와 같이 기저벡터 추출부(110)에서 추출된 얼굴 영상 및 유사얼굴 영상의 기저벡터들은 특징 추출부(120)로 출력되어 얼굴 영상 및 유사얼굴 영상의 특징벡터 추출에 이용된다.

도 1c를 참조하면, 특징 추출부(120)는 얼굴 영상 및 얼굴유사 영상의 특징 벡터를 추출하는 특징벡터 추출부(122), 및 얼굴 특징 벡터를 저장하는 얼굴 특징벡터 DB(124) 및 유사얼굴 특징 벡터를 저장하는 유사 얼굴 특징 벡터 DB(126)를 포함한다.

특징벡터 추출부(122)는, 기저벡터 추출부(110)로부터 출력된 얼굴 기저벡터 및 유사얼굴 기저벡터에, 얼굴 DB(100) 및 유사얼굴 DB(105)에 저장된 얼굴 영상 및 유사얼굴 영상을 각각 투영하여, 각 벡터들에 대한 계수들 및 잔여 오차값으로 구성되는 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출한다(S330).

특징 벡터 추출부(122)는 먼저 하나의 얼굴 영상을 얼굴 영상들로부터 추출된 N개의 얼굴 기저벡터에 투영하여 N 개의 특징값(투영 계수)들을 추출하고, 동일한 영상을 유사얼굴 영상들로부터 얻어진 N개의 유사얼굴 기저벡터들에 투영하여 N 개의 특징값을 추출하여, 전체 2N 개의 특징값을 얻게된다.

한편, 특징 벡터 추출부(122)는 하나의 유사얼굴 영상을 얼굴 영상의 경우와 동일한 방법으로 얼굴 기저벡터에 투영하여 N 개의 특징값(투영 계수)을 얻고, 유사얼굴 기저벡터에 투영하여 N 개의 특징값을 얻게되어, 유사얼굴 영상 하나에 대해서 전체 2N 개의 특징값을 얻게 된다.

한편, 특징 벡터 추출부(122)는 상술한 특징값(투영 계수)이외에 잔여 오차값을 패턴 분류기를 학습하기 위한 특징값으로서 계산한다(S340).

잔여 오차값(residual error)이란, 각 영상을 N개의 기저 벡터에 투영하여 얻어진 특징값(투영 계수)을 상기 기저벡터에 곱하여 영상을 복원하였을 때, 복원된 영상의 벡터와 투영전 영상의 실제 벡터간의 거리를 나타내는 것이다. 얼굴 영상을 얼굴 기저 벡터 N개를 이용하여 복원하는 경우에는 잔여 오차값이 작으나, 유사얼굴 영상을 얼굴 기저 벡터 N개를 이용하여 복원하는 경우는 잔여 오차가 크다. 반대로, 얼굴 영상을 유사얼굴 기저 벡터 N개를 이용해 복원하는 경우에는 잔여 오차가 크나, 유사얼굴 영상을 유사얼굴 기저 벡터 N개를 이용해 복원하는 경우에는 잔여 오차값이 작게된다.

도 5 는 학습에 사용한 얼굴과 유사얼굴 영상들의 잔여 오차값들을 도시한 그래프이다. 도시된 바와 같이, 얼굴 영상과 유사얼굴 영상의 잔여 오차값을 동시에 사용할 때, 두개의 잔여 오차값만으로도 대략적으로 클래스를 구분할 수 있음을 확인 할 수 있다. 따라서, 본 발명은 패턴 분류기의 신뢰성을 높이기 위해서 얼굴과 유사얼굴을 구분하는 특징 벡터를 추출하기 위한 값으로서 상술한 2N 개의 특징값 및 두 개의 잔여 오차값을 사용한다.

특징 벡터 추출부(122)는 하나의 영상에 대해서 얻어진 2N+2 개의 특징값을 이용하여 하나의 특징 벡터를 추출하고, 얼굴 영상에 대한 특징 벡터는 얼굴 특징 벡터 DB(124)에, 유사얼굴 영상에 대한 특징 벡터는 유사얼굴 특징 벡터 DB(126)에 각각 저장된 후, 클러스터링부(130a)로 출력된다.

클러스터링부(130a)는 먼저, 입력된 얼굴 특징 벡터들을 소정의 서브 클래스로 분류하고, 각 서브 클래스를 대표하는 중심 얼굴 특징 벡터를 선정한다(S350).

본 발명은 얼굴 특징 벡터들을 'k-means clustering' 알고리즘을 사용하여 몇 개의 서브 클래스로 분류하며, 이 때, 서브 클래스의 개수는 가변적일 수 있다. 클러스터링부(130a)는 k-means clustering 알고리즘에 따라서 얼굴 영상 특징 벡터들간의 유클리디안 거리를 측정하고, 유클리디안 거리가 가까운 것끼리 묶어서 소정의 서브 클래스로 얼굴 특징 벡터를 분류하여 특징 클래스 DB(140)에 저장한다. 그 후, 각 서브 클래스에 저장된 얼굴 특징 벡터들의 벡터 평균에 가장 근접한 얼굴 특징 벡터를 각 서브 클래스를 대표하는 중심 얼굴 특징 벡터로 선정한다.

도 6 은 얼굴 특징 벡터들을 10개의 서브 클래스로 분류했을 때, 각 서브클래스의 중심 얼굴 특징 벡터를 영상으로 표현한 도면이다. 각 영상들이 큰 차이는 없으나, 조명과 표정, 회전정도가 조금씩 다르게 나타난다.

클러스터링부(130a)는 얼굴 특징 벡터들을 소정의 서브 클래스로 분류한 후, 유사얼굴 특징 벡터들을 동일한 서브 클래스들로 분류한다(S360).

클러스터링부(130a)는 모든 유사얼굴 특징 벡터들과 서브 클래스의 중심 얼굴 벡터들간의 유클리디안 거리를 측정하고, 유클리디안 거리가 가장 가까운 서브 클래스로 유사얼굴 특징 벡터를 할당한다. 따라서, 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 포함하는 소정의 서브 클래스들이 얻어진다.

특징 벡터들이 소정의 서브 클래스들로 분류된 후, 패턴 분류기 학습부(150)는 각 서브 클래스의 얼굴 특징 벡터 및 유사얼굴 특징 벡터를 이용하여, 서브 클래스별로 패턴 분류기를 학습한다(S370).

도 7을 참조하면, 클래스 1 은 얼굴 특징 벡터를 클래스 2 는 유사얼굴 특징 벡터를 각각 나타낸다. 도시된 바와 같이 얼굴이나 유사얼굴 클래스처럼 그 수가 많고 다양한 변화를 지니는 경우는 그 분포가 하나의 중심과 분산으로 쉽게 표현이 되지 않고, 다양한 형태로 특징 벡터들이 분포된다. 따라서, 복잡한 클래스를 하나의 결정 바운더리(decision boundary)로 구분해야 하는 경우에는 연산이 대단히 복잡하고, 오랜 시간이 소요되며, 실제 SVM을 통해 이러한 결정 바운더리를 학습하는 것 또한 쉽지 않다.

따라서, 본 발명은 도 7 의 오른쪽 상단과 하단에 도시된 바와 같이 전체 클래스를 상술한 바와 같은 소정의 서브 클래스들로 분류한 후에, 각 서브 클래스별로 얼굴 특징 벡터 및 유사얼굴 특징 벡터를 이용하여 학습함으로써, 학습에 필요한 연산량을 대폭 감소시켜 신속하고 신뢰성있는 바운더리 결정이 가능하게 된다.

상술한 바와 같은 과정을 통해서 본 발명의 패턴 분류기가 학습되고, 얼굴 검출을 위한 영상이 입력되면, 학습된 패턴 분류기를 이용하여 얼굴을 검출하게된다(S380).

이하, 본 발명의 얼굴 검출 시스템의 구성을 간략하게 도시한 블록도인 도 2 및 제 S380 단계의 상세 흐름도인 도 3b를 참조하여, 얼굴 검출 과정을 설명한다.

먼저, 얼굴 검출을 위한 영상은 특징 벡터 추출부(122)로 입력된다(S381).

도 2의 특징 벡터 추출부(122)는 도 1c에 도시된 특징벡터 추출부와 그 기능이 동일하다. 즉, 특징 벡터 추출부(122)는 입력 영상을 기저벡터 추출부(110)로부터 입력된 N 개의 얼굴 기저벡터 및 유사얼굴 기저벡터에 각각 투영하여, 2N개의 특징값을 얻는다(S383).

한편, 특징 벡터 추출부(122)는 입력 영상에 대해서 상술한 제 S340 단계와 동일한 방법으로 잔여 오차값을 계산하고, 2N 개의 특징값(투영 계수)에 2 개의 잔여 오차값을 더한 특징값들을 이용하여 하나의 특징 벡터를 추출하여 클러스터링부(130b)로 출력한다(S385).

클러스터링부(130b)는 입력 영상의 특징 벡터와 상술한 학습단계에서 분류된 서브 클래스들의 중심 얼굴 특징 벡터들간의 유클리디안 거리를 측정하여, 유클리디안 거리가 가장 가까운 중심 얼굴 특징 벡터가 속하는 서브 클래스를 입력 영상이 속하는 서브 클래스로 결정하고, 상기 서브 클래스 번호를 얼굴 판정부(160)로 출력한다(S387).

얼굴 판정부(160)는 입력된 서브 클래스 번호에 해당되는 패턴 분류기(SVM M)에, 얼굴 검출을 위한 입력 영상의 특징 벡터들을 인가하여, 입력 영상에 표현된 패턴이 얼굴인지를 판단한다(S389).

상술한 방법 및 시스템에 따라 학습된 패턴 분류기를 이용하여 얼굴 검출을 수행한 실험 데이터를 [표 1] 및 도 8 에 도시하였다.

본 실험을 위해서 유사얼굴 영상들은 얼굴의 평균 템플릿을 매칭시킴으로써 최초 선정되었고, 부트스트랩 기법에 의해서 확대되었다. 한편, 본 발명의 얼굴 검출 성능 실험을 위해서 얼굴 검출용 입력 영상으로 2개의 흑백 이미지 집합이 사용되었다. 집합 A 는 올리베티(Olivetti) 이미지 데이터베이스로부터 추출된, 매 영상마다 한 개의 얼굴이 담긴 400 장의 고화질 영상으로 구성되고, 집합 B 는Rowley 이미지 데이터베이스로부터 추출된, 전체 172명의 얼굴 영상이 포함된 다양한 화질의 36개의 영상으로 구성된다.

입력 영상에서 얼굴을 검출하기 위해서, 본 발명의 패턴 분류기는 가능한 모든 위치 및 스케일의 탐색창(observation window)에 대해서 얼굴 여부를 판정하였다.

	집합 A	집합 B
	Detect Rate	False Alarm	Detect Rate	False Alarm
종래기술	97.2%	3	84.3%	127
본 발명	98.5%	4	90.1%	62

[표 1]의 종래 기술은 얼굴 영상으로부터 50 개의 ICA 특징 벡터를 추출하여 학습한 패턴 분류기를 이용하여 얼굴 검출을 수행하였고, 본 발명은 얼굴 영상 및 유사 얼굴 영상으로부터 각각 추출된 50 개씩의 특징 벡터와 2개의 잔여 오차값을 이용하여 학습한 패턴 분류기를 이용하여 얼굴 검출을 수행하였다. 상기 [표 1] 및 집합 B에 대한 검출율을 나타낸 도 8 에 도시된 바와 같이, 얼굴 검출율이 크게 향상된 것을 알 수 있다.

한편, 얼굴 및 유사얼굴 특징 벡터를 단일한 패턴 분류기에 학습한 경우와 얼굴 및 유사얼굴 특징 벡터를 소정의 서브 클래스로 분류하고 각 서브 클래스 별로 패턴 분류기를 학습한 경우, 즉, 패턴 분류기를 병렬화한 경우의 상술한 집합 B 에 대한 얼굴 검출 성능 실험결과를 아래의 [표 2] 에 나타내었다.

	Margin	No. of SVs	Detect Rate
단일 분류기	0.2158	439	93.5%
병렬화된 분류기	0.5945	119	93.5%

상기 [표 2]에서 나타난 바와 같이, 동일한 검출율을 나타내는 단일 분류기에 비해 병렬화된 패턴 분류기는 더 큰 margin을 가지므로 검출 오차의 확률이 더 낮고, 더 적은 support vector를 가지므로 단일 분류기보다 약 3.7배 빠른 검출 속도를 나타내는 것을 알 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명은 얼굴 영상뿐만 아니라, 유사얼굴 영상을 학습데이터로서 이용하여 얼굴 패턴 분류기를 학습함으로써, 조명이나 표정등이 학습된 데이터와는 다른 얼굴 영상이 들어오면 얼굴이 아니라고 판단하거나, 얼굴이 아니지만 얼굴과 어느 정도 유사한 패턴을 얼굴이라고 판단하는 종래기술의 오류를 크게 줄일 수 있다.

아울러, 본 발명은 얼굴 패턴 분류기의 학습에 기존에 많이 사용되는 주성분 분석법 대신에, 주성분 분석법과 독립성분 분석법을 결합하여 사용함으로써 최종적인 검출 성능을 향상시킬 수 있을 뿐만 아니라, 얼굴 및 유사얼굴의 특징을 표현하는 특징값으로 잔여 오차값을 이용함으로써 얼굴 학습 및 얼굴 검출 성능을 크게 향상시킬 수 있다.

또한, 본 발명은 기존의 특징 벡터들을 단일한 얼굴 패턴 분류기에 학습하였던 것과 달리, 얼굴 패턴 분류기를 병렬화함으로써, 적은 수의 support vector로 효과적으로 결정 바운더리를 표현할 수 있고, 더 큰 margin을 얻게됨으로써 높은 신뢰성을 보장받을 수 있으며, 정확성 뿐 아니라 결정 바운더리의 연산량을 크게 줄여 새로운 패턴이 입력되었을 때 판단 속도를 크게 향상시킬 수 있다.

Claims

얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한 얼굴 검출 방법으로서,

(a) 복수의 얼굴 영상들 및 복수의 유사얼굴 영상들을 입력받아, 상기 얼굴 영상들을 표현하는 복수의 얼굴 기저벡터들 및 상기 유사얼굴 영상들을 표현하는복수의 유사얼굴 기저벡터들을 추출하는 단계;

(b) 상기 얼굴 영상들 및 상기 유사얼굴 영상들을 상기 기저벡터들에 투영하여 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출하는 단계;

(c) 상기 얼굴 특징 벡터들과 상기 유사얼굴 특징 벡터들을 소정의 서브 클래스로 분류하는 단계;

(d) 상기 각 서브 클래스에 속하는 얼굴 특징 벡터들 및 유사얼굴 특징벡터들을 이용하여 상기 서브클래스에 해당하는 패턴 분류기를 학습하는 단계; 및

(e) 얼굴 검출을 위한 입력영상의 특징 벡터를 추출하고, 상기 입력영상 특징 벡터를 상기 입력영상 특징 벡터가 속하는 서브 클래스의 패턴 분류기에 인가하여 입력영상이 얼굴인지를 판정하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제 1 항에 있어서, 상기 (e) 단계는

(e1) 얼굴 검출을 위한 입력영상을 상기 기저 벡터들에 투영하여 입력영상 특징값들을 얻고, 상기 특징값들을 이용하여 입력영상 특징 벡터를 추출하는 단계;

(e2) 상기 서브 클래스 중 입력영상 특징 벡터가 속하는 서브 클래스를 결정하는 단계; 및

(e3) 상기 입력영상 특징 벡터를 상기 입력영상 특징 벡터가 속하는 서브 클래스의 패턴 분류기에 인가하여 입력영상이 얼굴인지를 판정하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한 얼굴 검출 방법으로서,

(a) 복수의 얼굴 영상들 및 복수의 유사얼굴 영상들을 입력받아, 상기 얼굴 영상들을 표현하는 복수의 얼굴 기저벡터들 및 상기 유사얼굴 영상들을 표현하는 복수의 유사얼굴 기저벡터들을 추출하는 단계;

(b) 상기 얼굴 영상들 및 상기 유사얼굴 영상들을 상기 기저벡터들에 투영하여 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출하는 단계;

(c) 상기 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 이용하여 패턴 분류기를 학습하는 단계; 및

(d) 얼굴 검출을 위한 입력영상을 상기 기저벡터들에 투영하여 입력영상의 특징 벡터를 추출하고, 상기 입력영상의 특징 벡터를 상기 패턴 분류기에 인가하여 상기 입력영상이 얼굴 영상인지를 판정하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 (a) 단계는

(a1) 입력된 복수의 얼굴 영상들 및 복수의 유사얼굴 영상들 각각에 주성분 분석법(PCA)을 수행하여, 상기 얼굴 영상들에 대한 PCA 기저벡터들 및 상기 유사얼굴 영상들에 대한 PCA 기저벡터들을 추출하는 단계; 및

(a2) 입력된 상기 각 PCA 기저벡터들에 대해서 독립성분 분석법(ICA)을 수행하여, ICA 기저벡터들을 상기 얼굴 기저벡터들 및 상기 유사 얼굴 기저벡터들로서 출력하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제 4 항에 있어서, 상기 (a) 단계는

상기 얼굴 기저벡터들 및 상기 유사얼굴 기저벡터들을 저장하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 (b) 단계는

(b1) 상기 얼굴 영상들 및 상기 유사얼굴 영상들을 상기 기저벡터들에 투영하여 투영 계수를 구하는 단계;

(b2) 상기 투영 계수를 상기 기저 벡터들에 곱하여 복원한 값과, 상기 얼굴 영상들 및 상기 유사얼굴 영상들의 차인 잔여 오차값을 계산하는 단계; 및

(b3) 상기 투영 계수값 및 오차값을 이용하여 얼굴 영상들 및 유사얼굴 영상들의 특징 벡터들을 추출하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제 1 항 또는 제 2 항에 있어서, 상기 (c) 단계는

(c1) 상기 얼굴 특징 벡터들의 유클리디언 거리를 측정하여, 상기 거리가 가까운 특징 벡터들을 소정의 서브 클래스로 분류하는 단계; 및

(c2) 상기 각 서브 클래스에 포함된 얼굴 특징 벡터들의 벡터 평균에 따라서중심 얼굴 특징 벡터를 선정하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제 7 항에 있어서, 상기 (c) 단계는

상기 유사얼굴 특징 벡터들과 상기 중심 얼굴 벡터들과의 유클리디언 거리를 측정하여, 상기 유사얼굴 특징 벡터들을 유클리디언 거리가 가장 가까운 중심 얼굴 벡터가 속하는 서브 클래스로 분류하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 검출 방법.
제 1 항 또는 제 2 항에 있어서, 상기 (c) 단계는

k-means 클러스터링 알고리즘을 사용하여 얼굴 특징 벡터들을 소정의 서브 클래스로 분류하는 것을 특징으로 하는 얼굴 검출 방법.
제 2 항에 있어서, 상기 (e1) 단계는

상기 입력영상을 상기 얼굴 기저 벡터들 및 상기 유사얼굴 기저 벡터들에 투영하여 계산된 투영 계수를 상기 기저 벡터들에 곱하여 복원한 값과, 상기 입력영상의 차인 잔여 오차값을 계산하는 단계를 포함하며, 상기 입력영상 특징 벡터는 상기 투영 계수값 및 상기 잔여 오차값을 이용하여 추출되는 것을 특징으로 하는 얼굴 검출 방법.
제 1 항 내지 제 3 항 중 어느 한 항의 방법을 컴퓨터에서 실행 가능한 프로그램 코드로 기록한 기록매체.
얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한 얼굴 검출 시스템으로서,

복수의 얼굴 영상들 및 복수의 유사얼굴 영상들을 입력받아, 상기 얼굴 영상들을 표현하는 복수의 얼굴 기저 벡터들 및 상기 유사얼굴 영상들을 표현하는 복수의 유사얼굴 기저벡터들을 추출하는 기저벡터 추출부;

상기 얼굴 영상들 및 상기 유사얼굴 영상들을 상기 기저 벡터들에 투영하여 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출하고, 얼굴 검출을 위한 입력영상을 상기 기저 벡터들에 투영하여 입력영상 특징 벡터를 추출하는 특징 벡터 추출부;

상기 얼굴 특징 벡터들과 상기 유사얼굴 특징 벡터들을 소정의 서브 클래스로 분류하고, 상기 서브 클래스 중 입력영상 특징 벡터가 속하는 서브 클래스 번호를 출력하는 클러스터링부;

상기 각 서브 클래스에 속하는 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 이용하여, 상기 서브 클래스에 해당하는 패턴 분류기를 학습하는 패턴 분류기 학습부; 및

상기 입력영상 특징 벡터를 상기 입력영상 특징 벡터가 속하는 서브 클래스의 패턴 분류기에 인가하여 입력영상이 얼굴인지를 판정하는 얼굴 판정부를 포함하는 것을 특징으로 하는 얼굴 검출 시스템.
얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한 얼굴 검출 시스템으로서,

복수의 얼굴 영상들 및 복수의 유사얼굴 영상들을 입력받아, 상기 얼굴 영상들을 표현하는 복수의 얼굴 기저 벡터들 및 상기 복수의 유사얼굴 영상들을 표현하는 복수의 유사얼굴 기저벡터들을 추출하는 기저벡터 추출부;

상기 얼굴 영상들 및 상기 유사얼굴 영상들을 상기 기저 벡터들에 투영하여 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 추출하고, 얼굴 검출을 위한 입력영상을 상기 기저 벡터들에 투영하여 입력영상 특징 벡터를 추출하는 특징 벡터 추출부;

상기 얼굴 특징 벡터들 및 유사얼굴 특징 벡터들을 이용하여 패턴 분류기를 학습하는 패턴 분류기 학습부; 및

상기 입력영상 특징 벡터를 상기 패턴 분류기에 인가하여 상기 입력영상이 얼굴 영상인지를 판정하는 얼굴 판정부를 포함하는 것을 특징으로 하는 얼굴 검출 시스템.
제 12 항 또는 제 13 항에 있어서, 상기 기저벡터 추출부는

입력된 복수의 얼굴 영상들 및 복수의 유사얼굴 영상들 각각에 주성분 분석법(PCA)을 수행하여, 상기 얼굴 영상들에 대한 PCA 기저벡터들 및 상기 유사얼굴영상들에 대한 PCA 기저벡터들을 추출하는 PCA 기저벡터 추출부; 및

입력된 상기 각 PCA 기저벡터들에 대해서 독립성분 분석법(ICA)을 수행하여, 상기 얼굴 기저벡터들 및 상기 유사얼굴 기저벡터들을 출력하는 ICA 기저벡터 추출부를 포함하는 것을 특징으로 하는 얼굴 검출 시스템.
제 14 항에 있어서, 상기 기저벡터 추출부는

상기 얼굴 기저벡터들을 저장하는 얼굴 기저벡터 저장부; 및

상기 유사얼굴 기저벡터들을 저장하는 유사얼굴 기저벡터 저장부를 포함하는 것을 특징으로 하는 얼굴 검출 시스템.
제 12 항 또는 제 13 항에 있어서, 상기 특징 벡터 추출부는

상기 얼굴 특징 벡터들, 상기 유사얼굴 특징 벡터들 및 상기 입력영상 특징벡터들은

상기 얼굴 영상들, 상기 유사얼굴 영상들, 및 상기 입력영상을 상기 얼굴 기저벡터들 및 상기 유사얼굴 기저벡터들에 투영하여 투영 계수를 구하고, 상기 투영 계수를 상기 기저 벡터들에 곱하여 복원한 값과 상기 얼굴 영상, 상기 유사얼굴 영상 및 상기 입력영상의 차인 잔여 오차값을 구하며, 상기 투영 계수 및 상기 오차값을 이용하여 얼굴 특징 벡터, 유사얼굴 특징 벡터 및 입력영상 특징 벡터를 추출하는 것을 특징으로 하는 얼굴 검출 시스템.
제 12 항에 있어서, 상기 클러스터링부는

상기 얼굴 특징 벡터들의 유클리디언 거리를 측정하여, 상기 거리가 가까운 특징 벡터들을 소정의 서브 클래스로 분류하고, 상기 각 서브 클래스에 포함된 얼굴 특징 벡터들의 벡터 평균에 따라서 중심 얼굴 특징 벡터를 선정하는 것을 특징으로 하는 얼굴 검출 시스템.
제 17 항에 있어서, 상기 클러스터링부는

상기 유사얼굴 특징 벡터들과 상기 중심 얼굴 특징 벡터들과의 유클리디언 거리를 측정하여, 상기 유사얼굴 특징 벡터들을 유클리디언 거리가 가장 가까운 중심 얼굴 특징 벡터가 속하는 서브 클래스로 분류하는 것을 특징으로 하는 얼굴 검출 시스템.
제 17 항에 있어서, 상기 클러스터링부는

상기 입력영상의 특징 벡터와 상기 각 서브 클래스의 중심 얼굴 특징 벡터들과의 유클리디언 거리를 측정하여, 상기 거리가 가장 가까운 서브 클래스로 상기 입력 영상의 특징 벡터를 분류하는 것을 특징으로 하는 얼굴 검출 시스템.
제 17 내지 제 19 항 중 어느 한 항에 있어서,

상기 클러스터링부는 k-means 클러스터링 알고리즘을 사용하여 얼굴 특징 벡터들을 소정의 서브 클래스로 분류하는 것을 특징으로 하는 얼굴 검출 시스템.