KR20000023915A - 표정변화와 주변환경에 독립적인 얼굴인식을 위한 학습 및인식방법. - Google Patents

Abstract

본 발명은 조명상태의 변화, 얼굴 표정변화 및 안경착용 유무에 강인한 얼굴 인식방법에 관한 것으로, 일반적으로 얼굴의 인식은 같은 얼굴 영상들 사이에서도 수많은 변화가 결합된 비슷한 형태의 얼굴들이기 때문에 어려운 문제로 여겨져 왔고, 얼굴 영상들은 표정, 연령, 시점, 조명의 변화, 잡음 등으로 인하여 수시로 변화함으로 이러한 영상 변화에 가능한 독립적인 얼굴 인식 방법에 관한 것이다.

이를 위하여 본 발명은, 얼굴 영상인 입력 영상을 먼저 PCA (principal components analysis)를 적용하여 차원 (dimension)을 줄이는 단계, 차원을 줄인 서브스페이스에서 고유값 (eigenvalue)이 가장 큰 주 성분에는 조명의 영향이 가장 많이 포함되어 있으며 고유값 (eigenvalue)의 크기가 작아질수록 조명의 영향이 감소하며 실제 입력 영상인 얼굴의 특징이 포함되므로 고유값 (eigenvalue)이 가장 큰 주성분을 제거함으로써 조명의 영향을 가장 많이 주는 성분을 제거하는 단계, 주성분을 제거한 후에 FLD(fisher linear discriminant)를 적용하여 패턴 벡터를 구하는 단계, 오프라인(off-line)에서 미리 구해진 참조 패턴 벡터와 비교하는 단계, 이때 구해지는 within-class covariance 행렬의 N²×N²차원 계산을 N²× M (M은 전체 얼굴 영상의 수)으로 변환하고, between-class covariance 행렬의 N²×N²차원 계산을 N²× C (C는 사람의 수)로 변환하는 단계로 이루어지고, N²에 비해 M과 C가 현저히 작으므로 상대적으로 적은 메모리 용량과 빠른 계산으로 조명의 효과가 심한 얼굴 영상, 얼굴 표정의 변화가 있는 영상, 안경 착용을 갖는 얼굴 영상, 손이나 다른 물체에 의해 가려진 얼굴 영상에 대해 높은 인식률을 갖는 것에 특징이 있다.

Description

표정변화와 주변환경에 독립적인 얼굴인식을 위한 학습 및 인식방법.{Training and face recognition robust to illumination changes, facial expressions and eyewear.}

일반적으로 얼굴 인식은 같은 얼굴의 영상들 사이에서도 수많은 변화가 결합된 비슷한 형태의 얼굴들이기 때문에 어려운 문제로 여겨져 왔다. 얼굴 영상들은 표정, 연령, 시점, 조명의 변화, 잡음 등으로 인하여 수시로 변화한다.

따라서, 얼굴 인식 시스템에서 중요시되어야 할 점은 이러한 영상 변화에 가능한 독립적인 방법으로 얼굴을 인식하는 것이다. 본 발명은 조명상태의 변화, 얼굴 표정변화 및 안경착용 유무에 강인한 얼굴 인식 방법에 관한 것이다.

기존의 연구에 있어서 조명 변화나 얼굴 표정의 변화에 대한 문제점을 해결하기 위하여 많은 연구가 있었다. 대표적으로 PCA(principal components analysis)를 이용한 아이겐페이스 (eigenface) 방법과 이에 영상의 최적의 분류를 위한 투영면을 찾기 위해 FLD(fisher linear discriminant)를 적용한 피셔페이스 (Fisherface) 방법이 있다. 아이겐페이스 (eigenface) 방법은 전체 입력 영상을 PCA를 이용하여 차원을 줄인 패턴 벡터로 선형 변환시키므로 인식 과정의 계산이 간단하고 속도가 빠르다는 장점이 있는 반면, 각 클래스의 데이터를 정확하게 분류하지는 못하므로 인식률이 떨어지는 단점이 있다.

피셔페이스 (Fisherface) 방법은 먼저 PCA로 차원을 줄이고, 차원을 줄인 서브스페이스의 데이터를 가지고 Fisher linear discriminant analysis를 적용하여서 다양한 얼굴 영상을 가진 각 클래스를 어느 정도 정확하게 분류한다.

그러나 피셔페이스 (Fisherface) 방법은 PCA에 의하여 구해진 아이겐페이스(eigenface)를 이용하므로 방대한 계산량에 따른 메모리의 증가와 계산시간이 지연되는 문제가 있다. 그리고 상기의 두 방법은 모두 조명의 변화가 심한 환경에서 얻은 얼굴 영상에 대해서는 여전히 정확한 인식이 어렵다는 단점이 있다.

얼굴 영상들은 표정, 연령, 시점, 조명의 변화, 잡음 등으로 인하여 수시로변화되고, 같은 얼굴의 영상들 사이에서도 수많은 변화가 결합된 비슷한 형태의 얼굴들이기 때문에 얼굴의 정확한 인식은 어려운 문제이다. 얼굴 인식 시스템에서 중요시되어야 할 점은 이러한 영상 변화에 가능한 독립적인 방법으로 얼굴을 인식하는 것이다.

본 발명에서는 조명 변화, 얼굴표정 변화, 안경 착용을 갖는 얼굴 영상들을매우 정확히 인식하기 위하여, PCA (principal components analysis)를 이용한 아이겐페이스 (eigenface) 방법의 단점인 각 클래스의 데이터를 정확하게 분류하지는 못하여 인식률이 떨어지는 것을 극복하고, FLD (fisher linear discriminant)를 이용한 피셔페이스 (Fisherface) 방법의 단점인 조명의 변화가 심한 환경에서 얻은 얼굴 영상에 대해서는 정확한 인식이 어렵다는 것을 기술적으로 해결하고자 한다.

입력 얼굴 영상을 먼저 PCA를 적용하여 차원을 줄여 생성한 서브스페이스에서 고유값 (eigenvalue)의 가장 큰 몇 개의 주성분(principal components)에는 조명의 영향으로 인한 변화가 포함되어있는 사실을 실험적으로 알 수 있다. 고유값 (eigenvalue)이 가장 큰 주성분에는 조명의 영향이 가장 많이 포함되어 있으며 고유값 (eigenvalue)의 크기가 작아질수록 조명의 영향이 감소하며 실제 입력 영상인 얼굴의 특징이 포함되므로 고유값 (eigenvalue)이 가장 큰 주성분을 제거함으로써 조명의 영향을 가장 많이 받는 주성분을 배제한다.

FLD(fisher linear discriminant)를 적용하는 과정에서 구해지는 두 개의 행렬 (matrix)인 within-class covariance 행렬과 between-class covariance 행렬의 N²×N²차원을 그보다 작은 행렬로 변환함으로써 적은 메모리 용량에 빠른 계산이 수행되도록 한다.

도1은 본 발명에서 제안된 얼굴 인식 방법의 단계들을 표현하는 구성도.

도2는 본 발명과 종래 기술에 의하여 나타낸 얼굴 인식률에 대한 비교를 보인 도표.

본 발명은 종래의 아이겐페이스 (eigenface) 방법과 피셔페이스 (Fisherface)방법의 문제점을 해결하기 위한 것으로 조명 변화, 얼굴표정 변화, 안경 착용을 갖는 얼굴 영상들을 매우 정확히 인식한다. 본 발명의 얼굴인식 방법은오프라인으로 이루어지는 학습방법과 온라인으로 이루어지는 인식 방법으로 이루어져 있다.

학습방법에서는W(= W _FLD ^T ·W _PCA ^T )행렬을 구하고 이를 이용하여 참조 패턴 벡터Ω(= Ω ₁ ,Ω ₂ ,...,Ω _M )를 구성한다. 도면 1의 오프라인 학습방법의 절차를 살펴보면, 우선 얼굴 영상인 M개의 입력 영상을 입력받는다. 입력받은 M개의 얼굴 영상을 이용하여 평균 영상을 구한다. 구해진 평균 영상을 이용하여 학습을 위한 입력 영상에 대하여 픽셀 단위의 차연산을 실행하여 차영상을 얻어내고 이 차영상을 N²×1 의 열 벡터로 변환한다. 각각의 학습용 입력에 대하여 열 벡터를 구한다. 이 열 벡터를 이용하여N ² ×M의 입력 데이터를 구성한다.N ² ×M행렬의 입력 데이터에 대하여 PCA를 적용하여 아이겐페이스 (eigenface)로 변환한다. 변환된 아이겐페이스 (eigenface)의 서브스페이스에서 고유값 (eigenvalue)의 가장 큰 몇 개의 주성분(principal components)에는 조명과 환경의 영향으로 인한 변화가 포함되어있는 사실을 실험적으로 알 수 있다. 고유값 (eigenvalue)이 가장 큰 주성분에는 조명의 영향이 가장 많이 포함되어 있으며 고유값 (eigenvalue)의 크기가 작아질수록 조명의 영향이 감소하며 실제 입력 영상인 얼굴의 특징이 포함된다. 따라서, 고유값 (eigenvalue)이 가장 큰 주성분을 제거함으로써 조명의 영향을 가장 많이 받는 주성분을 제거할 수 있다. 변화에 가장 큰 영향을 받는 C개의 주성분을 제거함으로써N ² ×M의 아이겐페이스 (eigenface)는N ² ×(M-C)의 축소된 서브스페이스인W _PCA ^T 를 얻을 수 있다. 기존의 FLD를 적용할 경우 within-class covariance 행렬(S _W )와 between-class covariance 행렬(S _B )는N ² ×N ² 의 차원을 가지므로 입력 영상이 256×256인 크기일 때는 65536 ×65536의 거대한 행렬계산을 해야한다. 따라서, 해상도가 작은 입력 영상이나 대용량의 메모리를 가진 컴퓨터에서나 구현이 가능하며, 구현이 가능하다 할지라도N ² ×N ² 차원의 행렬을 계산해야 하므로 계산이 복잡하고 많은 시간이 필요하다. 본 발명에서는 감소된 서브스페이스인W _PCA 행렬을 이용하여 FLD를 계산하므로써 within-class covariance 행렬의N ² ×N ² 계산을N ² ×M으로 변환하고, between-class covariance 행렬은N ² ×C로 변환하여 메모리 용량이 작고, 계산이 빠르게 실행된다. 여기서, M은 전체 얼굴 영상의 수이며, C는 사람의 수이므로 M과 C가N ² 에 비해 현저히 작음을 알 수 있다.W _PCA 행렬에 FLD를 적용함으로써W _PCA 전치행렬과W _FLD 전치행렬의 곱인W(= W _PCA ^T ·W _FLD ^T )행렬이 구해진다. 이 W행렬을 이용하여 M개의 학습용 영상을 선형변환 시킴으로써 각 학습용 입력영상을 열 벡터로 하는 참조 패턴 벡터가 형성된다.

본원에서 사용되는 인식방법은 도면 1에서와 같이 온라인으로 이루어지며 표정 변화와 환경 요인에 독립적인 얼굴을 인식하기 위하여 입력 장치로부터 인식이 필요로 하는 얼굴 영상을 입력받는다. 학습방법에서 이용된 학습용 이미지로부터 구해진 평균 영상과 입력 영상의 차영상을 구한다. 이 차영상은N ² ×1행렬의 열 벡터로 변환되며, 이 행렬에 대하여 학습과정에서 생성된 W행렬을 이용한 선형변환을 행하여 패턴 벡터를 구한다.

상기에서 구해진 패턴 벡터를 학습과정에서 구성된 참조 패턴 벡터와 비교함으로써 가장 가까운 값을 인식 결과로 결정한다. 제안된 얼굴 인식 방법은 조명의 변화가 심한 얼굴 영상, 손이나 다른 물체에 의해 가려진 얼굴 영상에 대해서도 높은 인식률을 나타낸다.

제안된 얼굴 인식 방법을 가지고 Yale 데이터베이스와 자체 제작한 SKK 데이터베이스를 가지고 실험하였다. 각각의 데이터베이스는 5 사람으로 구성되었으며, 각각의 사람마다 10개의 다른 표정과 조명 변화를 가진 얼굴 영상들로 이루어졌다. 영상의 크기는 50 ×40이며, leaving-one-out 방법으로 실험되었고, nearest neighbor classifier를 사용하였다. 도면2는 기존의 얼굴 인식 방법들과 제안된 얼굴 인식 방법의 인식률을 비교하였다. 피셔페이스(Fisherface) 방법에 비해 약 5-10% 정도 인식률이 향상된 결과를 볼 수 있으며, 피셔페이스 (Fisherface) 방법에서 인식하지 못했던 선글라스를 쓴 얼굴이나 조명 변화가 심한 얼굴 영상을 제안된 얼굴 인식 방법에서는 인식하여 인식률이 크게 향상된다.

Claims (2)

1. 표정변화 및 환경에 독립적인 얼굴을 인식하기 위한 패턴 벡터를 형성하기 위한 학습 방법에 있어서 입력 장치에 의하여 학습영상을 입력하는 단계;

   입력된 학습 영상들의 평균 영상을 생성하는 단계;

   각 학습 영상과 평균 영상의 차영상을 생성하는 단계;

   각각의 차영상을 열벡터화함으로써 모든 학습 영상을 이용한 행렬을 구성하는 단계;

   상기 행렬 구성 단계에 대하여 PCA (principal components analysis)를 적용하여 아이겐페이스 (eigenface)를 구성하는 단계;

   상기 단계에서 구해진 아이겐페이스 (eigenface)에서 고유값 (eigenvalue)이큰 주성분을 제거하여W _PCA 행렬을 구성하는 단계;

   W _PCA 행렬에 대하여 FLD를 적용하여W(= W _FLD ^T ·W _PCA ^T )행렬을 구성하는 단계;

   상기 단계에서 구성된 W행렬을 이용하여 각 학습 영상에 대하여 선형변환을 실행함으로써 참조 패턴 벡터Ω( = Ω ₁ ,Ω ₂ ,...,Ω _M )를 구하는 단계로 구성된 학습방법
2. 표정 변화와 환경 요인에 독립적인 얼굴을 인식하기 위한 방법에 있어서 입력 장치에 의하여 인식이 필요로 하는 얼굴 영상을 입력하는 단계;

   표준 영상의 평균 영상과 입력 영상의 차영상을 구하는 단계;

   차영상에 대하여 학습과정에서 생성된 W행렬을 이용한 선형변환을 행하여 패턴 벡터를 구하는 단계;

   상기 단계에서 구해진 패턴 벡터를 학습과정에서 구성된 참조 패턴 벡터와 비교하는 단계;

   상기 비교 단계에서 가장 가까운 값을 인식 결과로 결정하는 단계로 구성된얼굴 인식 방법.