KR20080067793A - 부분공간과 선형벡터양자화 분류기에 기반한 실시간 얼굴인식 - Google Patents

Abstract

본 발명은 실시간 얼굴 인증 방법에 관한 것으로 부분공간과 LVQ 신경망 기반의 얼굴 인식 방법이다. 얼굴 인증 시스템은 얼굴 검출, 전처리 과정, 부분공간 변환, 학습, 그리고 얼굴 인식 단계로 구성되어 있다. 얼굴 검출 단계에서는 실시간으로 입력되는 얼굴 영상으로부터 인식을 위한 얼굴 영역을 검출한다. 검출된 얼굴 영역은 전처리 과정에서 최대-최소 정규화 방법에 의해 보정된 정규화 영상을 생성한다. 부분공간 변환 단계에서는 정규화된 얼굴 영상을 PCA와 LDA 변환을 순차적으로 적용하여 저차원의 특징벡터로 변환된다. 변환된 훈련 데이터로부터 신경망의 수렴 속도를 증대시키기 위해 K-Means 클러스터링 알고리즘을 적용하여 LVQ 신경망의 초기중심벡터를 결정한다. LVQ 신경망의 학습을 통해 학습이 된 중심벡터는 각 클래스의 대표 벡터가 된다. 얼굴 인식 단계에서 학습이 된 클래스의 대표 벡터와 입력 영상의 특징 벡터 간의 유사도를 판단하여 인식을 수행한다.

얼굴, 인식, 인증, 부분공간, LVQ

Description

부분공간과 선형벡터양자화 분류기에 기반한 실시간 얼굴 인식{Real-Time Face Recognition Based on Subspace and LVQ Classifier}

도 1은 본 발명에 따른 실시간 얼굴 인식 시스템 구성도

도 2는 본 발명에 적용된 PCA 변환 과정

도 3은 본 발명에 적용된 LDA 변환 과정

도 4는 본 발명에 적용된 LVQ 신경망의 구조

도 5는 본 발명에 적용된 LVQ 신경망의 LVQ2 학습방법에 의한 윈도우 영역

정지영상이나 동영상으로부터 사람의 얼굴을 이용한 인식 분야는 영상처리, 패턴인식, 컴퓨터 비전 분야에서 활발한 연구 분야로, 얼굴 인식 기술은 지문인식이나 홍채인식 시스템과 달리 원거리에 설치된 카메라를 통해 사용자에게 거부감없이 다가갈 수 있는 장점이 있다. 그러나 얼굴 인식 기술은 이러한 장점들을 지니고 광범위한 응용 범위가 있는 반면 실제 응용에 있어서 몇 가지 문제점이 있다. 얼굴 인식에 있어 대표적인 문제점은 인식 환경과 얼굴 자체의 가변성이 크다는 것이다. 즉, 얼굴 인식은 사용자의 기분과 상황에 따른 표정 변화, 머리모양, 얼굴 방향 등에 대한 특성을 고려해야하며, 주위 조명에 많은 영향을 받는 단점이 있다. 또한, 얼굴 인식을 위해 원본 데이터를 저장할 때, 자연스러운 자세가 아닌 인위적인 자세에서 촬영하기 때문에 데이터베이스에 저장된 영상과 카메라에 의해 획득된 영상을 비교하는 것은 여전히 해결되어야하는 문제로 남아 있다. 이러한 문제를 해결하기 위해 시스템 설계시 얼굴 영상을 획득하는 환경의 조명을 일정하게 고정하고, 사용자로 하여금 가능한 중립적인 표정을 짓도록 요구함으로써 얼굴 모양의 변화를 통제하고 있다. 그러나 안정적인 얼굴 인식 성능을 갖기 위해서는 이와 같은 문제점들을 시스템의 인식단계에서 처리할 수 있어야 하며 인식 속도에 있어서도 응용분야에 적합한 수준이 보장되어야 한다.

기존의 얼굴 인식에 적용되고 있는 방법은 크게 특징기반 방법과 통계적 방법으로 분류할 수 있다. 특징기반 방법은 얼굴 구성 성분의 특징을 이용한 방법이며 얼굴의 크기와 방향, 얼굴의 시점 변화 등에 상관하지 않고 적용할 수 있는 유용한 방법이다. 일반적으로 얼굴의 기하학적 특징을 검출하여 일치 여부를 판단하는 방법이다. 기하학적 특징들은 입력 영상의 해상도를 낮추었을 때 최종적으로 남는 요소들에 해당되는 것으로 눈, 코, 입, 볼, 모양, 크기와 같은 얼굴의 구성요소 사이의 위치 관계를 이용한다.

통계적 방법은 개개인의 얼굴 정보를 얼굴 공간상에서 적절히 부호화하여 적용하는 방법으로 대표적인 얼굴 인식 방법으로는 PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), 신경망 등이 있다. 이들 방법은 학습 데이터로부터 학습을 통해 학습 모델을 생성한 후 입력 데이터에 의한 최적을 출력 값을 내는 것이다.

이와 같이 얼굴 인식 방법은 얼굴 영상의 특징, 패턴 등 여러 가지 요소들을 이용하여 입력 영상과의 유사도를 비교함으로써 인식을 수행한다.

본 발명은 얼굴 인식 시스템의 실시간 적용과 정확한 인증을 수행할 수 있는 얼굴 인식 방법을 제공하는데 그 목적이 있다.

목적을 달성하기 위해 부분공간과 LVQ 신경망을 적용하여 정확한 인증을 수행한다. 본 발명인 얼굴 인식 시스템은 실시간으로 입력되는 영상에서 얼굴 영역을 검출하는 얼굴 검출 단계, 검출된 얼굴 영역에 대해 최대-최소 정규화 알고리즘을 적용하여 조명 보정을 수행한 정규화된 영상을 생성하는 전처리 과정, 고차원의 얼굴 영상 데이터를 PCA, LDA 변환을 순차적으로 적용하여 저차원의 특징 벡터로 변환하는 부분공간 변환 단계, 훈련 영상의 특징 벡터로부터 LVQ 신경망을 학습하는 학습 단계, 학습을 통해 생성된 각 클래스의 최적 중심 벡터인 대표 벡터와 입력 영상의 특징 벡터 간의 유사도를 평가하는 인식 단계로 구성된 얼굴 인식 방법이 제공된다.

이하, 첨부된 도면을 참조하여 본 발명의 시스템 구성을 설명하면 다음과 같다.

도 1은 본 발명에 따른 얼굴 인식 시스템의 구성도로써, 학습 이론의 적용으로 인해 크게 훈련 과정과 인식 과정으로 구성된다.

여기서, 상기 S10, S20, S30, S40단계는 훈련과정과 인식과정에서 동일하게 수행하며 S50단계는 LVQ 신경망의 학습단계이다.

S10단계는 입력된 영상으로부터 인식하고자하는 얼굴 영역을 검출하는 단계이다.

S20단계는 상기 검출된 얼굴 영상을 정규화하는 단계로서 조명 보정을 위해 최대-최소 정규화 알고리즘을 적용하여 정규화된 얼굴 영상을 생성한다. 최대-최소 정규화 알고리즘은 입력 영상의 밝기값 범위를 사용자가 지정한 밝기값의 범위로 변형시켜주는 방법으로 식(1)을 적용한다.

(1)

정규화된 영상으로부터 얼굴 인식을 위한 부분공간 변환의 첫번째 단계로써 도 2에 도시된 것과 같은 PCA 변환 과정이다(S30단계). PCA 변환은 얼굴 영상을 재구성하고 인식하는데 사용할 수 있는 고유벡터의 집합으로써, 영상집합에 대해 통계적으로 매우 중요한 정보들을 추출하는 방법이다. 고유벡터 집합을 얼굴에 적용할 때 보통 고유 얼굴이라고 부르며 훈련 얼굴 영상들에 대한 공분산 행렬의 고유 벡터를 계산하고 새롭게 입력된 얼굴의 고유 얼굴 공간으로 투영시켜 얼굴 영상에 대한 특징 벡터를 계산한다. 일반적으로 PCA 변환의 가장 큰 문제점은 데이터 간의 분산이 큰 방향에 대해서 고려를 하기 때문에 클래스 간의 중첩 문제가 발생할 경우 제대로 분류할 수 없다는 것이다. 특히 조명, 표정 또는 그 밖의 다른 요인에 의한 변화를 구분할 수 없다. 따라서, PCA 변환의 단점을 보완하기 위해 LDA 변환을 같이 적용함으로써 얼굴 인식의 정확도를 높일 수 있다.

도 3은 LDA 변환 과정을 도식화한 것으로 PCA 변환을 통해 생성된 특징벡터를 적용한다(S40단계). LDA 변환은 PCA 변환과 같이 효율적인 식별을 위해 차원을 축소하는 방법이지만, PCA 변환이 얼굴 영상 패턴의 전체 분포를 잘 근사시킬 수 있는 부분공간을 찾는 과정인데 비해 LDA 변환은 각 클래스의 패턴 분포의 분리도를 최대로 하는 부분공간을 찾는 과정으로 환경 변화에 둔감한 특성이 있다. LDA 변환은 얼굴 영상들에 대해 독립적인 특징들이 주어졌을 때 클래스들 사이에 가장 큰 평균적 차이를 나타내는 특징들의 선형 결합을 만들어낸다. 즉, 각각의 얼굴 영상에 대한 데이터를 가장 잘 나타내는 벡터를 찾는 것이 아니라 해당 공간에서 클래스들 간의 차이를 가장 잘 나타내는 벡터를 찾는 방법이다.

본 발명에서 적용하는 얼굴 인식 방법은 LVQ 신경망의 학습 이론을 적용하고 있다. 따라서 LVQ 신경망의 학습 과정이 필요하다. LVQ 신경망을 이용하여 최적의 클래스 중심 벡터를 찾기 위한 것이다. 도 4와 같이 LVQ 신경망은 입력층과 출력층으로만 구성된 단층 신경망으로, 입력층의 뉴런은 출력층의 모든 뉴런들과 연결되어 있는 구조이다. 입력 벡터 x가 신경망에 입력되면, 중심 벡터와 x의 유클리디언 거리를 기반으로 출력 뉴런들이 경쟁을 벌여 입력 벡터와의 거리가 가장 작은 한 개의 뉴런이 출력되며, 이 뉴런을 승리 뉴런이라 한다. 뉴런에 클래스가 할당된 경우, 승리 뉴런의 클래스가 출력된다.

이 과정에서 LVQ 신경망의 중심 벡터는 클래스의 경계를 결정하고 그것의 수렴에 영향을 미치기 때문에 중심 벡터의 초기값을 선정하는 것은 매우 중요한 문제이다. 일반적으로 중심 벡터를 정하는 방법으로 입력 패턴의 학습 데이터 중에서 임의로 선택하거나 또는 랜덤하게 선택하는 방법이 사용되나 정확한 분류에는 적합하지 않다. 따라서, 본 발명에서는 초기 중심 벡터를 선택하기 위해 K-Means 클러스터링 알고리즘을 적용한다.

초기 중심 벡터가 결정되면 훈련 데이터에 의해 신경망 학습을 수행한다. LVQ 신경망 학습 방법으로는 LVQ1, LVQ2, LVQ2.1 등 여러 가지 학습 알고리즘이 존재한다. 본 발명에서는 LVQ2 학습 알고리즘을 적용하여 신경망을 학습한다. LVQ2는 두 개의 중심 벡터에 의해 형성되는 결정 경계를 베이지안 최적 경계에 가까워지도록 하기 위해 한번에 두 개의 출력 뉴런의 연결 벡터를 갱신하는 방법이다.

도 5에 도식된 것과 같이 두 개의 곡선은 각각 입력 벡터 x에 대한 클래스 i와 클래스 j의 분포를 나타낸다. 두 개의 중심 벡터 클래스가 서로 다른 경우, LVQ2 알고리즘은 두 기준 벡터가 형성하는 결정 경계 부근에 윈도우라고 하는 영역을 설정하여 윈도우 안에 존재하는 입력 벡터에 대해서만 학습한다. LVQ2 알고리즘은 입력 벡터와 출력 뉴런의 클래스가 같으면 입력 벡터 방향으로 당기고 그렇지 않으면 반대 방향으로 밀어내므로 결과적으로 두 클래스의 분포가 같아지는 베이지 안 최적 경계에 가까워지도록 결정 경계를 이동시키게 된다. LVQ2 학습 알고리즘을 수학적으로 표현하면 식 (2),(3)과 같다.

(2)

(3)

이때, 입력 벡터 x는 윈도우 안에 존재하여야 한다. 입력 벡터 x가 윈도우 내부에 존재하는지의 여부는 두 가중치 벡터 사이의 길이에 대한 윈도우의 상대적인 폭을 w라고 할 때, 식 (4)에 의해 결정된다.

(4)

상기 과정으로부터 S60단계에서 얼굴 인식을 수행한다. 얼굴 인식은 학습이 된 LVQ 신경망의 중심벡터와 입력 영상의 특징 벡터 간의 유사도 비교를 통해 수행된다. 유사도 비교는 두 벡터 간의 유클리디언 거리를 적용한다.

이상 상술한 바와 같이, 본 발명은 개인 얼굴을 이용하여 정확한 인증 수행할 수 있으며 정지영상 및 실시간에 적용할 수 있는 효과가 있다. 또한, 학습 이론을 이용함으로써 얼굴 인식뿐만 아니라 여러 가지의 패턴 인식에 적용할 수 있는 효과가 있다.

본 발명은 구체적인 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

Claims (4)

1. 실시간으로 입력되는 영상에서 얼굴 영역을 검출하는 얼굴 검출 단계, 검출된 얼굴 영역에 대해 최대-최소 정규화 알고리즘을 적용하여 조명 보정을 수행한 정규화된 영상을 생성하는 전처리 과정, 고차원의 얼굴 영상 데이터를 PCA, LDA 변환을 순차적으로 적용하여 저차원의 특징 벡터로 변환하는 부분공간 변환 단계, 훈련 영상의 특징 벡터로부터 LVQ 신경망을 학습하는 학습 단계, 학습을 통해 생성된 각 클래스의 최적 중심 벡터인 대표 벡터와 입력 영상의 특징 벡터 간의 유사도를 평가하는 인식 단계로 구성된 얼굴 인식 방법.
2. 제 1항에 있어서,

   정규화된 영상을 생성하며 조명 보정된 영상 생성을 위해 최대-최소 정규화 알고리즘을 적용한 얼굴 인식 방법.
3. 제 1항에 있어서,

   LVQ 신경망의 초기 중심 벡터를 선택시 K-Means 클러스터링 알고리즘을 적용하여 더욱 빠른 신경망의 수렴 속도를 가진 얼굴 인식 방법.
4. 제 1항에 있어서,

   LVQ 신경망 학습시 LVQ2 학습 알고리즘을 적용하여 기존의 다른 학습 방법보다 실시간에서 정확한 얼굴 인식 방법.

Images