KR100899804B1 - 2차원 정준상관 분석법을 이용한 얼굴 인식 방법 - Google Patents

Abstract

본 발명에 의한 본 발명에 의한 2차원 정준상관 분석법 이용한 얼굴 인식 방법은, 다양한 조명 상태 하에서의 얼굴 이미지 또는 사용자 얼굴 포즈 이미지와 저장된 해당 정면 얼굴 이미지 데이터 간의 관계를 2차원 정준상관 분석법을 이용하여 상관 관계를 최대화시키는 상관 관계 벡터를 구하는 과정; 입력 영상에 대하여 정규화하여 눈 위치와 이미지 크기를 학습 데이터와 같게 맞추는 전처리 과정; 및학습된 상기 상관 관계 벡터와 전처리된 입력 영상을 내적한 값을 기초로 데이터 베이스에 저장된 해당 정면 얼굴 이미지 데이터를 서치하여 인식하는 과정;을 포함함을 특징으로 한다.

본 발명은 2차원 정준상관 분석법을 이용하여, 정면 얼굴 이미지와 다양한 조명 상태 하에서의 얼굴 이미지 또는 사용자의 포즈 얼굴 이미지 데이터 간의 상관관계를 최대화시키는 상관관계변수 벡터를 산출하고, 얼굴인식을 수행함으로써 종래의 상관 분석 방법보다 계산이 간편하고, 조명 또는 포즈 변화에 강인한 얼굴인식 방법을 제공한다.

Description

2차원 정준상관 분석법을 이용한 얼굴 인식 방법{Method for recognizing face using two-dimensional canonical correlation analysis}

도 1은 본 발명에 의한 얼굴인식 방법을 설명하는 흐름도이다.

도 2는 본 발명에 의한 2차 정준상관 분석법을 적용시키기 위한 포즈데이터와 정면 얼굴의 이미지 데이터의 쌍을 도시한 도면이다.

도 3은 본 발명에 의한 2차 정준상관 분석법을 적용시키기 위한 조명데이터와 정면 얼굴 이미지 데이터의 쌍을 도시한 도면이다.

도 4는 도 1의 새로운 입력 영상에 대하여 전처리하는 과정을 도시한 도면이다.

도 5는 본 발명에 의한 2차원 정준상관 분석법을 이용한 얼굴인식 시스템 예시 도면이다.

본 발명은 얼굴인식 방법에 관한 것으로서, 보다 상세하게는 조명 또는 포즈 데이터를 기초로 하여 이들 데이터와 이에 대응된 정면 얼굴 영상의 관계를 학습하고, 그 학습된 상관관계에 따라서 다양한 조명 또는 포즈 입력 영상에 대하여 대응 된 정면 얼굴을 인식하는 2차원 정준상관 분석법을 이용한 조명 및 포즈 변화에 강인한 얼굴 인식 방법에 관한 것이다.

일반적으로 신분 검증에 이용하는 홍채 인식, 지문인식 또는 음성인식과 마찬가지로 얼굴인식은 신분을 검증하는데 이용하는 기술로써, 컴퓨터의 소유권, 핸드폰의 주인 인식, 출입문 통제 시스템 등에 이용되어진다. 또한 다른 기술과 비교하여 상대적으로 적은 비용으로 구현이 가능하며, 인식 대상자가 다른 방법과 다르게 인식을 위한 특별한 행위를 할 필요가 없어 인식 대상자의 거부감을 사전에 방지할 수 있다.

특히, 최신 멀티미디어 기술의 발전에 따라, 컴퓨터 또는 핸드폰 등에 영상장치가 기본적으로 장착이 되어 있는 추세여서 별도의 전용 하드웨어를 구입하지 않더라도 해당 전자장치에 얼굴인식 기술의 적용이 가능하다.

일반적으로 입력영상으로부터 얼굴을 인식하는 방법으로는 다음과 같은 인식 방법들이 적용된다.

첫번째로 얼굴에 있는 고유한 성질을 이용한 주성분 분석 방법(principal component analysis)이 있다. 주성분 분석은 원래 변수들의 선형결합으로 표시되는 새로운 주성분을 찾아서, 이를 통하여 자료의 요약과 용이한 해석을 목적으로 한다. 이 방법은 여러 얼굴을 통하여 얼굴의 주성분 즉, 고유얼굴을 추출해 내고 추출된 고유얼굴과 새로 입력된 얼굴의 내적을 통한 가중치 벡터를 추출한다. 이렇게 추출된 가중치 벡터를 미리 등록된 가중치 벡터와 유사도를 비교함으로써 인식을 수행하게 된다.

다른 인식 방법으로 지역 특징 분석(local feature analysis)을 이용한 방법이 있는데, 이 방법은 고유얼굴 방법을 기초하여 유도되며, 고유얼굴 방법에서의 문제점인 얼굴 표정의 변화, 조명, 자세의 변화 때문에 나타나는 문제점을 해결하고자 제안되었다.

또 다른 인식 방법으로는 상관관계를 이용한 방법이 있다. 이 방법은 카메라에서 입력된 얼굴 영상을 주성분 분석 방법론을 이용하여 얼굴영역을 획득한 후 얻어진 얼굴영역에 대하여 눈을 기준으로 일정한 범위 내에서 모자이크를 형성하고 이것을 이용하여 얼굴 인식을 행한다.

마지막으로, 신경망을 이용한 방법이 있는데, 일반적으로 기타의 다른 통계적이나 수식적인 전개 없이 어떤 문제의 모델을 블랙박스모델로 가정하고 추상적인 데이터에 대해서 입력데이터와 출력 데이터만으로도 학습하여 인식하는 것이 가능하다. 그러나 신경망은 학습데이터가 일정이상 커지면 수렴속도가 대단히 느려지며, 일반적으로 쓰이는 Multi-Layer Perception(MLP)의 경우 학습률을 증가시키기 위해 전체 데이터를 피드백을 통하여 다시 학습해야 한다는 단점이 있다. 또한 지역 최소점(local minimum solution)에 빠져들게 되면 최적의 해를 찾지 못하는 경우도 발생한다.

이러한 기존의 얼굴인식 방법들은 모두 외형 기반 모델(Appearance-Based Model)로 조명 변화 또는 사용자의 얼굴 포즈 변화를 고려하지 않아 조명 환경 또는 사용자의 얼굴 포즈 변화가 심한 경우 얼굴인식을 할 수 없는 문제점이 있었다.

본 발명은 따라서 상술된 문제를 해결하기 위하여 조명 또는 포즈 학습 데이터와 대응된 정면 얼굴 데이터와의 상관관계변수 벡터를 2차원 정준상관 분석법으로 산출하여 학습하고, 이러한 학습된 관계를 이용하여, 조명 및 포즈 변화에 강인한 얼굴 인식 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명에 의한 2차원 정준상관 분석법 이용한 얼굴 인식 방법은,

다양한 조명 상태 하에서의 얼굴 이미지 또는 사용자 얼굴 포즈 이미지와 저장된 해당 정면 얼굴 이미지 데이터 간의 관계를 2차원 정준상관 분석법을 이용하여 상관 관계를 최대화시키는 상관 관계 벡터를 구하는 과정; 입력 영상에 대하여 정규화하여 눈 위치와 이미지 크기를 학습 데이터와 같게 맞추는 전처리 과정; 및 학습된 상기 상관 관계 벡터와 전처리된 입력 영상을 내적한 값을 기초로 데이터 베이스에 저장된 해당 정면 얼굴 이미지 데이터를 서치하여 인식하는 과정;을 포함하며,

상기 2차원 정준상관 분석법의 상기 상관 벡터를 구하는 수학식 1은

이며, 여기서,

는 하나의 얼굴에 대한 각각 서로 대응되는 이미지 데 이터이며,

는 각각의 이미지간의 관계를 찾아내는 상관관계변수 벡터임을 특징으로 한다.

또한, 상기

는 하나의 얼굴에 대한 다양한 조명 상태 하에서의 얼굴 이미지 또는 사용자 얼굴 포즈 이미지와 대응된 정면 얼굴 이미지 데이터의 쌍임을 특징으로 한다.

또한, 상관 관계를 최대화시키는 상관관계변수 벡터

를 구하는 상기 수학식 1은 다음 수학식

으로 최종 변환됨을 특징으로 한다.

또한, 상기 해당 정면 얼굴 이미지 데이터를 서치하여 인식하는 과정은,
최근접 이웃분석 분류기를 이용함을 특징으로 한다.

이하, 도면들을 참조하여 본 발명의 내용을 상세하게 설명한다.

도 1은 본 발명에 따른 얼굴인식 방법을 설명하는 흐름도이다.

입력 영상 장치 예컨대, CCD 카메라에서 인식하고자 사람의 얼굴을 촬상할 때, 빛이나 조명등의 환경 또는 사용자의 부주의로 카메라 정면을 보지 않고 머리를 약간 기울인 상태에서 얼굴이 촬상되는 경우가 있다. 이 경우, 사전에 등록된 사용자의 얼굴 이미지와 상이하여 다르게 인식하거나 인식에 실패하는 경우가 발생 한다.

따라서 조명 또는 사용자의 얼굴 포즈 변화에 대한 영향을 최소화하면서 얼굴 인식을 하기 위해서는 학습 데이터베이스를 통해 조명 또는 사용자 얼굴 포즈와 대응되어 저장된 정면 얼굴 데이터 간의 관계를 학습한다(101 단계).

도 2는 2차원 정준상관 분석법을 적용시키기 위해 구성된 포즈데이터와 정면 얼굴의 이미지 쌍을 도시한 도면이고, 도 3은 2차원 정준상관 분석법을 적용시키기 위한 조명데이터와 정면 얼굴의 이미지 쌍을 도시한 도면이다.

학습 데이터베이스를 통해 조명 또는 사용자 얼굴 포즈와 저장된 정면 얼굴 데이터 간의 관계를 학습하기 위해 본 발명의 2차원 정준상관 분석법(Two-Dimensional Canonical Correlation Analysis; 2D-CCA)을 이용한다. 이 2차원 정준상관 분석법을 적용하기 위해 도 2 또는 도 3과 같이 데이터를 이용자 정면얼굴과 포즈 데이터 또는 정면 얼굴과 조명데이터를 쌍(X, Y)으로서 대응시켜 구성한다.

학습 데이터는 전처리 과정을 통해 미리 얼굴 크기와 눈의 위치가 맞추어져 있다. 이렇게 맞추어진 데이터베이스를 가지고 본 발명의 2차원 정준상관 분석법을 나타내는 다음 수학식 1을 만족시키는 상관관계변수 벡터를 찾는다.

여기서,

는 도 2 또는 도 3에 도시된 바와 같이 하나의 얼굴에 대한 영상 사진의 데이터를 나타낸다. 또한

는 각각의 이미지간의 관계를 찾아내는 상관관계변수 벡터이다. 상기 수학식 1은 도 2 또는 도 3에서의 이미지 쌍 데이터에서 상호 관계를 찾아내기 위해 각 이미지 영상을 각각 특정한 점으로 상관관계변수 벡터인

를 이용하여 내적(projection)한 후 그 특정한 두 점의 상관관계를 최대화시키는 학습을 의미한다.

수학식 1에서 제약 조건으로는 내적한 각각의 점의 분산(variance)이 1이 되어야 한다는 조건을 전제로 한다. 즉, 본 발명의 수학식 1에서 표현된 상관관계를 최대화시키는 상관관계변수 벡터

를 찾는 것이 주 목적이다. 이때 수학식 1에서 cov 함수는 정의에 따라 다음 수학식 2 또는 수학식 3과 같이 동일한 의미로 표현할 수 있다.

한편, 기술된 수학식에 있어서, 얼굴인식 분야에서의 종래의 상관분석법 등 에 적용되는 기본적인 기호가 적용되어 있기 때문에, 해당 기호에 대한 기초적인 세부 설명은 생략하기로 한다.

수학식 2에서 나타나는

,

는 수학식 4, 5, 6으로 나타낼 수 있다.

여기서,

는 수학식 7로 표현할 수가 있다.

여기서, N 은 데이터 영상의 개수를 의미하는 것이고, t는 영상 이미지의 인덱스를 의미한다. 또한 이미지 행렬 또는 이미지 사이즈는 n x n으로 가정한다.

여기서, T의 의미는 이미지의 값을 행렬로 보고 행과 열을 서로 치환하는 연산인 트랜스포즈(transpose)이다.

이와 같이 수학식 1은 수학식 2 또는 수학식 3에 따라서, 수학식 8 또는 수학식 9와 같이 동일하게 표현하는 것이 가능하다.

여기서

는 수학식 10, 수학식 11로 나타낼 수 있다.

마찬가지로 여기서

는 수학식 12, 수학식 13으로 표현이 가능하다.

여기에서, 수학식 2 및 수학식 3을 라그랑지안(Lagrangian) 방법을 이용하면 수학식 14 및 수학식 15로 표현되는 널리 알려진 일반적인 고유벡터 찾기 문제(generalized eigen-value problem)가 된다.

상기와 같이 산출된 2차원적 상관관계 벡터

를 한 얼굴 데이터에서의 특징점(feature point)을 추출하는 것으로 간주할 수 있다.

얼굴 이미지 데이터에서 k개의 특징점을 추출하기 위해서는 각각 상관관계 벡터들을 k개 구하면 되며, 상관관계 벡터

차원은 각각 n x k 행렬이 된다. 여기서, k는 n보다 작은 자연수이다. 이때 이미지와 구해진 상관관계 벡터의 내적(projection)을 통해, 즉

와

를 통해, 이미지 행렬을 n x n에서 k x k 행렬로 줄인다. 이와 같이 모든 데이터에 대하여 내적한 후 이것을 데이터베이스에 저장한다.

이렇게 학습 데이터베이스에서 상관관계를 찾는 학습이 완료되면 시험 영상에 대해서 테스트를 수행한다. 그전에 앞서 시험 영상에서 이용하는 사용자의 정면 얼굴 데이터는 미리 데이터베이스에 저장이 되어 있다고 가정한다.

만약 등록이 되어 있지 않는 입력 영상에 대해서는 사용자가 직접 등록을 한다. 따라서 새로운 입력 영상에 대하여 전처리 과정을 하는 단계(102)에서는 입력 영상에 대하여 일반적으로 많이 쓰이는 눈검출을 통해 이미지 영상을 유사변환(affine transformation)을 통해 정규화함으로써 이미지 크기를 학습 데이터와 동일하게 맞추고 눈위치도 또한 동일 학습데이터와 같도록 맞춘다. 도 4는 상술된 102 단계에서 입력되는 영상(402)과 이 영상에 대하여 전처처리를 수행한 결과로서 출력된 영상(404)을 나타낸 것이다.

103 단계의 전처리 과정을 수행 후, 얼굴 등록 및 인식과정을 수행한다(103 단계). 이 단계에서는 사용자 정면 얼굴 데이터의 정규화를 통해 나온 얼굴 영상의 사용자의 정면 얼굴 데이터가 데이터베이스에 등록이 되어있다고 가정하고, 만약 없다면 수동적으로 등록을 한다. 이와 같이 얼굴 등록을 한 후, 정규화된 새로운 입력 영상에 대하여 상관관계　벡터를 통해 내적을 한다.

즉, 103 단계에서는 102 단계에서 출력된 n x n 이미지의 입력

에 대하여

를 통하여 내적한다. 이렇게 n x n 이미지를 k x k 행렬로 축소시킨 후 이를 이용하여 기존에 저장된 데이터베이스에서 k개 최근접 이웃분석법 분류기(K-Nearest-Neighbour Classifier)를 통하여 해 당 정면 얼굴의 데이터를 찾는다. 본 발명의 실시예에서는 1개 최근접 이웃 분석법 분류기를 이용하였다.

이는 찾고자 하는 얼굴 데이터와 가장 가까운 1개를 데이터베이스에서 찾아 오는 것을 의미하며, 이웃 분석법 분류기는 다음과 같은 수학식 16으로 정의된다.

여기서,

는 데이터베이스에 있는 k x k 이미지로서,

이고, 또한

를 의미하며, 여기서 정의되는 거리측정 방법은 Frobenius norm으로써 수학식 17로 정의된다.

여기서 A 는 m x n 행렬이다.

도 5는 상술한 본 발명에 의한 얼굴인식 방법을 적용한 시스템을 간략히 예시한 도면으로서, 도시된 바와 같이 정면 얼굴의 영상 데이터(504)와 예컨대, 다양한 포즈(506)의 쌍들로 이루어진 페어드 데이터 세트(502)를 학습모듈(508)에서 2차원 정준상관 분석법을 이용하여 정면 얼굴과 다양한 포즈 데이터에 대하여 최적 의 상관관계변수 벡터가 산출된다. 이후 미도시된 전처리부에서 검색하고자 하는 얼굴 이미지(512)를 정규화하면, 최근접 이웃분석법 분류기에서는 이들을 서로 내적한 값을 이용하여 데이터베이스(510)에 저장되어 있는 해당 정면 얼굴 이미지(514)를 서치하여 출력한다.

상술한 바와 같이, 본 발명은 2차원 정준상관 분석법을 이용하여, 정면 얼굴 이미지와 다양한 조명 상태 하에서의 얼굴 이미지 또는 사용자의 포즈 얼굴 이미지 데이터 간의 상관관계를 최대화시키는 상관관계변수 벡터를 산출하고, 이를 이용하여 조명 또는 포즈 변화의 입력 영상에 대하여 대응된 정면 얼굴 이미지 데이터를 찾아내어 얼굴인식을 수행함으로써 종래의 1차원 정준상관 분석 방법보다 계산이 간편하고, 조명 또는 포즈 변화에 강인한 얼굴인식 방법을 제공한다.

Claims (4)

1. 다양한 조명 상태 하에서의 얼굴 이미지 또는 사용자 얼굴 포즈 이미지와 저장된 해당 정면 얼굴 이미지 데이터 간의 관계를 2차원 정준상관 분석법을 이용하여 상관 관계를 최대화시키는 상관 관계 벡터를 구하는 과정;

   입력 영상에 대하여 정규화하여 눈 위치와 이미지 크기를 학습 데이터와 같게 맞추는 전처리 과정; 및

   학습된 상기 상관 관계 벡터와 전처리된 입력 영상을 내적한 값을 기초로 데이터 베이스에 저장된 해당 정면 얼굴 이미지 데이터를 서치하여 인식하는 과정;을 포함하며,

   상기 2차원 정준상관 분석법의 상기 상관 벡터를 구하는 수학식 1은

   

   이며, 여기서,

   

   는 하나의 얼굴에 대한 각각 서로 대응되는 이미지 데이터이며,

   

   는 각각의 이미지간의 관계를 찾아내는 상관관계변수 벡터임을 특징으로 하는 2차원 정준상관 분석법을 이용하여 얼굴을 인식하는 방법.
2. 제 1항에 있어서,

   상기

   

   는 하나의 얼굴에 대한 다양한 조명 상태 하에서의 얼굴 이미지 또는 사용자 얼굴 포즈 이미지와 대응된 정면 얼굴 이미지 데이터의 쌍임을 특징으로 하는 2차원 정준상관 분석법을 이용하여 얼굴을 인식하는 방법.
3. 제 1항에 있어서,

   상관 관계를 최대화시키는 상관관계변수 벡터

   

   를 구하는 상기 수학식 1은 다음 수학식

   

   으로 최종 변환됨을 특징으로 하는 2차원 정준상관 분석법을 이용하여 얼굴을 인식하는 방법.
4. 제 1항에 있어서,

   상기 해당 정면 얼굴 이미지 데이터를 서치하여 인식하는 과정은,

   최근접 이웃분석 분류기를 이용함을 특징으로 하는 2차원 정준상관 분석법을 이용하여 얼굴을 인식하는 방법.

Images