KR20030072192A - 구성요소 기반 ｐｃａ／ｉｃａ를 이용한 얼굴 인식 방법및 그 장치 - Google Patents

Abstract

본 발명은 얼굴영상의 구성요소에 해당하는 분할영상에 대하여 2차 ICA를 수행하여 상기 얼굴영상을 특징짓는 특징정보를 추출하고, 이를 이용하여 얼굴인식 및 얼굴검색을 수행하는 방법 및 그 장치에 관한 것이다. 본 발명에 따른 소정의 얼굴영상에 대한 구성요소 기반 PCA/ICA를 이용한 특징정보 생성방법은 (a) 입력받은 소정의 원 얼굴영상정보를 상기 얼굴영상정보에 포함된 얼굴의 구성요소별로 분할하여 분할영상정보들을 생성시키는 단계, (b) 상기 분할영상정보들에 PCA를 수행하여 상기 분할영상정보들에서 고주파 성분이 제거된 저대역 필터링 영상정보들를 생성시키는 단계, (c) 상기 분할영상정보들에서 그에 대응되는 상기 저대역 필터링 영상정보들를 감산하여 상기 분할영상정보에서 고주파 성분만이 남아 있는 잔여영상정보를 생성시키는 단계 및 (d) 상기 잔여영상정보에 다시 ICA를 수행하여 상기 분할영상정보에 대응되는 제1특징정보를 생성시키고, 상기 제1특징정보들의 집합인 제2 특징정보를 발생시키는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면 포즈(pose) 변화는 각각의 얼굴 요소들 안에서의 관계에 있어서 변화가 거의 없으므로, 본 발명의 방법은 포즈 변화에 견실한(robust) 결과를 가져온다.

Description

구성요소 기반 ＰＣＡ／ＩＣＡ를 이용한 얼굴 인식 방법 및 그 장치{Method of recognizing face using component-based 2nd order ICA/PCA and apparatus thereof }

본 발명은 구성요소 기반 PCA/ICA를 이용한 얼굴 인식/검색 방법 및 그 장치에 관한 것이다.

영상 처리와 해석에 있어서, 인간의 얼굴은 시각적인 판별과 신원 확인에 대한 중요한 요소이다. 1990년대 초부터, 얼굴 인식과 얼굴 표정 해석에 대한 분석이 광범위하게 개발되어왔다. 최근에, 영상의 흐름 속에서 얼굴 검색과 신원 확인을 위하여, 엠펙 세븐(MPEG-7) 얼굴 서술자(face descriptor)들이 제안되어왔다. 종래의 얼굴 인식 알고리즘에 반하여 상기 얼굴 서술자의 주요한 기능은 가능한 한 신속하고 효과적으로 조회 이미지와 똑같은 얼굴 이미지들을 검색하는 것이다. 해볼 만한 문제는 상기 얼굴 서술자가 빛과 자세의 큰 변화가 있는 이미지들의 조합 상에서도 작동하여야한다는 것이고 여러 제안들이 제시되어왔다.

조명 변화를 극복하기 위하여, 왕(Wang)과 탄(Tan)은 2차 아이젠페이스(eigenface) 방법을 제시했고 가메이(Kamei)와 야마다(Yamada)는 조명 변화에 기인한 얼굴의 대칭과 강도 변화를 묘사하기 위하여 신뢰 인자를 사용하는 데까지 작업 영역을 넓혀다. 네피앙(Nefian)과 데이비스(Davies)는 얼굴 서술을 위해 DCT 을 기반으로 한 임베디드 히든 마이크로코프 모델(embedded HiddenMarkov Model,eHMM)을 사용했고, 김(Kim)등은 2차 피시에이 혼합 모델(PCA Mixture Model,PMM) 방법을 개발했다. 불행히도 이에이치엠엠(eHMM)을 제외한 얼굴 서술자들은 자세 변화에 대해서 약한 것 같다. 이에이치엠엠(eHMM) 알고리즘은 암시적으로 얼굴 영역에 대응하는 임베디드(embedded) 상태들을 사용하는 것과 관찰 이미지를 오버랩되는 블록들로 분할하는 것으로 자세 변화를 다루지만, 에이치엠엠(HMM) 알고리즘들은 초기의 해가 전체적인 최소치들에 근접하지 않는다면 지엽적인 최소치들에 의존하게 되는 문제점이 있다.

선도적인 고유치(eigenvalue)들에 대응하는 주요한 요소들은 신원 확인보다는 조명 변화를 묘사한다는 관찰에 기초하여, 왕(Wang)과 탄(Tan)은 2차 피시에이(PCA) 방법을 제안했다. 첫째, 피시에이(PCA)는 트레이닝(training) 이미지들의 조합에 적용된다. 처음의 10개의 고유치들에 대응하는 선도적인 주요한 요소들로부터 재구성된 이미지들은 낮은 주파수 요소들을 대표하고, 따라서 선도적인 고유치들은 조명변화에 민감하다.그런 다음, 트레이닝(training) 이미지들은 대응하는 재구성된 이미지로부터 선도적인 주요 요소들를 감한 것이다. 그것들은 나머지 이미지들로불리고, 조명변화에 더 둔감한 높은 주파수 요소들을 포함한다. 마지막으로, 피시에이(PCA)는 다시 조명에 변화지 않는 묘사를 감한 나머지 이미지에 적용된다. 또한 김(Kim)등은 얼굴 이미지 공간의 여러 모양의 가능성 분포를 평가하기 위하여 2차 피시에이 혼합 모델(PCA Mixture Model) 방법을 소개하였고, 가메이(Kamei)와 야마다(Yamada)는 2차 피시에이(PCA) 방법에 조명 변화에 기인한 얼굴 대칭과 강도를 기술하기 위한 신뢰 인자를 추가했다.

발렛(Bartlett)은 아이시에이(ICA)가 픽셀(pixels)사이에서 더 높은 관계들을 품고 있는 얼굴 이미지 공간에서의 중요 정보를 축출하기 때문에 아이시에이(ICA)가 피시에이(PCA)보다 얼굴 묘사에 더 좋은 기초 이미지를 제공한다고 주장했고, 그것의 증거는 파렛(FARET) 얼굴 데이타시트상의 실험적인 결과들을 통하여 보여주었다. 그림 1에서 보여준 것처럼, 개선점은 피시에이(PCA)와 아이시에이(ICA)사이의 기초 벡터 선택에서의 차이에 의하여 설명될 수 있다. 즉, 데이타가 가우시안(Gaussian) 분포로 가정될 수 없을 때, 기초 벡터들이 직교하기 때문에 피시에이(PCA)는 또한 데이타를 기술할 수 없고, 반면에. 아이시에이(ICA)는 적절하게 데이타를 기술한다.

한편, 얼굴 인식에 있어서 포즈(pose) 변화에 기인한 문제점을 극복하기 위하여, 몇가지 요소 기반의 기술들, 즉, 얼굴 이미지를 얼굴의 요소(facial component) 들의 집합으로 표현하는 방법이 개발되어져 왔다. IEEE 국제음성음향신호처리 학술대회(IEEE International Conference on Acoustics, Speech, and Signal Processing)에서 네피안과 데이비스(Nefian and davies) 는 얼굴 모델링을 위해 임베디드 에이치엠엠(HMM) 기술을 사용하였다. 얼굴 요소들은 내부적으로는 에이치엠엠(HMM) 에 의해 모델링되고, 최적화 기법(optimization technique)을 사용하여 얼굴 이미지로부터 세그먼트된 이미지 블록에 매치된다. IEEE 패턴분석 및 기계지능지(IEEE Transactions on Pattern Analysis and Machine Intelligence)에서 위스코트 등(Wiskott et al.) 은 얼굴 요소들을 가버 웨이블렛 변환(Gabor wavelet transform)에 기반을 둔 라벨된 그래프(labeled graph)에 의한 얼굴 요소들로 표현하였고, 복소 가버 계수의 위상(phase)은 얼굴의 특징에 대한 노드들의 정확한 위치를 추산하게 하였다. IEEE 컴퓨터비젼 국제학술대회(IEEE International Conference on Computer Vision)에서 헤이셀레 등(Heisele et al.)은 포즈(pose) 의 변화를 보상하기 위하여 얼굴 요소들을 독립적으로 감지하고, 지지 벡터 머신(SVM : support vector machine) 에 기반을 둔 기하학적인 구성 분류자(geometrical configuration classifier)가 뒤따르도록 하였다.

그러나 일반적으로 종래의 피씨에이(PCA) 와 아이씨에이(ICA) 방법은 모든 픽셀간의 위치 관계를 인코딩한다. 따라서, 통계적으로 포즈(pose) 변화에 따른 위치구성 변화는 얼굴 표현의 심각한 변화를 초래하는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 구성요소 기반 PCA/ICA를 이용하여 소정의 얼굴영상에 대한 특징정보를 생성시키는 방법 및 그 장치를 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 구성요소 기반 PCA/ICA를 이용하여 얼굴을 인식하는 방법 및 그 장치를 제공하는데 있다.

본 발명이 이루고자 하는 또 다른 기술적 과제는 구성요소 기반 PCA/ICA를 이용하여 얼굴을 검색하는 방법 및 그 장치를 제공하는데 있다.

도 1은 (a) 는 PCA를 (b)는 ICA를 보이고 있으며,

도 2는 ICA를 개념적으로 보이고 있으며,

도 3은 윗줄에는 1차 PCA의 첫번째 10개 기초 이미지를 보이고 있으며, 아랫줄에는 1차 ICA의 첫번째 10개 기초 이미지를 보이고 있다.

도 4는 윗줄은 원래의 얼굴이미지를 보이고 있으며, 두번째 줄은 ICA의 첫번째 10 중요한(principal) 구성요소를 통하여 재구성된 이미지를 보이고 있으며, 세번째 줄은 ICA의 나머지 이미지를 보이고 있으며,

도 5a는 2차 PCA의 선택된 30개의 기초 이미지를 보이고 있으며,

도 5b는 2차 ICA의 선택된 30개의 기초 이미지를 보이고 있으며,

도 6a는 원래의 얼굴이미지를 보이고 있으며,

도 6b는 위 도 6a의 원래의 얼굴이미지 중 선택된 14개의 얼굴 구성요소를 보이고 있으며,

도 7은 ICA의 효과적인 얼굴이미지 표현방법을 설명하기 위한 개념도 이며,

도 8은 본 발명에 따른 2차 ICA를 이용한 소정 영상의 제1 특징 정보를 구하는 방법을 나타낸 바람직한 실시예의 순서도이며,

도 9는 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴영상의 제2 특징정보를 추출하는 순서도이며,

도 10은 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴영상의 얼굴을 인식하는 방법의 순서도이며,

도 11은 본 발명에 따른 구성요소 기반 PCA/ICA를 이용하여 얼굴을 검색하는 방법의 바람직한 일 실시예의 순서도이며,

도 12는 본 발명에 따른 구성요소 기반 PCA/ICA를 이용하여 얼굴을 검색하는 방법의 바람직한 다른 실시예의 순서도이며,

도 13은 본 발명에 따른 2차 ICA를 이용한 얼굴영상의 제1 특징정보를 추출하는 장치의 블록구성도이며,

도 14a는 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴영상의 제2 특징정보를 추출하는 장치의 바람직한 실시예의 블록구성도이며,

도 14b는 도 14a의 블록구성도를 세부적으로 도시한 세부 블록구성도이며,

도 15는 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴인식 장치의 바람직한 실시예의 블록구성도이며,

도 16은 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴검색 장치의 바람직한 실시예의 블록구성도이며,

도 17은 포즈별 얼굴요소의 이동값을 계산하는 방법을 설명하기 위한 순서도이며,

도 18은 얼굴영상을 구성요소별로 분할하는 방법에 의한 성능개선을 설명하기 위한 참고도 이다.

상기 문제점을 해결하기 위한 본 발명에 따른 소정의 얼굴영상에 대한 구성요소 기반 PCA/ICA를 이용한 특징정보 생성방법은 (a) 입력받은 소정의 원 얼굴영상정보를 상기 얼굴영상정보에 포함된 얼굴의 구성요소별로 분할하여 분할영상정보들을 생성시키는 단계, (b) 상기 분할영상정보들에 PCA를 수행하여 상기 분할영상정보들에서 고주파 성분이 제거된 저대역 필터링 영상정보들를 생성시키는 단계, (c) 상기 분할영상정보들에서 그에 대응되는 상기 저대역 필터링 영상정보들를 감산하여 상기 분할영상정보에서 고주파 성분만이 남아 있는 잔여영상정보를 생성시키는 단계 및 (d) 상기 잔여영상정보에 다시 ICA를 수행하여 상기 분할영상정보에 대응되는 제1특징정보를 생성시키고, 상기 제1특징정보들의 집합인 제2 특징정보를 발생시키는 단계를 포함하는 것을 특징으로 한다.

상기 문제점을 해결하기 위한 본 발명에 따른 소정의 얼굴영상에 대한 구성요소 기반 PCA/ICA를 이용한 얼굴인식방법은 (a) 인식할 대상이 되는 제1얼굴영상정보와 상기 제1얼굴영상정보와 비교하는데 기준이 되는 제2얼굴영상정보를 입력받는 단계, (b) 상기 제1 및 제2 얼굴영상정보 각각에 구성요소 기반 PCA/ICA를 수행하여 상기 제1 및 제2 얼굴영상정보에 대응되는 제2 특징정보들을 추출하는 단계 및 (c) 상기 제1 및 제2 얼굴영상에 대응되는 제2 특징정보들간에 유사성이 있는지 여부를 판단하여 출력하는 단계를 포함하는 것을 특징으로 한다.

여기서 상기 (b) 단계는 (b1) 상기 제1 및 제2 얼굴영상정보들을 상기 얼굴영상정보들에 포함된 얼굴의 구성요소별로 분할하여 제1 및 제2 분할영상정보들를 생성시키는 단계, (b2) 상기 제1 및 제2 분할영상정보들에 PCA를 수행하여 상기 제1 및 제2 분할영상정보들에서 고주파 성분이 제거된 제1 및 제2 저대역 필터링 영상정보들을 생성시키는 단계, (b3) 상기 제1 및 제2 분할영상정보들에서 그에 대응되는 상기 제1 및 제2 저대역 필터링 영상정보들를 감산하여 상기 제1 및 제2 분할영상정보에서 고주파 성분만이 남아 있는 제1 및 제2 잔여영상정보들을 생성시키는 단계 및 (b4) 상기 제1 및 제2 잔여영상정보들에 다시 ICA를 수행하여 상기 제1 및 제2 분할영상정보들에 대응되는 제1특징정보들을 생성시키고, 상기 제1 및 제2 분할영상정보들에 각각 대응되는 제1특징정보들의 집합인 제2 특징정보를 발생시키는 단계를 포함하는 것을 특징으로 한다.

그리고 상기 (c) 단계는 (c1) 상기 제1 및 제2 얼굴영상정보들의 구성요소에 따라 분할된 분할영상정보 각각에 대응되는 제1 특징정보들을 벡터로 표시하는 단계, (c2) 상기 제1 및 제2 얼굴영상정보들간의 동일한 구성요소별로 대응되는 한쌍의 벡터들의 내적의 값을 상기 벡터들의 크기 값으로 나눈 값인 제1 결과 값들을 구하는 단계 및 (c3) 상기 제1 결과 값들의 합을 구하고, 상기 합이 소정의 기준 값보다 큰 경우에는 상기 제1 및 제2 얼굴영상정보가 동일인의 것으로 판단하는 단계를 포함하는 것을 특징으로 할 수 있다.

여기서 상기 (c3) 단계는 상기 제1 결과 값 각각에 소정의 가중 값을 곱한 결과 값을 구하고, 상기 합이 소정의 기준 값보다 큰 경우에는 상기 제1 및 제2 얼굴영상정보가 동일인의 것으로 판단하는 단계를 포함하는 것을 특징으로 할 수 있다.

상기 문제점을 해결하기 위한 본 발명에 따른 소정의 얼굴영상에 대한 구성요소 기반 PCA/ICA를 이용한 얼굴검색방법은 (a) 적어도 한 사람 이상의 얼굴을 촬영한 얼굴영상정보 및 상기 사람의 신상에 관한 정보를 저장한 데이터베이스를 구비하는 단계, (b) 상기 데이터베이스에서 검색할 임의의 얼굴영상을 입력받는 단계, (c) 상기 검색할 얼굴영상정보에 대하여 구성요소 기반 PCA/ICA를 수행하여 제2 특징정보를 발생시키는 단계, (d) 순차적으로 상기 데이터베이스에 저장되어 있는 얼굴영상정보를 읽고, 상기 얼굴1영상정보에 구성요소 기반 PCA/ICA를 수행하여 제2 특징정보를 발생시키는 단계, (e) 상기 검색할 얼굴영상정보에 대응되는 제2 특징정보와 상기 DB의 얼굴영상정보에 대응되는 제2 특징정보를 비교하여 상기 두 얼굴영상이 동일인의 것인지 여부를 판단하는 단계 및 (f) 상기 판단결과 상기 두 얼굴영상이 동일인의 것으로 판단되면, 상기 데이터베이스에 저장되어 있는 상기 얼굴영상에 대응되는 신상정보를 읽어 출력하는 단계를 포함하는 것을 특징으로 한다.

여기서 상기 (c) 단계 및 (d) 단계에서 소정의 얼굴영상정보로부터 구성요소 기반 PCA/ICA를 수행하여 발생되는 제2 특징정보는 (aa) 상기 얼굴영상정보를 상기 얼굴영상의 구성요소별로 분할하여 분할영상정보들을 생성시키는 단계, (ab) 상기 분할영상정보들에 PCA를 수행하여 상기 분할영상정보들에서 고주파 성분을 제거한 저대역 필터링 영상정보들를 생성시키는 단계, (ac) 상기 분할영상정보들에서 상기 분할영상정보들에 대응되는 저대역 필터링 영상정보들을 감산하여, 상기 분할영상정보에 대응되는 잔여 영상 정보들을 발생시키는 단계, (ac) 상기 분할영상정보들에 각각 대응되는 잔여영상정보들에 ICA를 수행하여 ICA 계수행렬인 제1 특징정보들을 생성시키고, 상기 제1 특징정보들의 집합을 제2 특징정보로 하는 단계를 포함하는 것을 특징으로 할 수 있다.

또한 상기 (e) 단계는 (e1) 상기 검색할 얼굴영상정보 및 상기 DB의 얼굴영상정보들의 구성요소에 따라 분할된 분할영상정보 각각에 대응되는 제1 특징정보들을 벡터로 표시하는 단계, (e2) 상기 검색할 얼굴영상정보 및 상기 DB의 얼굴영상정보들간의 동일한 구성요소별로 대응되는 한쌍의 벡터들의 내적의 값을 상기 벡터들의 크기 값으로 나눈 값인 제1 결과 값들을 구하는 단계 및 (e3) 상기 제1 결과 값들의 합을 구하고, 상기 합이 소정의 기준 값보다 큰 경우에는 상기 제1 및 제2 얼굴영상정보가 동일인의 것으로 판단하는 단계를 포함하는 것을 특징으로 할 수 있다.

또한 상기 (e3) 단계는 상기 제1 결과 값 각각에 소정의 가중 값을 곱한 결과 값을 구하고, 상기 합이 소정의 기준 값보다 큰 경우에는 상기 검색할 얼굴영상정보 및 상기 DB의 얼굴영상정보가 동일인의 것으로 판단하는 단계를 포함하는 것을 특징으로 할 수 있다.

상기 문제점을 해결하기 위한 본 발명에 따른 소정의 얼굴영상에 대한 구성요소 기반 PCA/ICA를 이용한 얼굴검색방법은 (a) 적어도 한 사람 이상의 얼굴영상에 대응되는 제2 특징정보와 그에 대응되는 상기 사람의 신상정보를 저장하고 있는 데이터베이스를 구비하는 단계, (b) 상기 데이터베이스에서 검색할 임의의 얼굴영상을 입력받는 단계, (c) 상기 검색할 얼굴영상에 대하여 구성요소 기반 PCA/ICA를 수행하여 제2 특징정보를 구하는 단계 및 (d) 상기 데이터베이스에 저장되어 있는 제2 특징정보들과 검색할 얼굴영상에 대응되는 제2 특징정보간의 유사정도에 따라서 상기 검색할 얼굴영상의 사람과 동일한 사람의 얼굴영상에 대응되는 제2 특징정보를 검색하여 출력하는 단계를 포함하는 것을 특징으로 할 수 있다.

상기 문제점을 해결하기 위한 본 발명에 따른 소정의 얼굴영상에 대한 구성요소 기반 PCA/ICA를 이용한 특징정보 생성장치는 입력받은 소정의 원 얼굴영상정보를 상기 얼굴영상정보에 포함된 얼굴의 구성요소별로 분할하여 분할영상정보들을 생성시키는 영상분할부, 상기 분할영상정보들에 PCA를 수행하여 상기 분할영상정보들에서 고주파 성분이 제거된 저대역 필터링 영상정보들를 생성시키는 저대역 필터링부, 상기 분할영상정보들에서 그에 대응되는 상기 저대역 필터링 영상정보들를 감산하여 상기 분할영상정보에서 고주파 성분만이 남아 있는 잔여영상정보를 생성시키는 잔여 이미지 생성부 및 상기 잔여영상정보에 다시 ICA를 수행하여 상기 분할영상정보에 대응되는 제1특징정보를 생성시키고, 상기 제1특징정보들의 집합인 제2 특징정보를 발생시키는 ICA 계수행렬 계산부를 포함하는 것을 특징으로 한다.

상기 문제점을 해결하기 위한 본 발명에 따른 소정의 얼굴영상에 대한 구성요소 기반 PCA/ICA를 이용한 얼굴인식장치는 인식할 대상이 되는 제1얼굴영상정보와 상기 제1얼굴영상정보와 비교하는데 기준이 되는 제2얼굴영상정보를 입력받는 입력부, 상기 제1 및 제2 얼굴영상정보 각각에 구성요소 기반 PCA/ICA를 수행하여 상기 구성요소들에 대응되는 ICA 계수행렬들의 집합인 제2 특징정보를 추출하는 특징정보 생성부, 상기 제1 및 제2 얼굴영상에 대응되는 제2특징정보간에 유사성이 있는지 여부를 판단하여 출력하는 비교부를 포함하는 것을 특징으로 한다.

여기서 상기 특징정보 생성부는 입력받은 원 얼굴영상정보를 얼굴 구성요소별로 분할하여 분할영상정보들을 발생시키는 영상분할부, 상기 분할영상정보들에PCA를 수행하여 상기 분할영상정보들에서 고주파 성분이 제거된 저대역 필터링 영상 정보들을 생성시키는 저대역 필터링 이미지 생성부, 상기 분할영상정보들에서 상기 저대역 필터링 영상 정보들를 감산하여 상기 분할 영상 정보들에서 고주파 성분만이 남아 있는 잔여 이미지 정보들을 생성시키는 잔여 이미지 생성부 및 상기 잔여 영상 정보들에 다시 ICA를 수행하여 상기 분할영상정보에 대응되는 ICA 계수행렬인 제1 특징정보를 발생시키고, 상기 제1 특징정보의 집합인 제2 특징정보를 생성시키는 ICA 계수행렬 계산부를 포함하는 것을 특징으로 한다.

상기 문제점을 해결하기 위한 본 발명에 따른 소정의 얼굴영상에 대한 구성요소 기반 PCA/ICA를 이용한 얼굴검색장치는 얼굴을 검색하는데 필요한 얼굴영상 정보 DB를 구축하는데 사용되는 얼굴영상정보 또는 상기 DB 구축하는데 사용되는 얼굴영상정보 중에서 검색할 대상이 되는 얼굴영상을 입력받는 입력부, 상기 입력부로부터 상기 DB를 구축하는데 사용되는 얼굴영상 정보 또는 상기 검색할 대상이 되는 얼굴영상정보를 제공받고, 상기 얼굴영상정보들에 구성요소 기반 PCA/ICA를 수행하여 상기 얼굴영상정보들에 대응하는 제2 특징정보를 생성시키는 특징정보 생성부, 상기 특징정보 생성부로부터 상기 DB를 구축하는데 사용되는 얼굴영상정보에 대응되는 제2 특징정보를 제공받아 이를 DB에 저장하는 DB관리부, 상기 특징정보 생성부로부터 상기 검색할 대상이 되는 얼굴영상정보에 대응되는 제2 특징정보를 제공받고, 상기 DB에 저장되어 있는 제2 특징정보들 중에서 상기 제공받은 제2 특징정보와 유사한 정도가 소정의 기준 값보다 큰 제2 특징정보를 검색하여 상기 제2 특징정보에 대응되는 사람과 상기 검색할 대상이 되는 얼굴영상의 사람이 동일한사람으로 판단하는 비교부를 포함하는 것을 특징으로 한다.

여기서 상기 얼굴검색장치는 상기 DB 관리부는 상기 입력부로부터 상기 DB를 구축할 얼굴영상정보를 제공받아 저장하고, 상기 비교부는 상기 DB에 저장되어 있는 얼굴영상정보를 순차적으로 읽어 특징정보 생성부에 제공한 후에 상기 특징정보 생성부로부터 상기 얼굴영상정보에 대응되는 제2 특징정보를 제공받아, 상기 검색할 대상이 되는 얼굴영상정보의 제2 특징정보와 비교하여 상기 얼굴영상정보들간의 유사 정도를 판단하여, 상기 얼굴영상정보가 동일한 사람의 것인지 여부를 판단하여 출력하고, 상기 특징정보관리부는 상기 입력부로부터 상기 검색할 대상이 되는 얼굴영상정보 및 상기 비교부로부터 상기 DB에서 독출된 얼굴영상정보를 제공받고, 상기얼굴영상정보들에 구성요소 기반 PCA/ICA를 수행하여 상기 얼굴영상정보들에 대응하는 제2 특징정보를 생성시켜 상기 비교부에 제공하는 것을 특징으로 할 수 있다.

이하에서는 본 발명을 상세히 설명한다.

본 발명은 자세 변화와 또한 조명 변화도 다루는 새로운 접근법을 제시한다. 첫째, 얼굴 이미지 공간을 묘사하고 조명 변화 조합에서 판별성을 향상시키기 위하여, 우리는 2차 독립 요소 분석(Independent Component Analysis,ICA)을 채택했다. 게다가, 자세 변화를 극복하기 위하여, 우리는 엠펙세븐(MPEG-7) 얼굴 서술자로서 요소를 기반으로 한 설계를 제안했고, 이것은 우리가 자세/조명 변화를 효과적으로 보상하고 얼굴 이미지들을 풀(full) 이미지 해상도로 암호화하기 위하여 얼굴 영역을 눈, 코, 이마, 입과 같은 얼굴 요소들로 분할하는 것이다.

이하에서는 본 발명에서 사용하고 있는 2차 ICA 서술자를 상세히 설명한다.

원래의 아이시에이(ICA)가 그레이 스케일 이미지들로부터 독립적 요소(즉, 독립적 기초 요소)들을 감한 것인 반면, 우리가 제시한 2차 아이시에이(ICA)는 나머지 이미지들을 고대역-통과 주파수 요소들에 대응되도록 적용하므로, 그것은 조명 변화에 강하다.

먼저 ICA에 대하여 살펴보면, M개의 이미지들의 조합이 기초 이미지들을 축출하는 트레이닝 이미지들로 주어진다고 가정하고,를 이미지 속에서 픽셀(pixel)들의 수 만큼의 차원 N를 가진 i번째 트레이닝(training) 이미지에 대응하는 래스터-스캔(raster-scan)된 벡터라고 하자. 대부분, M < N 이다. 이미지 조합의 평균 벡터는이다. 평균 벡터로부터 모든 이미지들을 뺀 후에, 즉,, 평균 영을 가진 M x N 행렬를 가지고, 데이타의 공분산(covariance) 행렬은로 표현된다. 일반적으로, ICA는 N x N 가역의 행렬을 발견하는 것을 목표로 하고, 이것은의 열들은 통계적으로 독립적이고, 얼굴 이미지들 X는 기초 이미지들로서 사용된다. 즉,은 독립적인 열들에 의하여 표현된다. 얼굴 이미지 x 의 ICA 표현은 그림 2에서 보여준 것처럼 기초 이미지의 선형 조합으로서 표현된다. 본 발명에서는 조명에 변하지 않는 얼굴 표현을 이루기 위해 원래의 ICA를 2차 ICA로 확장한다.

이하에서는 본 발명에 적용되는 2차 ICA를 상세히 설명한다.

원래의 얼굴 이미지인 X에 대해서 PCA를 수행하고 M개의 트레이닝 이미지의 고유값 및 고유벡터를 추출한다. 얼굴 이미지의 저주파 성분을 표현하기 위해서인 제1최대 고유벡터가 선택되고,에 대한 데이터의 투영(projection)인 리딩(leading) 고유벡터는 다음 수학식 1과 같이 표현된다.

,

여기서은 선택된 고유벡터들의 집합을 나타내고,는 i번째 최대 고유값에 해당하는 고유벡터를 나타낸다. 독립 소스(source)들의 숫자를 (tractable)한 숫자로 감소시키고, 단순한 재구성을 제공하기 위해서, ICA 는 X 대신에에 대해서 수행된다. 이는에 다음 수학식 2로 표현되는 독립기초 이미지을 제공한다.

여기서은의 열들이 통계적으로 독립적이도록 하는 변환 가능한매트릭스를 나타낸다. 웨이트(weight) 매트릭스은 Bell 과 Sejnowski 의 알고리즘에 의해서 평가되고, 대응 매트릭스은 트레이닝 이미지의 저대역 필터링된 버전의 통계적으로 독립적인 기초 이미지를 포함한다. 저대역필터링된 얼굴 이미지은 수학식 1의 양변에을 곱함으로써 계산되고, 이는 다음 수학식 3과 같이 표현된다.

,

즉, 저주파 성분는 독립 기초 이미지에 의해서 스팬(span)되고,으로 표현되는 ICA 계수으로 표현된다. 결과적으로, 1차 ICA 변환 매트릭스는에 의해서 계산된다. 기초 이미지및의 일 예가 도 3 에 도시된다.

다음으로, 고역 필터링된 이미지에 해당되는 잔여 이미지는 저역 필터링된 이미지에 해당하는 재구성된 이미지로부터 원 얼굴 이미지를 감산함으로써 계산되고, ICA 는 잔여 이미지에 대하여 수행된다. i 번째 잔여 이미지는로 표현되고, 여기서는의 i번째 열을 나타낸다. 잔여 이미지에 해당되는 잔여 매트릭스는로 정의된다. 1차 ICA 변환과 유사하게,에 대해서 ICA 를 수행할 때,는 잔여 데이터 Γ의 i 번째 최대 고유값에 해당하는 고유벡터를 나타내고, 잔여 이미지의 2차 ICA 재구성는 다음 수학식 4와 같이 표현된다.

,

여기서는 독립 기초 이미지를 나타내고,는의 열들이 서로 통계적으로 독립적이도록변환 가능한 웨이트 매트릭스를 행한다.로부터, 위 수학식 4는 원 매트릭스 X 에 대해서 다음 수학식 5와 같이 표현된다.

즉, 고주파 성분은 독립 기초 이미지에 의해서 스팬(span)되고,로 표현되는 ICA 계수는로 표현된다. 따라서 2차 ICA 변환 매트릭스는로 표현된다. 도 4의 (a)는 원 얼굴 영상 X를 나타내고 있으며, 도 4의 (b)는 위 X의 재구성된 저역 필터링된 이미지를 나타내고 있고, 도 4의 (c)는 잔여 이미지를 나타내고 있다.

비트율(bit-rate)을 감소시키고, ICA 표현의 성능을 개선하기 위해서, 클래스간 대 클래스내 분산의 비에 의해서 정의되는 최고 클래스분별도(discriminability)를 갖는 ICA 계수의 부분집합이 독립 기초 이미지으로 부터 선택되고,로 각각 표현된다. 이에 해당하는 변환 매트릭스는 다음 수학식 6으로 표현된다.

,

변환 매트릭스및는및과 차원과 순열에서 차이가 있으나, 그 의미는 동일하다. 도 5a 는 2차 PCA 기본 이미지를 나타내고 도 5b는 ICA의 기본 이미지를 도시한다.

최종적으로 2차 ICA 표현은 기본 이미지(basis images)인와 계수행렬(coefficient matrix)로 구성된다. 이때 계수행렬은 수학식 7과 같다.

B=XT,

여기에서는 변환행렬(transformation matrix)을 나타낸다. 따라서 기본 이미지(basis image) U 가 고정되어 있으면, 얼굴 이미지 X 는 수학식 7로부터 2차 ICA 계수 B 에 의해서 표현된다. 이때 T 는 트레이닝 이미지 세트(training image set)로부터 미리 계산되어진다. 이하에서는 위 ICA 계수행렬을 제1 특징정보로도 호칭하도록 한다.

ICA 계수에 의해 표현되는 2개의 얼굴 이미지가 주어지면, 유사성(similarity) d(b_{1},b_{2})는 그들 사이의 교차상관(cross-correlation)을 다음 수학식 8을 통하여 계산함으로써 측정된다.

,

여기서는 벡터 a와 b 의 내적을 나타내며,는 벡터 a 의 크기(norm)를 나타낸다.

이하에서는 얼굴인식에 있어서 자세 변화에 강인한 구성요소 기반 PCA/ICA 얼굴인식 방법 및 그 장치에 대하여 설명한다.

본 발명에서는 얼굴 인식에 있어서의 포즈변화를 처리하고 얼굴 이미지를 효과적으로 표현하기 위하여 요소 기반의 기술(component based scheme)을 2차의 아이씨에이(ICA)와 결합시켰다. 그리고, 얼굴 이미지를 얼굴 요소들, 즉, 이마, 눈, 코, 볼, 턱, 그리고 입으로 분리하였다. 각각의 요소들은 해당하는 2차의 아이씨에이(ICA) 기본 이미지(basis image)로 투영되는데, 이는 이전의 훈련 세트(training set)에 의해 얻어진다.

도 6a는 원래의 얼굴이미지를 보이고 있으며, 도 6b는 위 도 6a의 원래의 얼굴이미지 중 선택된 14개의 얼굴 구성요소를 보이고 있다.

도 6a 및 도 6b에서 보는 바와 같이, 본 발명에서는 얼굴 이미지를 14개의 얼굴 요소들로 분리하였다. 데이터 집합에서의 종속성(dependency)을 피하기 위하여, IEEE 컴퓨터비젼 국제학술대회(IEEE International Conference on Computer Vision)의 헤이셀레 등(Heisele et al.)에 의해 정의된 요소들이 주로 사용되었다(즉, 눈썹, 눈, 코, 입.) 그밖의 요소인, 이마, 볼, 그리고 턱은 IEEE 국제음성음향신호처리 학술대회(IEEE International Conference on Acoustics, Speech, and Signal Processing)의 네피안과 데이비스(Nefian and davies)가 정의한 것과 비슷한 것으로 선택되었다. 요소들의 위치가 의미있는 얼굴 특징들을 포함하여야 하므로, 몇몇 기준점들을 손으로 직접 위치시켜져야 하며, 얼굴 요소들의 평균위치(mean positions)가 이를 기초로 계산되어진다. 계산은 오직 훈련 데이터 세트(training dataset)에 의해 행해진다.

이미지 X 가 주어지고, 이 이미지가 L 개의 얼굴 요소(facial component)들로 분리되어져 있다고 가정하자. 2차의 아이씨에이(ICA)가 이미지 X 의 i번째 얼굴 요소에서 행해질 때, 요소(component)는 2차의 아이씨에이(ICA) 변환에 의한 기본 이미지(basis image) 행렬를 가진 계수벡터(coefficient vector)에 의해 표현된다. 이때,와는 i번째 얼굴 요소의 훈련세트(training set)로부터 계산되어진다. 결과적으로 얼굴 이미지 X 는 기본 이미지(basis image)인을 가진 계수 벡터의 집합으로 표현된다. 이하에서는 위 얼굴이미지 X의 구성요소 별 ICA 계수행렬의 집합을 위 얼굴이미지 X를 특징짓는 제2 특징정보로도 호칭한다.

아이씨에이(ICA) 계수로 표현된 2개의 얼굴 이미지가 주어지면유사성는 다음 수학식 9를 이용해 해당 요소들간의 상호관계(cross-correlation)를 계산함으로써 측정되어진다.

여기에서는 각각 얼굴 이미지의 i번째 얼굴 요소(facial component)의 2차의 아이씨에이(ICA) 계수를 나타내고는 i번째 얼굴 요소(facial component)의 가중요소(weighting factor)를 나타낸다.

가중요소(weighting factor)를 결정하기 위하여, 요소들은 클래스 분별도(class discriminability)에 따라서 정렬되어 지는데, 클래스간(between-class)과 클래스내(within-class)의 편차(variances)의 비(ratio)에 의해 정해진 클래스 분별도(class discriminability)는 훈련 데이터세트(training dataset)로부터만 계산되는 독립된 기본 이미지(independent basis images)로부터 선택되어 진다.

요소들을 순서대로 누적시키고 훈련 데이터 세트로부터 추출성능(retrieval performance)을 계산할 때, 그 부분에서의 심한 표정변화에 기인한 입 요소(mouth component)를 추가하는 것을 제외하고, 요소들이 많을수록 에이엔엠알알(ANMRR)과 에프아이알(FIR)에 있어서 더 나은 성능을 보인다. 현재 본 발명에서는 입(mouth)을 제외하고는 모든 요소들을 동등하게 선택하였다. 즉 = 1, (i = 1, ... ,13) 이고(입에 관한 가중요소) = 0 이다. 요소들의 수와 가중요소(weighting factor) 는 추후 최적화될 예정이다.

도 7은 ICA의 효과적인 얼굴이미지 표현방법을 설명하기 위한 개념도 이다.

이하에서는 본 발명을 실험한 결과에 대하여 설명한다.

본 실험들의 구성(configuration)은 표1에 요약되어 있다. 그리고 2차 ICA 얼굴 서술자(2nd order ICA face descriptor)에 기초한 구성요소와 2차 ICA(2nd order ICA) 둘의 실험결과를 개시한다. 부가적으로 본 구성요소(component) 기반 접근방식의 포텐셜 퍼포먼스 임프루브먼트(Potential performance improvement)를 조사하기 위하여, 수동 랜드마크(landmarks)에 의하여 수행된 모든 구성요소들이 검출되는 것을 의미하는 시뮬레이션된 결과를 제시한다. 실험 1과 2를 통하여 본원의 다른 제안 즉, NEC와 POSTECH 각각의 결과들이 비교된다. 트레이닝 셋(training set)처럼 200 이미지들이 버전1의 서술자(descriptor)(face_0066_01~face_0085_5 그리고 face_0181_01 ~ face_0200_5)에 의해 사용되는 트레이닝 세트에 사용된다. 표 1에 보이는 것처럼 각 테스트 셋트는 각 실험에 따라서 변한다. 다른 실험들은 VCE-4에 확장된 MPEG-7 face 데이터 셋트(dataset) 상에서 수행된다. 한편, 이전의 실험들과 동일한 시험 셋(training set)을 실험 3에서 사용하고, 실험 4는 kamei에 의해 VCE-4 reflector로 제안된 새롭게 정의된 트레이닝 셋트(training set)를 수행한다.

	TRAINING SET	TEST SET
		Illumination	Pose Set
실험 1(M6001)	200 images :40persons*5images/personface_0066_01-face_0085_85face_018_01-fce_0200_05	745 images :149persons*5images/personface_0001_01-face_0065_05face_0086_01-face_0169_05	410 images: 82 persons*5images/personface_0170_01-face_0180_05face_0201_01-face_0271_05
실험 2(M7286)		350 images :70persons*5images/personface_0001_01-face_0035_05face_0116_01-face_0150_05	205 images: 41 persons*5images/personface_0231_01-face_0271_05
실험 3		1015 images:203persons*5images/person	1960 images:392 persons*5images/person
실험 4	1685 images : 337persons*5images/person(the image files whose person ID field is even + training set used by version 1 descriptor)	1490 images :298 persons*5images/person(the image files whose person ID field is odd - training set used by version 1 descriptor)

표2 및 3은 본 발명에서 제안된 방법과 다른 제안에 대한 1번 실험과 2번 실험의 결과를 비교하고 있다. 1번 및 2번 실험에서 2차 ICA 얼굴 서술자(face descriptor)의 결과는 pose set에 있어서는 몇몇 다른 제안들보다 나쁘지만, illumination set에 있어서는 다른 제안들(버전 1, NEC, 그리고 POSTECH)의 결과보다 좋다. 그러나 구성요소 기반 얼굴 서술자(component-based face descriptor)의 결과는 양 데이터 셋트에 있어서 다른 제안들 보다 뛰어나다. 그리고 수동 조정(manual alignment)에 의해 달성되는 결과는 조정(alignment)없는 component-based face descriptor의 결과보다 뛰어나다. 그러므로 구성요소 기반 2차 ICA 얼굴 서술자는 조도변화(illumination variation)에 있어서 최선의 결과를 제공하고, 2차 ICa 얼굴 서술자는 다른 제안들과 대등한 결과를 제공한다는 결론을 지을 수있다. 포즈 데이타셋트(pose dataset)에 있어서 2차 ICA는 좋지 않은 결과를 주는 이유는 버전 1에서의 정의된 트레이닝 데이터 셋트(the defined training set)는 테스트 데이터 셋트에 자세 변화를 알 수 있기에 충분한 자세 데이터셋트(dataset)를 포함하고 있지 않다는 것이다. 표 4에 개시되어 있는 바와 같이, 만일 트레이닝 데이터 셋트(training dataset)의 갱신없이 테스트 데이터 셋트를 확장한다면 비슷한 결과를 얻게 된다.

	illumination set	Pose Set
	ANMRR	FIR	ANMRR	FIR
Ver 1.0	0.234(0.266*)	0.125(0.403*)	0.492(0.442*)	0.354(0.585*)
NEC	0.214*	0.342*	0.348*	0.491*
2nd-order ICA	0.152	0.071	0.467	0.290
Component-based 2nd order ICA	0.152	0.071	0.326	0.205
manual alignment	0.135	0.052	0.277	0.136

	illumination set	Pose Set
	ANMRR	FIR	ANMRR	FIR
Ver 1.0	0.270*	0.414*	0.318*	0.466*
POSTECH	0.236*	-	0.234*	-
NEC	0.226*	0.354*	0.217*	0.350*
2nd-order ICA	0.221	0.128	0.302	0.190
Component-based 2nd-order ICA	0.187	0.108	0.176	0.058
manual alignment	0.170	0.082	0.159	0.043

	illumination set	Pose Set
	ANMRR	FIR	ANMRR	FIR
Ver 1.0	0.300	0.183	0.689	0.486
2nd-order ICA	0.277	0.149	0.674	0.456
Component-based 2nd order ICA	0.233	0.129	0.482	0.253
manual alignment	0.236	0.131	0.383	0.172

위의 표 4는 3번 실험의 결과를 보이고 있으며 위 표 4에서 트레이닝 데이터 셋트(training dataset)는 VCE reflector에서 제안된 kamei처럼 확장된다. 다음과 같은 이유에 근거하여 트레인닝 및 트스트 데이터 셋트(training/test dataset)의 새로운 정의가 타당하게 된다.

첫째, 트레이닝 테이터 셋트는 학습될 수 있기에 충분한 자세 변화정보(pose variation)를 포함한다. 둘째, 조도 변화(illumination variant)와 자세 변화(pose variant) 데이터 셋트는 구별되지 않으며, 그리고 실제응용(real application)에서의 관점에서 이것이 자연스럽다.

표 5는 실험 4의 결과를 보이 있으며, 2nd order ICA 및 구성요소 기초를 둔 2nd order ICA 얼굴 서술자(component-based 2nd order ICA face descriptor) 모두에서 개선되는 것은 명확하다. 특징 적출 복합성을 감소시키기 위해서는, 구성요소 기초를 둔 ICA 방법(component-based ICA method)에서의 실험은 128 x 128 (1/4) 및 64 x 64의 (1/16 times) 화소까지 256 x 256의 화소에 원래의 이미지(image)의 부표본(subsample)을 만든 후에 실행된다.

	ANMRR	FIR
Ver 1.0	0.499	0.306
2nd-order ICA	0.367	0.205
Component-based 2nd order ICA(1/4 times)	0.264	0.112

위에서 살펴본 바와 같이 본 발명에 따른 조도 및 자세 변화에 강인한 2차 order ICA 및 component-based 2차 ICA 얼굴 서술자(face descriptors)는 본 발명에서 채택한 알고리즘의 정확성과 강인성을 보이는 실험 결과를 보이고 있다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실싱예를 상세히 설명한다.

도 8은 본 발명에 따른 2차 ICA 특징 정보를 구하는 방법을 나타낸 바람직한 실시예의 순서도이다. 먼저 원영상(X)를 입력(801)받는다. 그리고 원영상(X)에 PCA를 수행하여 저대역 필터링 이미지()를 얻는다(802). 그 후에 원영상(X)의 정보에서 저대역 필터링 이미지()의 정보를 감산하여 잔여 이미지()를 얻는다(803). 그리고 잔여 이미지()에 다시 ICA를 수행하여, 위 원영상(X)을 특징짓는 2차 ICA 특징정보인 기본 이미지(basis images) 및 ICA 계수행렬(상기 얼굴영상에 대응되는 제1 특징정보)을 구한다(804).

여기서 참조번호 801 단계 내지 804 단계까지의 세부적인 사항은 위에서 수학식 1 내지 수학식 8을 참조하여 상세히 설명되어 있다.

도 9는 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴영상의 제2 특징정보를 추출하는 순서도이다. 먼저 소정의 얼굴영상을 입력받는다(901). 그리고 위 얼굴영상을 구성요소별로 분리하는 영상분할을 실시(902)한다. 그 후에 분할된 얼굴영상의 구성요소별로 위 도 8에서 설명한 2차 ICA를 수행하여 구성요소별 ICA 계수행렬(제1특징정보)들을 추출한다(903). 그리고 위 제1 특징정보들을 상기 얼굴영상을 특징짓는 제2 특징정보로 인식한다(904).

도 10은 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴영상의 얼굴을 인식하는 방법의 순서도이다.

인식할 대상이 되는 얼굴영상과 위 얼굴영상과 비교하여 인식의 기준이 되는 얼굴영상을 입력받는다(1001). 그리고 위 두 얼굴영상에 대하여 위 도 9의 902단계에서와 같이 위 두 얼굴들을 구성요소별로 분할한다(1002). 그리고 상기 두 얼굴영상별로 각 구성요소에 대하여 2차 ICA를 수행하여 위 두 얼굴영상들의 구성요소별로 ICA 계수행렬(제1 특징정보)를 얻고, 각 얼굴영상들에 대응되는 제2특징정보를 추출한다(1003). 그 후에 위 두 얼굴의 제2 특징정보에 기초하여 위 두 얼굴이 동일인의 것인지 여부를 판단(1004)하여 출력한다.

여기서 위 두 얼굴영상이 동일인을 촬영한 것인지 여부는 위 수학식 9를 계산하여 수행하며, 위 수학식 9의 계산 결과값이 소정의 값 이상인 경우에는 위 두 얼굴영상이 동일인의 것으로 판단할 수 있다.

도 11은 본 발명에 따른 구성요소 기반 PCA/ICA를 이용하여 얼굴을 검색하는 방법의 바람직한 일 실시예의 순서도이다.

먼저 적어도 한 사람 이상의 얼굴영상 및 상기 사람의 신상에 관한 정보인 신상정보를 저장한 DB를 구비(1101)한다. 그리고 검색할 임의의 얼굴 영상을 입력받는다(1102). 그 후에 상기 검색할 얼굴영상에 대하여 위 도 10에서 설명한 구성요소 기반 PCA/ICA를 수행하여 제2 특징 정보을 추출한다(1103). 그리고 위 DB의 얼굴영상들에 순차적으로 구성요소 기반 PCA/ICA를 수행하여 제2 특징 정보를 추출하고 상기 검색할 얼굴영상의 제2 특징 정보와 비교하여 위 검색할 임의의 얼굴영상과 동일인의 얼굴영상이 위 DB에 있는지 여부를 판단(1104)한다. 그리고 상기 DB에 동일인의 것으로 판단되는 얼굴영상이 있는 경우 그에 대응되는 위 DB 상의 신상정보를 출력(1105)한다.

여기서 두 얼굴영상이 동일인의 것인지 여부를 판단하는 방법은 위 수학식 9를 이용하며, 위 수학식 9의 결과가 소정의 일정한 값 이상이 되면 동일인의 것으로 판단할 수 있다.

도 12는 본 발명에 따른 구성요소 기반 PCA/ICA를 이용하여 얼굴을 검색하는 방법의 바람직한 다른 실시예의 순서도이다.

먼저 적어도 한 사람 이상의 얼굴영상 및 위 사람의 신상에 관한 정보인 신상정보를 입력받는다(1201). 그리고 위 얼굴영상에 대하여 구성요소 기반 PCA/ICA를 수행하여 위 얼굴영상에 대응되는 제2 특징 정보를 구하고 위 제2 특징 정보와 상기 신상정보를 연계시켜 저장하여 데이터베이스(DB)를 구비한다(1202). 그 후에는 검색할 임의의 얼굴영상을 입력받는다(1203). 그리고 검색할 얼굴영상에 대하여 구성요소 기반 PCA/ICA를 수행하여 제2 특징정보를 구한다(1204). 그리고 상기 검색할 얼굴영상에 대응되는 제2 특징정보와 유사성이 있는 상기 DB 상의 제2 특징정보를 검색하여 그 검색된 결과를 출력(1205)한다.

도 13은 본 발명에 따른 2차 ICA를 이용한 얼굴영상의 제1 특징정보를 추출하는 장치의 블록구성도이다.

본발명에 따른 소정의 영상으로부터 2차 ICA 특징정보를 구하는 장치는 저대역필터링 이미지 생성부(1301), 잔여이미지 생성부(1302), ICA 계수행렬계산부(1303)를 포함한다.

저대역 필터링 이미지 생성부(1301)는 임의의 영상정보를 입력받고 이에 PCA를 수행하여 위 입력받은 영상에서 고주파 성분이 제거된 저대역 필터링 이미지를 생성하는 기능을 수행한다.

잔여이미지 생성부(1302)는 위 입력받은 영상정보에서 위 저대역 필터링 이미지 생성부(901)에서 생성된 저대역 필터링 이미지 영상정보를 감산하여 잔여 이미지를 생성하는 기능을 수행한다.

ICA 계수행렬 생성부(1303)는 위 잔여이미지에 ICA를 수행하여 기본 이미지 및 ICA 계수행렬을 구하는 기능을 수행한다.

도 14a는 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴영상의 제2 특징정보를 추출하는 장치의 바람직한 실시예의 블록구성도이다.

본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴영상의 제2 특징정보 생성장치는 영상분할부(1411), 2차 ICA 수행부(1412)로 구성된다.

영상분할부(1411)는 입력받은 얼굴영상정보에 포함된 얼굴의 구성요소별로 위 얼굴영상정보를 분할하는 기능을 수행한다. 여기서 얼굴영상을 분할하는 방법은 위에서 설명한 바와 같이 IEEE 컴퓨터비젼 국제학술대회(IEEE International Conference on Computer Vision)의 헤이셀레 등(Heisele et al.)에 의해 정의된 요소와 IEEE 국제음성음향신호처리 학술대회(IEEE International Conference on Acoustics, Speech, and Signal Processing)의 네피안과 데이비스(Nefian and davies)가 정의한 것을 선택할 수 있으며, 위 구성요소들의 위치가 의미있는 얼굴특징들을 포함하여야 하므로, 몇몇 기준점들을 손으로 입력받을 수 있다.

2차 ICA 수행부(1412)는 위 도 13에서 보인 2차 ICA를 이용한 제1 특징정보 추출장치와 동일한 기능을 수행하는 것이나, 다만 여기서는 위 영상 분할부(1411)에서 분할된 구성요소별 얼굴영상정보 각각에 대하여 위 2차 ICA를 수행하는 것에 차이가 있다.

도 14b는 도 14a의 블록구성도를 세부적으로 도시한 세부 블록구성도로 위 2차 ICA 수행부(1412)를 도 13에서와 같은 블록으로 표현한 것이다.

여기서 영상분할부(1421)는 위 도 14a의 영상분할부(1411)와 같으며, 저대역 필터링부(1422)는 위 도 13의 저대역 필터링부(1301)과 수행하는 기능이 같으며, 잔여이미지 생성부(1413)은 위 도 13의 잔여이미지 생성부(1302)와 수행하는 기능이 같으며, ICA 계수 행렬계산부(1424)는 위 도 13의 ICA 계수행렬 계산부(1303)과 동일한 기능을 수행한다.

도 15는 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴인식 장치의 바람직한 실시예의 블록구성도이다.

본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴인식장치는 입력부(1501), 특징데이터생성부(1502), 비교부(1503)를 포함한다.

입력부(1501)는 외부로부터 인식 대상이 되는 임의의 얼굴영상정보 및 위 인식의 기준이 되는 얼굴영상정보(위 인식대상이 되는 얼굴영상이 동일인의 것인지 여부를 판단하는데 기준이 되는 얼굴영상)를 입력받아 특징데이터 생성부(1502)에 제공하는 기능을 수행한다.

특징데이터생성부(1502)는 위 두 얼굴영상에 대하여 위 도 14a 또는 도 14b에서 보이고 있는 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 제2 특징 정보를 생성시키는 장치와 같은 구성 및 기능을 수행한다. 즉, 위 특징 데이터 생성부(1502)는 위 입력부(1001)로부터 제공받은 두 개의 원 얼굴영상정보에 대하여 구성요소별로 위 얼굴영상정보를 분할하고, 위 구성요소별로 분할된 얼굴영상정보 각각에 대하여 PCA를 수행하여 저대역 필터링 이미지를 생성시키고, 위 두 개의 원 얼굴영상정보로부터 위 각각의 저대역 필터링 이미지를 감산하여 잔여 이미지를 각각 생성시킨 후에 위 잔여 이미지에 ICA를 다시 수행하여 위 구성요소별 얼굴영상 각각에 대응되는 기본 이미지 및 ICA 계수행렬(제1 특징정보)들을 구하는 기능을 수행한다. 그리고 위 두 개의 전체 얼굴영상정보에 대응되는 제1 특징정보들의 집합인 제2 특징 정보들을 추출한다.

비교부(1503)는 위 비교대상이 되는 얼굴영상의 제2 특징정보와 위 비교기준이 되는 얼굴영상의 제2 특징정보를 비교하여 위 두 영상이 동일인의 것인지 여부를 판단하여 그 결과를 출력하는 기능을 수행한다.

도 16은 본 발명에 따른 구성요소 기반 PCA/ICA를 이용한 얼굴검색 장치의 바람직한 실시예의 블록구성도이다.

입력부(1601)는 얼굴을 검색하는데 필요한 얼굴영상 정보 데이터베이스(DB)를 구축하는데 필요한 얼굴영상정보를 입력받아 DB 관리부(1603) 또는 특징정보 생성부(1602)에 제공하는 기능을 수행한다.

또한 입력부(1601)는 위 얼굴영상정보DB를 검색할 대상이 되는 얼굴영상을입력받아 위 특징정보 생성부(1602)에 제공하는 기능을 수행한다.

특정정보 생성부(1602)는 위 입력부(1601)로부터 제공받은 얼굴영상으로부터 위 도 9에서 보이고 있는 과정을 통하여 제2 특징 정보를 추출한다. 다만, 위 제공받은 얼굴영상이 얼굴영상정보 DB 에 저장하기 위한 것인 경우에는 위 제2 특징정보를 위 DB관리부(1603)에 제공하고, 그렇지 않은 경우에는 위 제2 특징정보를 비교부(1604)에 제공하는 기능을 수행한다. 또한 비교부(1604)로부터 상기 얼굴영상정보 DB로부터 독출된 얼굴영상정보를 제공받고, 위 얼굴영상에 대한 제2 특정정보를 추출하여 위 비교부(1604)에 다시 제공하는 기능을 수행한다.

DB 관리부(1603)는 위 입력부(1601)로부터 제공받은 얼굴영상정보 또는 위 특징정보 생성부(1602)로부터 제공받은 제2 특징정보를 얼굴영상 정보 DB에 저장하고 관리하는 기능을 수행한다.

비교부(1604)는 위 특징정보 생성부(1602)로부터 제공받은 검색대상이 되는 얼굴영상의 제2 특징정보를 제공받고, 위 제2 특징정보를 기초로 얼굴영상정보 DB에서 위 얼굴영상과 동일인의 얼굴영상을 검색하는 기능을 수행한다. 이 때 위 얼굴영상정보 DB에 얼굴영상 정보만이 저장되어 있는 경우에는 위 얼굴영상정보를 읽어 위 특징정보 생성부(1602)에 제공한 후에 위 제공한 얼굴영상정보에 대응되는 제2 특징정보를 제공받아 위 검색대상이 되는 얼굴영상과 동일인의 것인지 여부를 확인하고, 위 얼굴영상정보 DB에 각각의 얼굴영상에 대응되는 제2 특징정보를 저장하고 있는 경우에는 위 제2 특징정보 만을 읽어 위 검색대상이 되는 얼굴영상정보의 제2 특징정보와 비교하여 위 두 영상이 동일인을 촬영한 것인지 여부를 확인한다.

도 17은 포즈별 얼굴요소의 이동값을 계산하는 방법을 설명하기 위한 순서도이다.

먼저 여러 포즈의 얼굴영상들을 입력받고(1701), 위 입력받은 얼굴영상들의 포즈를 판별(1702)하여 포즈별로 분류된 얼굴영상 정보를 얻는다. 이때 얼굴영상들의 포즈의 판별은 외부의 사람으로부터 입력받을 수 있으며, 소정의 방법으로 자동으로 판별할 수 있다.

그 후 위에서 판별된 포즈에 따라 위 얼굴영상들의 얼굴 특징점들을 추출(1703)하여 각각의 영상별로 특징점들의 집합을 얻는다. 이때도 역시 외부의 사람으로부터 위 얼굴영상의 특징점들에 대한 정보를 입력받을 수 있으며, 소정의 방법에 따라서 자동으로 판별할 수 있다.

그 후에 위에서 판별된 포즈별 얼굴영상들의 얼굴특징점들의 평균위치를 계산(1704)하여 포즈별 얼굴 특징점의 평균치 정보를 얻는다. 그리고 위 평균치 정??를 근거로 포즈의 변화에 따른 얼굴의 구성요소의 이동 값 정보를 계산(1705)하여 포즈별 얼굴요소의 이동값 정보를 얻는다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명에서와 같이 2차의 아이씨에이(ICA)/피씨에이(PCA)를 가진 구성요소 기반(componet-based scheme)의 기술은 얼굴 요소들을 분리하여 인코딩하므로, 포즈(pose) 변화는 각각의 얼굴 요소들 안에서의 관계에 있어서 변화가 거의 없으므로, 본 발명의 방법은 포즈 변화에 견실한(robust) 결과를 가져온다. 게다가, 구성요소의 위치들(component positions)이 얼굴 요소 감지 기술을 사용하여 정렬되어져 있을 때는 성능이 향상될 수 있다.

반면에 분리된 얼굴 요소들은 다른 요소들과 오버랩(overlap) 될 수 있으며, 인접한 얼굴 요소들간의 관계를 부분적으로 인코딩하므로, 각각의 개인을 구별시키는데 필요한 특성을 표현하기 위한 중요한 관계들이 보존된다. 따라서, 본 발명의 서술자(descriptor)에서는 개인의 동일성을 표현하는데 최소한의 기하학적 정보만이 저장되는데 비해, 포즈변화에 따른 기하학적 정보는 삭제되어도 되는 효과가 있다.

그리고, 얼굴 요소의 전체 얼굴 이미지보다 통계적인 복잡도가 덜하기 때문에, 아이시에이(ICA)를 학습하는 것이 전체 얼굴 영역을 학습하는 것보다 더 쉬운 효과도 있다.

도 18은 얼굴영상을 구성요소별로 분할하는 방법에 의한 성능개선을 설명하기 위한 참고도 이다. 도 18을 참조하면, 전체 영상인 참조번호 1801을 구성요소별로 분할한 예가 참조번호 1802, 1803, 1804이다. 참조번호 1802는 전체 영상인 참조번호 1801과 같으며, 참조번호 1803은 전체 영상인 참조번호 1801의 코와 입 부분의 영상이고, 참조번호 1804는 전체 영상인 참조번호 1801의 눈 부분의 영상이다. 본 발명에 따르면 참조번호 1802와 같이 전체 영상을 하나의 구성요소로 취급하여 처리하는 기존의 방법보다, 얼굴영상의 같은 부분을 분할하여 사용하는 경우에도 개선된 효과가 있으며, 얼굴영상을 그 구성요소별로 분할하여 처리하되 얼굴영상의 포즈변화에 대한 보상이 없는 경우에도 기존의 방법보다 개선된 효과가 있다.

Claims (17)

1. (a) 입력받은 소정의 원 얼굴영상정보를 상기 얼굴영상정보에 포함된 얼굴의 구성요소별로 분할하여 분할영상정보들을 생성시키는 단계;

   (b) 상기 분할영상정보들에 PCA를 수행하여 상기 분할영상정보들에서 고주파성분이 제거된 저대역 필터링 영상정보들를 생성시키는 단계;

   (c) 상기 분할영상정보들에서 그에 대응되는 상기 저대역 필터링 영상정보들를 감산하여 상기 분할영상정보에서 고주파 성분만이 남아 있는 잔여영상정보를 생성시키는 단계; 및

   (d) 상기 잔여영상정보에 다시 ICA를 수행하여 상기 분할영상정보에 대응되는 제1특징정보를 생성시키고, 상기 제1특징정보들의 집합인 제2 특징정보를 발생시키는 단계를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 특징정보 생성방법.
2. (a) 인식할 대상이 되는 제1얼굴영상정보와 상기 제1얼굴영상정보와 비교하는데 기준이 되는 제2얼굴영상정보를 입력받는 단계;

   (b) 상기 제1 및 제2 얼굴영상정보 각각에 구성요소 기반 PCA/ICA를 수행하여 상기 제1 및 제2 얼굴영상정보에 대응되는 제2 특징정보들을 추출하는 단계; 및

   (c) 상기 제1 및 제2 얼굴영상에 대응되는 제2 특징정보들간에 유사성이 있는지 여부를 판단하여 출력하는 단계를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴인식방법.
3. 제2항에 있어서, 상기 (b) 단계는

   (b1) 상기 제1 및 제2 얼굴영상정보들을 상기 얼굴영상정보들에 포함된 얼굴의 구성요소별로 분할하여 제1 및 제2 분할영상정보들를 생성시키는 단계;

   (b2) 상기 제1 및 제2 분할영상정보들에 PCA를 수행하여 상기 제1 및 제2 분할영상정보들에서 고주파 성분이 제거된 제1 및 제2 저대역 필터링 영상정보들을 생성시키는 단계;

   (b3) 상기 제1 및 제2 분할영상정보들에서 그에 대응되는 상기 제1 및 제2 저대역 필터링 영상정보들를 감산하여 상기 제1 및 제2 분할영상정보에서 고주파 성분만이 남아 있는 제1 및 제2 잔여영상정보들을 생성시키는 단계; 및

   (b4) 상기 제1 및 제2 잔여영상정보들에 다시 ICA를 수행하여 상기 제1 및 제2 분할영상정보들에 대응되는 제1특징정보들을 생성시키고, 상기 제1 및 제2 분할영상정보들에 각각 대응되는 제1특징정보들의 집합인 제2 특징정보를 발생시키는 단계를 포함하는 것을 특징으로 하는 2차 ICA를 이용한 얼굴인식방법.
4. 제2항에 있어서, 상기 (c) 단계는

   (c1) 상기 제1 및 제2 얼굴영상정보들의 구성요소에 따라 분할된 분할영상정보 각각에 대응되는 제1 특징정보들을 벡터로 표시하는 단계;

   (c2) 상기 제1 및 제2 얼굴영상정보들간의 동일한 구성요소별로 대응되는 한쌍의 벡터들의 내적의 값을 상기 벡터들의 크기 값으로 나눈 값인 제1 결과 값들을 구하는 단계; 및

   (c3) 상기 제1 결과 값들의 합을 구하고, 상기 합이 소정의 기준 값보다 큰 경우에는 상기 제1 및 제2 얼굴영상정보가 동일인의 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴인식방법.
5. 제4항에 있어서, 상기 (c3) 단계는

   상기 제1 결과 값 각각에 소정의 가중 값을 곱한 결과 값을 구하고, 상기 합이 소정의 기준 값보다 큰 경우에는 상기 제1 및 제2 얼굴영상정보가 동일인의 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴인식방법.
6. (a) 적어도 한 사람 이상의 얼굴을 촬영한 얼굴영상정보 및 상기 사람의 신상에 관한 정보를 저장한 데이터베이스를 구비하는 단계;

   (b) 상기 데이터베이스에서 검색할 임의의 얼굴영상을 입력받는 단계;

   (c) 상기 검색할 얼굴영상정보에 대하여 구성요소 기반 PCA/ICA를 수행하여 제2 특징정보를 발생시키는 단계;

   (d) 순차적으로 상기 데이터베이스에 저장되어 있는 얼굴영상정보를 읽고, 상기 얼굴1영상정보에 구성요소 기반 PCA/ICA를 수행하여 제2 특징정보를 발생시키는 단계;

   (e) 상기 검색할 얼굴영상정보에 대응되는 제2 특징정보와 상기 DB의 얼굴영상정보에 대응되는 제2 특징정보를 비교하여 상기 두 얼굴영상이 동일인의 것인지 여부를 판단하는 단계; 및

   (f) 상기 판단결과 상기 두 얼굴영상이 동일인의 것으로 판단되면, 상기 데이터베이스에 저장되어 있는 상기 얼굴영상에 대응되는 신상정보를 읽어 출력하는단계를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴검색방법.
7. 제6항에 있어서, 상기 (c) 단계 및 (d) 단계에서 소정의 얼굴영상정보로부터 구성요소 기반 PCA/ICA를 수행하여 발생되는 제2 특징정보는

   (aa) 상기 얼굴영상정보를 상기 얼굴영상의 구성요소별로 분할하여 분할영상정보들을 생성시키는 단계;

   (ab) 상기 분할영상정보들에 PCA를 수행하여 상기 분할영상정보들에서 고주파 성분을 제거한 저대역 필터링 영상정보들를 생성시키는 단계;

   (ac) 상기 분할영상정보들에서 상기 분할영상정보들에 대응되는 저대역 필터링 영상정보들을 감산하여, 상기 분할영상정보에 대응되는 잔여 영상 정보들을 발생시키는 단계;

   (ac) 상기 분할영상정보들에 각각 대응되는 잔여영상정보들에 ICA를 수행하여 ICA 계수행렬인 제1 특징정보들을 생성시키고, 상기 제1 특징정보들의 집합을 제2 특징정보로 하는 단계를 포함하는 것을 특징으로 하는 구성요소별 2차 ICA를 이용한 얼굴검색방법.
8. 제6항에 있어서, 상기 (e) 단계는

   (e1) 상기 검색할 얼굴영상정보 및 상기 DB의 얼굴영상정보들의 구성요소에 따라 분할된 분할영상정보 각각에 대응되는 제1 특징정보들을 벡터로 표시하는 단계;

   (e2) 상기 검색할 얼굴영상정보 및 상기 DB의 얼굴영상정보들간의 동일한 구성요소별로 대응되는 한쌍의 벡터들의 내적의 값을 상기 벡터들의 크기 값으로 나눈 값인 제1 결과 값들을 구하는 단계; 및

   (e3) 상기 제1 결과 값들의 합을 구하고, 상기 합이 소정의 기준 값보다 큰 경우에는 상기 제1 및 제2 얼굴영상정보가 동일인의 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴검색방법.
9. 제8항에 있어서, 상기 (e3) 단계는

   상기 제1 결과 값 각각에 소정의 가중 값을 곱한 결과 값을 구하고, 상기 합이 소정의 기준 값보다 큰 경우에는 상기 검색할 얼굴영상정보 및 상기 DB의 얼굴영상정보가 동일인의 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴검색방법.
10. (a) 적어도 한 사람 이상의 얼굴영상에 대응되는 제2 특징정보와 그에 대응되는 상기 사람의 신상정보를 저장하고 있는 데이터베이스를 구비하는 단계;

    (b) 상기 데이터베이스에서 검색할 임의의 얼굴영상을 입력받는 단계;

    (c) 상기 검색할 얼굴영상에 대하여 구성요소 기반 PCA/ICA를 수행하여 제2 특징정보를 구하는 단계; 및

    (d) 상기 데이터베이스에 저장되어 있는 제2 특징정보들과 검색할 얼굴영상에 대응되는 제2 특징정보간의 유사정도에 따라서 상기 검색할 얼굴영상의 사람과 동일한 사람의 얼굴영상에 대응되는 제2 특징정보를 검색하여 출력하는 단계를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴검색방법.
11. 입력받은 소정의 원 얼굴영상정보를 상기 얼굴영상정보에 포함된 얼굴의 구성요소별로 분할하여 분할영상정보들을 생성시키는 영상분할부;

    상기 분할영상정보들에 PCA를 수행하여 상기 분할영상정보들에서 고주파 성분이 제거된 저대역 필터링 영상정보들를 생성시키는 저대역 필터링부;

    상기 분할영상정보들에서 그에 대응되는 상기 저대역 필터링 영상정보들를 감산하여 상기 분할영상정보에서 고주파 성분만이 남아 있는 잔여영상정보를 생성시키는 잔여 이미지 생성부; 및

    상기 잔여영상정보에 다시 ICA를 수행하여 상기 분할영상정보에 대응되는 제1특징정보를 생성시키고, 상기 제1특징정보들의 집합인 제2 특징정보를 발생시키는 ICA 계수행렬 계산부를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 특징정보 생성장치.
12. 인식할 대상이 되는 제1얼굴영상정보와 상기 제1얼굴영상정보와 비교하는데 기준이 되는 제2얼굴영상정보를 입력받는 입력부;

    상기 제1 및 제2 얼굴영상정보 각각에 구성요소 기반 PCA/ICA를 수행하여 상기 구성요소들에 대응되는 ICA 계수행렬들의 집합인 제2 특징정보를 추출하는 특징정보 생성부;

    상기 제1 및 제2 얼굴영상에 대응되는 제2특징정보간에 유사성이 있는지 여부를 판단하여 출력하는 비교부를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴인식장치.
13. 제12항에 있어서, 상기 특징정보 생성부는

    입력받은 원 얼굴영상정보를 얼굴 구성요소별로 분할하여 분할영상정보들을 발생시키는 영상분할부;

    상기 분할영상정보들에 PCA를 수행하여 상기 분할영상정보들에서 고주파 성분이 제거된 저대역 필터링 영상 정보들을 생성시키는 저대역 필터링 이미지 생성부;

    상기 분할영상정보들에서 상기 저대역 필터링 영상 정보들를 감산하여 상기 분할 영상 정보들에서 고주파 성분만이 남아 있는 잔여 이미지 정보들을 생성시키는 잔여 이미지 생성부; 및

    상기 잔여 영상 정보들에 다시 ICA를 수행하여 상기 분할영상정보에 대응되는 ICA 계수행렬인 제1 특징정보를 발생시키고, 상기 제1 특징정보의 집합인 제2 특징정보를 생성시키는 ICA 계수행렬 계산부를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴인식장치.
14. 얼굴을 검색하는데 필요한 얼굴영상 정보 DB를 구축하는데 사용되는 얼굴영상정보 또는 상기 DB 구축하는데 사용되는 얼굴영상정보 중에서 검색할 대상이 되는 얼굴영상을 입력받는 입력부;

    상기 입력부로부터 상기 DB를 구축하는데 사용되는 얼굴영상 정보 또는 상기 검색할 대상이 되는 얼굴영상정보를 제공받고, 상기 얼굴영상정보들에 구성요소 기반 PCA/ICA를 수행하여 상기 얼굴영상정보들에 대응하는 제2 특징정보를 생성시키는 특징정보 생성부;

    상기 특징정보 생성부로부터 상기 DB를 구축하는데 사용되는 얼굴영상정보에 대응되는 제2 특징정보를 제공받아 이를 DB에 저장하는 DB관리부;

    상기 특징정보 생성부로부터 상기 검색할 대상이 되는 얼굴영상정보에 대응되는 제2 특징정보를 제공받고, 상기 DB에 저장되어 있는 제2 특징정보들 중에서 상기 제공받은 제2 특징정보와 유사한 정도가 소정의 기준 값보다 큰 제2 특징정보를 검색하여 상기 제2 특징정보에 대응되는 사람과 상기 검색할 대상이 되는 얼굴영상의 사람이 동일한 사람으로 판단하는 비교부를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴검색장치.
15. 제14항에 있어서,

    상기 DB 관리부는 상기 입력부로부터 상기 DB를 구축할 얼굴영상정보를 제공받아 저장하고,

    상기 비교부는 상기 DB에 저장되어 있는 얼굴영상정보를 순차적으로 읽어 특징정보 생성부에 제공한 후에 상기 특징정보 생성부로부터 상기 얼굴영상정보에대응되는 제2 특징정보를 제공받아, 상기 검색할 대상이 되는 얼굴영상정보의 제2 특징정보와 비교하여 상기 얼굴영상정보들간의 유사 정도를 판단하여, 상기 얼굴영상정보가 동일한 사람의 것인지 여부를 판단하여 출력하고,

    상기 특징정보관리부는 상기 입력부로부터 상기 검색할 대상이 되는 얼굴영상정보 및 상기 비교부로부터 상기 DB에서 독출된 얼굴영상정보를 제공받고, 상기얼굴영상정보들에 구성요소 기반 PCA/ICA를 수행하여 상기 얼굴영상정보들에 대응하는 제2 특징정보를 생성시켜 상기 비교부에 제공하는 것을 특징으로 하는 2차 ICA를 이용한 얼굴검색장치.
16. 제14항에 있어서, 상기 특징정보 생성부는

    상기 DB를 구축하는데 사용되는 얼굴영상 정보 또는 상기 검색할 대상이 되는 얼굴영상정보를 상기 얼굴영상정보에 포함된 얼굴의 구성요소별로 분할하여 분할영상정보들을 생성시키는 영상분할부;

    상기 분할영상정보들에 PCA를 수행하여 상기 분할영상정보들에서 고주파 성분이 제거된 저대역 필터링 영상정보들를 생성시키는 저대역 필터링부;

    상기 분할영상정보들에서 그에 대응되는 상기 저대역 필터링 영상정보들를 감산하여 상기 분할영상정보에서 고주파 성분만이 남아 있는 잔여영상정보를 생성시키는 잔여 이미지 생성부; 및

    상기 잔여영상정보에 다시 ICA를 수행하여 상기 분할영상정보에 대응되는 제1특징정보를 생성시키고, 상기 제1특징정보들의 집합인 제2 특징정보를 발생시키는 ICA 계수행렬 계산부를 포함하는 것을 특징으로 하는 구성요소 기반 PCA/ICA를 이용한 얼굴검색장치.
17. 제1항 내지 제9항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.