KR101370514B1

KR101370514B1 - 얼굴 인식 방법 및 그 장치

Info

Publication number: KR101370514B1
Application number: KR1020120103519A
Authority: KR
Inventors: 노용만; 신욱진; 이승호; 민현석
Original assignee: 한국과학기술원
Priority date: 2012-05-24
Filing date: 2012-09-18
Publication date: 2014-03-06
Also published as: KR20130132221A

Abstract

본 발명의 얼굴 인식 방법은, 입력 얼굴 영상을 서로 다른 다수의 컬러 밴드 영상으로 분리하는 과정과, 분리된 상기 다수의 각 컬러 밴드 영상으로부터 특징 벡터를 각각 추출하는 과정과, 테스트 영상의 컬러 공간 변환을 통해 얻은 컬러 컴포넌트 영상들의 기준 특징 벡터들과 분리된 상기 각 컬러 밴드 영상의 특징 벡터들을 이용하여 상기 각 컬러 밴드 영상에 대한 잔여 값들을 각각 구하는 과정과, 구해진 상기 잔여 값들을 합병하여 재구성 영상을 생성하는 과정과, 생성된 상기 재구성 영상을 인식하는 과정을 포함할 수 있다.

Description

얼굴 인식 방법 및 그 장치{METHOD AND APPARATUS FOR RECOGNIZING FACE}

본 발명은 얼굴 인식 기법에 관한 것으로, 특히 컬러 희소 표현(sparse representation)을 이용한 개선된 얼굴인식 방법 및 그 장치에 관한 것이다. 본 발명에서는, 입력 얼굴 영상으로부터 분리한 다수의 컬러 밴드(채널) 영상에 각각 독립적으로 희소 표현(sparse representation)을 적용하며, 다수의 컬러 밴드 영상으로부터 구해진 상호 보완적인 잔여(residual) 값들은 스코어-레벨 융합(score-level fusion) 방법을 통해 합병함으로써, 얼굴인식에서의 개선된 분별능력을 실현한다.

지난 수십 년 간, 자동 얼굴 인식은 비디오 보안, 생체 인식, 얼굴 색인 등의 넓은 응용 가능성으로 인해 패턴인식 분야에서 많은 관심을 받아왔다. 얼굴 표현을 위한 적절한 특징정보 이외에도, 강인한 분류기를 설계하는 것은 얼굴인식에서 매우 중요한 역할을 한다.

특히, 얼굴 영상에 발생하는 다양한 왜곡 현상 아래에서도 강인한 얼굴 인식을 실현하기 위해, 희소 표현(sparse representation) 기술을 얼굴 인식에 이용하기 위한 연구가 이루어졌다. 기존의 연구에서, 라이트(Wright) 등은 강인한 얼굴 인식을 위한 희소 표현(sparse representation) 분류기를 제안하였다.

이러한 희소 표현 분류기를 이용한 얼굴 인식은 얼굴 영상이 심하게 가려지거나 잡음에 의해 훼손된 경우에도 강인하다는 것이 증명되었다. 희소 표현을 이용한 얼굴 인식을 더 개선하기 위해서 장(Yang) 등은 가버(Gabor) 특징정보 기반의 희소 표현 분류기(GSRC)를 제안하였다. 이러한 가버 폐쇄 사전(Gabor occlusion dictionary)의 도입을 통해서, 가버 특징정보의 사용은 희소 표현 기반의 얼굴 인식에서 계산의 복잡도와 얼굴 인식 성능 측면에서 모두 우수함을 보였다.

앞서 언급한 연구들은 희소 표현 기법이 얼굴 인식에서 유용하게 사용될 수 있다는 것을 보였지만, 이 방법들은 얼굴 영상으로부터 단지 명도 기반의 특징정보만을 추출하여 사용했다는 한계점을 갖는다.

한편, 얼굴 영상에서 컬러 정보가 얼굴 인식 성능을 크게 향상시킬 수 있다는 연구 결과가 보고되어 있다. 특히, 컬러 정보는 컬러 영상이 조명 변화나 포즈 변화(촬영된 얼굴 각도 변화)가 심한 환경에서 촬영되었을 때 더욱 중요한 역할을 한다고 알려져 있다.

이러한 연구들에 기반하여 생각해 볼 때 컬러 정보를 희소 표현에서 효과적으로 사용한다면 얼굴 인식 성능을 더욱 개선시킬 수 있을 것으로 기대할 수 있으나, 이러한 연구는 아직 이루어지지 않았다.

대한민국 공개특허 제2012-0050660호(공개일 : 2012. 05. 21.)

따라서, 본 발명은 주어진 컬러 영상으로부터 컬러 공간 변환을 통해 서로 다른 컬러 밴드 영상들을 얻는다. 각각의 컬러 밴드 영상에 대해서, 그 컬러 밴드의 훈련 영상(테스트 영상)들을 이용하여 사전(dictionary)를 구성, 훈련 영상 DB를 구축하고, 각 컬러 밴드 영상마다 관련 컬러 밴드 영상의 사전을 이용하여 독립적으로 희소 솔루션(sparse solution) 벡터와 그에 대응하는 잔여 에러(residual error) 값(또는 잔여 값)을 계산하며, 구해진 잔여 값들을 합병함으로써, 효율적인 얼굴 인식을 실현할 수 있다.

본 발명은, 일 관점에 따라, 입력 얼굴 영상을 서로 다른 다수의 컬러 밴드 영상으로 분리하는 과정과, 분리된 상기 다수의 각 컬러 밴드 영상으로부터 특징 벡터를 각각 추출하는 과정과, 테스트 영상의 컬러 공간 변환을 통해 얻은 컬러 컴포넌트 영상들의 기준 특징 벡터들과 분리된 상기 각 컬러 밴드 영상의 특징 벡터들을 이용하여 상기 각 컬러 밴드 영상에 대한 잔여(residual) 값들을 각각 구하는 과정과, 구해진 상기 잔여 값들을 합병하여 재구성 영상을 생성하는 과정과, 생성된 상기 재구성 영상을 인식하는 과정을 포함하는 얼굴 인식 방법을 제공한다.

본 발명은, 다른 관점에 따라, 입력 얼굴 영상을 서로 다른 다수의 컬러 밴드 영상으로 분리하는 컬러 공간 변환 블록과, 분리된 각 컬러 밴드 영상으로부터 특징 벡터를 각각 추출하는 특징 추출 블록과, 테스트 영상에 대해 컬러 공간 변환을 수행하여 획득한 컬러 컴포넌트 영상들의 기준 특징 벡터들을 저장하는 테스트 영상 DB와, 상기 테스트 영상 DB로부터 인출한 상기 컬러 컴포넌트 영상들의 기준 특징 벡터들과 분리된 상기 각 컬러 밴드 영상의 특징 벡터들을 이용하여 상기 각 컬러 밴드 영상에 대한 잔여(residual) 값들을 각각 구하는 잔여 값 산출 블록과, 구해진 상기 잔여 값들을 합병하여 재구성 영상을 생성하는 잔여 값 합병 블록과, 생성된 상기 재구성 영상을 인식하는 영상 인식 블록을 포함하는 얼굴 인식 장치를 제공한다.

본 발명의 상기 특징 추출 블록은, 상기 입력 얼굴 영상으로부터 분리한 R 컬러 밴드 영상으로부터 R 특징 벡터를 추출하는 제 1 특징 추출부와, 상기 입력 얼굴 영상으로부터 분리한 G 컬러 밴드 영상으로부터 G 특징 벡터를 추출하는 제 2 특징 추출부와, 상기 입력 얼굴 영상으로부터 분리한 B 컬러 밴드 영상으로부터 B 특징 벡터를 추출하는 제 3 특징 추출부를 포함할 수 있다.

본 발명의 상기 잔여 값 산출 블록은, 상기 테스트 영상 DB로부터 인출한 R 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 R 특징 벡터를 이용하여 상기 R 컬러 밴드 영상에 대한 잔여 값을 구하는 제 1 잔여 값 산출부와, 상기 테스트 영상 DB로부터 인출한 G 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 G 특징 벡터를 이용하여 상기 G 컬러 밴드 영상에 대한 잔여 값을 구하는 제 2 잔여 값 산출부와, 상기 테스트 영상 DB로부터 인출한 B 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 B 특징 벡터를 이용하여 상기 B 컬러 밴드 영상에 대한 잔여 값을 구하는 제 3 잔여 값 산출부를 포함할 수 있다.

본 발명의 상기 특징 추출 블록은, 상기 입력 얼굴 영상으로부터 분리한 H 컬러 밴드 영상으로부터 H 특징 벡터를 추출하는 제 1 특징 추출부와, 상기 입력 얼굴 영상으로부터 분리한 S 컬러 밴드 영상으로부터 S 특징 벡터를 추출하는 제 2 특징 추출부와, 상기 입력 얼굴 영상으로부터 분리한 V 컬러 밴드 영상으로부터 V 특징 벡터를 추출하는 제 3 특징 추출부를 포함할 수 있다.

본 발명의 상기 잔여 값 산출 블록은, 상기 테스트 영상 DB로부터 인출한 H 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 H 특징 벡터를 이용하여 상기 H 컬러 밴드 영상에 대한 잔여 값을 구하는 제 1 잔여 값 산출부와, 상기 테스트 영상 DB로부터 인출한 S 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 S 특징 벡터를 이용하여 상기 S 컬러 밴드 영상에 대한 잔여 값을 구하는 제 2 잔여 값 산출부와, 상기 테스트 영상 DB로부터 인출한 V 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 V 특징 벡터를 이용하여 상기 V 컬러 밴드 영상에 대한 잔여 값을 구하는 제 3 잔여 값 산출부를 포함할 수 있다.

본 발명의 상기 특징 추출 블록은, 상기 입력 얼굴 영상으로부터 분리한 Y 컬러 밴드 영상으로부터 Y 특징 벡터를 추출하는 제 1 특징 추출부와, 상기 입력 얼굴 영상으로부터 분리한 I 컬러 밴드 영상으로부터 I 특징 벡터를 추출하는 제 2 특징 추출부와, 상기 입력 얼굴 영상으로부터 분해한 Q 컬러 밴드 영상으로부터 Q 특징 벡터를 추출하는 제 3 특징 추출부를 포함할 수 있다.

본 발명의 상기 잔여 값 산출 블록은, 상기 테스트 영상 DB로부터 인출한 Y 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Y 특징 벡터를 이용하여 상기 Y 컬러 밴드 영상에 대한 잔여 값을 구하는 제 1 잔여 값 산출부와, 상기 테스트 영상 DB로부터 인출한 I 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 I 특징 벡터를 이용하여 상기 I 컬러 밴드 영상에 대한 잔여 값을 구하는 제 2 잔여 값 산출부와, 상기 테스트 영상 DB로부터 인출한 Q 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Q 특징 벡터를 이용하여 상기 Q 컬러 밴드 영상에 대한 잔여 값을 구하는 제 3 잔여 값 산출부를 포함할 수 있다.

본 발명의 상기 특징 추출 블록은, 상기 입력 얼굴 영상으로부터 분해한 Y 컬러 밴드 영상으로부터 Y 특징 벡터를 추출하는 제 1 특징 추출부와, 상기 입력 얼굴 영상으로부터 분해한 Q 컬러 밴드 영상으로부터 Q 특징 벡터를 추출하는 제 2 특징 추출부와, 상기 입력 얼굴 영상으로부터 분해한 Cr 컬러 밴드 영상으로부터 Cr 특징 벡터를 추출하는 제 3 특징 추출부를 포함할 수 있다.

본 발명의 상기 잔여 값 산출 블록은, 상기 테스트 영상 DB로부터 인출한 Y 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Y 특징 벡터를 이용하여 상기 Y 컬러 밴드 영상에 대한 잔여 값을 구하는 제 1 잔여 값 산출부와, 상기 테스트 영상 DB로부터 인출한 Q 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Q 특징 벡터를 이용하여 상기 Q 컬러 밴드 영상에 대한 잔여 값을 구하는 제 2 잔여 값 산출부와, 상기 테스트 영상 DB로부터 인출한 Cr 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Cr 특징 벡터를 이용하여 상기 Cr 컬러 밴드 영상에 대한 잔여 값을 구하는 제 3 잔여 값 산출부를 포함할 수 있다.

본 발명은 컬러 희소 표현을 이용한 개선된 얼굴 인식 방법으로서, 얼굴 영상으로부터 추출된 다수의 컬러 밴드(채널) 영상에 각각 독립적으로 희소 표현을 적용하고, 다수의 컬러 밴드 영상으로부터 구해진 상호 보완적인 잔여(residual) 값들은 합병(융합)함으로써, 얼굴 인식에서의 개선된 분별 능력을 제공할 수 있으며, 이를 통해 명도 기반의 희소 표현을 이용한 종래 방법에 비해서 어려운 얼굴 인식 환경 아래에서 높은 성능의 얼굴 인식을 실현할 수 있다.

도 1은 본 발명의 실시 예에 따른 얼굴 인식 장치의 상세 블록 구성도,
도 2는 테스트 영상으로부터 얻은 컬러 컴포넌트 영상들의 특징 벡터들을 클래스별로 나열한 구성을 보여주는 사전 예시도,
도 3은 본 발명의 실시 예에 따른 얼굴 인식 개념도,
도 4는 본 발명의 실시 예에 따른 얼굴 인식 예시도,
도 5는 본 발명의 실시 예에 따른 얼굴 인식 성능 그래프,
도 6은 본 발명의 실시 예에 따른 얼굴 인식 성능 그래프.

먼저, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어지는 실시 예들을 참조하면 명확해질 것이다. 여기에서, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 발명의 범주를 명확하게 이해할 수 있도록 하기 위해 예시적으로 제공되는 것이므로, 본 발명의 기술적 범위는 청구항들에 의해 정의되어야 할 것이다.

아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 얼굴 인식 장치의 상세 블록 구성도로서, 컬러 공간 변환 블록(102), 제 1 내지 제 3 특징 추출부(104a - 104c), 제 1 내지 제 3 사전(106a - 106c), 제 1 내지 제 3 잔여 값 산출부(108a - 108c), 잔여 값 합별 블록(110) 및 영상 인식 블록(112) 등을 포함할 수 있다. 여기에서, 제 1 내지 제 3 특징 추출부(104a - 104c)는 특징 추출 블록으로, 제 1 내지 제 3 사전(106a - 106c)은 테스트 영상 DB로, 제 1 내지 제 3 잔여 값 산출부(108a - 108c)는 잔여 값 산출 블록으로 각각 정의될 수 있다.

도 1을 참조하면, 컬러 공간 변환 블록(102)은 입력 얼굴 영상을 서로 다른 다수의 컬러 밴드(채널) 영상(또는 다수 채널의 컬러 컴포넌트 영상)으로 분리(분해), 예컨대 RGB 컬러 밴드 영상으로 분리하거나, HSV 컬러 밴드 영상으로 분리하거나, YIQ 컬러 밴드 영상으로 분리하거나 혹은 YQCr 컬러 밴드 영상으로 분리하는 등의 기능을 제공할 수 있다.

여기에서, 제 1 특징 추출부(104a)로 전달되는 분리된 제 1 컬러 밴드 영상은 R 컬러 밴드 영상, H 컬러 밴드 영상, Y 컬러 밴드 영상, 다른 Y 컬러 밴드 영상 중 어느 하나일 수 있고, 제 2 특징 추출부(104b)로 전달되는 분리된 제 2 컬러 밴드 영상은 G 컬러 밴드 영상, S 컬러 밴드 영상, I 컬러 밴드 영상, Q 컬러 밴드 영상 중 어느 하나일 수 있으며, 제 3 특징 추출부(104c)로 전달되는 분리된 제 3 컬러 밴드 영상은 B 컬러 밴드 영상, V 컬러 밴드 영상, Q 컬러 밴드 영상, Cr 컬러 밴드 영상 중 어느 하나일 수 있다.

즉, 제 1 특징 추출부(104a)는 입력 얼굴 영상으로부터 분리된 제 1 컬러 밴드 영상으로부터 제 1 특징 벡터(R, H, Y, 다른 Y 중 어느 하나의 특징 벡터)를 추출하고, 제 2 특징 추출부(104b)는 입력 얼굴 영상으로부터 분리된 제 2 컬러 밴드 영상으로부터 제 2 특징 벡터(G, S, I, Q 중 어느 하나의 특징 벡터)를 추출하며, 제 3 특징 추출부(104c)는 입력 얼굴 영상으로부터 분리된 제 3 컬러 밴드 영상으로부터 제 3 특징 벡터(B, V, Q, Cr 중 어느 하나의 특징 벡터)를 추출하는 등의 기능을 제공할 수 있다.

잘 알려진 바와 같이, 얼굴 인식에서 효과적이라고 알려진 특징(feature)에는 여러 종류가 있으며, 특징(feature)의 종류에 따라 그 구체적인 메커니즘이 다른데, 본 발명은, 일예로서 다운샘플 이미지(downsampled image)와 랜덤페이스(random face)라는 두 종류의 특징을 이용할 수 있다. 여기에서, 다운샘플 이미지는 입력 영상을 일정 크기로 다운샘플링(downsampling)하여 칼럼 벡터(column vector)로 벡터라이징하여 특징 벡터(feature vector)로 사용하고, 랜덤페이스는 특징의 평균이 0이고 분산이 1인 랜덤변수들을 원소로 갖는 투영 매트릭스(projection matrix)를 만들어 이 매트릭스에 얼굴 영상을 투영시킨 벡터를 특징 벡터로 사용한다.

다음에, 제 1 잔여 값 산출부(108a)는 제 1 특징 추출부(104a)로부터 전달되는 제 1 특징 벡터(R, H, Y, 다른 Y 중 어느 하나의 특징 벡터)와 제 1 사전(106a)으로부터 인출한 대응하는 컬러 컴포넌트 영상들의 기준 특징 벡터를 이용하여 해당 컬러 밴드 영상에 대한 잔여(residual) 값들을 각각 구하는 기능을 제공할 수 있다. 즉, 제 1 잔여 값 산출부(108a)는 제 1 특징 벡터가 R 특징 벡터일 때 그에 상응하는 R 컬러 밴드 영상에 대한 잔여 값을, 제 1 특징 벡터가 H 특징 벡터일 때 그에 상응하는 H 컬러 밴드 영상에 대한 잔여 값을, 제 1 특징 벡터가 Y 특징 벡터일 때 그에 상응하는 Y 컬러 밴드 영상에 대한 잔여 값을, 제 1 특징 벡터가 다른 Y 특징 벡터일 때 그에 상응하는 다른 Y 컬러 밴드 영상에 대한 잔여 값을 각각 구하게 될 것이다.

또한, 제 2 잔여 값 산출부(108b)는 제 2 특징 추출부(104b)로부터 전달되는 제 2 특징 벡터(G, S, I, Q 중 어느 하나의 특징 벡터)와 제 2 사전(106b)으로부터 인출한 대응하는 컬러 컴포넌트 영상들의 기준 특징 벡터를 이용하여 해당 컬러 밴드 영상에 대한 잔여(residual) 값들을 각각 구하는 기능을 제공할 수 있다. 즉, 제 2 잔여 값 산출부(108b)는 제 2 특징 벡터가 G 특징 벡터일 때 그에 상응하는 G 컬러 밴드 영상에 대한 잔여 값을, 제 2 특징 벡터가 S 특징 벡터일 때 그에 상응하는 S 컬러 밴드 영상에 대한 잔여 값을, 제 2 특징 벡터가 I 특징 벡터일 때 그에 상응하는 I 컬러 밴드 영상에 대한 잔여 값을, 제 2 특징 벡터가 Q 특징 벡터일 때 그에 상응하는 Q 컬러 밴드 영상에 대한 잔여 값을 각각 구하게 될 것이다.

마찬가지로, 제 3 잔여 값 산출부(108c)는 제 3 특징 추출부(104c)로부터 전달되는 제 3 특징 벡터(B, V, Q, Cr 중 어느 하나의 특징 벡터)와 제 3 사전(106c)으로부터 인출한 대응하는 컬러 컴포넌트 영상들의 기준 특징 벡터를 이용하여 해당 컬러 밴드 영상에 대한 잔여(residual) 값들을 각각 구하는 기능을 제공할 수 있다. 즉, 제 3 잔여 값 산출부(108c)는 제 3 특징 벡터가 B 특징 벡터일 때 그에 상응하는 B 컬러 밴드 영상에 대한 잔여 값을, 제 3 특징 벡터가 V 특징 벡터일 때 그에 상응하는 V 컬러 밴드 영상에 대한 잔여 값을, 제 3 특징 벡터가 Q 특징 벡터일 때 그에 상응하는 Q 컬러 밴드 영상에 대한 잔여 값을, 제 3 특징 벡터가 Cr 특징 벡터일 때 그에 상응하는 Cr 컬러 밴드 영상에 대한 잔여 값을 각각 구하게 될 것이다.

즉, Computation of residual using sparse solution에 대한 내용은 본문에 자세히 설명되어 있다. 요약하면, DB 영상들로부터 구성한 dictionary A와 test 영상으로부터 얻은 feature vector y를 이용해 sparse solution x를 구한다. x를 구하는 방법은 y=Ax를 만족하는 모든 해 집합 x 중에서 가장 coefficient들이 sparse하게 분포하는 해를 찾는 것인데, 이는 해 집합 x 안에서 가장 l-1 norm이 작은 해를 찾음으로써 이루어진다.

찾아진 해를

이라고 할 때,

의 2-norm을 i번째 클래스에 대한 잔여(residual)라고 하며, 이 값이 작을수록 i번째 클래스에 해당하는 성분으로만 재구성(reconstruction)한 에러가 적은 것이므로 가장 작은 잔여를 갖는 클래스로 판별하는 것이 희소 표현을 이용한 인식 방법이다.

이를 위하여, 제 1 내지 제 3 사전(106a 내지 106c)으로 구성되는 테스트 영상 DB에는 테스트 영상에 대해 컬러 공간 변환을 수행하여 분리 획득한 다수 채널의 컬러 컴포넌트 영상들의 기준 특징 벡터들이 저장되어 있다.

즉, 각 사전들은 DB 영상들로부터 얻은 각각의 컬러 컴포넌트 영상들로 구성된다. 예컨대, 제 1 사전(dictionary A(Y))(106a)은 DB 영상들을 YIQ 공간으로 변환하여 얻은 Y 컬러 컴포넌트 영상들로 구성하는데, 테스트 영상으로부터 컬러 공간 변환을 하여 특징을 추출하는 과정을 제 1 특징 추출부(104a)에서와 동일하게 거친 후, 도 2에 일예로서 도시된 바와 같이, 각각의 특징 벡터들을 클래스별로 나열하여 구성할 수 있다.

보다 상세하게, 컬러 희소 표현(sparse representation) 기반의 얼굴 인식 방법은, 도 1에 도시된 바와 같이, 다수의 희소 코딩(sparse coding) 시스템으로 이루어질 수 있으며, 각각의 희소 코딩 시스템은 한 특정 컬러 밴드와 관련되어 있다.

예컨대, 주어진 RGB 얼굴 영상으로부터, 컬러 공간 변환을 통해 K개의 컬러 밴드 영상이 얻어졌다고 가정할 때, 훈련 얼굴 영상 세트로부터 얻은 이 컬러 밴드 영상들은 훈련 샘플로 이용할 수 있으며, 차원 감소의 목적으로 특징정보 추출 과정이 각 훈련 샘플에 적용된다. 이후, K개의 사전들이 K개의 컬러 밴드 영상 각각으로부터 구성되는데, 각 훈련 샘플들로부터 구한 특징정보 벡터들을 이용해 k번째 컬러 밴드의 사전은 아래 [수학식 1]과 같이 구성될 수 있다.

는 i번째 class(인물)들에 속한 샘플들로부터 구한 d차원 특징정보 벡터들로 이루어져 있다. 여기에서, N은 전체 훈련 얼굴 영상(샘플)들의 수를 나타내고, 특징정보 벡터들은 dictionary

를 구성하기 전에 각각 1의 길이를 갖도록 정규화되었다.

사전(Dictionary)의 구성이 컬러 밴드마다 각각 이루어지기 때문에, 사전의 세로 길이는 사용된 컬러의 수가 달라지더라도 변하지 않는다. 즉, 컬러의 수를 늘려도 사전이 커지지 않고 세로 길이가 d로 고정된다. 이 사실은 본 발명에서 사용하는 사전이 많은 수의 컬러 밴드를 사용되더라도 확정 사전(underdetermined dictionary)이 됨을 보장할 수 있다. Ax=y의 선형 방정식의 해 x를 구할 때, 행렬 A의 세로 길이가 가로길이보다 작을 경우 등식을 만족하는 해 x가 여러 개 존재하게 되며, 이때 희소 표현이 가능하게 된다.

따라서, 희소 표현 방법을 이용하려면 사전 A의 세로 길이보다 가로 길이가 더 크도록 구성해야 하며, 이는 제한된 가로 길이(사용된 훈련 샘플의 수)에도 불구하고 여러 컬러 밴드를 사용할 수 있다는 장점을 의미한다.

사전

를 이용하여, 입력 얼굴 영상으로부터 구한 특징정보 벡터

는 아래의 [수학식 2]와 같이 표현(근사화)될 수 있다.

상기한 수학식 2에서

는 k번째 컬러 밴드에서 구한 희소 솔루션(sparse solution) 벡터이다. 가능한 모든 솔루션 벡터 중에서 가장 희소(sparse)한 벡터를 선택하기 위해서, 본 발명은

-minimization 조건을 도입하였다.

-minimization을 통해 가장 희소한 솔루션 벡터는 아래의 [수학식 3]에 의해 구해진다.

상기한 수학식 3에서

는

-norm을 나타낸다. 가장 희소한 솔루션 벡터

가 구해지면, 이를 이용해 잔여(residual)

를 모든 클래스로부터 구하며, 이는 아래의 [수학식 4]를 통해 구해진다.

상기한 수학식 4에서

는 희소 솔루션 벡터에서 i번째 클래스의 계수만 제외하고 나머지 계수를 0으로 하여 출력하는 특성함수이다. [수학식 1]∼[수학식 4]를 이용하여, K개의 컬러 밴드로부터 각 클래스에 해당하는 잔여 값들을 모두 계산할 수 있다.

도 3에 도시된 바와 같이, 다수의 컬러 밴드 영상으로부터 얻어진 서로 다른 희소 솔루션 벡터는 서로 간에 상호보완적인 정보를 제공하여 더 신뢰도 있는 얼굴 인식을 가능하게 하는데, 얼굴 인식을 위한 상호 보완적인 효과를 이용하기 위해서, 각 컬러 밴드의 희소 표현을 통해 구한 잔여 값은 score-level fusion을 통해 합병된다. 합병된 잔여 값(재구성 영상)은 입력 얼굴 영상의 신원을 판정하는 데 사용될 수 있다.

이를 위하여, 잔여 값 합병 블록(110)은 제 1 내지 제 3 잔여 값 산출부(108a - 108c)로부터 각각 전달되는 구해진 잔여 값들을 합병(융합)하여 재구성 영상을 생성하는데, 이러한 잔여 값의 합병은, 예컨대 스코어-레벨 융합(score-level fusion) 방법을 통해 수행될 수 있다.

또한, 영상 인식 블록(112)은, 입력 얼굴 영상의 신원 판정을 위해, 잔여 값 합병 블록(110)으로부터 제공되는 재구성 영상을 인식하는 등의 기능을 제공할 수 있다.

도 3은 각 컬러 밴드(R, Q, Cr)로부터 구한 희소 솔루션 벡터들의 계수들의 분포를 나타낸다.

도 3에 도시된 바와 같이, 희소 솔루션 벡터에서 훈련 샘플 위치에 따른 계수들의 분포가 서로 다르다(희소 솔루션 벡터의 가로축의 인덱스(index)는 각각 대응하는 훈련 샘플들의 순서에 해당함). 이는 얼굴 인식에서 각 희소 솔루션들이 얼굴 인식에 있어서 서로 다른 분별 정보를 가지고 있다는 것을 의미한다.

도 3을 참조하면, 명도 기반의 정보와 관련이 되어있는 R 컬러 밴드의 희소 계수는 우리가 원하는 분포를 가지고 있지 않다. 가장 큰 계수에 해당하는 훈련 얼굴 영상의 신원이 입력 얼굴 영상의 신원과 일치하지 않기 때문이며, 이것은 얼굴영상에 존재하는 조명 조건이 변화하기 때문이다.

한편, 색차 정보에 해당하는 Q와 Cr 컬러 밴드에 대해서는, 가장 높은 계수의 위치에 해당하는 훈련 영상의 신원이 입력 영상의 신원과 일치하는 것을 확인할 수 있다. 두 얼굴 영상의 조명 조건이 상당히 다름에도 불구하고 올바른 신원을 찾을 수 있다는 사실로부터, 다수의 컬러 밴드로부터 구한 희소 솔루션들은 서로에게 상호 보충적인 영향을 주면서 고성능의 얼굴 인식을 위한 분별능력 향상에 도움을 준다는 결론을 내릴 수 있다.

즉, 각 컬러 밴드로부터 구한 다수의 잔여 값들을 스코어-레벨 융합 기술을 이용해 융합하여 희소 표현에서의 다수의 컬러 밴드의 상호 보충적인 효과를 활용하는데, 융합된 잔여 값을 얻기 위해서 총합규칙(sum rule)이 적용도리 수 있으며, 잔여 값의 융합은 아래의 [수학식 5]와 같이 표현될 수 있다.

상기한 수학식 5에서

는 가중치를 나타내는데, 본 발명은 간단하게 모든 컬러 밴드에 대해서 같은 가중치를 사용하였다. 또한, 잔여 값의 융합에 앞서, 지-스코어(z-score) 정규화를 적용해 모든 잔여 값이 0의 평균값과 1의 분산을 갖도록 하였다.

마지막으로 신원을 나타내는 라벨

는 모든 클래스 중에서 가장 작은 융합된 residual에 해당하는 클래스를 찾음으로써 결정할 수 있다.

[실험예]

본 발명의 발명자들은 본 발명의 유용성 검증(성능 평가)을 위하여, 방대한 비교 실험을 두 공식 데이터베이스(CMU Multi-PIE와 FERET)에 대해 수행하였으며, 실험 결과는 조명 변화와 포즈 변화가 심한 환경 아래에서도, 본 발명이 명도 정보에만 의존하던 종래의 희소 표현 방법에 비해서 명백히 우월한 성능을 보이는 것을 할 수 있었다.

먼저, 실험에 사용된 얼굴 영상들은 원본 영상으로부터 눈의 위치를 고려하여 수동으로 추출하였었으며, 44x44 픽셀의 크기로 조정하였다.

본 발명의 성능을 측정하기 위해서 RIQ, RQCr, YCbCr 컬러 조합이 이용되었으며, 사전의 세로 길이를 축소시키기 위해서, 축소된 영상의 픽셀 값과 랜덤페이스가 특징정보로서 사용되었다.

그리고, 랭크-온 식별율(rank-one identification rate)을 얼굴 인식 성능의 척도로 측정하였으며, 신뢰성 있는 실험 결과를 얻기 위하여, 20번의 독립적인 실험을 수행하였다. 따라서, 아래에 나타내는 모든 결과는 20번의 실험 결과를 평균한 결과이다.

본 발명은 조명변화에 강하다는 것을 보이기 위해서 CMU Multi-PIE 데이터베이스에 대해 실험을 수행하였으며, CMU Multi-PIE 데이터베이스로부터 129명의 인물에 속하는 3,733장의 얼굴 영상을 수집하여 실험하였다.

도 3의 (a)에 나타난 것처럼, Multi-PIE 데이터베이스의 얼굴 영상은 조명의 변화가 심하며, 이는 얼굴 인식을 어렵게 만드는 요인이다. 무작위 추출에 의해서, 훈련 영상으로는 1,896장, 테스트 영상으로는 1,387장의 얼굴 영상을 사용하였다. 본 발명은 9가지의 다른 차원의 특징정보 벡터를 이용하여 얼굴 인식 성능을 측정하였다. 36, 64, 100, 144, 196, 256, 324, 400, 그리고 484차원이 그것이며, 각각은 6, 8, 10, 12, 14, 16, 18, 20, 그리고 22의 제곱에 해당하는 수이다.

도 5는 컬러 희소 표현과 명도 기반 희소 표현의 얼굴인식 성능 비교를 나타낸다.

도 5를 참조하면, 본 발명의 컬러 얼굴 인식 방법은 몇 차원의 특징정보 벡터를 사용한 경우에도 명도 정보만 사용한 경우보다 훨씬 높은 성능을 보임을 분명하게 알 수 있다.

본 발명은 얼굴의 포즈 변화에도 강인한 것을 보이기 위해 Color FERET 데이터베이스에 대해서도 실험을 수행하였다. 총 69명의 인물에 속하는 987장의 얼굴 영상이 수집되었다. 얼굴 영상은 -45도에서 +45도까지의 얼굴 포즈 변화를 포함하며, 이는 도 3의 (b)에서 확인할 수 있다.

기타, 주목할 점은 얼굴 영상들은 중립의 표정과 조명 조건을 가지고 있다는 것이다. 얼굴 데이터 셋은 무작위로 훈련 셋과 테스트 셋으로 나누어졌다. 812장의 영상이 훈련용으로, 175장이 테스트용으로 사용하였으며, 그 실험 결과는 도 6에 도시된 바와 같다. 마찬가지로 명도 정보만 사용한 경우보다 컬러 정보를 사용한 경우에 모든 차원에서 높은 성능을 보인 것을 분명하게 확인할 수 있다. 성능 개선량은 약 15% 정도로 나타났으며, 이는 본 발명이 포즈 변화 아래에서도 효과가 있다는 것을 나타낸다.

또한, 본 발명의 발명자들은 다른 기존의 얼굴 인식 방법들과의 성능 비교를 위해서 부가적인 실험을 수행하였다.

즉, LBP, 가버 웨이브렛(Gabor wavelet), LDP, 컬러 LBP, 그리고 4원법 가버 웨이브렛(quaternion Gabor wavelet)을 이용한 얼굴 인식 방법과 비교를 하였으며, 비교를 위해 컬러 FERET 데이터베이스의 영상이 실험에 이용되었다. LBP, 컬러 LBP, 그리고 LDP를 이용한 실험에서는 얼굴 영상을 112x112 픽셀의 크기로 조정하여 사용하였다. LBP와 컬러 LBP에서는

연산자fmf 사용하였다.

가버 표현(Gabor representation)을 위해서는 가버 필터 뱅크(Gabor filter bank)의 구성을 위해 5가지의 스케일과 8가지의 방향을 고려하였다. 낮은 차원의 특징정보 추출을 위해서 RLDA가 사용되었다. 또한, 컬러 정보를 사용한 얼굴 인식 방법에서, RQCr 컬러 조합을 사용하였으며, 아래의 표 1에 비교실험의 결과가 나타나 있다.

[표 1]

본 발명의 발명자들은 컬러 희소 표현을 이용한 실험 결과가 다른 다섯 가지 얼굴 인식 방법에 비해 높은 성능을 보이는 것을 분명하게 확인할 수 있었다. 특히, 본 발명에서는 LBP, Gabor, LDP, 컬러 LBP, 그리고 4원번 가버(quaternion Gabor)의 다섯 가지 방법에 대해 각각 11.29%, 17.75%, 15.94%, 5.71%, 그리고 9.66% 더 높은 성능을 컬러 희소 표현 방법을 통해 얻을 수 있음을 알 수 있었다.

한편, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리 등에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 적어도 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 등이 가능함을 쉽게 알 수 있을 것이다. 즉, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것으로서, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 후술되는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

102 : 컬러 공간 변환 블록
104a - 104c : 특징 추출부
106a - 106c : 사전
108a - 108c : 잔여 값 산출부
110 : 잔여 값 합병 블록
112 : 영상 인식 블록

Claims

입력 얼굴 영상을 서로 다른 다수의 컬러 밴드 영상으로 분리하는 과정과,
분리된 상기 다수의 각 컬러 밴드 영상으로부터 특징 벡터를 각각 추출하는 과정과,
테스트 영상 컬러 공간 변환을 통해 얻은 컬러 컴포넌트 영상들의 기준 특징 벡터들과 분리된 상기 각 컬러 밴드 영상의 특징 벡터들을 이용하여 상기 각 컬러 밴드 영상에 대한 잔여(residual) 값들을 각각 구하는 과정과,
구해진 상기 잔여 값들을 합병하여 재구성 영상을 생성하는 과정과,
생성된 상기 재구성 영상을 인식하는 과정
을 포함하는 얼굴 인식 방법.
제 1 항에 있어서,
상기 다수의 컬러 밴드 영상은,
RGB 컬러 밴드 영상, HSV 컬러 밴드 영상, YIQ 컬러 밴드 영상, YQCr 컬러 밴드 영상 중 어느 하나인
얼굴 인식 방법.
제 1 항에 있어서,
상기 잔여 값들은,
희소 표현(sparse representation) 적용을 통해 각각 구해지는
얼굴 인식 방법.
제 1 항에 있어서,
상기 합병은,
스코어-레벨 융합(score-level fusion) 방법을 통해 수행되는
얼굴 인식 방법.
입력 얼굴 영상을 서로 다른 다수의 컬러 밴드 영상으로 분리하는 컬러 공간 변환 블록과,
분리된 각 컬러 밴드 영상으로부터 특징 벡터를 각각 추출하는 특징 추출 블록과,
테스트 영상에 대해 컬러 공간 변환을 수행하여 획득한 컬러 컴포넌트 영상들의 기준 특징 벡터들을 저장하는 테스트 영상 DB와,
상기 테스트 영상 DB로부터 인출한 상기 컬러 컴포넌트 영상들의 기준 특징 벡터들과 분리된 상기 각 컬러 밴드 영상의 특징 벡터들을 이용하여 상기 각 컬러 밴드 영상에 대한 잔여(residual) 값들을 각각 구하는 잔여 값 산출 블록과,
구해진 상기 잔여 값들을 합병하여 재구성 영상을 생성하는 잔여 값 합병 블록과,
생성된 상기 재구성 영상을 인식하는 영상 인식 블록
을 포함하는 얼굴 인식 장치.
제 5 항에 있어서,
상기 특징 추출 블록은,
상기 입력 얼굴 영상으로부터 분리한 R 컬러 밴드 영상으로부터 R 특징 벡터를 추출하는 제 1 특징 추출부와,
상기 입력 얼굴 영상으로부터 분리한 G 컬러 밴드 영상으로부터 G 특징 벡터를 추출하는 제 2 특징 추출부와,
상기 입력 얼굴 영상으로부터 분리한 B 컬러 밴드 영상으로부터 B 특징 벡터를 추출하는 제 3 특징 추출부
를 포함하는 얼굴 인식 장치.
제 6 항에 있어서,
상기 잔여 값 산출 블록은,
상기 테스트 영상 DB로부터 인출한 R 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 R 특징 벡터를 이용하여 상기 R 컬러 밴드 영상에 대한 잔여 값을 구하는 제 1 잔여 값 산출부와,
상기 테스트 영상 DB로부터 인출한 G 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 G 특징 벡터를 이용하여 상기 G 컬러 밴드 영상에 대한 잔여 값을 구하는 제 2 잔여 값 산출부와,
상기 테스트 영상 DB로부터 인출한 B 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 B 특징 벡터를 이용하여 상기 B 컬러 밴드 영상에 대한 잔여 값을 구하는 제 3 잔여 값 산출부
를 포함하는 얼굴 인식 장치.
제 5 항에 있어서,
상기 특징 추출 블록은,
상기 입력 얼굴 영상으로부터 분리한 H 컬러 밴드 영상으로부터 H 특징 벡터를 추출하는 제 1 특징 추출부와,
상기 입력 얼굴 영상으로부터 분리한 S 컬러 밴드 영상으로부터 S 특징 벡터를 추출하는 제 2 특징 추출부와,
상기 입력 얼굴 영상으로부터 분리한 V 컬러 밴드 영상으로부터 V 특징 벡터를 추출하는 제 3 특징 추출부
를 포함하는 얼굴 인식 장치.
제 8 항에 있어서,
상기 잔여 값 산출 블록은,
상기 테스트 영상 DB로부터 인출한 H 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 H 특징 벡터를 이용하여 상기 H 컬러 밴드 영상에 대한 잔여 값을 구하는 제 1 잔여 값 산출부와,
상기 테스트 영상 DB로부터 인출한 S 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 S 특징 벡터를 이용하여 상기 S 컬러 밴드 영상에 대한 잔여 값을 구하는 제 2 잔여 값 산출부와,
상기 테스트 영상 DB로부터 인출한 V 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 V 특징 벡터를 이용하여 상기 V 컬러 밴드 영상에 대한 잔여 값을 구하는 제 3 잔여 값 산출부
를 포함하는 얼굴 인식 장치.
제 5 항에 있어서,
상기 특징 추출 블록은,
상기 입력 얼굴 영상으로부터 분리한 Y 컬러 밴드 영상으로부터 Y 특징 벡터를 추출하는 제 1 특징 추출부와,
상기 입력 얼굴 영상으로부터 분리한 I 컬러 밴드 영상으로부터 I 특징 벡터를 추출하는 제 2 특징 추출부와,
상기 입력 얼굴 영상으로부터 분해한 Q 컬러 밴드 영상으로부터 Q 특징 벡터를 추출하는 제 3 특징 추출부
를 포함하는 얼굴 인식 장치.
제 10 항에 있어서,
상기 잔여 값 산출 블록은,
상기 테스트 영상 DB로부터 인출한 Y 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Y 특징 벡터를 이용하여 상기 Y 컬러 밴드 영상에 대한 잔여 값을 구하는 제 1 잔여 값 산출부와,
상기 테스트 영상 DB로부터 인출한 I 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 I 특징 벡터를 이용하여 상기 I 컬러 밴드 영상에 대한 잔여 값을 구하는 제 2 잔여 값 산출부와,
상기 테스트 영상 DB로부터 인출한 Q 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Q 특징 벡터를 이용하여 상기 Q 컬러 밴드 영상에 대한 잔여 값을 구하는 제 3 잔여 값 산출부
를 포함하는 얼굴 인식 장치.
제 5 항에 있어서,
상기 특징 추출 블록은,
상기 입력 얼굴 영상으로부터 분해한 Y 컬러 밴드 영상으로부터 Y 특징 벡터를 추출하는 제 1 특징 추출부와,
상기 입력 얼굴 영상으로부터 분해한 Q 컬러 밴드 영상으로부터 Q 특징 벡터를 추출하는 제 2 특징 추출부와,
상기 입력 얼굴 영상으로부터 분해한 Cr 컬러 밴드 영상으로부터 Cr 특징 벡터를 추출하는 제 3 특징 추출부
를 포함하는 얼굴 인식 장치.
제 12 항에 있어서,
상기 잔여 값 산출 블록은,
상기 테스트 영상 DB로부터 인출한 Y 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Y 특징 벡터를 이용하여 상기 Y 컬러 밴드 영상에 대한 잔여 값을 구하는 제 1 잔여 값 산출부와,
상기 테스트 영상 DB로부터 인출한 Q 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Q 특징 벡터를 이용하여 상기 Q 컬러 밴드 영상에 대한 잔여 값을 구하는 제 2 잔여 값 산출부와,
상기 테스트 영상 DB로부터 인출한 Cr 컬러 컴포넌트 영상들의 기준 특징 벡터와 추출된 상기 Cr 특징 벡터를 이용하여 상기 Cr 컬러 밴드 영상에 대한 잔여 값을 구하는 제 3 잔여 값 산출부
를 포함하는 얼굴 인식 장치.