KR100745981B1

KR100745981B1 - 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치

Info

Publication number: KR100745981B1
Application number: KR1020060004144A
Authority: KR
Inventors: 박규태; 이종하; 기석철; 황원준
Original assignee: 삼성전자주식회사
Priority date: 2006-01-13
Filing date: 2006-01-13
Publication date: 2007-08-06
Also published as: US20070172099A1; KR20070075644A

Abstract

본 발명은 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치에 관한 것이다.

본 발명의 실시예에 따른 얼굴 인식 장치는 복수의 특징 분석 기법을 독립적으로 사용하여 얼굴 영상에 대한 복수의 특징을 분석하고, 상기 복수의 특징을 기준영상으로부터 얻어진 특징들과 비교하여 복수의 유사도를 제공하는 다중 분석부, 상기 복수의 유사도를 합성하는 합성부, 및 상기 합성된 유사도를 사용하여 상기 얼굴 영상을 분류하는 판별부를 포함한다.

얼굴 인식, 합성, 유사도

Description

보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치{Method and apparatus scalable face recognition based on complementary features}

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치를 나타낸 블록도이다.

도 2는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 영상 입력부를 나타낸 블록도이다.

도 3은 본 발명의 일 실시예에 따른 얼굴 인식 장치의 정규화부를 나타낸 블록도이다.

도 4는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 다중 분석부를 나타낸 블록도이다.

도 5는 본 발명의 일 실시예에 따른 분류기를 나타낸 블록도이다.

도 6은 도 5의 DFT 기반 선형판별분석부를 나타낸 블록도이다.

도 7은 본 발명의 다른 실시예에 따른 분류기를 나타낸 블록도이다.

도 8a 및 도 8b는 본 발명의 일 실시예에 따른 가버 필터 집합을 나타낸 도면이다.

도 9는 도 7의 분류기의 선형판별분석부와 유사도 계산부를 나타낸 블록도이다.

도 10은 본 발명의 일 실시예에 따른 유사도 합성 방식을 설명하기 위한 도 면이다.

도 11은 본 발명의 일 실시예에 따른 가버 필터 선별을 위한 실험 결과를 나타낸 도면이다.

도 12는 기본적인 LBP 연산자의 예를 도시한 것이다.

도 13은 (P,R) 표기법을 사용한 예를 도시한 것이다.

도 14는 9개의 균일(uniform) 회전 불변 이진 패턴들을 도시한 것이다.

도 15는 본 발명의 또 다른 실시예에 따른 분류기를 나타낸 블록도이다.

도 16은 도 15의 기저벡터 생성부를 나타낸 블록도이다.

도 17은 본 발명의 일 실시예에 따른 얼굴 인식 방법을 나타낸 흐름도이다.

<도면의 주요 부분에 관한 부호의 설명>

110 : 영상 입력부 120 : 얼굴 영상 추출부

130 : 다중 분석부 140 : 합성부

150 : 판별부

본 발명은 얼굴 인식 방법 및 장치에 관한 것으로서, 더욱 상세하게는 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치에 관한 것이다.

정보화 사회가 발달함에 따라 사람을 식별하기 위한 신분 확인 기술이 중요해지고 있으며, 컴퓨터를 이용한 개인의 정보 보호 및 신분 확인을 위해 인체 특징 을 이용하는 생체 인식 기술이 많이 연구되고 있다. 생체 인식 기술 중에서도 얼굴 인식 기술은, 지문 인식, 홍채 인식 등 사용자의 특별한 동작이나 행위를 요구하는 인식 기술과 달리, 비접촉식으로 사용자의 신분을 확인할 수 있는 장점 때문에 편리하고 경쟁력 있는 생체 인식 기술로 평가 받고 있다. 얼굴 인식 기술은 멀티미디어 데이터 베이스 검색 핵심 기술 중의 하나로 얼굴 정보를 이용한 동영상의 요약, 신분 증명, HCI(Human Computer Interface) 이미지 검색, 보안, 감시시스템 등 다양한 응용 분야에서 널리 이용되고 있다.

그러나 얼굴 인식은 동일성(identity), 나이, 인종, 표정, 장신구 등의 내적 환경 변화나, 포즈(pose), 외부 조명, 이미지 프로세스(image process) 등의 외적 환경 변화에 따라서 그 인식 결과가 민감하게 달라지는 특성이 있다. 즉, 종래와 같이 얼굴 인식을 위하여 어느 한가지 종류의 특징 분석 기법을 사용하게 되면, 환경 변화에 따라서 인식 성능에 기복이 발생하게 된다. 따라서 환경 변화에 강인한 얼굴 인식 기술이 요구된다.

본 발명은 복수의 특징 분석 기법으로 얼굴 영상을 분석하고, 분석 결과에 따른 유사도를 합성함으로써, 얼굴 인식 성능을 향상시키는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 얼굴 인식 방법은 복수의 특징 분석 기법을 독립적으로 사용하여 얼굴 영상에 대한 복수의 특징을 분석하고, 상기 복수의 특징을 기준영상으로부터 얻어진 특징들과 비교하여 복수의 유사도를 제공하는 단계, 상기 복수의 유사도를 합성하는 단계, 및 상기 합성된 유사도를 사용하여 상기 얼굴 영상을 분류하는 단계를 포함한다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 얼굴 인식 장치는 복수의 특징 분석 기법을 독립적으로 사용하여 얼굴 영상에 대한 복수의 특징을 분석하고, 상기 복수의 특징을 기준영상으로부터 얻어진 특징들과 비교하여 복수의 유사도를 제공하는 다중 분석부, 상기 복수의 유사도를 합성하는 합성부, 및 상기 합성된 유사도를 사용하여 상기 얼굴 영상을 분류하는 판별부를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하 기로 한다.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치를 나타낸 블록도이다. 도시된 얼굴 인식 장치(100)는 영상 입력부(110), 얼굴 추출부(120), 다중 분석부(130), 유사도 합성부(140), 및 판별부(150)를 포함한다.

영상 입력부(110)는 얼굴 영상을 포함하는 입력 영상을 수신하여 화소 값으로 변환하고 변환된 데이터를 정규화부(120)로 제공한다. 이를 위하여 영상 입력부(110)는 도 2에서 도시하는 바와 같이, 입력 영상을 투과시키는 렌즈부(112), 투과된 입력 영상에 따른 광신호를 전기적 신호(촬상 화상 신호)로 변환/출력시키는 광센서부(114), 및 변환된 전기적 신호를 디지털 신호로 변환하는 A/D 변환부(116)를 포함할 수 있다. 여기서, 광센서부(114)는 카메라가 가지는 노출, 감마, 이득조정, 화이트 밸런스, 컬러 매트릭스 등의 기능을 수행하는데, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등에 의하여 구현될 수 있다. 도 2에 도시한 영상 입력부(110)는 본 발명의 일 실시예일뿐이므로 본 발명이 이에 한정되는 것은 아니다. 본 발명의 다른 실시예에 따르면 영상 입력부(110)는 소정의 저장 매체로부터 화소 값으로 변환된 영상 데이터를 획득하고 이를 정규화부(120)에게 제공할 수도 있다.

정규화부(120)는 영상 입력부(110)로부터 제공된 입력 영상에서 얼굴 영역을 추출하고 이를 바탕으로 하여 얼굴 영상을 제공한다. 정규화부(120)는, 도 3에서 도시하는 바와 같이, 얼굴 감지부(122) 및 얼굴 영상 추출부(124)를 포함할 수 있다.

얼굴 감지부(122)는 화소 값으로 표현된 입력 영상으로부터 얼굴 내의 특정 구성 요소를 검출한다. 예컨대, 얼굴 감지부(122)는 입력 영상에서 두 눈을 검출함으로써, 이를 얼굴 영역 검출의 기준으로 삼을 수 있다.

얼굴 영상 추출부(124)는 얼굴 감지부(122)가 검출한 얼굴 내의 특정 구성 요소를 기준으로 하여 입력 영상에서 얼굴 영상을 추출한다. 예를 들어, 얼굴 감지부(122)가 입력 영상에서 두 눈의 위치를 검출하였다면, 얼굴 영상 추출부(124)는 두 눈 사이의 거리를 구할 수 있다. 두 눈 사이의 거리를 2D라고 할 때, 얼굴 영상 추출부(124)는 왼쪽 눈에서 왼쪽 방향으로의 거리와 오른 눈에서 오른쪽 방향으로의 거리를 각각 D로 하고, 두 눈의 연장선을 기준으로 하여 눈 위 방향으로의 거리와 눈 아래 방향으로의 거리를 각각 1.5*D와 3*D로 하는 얼굴 영상을 입력 영상에서 추출할 수 있다. 이에 의하여, 얼굴 영상 추출부(124)는 입력 영상의 배경이나 사람의 머리스타일의 변화로 인한 영향을 감소시키고, 눈썹 눈, 코, 입술 등 얼굴 전체의 특징을 잘 포함하는 얼굴 영상을 제공할 수 있다. 그러나 이는 예시적인 것이므로 본 발명은 이에 한정되지 않는다. 따라서 얼굴 영상 추출부(124)는 전술한 것과 다른 비율로 얼굴 영상을 추출하거나 다른 방식을 사용하여 입력 영상에서 얼굴 영상을 추출할 수도 있다.

도 3을 참조하여 설명한 정규화부(120)의 구성 및 작업 방식은 본 발명의 일 실시예일뿐이므로, 본 발명은 이에 한정되지 않는다. 따라서 정규화부(120)는 얼굴 영상의 특징을 분석하는데 필요한 다양한 전처리 작업을 수행할 수 있다. 예를 들어, 입력 영상들은 조명의 영향으로 상대적으로 휘도가 높거나 낮을 수 있고, 하 나의 입력 영상에서도 휘도가 높은 부분과 낮은 부분이 생길 수 있다. 이러한 조명의 영향은 얼굴 영상의 특징을 추출하는데 있어서 장애가 될 수 있다. 따라서 정규화부(120)는 조명의 영향을 감소시키기 위하여, 얼굴 영상에서 각 화소의 휘도 분포를 분석하여 히스토그램을 얻고, 빈도수가 높은 휘도를 중심으로 히스토그램을 평활화할 수도 있다.

다중 분석부(130)는 서로 다른 특징(feature) 분석 기법을 독립적으로 사용하여 입력된 얼굴 영상의 특징을 추출하고, 추출된 특징을 소정의 기준 얼굴 영상에서 추출한 특징과 비교하여 유사도를 계산한다. 여기서 기준 얼굴 영상(이하 기준영상이라 한다)은 테스트 대상으로써 입력된 얼굴 영상(이하 질의(query)영상이라 한다)의 비교 대상이 되는 영상이다.

다중 분석부(130)는 복수의 특징 분석 기법을 사용하여 얼굴 영상을 분석하기 때문에, 하나의 얼굴 영상에 대하여 복수의 유사도를 제공하게 된다. 바람직하게는, 다중 분석부(130)는 도 4에 도시한 바와 같이 서로 다른 특징 분석 기법을 사용하여 얼굴 영상의 특징을 분석 및 유사도를 산출하는 복수의 분류기(classifier; 134-1 내지 134-N; 이하 식별부호 134로 통칭하도록 한다)와 정규화부(120)가 제공한 얼굴 영상이 각 분류기(134)에 적합한 해상도, 이미지 사이즈, 또는 눈 사이 거리(eye distance; ED)를 갖도록 변환(resizing)하는 얼굴 영상 크기 변환부(132)를 포함할 수 있다. 즉, 각 분류기(134)가 특징 추출을 위하여 사용하는 얼굴 영상은 해상도, 이미지 사이즈, 및 눈 사이 거리(eye distance; ED) 중에서 적어도 하나가 다를 수 있다. 예를 들어 다중 분석부(130)는 저해상도의 얼굴 영상을 사용하여 얼굴 영상의 전체적 특징(global feature)을 분석하는 제1 인식부, 중간 해상도의 얼굴 영상을 사용하여 얼굴 영상의 국소적 특징(local feature)을 분석하는 제2 인식부, 및 고해상도의 얼굴 영상을 사용하여 얼굴 영상의 스킨 텍스쳐 특징(skin texture feature)을 분석하는 제3 인식부를 포함할 수 있다.

이처럼 하나의 얼굴 영상에 대하여 얼굴 인식을 위한 서로 다른 복수의 특징 분석 기법을 적용하는 경우, 그 결과들(유사도들)은 상호 보완적인 관계를 가질 수 있다. 예를 들어, 저해상도의 얼굴 영상에서는 표정이나 흐려짐(blurring)의 변화에 강인(robustness)한 결과를 얻을 수 있으며, 고해상도의 얼굴 영상에서는 미세한 특징까지 분석이 가능하므로, 두가지를 모두 사용하게 되면 보다 정밀한 얼굴 인식이 가능하다. 다중 분석부(130)가 포함하는 각 분류기(134)에 대한 실시예는 얼굴 인식 장치(100)의 합성부(140)와 판별부(150)에 대한 설명 이후에 언급하도록 할 것이다.

한편, 도 4에서 다중 분석부(130)는 하나의 얼굴 영상 크기 변환부(132)를 포함하고 있으나, 본 발명은 이에 한정되지 않는다. 예를 들어 다중 분석부(130)는 각 분류기(134)에 대응하는 복수의 변환부를 포함할 수도 있다. 또한, 실시예에 따라서, 변환부(132)는 정규화부(120)에 포함될 수도 있다.

합성부(140)는 다중 분석부(130)가 제공하는 복수의 유사도를 합성(fusion)하여 입력 영상에 포함된 얼굴 영상에 대한 최종 유사도를 계산한다. 합성부(140)가 사용하는 유사도 합성 방식은 실시예에 따라서 다양하게 구현될 수 있다.

본 발명의 일 실시예로써, 합성부(140)는 수학식 1에 나타낸 바와 같이 다중 분석부(130)가 제공하는 유사도들의 평균값을 계산하고, 그 결과를 최종 유사도로 제공할 수 있다.

[수학식 1]

수학식 1에서

는 다중 분석부(130)가 제공하는 유사도이고, N는 다중 분석부(130)가 제공하는 유사도의 개수(즉, 분류기(134)의 개수)이고, S는 합성부(140)가 얻고자 하는 최종 유사도다.

본 발명의 다른 실시예로써, 다중 분석부(130)가 제공하는 복수의 유사도를 합성하기 위하여 수학식 2에 나타낸 바와 같은 가중치 합(weighted sum)을 사용할 수 있다.

[수학식 2]

수학식 2에서

는 다중 분석부(130)가 제공하는 유사도이고,

는 각 유사도에 대한 가중치이고, N은 다중 분석부(130)가 제공하는 유사도의 개수(즉, 분류기(134)의 개수)이고, S는 합성부(140)가 출력하는 최종 유사도이다. 여기서 가중치

는 얼굴 인식 장치(100)가 적용되는 환경에 따라서 높은 효과가 기대되 는 분류기(134)가 제공하는 유사도에 보다 높은 값으로 할당될 수 있다. 즉, 가중치는 각 분류기(134)에 대한 신뢰도의 개념으로 이해될 수 있다.

바람직하게는, 합성부(140)는 동일 오류율(Equal Error Rate; EER)에 기반한 가중치 합을 사용한다. 동일 오류율(Equal Error Rate)은 각 분류기(134)를 개별적으로 사용하여, 입력되는 얼굴 영상에 대한 얼굴 인식 작업을 수행할 경우의 잘못된 거절 비율(False Reject Rate)과 잘못된 허용 비율(False Acceptance Rate)이 일치하는 지점을 나타낸다.

분류기(134)의 성능이 높을수록 동일 오류율(Equal Error Rate)이 낮아지므로 동일 오류율(Equal Error Rate)의 역수가 가중치로 사용될 수 있으며, 이 경우 수학식 2에서 가중치

는

로 대체될 수 있다.

는 각 분류기(134)의 동일 오류율(Equal Error Rate)을 나타내며, 이는 사전에 각 분류기(134)를 이용한 학습 결과를 통하여 얻을 수 있다.

본 발명의 또 다른 실시예로써, 합성부(140)는 우도비(likelihood ratio)에 기반하여 유사도들을 합성할 수 있으며, 이하 이에 대하여 설명하도록 한다.

복수의 분류기들(134-1 내지 134-n)이 출력하는 스코어

내지

의 집합이 입력되면, 입력된 스코어들이 동일한 사람을 나타내는 질의영상-기준영상 쌍으로부터 계산된 것인지 서로 다른 사람을 나타내는 질의영상-기준영상 쌍으로부터 계산된 것인지 결정하여야 한다. 이를 위하여 수학식 3과 같은 가설 검정(hypothesis testing)을 세울 수 있다.

[수학식 3]

,

수학식 3에서

는 질의영상-기준영상 쌍이 서로 다른 사람을 나타낼 경우 각 분류기(134-1 내지 134-n)가 출력하는 유사도들의 분포(distribution)를 나타내고,

는 질의영상-기준영상 쌍이 동일한 사람을 나타낼 경우 각 분류기(134-1 내지 134-n)가 출력하는 유사도들의 분포를 나타낸다. 만약, 밀도

와

를 안다면, 수학식 4에 나타낸 로그 우도비(log-likelihood ratio) 테스트는 Neyman-Pearson Lemma에 따라서, 주어진 잘못된 허용 비율(False Acceptance Rate; FAR)을 만족시키는 최대의 검증율(verification rate)을 이끌 수 있다. 참고로, Neyman-Pearson Lemma는 참고 문헌 ＇T. M. Cover and J. A. Thomas, Elements of Information Theory, New York: Wiley(1991), Th. 12.7.1, p. 305＇에 설명되어 있다.

[수학식 4]

수학식 4에서 밀도

와

의 실제 분포는 알 지 못하지만, 소정의 질의영상-기준영상 쌍들을 포함하는 학습 데이터로부터 계산되는 유사도들을 사용하면 밀도

와

을 추정할 수 있다.

밀도

와

을 추정하기 위한 일 실시예로써, ＇Pazen density estimate＇와 같은 비모수적 밀도 추정(nonparametric density estimation) 방식을 사용할 수 있다. 참고로, ＇Pazen density estimate＇는 참고문헌 ＇E. Parzen, ＂On Estimation of a Probability Density Function and Mode,＂ Annals of Mathematical Statistics, Vol. 33, No. 3, pp. 1065-1076(1962)＇에 설명되어 있다. 또한 ＇Parzen density estimate＇을 사용한 분류기 통합 방법은 참고문헌 ＇S.Prabhakar, A. K. Jain, ＂Decision-Level Fusion in Fingerprint Verification,＂pattern Recognition, Vol. 35, No.4, pp.861-873(2002)＇에 설명되어 있다. 그러나, 계산적인 복잡성이나 과적합(overfitting)을 고려한다면 모수적 밀도 추정(parametric density estimate) 방식을 사용하는 것이 바람직하다.

본 발명의 일 실시예로써, 독립적인 가우시안 랜덤 변수들(independent Gaussian random variables)로서 가설

에서

을 모델링 한다면, 밀도

는 수학식 5와 같이 나타낼 수 있다.

[수학식 5]

수학식 5에서 파라미터

와

는 각각 서로 다른 사람을 나타내는 질의영상-기준영상 쌍들을 사용하여 i 번째 분류기(134)가 계산한 유사도들의 평균값과 표준편차이다. 평균값

와 표준편차

는 각 분류기들(134-1 내지 134-n)에 대하여 사전에 수행된 실험을 통해서 얻을 수 있다.

수학식 5에서

는 가우시안 밀도 함수(Gaussian density function)로써, 수학식 6과 같이 나타낼 수 있다.

[수학식 6]

이와 유사하게, 독립적인 가우시안 랜덤 변수들(independent Gaussian random variables)로서 가설

에서

을 모델링 한다면, 밀도

는 수학식 7와 같이 나타낼 수 있다.

[수학식 7]

수학식 7에서 파라미터

와

는 각각 동일한 사람을 나타내는 질의영상-기준영상 쌍들을 사용하여 i 번째 분류기(134)가 계산한 유사도들의 평균값과 표준편차이다. 평균값

와 표준편차

수학식 7에서

는 가우시안 밀도 함수(Gaussian density function)로써, 수학식 6을 통하여 설명한 바와 같다.

이에 따라서, 합성부(140)는 수학식 8을 사용함으로써 로그 우도비(Log-Likelihood Ratio)에 기반하여 유사도를 합성할 수 있다.

[수학식 8]

수학식 8에서 S는 합성부(140)가 출력하는 최종 유사도이다. 또한 c는 상수로서 인식 성능에 영향을 주지 않으므로 최종 스코어 계산에서 생략될 수 있다. 수학식 1 내지 수학식 8을 참조하여 설명한 합성 방식은 본 발명의 실시예일뿐이므로, 본 발명이 이에 한정되는 것은 아니다.

다시 도 1을 참조하면, 판별부(150)는 합성부(140)에 의하여 합성된 유사도를 사용하여 얼굴 영상에 대한 분류 작업을 수행한다. 예를 들어 유사도가 소정의 임계값 이상인 경우 판별부(180)는 질의영상이 기준영상과 동일한 사람을 나타내는 것으로 판단하여 수락(accept)을 결정할 수 있고, 유사도가 임계값보다 작은 경우 판별부(180)는 질의영상이 기준영상과 다른 사람을 나타내는 것으로 판단하여 거부(reject)를 결정할 수 있다. 여기서 임계값이 커질수록 잘못된 거절 비율(False Reject Rate; FRR)은 높아지고, 임계값이 작을수록 잘못된 수락 비율(False Accept Rate; FAR)은 낮아진다. 따라서, 임계값은 얼굴 인식 장치(100)의 성능이나 얼굴 인식 장치(100)가 사용될 환경에 따른 실험적 통계 작업을 수행함으로써 사전에 적절한 값으로 설정될 수 있다. 한편, 도 1에서는 합성부(140)와 판별부(150)를 별도의 블록으로 표시하였으나, 실시예에 따라서 합성부(140)는 판별부(150)에 포함될 수도 있다.

이하 도 5 내지 도 9를 참조하여, 다중 분석부(130)가 포함하는 분류기(134)의 특징 분석 알고리즘에 대한 실시예를 설명하도록 한다. 본 발명의 바람직한 실시예로써, 다중 분석부(310)는 얼굴 윤곽과 같은 전체적 특징을 반영하는 글로벌 특징(global feature), 얼굴의 부분적인 특성을 반영하는 로컬 특징(local feature), 및 얼굴의 특정 영역들에 대한 세부적인 정보를 반영하는 스킨 텍스쳐 특징(skin texture feature)을 종합적으로 분석할 수 있다. 이하의 설명에서는 전술한 세가지의 바람직한 실시예를 위한 분류기(134)의 구성과 동작을 위주로 설명 할 것이다.

1. 글로벌 특징(global feature) 분석

얼굴 영상의 글로벌 특징을 분석하기 위하여 본 실시예에서는 DFT(Discrete Fourier Transform; DFT)에 기반한 선형판별분석(Linear Discriminant Analysis; LDA) 작업을 수행하게 된다. 이를 위한 분류기(134)의 구성의 일 예를 도 5에 도시하였다.

도 5는 본 발명의 일 실시예에 따른 분류기를 나타낸 블록도이다. 도시된 분류기는 하나 이상의 DFT 기반 선형판별분석부(510-1 내지 510-3; 이하 식별부호 510으로 통칭하도록 한다)와 유사도 측정부(520)를 포함한다. 비록 도 5의 실시예에서는 분류기가 3개의 DFT 기반 선형판별분석부(510)를 포함하고 있으나 본 발명은 이에 한정되지 않는다.

각 DFT 기반 선형판별분석부(510)에 입력되는 얼굴 영상은 도 5에 도시한 바와 같이 동일한 사이즈이지만, 눈 사이 거리(eye distance; ED)는 서로 다르다. 이러한 얼굴 영상은 도 4의 얼굴영상 크기 변환부(132)로부터 제공될 수 있다. 눈 사이 거리(ED)가 큰 얼굴 영상(532)에서는 눈, 코, 입과 같은 얼굴 내부 요소에 기초한 특징 분석이 용이하고, 눈 사이 거리(ED)가 작은 얼굴 영상(536)에서는 머리 스타일, 귀, 턱과 같은 얼굴 주변 요소에 기초한 특징 분석이 용이하다. 마지막으로 눈 사이 거리(ED)가 중간형인 얼굴 영상(534)는 얼굴 내부 요소 및 주변 요소를 적절히 포함하고 있기 때문에, 개별적인 얼굴 모델 실험에서는 앞서 소개된 두 개의 얼굴 영상(532, 536)을 사용하는 경우보다 좋은 성능을 나타낸다. 참고로, 본 발명의 실제 구현 실험에서는 얼굴 영상 사이즈를 46*56으로 하고, 세가지 종류의 눈 사이 거리(ED)는 31, 25, 19로 하였다.

DFT 기반 선형판별분석부(510)는 도 6에 도시한 바와 같이 이산 퓨리에 변환부(512), 입력 벡터 결정부(514), 및 선형판별분석부(516)를 포함한다.

이산 퓨리에 변환부(512)는 입력된 얼굴 영상에 대한 이산 퓨리에 변환(Discrete Fourier Transform; DFT)을 수행한다. 바람직하게는 이산 퓨리에 변환부(512)는 수학식 9에 나타낸 바와 같은 2 dimensional DFT(2D-DFT)를 수행한다.

[수학식 9]

수학식 9에서

는 2D-DFT에 따른 실수 성분(real component)이고,

는 2D-DFT에 따른 허수 성분(imaginary component)이다. 변수 u 및 v는 주파수(frequency)로써, 각각 수학식 10과 같은 범위를 가질 수 있다.

[수학식 10]

,

수학식 10에서 A와 B는 입력되는 얼굴 영상의 사이즈(A*B)를 나타낸다.

다시 도 6을 참조하면, 입력 벡터 결정부(514)는 2D-DFT 결과에서 실수 및 허수 성분(Real and Imaginary component; 이하 RI라 한다)과 2D-DFT 결과의 크기(이하 M이라 한다)를 소정의 주파수 대역으로 처리하여 입력 벡터를 제공한다. 여기서 입력 벡터 결정부(514)가 사용하는 RI와 M을 각각 수학식 11과 수학식 12를 통해 나타내었다.

[수학식 11]

[수학식 12]

입력 벡터 결정부(514)는 RI와 M을 복수의 주파수 대역으로 처리할 수 있다. 바람직하게는, 입력 벡터 결정부(514)는 RI와 M을 처리하기 위하여 협대역(narrow frequency band)를 나타내는 제1 주파수 대역(

)과 광대역(broad frequency band)을 나타내는 제2 주파수 대역(

)을 사용할 수 있다. 여기서 제1 주파수 대역과 제2 주파수 대역의 일 예를 표 1에 나타내었다.

[표 1]

	j=1	j=2
제1 주파수 대역: i=1	,	,
제2 주파수 대역: i=2	,	,

제1 주파수 대역에서는 얼굴 모델에 대한 저주파 정보(예를 들면 coarse facial geometric shape)가 제공될 수 있다. 반면, 제2 주파수 대역에서는 고주파 정보를 포함하는 보다 미세한 얼굴 특징을 분석할 수 있다.

RI에 제1 주파수 대역과 제2 주파수 대역을 적용하고 M에 제1 주파수 대역을 적용하면, 입력 벡터 결정부(514)는 실수 및 허수 성분 도메인에서

과

를 제공할 수 있으며 퓨리에 스펙트럼 도메인에서

을 제공할 수 있다. 한편, 주파수 대역에 대한 설명은 본 발명을 한정하지 않으므로 하나 이상의 다양한 다른 주파수 대역들이 사용될 수 있다.

선형판별분석부(516)는 입력 벡터 결정분(514)로부터 제공되는 입력 벡터를 입력값으로 하여 선형판별분석(Linear Discriminat Analysis) 작업을 수행한다. 입력 벡터 결정부(514)로부터 제공되는 입력 벡터가 복수이므로 선형판별분석부(516)는 각 입력 벡터에 대하여 개별적으로 선형판별분석 작업을 수행하게 된다. 예를 들어 입력 벡터 결정부(514)가 전술한 세 개의 입력 벡터(

,

)를 제공하였다면, 선형판별분석부(516)는 이들 각각을 입력값으로 사용하여 선형판별분석 작업을 수행함으로써 세 개의 선형판별분석 결과값을 출력할 수 있다. 선형판별분석부(516)가 출력하는 선형판별분석 결과값들은 도 6에 도시한 바와 같이 하나의 출력 벡터(

)로 제공될 수 있다. 도 6에서는 선형판별분석부(516)가 하나로 도시되어 있으나, 복수의 입력 벡터를 처리하기 위하여 각 입력 벡터에 할당된 복수의 선형판별분석부(516)가 존재할 수도 있다.

다시 도 5를 참조하면, 유사도 측정부(520)는 DFT 기반 선형판별분석부들(510)로부터 제공되는 출력 벡터들을 기준영상의 입력에 따라서 얻어진 출력 벡터와 비교하여 유사도를 측정한다. 기준영상의 입력에 따른 출력 벡터는 사전 학습을 통하여 유사도 측정부(520)가 저장하고 있을 수 있다. 측정된 유사도는 도 1에서 설명한 합성부(140)로 제공되어 다른 분류기가 제공하는 유사도와 합성된다. 실시예에 따라서는 각 DFT 기반 선형판별분석부(510) 별로 할당된 복수의 유사도 측정부가 존재하고, 복수의 유사도 측정부가 제공하는 복수의 유사도가 도 1의 유사도 합성부(140)로 제공될 수도 있다.

2. 로컬 특징(local feature) 분석

얼굴 영상의 로컬 특징을 분석하기 위하여 본 실시예에서는 가버(Gabor) LDA 작업을 수행하게 된다. 이를 위한 분류기(134)의 구성의 일 예를 도 7에 도시하였다.

도 7은 본 발명의 다른 실시예에 따른 분류기를 나타낸 블록도이다. 도시된 분류기는 기준점 추출부(710), 가버 필터부(720), 분류부(730), 선형판별분석부(740), 유사도 측정부(750), 및 서브 합성부(760)를 포함한다.

기준점 추출부(710)는 얼굴 영상에서 가버 필터를 적용할 소정 개수의 기준점(fiducial point)을 추출한다. 얼굴 영상의 어느 지점을 기준점으로 선택할 것인가는, 사전에 다수의 사람들의 얼굴 영상에 대한 실험을 통해서 결정될 수 있다. 예를 들면, 서로 다른 사람의 얼굴 영상에 가버 필터를 적용한 결과값의 차이가 일정 크기 이상을 나타내는 얼굴 영상 상의 점들이 기준점으로 선택되는 것이 바람직하다. 이는, 기준점은 얼굴 영상에서 임의의 점으로 선택될 수도 있지만, 선택된 기준점들에 대하여 가버 필터를 적용하였을 때 그 결과가 서로 다른 사람의 얼굴 영상 별로 명확하게 차이나도록 함으로써 얼굴 인식 성능을 향상시키기 위함이다.

가버 필터부(720)는 얼굴 영상의 기준점 각각에 대하여 서로 다른 특성을 갖는 가버 필터들을 투영시켜서 반응값을 구한다. 가버 필터의 특성은 가버 필터의 파라미터에 따라서 결정될 수 있다. 보다 구체적으로, 가버 필터의 특성은 가버 필터의 방향성(orientation), 스케일(scale), 가우시안 폭(Gaussian width), 및 상 비율(aspect ratio)에 따라서 결정된다.

일반적으로, 가버 필터는 수학식 13과 같이 나타낼 수 있다.

[수학식 13]

수학식 13에서

이고

이다. 또한 수학식 13에서 θ는 방향성,

는 스케일, σ는 가우시안 폭,

는 상 비율, j는 허수 단위를 나타낸다.

본 발명의 일 실시예에 따라서 가버 필터부(720)가 얼굴 영상의 기준점에 적용할 수 있는 가버 필터의 집합을 도 8a 및 도 8b를 참조하여 설명하도록 한다.

도 8a는 본 발명의 일 실시예에 따른 가버 필터 집합을 나타낸 도면이다. 도시된 가버 필터 집합은 방향성과 스케일에 따라서 분류된 것이다. 도시된 바와 같이 7개의 스케일과 8개의 방향성을 사용하면 서로 다른 특성을 갖는 56개의 가버 필터를 얻을 수 있다.

본 발명에서는 기존에 사용되지 않던 가우시안 폭과 상 비율을 조절하여 다른 특성을 갖는 가버 필터들을 더 확보하게 되며, 그 일 예를 도 8b에 도시하였다. 도 8b에 도시된 가버 필터 집합은 도 8a에서 θ=4/8π λ=32인 경우의 가버 필터를 가우시안 폭과 상 비율에 따라서 분류된 것이다. 도시된 바와 같이 4개의 가우시안 폭과 5개의 상 비율을 사용하면 서로 다른 특성을 갖는 20개의 가버 필터를 얻을 수 있다.

따라서 도 8a에 도시된 각 가버 필터 별로 도 8b에 도시된 바와 같이 가우시안 폭과 상 비율을 변화시키면 총 56*20=1120개의 가버 필터를 얻을 수 있으며, 이들은 각기 얼굴 영상에 투영되어 다른 특성을 나타낸다.

도 8a 및 도 8b에 도시한 가버 필터 집합은 본 발명의 이해를 돕기 위한 예시일 뿐이므로, 가버 필터부(720)가 사용하게될 가버 필터의 종류는 이에 한정되지 않는다. 따라서 가버 필터부(720)는 도 8a 및 도 8b에 도시한 것과는 다른 수치의 파라미터(방향성, 스케일, 가우시안 폭, 상 비율)를 갖는 가버 필터들을 사용하거나, 더 적은 개수 또는 더 많은 개수의 가버 필터를 사용할 수도 있다.

그러나, 많은 수의 가버 필터를 사용할수록 얼굴 인식 장치의 연산 능력에 부담을 줄 수 있으므로, 사전에 실험을 통하여 얼굴 인식 성능에 주된 영향을 미치는 가버 필터들을 선별하고 가버 필터부(130)가 선별된 가버 필터들을 사용하도록 할 수 있다. 이에 대한 구체적인 설명은 도 11을 참조하여 후술하도록 한다.

가버 필터부(720)가 입력 영상에 복수의 가버 필터를 투영시킴으로써 얻어지는 반응값들은 얼굴 영상의 특징을 나타내며, 수학식 14를 통해서 나타낸 바와 같은 가버 젯(Gabor Jet; J) 집합으로 표현될 수 있다.

[수학식 14]

수학식 14에서 θ는 방향성,

는 스케일, σ는 가우시안 폭,

는 상 비율, x는 기준점을 나타낸다.

분류부(730)는 가버 필터부(720)가 제공하는 반응값들을 그룹화한다. 본 발명에 대한 이해를 돕기 위하여 언급하자면, 하나의 반응값은 여러 개의 반응값 그룹에 속할 수 있다.

바람직하게는, 분류부(730)는 가버 필터의 특성에 따라서 반응값들을 그룹화할 수 있다. 예를 들어, 분류부(730)는 가우시안 폭과 상 비율의 조합 별로 동일한 방향성을 갖는 가버 필터들의 반응값들과 동일한 스케일을 갖는 가버 필터들의 반응값들을 그룹화 할 수 있다. 만약, 도 8b를 참조하여 설명한 바와 같이 4개의 가우시안 폭과 5개의 상 비율을 사용한다면, 가우시안 폭과 상 비율의 조합은 총 4*5=20개가 된다. 여기서 도 8a에 도시한 바와 같이 8개의 방향성과 7개의 스케일을 사용한다면, 각 가우시안 폭과 상 비율의 조합마다 동일한 방향성을 갖는 가버 필터들의 반응값 그룹이 8개 생성될 수 있고 동일한 스케일을 갖는 가버 필터들의 반응값 그룹이 7개 생성될 수 있다. 즉, 가우시안 폭과 상 비율의 조합 별로 총 8*7=56개의 반응값 그룹이 생성될 수 있으므로, 최종적으로 20*56=1120개의 반응값 그룹이 생성된다. 각 반응값 그룹은 얼굴 영상에 대한 특징으로 사용될 수 있다.

수학식 15는 분류부(730)에 의해 분류된 반응값 그룹의 일 예를 나타낸 것이다.

[수학식 15]

수학식 15에서 C는 반응값 그룹을 나타내고, 괄호처진 윗 첨자 s와 o는 각각 동일한 스케일을 갖는 가버 필터를 거친 반응값 그룹과 동일한 방향성을 갖는 가버 필터를 거친 반응값 그룹 임을 나타낸다. 또한 θ는 방향성,

는 스케일, σ는 가우시안 폭,

는 상 비율, x는 기준점을 나타낸다.

이밖에도 분류부(730)는 하나 이상의 특정 기준점에 대하여 가버 필터들을 적용한 결과 출력되는 반응값들을 별도의 그룹으로 분류할 수도 있다.

이처럼 분류부(730)에 의하여 가버 필터의 반응 값들을 그룹화하면 이후에 수행될 선형판별분석(Linear Discriminant Analysis; LDA) 작업을 위한 입력 값의 차원(dimension)을 감소시키게 되므로, 가버 필터를 확장시키는 것이 용이해진다. 예를 들면 도 8b와 같이 가우시안 폭과 상 비율을 변화시켜서 사용할 가버 필터의 수를 늘림으로써 얼굴 영상의 특징 수를 증가시키더라도 반응 값(특징)들을 그룹화하여 입력 값의 차원을 낮추면 선형판별분석(LDA) 학습시의 부담을 감소시킬 수 있다. 이는 선형판별분석(LDA) 학습 능률을 높이는데도 유용한 효과를 낳는다.

선형판별분석부(740)는 분류부(730)가 분류한 반응값 그룹을 입력 값으로 하여 선형판별분석(LDA) 작업을 수행한다. 여기서, 선형판별분석부(740)는 반응값 그룹마다 독립적으로 LDA 작업을 수행하게 된다. 이를 위하여 선형판별분석부(740)는 도 9에 도시한 바와 같이 복수의 선형판별분석 처리부(740-1 내지 740-N)를 포함할 수 있으며, 각 선형판별분석 처리부(740-1 내지 740-N) 마다 하나의 반응값 그룹에 대한 LDA 작업을 수행한다. 이에 따라서 선형판별분석부(740)는 하나의 얼굴 영상에 대하여 복수의 선형판별분석 결과값을 출력하게 된다.

유사도 계산부(750)는 선형판별분석부(740)가 출력하는 선형판별분석 결과값들을, 입력된 얼굴 영상과 동일한 과정의 처리 작업을 거친 기준 얼굴 영상의 처리 결과 획득된 선형판별분석 결과값들과 비교하여, 선형판별분석부(740)가 출력하는 선형판별분석 결과값들의 유사도를 계산한다.

복수의 선형판별분석 결과값들에 대한 유사도를 계산하기 위하여 유사도 계산부(750)은 도 9에 도시된 바와 같이 복수의 서브 유사도 계산부(750-1 내지 750-N)를 포함할 수 있다.

서브 합성부(760)는 유사도 계산부(750)가 계산한 유사도를 합성한다. 바람직하게는, 서브 합성부(760)는 가우시안 폭과 상 비율의 조합별로, 동일한 스케일을 갖는 가버 필터들이 출력하는 반응값 그룹들을 LDA 처리한 결과값에 대한 유사도들과 동일한 방향성을 갖는 필터들이 출력하는 반응값 그룹들에 대한 유사도들을 각각 1차적으로 합성하고, 1차 합성 결과값들을 2차적으로 합성함으로써 최종 유사도를 제공할 수 있다. 이와 같은 다단계에 걸친 유사도 합성 작업을 위하여 복수 의 서브 합성부가 존재할 수도 있으며, 이에 대한 이해를 돕기 위하여 도 10을 참조하여 설명하도록 한다.

도 10에 도시된 각 채널은 도 9에서 설명한 각 선형판별분석 처리부(740-1 내지 740-N)와 각 서브 유사도 계산부(750-1 내지 750-N)를 통합한 모듈로 이해될 수 있다. 따라서 각 채널은 분류부(730)로부터 출력되는 반응값 그룹을 입력 받고, 유사도를 출력한다. 보다 구체적으로, 도 10에서 동일한 스케일을 갖는 가버 필터들로부터 출력되는 반응값 그룹을 입력값으로 하는 채널이 스케일 채널이고, 동일한 방향성을 갖는 가버 필터들로부터 출력되는 반응값 그룹을 입력값으로 하는 채널이 방향성 채널이다. 참고로, 도 10에서 반응값 그룹은 수학식 14와 수학식 15에서 사용한 수식 기호를 통해 나타내었다.

도 10에 도시된 바와 같이 가버 필터의 가우시안 폭과 상 비율 조합 별로 스케일 채널과 방향성 채널이 구성될 수 있으며, 서브 합성부들(750-1 내지 750-(M-1))이 1차적으로 스케일 채널들과 방향성 채널들 별로 유사도를 합성한다. 그 후 서브 합성부(750-M)는 각 채널이 출력한 유사도의 1차 합성 결과들을 2차적으로 합성하여 최종 유사도를 출력한다.

서브 합성부(760)는 도 1의 합성부(760)가 사용하는 합성 방식을 사용할 수 있다. 만약 서브 합성부(760)가 가중치 합(weighted sum)을 사용한다면, 도 10에 대한 설명에서 서브 합성부(760-1 내지 760-(M-1))가 수행하는 1차 합성 작업과 서브 합성부(760-M)가 수행하는 2차 합성 작업은 각각 수학식 16과 수학식 17을 따를 수 있다.

[수학식 16]

[수학식 17]

수학식 16 및 수학식 17에서 S는 유사도를 나타내고, w는 가중치를 나타내고, 괄호처진 윗첨자 s는 스케일 채널과 관련됨을 나타내고, 괄호처진 윗첨자 o는 방향성 채널과 관련됨을 나타내고, 괄호처진 윗첨자 total은 최종 유사도임을 나타낸다. 또한 θ는 방향성,

는 스케일, σ는 가우시안 폭,

는 상 비율을 나타낸다.

수학식 16과 수학식 17에서 가중치는 각 채널을 독립적으로 사용하여 얼굴 인식 작업을 수행하였을 경우 높은 인식 성공률을 나타내는 채널로부터 출력되는 유사도일수록 높은 수치가 할당되도록 설정될 수 있으며, 그 수치는 사전에 실험을 통하여 결정될 수 있다.

바람직하게는, 동일 오류율(Equal Error Rate; EER)에 기반하여 가중치가 결정될 수 있다. 동일 오류율은 얼굴 인식 작업을 수행한 결과 잘못된 거절 비율(False Reject Rate)과 잘못된 허용 비율(False Acceptance Rate)이 일치하는 지점 을 나타내는 값을 갖는다. 동일 오류율이 낮을수록 인식 성공률은 높아지므로 동일 오류율의 역수가 가중치로 사용될 수 있으며, 이 경우 수학식 16와 수학식 17에서 w는

로 대체될 수 있다. 여기서 k는 가중치를 정규화 하기 위한 상수이다.

본 발명의 다른 실시예에 따르면, 서브 합성부(760-1 내지 760-(M-1))가 수행하는 1차 합성 작업과 서브 합성부(760-M)가 수행하는 2차 합성 작업을 위하여 수학식 8을 참조하여 설명한 바와 같은 우도비 기반의 합성 방식이 사용될 수도 있다.

한편, 본 발명의 일 실시예에 따르면, 도 7의 분류부(730)는 기준점 추출부(710)가 추출한 기준점 중에서 하나 이상의 특정 기준점에 대하여 가버 필터들을 적용한 결과 출력되는 반응값들을 별도의 그룹으로 분류할 수도 있다. 이 때 특정 기준점에 대하여 가버 필터들을 적용한 결과 출력되는 반응값들은 가우시안 폭과 상 비율의 조합 별로 그룹화될 수 있으며, 이들에 대하여 측정되는 유사도를

라 한다면 도 10에 대한 설명에서 서브 합성부(760-M)은 수학식 18을 사용하여 유사도의 2차 합성 작업을 수행할 수 있다.

[수학식 18]

한편, 도 7의 가버 필터부(720)를 설명하면서 언급한 바와 같이, 가버 필터 부(720)가 사용할 가버 필터의 수를 줄이면서 높은 성능을 갖는 얼굴 인식 장치를 구현하기 위하여, 사전에 실험을 통하여 얼굴 인식 성능에 주된 영향을 미치는 가버 필터들을 선별하고 가버 필터부(720)가 선별된 가버 필터들을 사용하도록 할 수 있다. 그 일 예로써, 가우시안 폭과 상 비율 조합에 따른 가버 필터들 중에서 얼굴 인식 성능에 주된 영향을 미치는 소정 개수의 가버 필터를 선별하는 과정에 대하여 표 2 및 도 11을 참조하여 설명하도록 한다.

[표 2]

가버 필터 식별 번호	(가우시안 폭, 상 비율)	가버 필터 식별 번호	(가우시안 폭, 상 비율)
1		7
2		8
3		9
4		10
5		11
6		12

도 11은 표 2의 파라미터를 갖는 12개의 가버 필터를 테스팅 대상으로 하여 4개의 가버 필터를 선별하는 과정에 대한 실험 결과를 나타낸 도면이다. 표 2에서 λ는 가버 필터의 스케일을 나타내고, 도 11의 실험 결과는 잘못된 수락 비율(FAR)을 0.001로 하였을 경우의 얼굴 인식 성공률을 나타낸다.

우선 표 2에 나타낸 가버 필터들을 개별적으로 사용하였을 경우의 얼굴 인식 성공률을 측정한다. 도 11의 라인 1이 이 때의 얼굴 인식 성공률을 나타낸다. 도 11을 참조하면 7번 가버 필터를 사용하였을 때 가장 높은 성공률을 나타내었다.

그 후, 7번 가버 필터를 제외한 11개의 가버 필터들 각각을 7번 가버 필터와 함께 사용하였을 경우의 얼굴 인식 성공률을 측정한다. 도 11의 라인 2가 이 경우의 얼굴 인식 성공률을 나타낸다. 도 11을 참조하면 1번 가버 필터가 7번 가버 필터와 가장 높은 성능을 나타내는 조합임을 알 수 있다.

그 후, 1번 가버 필터와 7번 가버 필터를 제외한 10개의 가버 필터들 각각을 제1 가버 필터 및 제7 가버 필터와 함께 사용하였을 경우의 얼굴 인식 성공률을 측정한다. 도 11의 라인 3이 이 경우의 얼굴 인식 성공률을 나타낸다. 도 10을 참조하면 11번 가버 필터가 1번 가버 필터 및 7번 가버 필터와 가장 높은 성능을 나타내는 조합을 이루게 된다.

끝으로, 1번 가버 필터, 7번 가버 필터, 및 10번 가버 필터를 제외한 9개의 가버 필터들 각각을 1번 가버 필터, 7번 가버 필터, 및 10번 가버 필터와 함께 사용하였을 경우의 얼굴 인식 성공률을 측정한다. 도 11의 라인 4가 이 경우의 얼굴 인식 성공률을 나타낸다. 도 11을 참조하면 4번 가버 필터가 1번 가버 필터, 7번 가버 필터, 및 10번 가버 필터와 가장 높은 성능을 나타내는 조합을 이루게 된다.

이러한 실험을 거침으로써, 표 2에 나타낸 파라미터 수치의 조합 중에서 함께 사용되었을 때 높은 성능을 나타내는 4개의 파라미터 수치들을 선별할 수 있으며, 분류기 구현 시 가버 필터부(720)가 선별된 파라미터 수치를 갖는 가버 필터를 사용하도록 할 수 있다. 그러나 본 발명은 전술한 실험 결과 및 과정에 의하여 한 정되지 않는다. 기본적으로, 함께 사용할 가버 필터의 개수를 늘려 갈수록, 얼굴 인식 성공률의 상승 폭이 감소하며 얼굴 인식 성공률이 특정 수치에 포화(saturation)하는 경향을 나타낸다. 따라서, 분류기의 연산 능력이나 사용 환경 등을 고려하여, 사전 실험을 통해서 가버 필터부(720)가 사용할 가버 필터의 개수와 파라미터 값을 적절히 설정하는 것이 가능하다.

표 2 및 도 11을 참조하여 설명한 가버 필터 선별 작업은 가버 필터의 스케일과 방향성에 대해서도 유사하게 적용될 수 있다. 도 10에 도시된 예를 참조하여 설명하면, 사전 실험을 통해서 가우시안 폭과 상 비율의 조합별로 스케일 채널들과 방향성 채널들 중에서 얼굴 인식 성공률에 주된 영향을 미치는 조합을 선별하거나, 가우시안 폭과 상 비율의 조합에 관계없이 모든 스케일 채널과 모든 방향성 채널 중에서 얼굴 인식 성공률에 주된 영향을 미치는 조합을 선별할 수 있다. 그 후, 분류기 구현 시 가버 필터부(720)가 선별된 조합의 스케일과 방향성을 갖는 가버 필터들을 사용하도록 하면 보다 적은 개수의 필터를 사용하더라도 충분한 효과를 나타내는 분류기를 구현할 수 있게 된다.

3. 스킨 텍스쳐 특징(skin texture feature) 분석

얼굴 영상의 스킨 텍스쳐 특징을 분석하기 위하여, 본 실시예에서는 LBP(Local Binary Pattern) 특징추출방법 및 FDA(Fisher Discriminant Analysis)를 사용한다. 만일 직접 LBP를 갖는 FLDA(Fisher Linear Discriminant Analysis)를 사용한다면, LBP의 히스토그램에 의해 채용되는 카이 스퀘어 통계 유사도(Chi square statistic similarity)를 사용하는 것은 어렵다.

또한 본 실시예에서는 Kernel Fisher Discriminant Analysis(KFDA)라 불리는 커널 기반 비선형 판별 분석을 사용한다. KFDA는 커널의 장점과 FLDA를 결합한 것이다. 비선형 커널 방법은 입력데이터를 implicit 특징 공간 F에 투영되도록 채용되며, FLDA는 특징 공간 F에서 수행되어 입력데이터의 비선형 판별 특징을 생성한다.

LBP를 갖는 KFDA를 성공적으로 사용하기 위해, 본 발명에서는 카이 스퀘어 통계 유사도 측정을 사용하여 다른 커널 함수로 특징 공간 F에서 두 벡터의 내적을 계산한다.

먼저, 얼굴 영상의 특징 선택을 위한 LBP를 설명하기로 한다. LBP 연산자는 텍스쳐를 기술하기 위한 강력한 수단으로서, 그레이 스케일과 회전에 불변하는 텍스쳐 분류에 대한 효율적인 접근방식이다. 평균 조명에서 조명의 변화에 의해 영향 받지 않는 얼굴특징을 추출하기 위해, LBP의 목적은 그레이 스케일 이동에도 변하지 않는 얼굴특징을 찾는 것이다.

LBP는 3x3 픽셀의 중앙 픽셀을 임계값으로 하여 상기 중앙 픽셀의 이웃하는 픽셀들의 값을 이진값으로 나타내어 영상의 픽셀에 라벨(label)을 붙인다. 여기서, 각 라벨의 히스토그램은 텍스쳐 기술자로 사용될 수 있다. 도 12는 기본적인 LBP 연산자의 예를 도시한 것이다.

어떤 텍스쳐의 주된 특징이 될 수 있는 큰 스케일 구조(large scale structure)를 캡쳐하기 위해, LBP는 다른 크기의 이웃 픽셀들을 사용하여 확장될 수 있다. 원형 이웃들과 이진선형 간섭을 사용함으로써 픽셀 값들은 반지름과 이 웃하는 픽셀들을 허용한다. 이웃픽셀에 대해, LBP는 반지름 R상의 원에 존재하는 P개의 샘플링 점을 나타내는 (P,R) 표기법을 사용한다. 도 13은 (P,R) 표기법을 사용한 예를 도시한 것이다. 도 13의 (a)는 원형 (8,2) 이웃을 나타내고, (b)는 원형 (8,3) 이웃을 나타낸다.

원래의 연산자에 대한 또 다른 확장으로서 사용되는 예는 균일 패턴(uniform pattern)이다. 이진 스트링이 원형을 나타낼 때, 많아야 두 개의 bitwise 변환(0에서 1 또는 1에서 0으로의 변환)을 포함한다면 LBP는 균일(uniform)하다고 표현한다. Ojala는 uniform circular structure는 하나의 공통적인 것을 가지고 있는데 이러한 근본적인 패턴을 uniform하다고 부른다. 균일한 원형(uniform cicular) 구조는 극히 작은 수의 공간 이동(transition)을 갖는다. 균일 패턴은 마이크로 구조(예를 들어 bright spot, flat area 또는 dark spot, 및 변화하는 양 또는 음의 만곡(curvature)의 에지)를 위한 템플릿으로 기능한다. Ojala는 텍스쳐 영상을 갖는 실험에서 (8,1) 이웃을 사용할 때 균일 패턴들은 모든 패턴들의 90% 보다 작은 비트로 설명하고, (16,2) 이웃에서는 70% 부근으로 설명한다. 이러한 내용은 참고문헌 ＇T. Ojala, M. Pietikainen, and T. Maenpaa, ＂Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns ＂, IEEE Trans. On PAMI, VOL. 24, NO. 7, pp971-987(2002)＇에 보다 상세히 설명되어 있다.

도 14는 9개의 uniform 회전 불변 이진 패턴들을 도시한 것이다. 도 3의 패 턴 안에 있는 숫자는 고유한

코드에 상응하는 것이다.

얼굴인식을 위한 LBP 작업을 하기 위해, Ahonen은 회전 불변 성질이 없는 LBP를 얼굴 기술자, 즉

를 사용하며, 아래 첨자는 (P,R) 이웃에서의 연산자를 사용하여 나타낸다. 윗첨자 u2는 uniform 패턴들을 사용하여 단일 라벨(label)을 갖는 모든 잔여 패턴들을 레이블링하는 것을 나타낸다. 이는 참고문헌 ＇T. Ahonen, A. Hadid, and M. Pietikainen, ＂Face Recognition with Local Binary Patterns＂, ECCV 2004(2004).＇와 ＇T. Ahonen, M. Pietikainen, A. Hadid and T. Maenpaa, ＂Face Recognition Based on the Appearance of Local Regions＂, ICPR2004(2004)＇에 상세히 설명되어 있다.

얼굴 기술자는 라벨들의 히스토그램을 사용하며, 본 발명에서는 채용된

를 Ahonen의 방법으로 사용한다. 모든 LBP 값들은 균일화 전략에 따라 59 bins로 정량화된다. 59 bins에 대한 설명은 다음과 같다. 도 14에 도시된 바와 같이 1부터 7까지 코드는 8개의 회전된 패턴들을 각각 갖으며, 이들을 통해서 7*8 =56 bins가 성립된다. 플러스 코드 0,8과 다른 비균일 패턴들은 1개의 특정한 bin으로 취급되므로 전체적으로 56+3 =59 bins가 된다. 라벨이 붙여진 영상 fi(x,y)의 히스토그램은 수학식 19와 같이 정의된다.

[수학식 19]

수학식 19에서 n=59는 LBP 연산자에 의해 만들어진 다른 라벨들의 수이고,

이다.

LBP의 히스토그램은 전체 영상에 대해 에지, spots 및 flat area와 같은 국부 마이크로 패턴들의 분포에 관한 정보를 포함하고 있다.

한편, 효율적인 얼굴표현을 위하여 공간 정보가 필요하며, 이를 위하여 얼굴 영상을 영역 R₀, R₁, ..., R_m _-1로 나눔으로써 수학식 20에 나타낸 바와 같이 공간적으로 향상된 히스토그램을 얻을 수 있다.

[수학식 20]

여기서, 히스토그램은 3개의 다른 수준의 국부성(locality)을 효과적으로 기술한다. 히스토그램을 위한 라벨들은 픽셀 레벨 패턴에 관한 정보를 포함한다. 그리고 이러한 라벨들은 작은 영역에 걸쳐 더해져서 지역적인 레벨(regional level) 정보를 생성하고 지역적인 히스토그램들은 연결되어 얼굴의 전체적인 기술(global description)을 이루어낸다.

얼굴검증은 입력되는 질의영상과 기준영상 간의 유사도를 계산하여 판단한다. 수학식 21에 나타낸 바와 같은, 카이 스퀘어 통계 유사도 측정(Chi squre statistic similarity measures)는 LBP 히스트그램을 위해 Ahonen에 의해 제안되었 다.

[수학식 21]

수학식 21에서 S와 M은 비교되는 두 개의 영상의 LBP 히스토그램이다. LBP얼굴인식방법은 FERET 테스트에 대한 유망한 결과로 성취되었다. 그러나 아직도 그것을 계산할 여지는 있으며, 본 실시예에서는 LBP 서술자를 갖는 분류기로서 커널 비선형 판별 분석법을 사용하고 검증 성능을 높이고자 한다.

FLDA(Fisher Linear discriminant analysis)는 특히 얼굴인식분야에서 패턴 분류를 위한 방법으로 널리 알려져 있다. FLDA는 수학식 22에 나타낸 바와 같은 Fisher 판별 함수를 최대화시킴으로써, 클래스간(between-class) 스캐터(scatter) SB는 최대화하고 클래스 내(within-class) 스캐터 SW는 최소화하는 선형 투영을 구한다.

[수학식 22]

본 실시예에서는 판별 분석(discriminant analysis)의 기준으로 수학식 22를 사용하여 LBP성능을 향상시킨다. 문제는 만일 직접 FLDA를 사용한다면 LBP 히스토그램에 의해 채용된 카이스퀘어 통계 유사도(Chi square statistic similarity)를 사용하기 어렵다는 것이다.

FLDA에 대한 다른 문제점은 선형 표현방법으로서, FLDA가 얼굴표정과 조명이 바뀌면 실제 얼굴영상에서 복잡한 비선형 변형을 기술하는 것이 적당하지 않다는 것이다. 패턴분리에 관한 Cover의 이론에 따르면 비선형적으로 분리되는 패턴들은 입력공간에서 비선형적으로 고차원의 특징 공간으로 변환되면 높은 확률을 가지고 선형적으로 분리할 수 있다. 또한 커널 기반 비선형 판별 분석은 커널 트릭(trick)과 FLDA를 조합한다. 비선형 커널 트릭은 먼저 입력 데이터를 implicit 특징공간 F에 투영시기 위해 채용되었다. 이 때 FLDA는 implicit 특징공간 F에서 수행되어 입력 데이터의 비선형 판별 특징들을 생성한다. 이를 KFDA(Kernel Fisher Discriminant Analysis)라 부른다.

본 실시예에서는 LBP를 갖는 KFDA를 사용하여 얼굴 인식 성능을 개선한다. LBP의 히스토그램을 위한 카이 스퀘어 통계의 이점을 취하기 위해 전통적인 KFDA를 수정할 것이다. KGDA의 개념은 수학식 23에서와 같이 비선형 매핑에 의해 구축된 implicit 특징공간 F에서 FLDA의 문제를 해결하는 것이다.

[수학식 23]

여기서, implicit 특징벡터

는 명백하게 계산될 필요는 없다. 대신에 수학식 24와 같이 커널 함수를 갖는 implicit 특징 공간 F에서 두 벡터의 내적을 계산하면 된다.

[수학식 24]

만약, x가 n 개의 엘리멘트와 C개의 클래스를 갖는 입력셋(input set)의 벡터라 하고, ni는 샘플 수를 나타낸다고 한다면, xi의 맵핑은 수학식 25와 같이 표현될 수 있다.

[수학식 25]

FLDA를 수행하는 것은 다음과 같은 Fisher 판별 함수를 최대화하는 것이다.

[수학식 26]

수학식 26에서,

와

는 implicit 특징 공간 F에서 클래스 간(between class) 스캐터와 클래스 내(within class) 스캐터를 각각 나타내며, 수학식 27과 같이 나타낼 수 있다.

[수학식 27]

수학식 27에서

이다.

한편,

는 모든 샘플들의 범위(span)에 놓여 있어야 하므로 w는 선형 조합에 의해 표현될 수 있다. 즉

이다. 따라서 수학식 26은 수학식 28과 같이 다시 나타낼 수 있다.

[수학식 28]

그리고 KGDA의 문제는

의 선도적인 아이젠벡터(leading eigenvector)를 찾는 것으로 변환된다.

[수학식 29]

수학식 29에서

이고,

이고,

은 모든

의 평균이다.

한편, 수학식 30 내지 32와 같은 가우시안 커널, 다항식(polynomial) 커널, sigmoid 커널의 세가지 클래스의 커널 함수가 널리 사용되고 있다.

[수학식 30]

[수학식 31]

[수학식 32]

전술한 내용을 바탕으로 하는 분류기의 일 실시예를 도 15에 도시하였다. 도시된 분류기는 기저벡터 생성부(1610), 기준영상 카이스퀘어 내적부(1620), 기준영상 KFDA 투영부(1630), 질의영상 카이스퀘어 내적부(1640), 질의영상 KFDA 투영부(1650), 유사도 측정부(1670)을 포함한다.

기저벡터 생성부(1610)는 학습을 위한 얼굴영상의 LBP 특징을 이용하여 KFDA 기저벡터를 생성하며, 도 16에 도시된 바와 같이 학습영상 카이스퀘어 내적부(1612) 및 KFDA 기저벡터 생성부(1614)를 구비한다.

학습영상 카이스퀘어 내적부(1612)는 학습을 위한 얼굴영상의 LBP 얼굴특징와 커널 LBP 얼굴특징을 이용하여 카이 스퀘어 내적(Chi square inner product)을 수행한다. 학습을 위한 얼굴영상의 LBP 얼굴특징은 얼굴영상에 대해 LBP 연산을 수행하여 LBP히스토그램으로 표현됨이 바람직하다. 커널 LBP 얼굴특징은 많은 수, 예를 들어 수 만장의 얼굴영상에 대해 LBP 연산을 한 후 미리 등록된 얼굴특징 벡터들이 될 수 있다. 결국 학습영상 카이스퀘어 내적부(1612)는 커널 얼굴특징 벡터들을 이용하여 비선형적인 구별 가능한 패턴을 만들어 낸다.

KFDA 기저벡터 생성부(1614)는 학습영상 카이스퀘어 내적부(1612)에서 카이 스퀘어 내적한 결과에 대해 KFDA를 수행하여 KFDA기저벡터를 생성한다. 카이 스퀘어 내적(Chi square inner product)은 LBP의 장점을 갖는 KFDA를 사용하기 위해, 수학식 33에 나타낸 바와 같이 두 벡터를 내적한다. 즉, 카이 스퀘어 통계 유사도 측정을 사용하여 implicit 특징 공간 F에서 다른 LBP 커널 함수를 갖는 두 벡터의 내적을 계산할 수 있다.

[수학식 33]

수학식 33에서, LBP의 특징과 유사도 측정 장점이 모두 사용된다. 수학식 33에서,

는 수학식 21에 의해 정의되어 있다.

기준영상 카이스퀘어 내적부(1620)는 미리 등록된 얼굴영상의 LBP 얼굴특징과 커널 LBP 얼굴특징을 이용하여 카이 스퀘어 내적(Chi square inner product)한다. 미리 등록된 얼굴영상은 기준영상을 LBP연산하여 히스토그램으로 표현되는 것이 바람직하다. 그리고 커널 LBP 얼굴특징은 학습영상 카이스퀘어 내적부(1612)의 입력으로 사용되는 커널 LBP 얼굴특징과 동일하다.

기준영상 KFDA 투영부(1630)는 기준영상 카이스퀘어 내적부(1620)에 의해 내적된 LBP 특징벡터를 KFDA의 기저벡터에 투영한다.

질의영상 카이스퀘어 내적부(1640)는 질의영상(query image)의 LBP 얼굴특징과 커널 LBP 얼굴특징을 이용하여 카이 스퀘어 내적한다. 커널 LBP 얼굴특징은 상기 기준영상 카이스퀘어 내적부(1620)에 입력되는 커널 LBP 얼굴특징과 동일하다.

질의영상 KFDA 투영부(1650)는 질의영상 카이스퀘어 내적부(1640)에 의해 내적된 LBP 특징벡터를 상기 KFDA의 기저벡터에 투영한다.

유사도 측정부(1670)는 기준영상 KFDA 투영부(1630)에서 생성된 기준영상 얼굴특징 벡터와 질의영상 KFDA 투영부(1650)에서 생성된 질의영상 얼굴특징 벡터를 비교하여 두 영상간의 유사도를 구한다. 유사도는 유클리디안 거리(Euclidian distance) 비교에 의해 판단됨이 바람직하다.

이상 도 5 내지 도 17을 참조하여 설명한 바와 같이 다중 분석부(130)가 포함하는 분류기(134)는 다양한 특징 분석 기법을 사용하여 입력된 얼굴 영상에 대한 특징을 분석하고 분석 결과에 대한 유사도를 제공할 수 있다. 그러나 분류기(134)가 사용하는 특징 분석 기법은 전술한 내용에 한정되지 않으며, 분류기(134)는 다른 유형의 특징 분석 기법을 사용할 수도 있다. 예를 들어, 분류기(134)는 PCL(Principal Component Analysis), LDA(Linear Discriminant Analysis), ICA(Independent Component Analysis), LFA(Local Feature Analysis), Gabor wavelet-based approaches 등과 같이 얼굴 인식의 기반이 되는 다양한 특징 분석 기법을 사용할 수 있다.

한편, 도 1 내지 도 17의 설명에서 얼굴 인식 장치(100)에 포함되는 분류기(134)와 각 '~부'는 일종의 모듈로 구현될 수 있다. 여기서 모듈은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.

이하, 도 17을 참조하여 얼굴 인식 장치(100)의 동작 과정에 대하여 설명하도록 한다.

먼저 영상 입력부(110)가 화소 값으로 변환된 입력 영상을 제공하면(S1710), 얼굴 추출부(122)는 입력 영상으로부터 얼굴 영상을 추출하고 이를 다중 분석부 (130)에게 제공한다(S1720).

이 때, 다중 분석부(130)는 복수의 특징 분석 기법을 독립적으로 사용하여 얼굴 영상에 대한 특징을 분석하고(S1730), 분석된 특징들을 기준영상을 처리하여 얻은 특징과 비교하여 복수의 유사도를 제공한다(S1740).

과정 S1730을 보다 구체적으로 설명하면, 다중 분석부(130)의 얼굴 영상 크기 변환부(132)는 입력된 얼굴 영상이 각 분류기(134)에 적합한 해상도, 스케일, 또는 눈 사이 거리를 갖도록 얼굴 영상을 리사이징(resizing)한다. 이 때 각 분류기(134)는 얼굴 영상 크기 변환부(132)에 의하여 리사이징된 얼굴 영상 중에서 하나에 대한 특징 분석 작업을 수행하는데, 각 분류부(134)가 사용하는 특징 분석 기법은 서로 다르다. 과정 S1730과 과정 S1740에서 다중 분석부(130)에 포함되는 분류기(134)가 얼굴 영상의 특징을 분석하고 그에 따른 유사도를 출력하는 과정에 대한 구체적인 내용은 도 4 내지 도 16을 참조하여 설명한 내용을 통해서 이해될 수 있을 것이므로, 본 흐름도 설명에서는 생략하도록 한다.

다중 분석부(130)가 복수의 유사도를 출력하면 합성부(140)는 복수의 유사도를 합성하여 최종 유사도를 출력한다(S1750). 합성부(140)가 복수의 유사도를 합성하는 방식은 수학식 1 내지 수학식 8을 참조하여 설명한 바와 같다. 그러나 본 발명은 이에 한정되지 않으며 복수의 유사도를 합성하기 위한 다른 유형의 방식이 사용될 수도 있다.

판별부(150)는 최종 유사도를 소정의 임계값과 비교하여 입력된 얼굴 영상을 분류한다(S1760). 즉, 판별부(150)는 입력된 얼굴 영사에 대한 수락(acceptance) 또는 거절(reject) 여부를 결정한다.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 얼굴 인식 방법 및 장치에 따르면 복수의 특징 분석 기법에 따른 유사도를 합성함으로써, 향상된 얼굴 인식 성능을 나타내는 효과가 있다.

Claims

입력된 얼굴 영상을 리사이징(resizing)하여 해상도, 이미지 사이즈, 및 눈 사이 거리 중에서 적어도 하나가 다른 복수의 얼굴 영상을 제공하는 얼굴 영상 크기 변환부;

상기 복수의 얼굴 영상 각각에 대하여 서로 다른 특징 분석 기법을 사용하여 특징을 추출하고, 상기 추출된 특징을 기준영상으로부터 얻어진 특징과 비교하여 유사도를 제공하는 복수의 분류기;

상기 복수의 분류기 각각이 제공한 복수의 유사도를 합성하는 합성부; 및

상기 합성된 유사도를 사용하여 상기 입력된 얼굴 영상을 분류하는 판별부를 포함하는, 얼굴 인식 장치.
제 1항에 있어서,

상기 합성부는 상기 복수의 유사도에 대한 평균을 계산하여 상기 복수의 유사도를 합성하는, 얼굴 인식 장치.
제 1항에 있어서,

상기 합성부는 상기 복수의 유사도에 대한 가중치 합을 계산하여 상기 복수의 유사도를 합성하는, 얼굴 인식 장치.
제 3항에 있어서,

상기 가중치는 상기 특징 분석 기법들에 대한 동일 오류율의 역수인, 얼굴 인식 장치.
제 1항에 있어서,

상기 합성부는 상기 복수의 유사도에 대한 로그 우도비에 기반하여 상기 복수의 유사도를 합성하는, 얼굴 인식 장치.
제 5항에 있어서,

상기 합성부는 수식
를 이용하여 상기 복수의 유사도를 합성하고,

상기 s_i는 상기 복수의 유사도를 나타내고, 상기
와
는 상기 복수의 특징 분석 기법을 개별적으로 사용하여 학습된 데이터에서 서로 다른 사람을 나타내는 질의영상-기준영상 쌍들로부터 계산된 유사도의 평균과 표준편차이고, 상기
와 는 상기 복수의 특징 분석 기법을 개별적으로 사용하여 학습된 데이터에서 동일한 사람을 나타내는 질의영상-기준영상 쌍들로부터 계산된 유사도의 평균과 표준편차이고, 상기 n은 상기 복수의 유사도의 개수인, 얼굴 인식 장치.
삭제
제 1항에 있어서,

상기 복수의 분류기는,

상기 입력된 얼굴 영상의 전체적 특징을 분석하는 제1 분류기, 상기 입력된 얼굴 영상의 국소적 특징을 분석하는 제2 분류기, 및 상기 입력된 얼굴 영상의 스킨 텍스쳐 특징을 분석하는 제3 분류기 중에서 적어도 하나를 포함하는, 얼굴 인식 장치.
제 1항에 있어서,

상기 복수의 분류기 중 하나는,

상기 복수의 얼굴 영상 중 하나에 대하여 2D 이산 퓨리에 변환을 수행하는 이산 퓨리에 변환부;

상기 2D 이산 퓨리에 변환 결과에서 실수 및 허수 성분과 상기 2D 이산 퓨리에 변환 결과의 크기를 소정의 주파수 대역으로 처리하여 입력 벡터를 제공하는 입력 벡터 제공부;

상기 입력 벡터를 입력 값으로 하는 선형판별분석 작업을 수행하는 선형판별분석부; 및

상기 선형판별분석 작업 결과를 상기 기준영상을 처리하여 얻은 선형판별분석 작업 결과와 비교하여 유사도를 계산하는 유사도 측정부를 포함하는, 얼굴 인식 장치.
제 9항에 있어서,

상기 입력 벡터 제공부는 상기 실수 및 허수 성분과 상기 크기를 서로 다른 복수의 주파수 대역으로 처리하여 상기 입력 벡터를 제공하는, 얼굴 인식 장치.
제 1항에 있어서,

상기 복수의 분류기 중 하나는,

상기 복수의 얼굴 영상 중 하나에서 복수의 기준점을 추출하는 기준점 추출부;

상기 복수의 기준점에 대하여 서로 다른 특성을 갖는 가버 필터들을 적용하여 반응값들을 구하는 가버 필터부;

상기 반응값들을 그룹화하여 얻은 반응값 그룹 별로 선형판별분석을 수행하는 선형판별분석부;

상기 선형판별분석에 따른 결과값 별로 상기 기준영상을 처리하여 얻은 선형판별분석 결과값과의 유사도를 계산하는 유사도 측정부; 및

상기 계산된 유사도를 합성하는 서브 합성부를 포함하고,

상기 서브 합성부에 의한 합성 결과는 상기 복수의 유사도 중 하나인, 얼굴 인식 장치.
제 11항에 있어서,

상기 가버 필터들의 특성은, 상기 가버 필터들의 방향성, 스케일, 가우시안 폭, 및 상 비율 중에서 적어도 하나를 포함하는, 얼굴 인식 장치.
제 12항에 있어서,

상기 반응값들 중에서 상기 가우시안 폭과 상기 상 비율의 조합 별로, 상기 방향성이 동일한 가버 필터들로부터 출력되는 반응값들을 그룹화하고 상기 스케일이 동일한 가버 필터들로부터 출력되는 반응값들을 그룹화하는 분류부를 더 포함하는, 얼굴 인식 장치.
제 1항에 있어서,

상기 복수의 분류기 중 하나는,

상기 복수의 얼굴 영상 중 하나의 LBP 특징을 이용하여 KFDA 기저벡터를 생성하는 기저벡터 생성부;

미리 등록된 얼굴 영상의 LBP 얼굴특징과 커널 LBP 얼굴특징을 이용하여 카이 스퀘어 내적하는 기준영상 카이스퀘어 내적부;

상기 기준영상 카이스퀘어 내적부에 의해 내적된 LBP 특징벡터를 KFDA의 기저벡터에 투영하는 기준영상 KFDA 투영부;

상기 복수의 얼굴 영상 중 하나의 LBP 얼굴 특징과 커널 LBP 얼굴특징을 이용하여 카이 스퀘어 내적하는 질의영상 카이스퀘어 내적부;

상기 질의영상 카이스퀘어 내적부에 의해 내적된 LBP 특징벡터를 상기 KDFA의 기저벡터에 투영하는 질의 영상 KFDA 투영부; 및

상기 기준영상 KFDA 투영부에서 생성된 기준영상 얼굴특징 벡터와 상기 질의 영상 KFDA 투영부에서 생성된 질의영상 얼굴특징 벡터를 비교하여 상기 두 영상의 유사도를 구하는 유사도 측정부를 포함하는, 얼굴 인식 장치.
제 14항에 있어서,

상기 카이 스퀘어 내적은
로 수행되고,

상기
는
인, 얼굴 인식 장치.
입력된 얼굴 영상을 리사이징(resizing)하여 해상도, 이미지 사이즈, 눈 사이 거리 중에서 적어도 하나가 다른 복수의 얼굴 영상을 제공하는 단계;

상기 복수의 얼굴 영상 각각에 대하여 서로 다른 특징 분석 기법을 적용하여 복수의 특징을 추출하고, 상기 복수의 특징을 기준영상으로부터 얻어진 특징들과 비교하여 복수의 유사도를 계산하는 단계;

상기 복수의 유사도를 합성하는 단계; 및

상기 합성된 유사도를 사용하여 상기 입력된 얼굴 영상을 분류하는 단계를 포함하는, 얼굴 인식 방법.
제 16항에 있어서,

상기 합성하는 단계는,

상기 복수의 유사도에 대한 평균을 계산하는 단계를 포함하는, 얼굴 인식 방법.
제 16항에 있어서,

상기 합성하는 단계는,

상기 복수의 유사도에 대한 가중치 합을 계산하는 단계를 포함하는, 얼굴 인식 방법.
제 18항에 있어서,

상기 가중치는 상기 특징 분석 기법들에 대한 동일 오류율의 역수인, 얼굴 인식 방법.
제 16항에 있어서,

상기 합성하는 단계는,

상기 복수의 유사도에 대한 로그 우도비에 기반하여 상기 복수의 유사도를 합성하는 단계를 포함하는, 얼굴 인식 방법.
제 20항에 있어서,

상기 복수의 유사도는
에 의해서 합성되고,

상기 s_i는 상기 복수의 유사도를 나타내고, 상기
와
는 상기 복수의 특징 분석 기법을 개별적으로 사용하여 학습된 데이터에서 서로 다른 사람을 나타내는 질의영상-기준영상 쌍들로부터 계산된 유사도의 평균과 표준편차이고, 상기
와
는 상기 복수의 특징 분석 기법을 개별적으로 사용하여 학습된 데이터에서 동일한 사람을 나타내는 질의영상-기준영상 쌍들로부터 계산된 유사도의 평균과 표준편차이고, 상기 n은 상기 복수의 유사도의 개수인, 얼굴 인식 방법.
삭제
제 16항에 있어서,

상기 복수의 유사도를 제공하는 단계는,

상기 입력된 얼굴 영상의 전체적 특징을 분석하는 단계;

상기 입력된 얼굴 영상의 국소적 특징을 분석하는 단계; 및

상기 입력된 얼굴 영상의 스킨 텍스쳐 특징을 분석하는 단계를 포함하는, 얼굴 인식 방법.
제 16항에 있어서,

상기 복수의 유사도를 제공하는 단계는,

상기 복수의 얼굴 영상 중 어느 하나에 대하여 2D 이산 퓨리에 변환을 수행하는 단계;

상기 2D 이산 퓨리에 변환 결과에서 실수 및 허수 성분과 상기 2D 이산 퓨리에 변환 결과의 크기를 소정의 주파수 대역으로 처리하여 입력 벡터를 제공하는 단계;

상기 입력 벡터를 입력 값으로 하는 선형판별분석 작업을 수행하는 단계; 및

상기 선형판별분석 작업 결과를 상기 기준영상을 처리하여 얻은 선형판별분석 작업 결과와 비교하여 유사도를 계산하는 단계를 포함하는, 얼굴 인식 방법.
제 24항에 있어서,

상기 입력 벡터를 제공하는 단계는,

상기 실수 및 허수 성분과 상기 크기를 서로 다른 복수의 주파수 대역으로 처리하여 상기 입력 벡터를 제공하는 단계를 포함하는, 얼굴 인식 방법.
제 16항에 있어서,

상기 복수의 유사도를 제공하는 단계는,

상기 복수의 얼굴 영상 중 어느 하나에서 복수의 기준점을 추출하는 단계;

상기 복수의 기준점에 대하여 서로 다른 특성을 갖는 가버 필터들을 적용하여 반응값들을 구하는 단계;

상기 반응값들을 그룹화하여 얻은 반응값 그룹 별로 선형판별분석을 수행하는 단계;

상기 선형판별분석에 따른 결과값 별로 상기 기준영상을 처리하여 얻은 선형판별분석 결과값과의 유사도를 계산하는 단계; 및

상기 계산된 유사도를 합성하는 단계를 포함하고,

상기 계산된 유사도의 합성 결과는 상기 복수의 유사도 중 하나인, 얼굴 인식 방법.
제 26항에 있어서,

상기 가버 필터들의 특성은, 상기 가버 필터들의 방향성, 스케일, 가우시안 폭, 및 상 비율 중에서 적어도 하나를 포함하는, 얼굴 인식 방법.
제 27항에 있어서,

상기 선형판별분석을 수행하는 단계는,

상기 반응값들 중에서 상기 가우시안 폭과 상기 상 비율의 조합 별로, 상기 방향성이 동일한 가버 필터들로부터 출력되는 반응값들을 그룹화하고 상기 스케일 이 동일한 가버 필터들로부터 출력되는 반응값들을 그룹화하는 단계를 포함하는, 얼굴 인식 방법.
제 16항에 있어서,

상기 복수의 유사도를 제공하는 단계는,

상기 복수의 얼굴 영상 중 어느 하나의 LBP 특징을 이용하여 KFDA 기저벡터를 생성하는 단계;

미리 등록된 얼굴 영상의 LBP 얼굴특징과 커널 LBP 얼굴특징을 이용하여 카이 스퀘어 내적하여 상기 KFDA의 기저벡터에 투영하고, 상기 복수의 얼굴 영상 중 어느 하나의 LBP 얼굴특징과 커널 LBP 얼굴특징을 이용하여 카이 스퀘어 내적하여 상기 KFDA의 기적벡터에 투영하는 단계; 및

상기 투영 결과를 이용하여 유사도를 구하는 단계를 포함하는, 얼굴 인식 방법.
제 29항에 있어서,

상기 카이 스퀘어 내적은
로 수행되고,

상기
는
인, 얼굴 인식 방법.