KR101254181B1 - 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법 - Google Patents

Abstract

본 발명은 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법에 관한 것으로서, 보다 구체적으로는, (1) CCD 카메라를 이용하여 피사체의 얼굴 영상 데이터를 획득하는 단계, (2) 획득된 얼굴 영상 데이터에 대한 영상 보정, 얼굴 영역 검출, 얼굴 형상(contour) 추출 및 특징 추출의 과정을 수행하는, 전 처리 단계; 및 (3) 방사형 기저함수 기반 신경회로망(Radial Basis Function Neural Networks, 이하 ‘RBFNNs’이라 함)을 이용하여 전 처리된 얼굴 영상 데이터에서 얼굴을 인식하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법에 따르면, CCD 카메라를 이용하여 피사체의 얼굴 영상 데이터를 획득하고, 히스토그램 평활화를 이용한 영상 보정, 아다부스트(AdaBoost) 알고리즘을 이용한 얼굴 영역 검출, ASM을 이용한 얼굴 형상을 추출 및 PCA-LDA 융합 알고리즘을 이용한 특징 추출 과정의 하이브리드 방식으로 획득된 얼굴 영상 데이터를 전 처리하며, 방사형 기저함수 기반 신경회로망(Radial Basis Function Neural Networks, 이하 ‘RBFNNs’이라 함)을 이용하여 얼굴을 인식하고 식별함으로써, 조명이나 배경, 장애물(액세서리)과 같은 다양한 외부요인이 포함된 영상 데이터에서도 인식률이 향상됨과 동시에 인식 속도도 향상될 수 있다.
또한, 본 발명에 따르면, RBFNNs이 조건부, 결론부, 추론부 세 가지의 기능적 모듈로 나뉘어, 조건부는 FCM 클러스터링을 사용하여 입력 공간을 분할하고, 결론부는 분할된 로컬 영역을 다항식 함수로 표현하며, 추론부는 퍼지 추론에 비선형 판별함수로 최종출력하고, 차분 진화 알고리즘(Differential Evolution)을 이용하여 학습률, 모멘텀 계수, FCM 클러스터링의 퍼지화 계수(Fuzzification coefficient)를 최적화함으로써 빠른 학습 수렴과 패턴 분류의 성능이 향상될 수 있다.

Description

하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법{FACE RECOGNITION METHOD USING DATA PROCESSING TECHNOLOGIES BASED ON HYBRID APPROACH AND RADIAL BASIS FUNCTION NEURAL NETWORKS}

본 발명은 얼굴 인신 방법에 관한 것으로서, 보다 구체적으로는 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법에 관한 것이다.

현재 객체(얼굴, 사물) 또는 행동이나 상황과 같은 다양한 패턴분류 및 인식에 관한 연구가 활발하게 진행되고 있다. 패턴인식을 적용할 수 있는 세부응용분야로 생체인식(Biometrics)을 들 수 있는데, 생체 인식은 살아있는 인간의 신체적 또는 행동학적 특징을 자동화된 장치로 측정하여 개인을 식별하는 기술을 의미한다. 이러한 생체인식기술은, 특히 보안시스템에 주로 이용되고 있는데, 최근까지 개인 인증 수단으로 사용되던 암호(Password)나 PIN(Personal Identification Number)방식은 암기를 해야 하고 도난의 우려가 있는 문제점이 있는 반면, 생체 인식의 경우는 암기를 할 필요가 없고 본인이 반드시 있어야 하는 등의 장점으로 인해 기존 방법을 실생활에서 급속도로 보완, 대체하고 있다.

한편, 다양한 인식기술들 중에서 얼굴 인식기술은 비접촉식으로 보안시스템을 사용하는 사용자의 불쾌감이나 불편함이 타 인식기술보다 적다는 장점이 있어, 생체인식 수단인 얼굴 인식을 구현하고자 하는 연구가 지속되고 있는데, 종래의 얼굴 인식 시스템은 조명이나 배경, 액세서리(장애물)와 같은 다양한 외부요인에 대한 대책이 취약한 문제점이 있다. 또한, 종래의 얼굴인식에는 2D영상을 통해 얼굴인식 알고리즘들이 연구되어 왔으며, 얼굴 이외에 국부적인 눈이나, 얼굴 형판 정합에 기반 한 방법 등이 있으나, 이러한 방법들은 이미지가 가지는 데이터나 학습으로 인한 메모리 양과 계산시간 등의 문제점이 있다.

따라서 다양한 외부요인이 포함된 영상 데이터에서도 인식률이 향상됨과 동시에 인식 속도도 향상되는 얼굴 인식 방법에 대한 관심의 증가와 함께, 2D에서 얼굴의 색을 이용하거나(Chris Boehnen, Trina Russ. A Fast Multi-Modal Approach to Facial Feature Detection. Proceedings of the Seventh IEEE Workshop on Applications of Computer Vision (WACV/MOTION'05).2005.), 얼굴의 곡률, 위치 및 형상을 이용(A. Colombo, C. Cusano, R. Schettini. “3D face. Detection using Curvature Analysis”. 4 Int'l Symposium on. Image and Signal Processinand g Analysis. ISPA 2005.)하는 방법 등이 연구되고 있으나, 아직 미비한 실정이다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, CCD 카메라를 이용하여 피사체의 얼굴 영상 데이터를 획득하고, 히스토그램 평활화를 이용한 영상 보정, 아다부스트(AdaBoost) 알고리즘을 이용한 얼굴 영역 검출, ASM을 이용한 얼굴 형상 추출 및 PCA-LDA 융합 알고리즘을 이용한 특징 추출 과정의 하이브리드 방식으로 획득된 얼굴 영상 데이터를 전 처리하며, 방사형 기저함수 기반 신경회로망(Radial Basis Function Neural Networks, 이하 ‘RBFNNs’이라 함)을 이용하여 얼굴을 인식하고 식별함으로써, 조명이나 배경, 장애물(액세서리)과 같은 다양한 외부요인이 포함된 영상 데이터에서도 인식률이 향상됨과 동시에 인식 속도도 향상된, 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, RBFNNs이 조건부, 결론부, 추론부 세 가지의 기능적 모듈로 나뉘어, 조건부는 FCM 클러스터링을 사용하여 입력 공간을 분할하고, 결론부는 분할된 로컬 영역을 다항식 함수로 표현하며, 추론부는 퍼지 추론에 비선형 판별함수로 최종출력하고, 차분 진화 알고리즘(Differential Evolution)을 이용하여 학습률, 모멘텀 계수, FCM 클러스터링의 퍼지화 계수(Fuzzification coefficient)를 최적화함으로써 빠른 학습 수렴과 패턴 분류의 성능이 향상되는, 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법을 제공하는 것을 또 다른 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법은,

(1) CCD 카메라를 이용하여 피사체의 얼굴 영상 데이터를 획득하는 단계;

(2) 상기 획득된 얼굴 영상 데이터에 대한 영상 보정, 얼굴 영역 검출, 얼굴 형상(contour) 추출 및 특징 추출의 과정을 수행하는, 전 처리 단계; 및

(3) 방사형 기저함수 기반 신경회로망(Radial Basis Function Neural Networks, 이하 ‘RBFNNs’이라 함)을 이용하여 상기 전 처리된 얼굴 영상 데이터에서 얼굴을 인식하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 전 처리 단계 중 상기 영상 보정 과정은,

히스토그램 평활화(Histogram Equalization) 기법을 사용하여 이루어질 수 있다.

바람직하게는, 상기 전 처리 단계 중 상기 얼굴 영역 검출 과정은,

아다부스트(AdaBoost) 알고리즘을 이용하여 이루어질 수 있다.

바람직하게는, 상기 전 처리 단계 중 상기 얼굴 형상 추출 과정은,

ASM(Active Shape Model)을 이용하여 이루어질 수 있다.

바람직하게는, 상기 전 처리 단계 중 상기 특징 추출 과정은

주성분 분석법(Principal Component Analysis, 이하 'PCA'라 함) 및 선형판별 분석법(Linear Discriminant Analysis, 'LDA'라 함)의 융합 알고리즘을 이용하여 이루어질 수 있다.

바람직하게는, 상기 단계 (3)에서,

상기 RBFNNs의 구조는 “If-then” 퍼지 규칙으로 표현되며, 조건부, 결론부, 추론부로 나뉘어 기능적 모듈을 수행하되,

상기 “then” 이전의 조건부는 FCM(Fuzzy C-Means) 클러스터링을 이용하여 입력 공간을 로컬 영역으로 상기 로컬 영역의 소속 정도를 퍼지 집합으로 출력하고, “then” 이후의 결론부는 로컬영역을 다항식 함수로 나타내며, 추론부는 상기 조건부의 퍼지 집합과 상기 결론부의 다항식 함수와의 관계에 대한 퍼지 추론을 통해 네트워크의 최종 출력을 수행할 수 있다.

바람직하게는, 상기 단계 (3)에서,

차분 진화(Differential Evolution) 알고리즘을 이용하여 상기 RBFNNs에 사용되는 학습률, 모멘텀 계수, FCM 클러스터링의 퍼지화 계수(Fuzzification coefficient)를 동조하여 최적의 비선형 판별 함수를 생성함으로써 상기 얼굴 영상 데이터로부터 얼굴을 인식할 수 있다.

본 발명에서 제안하고 있는 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법에 따르면, CCD 카메라를 이용하여 피사체의 얼굴 영상 데이터를 획득하고, 히스토그램 평활화를 이용한 영상 보정, 아다부스트(AdaBoost) 알고리즘을 이용한 얼굴 영역 검출, ASM을 이용한 얼굴 형상을 추출 및 PCA-LDA 융합 알고리즘을 이용한 특징 추출 과정의 하이브리드 방식으로 획득된 얼굴 영상 데이터를 전 처리하며, 방사형 기저함수 기반 신경회로망(Radial Basis Function Neural Networks, 이하 'RBFNNs' 이라 함)을 이용하여 얼굴을 인식하고 식별함으로써, 조명이나 배경, 장애물(액세서리)과 같은 다양한 외부요인이 포함된 영상 데이터에서도 인식률이 향상됨과 동시에 인식 속도도 향상될 수 있다.

또한, 본 발명에 따르면, RBFNNs이 조건부, 결론부, 추론부 세 가지의 기능적 모듈로 나뉘어, 조건부는 FCM 클러스터링을 사용하여 입력 공간을 분할하고, 결론부는 분할된 로컬 영역을 다항식 함수로 표현하며, 추론부는 퍼지 추론에 비선형 판별함수로 최종출력하고, 차분 진화 알고리즘(Differential Evolution)을 이용하여 학습률, 모멘텀 계수, FCM 클러스터링의 퍼지화 계수(Fuzzification coefficient)를 최적화함으로써 빠른 학습 수렴과 패턴 분류의 성능이 향상될 수 있다.

도 1은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 순서도.
도 2 및 도 3은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전체적인 흐름도.
도 4는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 히스토그램 평활화에 의한 영상 보정 과정을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 얼굴 영역 검출 과정에 이용되는 AdaBoost의 Haar-like feature의 프로토타입을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 얼굴 영역 검출 과정에서, AdaBoost가 연속적인 연결 구조로 구성된 것을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 얼굴 형상 추출 과정에서, 얼굴 영역의 주변에 경계점을 위치시킨 상태를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 얼굴 형상 추출 과정에서, 서로 다른 좌표계에 위치한 학습 집합을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 얼굴 형상 추출 과정에서, 각 특이점의 이동을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 ASM에 의한 얼굴 형상 추출 결과를 도시한 도면.
도 11은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법에서, RBFNNs의 구조를 도시한 도면.
도 12는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법에서, 목적함수에 따른 차분 진화 알고리즘을 이용한 최적의 파라미터 벡터의 구조를 도시한 도면.
도 13은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 실험예 1에서, 얼굴 형상 추출과정을 도시한 도면.
도 14는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 실험예 1에 의해 구축된 얼굴 영상 데이터를 도시한 도면.
도 15는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 실험예 2에서, 데이터 전처리 단계 중 형성된 평균 얼굴 및 고유 얼굴을 도시한 도면.
도 16은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 실험예 2에서, 실시간 얼굴 인식을 위해 실시간으로 획득한 후보인물의 이미지와 가중치를 도시한 도면.
도 17은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 실험예 2에서, 인식후보인물의 판별 과정을 도시한 도면.
도 18은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 실험예 3에서, 장애요인으로 모자를 착용한 테스트 이미지를 도시한 도면.
도 19는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 실험예 3에서, 장애요인으로 휴대폰을 사용하는 테스트 이미지를 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 순서도이고, 도 2 및 도 3은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전체적인 흐름도이다.

도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법은, CCD 카메라를 이용하여 피사체의 얼굴 영상 데이터를 획득하는 단계(S100), 획득된 얼굴 영상 데이터에 대한 영상 보정, 얼굴 영역 검출, 얼굴 형상(contour) 추출 및 특징 추출의 과정을 수행하는, 전 처리 단계(S200) 및 방사형 기저함수 기반 신경회로망(Radial Basis Function Neural Networks, 이하 ‘RBFNNs’이라 함)을 이용하여 전 처리된 얼굴 영상 데이터에서 얼굴을 인식하는 단계(S300)를 포함하여 구성될 수 있다.

단계 S100에서는, CCD 카메라를 이용하여 피사체의 얼굴 영상 데이터를 획득한다.

단계 S200에서는, 단계 S100에 의해 획득된 얼굴 영상 데이터를 전 처리 하며, 보다 구체적으로는 영상 보정, 얼굴 영역 검출, 얼굴 형상(contour) 추출 및 특징 추출의 과정을 수행한다.

이하에서는 단계 S200에 대해 도 4 내지 도 10을 참조하여 더욱 상세하게 설명하도록 한다.

단계 S200에 의한 전 처리 단계 중 영상 보정 과정은, 조명으로 인한 얼굴 영상 데이터의 왜곡현상을 개선하기 위한 과정이다. 즉, 디지털 영상(Digital image)에는 인공조명이나 자연조명이 포함되며 조명광의 세기가 강하거나 약하여 영상의 식별에 어려움을 주는 경우가 발생할 수 있다. 이를 해결하기 위해, 영상에서 표현하고자 하는 명암도(Gray level)의 범위, 명암도의 동적 영역(Dynamic range)을 늘림으로써 화질을 향상시키는 것이 바람직하며, 더욱 바람직하게는, 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 동적 영역을 증가시킴으로써 영상에 대한 화질을 개선시킬 수 있다.

히스토그램 평활화는 밝기 기반 화소 처리를 이용한 디지털 영상처리 방법으로서, 입력으로 받아들인 영상에 대한 화질을 개선하여 조명으로 인한 왜곡현상을 보완한다. 보다 구체적으로, 히스토그램 평활화는 하기의 세 단계를 통해 수행될 수 있다.

먼저(step 1), 영상의 히스토그램을 생성하며, 보다 구체적으로 범위 [0, G]에서 전체 L개의 가능한 밝기 레벨을 갖는 디지털 영상의 히스토그램은 하기의 수학식 1의 불연속 함수로 정의된다.

여기서, r_k는 구간 [0, G]의 k번째 밝기 레벨이며, n_k는 영상에서 밝기 레벨이 r_k인 화소 수이다. 한편, G의 값은 8비트 영상에서는 255이다.

다음으로(step 2), 히스토그램의 값을 정규화하여 누적합을 계산한다. 즉, 정규화된 히스토그램으로 작업하는 게 편리한바, 하기의 수학식 2와 같이, 단순히 h(r_k)의 모든 요소들을 영상의 전체 화소 수(n)로 나누어 계산함으로써 히스토그램의 값을 정규화한다.

여기서, k=1,2,...,L이다. 기초 확률로부터, p(r_k)가 밝기 레벨 r_k의 추정 발생 확률임을 알 수 있으며, 하기의 수학식 3에 따라 누적합을 계산한다.

여기서, k=1,2,...,L이며, s_k는 입력 영상의 밝깃값 r_k에 대응하는 출력(처리된) 영상의 밝깃값이다.

마지막으로(step 3), 입력 영상의 화소 위치를 따른 출력 값을 다시 매핑하여 결과 영상을 생성한다.

도 4는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 히스토그램 평활화에 의한 영상 보정 과정을 도시한 도면이다. 즉 도 4의 (a)는 입력 영상에 대한 히스토그램을 나타낸 것이고, 도 4의 (b)는 영상 보정에 대한 히스토그램 평활화된 입력 및 출력 영상을 도시한 도면이다.

단계 S200에 의한 전 처리 단계 중 얼굴 영역 검출 과정에서는, 영상 보정 과정을 통해 보정된 영상 데이터로부터 얼굴 영역과 비-얼굴 영역을 분류하여 검출하며, 보다 구체적으로는, 아다부스트(AdaBoost) 알고리즘을 이용하여 이루어지는 것이 바람직하다. 즉, 아다부스트(AdaBoost) 알고리즘은 2차원 8-Bit 흑백 영상을 사용하여 학습된 특징 데이터(Feature Data)를 중심으로 비교 연산하여 입력으로 들어오는 영상 정보 중에서 얼굴만을 검출한다.

아다부스트(AdaBoost) 알고리즘은 Viola와 Jones가 제안한 부스트 알고리즘 중의 하나로서, 약한 분류기(Weak classifier)가 선형적으로 결합하여 최종적으로 높은 검출 성능을 갖는 강한 분류기(Strong classifier)를 형성하도록 한다. 훈련 과정에서 얼굴 영상(Positive image)과 배경 영상(Negative)을 입력받아 둘의 차이를 잘 나타내주는 특징들을 선택하며, 선택된 약한 분류기들을 아다부스트 알고리즘을 사용해 선형적으로 결합하여 강한 분류기를 생성한다. 최종적으로 생성된 분류기는 얼굴과 비 얼굴을 검출할 수 있는 분류기가 될 수 있다. 아다부스트 알고리즘을 이용한 얼굴검출은 할라이크 특징(Haar-like feature)과 적분 이미지(Integeral image)를 통해 빠른 속도로 계산하여 얼굴을 검출한다.

보다 구체적으로, 도 5는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 얼굴 영역 검출 과정에 이용되는 AdaBoost의 Haar-like feature의 프로토타입을 도시한 도면이다. 도 5에 도시된 바와 같이, 할라이크 특징은 검은색과 흰색의 직사각형 형태로 이루어져 있으며 서로 인접하여 있다. 각 영역 안에 위치한 픽셀들의 값을 더하여 영역의 합을 구한 뒤 그 값들에 가중치를 곱한 값의 합을 구하여 특징값을 계산할 수 있다.

특징값은 입력 영상에서 윈도우를 이동시키며 구한다. 즉, 윈도우의 크기가 W×H 픽셀일 때 윈도우 내의 직사각형 r=(x, y, w, h)로 표현한다면, x와 y는 직사각형 r의 왼쪽 가장 상단의 점의 x좌표와 y좌표를 각각 나타내며 w와 h는 직사각형의 너비와 높이를 나타낸다. 조건식은 0≤x, x+w≤W, 0≤y, y+h≤H, w≥0, h≥0을 만족하며, 사각형의 픽셀 값의 합을 RecSum(r)이라 하면 특징값은 하기의 수학식 4와 같이 계산될 수 있다.

여기서 I=1, …, N이며, w_i는 r_i의 가중치이다.

초기 특징 집합들은 크기와 위치가 다양하게 변경되어 구성된다. Viola와 Jones는 얼굴 검출을 위한 서브 원도우의 기본 크기를 24×24로 하고 있는데, 이는 24×24의 픽셀 내에 도 5와 같은 4종류의 모양이 있는 가능한 모든 크기의 특징이 가능하다는 것을 의미한다. 만약 4개의 특징으로 최초 8×8의 크기에서 가로, 세로 크기를 1씩 증가시키면서 24×24 크기까지 영상 내의 모든 곳을 검사하는 특징을 만든다면 초기 특징 집합의 개수는 하기의 수학식 5와 같이 계산할 수 있다.

예컨대, 윈도우의 크기가 24×24라고 할 때, 수학식 5를 통해 구한 초기 특징 집합의 개수는 총 93,636개의 특징 집합을 구성할 수 있다.

또한, 할라이크 특징(Haar-like feature)들은 직사각형 형태이므로 적분 이미지를 이용하여 매우 빠른 속도로 계산될 수 있으며, 이는 하기의 수학식 6으로 표현할 수 있다.

여기서 ⅱ(x,y)는 적분 이미지, i(x,y)는 원본 이미지를 나타낸다. 적분 이미지는 처음 영상이 들어왔을 때 픽셀 값을 합한 한 번의 계산으로 합산 영역 테이블(SAT; Summed Area Table)을 생성하며, 이렇게 구해진 적분 이미지를 이용하면 실제 원하는 위치의 픽셀 값들의 합을 구할 때 빠른 계산이 가능한 장점이 있다.

이와 같은 아다부스트 알고리즘을 이용한 분류기는 초기 특징 집합과 얼굴, 배경으로 구성된 훈련 영상을 이용하여 분류 학습을 하며, 훈련 과정에서 분류를 위한 특징들이 선택되므로 얼굴에 관한 선행 지식이 필요 없다는 장점이 있다. 효율적인 분류기를 만드는 것은 적은 수로도 얼굴을 잘 검출할 수 있는 특징 집합을 찾는 것이다. 이를 위해 아다부스트는 낮은 분류 성능을 보이는 간단한 형태의 약한 분류기들을 선형적으로 결합하여 강한 분류기를 만든다. Freund와 Schapire(Y. Freund and R. E. Schapire, “A decision-theoretic generalization of on-line learning and an application to boosting,” In Computational Learning Theory: Eurocolt '95, pp. 23-37. Springer-Verlag, 1995.)는 Positive 영상과 Negative 영상이 유한할 때 충분한 훈련을 거친 강한 분류기의 에러가 0에 근접하다는 것을 증명하였다.

수학식 7은 약한 분류기를 나타내며, 여기서, f_i는 feature, θ_j는 threshold, p_j는 parity이다.

약한 분류기는 윈도우 내의 할라이크 특징들 중 얼굴과 배경을 가장 잘 분류하는 하나의 특징을 선별하며, 이를 위해 적분 이미지를 통해 구한 픽셀 값의 합을 이용하여 에러가 최소화되는 문턱 값을 찾는다. 이렇게 구한 약한 분류기들을 선형적으로 결합하여 최종적인 강한 분류기를 구성하며, 보다 구체적으로, 아다부스트 훈련 알고리즘은 하기의 네 단계를 통해 수행될 수 있다.

먼저(step 1), 훈련 영상의 목적 값을 초기화한다. 즉, 훈련 영상은 얼굴 영상과 배경 영상으로 구분되어 입력되며, x_i는 각각의 훈련 영상이며 y_i는 얼굴 영상인지 배경 영상인지를 나타낸다. 보다 구체적으로, 주어진 훈련 영상 (x₁,y₁), …, (x_n,y _n )에서 얼굴 영상은 y_i=1, 배경 영상은 y_i=0이다.

다음으로(step 2), 비중을 초기화한다. 즉, y_i=0,1 일 때 각각

이며, 여기서 m은 배경 영상의 수이고, l은 얼굴 영상의 수이다.

다음으로(step 3), t=1, …, T를 반복하면서 비중을 조정한다. 아다부스트 알고리즘에서 비중은 이전단계의 에러에 의해 결정되는데, 에러가 큰 경우에는 에러가 작은 경우에 비해 비중을 많이 증가시킨다. 훈련 초기에는 큰 특징들을 통해 얼굴 영상의 에러를 줄이며 뒤로 갈수록 어려운 특징들을 통해 얼굴과 배경을 구별하기 힘든 영상을 판별한다. 따라서 계층의 앞 부분은 크기가 크고 특징의 수가 작고 후반부에는 크기가 작고 특징의 수가 많게 된다. 보다 구체적으로, 하기의 수학식 8과 같이 비중을 정규화하고, 수학식 9와 같이 각 feature j로 분류기 h_j를 훈련하며, 이때 w_t를 고려하여 에러를 구한다. 그 후, 에러 ε_t가 가장 작은 분류기 h_t를 선택하고, 수학식 10과 같이 비중을 업데이트 한다.

여기서, w_t는 확률 분포이다.

여기서 훈련 영상 x_i가 잘 분류되었으면 e_i=0이고, 그 이외에는 e_i=1,

이다.

마지막으로, 비중이 조정된 약한 분류기들이 선형적으로 결합하여 최종적으로 강한 분류기를 생성하며, 이는 하기의 수학식 11과 같이 표현될 수 있다.

여기서,

이다.

한편, 아다부스트 알고리즘이 다른 얼굴 검출 알고리즘에 비해 좋은 성능을 보이기 위해서는 많은 수의 훈련 영상과 약한 분류기가 필요하다. 하지만 이 경우 훈련시간과 검출 시간이 늘어나게 되는 문제점이 있는바, 계산량을 줄이기 위해, 도 6에 도시된 바와 같이, 연속적인 연결 구조로 분류기를 구성하는 것이 바람직하다.

도 6에 도시된 바와 같이, 연속적인 연결 구조로 분류기를 구성하는 것은 초기 단계에서 얼굴 영상을 유지한 채 배경 영상들이 제거되고 뒤로 갈수록 복잡하고 구별하기 힘든 특징을 찾는 방법으로서, 이를 위해 단계별로 50% 정도의 오판율(false positive rate)을 감수하며 100%에 가까운 얼굴 검출률(hitrate)을 갖도록 한다. 이는 분류기로써 사용하기에는 부적합 하지만 연속적인 연결 구조를 통해 분류기로 사용할 수 있는 성능을 갖게 된다.

여기서, F는 최종 false positive rate, K는 분류기 개수, f_i는 i번째 스테이지의 false positive rate이다.

여기서 H는 최종 hitrate, K는 분류기 개수, h_i는 i번째 스테이지의 hitrate이다.

다시 말해, 수학식 13에서 보는 것과 같이, 각 스테이지의 오검출률이 50%라고 해도 10단계를 거치는 동안 0.1%로 줄어들며, 각각의 스테이지마다 99%의 검출률을 가지면 10단계를 거치면 90%의 검출률을 보이는 최종 분류기가 생성될 수 있다.

단계 S200에 의한 전 처리 단계 중 얼굴 형상 추출 과정에서는, 얼굴 영역 검출 과정을 통해 검출된 얼굴 영역으로부터 얼굴 형상을 추출한다. 즉, 검출된 얼굴 영상의 화소 정보를 모두 사용할 경우 인식에 불필요한 잘못된 정보가 포함될 뿐 아니라 패턴분류기에 의한 학습과 인식 속도가 느려지는 문제점이 있다. 이를 해결하기 위해, 단계 S200에 의한 전 처리 단계 중 얼굴 형상 추출 과정에서는, 검출된 얼굴 영역으로부터 얼굴 인식에 필요한 얼굴 영역 정보인 얼굴 윤곽선을 검출하고, 형상을 추출하며, 보다 구체적으로는 ASM(Active Shape Model)을 이용하여 이루어지는 것이 바람직하다.

ASM은 Cootes 등에 의해 제안된 방법으로 물체의 외형의 정보를 학습시키고 이 정보를 바탕으로 물체의 평균 형태에 변형을 가하여 새로운 이미지 내에서 물체의 외형을 찾는 방법이다. 즉, n차원의 특징벡터를 많은 후보군에서 측정한다면 이 벡터의 각각의 요솟값들은 어떤 평균값을 중심으로 분포를 이루게 되며 n차원의 벡터는 n개 방향의 분포를 나타내게 된다. 다시 말해, n차원의 고차공간에서 하나의 후보는 한 점을 표현하게 되며, 여러 후보는 평균점을 중심으로 분포를 이루게 되어 분포가 큰 방향과 작은 방향이 존재하게 된다. 이러한 후보 점들의 고유벡터(Eigenvector)를 추출하면, 이 벡터들은 이 분포의 방향을 가리키게 되며, 이들 중에서 고유 값(Eigenvalue)이 가장 큰 대표 벡터에 대응하는 M'개의 벡터만을 추출한다면 이 M'개의 벡터가 후보 점들의 대표 거동(Behavior)을 묘사하게 될 수 있다.

보다 구체적으로, ASM을 이용하여 물체 경계점들의 집합으로 얼굴의 형태를 표현할 수 있으며, 학습 데이터는 얼굴의 다양한 정보를 표현할 수 있도록 다양한 얼굴 이미지데이터를 이용하고 학습데이터의 개수를 많이 사용하는 것이 정확도를 높일 수 있다. ASM을 적용하기 위해서 얼굴영역의 주변 경계선을 따라 분석하는데, 도 7에 도시된 바와 같이, 얼굴영역의 주변에 경계점을 위치시키며, 이때 경계점의 개수는 22개로 사용하는 것이 바람직하며, 경계점 좌표는 하기의 수학식 14와 같이 벡터로 표현할 수 있다.

또한, 학습 영상에 있는 얼굴의 크기 및 형태가 다양하기 때문에, 얼굴을 구성하는 점들의 좌표값은 영상마다 다르다. 따라서 이들을 대표하는 하나의 모델을 구성하기 위하여 동일 크기, 방향을 갖고 무게중심의 좌표가 동일하도록 정규화하는 과정이 필요하다. 즉, 도 8에 도시된 바와 같이, 학습 집합이 서로 다른 좌표계에 위치할 수 있는바, 각 학습 집합에서 기준이 되는 기준벡터를 정하고 그 기준벡터에 근사적으로 정렬하는 과정이 필요하다. 여기서, X_t,Y_t는 얼굴의 중심점의 위치, s는 얼굴의 크기(Scale), θ는 얼굴의 회전정보를 나타낸다.

수학식 15는 얼굴 모델의 Pose, Shape를 나타내며, 수학식 16을 통해 기준벡터를 정하고 학습 집합의 평균 벡터를 구할 수 있다.

한편, 모델링을 보다 간단히 하기 위해서 데이터의 변화를 거의 유발하지 않으면서도 간단히 다룰 수 있는 수준으로 차원을 줄일 필요가 있는데, 주성분 분석법(PCA; Principal Component Analysis)을 통해 이러한 문제를 해결할 수 있다. 특징 데이터는 특징 벡터의 차원의 수만큼 존재하는 기준 축을 기준으로 표현된다. 데이터의 주성분에 해당하는 주축을 통계적인 방법에 의하고 구해진 주축 방향으로 특징 벡터를 사영(Projection)시킴으로써 차원이 축소된 특징을 추출할 수 있다. 이러한 특징은 M(Eigenvector) 값을 통해서 데이터의 특징을 표현된다. M=[M₁,M₂,…,M_t]은 크기순으로 정렬된 고유벡터이다. 고유벡터는 고유 값(λi)에 대응되는데, 지극히 작은 고유 값은 얼굴 모델에 크게 반영하지 못하므로 고유 값이 큰 순서대로 n개를 선택하여 고유벡터(M)를 생성한다. 원래의 영상에서 98%이상의 유사도를 유지하도록 고유벡터의 개수를 구하기 위해서는, 선택된 고유벡터에 대응되는 고유 값들의 합이 전체의 98%이상이 되도록 개수(n)를 정하는 것이 바람직하다. 고유벡터에 대응되는 b는 b=(b₁,b₂,…,b_t)^T로 구성된 고유벡터들의 가중치로 이러한 고유벡터와 가중치를 이용하여 모델을 표현할 수 있다.

또한, 얼굴의 경계선에 위치한 특징점에 대하여 화소 값 분포를 이용하여 특징점을 설정하고 이전 과정에서 구성한 얼굴 모델과 함께 얼굴 경계 형상을 추적한다. 에지를 이용하여 얼굴 형상을 검색하는 기존에 특징점 추적방법을 이용하지 않는 이유는 얼굴 형상이 구성하는 각 점이 얼굴의 외곽선에 정확히 존재하지 않고 얼굴 외곽선 부근에 다양한 에지가 존재하여 에지 정보를 사용하기 어렵기 때문이다. 따라서 본 발명에서는, 각 점에 인접한 영역의 화소 값 분포를 이용하여 얼굴 경계에 대한 특징을 설정한다. 즉, 특징점의 인식과정은, 도 9에 도시된 바와 같이, 각 특이점이 한 점씩 독립적으로 이동하여 인식되며, 이 과정은 인접한 주변의 포인트(X_i)의 얼굴이미지 주변의 각 점의 픽셀정보를 검색하여, 새로운 좌표값을 찾는 과정이다. 보다 구체적으로, 얼굴 주변의 각 특이점은 양쪽 방향으로 j개 픽셀 폭을 가지며, 이때 2j+1개의 픽셀을 갖는 값을 g_i로 정한다. 특정한 한 포인트 위치에 대해, 각각의 학습 집합의 g_i를 얻어서, 평균(

)과 공분산행렬(Sg)을 구한 후, 모델 포인트부터 시작하여 화소 값의 분포(G_s)를 구한다. 이때 분포(G_s)는 중심에서 양쪽으로 m개의 화소 값을 취하는데 m>j로 구성한다. 분포(G_s)에서 차례로 2j+1개의 값을 취하여 g_s를 구성하고 이 g_s들 중에서

와 가장 비슷한 부분을 찾는데, 이때 새로운 포인트는 하기의 수학식 18에 의한 Mahalanobis거리를 이용하여 결정한다.

Mahalanobis거리가 최소화되는 점을 직교방향을 따라서 새로운 포인트 위치가 결정되고, 22개의 특징점을 학습하여 가장 비슷한 g_s값을 찾아서 각 특징점이 독립적으로 이동하여 경계선이 이동됨으로써, 얼굴의 형상이 추출될 수 있으며, 도 10은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 전 처리 단계 중 ASM에 의한 얼굴 형상 추출 결과를 도시한 도면이다.

단계 S200에 의한 전 처리 단계 중 특징 추출 과정은, 검출된 얼굴 형상에서 특징을 추출하며, 보다 구체적으로는 주성분 분석법(Principal Component Analysis, 이하 'PCA'라 함) 및 선형판별 분석법(Linear Discriminant Analysis, 'LDA'라 함)의 융합 알고리즘을 이용하여 이루어지는 것이 바람직하다.

PCA는 고차원 특징 벡터를 저차원 특징 벡터로 축소하는 특징 벡터의 차원 축소(Dimension reduction)뿐만 아니라, 데이터 시각화와 특징 추출에도 유용하게 사용되는 데이터 처리 기법 중의 하나로서, PCA 변환을 통해 입력 벡터의 차원을 감소시키는 것은 데이터 분포에 대한 정보는 그대로 유지하는 반면, 계산상의 부하를 감소시키고, 노이즈를 제거하며, 데이터 압축과 같은 효과를 가질 수 있도록 한다. 한편, 얼굴 인식에 있어서, 영상의 변화가 각 얼굴 자체의 변화 때문인지 아니면 이 외에 조명이나 표정의 변화 때문인지 구분을 할 수 없는 바, 얼굴 영상을 축소하는 것보다 서로 다른 개인의 얼굴을 잘 분리해서 표현하는 것이다 더욱 중요하다. LDA 방법은 바로 이런 개인의 변화와 그 밖의 다른 요인에 의한 변화를 구분할 수 있도록 하는데 이는 곧, 입력 데이터의 위치가 변하는 것이 아니라, 주어진 클래스가 확실히 구별될 수 있도록 판별 선을 그려주기 때문에 집단 간의 겹침이 발생하는 것을 막아줄 수 있다. 이 점을 고려하여, PCA를 이용하여 구한 특징 벡터에서 조명 변화, 표정 변화, 가려짐 등을 포함하는 가장 큰 고유 값 몇 개에 해당하는 고유벡터를 제거한 후 LDA를 적용함으로써 더욱 효과적인 분류가 되어 인식률을 향상시키는 결과를 얻을 수 있으며, 보다 구체적으로는 아홉 단계를 통해 수행될 수 있다.

먼저(step 1), 전역변수를 설정하며, 이때 "row, col"은 이미지의 기본 size를 나타내고, "Class"는 이미지 인식의 대상이 되는 사람의 수를 나타낸다. 또한, "Eigen"은 이미지에 대한 고유성을 지녀 비교 기준을 갖는 Eigen Value의 수를 몇 개로 할 것인지를 설정한다(보통 1에서부터 Training수 - Class 수만큼 설정할 수 있다).

다음으로(step 2), Training 행렬의 평균을 구하며, 보다 구체적으로는, Training 행렬의 행의 요소를 횡으로 모두 더하여 기준이 되는 전체 이미지에 대한 평균을 구한다.

다음으로(step 3) 공분산 행렬(Convariance Matrix)을 구하며, 보다 구체적으로는 Training 행렬의 각 이미지(열의 요소)에서 Training 행렬의 평균을 차감하고, 위의 행렬과 위의 행렬의 전치 행렬을 곱하여 공분산 행렬을 구한다.

다음으로(step 4), PCA 벡터를 생성한다. 즉, Training 행렬의 공분산 행렬을 이용하여 Training 행렬의 Eigen Value와 Eigen Vector를 구한다. 이미지를 인식하기 위해서 이미지가 지니는 고유 성분을 알아내기 위하여 사용되는 Eigen Value와 Eigen Vector는 거의 오차가 없는 0에 가까운 성분을 택하기보다는 평균 이미지와 구분이 되는 성분을 추출해야 하며, 이러한 성분은 행렬의 밑으로 내려갈수록 많아지게 되는바, 이를 추출한다. 추출된 Eigen Vector의 Eigen Value 값으로 각 이미지의 고유성분을 분별하여 이미지 인식에 기준이 되는 PCA Vector를 생성한다. PCA Vector를 이용해서 이미지 인식을 할 수 있지만 이보다 더 정확한 인식을 위하여 하기의 LDA 알고리즘을 추가로 이용한다.

다음으로(step 5), PCA로 각 이미지를 고유한 특성을 띄도록 차원(Dimension)을 줄인 행렬을 이용한다.

다음으로(step 6), PCA에서 구현했던 내용과 동일하게 차원이 줄어든 행렬의 횡에 대한 전체 평균을 구한다. 각 이미지는 모두 다른 표정 및 각도로 구성되어 있으므로 LDA를 구현하기 위해서는 반드시 주어진 개인의 이미지의 평균이 필요하며, 각 Class에 주어진 이미지 행의 평균을 구한다.

다음으로(step 7), 클래스 간 공분산 행렬(Sb; Between Class의 Covariance Matrix)을 구한다. 보다 구체적으로, 각 Class의 평균(횡)에서 PCA를 통하여 변환된 이미지의 전체 평균(횡)을 차감하고, 위와 같이 구한 행렬과 이 행렬의 전치 행렬을 곱하여 클래스 간의 공분산 행렬을 구한다.

다음으로(step 8), 클래스 내 공분산 행렬(Sw; Within Class의 Covariance Matrix)을 구한다. 보다 구체적으로, PCA에서 Eigen Vector값으로 추출한 각 열의 이미지에서 각 Class의 평균(횡)에서 PCA를 통하여 변환된 이미지의 전체 평균(횡)을 차감한 행렬을 구하고, 위의 행렬과 이 행렬의 전치 행렬을 곱하여 클래스 내 공분산 행렬을 구한다.

마지막으로(step 9), LDA 벡터를 생성한다. 즉, 이미지의 인식을 위한 기준 벡터를 생성하는 과정으로 Within Class의 역행렬과 Between Class를 곱한 후, 위의 행렬의 고유 벡터와 고유 값을 구한다. 고유 벡터와 PCA에서 생성한 각 이미지의 고유 벡터의 곱을 구함으로써 이미지 인식을 할 때 기준이 되는 벡터가 생성되며, 이 벡터는 각 이미지별로 고유한 성분을 고유 값만큼씩 저장하고 있게 된다. LDA 알고리즘을 추가함으로써 고유성분이 비슷한 이미지를 Class로 묶이게 되고, 비교되는 범위가 확장되므로 좀 더 정확한 이미지의 인식이 가능하게 된다.

단계 S300에서는, RBFNNs를 이용하여 단계 S200에 의해 전 처리된 얼굴 영상 데이터에서 얼굴을 인식한다.

이하에서는 단계 S300에 대해 도 11 및 도 12를 참조하여 더욱 상세하게 설명하도록 한다.

도 11은 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법에서, RBFNNs의 구조를 도시한 도면이다. 도 11에 도시된 바와 같이, RBFNNs는 조건부, 결론부, 추론부로 세 가지의 기능적 모듈로 나뉘어 네트워크 구조로 형성된다. 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법의 단계 S300에서 이용되는 RBFNNs는 입력층, 1개의 은닉층, 출력층으로 구성된 일반적인 신경회로망 구조에 기반을 두지만, 기존 기법들과는 달리, 입력 공간의 특성 반영을 위해 활성 함수로 FCM(Fuzzy C-Means) 클러스터링에 의한 분할 함수를 사용하며, 비선형 특성의 판정 경계를 위해, 상수항 연결가중치가 아닌 다항식 연결가중치 w=f(·)를 이용한다. 뿐만 아니라 제안된 RBFNNs 구조는 기능적 모듈로 동작하며, 이는 퍼지 추론 메커니즘의 특징을 나타낸다. 또한, RBFNNs 구조는 FCM 클러스터링 분할 함수와 다항식의 적용으로부터 하기의 수학식 19의 퍼지 규칙 표현과 같이 언어적 관점에서 해석될 수 있다.

수학식 19에 나타낸 바와 같이, RBFNNs의 구조는 언어적 해석 관점에서 "If-then" 퍼지 규칙으로 표현되며, 여기서, x는 입력 벡터, A_i는 FCM 클러스터링에 의한 i(=1,…,c)번째 그룹의 소속 함수(membership function or partition matrix), f_ji(x)는 j(=1,…,s)번째 출력에 대한 i번째 퍼지 규칙의 다항식이다.

"then" 이전의 조건부는, FCM 클러스터링을 이용함으로써 네트워크 구조 측면에서는 활성 함수를, 언어적 측면에서는 소속 함수의 기능을 수행한다. 즉, FCM 클러스터링을 사용하는 RBFNNs의 조건부 기능은 학습 데이터(Training Data)의 특성 반영을 위해 입력 공간을 c개의 클러스터 수(퍼지 규칙 수)만큼의 로컬 영역으로 분리하고 각 로컬 영역의 소속 정도를 퍼지 집합으로서 출력한다. FCM 클러스터링 방법은 각 데이터와 특정 클러스터 중심과의 거리에 소속 정도를 부여하고 이 소속 정도에 따라 데이터를 분류하는 알고리즘으로서, 하기의 수학식 20과 같은 목적함수를 최소화함으로써 입력데이터의 각 클러스터에 대한 소속 값을 구한다.

여기서, c는 클러스터의 개수(퍼지 규칙 수), N은 입력 패턴 수, m은 퍼지화 계수이고 m은 1.0보다 크다. x_k는 k번째 입력 벡터이고 v_i는 i번째 클러스터의 중심이다. u_ik는 k번째 데이터가 i번째 클러스터에 속하는 소속 정도를 나타내는 0과 1 사이의 실수로 하기의 수학식 21과 수학식 22의 조건을 만족한다.

한편, 수학식 20의 ∥∥는 하기의 수학식 23으로 표현되는 가중 유클리디안 거리(Weighted Euclidean Distance)를 사용하며, 이로 인해 데이터 크기 분포에 크게 영향을 받지 않는 알맞은 거리 정보를 제공할 수 있다.

여기서, σ_j는 입력 패턴들의 j번째 입력 차원의 표준편차이다.

n차원 유클리드 공간상의 N개의 패턴으로 구성된 입력 벡터 집합 X={x₁,x₂,…,x_N}, x_k∈Rⁿ, 1≤k≤N과 클러스터 중심 v={v₁,v₂,…,v_c}, v_i∈Rⁿ, 1≤i≤c에 대한 소속 정도를 소속행렬로 표현하면 U={u_ik}로 표현되고 u_ik와 v_i는 하기의 수학식 24와 수학식 25에 의해 각각 계산된다.

FCM 클러스터링은 수학식 24와 수학식 25를 반복적으로 수행하면서 소속행렬 U와 각 클러스터의 중심 v_i(i=1,…,c)를 수정하며, 수학식 21의 목적함수 Q(U,v₁,v₂,…,v_c)를 특정 값으로 수렴시킨다.

한편, 퍼지화 계수 "m"은 각 클러스터의 소속 함수의 형태를 결정하는 매우 중요한 요소이고, 일반적으로 2를 사용하며 2를 기준으로 2보다 작을 경우 각 클러스터 영역 간의 중첩되는 영역이 감소되어 1과 0 부근의 소속 정도를 갖는 영역이 늘어나고 퍼지 집합이 아닌 크리스프 집합(crisp set)의 특성을 나타내는 영역이 증가한다. 2보다 클 경우 클러스터 중심점이 뾰족한 모양의 퍼지 집합이 생성되어 서로의 클러스터에 대한 소속 값의 차이가 적어지는 특징이 있다. 이러한 퍼지화 계수의 특징은 RBFNNs의 소속 함수의 형태를 결정하는 중요한 요소인바, 차분 진화(DE; Differential Evolution) 알고리즘으로 입력 데이터 집합과 규칙 수에 따른 최적화된 퍼지화 계수를 동조하는 것이 바람직하며, 이에 대해서는 후술할 도 12를 참조하여 상세히 설명하도록 한다.

결론부는, 조건부에서 분리한 각 로컬 영역을 다항식 함수의 로컬 회기모델로서 표현하며 수학식 19의 "then" 이후의 규칙을 형성할 수 있다. 즉, 수학식 19의 f_ji(x)에서 출력 뉴런에 대한 첨자 j(=1,…,s)를 생략한 f_i(x)는 하기의 수학식 26 내지 수학식 28의 형태를 갖는 세 가지 타입의 함수 중 하나의 형태를 가질 수 있다. 다시 말해, 로컬 회기 모델은 상수항, 일차식 또는 이차식으로 표현될 수 있다. f_i(x)가 수학식 26의 상수항인 경우, FCM 클러스터링을 통한 소속 함수를 활성 함수로 사용한 RBFNNs와 동일한 구조를 가질 수 있다.

수학식 26 내지 수학식 28의 다항식 함수들은 조건부의 소속 함수(활성 함수)에 의해 활성화되며 각 퍼지 규칙의 로컬 회기 모델로 동작한다. 입력 공간의 차원이 매우 클 경우 수학식 28의 2차 항에 대해 입력변수들의 조합 수가 증가하여 계산 량이 많이 증가하기 때문에, 10차원 이상의 경우에 대해서는, 하기의 수학식 29로 표현되는 감소된 2차 함수를 사용하여 계산하는 것이 바람직하며, 이를 통해 계산 량을 줄일 수 있다. 다시 말해, RBFNNs는 기존의 수학식 26의 형태를 갖는 상수항의 연결가중치를 수학식 27 내지 수학식 29 형태의 1차식과 2차식으로 확장함으로써, 은닉층 뉴런의 출력 간의 비선형 결합으로 인해 분류기로서의 성능을 향상시킬 수 있다.

추론부에서는, "If-then" 퍼지 규칙 기반의 퍼지 추론에 의해 네트워크의 최종출력을 구할 수 있다. 즉, 도 11의 추론부의 "Ⅱ"로 표기된 뉴런에 의해 입력신호들은 곱하여져 그 결과를 출력층 뉴런의 최종 출력으로 내보낸다. 이와 같은 일련 과정은 퍼지 추론 과정과 같으며, 퍼지 신경회로망(Fuzzy Neural Networks)과 같은 형태를 갖게 되며, 결과적으로 j(=1,…,s)번째 출력의 최종출력은 퍼지 추론에 의한 하기의 수학식 30과 같이 표현될 수 있다.

여기서, u_i는 도 11의 A_i(x)와 같고 수학식 26과 같이 모든 클러스터에 대한 총합은 1이다. 또한, 수학식 30의 g_i(x)는 RBFNNs의 j번째 클래스에 대한 판별함수가 된다.

판별함수 생성과 관련된 패턴분류의 문제는 2부류 분류(Two-class Classification) 문제와 다 부류 분류(Multi-class Classification) 문제로 나눌 수 있다. 즉, 분류기를 표현하는 여러 방법이 있지만 일반적으로 많이 사용하는 방법으로는 2부류 분류 문제 또는 다 부류 분류 문제가 있으며 각각 하기의 수학식 31 및 수학식 32와 같은 규칙을 이용한다.

여기서 g_j(x), j=1,…,m은 j번째 클래스에 대한 판별함수이고, m은 클래스 수이며, w_j는 j번째 클래스를 나타낸다.

2부류 분류문제는 출력층에 1개의 출력뉴런이 존재하고, 수학식 31과 같이 1개의 판별 함수만을 사용하여 해당 클래스로 패턴을 분류한다. 다 부류 분류문제인 경우, m개의 출력 뉴런이 존재하며, 수학식 32와 같은 m개의 판별함수를 생성하고 해당 클래스로 분류한다. 본 발명에 따른 방법에서 이용되는 RBFNNs의 패턴 분류 문제 적용을 위한 판별 함수 표현을 위해, 네트워크 최종 출력 수학식 30은 하기의 수학식 33과 같이 표현될 수 있다.

여기서, a는 수학식 26 내지 수학식 29의 네트워크의 결론부 다항식 함수의 계수를 나타내는 벡터이다. 또한, fx는 네트워크 조건부에 소속행렬 U와 입력 벡터 x로 구성된 벡터로서, 결론부 다항식 함수의 타입에 따라 하기와 같이 정수(Constant) 타입, 선형(Linear) 타입, 이차(Quadratic) 타입, 및 축소 이차(Reduced Quadratic) 타입으로 정의될 수 있으며, 결과적으로 RBFNNs의 최종 출력은 하기에 정의된 벡터의 선형결합으로서 구해지고 수학식 33으로 표현된 분류기의 판별함수를 생성할 수 있다.

i) Constant;

ⅱ) Linear;

ⅲ) Quadratic;

ⅳ) Reduced Quadratic;

한편, RBFNNs 구조의 파라미터, 즉, 학습률, 모멘텀 계수, FCM 클러스터링의 퍼지화 계수(Fuzzification Coefficient)의 최적화를 위해 확률적인, 개체 집단에 기반을 둔 차분 진화(DE; Differential Evolution) 알고리즘을 사용하는 것이 바람직하다.

차분 진화 알고리즘은 Price와 Storn에 의해 벡터 차분(Vector Differential)을 사용하여 Chebychev 다항 곡선의 내삽 문제(Polynomial Fitting Problem)를 해결하는 과정에서 개발된 것으로서, 현재 널리 사용되고 있는 통계적 임의 탐색법인 유전 알고리즘(Genetic Algorithm: GA)과 유사한 알고리즘이다. 차분 진화 알고리즘에서는 초기 개체군을 이루는 모든 개체들을 벡터로 표현하는데, 이들을 파라미터 벡터라고 표현하며, 집단 크기는 진화 과정에서 변하지 않는다.

여기서 NP는 파라미터 벡터의 개수이고, 이값은 최적화 과정에서 일정하며, 설계자가 문제에 따라 정의할 수 있는 샘플링 개수이다. 또한, G는 파라미터 벡터가 몇 번째 세대인가를 나타내며, 알고리즘에서는 최적화 횟수(Iteration)를 의미한다. 더욱이, 파라미터 벡터의 차원은 목적함수를 이루는 설계변수의 개수 D와 같으며, 초기 파라미터는 벡터 가용 영역(Feasible Region)에서 임의로 선택하되, 일반적으로 균등 확률 분포를 따르도록 한다.

초기화 단계에서는, 모든 벡터에서 각 결정 파라미터는 랜덤으로 할당되고, 돌연변이 과정을 거쳐 재생산과 선택과정을 거치며, 도 12는 본 발명의 일실시예에 따른 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법에서, 목적함수에 따른 차분 진화 알고리즘을 이용한 최적의 파라미터 벡터의 구조를 도시한 도면이다. 도 12에 도시된 바와 같이, 차분 진화의 핵심은 변화된 목적 변수 벡터를 발생하는 체계이며, 보다 구체적으로는 두 개의 개체 벡터의 차이에 가중치를 곱한 것을 세 번째 개체 벡터에 더해서 교배용 벡터를 발생한다. 상기 벡터와 교배 대상 벡터가 교배되어 새로운 벡터가 얻어지며, 이때 새로운 벡터의 목적함수 값이 교배 대상 벡터의 것보다 좋으면 해당 벡터로 교배 대상 벡터를 대체한다. 이를 통해, 유전자 알고리즘에서 사용되는 엘리트 전략과 유사한 효과를 거둘 수 있으며, 집단에서 선택된 벡터의 거리와 방향 정보를 사용하여 벡터를 랜덤하게 변화시키는 것이 차분 진화로 하여금 뛰어난 수렴 성을 갖도록 해줄 수 있다.

또한, 차분 진화 알고리즘은 더하기 연산자를 사용함으로써 이전 가우시안 기반의 탐색기법에서 발생된 수학적 복잡성을 피할 수 있다. Storn과 Price는 차이 벡터(Difference vectors)의 변화를 줌으로써 탐색 공간을 확대 또는 축소시킬 수 있음을 알게 되었으며, 진화 도중에 스케일 인자(F) 값을 가변시킬 수 있는 방법도 제안하였다. 기본적인 차분 진화 알고리즘의 기법은 크게 두 가지 종류(DE/rand/1/bin, DE/best/1/bin)로 분류할 수 있는데, 이러한 다양한 변종은 다음과 같은 기호법에 따라서 분류될 수 있다. 즉, DE/x/y/z; 여기서 x는 돌연변이 벡터를 만들기 전에 부모 벡터를 선택하는 방법으로서 DE/rand/y/z는 부모 벡터집단을 랜덤하게 발생시키는 것이고, 반면에 DE/best/y/z는 우수한 순위의 벡터로 부모벡터 집단을 구성하는 것이다. y는 벡터의 유전자를 변동시키기 위해 참여하게 되는 부모 벡터집단 내의 벡터의 개수를 의미하며, z는 자식 벡터 집단을 만들기 위해서 난수를 발생시키는 확률 분포의 종류를 의미한다.

본 발명에 따른 방법에서 RBFNNs의 최적화 기법으로 사용되는 차분 진화 알고리즘은 DE/rand/1/bin인바, 이를 중심으로 차분 진화의 원리에 대해 설명하면, 차분 진화 알고리즘은 각각의 변화 대상 벡터 x_{i ,G}(i=1,2,…,Popsize)에 대해 집단에서 랜덤하게 선택된 서로 다른 3개의 벡터로부터 교배용 벡터를 하기의 수학식 37과 같이 만든다.

여기서 r₁,r₂와 r₃은 [0,Popsize-1]범위의 서로 다른 정수이고 F>0이다. 선택된 정수 r₁,r₂와 r₃은 변화대상 벡터의 인덱스 i와는 다른 값이다. x_{r1 ,G}, x_{r2 ,G}와 x_{r3 ,G}는 i번째 새로운 개체 v_{i ,G+1}을 만들기 위해 사용된 서로 다른 개체들이고, G는 세대를, F는 선택된 교배 대상 벡터들의 차이(x_{r2 ,G}-x_{r3 ,G})를 제어하는 파라미터로 0과 2 사이의 값을 갖는다. v_{i ,G+1}을 발생하기 위해 선택된 벡터 x_{r1 ,G}는 v_{i ,G}와 관련이 없는 집단에서 랜덤하게 선택된 개체이다. 차분 변화를 통해 얻어질 벡터가 하기의 수학식 38과 같이 d차원이라 하면, 이 벡터는 수학식 37의 교배용 벡터와 교배 대상 벡터인 x_{i ,G}를 교배하여 만들어진 것이다. 생성된 벡터의 다양성을 증가시키기 위해 주로 균일 교배과정은 하기의 수학식 39와 같이 이루어진다.

여기서, *는 교배 연산자로 균일 교배가 주로 사용되며, 균일 교배는 하기의 수학식 40으로 표현될 수 있다.

여기서, rand는 0과 1 사이의 랜덤 변수이고, CR은 교배 율을 나타낸다. 교배 후 만들어진 개체의 생존 여부는 x'_{i ,G+ 1}와 x_{i ,G}의 성능 비교를 통해 이루어지며, x'_i,G+1의 적합도가 x_{i ,G}의 것보다 더 우수하면 x_{i ,G+1}=x'_{i ,G+1}이 되고 그렇지 않으면 x_i,G+1=x_i,G로 이전 개체를 그대로 사용한다. 이러한 과정은 설계자가 정해준 세대 횟수만큼 반복하며, 결국 목적 함숫값이 작은 파라미터 벡터들로 구성된 개체군이 만들어진다. 이 벡터 중 가작 작은 목적 함숫값이 전역해가 된다.

자연 연산자는 단순히 양쪽의 경쟁하는 벡터들(Target과 Trial벡터)의 목적 함숫값만을 비교하여 더 나은 개체를 다음 세대의 구성원으로 택하며, 이는 하기의 수학식 41과 같이 표현할 수 있다.

여기서, Φ는 최소화되어야 하는 목적 함수를 나타낸다.

이상에서 살펴본 바와 같이, 차분 진화에서는 실수를 직접 사용하기 때문에 개체 평가 시에 유전자형을 표현형으로 변환할 필요가 없고, 다음 세대를 위한 개체 선정이 적합도 비교에 의해서만 이루어지기 때문에 일반적인 진화알고리즘에서 필요한 선택 메커니즘과 최대 또는 최소화 문제에 따른 적합도 함수로의 변환도 필요 없어 알고리즘의 처리 속도 개선에 유리한 장점이 있으며, 결과적으로, 차분 진화의 실행 단계는 하기의 다섯 단계를 통해 실행될 수 있다.

먼저(step 1), 초기 집단(P)을 구성(랜덤 값으로 μ개의 개체를 초기화. 각 개체는 n개의 목적변수로 구성, t=0)하며, 이는 하기의 수학식 42와 같이 표현할 수 있다.

다음으로(step 2), 집단내의 모든 개체의 목적 함수(Φ)를 평가하며, 이는 하기의 수학식 43과 같이 표현할 수 있다.

다음으로(step 3), 모든 개체(i=1,...,μ)에 대해 차분 변화를 위한 개체 a_r1, a_r2와 a_r3를 선택하여 교배용 벡터를 만들고 이를 교배 대상 벡터와 교배하며, 이는 하기의 수학식 44와 같이 표현할 수 있다.

다음으로(step 4), 모든 개체의 목적함수 평가하며, 이는 하기의 수학식 45와 같이 표현할 수 있다.

마지막으로(step 5), 종료조건을 확인하고 종료조건이 만족되지 않으면 t=t+1로 하고 Step 3으로 복귀한다.

본 발명은 이하의 실험예에 의하여 더욱 상세히 설명되나, 본 발명이 이하의 실험예에 의해 어떤 식으로든 제한되는 것은 아니다.

[실험예 1]

얼굴 데이터 베이스 구축

실험은 Intel(R) Core(TM) i5 CPU 750 @2.67㎓, 4G DDR3 RAM 사양 환경에서 구현하였으며, 실험에 사용된 코드는 Windows 7 Ultimate K 운영체제에서 MATLAB R2010a 개발환경에서 컴파일하였다. 또한, 얼굴 식별을 위한 CCD 카메라의 해상도는 320×240으로 설정하여 사용하였다.

먼저, 카메라를 통해 획득한 이미지를 그레이 컬러로 변환 후 PCA-LDA 융합 알고리즘을 이용하여 차원축소된 특징점을 추출하였다. 예컨대, 3명의 후보를 대상으로 각 후보당 10장의 사진을 획득할 때, 3(명)×10(장)×200×200(이미지 size)의 차원 수를 가지게 되며, 이와 같은 고차원 데이터를 PCA의 위(3.4 장)와 같은 과정을 거치면서 차원 축소를 하게 된다. 입력 영상의 가중치는 RBFNNs의 판별함수의 입력으로 적용된다.

보다 구체적으로, 320×240 크기의 입력으로 들어오는 컬러 영상으로부터 그레이 영상으로 변환 후 히스토그램 평활화를 통해 조명의 영향으로 왜곡된 영상을 개선해준 후 얼굴 영역이 포함된 이미지를 200×200 크기의 정사각형 크기로 검출하였다. 이후, ASM을 이용하여 얼굴의 윤곽선 검출을 통한 얼굴 형상 추출로 개인 프로필을 구성하여, 최종적으로 얼굴 이미지 크기는 200×200, jpg파일 포맷으로 저장하였다. ASM을 이용한 얼굴형상 검출은 개개인 얼굴의 형태학적 특징을 반영하고 인식에 불필요한 외란을 제거하기 위해 최대한 얼굴영역만을 적용하였다. 도 13에 도시된 바와 같이, 영상의 적당한 지점에 초기 얼굴 모양을 설정하고, 설정된 얼굴 모양의 경계에서 수직 방향으로 에지를 찾아서 새로운 얼굴 모양을 구성한다. 얼굴 모양 찾기의 전체적인 과정은 초기에 얼굴 모양 데이터를 어디에 놓고 얼마 만한 크기로 놓는가에 많이 의존하고 좋지 않은 초기 위치는 찾는 시간을 길게 할 뿐 아니라 잘못된 결과를 유도하기도 하는바, 훈련된 얼굴 모양을 수동으로 섬세하게 매칭 함으로써 재구성된 얼굴이 일그러지지 않도록 하였다. 그 결과, 전체 16명, 각 사람당 10장으로 총 160장으로 구성된 얼굴 데이터 베이스를 구축하였고, 이를 도 14에 나타내었다.

[실험예 2]

실시간 얼굴 인식

(1) 데이터 전 처리

실험예 1에서 획득된 얼굴 데이터 베이스의 PCA 변환을 통해 얼굴 영상에서 특징을 추출하는 과정에서 형성된 총 16명에 대한 평균 얼굴과 총 160개의 고유벡터 중에서 가장 큰 고유 값을 갖는 고유벡터를 추출하여 얼굴 공간상에 Reshape 한 고유 얼굴을 획득하였으며, 그 결과를 도 15에 나타내었다.

그 후, 고유치가 높은 순서로 50개의 고유 얼굴을 선택하여 식별대상 데이터로 사용할 얼굴이미지와 고유 얼굴의 고유벡터와의 사영을 통해 가중치를 계산하면 얼굴 이미지 한 장당 50개의 특징 차원 수가 얻어지는데, 본 실험에서는 4명의 인식후보를 대상으로 고유치가 높은 순서로 획득한 5차원의 가중치 획득하였으며, 그 결과를 표 1에 나타내었다.

그리고 나서, 가중치를 RBFNNs의 판별함수 생성을 위한 입력으로 사용하였으며, 이를 통해 얻은 각 후보인물들(A~D)의 판별함수의 형태를 표 2에 나타내었다.

(2) 실시간 얼굴 인식

실시간으로 획득한 후보인물 A의 이미지와 가중치를 A를 비롯한 나머지 후보의 판별식의 입력으로 모두 사용되어 판별과정을 가진 후, 가장 큰 값을 가지는 판별함수에 해당하는 후보인물이 선정되었다. 도 16은 실시간을 획득한 후보인물 A의 이미지와 가중치를 도시한 도면이고, 도 17은 인식후보인물의 판별 과정을 도시한 도면이다. 도 17에 도시된 바와 같이, 실제 출력을 바탕으로 후보 A로 인식함을 보여주고 있는바, 본 발명에 따른 방법은 얼굴 인식 성능이 우수함을 알 수 있다.

[실험예 3]

ASM 적용에 따른 얼굴 인식 성능 비교 실험

ASM 적용에 따른 얼굴 인식 성능 비교하기 위해 두 가지의 조건으로 실험을 진행하였다. 즉, 첫 번째(case 1)는 실시간 영상으로부터 히스토그램 평활화를 이용하여 조명 왜곡을 개선하고 AdaBoost 알고리즘으로 얼굴 영역이 포함된 이미지로 인식 실험을 진행하였고, 두 번째(case 2)는 Case 1 조건에 ASM알고리즘을 추가로 결합하여 얼굴 영역이 추출된 이미지에서 얼굴형상만을 검출하여 인식 실험을 진행하였다. 한편, 본 실험에서는, Yale dataset과 수원대학교 지능제어 및 컴퓨터 지능 연구실(이하 'IC&CI Lab'라 함) 연구원으로 구성된 얼굴 이미지 데이터베이스를 사용하였으며, ASM의 성능평가를 위하여 IC&CI Lab.의 데이터는 장애물이 포함된 경우와 포함되지 않은 경우로 나누어 실험을 진행하였다.

(1) Yale dataset를 이용한 얼굴 인식

Yale 얼굴데이터는 15명의 인원, 개인당 11장씩으로 총 165장의 흑백 이미지로 구성되어 있다. 11장의 사진은 모두 다른 얼굴 표정과 환경으로 이루어져 있으며, 보다 구체적으로는 중앙 조명, 안경 착용, 기쁨, 좌측 조명, 안경 미착용, 정면, 우측 조명, 슬픔, 졸림, 놀람, 윙크로 구성된다. 11장의 사진 중 급격한 얼굴 표정의 변화를 갖는 놀람 이미지는 제외하고 개인당 10장씩 총 150장의 이미지로 실험을 진행하였고, Case 1과 Case 2의 객관적인 성능 비교를 위하여 Case 2의 이미지는 Case 1과 동일한 이미지에 ASM만을 적용하였다. 본 실험에 사용된 모델의 파라미터 값은 표 3에 나타내었다.

모델의 규칙 수와 다항식 형태, 퍼지화 계수는 차분 진화(DE) 최적화를 통하여 최적화되고 실험의 성능 지수는 1:N Identification 방식으로 전체 식별 대상에 대한 인식 성공률로 계산하였고, 실험 결과는 5 fold cross validation을 사용하여 인식 성공률에 대한 평균과 표준편차로 나타내었으며, 실험에 사용한 데이터 분할 및 이미지 사이즈에 대한 값을 표 4에 나타내었다.

이 후, 위와 같은 이미지 구성과 모델 파라미터를 사용하여 Case 1(ASM 미적용)과 Case 2(ASM 적용) 각 경우의 인식률 평균과 표준편차를 산출하였고, 그 결과를 표 5에 나타내었다.

표 5에 나타낸 바와 같이, Case 1(기본 얼굴 이미지)은 규칙 수가 5개이고 다항식 형태가 Reduced quadratic일 때 가장 높은 인식률을 나타내고, Case 2(ASM 적용 이미지)는 규칙 수가 5개이고 다항식 형태가 Linear일때 가장 높은 인식률을 나타냄을 확인하였다. 또한, 두 경우 모두 92% 이상의 인식률을 보였으며, Case 1의 성능이 약간 높은 모습을 보이는 것으로 확인하였다.

(2) IC&CI Lab dataset를 이용한 얼굴 인식

IC&CI Lab의 일반 얼굴 데이터는 16명의 인원, 개인당 10장의 사진으로 160장의 사진으로 구성되고, 장애물이 존재하는 경우(모자 160장, 휴대폰 160장)도 포함되어 총 480장으로 구성되며, 해당 데이터 분할 및 이미지 사이즈에 대한 값은 표 6에 나타내었다.

실험과정은 Yale 데이터를 이용한 실험과 동일하게 Case 1과 Case 2로 나누어 진행하였으며, 실험에 사용된 파라미터 탐색범위 또한 위의 실험과 동일하게 설정하여 실험하였고, 그 결과를 표 7에 나타내었다.

표 7은 얼굴에 장애요인이 없는 기본적인 조건에서 얼굴 인식 실험을 수행한 결과를 나타낸 것으로서, Case 1(기본 얼굴 이미지)은 규칙 수가 5개이고 다항식 형태가 Linear일 때 가장 높은 인식률을 나타내고, Case 2(ASM 적용 이미지)는 규칙 수가 4개이고 다항식 형태가 Linear일 때 가장 높은 인식률을 나타냄을 확인하였다. 또한, 두 경우 모두 99%에 근접한 인식률을 보이며 이 실험에서는 Case2가 더 높은 인식 성능을 나타냄을 확인하였다.

뿐만 아니라, 장애요인에 따른 얼굴 인식 성능을 평가하기 위해, 위의 선행 실험에 사용되었던 96장의 이미지로 분류기를 학습하고 장애요인이 있는 테스트 영상을 새로 획득하여 인식 성능을 평가하였다. 기본적인 실험조건은 선행 실험과 같이 Case 1, Case 2의 조건을 따랐다.

먼저, 장애요인으로 모자 착용 시 얼굴 인식 성능을 평가하였다. 즉, 도 18에 도시된 바와 같이, 인식을 위해 실시간으로 모자를 착용한 테스트 이미지를 획득한 후, 이에 대한 얼굴 인식 실험을 Case 1, Case 2로 나누어 진행하였으며, 그 결과를 표 8에 나타내었다.

동일한 조명 아래에서의 학습과정에 사용된 이미지들과 도 18에 도시된 모자 착용 시의 테스트 이미지를 대비하면, 장애물(모자)에 의하여 얼굴의 가려짐 현상과 더불어 명암이 생겼음을 확인할 수 있고, 장애물요인으로서 모자를 착용하였을 경우 장애물이 없을 때와 비교하여 전체적으로 성능이 저하됨을 확인하였다. 따라서 모자착용에 의하여 주요 얼굴 부위의 경계가 불명확해지고 가려짐 부위의 명암도 변화에 따른 특징점의 변화가 얼굴 인식 성능에 영향을 미치고 있음을 알 수 있다. 하지만, Case 2(얼굴 형상 추출)의 경우 일반 사진으로 구성된 Case 1(기본 얼굴 이미지)보다 더 높은 인식률을 나타냄을 확인하였고, 이는 ASM을 이용하여 최대한 얼굴 형상만을 추출하였기 때문에 형태적으로 얼굴인식에 불필요한 부분이 제거됨으로써 일반 사진과 대비해 얼굴의 고유한 특징들이 부각되었기 때문인 것으로 사료된다.

다음으로, 장애요인으로 휴대폰 사용 시 얼굴 인식 성능을 평가하였다. 즉, 도 19에 도시된 바와 같이, 인식을 위해 실시간으로 휴대폰을 사용하는 테스트 이미지를 획득한 후, 이에 대한 얼굴 인식 실험을 Case 1, Case 2로 나누어 진행하였으며, 그 결과를 표 9에 나타내었다.

도 19에 도시된 바와 같이, 휴대폰을 사용하고 있다는 가정 하에 추출된 이미지로 특징점 추출 시 휴대폰 사용의 유, 무에 따라서 휴대폰 및 손을 얼굴의 특징값이 포함되어 인식에 사용될 수 있다. 즉, 주로 얼굴의 눈, 코, 입의 특징점이 부각되어 인식에 사용되지만, 도 19에 도시된 이미지와 같이 휴대폰에 의하여 추출된 얼굴 부위가 가려지거나 휴대폰이 이미지에 포함됨으로써 특징점이 바뀔 가능성이 존재할 수 있다. 따라서 표 9에 나타낸 바와 같이, 휴대폰을 사용한 경우에는, 휴대폰을 사용하지 않는 경우에 비해서 성능이 좋지 않은 반면에, 모자 착용 시보다는 좋은 성능을 가짐을 확인하였는바, 모자 착용에 의한 명암차이에 따른 특징점의 변화가 얼굴 내부의 장애물에 의한 특징점 변화보다 더 큰 영향을 미치고 있음을 확인하였다. 또한, 모자 착용 시와 마찬가지로 Case 2(얼굴 형상 추출)의 인식률이 더 높은 것은 ASM을 이용하여 최대한 얼굴 형상만을 추출하였기 때문에, Case 1에 비하여 전체 이미지 대비 인식에 불필요한 장애요인(휴대폰 및 손)의 면적이 줄어 들음으로써 불필요한 특징점 추출이 개선되어 인식률 향상의 결과로 이어졌음을 알 수 있다.

[실험예 4]

PCA 와 PCA + RBFNNs , PCA - LDA + RBFNNs 의 얼굴 인식 성능 평가

PCA 알고리즘 및 PCA+RBFNNs과 인식 성능을 비교하기 위하여 하기와 같이 실험을 진행하였다.

PCA를 이용한 얼굴인식 실험방법은 데이터를 학습이미지(60%)와 테스트이미지(40%)로 분할하여 구성하였다. 학습이미지를 이용하여 각 학습이미지의 PCA 가중치를 계산하여 데이터베이스로 저장하였고, 그 후 테스트이미지를 이용하여 PCA 가중치를 구하고 데이터베이스의 PCA 가중치와 유클리드 거리를 계산하여 가장 가까운 거리에 있는 가중치를 갖는 후보를 최종 인식대상으로 선정하였다. 최종적으로, 입력으로 사용된 테스트 이미지와 인식대상으로 선정된 학습이미지를 비교하여 인식성공 여부를 판별하였다. 장애요인 및 ASM에 대한 실험방법은 실험예 3의 실험과 동일한 방법으로 진행하였으며, 인식성능은 인식률(%)과 오인식 횟수(오인식/테스트데이터의 수)로 나타내었다. 또한 PCA+RBFNNs를 이용한 얼굴인식 실험은 PCA와 LDA의 융합 알고리즘이 아닌 단일 PCA 알고리즘을 이용하여 추출한 특징데이터를 사용함으로써 얼굴인식 성능을 평가하였고, 그 결과를 표 10에 나타내었다.

표 10에 나타내 바와 같이, 일반 사진의 경우 Case 1과 Case 2는 비슷한 수준의 인식 성능을 갖지만, 장애물이 존재하는 경우 ASM을 사용하는 Case 2의 경우가 이미지에 존재하는 장애요소를 제거함으로써 인식률의 개선을 가져오는 것을 확인하였다. 또한, 기존의 PCA만을 사용하여 인식을 수행하는 것보다 제안된 PCA와 LDA의 융합 알고리즘을 이용한 RBFNNs을 사용하여 학습을 하고 인식을 수행하는 것이 더 좋은 결과를 갖는 것을 확인하였다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

S100: CCD 카메라를 이용하여 피사체의 얼굴 영상 데이터를 획득하는 단계
S200: 획득된 얼굴 영상 데이터에 대한 영상 보정, 얼굴 영역 검출, 얼굴 형상(contour) 추출 및 특징 추출의 과정을 수행하는, 전 처리 단계
S300: 방사형 기저함수 기반 신경회로망(Radial Basis Function Neural Networks, 이하 ‘RBFNNs’이라 함)을 이용하여 전 처리된 얼굴 영상 데이터에서 얼굴을 인식하는 단계

Claims (7)

1. (1) CCD 카메라를 이용하여 피사체의 얼굴 영상 데이터를 획득하는 단계;
   (2) 상기 획득된 얼굴 영상 데이터에 대한 영상 보정, 얼굴 영역 검출, 얼굴 형상(contour) 추출 및 특징 추출의 과정을 수행하는, 전 처리 단계; 및
   (3) 방사형 기저함수 기반 신경회로망(Radial Basis Function Neural Networks, 이하 ‘RBFNNs’이라 함)을 이용하여 상기 전 처리된 얼굴 영상 데이터에서 얼굴을 인식하는 단계를 포함하며,
   상기 전 처리 단계 중 상기 얼굴 형상 추출 과정은, ASM(Active Shape Model)을 이용하여 얼굴 영역 검출 과정을 통해 검출된 얼굴 영역으로부터 얼굴 인식에 필요한 얼굴 영역 정보인 얼굴 윤곽선을 검출하고, 형상을 추출하되, 얼굴의 경계선에 위치한 특징점에 대하여 화소 값 분포를 이용하여 특징점을 설정하고 이전 과정에서 구성한 얼굴 모델과 함께 얼굴 경계 형상을 추적하는 방식으로 각 점에 인접한 영역의 화소 값 분포를 이용하여 얼굴 경계에 대한 특징을 설정하는 것으로 이루어지며,
   상기 전 처리 단계 중 상기 특징 추출 과정은, 주성분 분석법(Principal Component Analysis, 이하 ‘PCA’라 함) 및 선형판별 분석법(Linear Discriminant Analysis, ‘LDA’라 함)의 융합 알고리즘을 이용하여 전역변수 설정, Training 행렬의 평균 구하기, 공분산 행렬 구하기, PCA 벡터 생성, PCA로 각 이미지를 고유한 특성을 띄도록 차원을 줄인 행렬 이용, PCA에서 구현했던 내용과 동일하게 차원이 줄어든 행렬의 횡에 대한 전체 평균 구하기, 클래스 간 공분산 행렬 구하기, 클래스 내 공분산 행렬 구하기, 및 LDA 벡터를 생성하는 과정으로 이루어지며,
   상기 단계 (3)에서는, 차분 진화(Differential Evolution) 알고리즘을 이용하여 상기 RBFNNs에 사용되는 학습률, 모멘텀 계수, FCM 클러스터링의 퍼지화 계수(Fuzzification coefficient)를 동조하여 최적의 비선형 판별 함수를 생성함으로써 상기 얼굴 영상 데이터로부터 얼굴을 인식하는 것을 특징으로 하는, 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법.
   
2. 제1항에 있어서, 상기 전 처리 단계 중 상기 영상 보정 과정은,
   히스토그램 평활화(Histogram Equalization) 기법을 사용하여 이루어지는 것을 특징으로 하는, 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법.
   
3. 제1항에 있어서, 상기 전 처리 단계 중 상기 얼굴 영역 검출 과정은,
   아다부스트(AdaBoost) 알고리즘을 이용하여 이루어지는 것을 특징으로 하는, 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법.
   
4. 삭제
5. 삭제
6. 제1항에 있어서, 상기 단계 (3)에서,
   상기 RBFNNs의 구조는 "If-then" 퍼지 규칙으로 표현되며, 조건부, 결론부, 추론부로 나뉘어 기능적 모듈을 수행하되,
   상기 "then" 이전의 조건부는 FCM(Fuzzy C-Means) 클러스터링을 이용하여 입력 공간을 로컬 영역으로 상기 로컬 영역의 소속 정도를 퍼지 집합으로 출력하고, "then" 이후의 결론부는 로컬영역을 다항식 함수로 나타내며, 추론부는 상기 조건부의 퍼지 집합과 상기 결론부의 다항식 함수와의 관계에 대한 퍼지 추론을 통해 네트워크의 최종 출력을 수행하는 것을 특징으로 하는, 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법.
   
7. 삭제

Images