KR20060092630A - 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체 - Google Patents

저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체 Download PDF

Info

Publication number
KR20060092630A
KR20060092630A KR1020050013660A KR20050013660A KR20060092630A KR 20060092630 A KR20060092630 A KR 20060092630A KR 1020050013660 A KR1020050013660 A KR 1020050013660A KR 20050013660 A KR20050013660 A KR 20050013660A KR 20060092630 A KR20060092630 A KR 20060092630A
Authority
KR
South Korea
Prior art keywords
face image
feature value
recognition
face
zernike
Prior art date
Application number
KR1020050013660A
Other languages
English (en)
Other versions
KR100711223B1 (ko
Inventor
정병희
박성춘
이범구
김경수
김회율
김형준
김기남
Original Assignee
한국방송공사
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국방송공사, 한양대학교 산학협력단 filed Critical 한국방송공사
Priority to KR1020050013660A priority Critical patent/KR100711223B1/ko
Publication of KR20060092630A publication Critical patent/KR20060092630A/ko
Application granted granted Critical
Publication of KR100711223B1 publication Critical patent/KR100711223B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis

Abstract

본 발명은 저니키(Zernike)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법 및 그 방법을 기록한 기록매체에 관한 것이다. 본 발명은 하나 이상의 등록 대상 얼굴 영상을 입력받아 각각의 등록 대상 얼굴 영상에 상응하는 등록 대상 얼굴 영상 특징값을 추출하여 데이터베이스에 저장한 후, 인식 대상 얼굴 영상을 입력받아 상응하는 인식 대상 얼굴 영상 특징값을 추출하고, 데이터베이스에 이미 저장된 하나 이상의 등록 대상 얼굴 영상 특징값 중 추출된 인식 대상 얼굴 영상 특징값과 최소의 차이값을 가지는 등록 대상 얼굴 영상 특징값을 선택하여 각각 상응하는 영상인 것으로 인식하는 과정을 포함하여 구성되며, 이때 얼굴 영상 특징값은 저니키 모멘트(Zernike moment) 및 선형 판별 분석(LDA)을 이용하여 추출되는 것을 특징으로 한다. 따라서 본 발명에 따른 얼굴 인식 방법 및 그 방법을 기록한 기록매체는 방송 동영상에서 자주 발생하는 얼굴 회전에 강인하게 반응할 수 있는 효과를 가진다.
얼굴 인식, 선형 판별 분석, 저니키 모멘트, Zernike Moment, LDA(Linear Discriminant Analysis)

Description

저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한 얼굴 인식 방법 및 그 방법을 기록한 기록매체{Face recognition method using Zernike/LDA and recording medium storing the method }
도 1은 일반적인 얼굴 인식 과정을 개략적으로 나타낸 도면.
도 2는 회전된 상태의 얼굴 영상을 예시한 도면.
도 3은 본 발명의 바람직한 일 실시예에 따른 얼굴 영상을 데이터베이스(DB)에 등록하는 과정을 나타낸 순서도.
도 4는 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 과정을 나타낸 순서도.
도 5는 본 발명의 바람직한 일 실시예에 따른 얼굴 영상 특징값을 산출하는 과정을 나타낸 순서도.
도 6은 본 발명의 바람직한 일 실시예에 따른 얼굴 영상의 정규화 이미지를 예시한 도면.
도 7은 종래의 주요 성분 분석(PCA)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법과 본 발명에 따른 저니키(Zernike)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법과의 인식 성능을 비교한 그래프.
본 발명은 저니키(Zernike)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법 및 그 방법을 기록한 기록매체에 관한 것으로, 특히 방송 동영상에서 자주 발생하는 얼굴 회전에 강인한 얼굴 인식 방법 및 그 방법을 기록한 기록매체에 관한 것이다.
최근 얼굴 검출 및 얼굴 인식 기술을 이용한 보안 시스템, 비디오 카탈로깅 시스템에 관한 연구가 활발히 진행되고 있다. 특히 대용량 방송 비디오의 효율적인 관리를 위해 얼굴 검출 및 얼굴 인식 기술을 이용한 비디오 카탈로깅 시스템의 필요성이 증대되고 있다.
도 1은 일반적인 얼굴 인식 과정을 개략적으로 나타낸 도면이고, 도 2는 회전된 상태의 얼굴 영상을 예시한 도면이다. 도 1에 도시된 바와 같이, 일반적인 얼굴 인식 과정은 입력 영상에서 얼굴 영역을 자동으로 검출하고 인식하는 과정으로 얼굴 검출 단계(110), 얼굴 정규화 단계(120), 얼굴 인식 단계(130)의 세 단계로 구성된다.
얼굴 검출 단계(130)는 동영상에 포함된 각 프레임 내에서 얼굴의 위치, 즉 얼굴이 표시되는 영역을 파악하는 단계로서, 생체 인식, 영상 회의, 무인 감시, HCI(Human Computer Interaction) 등 여러 분야에 응용될 수 있다.
얼굴 검출 단계(110)에서는 얼굴이 표시되는 영역을 파악하기 위하여 신경 망(Neural Network : NN), 서포트벡터머신 (Support Vector Machine: SVM) 그리고 Adaboost 알고리즘 등과 같은 다양한 방법이 이용될 수 있다. 도 1에서 보여지는 바와 같이, 얼굴 영역(115a, 115b, 115c, 115d, 115e, 115f - 이하, 115라 칭함)은 입력 영상에 따라 다양한 크기와 상태로 검출된다. 얼굴 영역(115)은 얼굴 인식을 위해 미리 설정된 크기보다 크거나 작게 검출될 수 있으며, 중심 축을 기준으로 좌우 회전된 상태로 검출될 수 있다. 이와 같이 다양한 형태로 검출된 얼굴 영역(115)은 얼굴 인식을 위해 사용될 수 없으므로, 얼굴 인식에 적합한 크기 및 상태로 변환되어져야 한다.
얼굴 정규화 단계(120)는 얼굴 영역(115)에서 눈과 같은 얼굴 영역(115)의 특징점을 추출하여, 이를 이용하여 검출된 얼굴을 얼굴 인식에 적합한 크기 및 상태로 변환하는 단계이다. 얼굴 정규화를 위한 특징점을 추출하기 위한 방법으로는 서포트벡터머신(SVM), Adaboost, 영역확장탐색(Region Growing Search: RGS) 등을 이용하여 눈과 같은 얼굴의 특징점을 검출하는 방법, 능동적 형상 모델(Active Shape Model: ASM)과 능동적 외관 모델(Active Appearance Model : AAM)을 이용하여 얼굴의 통계적인 특성을 통해 특징점을 검출하는 방법 등이 있다.
얼굴 인식 단계(130)는 생체 인식 중 하나로 얼굴 영상을 이용하여 특정 인물을 인식하는 단계이다. 생체 인식 분야 중 지문이나 홍채 인식을 위해서는 특별한 영상 획득 장치가 필요하지만, 얼굴 인식은 얼굴이 존재하는 일반적인 영상 자체에서 인식이 가능하다는 장점이 있다.
종래에는, 동영상 등에서 얼굴 인식을 위하여 주요 성분 분석(Principal Component Analysis : PCA), 선형 판별 분석(Linear Discriminant Analysis : LDA)과 같은 통계학적 방법이 주로 이용되어져왔다.
먼저, 주요 성분 분석(PCA) 방식을 기반으로 하는 얼굴 인식 방법은 다변량 분석 방법으로서 전체 영상의 데이터를 데이터 분산이 큰 몇 개의 고유방향에 대한 축으로 선형 투사시켜 데이터의 차원을 줄이는 방법이다. 주요 성분 분석 방식(PCA)은 서로 다른 클래스의 차원을 줄여서 간단하게 표현할 수 있는 장점이 있으나, 다양한 변형을 표현할 수 있는 국부적 특징을 추출하지 못하는 문제점이 있다. 또한 주요 성분 분석(PCA)을 이용하는 경우 얼굴 인식에 필요한 기저 벡터를 추출하는 과정에 연산량이 많이 요구되어 속도가 저하되는 문제점도 있다.
다음으로, 선형 판별 분석(LDA) 방식을 기반으로 하는 얼굴 인식 방법은 n차원 공간에 분포한 데이터(sample)들을 잘 구분할 수 있는 기저 벡터를 구하여, 구해진 선형 판별 분석(LDA) 기저 벡터에 데이터(sample)를 투영(projection)시켜 추출한 특성 값을 이용하여 얼굴을 인식하는 방법이다.
그러나, 선형 판별 분석 방식은 차원 공간 n이 데이터(sample) 수보다 커지게 되면 기저 벡터를 구하지 못하는 경우(Small Sample Size Problem : SSS Problem)가 발생하는 문제점이 있었다. 따라서, 선형 판별 분석(LDA)을 이용한 얼굴 인식 방법을 이용하기 위해서는 주요 성분 분석(PCA)을 이용하여 차원 공간을 줄인 후에 선형 판별 분석(LDA) 방식이 주로 이용되고 있다.
일반적으로, 드라마, 스포츠와 같은 방송 동영상은 그 특성상 인물이 카메라 시점에 정면으로 등장하는 경우가 드물며, 도 2에 도시된 바와 같이 인물의 얼굴 영상 이 일정 각도만큼 회전된 상태로 등장하는 경우가 빈번히 발생한다.
이 경우, 종래의 주요 성분 분석(PCA)/선형 판별 분석(LDA) 방식은 인식하고자 하는 얼굴 영상의 위치나 크기 및 영상 회전 등에 변화가 발생하게 되면 인식하고자 하는 얼굴 영상을 기저 벡터로 투영하면 얼굴 영상과 상관관계가 적은 특징값이 발생하는 문제점이 있다. 즉, 기저 벡터에 투영된 얼굴 영상과 인식하고자 하는 얼굴 영상의 조건이 동일해야 하는 단점이 있다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 방송 동영상에서 자주 발생하는 얼굴 회전에 강인하게 반응할 수 있는 얼굴 인식 방법 및 그 방법을 기록한 기록매체를 제공하는 것이다.
본 발명의 다른 목적은 얼굴의 특징점을 정확히 검출하지 못함으로 인해 발생할 수 있는 부정확한 정규화, 즉 얼굴이 회전되었을 경우에도 얼굴 인식 성능을 향상시킬 수 있는 얼굴 인식 방법 및 그 방법을 기록한 기록매체를 제공하는 것이다.
상술한 목적을 달성하기 위해 본 발명의 제 1측면에 따르면, 저니키(Zernike)/선형 판별 분석(LDA) 특징값을 이용한 얼굴 인식 방법이 제공된다.
본 발명의 바람직한 일 실시예에 의하면, 얼굴 회전에 강인한 얼굴 인식 방 법은 (a) 하나 이상의 등록 대상 얼굴 영상을 입력받는 단계; (b) 상기 각각의 등록 대상 얼굴 영상에 상응하는 등록 대상 얼굴 영상 특징값을 추출하는 단계; (c) 상기 추출된 등록 대상 얼굴 영상 특징값을 데이터베이스에 저장하는 단계; (d) 인식 대상 얼굴 영상을 입력받는 단계; (e) 상기 인식 대상 얼굴 영상에 상응하는 인식 대상 얼굴 영상 특징값을 추출하는 단계; (f) 상기 데이터베이스에 저장된 하나 이상의 등록 대상 얼굴 영상 특징값 중 상기 추출된 인식 대상 얼굴 영상 특징값과 최소의 차이값을 가지는 등록 대상 얼굴 영상 특징값을 선택하는 단계; 및 (g) 상기 선택된 등록 대상 얼굴 영상 특징값에 상응하는 등록 대상 얼굴 영상과 상기 인식 대상 얼굴 영상이 상응하는 것으로 인식하는 단계를 포함하여 구성되며, 상기 얼굴 영상 특징값은 저니키 모멘트(Zernike moment) 및 선형 판별 분석(LDA)을 이용하여 추출되는 것을 특징으로 한다.
상기 단계 (b) 및 상기 단계 (e)는, 얼굴 영상의 밝기 성분을 정규화하는 단계-여기서, 상기 얼굴 영상은 등록 대상 얼굴 영상 또는 상기 인식 대상 얼굴 영상임-; 상기 정규화된 얼굴 영상의 저니키 모멘트(Zernike Moment)를 산출하여 저니키(Zernike) 특징값을 산출하는 단계; 상기 산출된 저니키(Zernike) 특징값을 임의의 벡터에 투영시켜 선형 판별 분석(LDA) 기저 벡터를 생성하는 단계; 및 상기 선형 판별 분석(LDA) 기저 벡터에 상기 저니키(Zernike) 특징값을 투영하여 상기 얼굴 영상 특징값을 산출하는 단계를 포함하는 것을 특징으로 한다.
상기 단계 (f)에서 상기 차이값은 하기 수학식에 의해 산출되는 것을 특징으로 한다.
Figure 112005008742482-PAT00001
여기서, yq 는 인식 대상 얼굴 영상 특징값이고, yr은 데이터베이스(DB)에 저장된 얼굴 영상의 특징값을 나타낸다.
상기 얼굴 영상 특징값은 하기의 수학식을 이용하여 산출되는 것을 특징으로 한다.
Figure 112005008742482-PAT00002
여기서,
Figure 112005008742482-PAT00003
는 선형 판별 분석(LDA) 기저 벡터이고, ZM은 저니키(Zernike)/선형 판별 분석(LDA) 특징값을 나타낸다.
상술한 목적을 달성하기 위하여 본 발명의 제 2측면에 따르면, 저니키(Zernike)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법을 수행하기 위한 프로그램을 기록한 기록매체를 제공할 수 있다.
본 발명의 바람직한 일 실시예에 의할 때, 상기 기록매체에 기록된 프로그램은 얼굴 인식 장치 또는 디지털 처리 장치에 의해 실행될 수 있는 명령어들이 유형적으로 구현된 프로그램으로써, 인식 대상 얼굴 영상을 입력 받는 단계; 상기 인식 대상 얼굴 영상에 상응하는 인식 대상 얼굴 영상 특징값을 추출하는 단계; 데이터 베이스에 저장된 하나 이상의 등록 대상 얼굴 영상 특징값 중 상기 추출된 인식 대상 얼굴 영상 특징값과 최소의 차이값을 가지는 등록 대상 얼굴 영상 특징값을 선택하는 단계; 및 상기 선택된 등록 대상 얼굴 영상 특징값에 상응하는 등록 대상 얼굴 영상과 상기 인식 대상 얼굴 영상이 상응하는 것으로 인식하는 단계를 포함하여 수행되며, 상기 얼굴 영상 특징값은 저니키 모멘트(Zernike moment) 및 선형 판별 분석(LDA)을 이용하여 추출되는 것을 특징으로 수행하는 것을 특징으로 한다.
얼굴 영상 특징값을 산출하는 단계는 얼굴 영상의 밝기 성분을 정규화하는 단계-여기서, 상기 얼굴 영상은 등록 대상 얼굴 영상 또는 상기 인식 대상 얼굴 영상임-; 상기 정규화된 얼굴 영상의 저니키 모멘트(Zernike Moment)를 산출하여 저니키(Zernike) 특징값을 산출하는 단계; 상기 산출된 저니키(Zernike) 특징값을 임의의 벡터에 투영시켜 선형 판별 분석(LDA) 기저 벡터를 생성하는 단계; 및 상기 선형 판별 분석(LDA) 기저 벡터에 상기 저니키(Zernike) 특징값을 투영하여 상기 얼굴 영상 특징값을 산출하는 단계를 포함하여 수행하는 것을 특징으로 한다.
상기 얼굴 영상 특징값을 산출하는 단계에서 상기 특징값은 하기의 수학식을 이용하여 산출하는 것을 특징으로 한다.
Figure 112005008742482-PAT00004
여기서,
Figure 112005008742482-PAT00005
는 선형 판별 분석(LDA) 기저 벡터이고, ZM은 저니키(Zernike)/선형 판별 분석(LDA) 특징값을 나타낸다.
산출된 상기 얼굴 영상 특징값을 이용하여 상기 입력 얼굴 영상을 인식하는 단계에서 상기 하기의 수학식을 이용하여 산출되는 것을 특징으로 한다.
Figure 112005008742482-PAT00006
여기서, yq 는 인식 대상 얼굴 영상 특징값이고, yr은 데이터베이스(DB)에 저장된 얼굴 영상의 특징값을 나타낸다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 3은 본 발명의 일 실시예에 따른 저니키(Zernike)/선형 판별 분석(LDA)을 이용한 얼굴 등록 방법을 나타낸 순서도이고, 도 4는 본 발명의 일 실시예에 따른 저니키(Zernike)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법을 나타낸 순서도이며, 도 5는 본 발명의 일 실시예에 따른 저니키 모멘트(Zernike Moment)/ 선형 판별 분석(LDA)을 이용한 얼굴 특징값 산출 과정을 나타낸 순서도이고, 도 6은 본 발명의 일 실시예에 따른 얼굴 영상의 정규화 이미지를 예시한 도면이다.
본 발명에서는 얼굴 영상은 도 6에 도시된 바와 같이 46 ×56의 크기로 얼굴 영상을 정규화한 후, 눈의 위치를 임의의 좌표(예를 들어, 왼쪽 눈의 위치(12, 18), 오른쪽 눈의 위치(33, 18))에 맞춘 것을 정상적인 이미지로 가정하여 설명한 다.
따라서, 이하에서는 인식하고자 하는 얼굴 영상이나, 데이터베이스(DB)에 등록하고자 하는 얼굴 영상 그리고 선형 판별 분석(LDA) 기저 벡터를 구하기 위한 학습 데이터의 얼굴 영상 등 모든 얼굴 영상은 도 6에 예시된 바와 같이 정규화된 얼굴 영상을 기준으로 설명되어질 것이다.
얼굴 인식은 데이터베이스(DB)에 이미 저장된 얼굴 영상과 인식하고자 하는 얼굴 영상을 비교하여 얼굴을 인식하게 된다. 따라서 본 발명은 얼굴 인식 방법에 관한 것이지만, 얼굴 등록 방법도 포함함은 자명하다.
설명의 편의를 위하여 얼굴 영상 등록 방법에 대해서 우선 설명하도록 한다.
이하에서 설명되는 얼굴 등록 과정 및 얼굴 인식 과정은 얼굴 인식 시스템의 형태로 구현된 장치에서 수행되거나 얼굴 인식 과정을 위한 알고리즘이 유형적으로 구현된 프로그램이 설치된 자동화 장치(예를 들어, 컴퓨터 등) 에서 수행 될 수 있으며, 이하에서는 상술한 장치들에서 얼굴 등록 및/또는 얼굴 인식을 위한 수행 과정을 중심으로 설명한다.
먼저, 도 3에 도시된 바와 같이, 본 발명에 따른 얼굴 등록 과정은 등록하고자 하는 영상 입력 단계(단계 310), 등록할 얼굴 영상의 특징값 산출 단계(단계 315), 데이터베이스(DB) 저장 단계(단계 320)로 구성된다.
얼굴 영상을 데이터베이스에 등록하기 위하여, 먼저 데이터베이스(DB)에 등록하고자 하는 얼굴 영상(즉, 등록 대상 얼굴 영상)을 입력 받는다(단계 310).
입력된 등록 대상 얼굴 영상에서 얼굴 영상 특징값을 산출한다(단계 315).
얼굴 영상 특징값을 산출하는 단계는 도 4를 참조하여 하기에서 설명될 얼굴 인식 과정의 얼굴 영상 특징값 산출 단계(단계 415)와 동일하므로 하기에서 상세히 설명하기로 한다.
등록 대상 얼굴 영상 특징값이 산출되면 산출된 얼굴 영상 특징값과 얼굴 영상을 식별할 수 있는 식별자를 함께 데이터베이스(DB)에 저장한다(단계 320).
예를 들면, 식별자는 등록하고자 하는 얼굴 영상의 이름이 될 수 있다. 데이터베이스(DB)가 이름필드와 특징값 필드만으로 구성되어 있다고 가정을 하자. 이때, 등록하고자 하는 얼굴 영상이 예를 들어 가수 "보아"의 영상라고 가정하면, 이름필드에 '보아'라고 입력되어 저장될 수 있고, 특징값 필드에 산출된 얼굴 영상 특징값이 저장 될 수 있다.
다음으로 도 4를 참조하여 얼굴 인식 과정을 설명한다. 도4를 참조하면, 얼굴 인식 과정은 인식 대상 영상 입력 단계(단계 410), 인식 대상 얼굴 영상 특징값 산출 단계(단계 415), 등록된 얼굴 영상 특징값 추출 단계(단계 420), 거리 계산 단계(단계 425)와 얼굴 인식 단계(단계 430)로 구성된다.
입력된 얼굴 영상의 얼굴 인식을 위해서 우선, 인식하고자 하는 얼굴 영상(즉, 인식 대상 얼굴 영상)을 상술한 장치의 입력부 또는 수신부를 통해 입력 받는 다(단계 410).
입력된 인식 대상 얼굴 영상을 이용하여 얼굴 영상 특징값을 산출한다(단계 415).
얼굴 영상 특징값을 산출하는 단계(단계 415)는 도 5에 도시된 바와 같이, 밝기 성분에 대한 정규화 단계(단계 510), 저니키(Zernike) 특징값 산출 단계(단계 515), 선형 판별 분석(LDA) 기저 벡터 생성 단계(단계 520)와 얼굴 영상 특징값 산출 단계(단계 525)를 포함하여 구성된다. 데이터베이스(DB)에 등록하고자 하는 얼굴 영상 특징값을 추출 단계(315) 또한 도 5에 도시된 과정을 포함하여 구성될 수 있음은 자명하다.
이하, 이해의 편의를 도모하기 위해 도 5를 참조하여 얼굴 영상 특징값 산출 과정을 상세히 설명한다.
도 5를 참조하면, 얼굴 영상 특징값을 산출하기 위해, 우선 입력된 영상의 밝기 성분을 정규화한다(단계 510).
단계 510에서 수행되는 밝기 성분의 정규화는 조명의 변화를 줄이기 위해 ZMST(Zero Mean Unit Variance)를 동일하게 적용하는 과정으로, 예를 들어 입력된 얼굴 영상 이미지의 평균 밝기를 0으로 하고 밝기의 분산을 1로 만드는 단계일 수 있다. 예를 들어, 입력된 얼굴 영상 이미지 X의 높이가 h, 폭을 w라고 가정하고, 얼굴 영상 이미지 내의 임의의 위치(i,j)에 대한 밝기 값을 xi,j라고 가정하면, 입력된 얼굴 영상 이미지의 밝기에 대한 평균(E)과 분산(V)은 하기에 정의된 수학식1과 수학식2를 이용하여 산출될 수 있다.
Figure 112005008742482-PAT00007
Figure 112005008742482-PAT00008
밝기 성분이 정규화된 새로운 얼굴 영상 이미지 X'의 높이를 h, 폭이 w라고 가정하면, 얼굴 영상 이미지 내의 임의의 위치(i,j)에 대한 밝기 값 x'i,j는 하기에 정의된 수학식 3과 같이 표현될 수 있다.
Figure 112005008742482-PAT00009
상술한 과정을 통해 입력된 영상에 대한 정규화가 완료되면, 정규화된 영상에 대한 얼굴 영상 특징값을 산출하기 위한 하기의 과정이 수행된다.
얼굴 영상 특징값을 산출하기 위해 먼저 저니키 모멘트(Zernike Moment)를 산출하여 저니키(Zernike) 특징값을 산출한다(단계 515).
저니키 모멘트(Zernike Moment)를 산출하기 위하여, 예를 들어 우선 정규화된 얼굴 영상 X'를 101ㅧ101 크기의 얼굴 영상 이미지로 변형하고, 변형된 얼굴 영상을 하기의 수학식 4에 대입하여 저니키 모멘트(Zernike Moment)를 산출 할 수 있다. 이때, 상술한 저니키 모멘트(Zernike Moment)를 구하기 위해서는 입력된 얼굴 영상을 원점(0, 0)을 중심으로 하는 단위원 크기로 입력 영상의 크기를 변형시켜야 한다. 따라서, 입력된 얼굴 영상을 반지름을 50으로 하는 단위원 크기로 정규화한 얼굴 영상 X'를 101 ×101 크기의 영상으로 변형시켜 하기의 수학식 4에 대입하여 저니키 모멘트(Zernike Moment)를 산출 할 수 있다.
Figure 112005008742482-PAT00010
수학식 4에 의해 산출된 저니키 모멘트(Zernike Moment)는 실수부(real value)와 허수부(imaginary value)로 구성된 복소수 형태일 수 있다. 따라서, 저니키 모멘트(Zernike Moment)의 크기(Magnitude)의 집합인 저니키(Zernike) 특징값을 산출하기 위해 하기 수학식 5가 이용될 수 있다.
Figure 112005008742482-PAT00011
여기서,
Figure 112005008742482-PAT00012
은 차수가 n이고, 반복수가 m인 저니키 모멘트(Zernike Moment)의 실수 값이고,
Figure 112005008742482-PAT00013
은 차수가 n이고, 반복수가 m인 저니키 모멘트(Zernike Moment)의 허수 값이다. 이때, n과 m은 0보다 큰 임의의 자연수이다.
예를 들어, 차수 n이 18이라고 가정하면, 총 100개의 저니키 모멘트(Zernike Moment)가 생성되며, 100개의 저니키 모멘트(Zernike Moment)에 대한 크기(magnitude)의 집합을 저니키(Zernike) 특징값으로 정의한다고 가정한다.
이 경우, 100개의 저니키 모멘트(Zernike Moment)에 의해 산출된 크기(magnitude)의 집합인 저니키(Zernike) 특징값은 하기의 수학식 6과 같이 정의될 수 있다.
Figure 112005008742482-PAT00014
저니키(Zernike) 특징값이 산출되면, 단계 520에서 산출된 저니키(Zernike) 특징값을 임의의 벡터에 투영시켜 선형 판별 분석 기저벡터를 생성한다.
선형 판별 분석(LDA) 기저 벡터는 단계 515를 통해 산출된 저니키(Zernike) 특징값을 임의의 벡터에 투영시켜, 투영된 샘플 데이터들의 클래스 내 산란 행렬(within-class scatter matrix)-SW는 작아지고, 클래스간 산란 행렬(between-class scatter matrix)-SB는 크게 만드는 벡터 ψ로 정의 할 수 있다.
즉, 하기의 수학식 7을 이용하여 선형 판별 분석(LDA) 기저 벡터 ψ를 구할 수 있다.
Figure 112005008742482-PAT00015
여기서, SW는 투영된 샘플 데이터들의 클래스 내 산란 행렬(within-class scatter matrix)로서,
Figure 112005008742482-PAT00016
의 관계를 가진다. SB는 클래스간 산란 행렬(between-class scatter matrix)이고,
Figure 112005008742482-PAT00017
의 관계를 가진다. 그리고,
Figure 112005008742482-PAT00018
는 j클래스에 속한 저니키(Zernike) 특징값의 평균 벡터이고,
Figure 112005008742482-PAT00019
의 산술식에 의해 산출될 수 있으며,
Figure 112005008742482-PAT00020
는 전체 학습 데이터의 저니키(Zernike) 특징값의 평균 벡터로서,
Figure 112005008742482-PAT00021
와 같은 산술식에 의해 산출된다.
c는 클래스(class)의 수를 나타내고, Nj는 j번째 클래스(class)의 샘플의 수 를 나타낸다.
예를 들어, 선형 판별 분석(LDA) 기저 벡터를 구하기 위한 학습 데이터가 인물 수 100명, 각 인물당 영상 수 10장으로 구성되었다면 학습 데이터는 총 1000장(100명 ㅧ10장)으로 구성되며, c는 100이고 Nj(j=1,2,…,100)=10이 된다.
선형 판별 분석(LDA) 기저 벡터를 구하는 수학식 7에서 SW가 가역 행렬(non-singular matrix)이라면, 선형 판별 분석(LDA) 기저 벡터는
Figure 112005008742482-PAT00022
의 고유 해석(eigen analysis)을 통해 생성 할 수 있다. 즉, 의 고유 해석으로 구해진 고유 값(eigen value)과 고유 벡터(eigen vector)가 있을 때, 고유 값(eigen value)을 내림차순으로 정렬하고, 이들 상위 M개의 고유 값(eigen value)에 해당하는 고유 벡터(eigen vector)들(ψ1, ψ2 ..., ψM)의 집합으로 선형 판별 분석(LDA) 기저 벡터(ψ)를 정의 할 수 있다.
선형 판별 분석(LDA) 기저 벡터가 생성되면, 단계 515를 통해 산출된 저니키(Zernike) 특징값(ZM)을 이미 훈련된 선형 판별 분석(LDA) 기저 벡터에 투영하여 얼굴 영상 특징값을 산출한다(단계 525).
얼굴 영상 특징값을 산출하기 위하여 하기의 수학식 8을 이용할 수 있다.
Figure 112005008742482-PAT00024
수학식 8에 의해 산출된 저니키(Zernike)/선형 판별 분석(LDA) 특징값은 얼 굴 영상의 특징값으로 이용되며, 이하 얼굴 영상 특징값이라 칭하기로 한다. 상술한 과정을 통해 산출된 얼굴 영상 특징값들이 등록 대상 얼굴 영상에 상응하는 것인 경우, 데이터베이스에 저장(단계 320 - 도 3 참조)됨은 앞서 설명한 바와 같다.
다시 도 4을 참조하면, 단계 420에서 데이터베이스(DB)에 이미 저장된 등록 대상 얼굴 영상 특징값들을 추출한다. 이는 단계 415를 통해 산출된 인식 대상 얼굴 영상 특징값과 데이터베이스(DB)에 이미 저장된 등록 대상 얼굴 영상 특징값간의 상관 관계를 검사하기 위함이다.
이어서, 인식 대상 얼굴 영상 특징값과 단계 420을 통해 데이터베이스(DB)로부터 추출한 등록 대상 얼굴 영상 특징값들의 거리 또는 차이가 산출된다. 복수의 얼굴 영상 특징값간의 차이(즉, 거리)는 하기 수학식 9를 이용하여 산출될 수 있다.
Figure 112005008742482-PAT00025
여기서, yq 는 인식 대상 얼굴 영상 특징값(즉, 인식하고자 하는 얼굴 영상 특징값을 산출하는 단계(단계 415)에 의해 산출된 얼굴 영상 특징값)이고, yr은 도 3에 도시된 바와 같이 등록하고자 하는 얼굴 영상 특징값을 산출(단계 315)한 후, 데이터베이스(DB)에 저장된 얼굴 영상 특징값이다.
단계 425를 통해 산출된 거리 또는 차이를 이용하여, 거리 또는 차이가 가 장 작은 얼굴 영상 특징값에 해당하는 데이터베이스(DB)에 등록된 식별자를 추출하여 동일한 얼굴인 것으로 인식한다(단계 430)
즉, 수학식 9에 의해 산출된 거리 또는 차이가 가장 작은 값에서 수학식 9의 yr에 해당하는 데이터베이스(DB)에 등록된 식별자를 추출하여 인식한다.
도 7에 도시된 그래프는 MPEG-7에서 얼굴 인식 서술자 실험에 사용되는 데이터 셋 중에서 Altkom 데이터 셋을 사용하여주요성분분석(PCA)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법과 저니키(Zernike)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법의 인식 성능을 비교한 그래프이다.
도 7에서 보여지는 그래프의 가로축은 등장 인물의 얼굴의 회전 정도를 나타내며, 세로축은 회전 정도에 따른 얼굴 인식 성능을 나타낸다. 도 7에서 보여지는 바와 같이, 주요성분분석(PCA)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법보다 저니키(Zernike)/선형 판별 분석(LDA)을 이용한 얼굴 인식 방법이 얼굴 회전이 있는 경우 더 좋은 성능을 보임을 알 수 있다.
상술한 바와 같이 본 발명에 따른 얼굴 인식 방법 및 그 방법을 기록한 기록매체는 방송 동영상에서 자주 발생하는 얼굴 회전에 강인하게 반응할 수 있는 효과를 가진다.
또한, 본 발명은 얼굴의 특징점을 정확히 검출하지 못함으로 인해 발생할 수 있는 부정확한 정규화, 즉 얼굴이 회전되었을 경우에도 얼굴 인식 성능을 향상시킬 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (4)

  1. 얼굴 인식 시스템에서 수행되는 얼굴 인식 방법에 있어서,
    (a) 하나 이상의 등록 대상 얼굴 영상을 입력받는 단계;
    (b) 상기 각각의 등록 대상 얼굴 영상에 상응하는 등록 대상 얼굴 영상 특징값을 추출하는 단계;
    (c) 상기 추출된 등록 대상 얼굴 영상 특징값을 데이터베이스에 저장하는 단계;
    (d) 인식 대상 얼굴 영상을 입력받는 단계;
    (e) 상기 인식 대상 얼굴 영상에 상응하는 인식 대상 얼굴 영상 특징값을 추출하는 단계;
    (f) 상기 데이터베이스에 저장된 하나 이상의 등록 대상 얼굴 영상 특징값 중 상기 추출된 인식 대상 얼굴 영상 특징값과 최소의 차이값을 가지는 등록 대상 얼굴 영상 특징값을 선택하는 단계; 및
    (g) 상기 선택된 등록 대상 얼굴 영상 특징값에 상응하는 등록 대상 얼굴 영상과 상기 인식 대상 얼굴 영상이 상응하는 것으로 인식하는 단계를 포함하되,
    상기 얼굴 영상 특징값은 저니키 모멘트(Zernike moment) 및 선형 판별 분석(LDA)을 이용하여 추출되는 것을 특징으로 하는 얼굴 영상 인식 방법.
  2. 제1항에 있어서,
    상기 단계 (b) 및 상기 단계 (e)는,
    얼굴 영상의 밝기 성분을 정규화하는 단계-여기서, 상기 얼굴 영상은 등록 대상 얼굴 영상 또는 상기 인식 대상 얼굴 영상임-;
    상기 정규화된 얼굴 영상의 저니키 모멘트(Zernike Moment)를 산출하여 저니키(Zernike) 특징값을 산출하는 단계;
    상기 산출된 저니키(Zernike) 특징값을 임의의 벡터에 투영시켜 선형 판별 분석(LDA) 기저 벡터를 생성하는 단계; 및
    상기 선형 판별 분석(LDA) 기저 벡터에 상기 저니키(Zernike) 특징값을 투영하여 상기 얼굴 영상 특징값을 산출하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  3. 얼굴 인식 방법을 수행하기 위한 얼굴 인식 장치 또는 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 얼굴 인식 장치 또는 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록 매체에 있어서,
    인식 대상 얼굴 영상을 입력 받는 단계;
    상기 인식 대상 얼굴 영상에 상응하는 인식 대상 얼굴 영상 특징값을 산출하는 단계;
    데이터베이스에 저장된 하나 이상의 등록 대상 얼굴 영상 특징값 중 상기 산출된 인식 대상 얼굴 영상 특징값과 최소의 차이값을 가지는 등록 대상 얼굴 영상 특징값을 선택하는 단계; 및
    상기 선택된 등록 대상 얼굴 영상 특징값에 상응하는 등록 대상 얼굴 영상과 상기 인식 대상 얼굴 영상이 상응하는 것으로 인식하는 단계를 포함하여 수행되며,
    상기 얼굴 영상 특징값은 저니키 모멘트(Zernike moment) 및 선형 판별 분석(LDA)을 이용하여 산출되는 것을 특징으로 하는 프로그램을 기록한 기록 매체.
  4. 제 3항에 있어서,
    얼굴 영상 특징값을 산출하는 단계는
    얼굴 영상의 밝기 성분을 정규화하는 단계-여기서, 상기 얼굴 영상은 등록 대상 얼굴 영상 또는 상기 인식 대상 얼굴 영상임-;
    상기 정규화된 얼굴 영상의 저니키 모멘트(Zernike Moment)를 산출하여 저니키(Zernike) 특징값을 산출하는 단계;
    상기 산출된 저니키(Zernike) 특징값을 임의의 벡터에 투영시켜 선형 판별 분석(LDA) 기저 벡터를 생성하는 단계; 및
    상기 선형 판별 분석(LDA) 기저 벡터에 상기 저니키(Zernike) 특징값을 투영하여 상기 얼굴 영상 특징값을 산출하는 단계를 포함하여 수행하는 것을 특징으로 하는 프로그램을 기록한 기록 매체
KR1020050013660A 2005-02-18 2005-02-18 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체 KR100711223B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050013660A KR100711223B1 (ko) 2005-02-18 2005-02-18 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050013660A KR100711223B1 (ko) 2005-02-18 2005-02-18 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체

Publications (2)

Publication Number Publication Date
KR20060092630A true KR20060092630A (ko) 2006-08-23
KR100711223B1 KR100711223B1 (ko) 2007-04-25

Family

ID=37593989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050013660A KR100711223B1 (ko) 2005-02-18 2005-02-18 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체

Country Status (1)

Country Link
KR (1) KR100711223B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013144906A2 (en) 2012-03-30 2013-10-03 Gokmen Muhittin System and method for object detection and recognition by local moments representation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101216123B1 (ko) * 2011-07-08 2012-12-27 김호 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100543707B1 (ko) * 2003-12-04 2006-01-20 삼성전자주식회사 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치
KR100602576B1 (ko) * 2003-12-17 2006-07-19 학교법인 한양학원 얼굴 인식 방법 및 이를 이용한 인물 검색／표시 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013144906A2 (en) 2012-03-30 2013-10-03 Gokmen Muhittin System and method for object detection and recognition by local moments representation

Also Published As

Publication number Publication date
KR100711223B1 (ko) 2007-04-25

Similar Documents

Publication Publication Date Title
JP5010905B2 (ja) 顔認証装置
Chakraborty et al. An overview of face liveness detection
Tome et al. The 1st competition on counter measures to finger vein spoofing attacks
JP4543423B2 (ja) 対象物自動認識照合方法および装置
US6661907B2 (en) Face detection in digital images
Sarfraz et al. Head Pose Estimation in Face Recognition Across Pose Scenarios.
US8498454B2 (en) Optimal subspaces for face recognition
KR20080033486A (ko) 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별
CN108563999A (zh) 一种面向低质量视频图像的人物身份识别方法与装置
US7646915B2 (en) Image recognition apparatus, image extraction apparatus, image extraction method, and program
Kumar et al. Face Recognition Attendance System Using Local Binary Pattern Algorithm
Lee et al. Robust iris recognition baseline for the grand challenge
Andiani et al. Face recognition for work attendance using multitask convolutional neural network (MTCNN) and pre-trained facenet
Sudhakar et al. Facial identification of twins based on fusion score method
Lin et al. A gender classification scheme based on multi-region feature extraction and information fusion for unconstrained images
Guha A report on automatic face recognition: Traditional to modern deep learning techniques
KR100711223B1 (ko) 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체
Das Comparative analysis of PCA and 2DPCA in face recognition
Méndez-Llanes et al. On the use of local fixations and quality measures for deep face recognition
Kimura et al. Single sensor-based multi-quality multi-modal biometric score database and its performance evaluation
Tin Age Dependent Face Recognition using Eigenface
Monwar et al. A real-time face recognition approach from video sequence using skin color model and eigenface method
Singh et al. Development of accurate face recognition process flow for authentication
Mohan et al. A combined HOG-LPQ with Fuz-SVM classifier for Object face Liveness Detection
Dubey et al. A review of face recognition using SIFT feature extraction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160411

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170524

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee