KR100543707B1 - 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치 - Google Patents

서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치 Download PDF

Info

Publication number
KR100543707B1
KR100543707B1 KR1020030087767A KR20030087767A KR100543707B1 KR 100543707 B1 KR100543707 B1 KR 100543707B1 KR 1020030087767 A KR1020030087767 A KR 1020030087767A KR 20030087767 A KR20030087767 A KR 20030087767A KR 100543707 B1 KR100543707 B1 KR 100543707B1
Authority
KR
South Korea
Prior art keywords
subgroup
dataset
pca
vector
learning
Prior art date
Application number
KR1020030087767A
Other languages
English (en)
Other versions
KR20050054394A (ko
Inventor
황원준
김태균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020030087767A priority Critical patent/KR100543707B1/ko
Priority to US11/002,082 priority patent/US7734087B2/en
Publication of KR20050054394A publication Critical patent/KR20050054394A/ko
Application granted granted Critical
Publication of KR100543707B1 publication Critical patent/KR100543707B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

서브그룹별 PCA 학습을 이용한 얼굴인식방법 및 장치가 개시된다. 이 얼굴인식방법은 (a) 트레이닝 데이터세트를 구성하는 복수개의 서브그룹별로 PCA 학습 후 전체 트레이닝 데이터세트로 LDA 학습을 순차적으로 수행하여 서브그룹별 PCLDA 베이시스벡터를 생성하는 단계; (b) 상기 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출하는 단계; (c) 등록하고자 하는 복수개의 얼굴영상을 상기 서브그룹별 PCLDA 베이시스벡터에 프로젝션시켜 서브그룹별로 특징벡터를 생성하여 데이터베이스에 저장하는 단계; 및 (d) 상기 입력영상의 서브그룹별 특징벡터와 데이터베이스에 저장된 등록영상의 서브그룹별 특징벡터간의 유사도를 산출하는 단계로 이루어진다.

Description

서브그룹별 ＰＣＡ 학습을 이용한 얼굴인식방법 및 장치 {Face recognition method and apparatus using PCA learning per subgroup}
도 1은 종래의 PCA 학습방법과 본 발명에 따른 서브그룹별 PCA 학습방법에 의해 생성되는 베이시스벡터를 설명하는 도면,
도 2는 본 발명의 일실시예에 따른 얼굴인식방법을 설명하는 흐름도,
도 3은 도 2에 있어서 210 단계를 세부적으로 설명하는 흐름도,
도 4는 본 발명의 일실시예에 따른 얼굴인식장치의 구성을 나타내는 블럭도,
도 5은 도 4에 있어서 특징벡터 추출부의 세부적인 구성을 나타내는 블럭도,
도 6은 전체 트레이닝 데이터세트에 대하여 사용되는 특징벡터의 수에 따라 제1 내지 제6 실험의 성능변화를 보여주는 그래프, 및
도 7a 및 도 7b는 서브그룹별로 사용되는 특징벡터의 수에 따라 제1 내지 제5 실험의 성능변화를 보여주는 그래프이다.
본 발명은 얼굴인식에 관한 것으로서, 특히 서브그룹별 주성분분석(Principal Component Analysis;이하 PCA라 약함) 학습을 이용한 선형판 별분석(Linear Discriminant Analysis;이하 LDA라 약함) 기반 얼굴인식방법 및 장치에 관한 것이다.
얼굴인식기술이란 정지영상이나 동영상에 존재하는 한 사람 이상의 얼굴에 대하여 주어진 얼굴 데이터베이스를 이용하여 그 신원을 확인하는 기술을 일컫는다. 얼굴영상 데이터는 포즈나 조명에 따라서 변화 정도가 크기 때문에 동일한 신원에 대한 포즈별 데이터 또는 조명별 데이터를 동일한 신원 즉, 동일한 클래스로 분류하는 것이 어렵고, 따라서 그 정확도가 높은 분류방법을 사용할 필요가 있다. 실제로 제품에 적용되는 대표적인 알고리즘으로는 SVM(Support Vector Machine)과 부공간 분석기법인 PCA 및 LDA이 있다. SVM을 이용한 분류방법은, 우수한 인식성능으로 인하여 최근 각광을 받고 있으나, 수백 바이트의 얼굴영상을 그대로 사용할 뿐 아니라 SVM 내부의 복잡한 계산방식으로 인하여 복잡도가 높고, 이진 결정(binary decision)을 내리기 때문에 대용량 얼굴인식에는 사용되지 못하고 있다. 한편, 부공간 분석기법을 이용하면 수백 바이트의 얼굴영상을 수십 비트로 감축시킬 수 있기 때문에 복잡도를 줄일 수 있는 이점이 있다. 부공간 분석기법 중 PCA는 자율(Unsupervised) 학습 알고리즘으로서, 내부적인 복잡도에 비하여 양호한 인식성능을 제공하므로 초기 얼굴인식분야에 많이 사용되었다. LDA는 신원이 서로 다른 집단간의 분리가 잘 되도록 표현하는 방법으로서, 변환 후 서로 다른 신원을 가지는 집단에 속하는 영상간의 분산은 최대로 하고, 신원이 같은 집단 내부의 영상간의 분산은 최소가 되도록 하는 변환행렬을 구하여 적용한다. LDA에 대해서 는 『Introduction to statistical pattern recognition, 2nd ed. Fukunaga, K. Academic Press, 1990』에 자세히 기술되어 있다.
한편, 최근에는 PCA 기반의 LDA 방식(PCLDA)이 개발되고 있는데, 이 방식은 감독 학습 알고리즘(Supervised Learning Algorithm)으로서 부공간 분석방식의 장점과 SVM과 비슷한 높은 인식성능을 보여주고 있기 때문에 얼굴 인식에 많이 사용되고 있다. PCLDA에 대해서는 P. N. Belhumeur, J. P. Hespanha, 및 D. J. Kriegman에 의한 "Eigenface vs. Fisher faces: Recognition using class specific linear projection," IEEE Trans. PAMI, vol. 19, no. 7, pp. 711-720, Jul, 1997에 자세히 기술되어 있다.
그런데 상술한 바와 같은 기존 방식들은 다음과 같은 문제점을 가진다. 첫째, 인식 성능을 높이기 위해 대용량의 트레이닝 데이터세트를 구성하여 사용하고 있다. 하지만 대용량의 트레이닝 데이터세트를 구하기가 쉽지 않기 때문에 서로 다른 특성을 갖는 데이터세트를 그대로 혼합하여 사용하고 있다. 이 경우 서로 다른 특성의 데이터세트이 학습 단계에서 고유 특성이 제대로 반영이 되지 않아서 성능이 떨어지는 경우가 발생하게 된다.
둘째, 기존 방식을 이용하여 얼굴인식시스템을 설계함에 있는 경우, 학습된 베이시스 벡터가 학습 당시 데이터세트의 특징만을 표현하게 되어 실제로 설치하게 되는 장소의 특성 및 특징을 제대로 표현하지 못하는 문제가 있다. 예를 들어 대부분의 얼굴인식시스템 설계시 학습에 사용되는 얼굴영상은 정상적인 조명하에서 촬영되나, 실제 이러한 시스템을 사용하는 곳은 아파트 공동 현관이나 사무실 출입문이다. 따라서, 이와 같은 설치장소의 조명 환경이 학습에 사용된 얼굴영상의 환경과 같지 않을 뿐더러, 같게 만들기 위해서는 많은 시설 투자비를 소모하게 된다. 이러한 단점을 극복 할 수 있는 방법은 설치장소에서 직접 사용자의 새로운 얼굴 영상을 모아 학습하는 것이다. 그러나 이러한 방식을 사용할 경우 개인 가정과 같은 시스템 사용자가 적은 경우에는 적정한 수준의 학습 데이터를 얻기가 힘들고, 이런 소규모 시스템의 경우 설치장소에서 사용자 얼굴을 수집한다 하여도 몇 명에 불과하기 때문에 상기한 학습방식을 사용할 수 없는 단점이 있다.
물론 이러한 문제를 해결하기 위한 가장 간단한 방법은 로컬(Local) 얼굴영상 즉, 실제로 얼굴인식시스템이 사용되는 곳에서 사용자가 직접 등록한 얼굴 영상 에 일반적(Global) 얼굴영상 즉, 대부분의 환경을 커버할 수 있는 상황을 미리 만들어 시스템에 미리 등록되어진 영상을 추가시키는 방식을 채택할 수 있다. 이 경우 어느 정도의 소규모 사용자에게도 안정된 성능을 갖는 얼굴인식시스템을 설치해 줄 수 있지만, 일반적으로 로컬 얼굴모델보다 일반적 얼굴모델이 더 많거나 더 다양한 특성을 갖기 때문에 첫번째와 같은 문제가 발생하게 되고, 따라서 설치장소에 최적화된 얼굴인식시스템을 구성할 수 없게 된다.
본 발명이 이루고자 하는 기술적 과제는 트레이닝 데이터세트를 구성하는 서브그룹별로 PCA 학습을 수행한 다음, 전체 트레이닝 데이터세트를 서브그룹별 PCA 베이시스벡터에 프로젝션시켜 LDA 학습을 수행하여 서브그룹별로 생성되는 PCLDA 베이시스벡터를 이용하여 특징벡터를 추출함으로써 서브그룹의 데이터 사이즈에 상관없이 각 서브그룹의 고유특성을 효과적으로 반영하면서 서브그룹의 학습데이터에 오버피팅되지 않을 수 있는 특징벡터 추출방법 및 장치를 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 트레이닝 데이터세트를 구성하는 서브그룹별로 PCA 학습을 수행한 다음, 전체 트레이닝 데이터세트를 서브그룹별 PCA 베이시스벡터에 프로젝션시켜 LDA 학습을 수행하여 서브그룹별로 생성되는 PCLDA 베이시스벡터를 이용하여 입력 얼굴영상을 인식하기 위한 얼굴인식방법 및 장치를 제공하는데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 서로 다른 서브그룹으로 분리되는 일반 데이터세트와 로컬 데이터세트를 트레이닝 데이터세트로 구성하고, 서브그룹별로 PCA 학습 후 전체 트레이닝 데이터세트로 LDA 학습을 순차적으로 수행하여 서브그룹별 PCLDA 베이시스벡터를 생성하고, 실제 설치되는 장소의 특징이 반영될 수 있도록 서브그룹별 가중치를 결정함으로써 설치장소에 최적화된 얼굴인식방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 특징벡터 추출방법은 (a) 트레이닝 데이터세트를 복수개의 서브그룹으로 분리하는 단계; (b) 상기 각 서브그룹별로 PCA 학습을 수행하여 PCA 베이시스 벡터를 생성하는 단계; (c) 상기 서브그룹별 PCA 베이시스 벡터를 상기 전체 트레이닝 데이터세트에 프로젝션시켜 LDA 학습을 수행하여 서브그룹별로 PCLDA 베이시스벡터를 생성하는 단계; 및 (d) 상기 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 특징벡터 추출장치는 트레이닝 데이터세트를 복수개의 서브그룹으로 분리하는 데이터분류부; 상기 각 서브그룹별로 PCA 학습을 수행하여 PCA 베이시스 벡터를 생성하는 PCA 학습부; 상기 서브그룹별 PCA 베이시스 벡터를 상기 전체 트레이닝 데이터세트에 프로젝션시키는 프로젝션부; 상기 PCA 베이시스 벡터가 프로젝션된 트레이닝 데이터세트에 대하여 LDA 학습을 수행하여 서브그룹별로 PCLDA 베이시스벡터를 생성하는 LDA 학습부; 및 상기 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출하는 특징벡터 추출부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 얼굴인식방법은 (a) 트레이닝 데이터세트를 구성하는 복수개의 서브그룹별로 PCA 학습 후 전체 트레이닝 데이터세트로 LDA 학습을 순차적으로 수행하여 서브그룹별 PCLDA 베이시스벡터를 생성하는 단계; (b) 상기 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출하는 단계; (c) 등록하고자 하는 복수개의 얼굴영상을 상기 서브그룹별 PCLDA 베이시스벡터에 프로젝션시켜 서브그룹별로 특징벡터를 생성하여 데이터베이스에 저장하는 단계; 및 (d) 상기 입력영상의 서브그룹별 특징벡터와 데이터베이스에 저장된 등록영상의 서브그룹별 특징벡터간의 유사도를 산출하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 얼굴인식장치는 트레이닝 데이터세트를 구성하는 복수개의 서브그룹별로 PCA 학습 후 전체 트레이닝 데이 터세트로 LDA 학습을 순차적으로 수행하여 서브그룹별 PCLDA 베이시스벡터를 생성하는 학습부; 상기 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출하는 특징벡터 추출부; 등록하고자 하는 복수개의 얼굴영상을 상기 서브그룹별 PCLDA 베이시스벡터에 프로젝션시켜 서브그룹별로 특징벡터를 생성하여 데이터베이스에 저장하는 등록영상 특징벡터 저장부; 및 상기 입력영상의 서브그룹별 특징벡터와 데이터베이스에 저장된 등록영상의 서브그룹별 특징벡터간의 유사도를 산출하는 유사도 계산부를 포함한다.
상기 특징벡터 추출방법 및 얼굴인식방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
이하, 본 발명의 실시예에 대하여 첨부된 도면들을 참조하여 상세하게 설명하기로 한다.
도 1은 트레이닝 데이터 세트 전체에 대하여 PCA 수행시 생성되는 전역 베이시스 축(Gx,Gy)과 본 발명에 따라서 두개의 서브그룹(Sa, Sb )에 대하여 각각 PCA 수행시 생성되는 국부 베이시스 축(Sax, Say, Sbx, Sby)을 보여준다. 도 1을 참조하면, 서브그룹들의 서로 다른 성질을 전역 베이시스 축이 제대로 반영하고 있지 못함을 알 수 있다. 여기서, 트레이닝 데이터세트는 일반적 얼굴영상으로 구성되거나, 로컬 얼굴영상을 더 포함하여 구성할 수 있다.
도 2는 본 발명의 일실시예에 따른 얼굴인식방법을 설명하는 흐름도로서, 사 전학습단계(210), 등록영상 특징벡터 추출 및 저장단계(220), 인식영상 특징벡터 추출단계(230) 및 유사도 산출단계(240)로 이루어진다.
도 2를 참조하면, 210 단계에서는 트레이닝 데이터세트를 구성하는 N개 서브그룹별로 PCA 학습을 수행한 다음, 트레이닝 데이터세트를 서브그룹별 PCA 베이시스벡터에 프로젝션시켜 LDA 학습을 수행하여 서브그룹별 PCLDA 베이시스벡터를 생성한다. 여기서, 서브그룹은 서로 유사한 특성변화를 갖는 데이터세트가 포함되도록 분류된다. 이때, 기본적으로는 k-NN(Nearest Neighbot) 분류방법을 이용하여 얼굴영상 자체의 유사한 특성을 기초로 서브그룹을 구성할 수 있다.
한편, 통상 소규모의 사용자가 존재하는 설치장소에서는 스캐터 매트릭스의 랭크에 싱귤래러티(singularity) 문제가 발생하기 때문에 LDA 학습이 불가능하다. 이러한 경우 일반적 얼굴영상을 트레이닝 데이터세트에 포함시킬 수 있으나, 일반적 얼굴영상의 사이즈가 설치장소에서 수집한 로컬 얼굴영상보다 훨씬 크므로 일반적 얼굴영상의 특성이 더 반영되기 때문에 로컬 얼굴영상의 정보가 무시될 수 있다. 이를 해결하기 위하여, 본 발명에서는 소규모 사용자가 존재하는 설치장소에서는 로컬 얼굴영상을 하나의 서브그룹으로 구성함으로써 로컬 얼굴영상의 정보를 보전하고, 일반적 얼굴영상을 유사한 특성변화에 따라서 복수개의 서브그룹으로 구성할 수 있다. 이와 같이 구성된 서브그룹별로 PCA 학습을 수행함으로써 서브그룹의 특성을 제대로 반영한 서브그룹별 베이시스 축이 생성되고, 각 서브그룹별 베이시스 축에 전체 트레이닝 데이터세트를 프로젝션시키게 된다. 이후, 각 서브그룹별로 LDA 학습을 수행하여 최종적으로 PCLDA 베이시스벡터를 생성한다.
220 단계에서는 등록하고자 하는 복수개의 얼굴영상을 210 단계에서 생성된 서브그룹별 PCLDA 베이시스벡터에 프로젝션시켜 서브그룹별로 특징벡터를 생성하여 데이터베이스에 저장한다. 예를 들어, 서브그룹이 N개인 경우, 하나의 등록영상에 대하여 N개의 특징벡터가 생성된다.
230 단계에서는 인식 또는 검색을 목적으로 입력되는 얼굴영상을 210 단계에서 생성된 서브그룹별 PCLDA 베이시스벡터에 프로젝션시켜 서브그룹별로 특징벡터를 생성한다. 마찬가지로, 서브그룹이 N개인 경우, 입력영상에 대하여 N개의 특징벡터가 생성된다.
240 단계에서는 입력영상의 특징벡터와 데이터베이스에 등록된 영상의 특징벡터간의 유사도를 산출한다. 이를 위하여 먼저, 입력영상과 하나의 등록영상에 대하여 특징벡터간의 유사도를 서브그룹별로 각각 산출한 다음, 각 서브그룹에 해당하는 유사도에 210 단계에서 결정된 서브그룹별 가중치를 곱한 다음 전체를 가산함으로써 최종 유사도를 산출하게 된다. 입력영상(α)과 하나의 등록영상(β)간의 최종 유사도(St(α,β))는 다음 수학식 1과 같이 나타낼 수 있다.
Figure 112003046447091-pat00001
여기서, Ki는 i번째 서브그룹의 가중치로서,
Figure 112003046447091-pat00002
이고, Si(α,β)는 i번째 서브그룹에 대한 입력영상(α)의 특징벡터(yi(α))와 i번째 서브그룹에 대한 등록영상(β)의 특징벡터(yi(β)) 간의 유사도를 각각 나타낸다. 여기서, 유사도를 예를 들어 유클리디안 거리를 이용하여 산출할 경우 다음 수학식 2와 같이 나타낼 수 있다.
Figure 112003046447091-pat00003
240 단계에서 산출되는 입력영상과 각 등록영상간의 최종 유사도를 이용하여 인증, 인식 또는 검색 등과 같은 다양한 후속작업이 수행될 수 있다.
도 3은 도 2에 있어서 사전학습단계(210 단계)를 세부적으로 설명하는 흐름도이다.
도 3을 참조하면, 310 단계에서는 트레이닝 데이터세트를 N(여기서, N은 2 이상)개의 서브그룹으로 분리한다. 하나의 서브그룹내에 포함되는 데이터세트들은 서로 유사한 특성변화를 가지며, 예를 들어 본 실시예에서는 두개의 서브그룹인 경우 조명변화에 근거한 데이터세트들로 이루어지는 하나의 서브그룹과 포즈변화에 근거한 데이터세트들로 이루어지는 서브그룹으로 분리할 수 있다. 이러한 조명변화와 포즈변화는 얼굴인식성능을 저하시키는 주요한 인자들이며, 이들은 서로 매우 다른 특성을 보여준다. 예를 들어, 조명변화의 경우 얼굴포즈변화가 적고 얼굴표면의 밝기 변화가 존재하고, 포즈변화의 경우 조명변화는 없으나 얼굴자체의 움직임으로 인하여 얼굴의 형태가 많이 변하게 된다.
320 단계에서는 N개의 서브그룹에 대하여 각각 PCA 학습을 수행하여 각 서브그룹별로 베이시스 벡터(U i)를 생성하며, 각 서브그룹의 PCA 베이시스 벡터(U i)는 다음 수학식 3으로부터 도출될 수 있다.
Figure 112003046447091-pat00004
여기서, i는 1 내지 N으로서 서브그룹의 번호를 나타내고, ∑i는 i 번째 서브그룹의 공분산행렬, Λ i는 고유값 행렬을 각각 나타낸다. 따라서, PCA 선형변환함수는 다음 수학식 4와 같이 정의될 수 있다.
Figure 112003046447091-pat00005
여기서,
Figure 112003046447091-pat00006
는 i번째 서브그룹의 PCA 프로젝션된 벡터,
Figure 112003046447091-pat00007
는 i번째 서브그룹의 평균벡터, x는 입력되는 얼굴영상벡터를 각각 나타낸다. N개의 서브그룹에 대하여 각각 최적화된 베이시스 벡터(U i)를 얻을 수 있으며, 각 서브그룹의 베이시스 벡터는 입력되는 각각의 얼굴영상벡터에 비하여 그 차원이 감축되어 있다.
330 단계에서는 각 서브그룹의 베이시스 벡터(U i)에 트레이닝 데이터세트 전체를 프로젝션시켜 LDA 학습을 수행하고, LDA 학습 수행결과 생성되는 LDA 베이시스 벡터(Wi)는 다음 수학식 5와 같이 나타낼 수 있다.
Figure 112003046447091-pat00008
여기서, SB와 SW는 트레이닝 데이터세트 전체에 대한 클래스간 스캐터 매스릭스(Between-classes scatter matrix)와 트레이닝 데이터세트 전체에 대한 클래스내 스캐터 매트릭스(Within-classes scatter matrix)를 각각 나타내며, 다음 수학식 6과 같이 나타낼 수 있다.
Figure 112003046447091-pat00009
여기서, 트레이닝 데이터세트가 C개의 클래스로 이루어지고, x를 c번째 클래스(χc)의 성분인 데이터벡터라 하고, c번째 클래스(χc)가 Mc개의 데이터벡터로 이루어지는 경우, μc는 c번째 클래스의 평균벡터를 나타내고, μ는 트레이닝 데이터세트 전체의 평균벡터를 나타낸다.
이와 같이 순차적으로 PCA와 LDA에 의한 학습 즉, PCLDA(PCA-based LDA) 학습에 의하여 얻어지는 i번째 서브그룹에 대한 PCLDA 베이시스 벡터(Bi)는 다음 수학식 7과 같이 나타낼 수 있다.
Figure 112003046447091-pat00010
340 단계에서는 330 단계에서 얻어진 i번째 서브그룹에 대한 PCLDA 베이시스 벡터(Bi)를 이용하여 트레이닝 데이터세트에 포함된 얼굴영상의 특징벡터를 추출하는데, 이때 특징벡터(yi)는 다음 수학식 8과 같이 나타낼 수 있다.
Figure 112003046447091-pat00011
여기서, x는 입력되는 얼굴영상벡터를 나타낸다. 이와 같은 PCLDA 베이시스 벡터(Bi)를 사용하게 되면, LDA 학습시 PCA 학습된 서브그룹별로 학습이 이루어지는 것이 아니라, 트레이닝 데이터세트 전체를 이용하여 학습이 이루어짐으로써 임의의 서브그룹에 대하여 PCA 프로젝션된 벡터를 다른 서브그룹에 대해서도 적용시킬 수 있게 되어 오버피팅 문제를 해결할 수 있다.
사용자의 특별한 요청이 없는 경우, 350 단계에서는 340 단계에서 추출된 특징벡터를 트레이닝 데이터세트에 적용하여 얼굴인식과정을 모의실험하고, 모의실험결과 얻어지는 인식성능에 따라서 각 서브그룹에 할당하기 위한 가중치를 결정한다. 다른 실시예로는 사용자가 목적하는 바에 따라서 적절히 가중치를 결정할 수 있다.
소규모 설치장소를 예를 들어 설명하면, 로컬 얼굴영상으로 이루어진 서브그 룹에 사용자가 가중치를 높게 할당하면 얼굴인식시스템은 로컬 얼굴영상을 중심으로 동작하므로, 일반적 얼굴영상으로 이루어지는 서브그룹들은 보조적으로 얼굴영상의 전반적인 특성을 판별하게 해 주는 역할을 담당한다. 그 결과, 설치장소에 최적화되어 해당 장소에서는 매우 정확한 얼굴인식성능을 나타낼 수 있다. 그러나, 사용자의 특별한 지정이 없는 경우에는 학습시 사용된 얼굴영상들을 이용하여 서브그룹의 가중치를 결정한다. 이러한 경우에는 사전 정보가 없기 때문에 얼굴인식시스템은 학습된 데이터가 실제 설치장소의 얼굴영상과 비슷한 특성을 가진다는 가정하에, 어떤 서브그룹이 설치장소의 얼굴영상의 성질과 더 비슷할지를 각 서브그룹의 얼굴인식성능을 보고 결정하고, 결정결과에 따라서 가중치를 할당한다.
도 4는 본 발명의 일실시예에 따른 얼굴인식장치의 구성을 나타내는 블럭도로서, 학습부(410), 베이시스벡터 저장부(420), 가중치 결정부(430), 특징벡터 추출부(440), 등록영상 특징벡터 저장부(450), 및 유사도 계산부(460)로 이루어진다.
도 4를 참조하면, 학습부(410)에서는 트레이닝 데이터세트를 구성하는 N개 서브그룹별로 PCA 학습을 수행한 다음, 트레이닝 데이터세트를 서브그룹별 PCA 베이시스벡터에 프로젝션시켜 LDA 학습을 수행하여 서브그룹별 PCLDA 베이시스벡터를 생성한다.
베이시스벡터 저장부(420)에서는 학습부(410)에서 생성되는 서브그룹별 PCLDA 베이시스벡터를 저장한다.
가중치 결정부(430)에서는 학습부(410)에서 생성되는 서브그룹별 PCLDA 베이시스벡터를 트레이닝 데이터세트에 적용하여 추출되는 특징벡터를 이용하여 얼굴인 식 모의실험을 수행하고, 얼굴인식성능에 따라서 서브그룹별 가중치를 결정한다. 이때, 가중치는 각 서브그룹의 얼굴인식성능에 따라서 시행착오(trial and error)를 통하여 선택되어진다. 일예로 들 수 있는 가중치 결정방법으로는 각 서브그룹의 클래스 판별치가 트레이닝 데이터세트로부터 산출되면 가중치는 클래스 판별치에 비례하도록 결정할 수 있다. 이와 같은 가중치 결정방법의 일예는 T.Kim, H.Kim, W.Hwang, S. Kee, J. Kittler에 의한 논문 "Face Description Based on Decomposition and Combining of a Facial Space with LDA," International Conference on Image Processing, Spain, Sep. 2003에 자세히 기재되어 있다.
특징벡터 추출부(440)에서는 학습부(410)에서 생성되는 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출한다.
등록영상 특징벡터 저장부(450)에서는 학습부(410)에서 생성되는 서브그룹별 PCLDA 베이시스벡터를 이용하여 등록하고자 하는 복수개의 등록영상에 프로젝션시켜 등록영상의 특징벡터를 서브그룹별로 추출하여 저장한다.
유사도 계산부(460)에서는 특징벡터 추출부(440)로부터 제공되는 입력영상의 특징벡터와 등록영상 특징벡터 저장부(450)에 저장된 등록영상의 특징벡터간의 유사도를 서브그룹별로 산출한다. 이를 위하여 먼저, 입력영상과 하나의 등록영상에 대하여 특징벡터간의 유사도를 서브그룹별로 각각 산출한 다음, 각 서브그룹별 유사도에 가중치 결정부(430)에서 결정된 서브그룹별 가중치를 곱한 다음 전체를 가산함으로써 최종 유사도를 산출하게 된다.
도 5은 도 4에 있어서 학습부(410)의 세부적인 구성을 나타내는 블럭도로서, 데이터분류부(510), PCA 학습부(520), 프로젝션부(530) 및 LDA 학습부(540)로 이루어진다. 여기서, PCA 학습부(520)는 각 서브그룹에 대응하는 제1 내지 제N PCA 학습부(520_1, 520_2, 520_N)로, 프로젝션부(530)는 각 서브그룹에 대응하는 제1 내지 제N 프로젝션부(530_1, 530_2, 530_N)로, LDA 학습부(540)는 각 서브그룹에 대응하는 제1 내지 제N LDA 학습부(540_1, 540_2, 540_N)로 이루어진다.
도 5를 참조하면, 데이터분류부(510)에서는 예를 들어 복수개의 데이터세트 를 포함하여 구성되는 트레이닝 데이터세트(500)를 제1 내지 제N 서브그룹(500_1, 500_2, 500_N)으로 분류한다. 여기서, 서브그룹으로 분류하는 방법으로는 트레이닝 데이터세트가 일반 데이터세트와 같은 대용량 데이터세트인 경우에는 서로 유사한 특성변화, 예를 들면 포즈변화를 갖는 데이터세트와 조명변화를 갖는 데이터세트로 분류할 수 있다. 한편, 트레이닝 데이터세트가 일반 데이타세트와 로컬 데이터세트로 이루어지는 경우 포즈변화를 갖는 일반 데이터세트와 조명변화를 갖는 일반 데이터세트와 로컬 데이터세트로 분류할 수 있다. 여기서, 일반 데이터세트란 널리 알려진 ALTKOM 또는 XM2VTS와 같은 데이터베이스로부터 수집된 데이터세트를 의미하고, 로컬 데이터세트란 본 발명에 따른 얼굴인식장치가 설치되는 장소에 따라서 적응적으로 수집되는 데이터세트를 의미한다. 일반 데이터세트는 얼굴인식성능 향상을 위해서 일반적으로 쉽게 구할 수 있는 데이터를 의미하고, 이와 같은 데이터를 많이 확보하여 학습할수록 성능이 좋아지기 때문에 상대적으로 대용량 데이터세트가 된다. 반면, 로컬 데이터세트는 상대적으로 일반 데이터세트보다 그 사 이즈가 작다. 예를 들면 일반 데이터세트의 경우 개인의 얼굴이 3천 내지 3만장까지 가지고 있으나, 로컬 데이터세트는 500 내지 1천장 정도에 불과하다.
제1 내지 제N PCA 학습부((520_1, 520_2, 520_N)에서는 제1 내지 제N 서브그룹의 데이터세트들에 대하여 각각 PCA 학습을 수행하여 서브그룹별로 PCA 베이시스벡터를 생성한다.
제1 내지 제N 프로젝션부(530_1, 530_2, 530_N)에서는 제1 내지 제N 서브그룹별 PCA 베이시스벡터를 트레이닝 데이터세트에 프로젝션시킨다.
제1 내지 제N LDA 학습부(540_1, 540_2, 540_N)에서는 제1 내지 제N 프로젝션부(530_1, 530_2, 530_N)에서 서브그룹별로 PCA 베이시스벡터에 프로젝션된 트레이닝 데이터세트에 대하여 LDA 학습을 수행하여 제1 내지 제N PCLDA 베이시스벡터(B1,B2,BN)를 생성한다.
다음 본 발명에 따른 얼굴인식방법의 성능을 평가하기 위하여, 다음 표 1에 설명된 바와 같이 조명변화에 기반한 서브그룹용 트레이닝 및 테스트 데이터세트로서 Purdue, PIE 데이터베이스로부터 1600장, 포즈변화에 기반한 서브그룹용 트레이닝 및 테스트 데이터세트로서 ALTKOM, XM2VTS 데이터베이스로부터 1600장을 사용하였다. 또한, 트레이닝 데이터세트의 오버피팅 유무 및 시간변화에 따른 얼굴인식율을 확인하기 위하여 BANCA 데이터베이스로부터 400장을 테스트 데이터세트로만 사용하였다.
데이터베이스 얼굴영상의 수 트레이닝 세트 테스트 세트 변화 형태
Purdue 920 460 460 조명 및 표정 변화
PIE 680 340 340 조명 변화
ALTKOM 800 400 400 포즈 및 조명 변화
XM2VTS 800 400 400 포즈 변화
BANCA 400 - 400 조명 및 시간 변화
상기와 같은 실험환경에 대한 얼굴인식결과는 다음 표 2에 나타낸 바와 같다.
단위 (ANMRR) 조명변화기반 데이터세트 포즈변화기반 데이터세트 실외 총계
Purdue PIE ALTKOM XM2VTS BANCA
EXP1 0.350 0.037 0.480 0.686 0.620 0.444
EXP2 0.686 0.326 0.378 0.612 0.677 0.547
EXP3 0.349 0.030 0.680 0.844 0.636 0.517
EXP4 0.322 0.042 0.440 0.664 0.591 0.420
EXP5 0.368 0.043 0.521 0.697 0.640 0.464
EXP6 0.315 0.038 0.441 0.657 0.594 0.417
표 2에 있어서, EXP1는 전체 트레이닝 데이터세트에 대한 PCA 및 LDA 학습에 의한 종래의 얼굴인식방법, EXP2는 포즈변화 기반 데이터세트(ALTKOM, XM2VTS)에 대한 PCA 및 LDA 학습에 의한 종래의 얼굴인식방법, EXP3는 조명변화 기반 데이터세트(Purdue, PIE)에 대한 PCA 및 LDA 학습에 의한 종래의 얼굴인식방법, EXP4는 포즈변화 기반 데이터세트 중 우수 데이터에 대한 PCA 학습 및 전체 트레이닝 데이터세트 중 우수 데이터에 대한 LDA 학습에 의한 얼굴인식방법, EXP5는 조명변화 기반 데이터세트 중 우수 데이터에 대한 PCA 학습 및 전체 트레이닝 데이터세트 중 우수 데이터에 대한 LDA 학습에 의한 얼굴인식방법, EXP6는 서브그룹별 PCA 학습 및 전체 트레이닝 데이터세트에 대한 LDA 학습에 의한 얼굴인식방법을 각각 나타낸다. 표 2를 참조하면, 서브그룹 PCA 및 LDA 학습방식을 채택하는 EXP4 및 EXP5는 특정 데이터세트에 치중한 학습방식을 채택하는 EXP2 및 EXP3에 비하여 더 우수한 검색 정확도를 보여줌을 알 수 있다. 예를 들어 EXP2는 자신의 포즈변화 기반 데이터세트에 대해서는 가장 우수한 검색 정확도를 나타내는 반면 다른 조명변화 기반 데이터세트에 대해서는 가장 저조한 검색 정확도를 나타낼 수 있고, EXP3은 그 반대의 특성을 나타내게 된다.
상기한 바와 같은 제1 내지 제6 실험(EXP1~EXP6)에 대하여 전체 트레이닝 데이터세트에 대하여 사용되는 특징벡터의 수를 가변시키면서 얻어지는 얼굴검색의 정확도를 ANMRR(Average Normalized Modified Retrieval Rate)로 평가하면 도 6과 같이 나타낼 수 있다. ANMRR의 범위는 0에서부터 1까지이고, 작은 값일수록 우수한 정확도를 나타냄을 의미한다. 도 6을 살펴보면 본 발명에서 제안한 학습방식을 채택하는 EXP6가 가장 우수한 검색성능을 보임을 알 수 있다.
도 7a 및 도 7b는 서브그룹별로 사용되는 특징벡터의 수에 따라 제1 내지 제5 실험(EXP1~EXP5)의 성능변화를 보여주는 그래프이다.
한편, 상기한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이, 본 발명에 따르면 트레이닝 데이터세트를 구성하는 서브그룹별로 PCA 학습을 수행한 다음, 트레이닝 데이터세트를 서브그룹별 PCA 베이시스벡터에 프로젝션시켜 LDA 학습을 수행하여 서브그룹별로 생성되는 PCLDA 베이시스벡터를 이용하여 특징벡터를 추출함으로써 서브그룹의 데이터 사이즈에 상관없이 각 서브그룹의 고유특성을 효과적으로 반영할 수 있어 오버피팅을 방지할 수 있고, 전반적인 얼굴인식성능을 향상시킬 수 있다.
또한, 싱귤래러티 문제로 인하여 일반적인 PCLDA 방식을 적용할 수 없는 소규모 사업장에서도 안정적인 얼굴인식성능을 제공해 줄 수 있다.
또한, 서로 다른 서브그룹으로 분리되는 일반적인 데이터세트와 로컬 데이터세트를 트레이닝 데이터세트로 구성하고 실제 설치되는 장소의 특징이 반영될 수 있도록 서브그룹별 가중치를 결정함으로써 설치장소에 최적화된 얼굴인식시스템을 제공할 수 있다.
상기한 바와 같은 본 발명에 따른 얼굴인식방법 및 장치는 금융, 공안, 항만보안, 국경지대 입출국 관리, 전자투표 본인 확인, 보안, 감시분야, 신원위조방지, 범죄자 검색 및 조회, 중요정보 접근제어 등에 널리 적용되어 보다 얼굴인식의 정확도를 향상시킬 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들 이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (22)

  1. (a) 트레이닝 데이터세트를 복수개의 서브그룹으로 분리하는 단계;
    (b) 상기 각 서브그룹별로 PCA 학습을 수행하여 PCA 베이시스 벡터를 생성하는 단계;
    (c) 상기 서브그룹별 PCA 베이시스 벡터를 상기 전체 트레이닝 데이터세트에 프로젝션시켜 LDA 학습을 수행하여 서브그룹별로 PCLDA 베이시스벡터를 생성하는 단계; 및
    (d) 상기 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출하는 단계를 포함하는 것을 특징으로 하는 특징벡터 추출방법.
  2. 제1 항에 있어서, 상기 트레이닝 데이터세트는 일반 데이터세트를 포함하며, 일반 데이터세트 중 조명변화에 기반한 데이터세트 및 포즈변화에 기반한 데이터세 트가 각각 하나의 서브그룹으로 분리되는 것을 특징으로 하는 특징벡터 추출방법.
  3. 제1 항에 있어서, 상기 트레이닝 데이터세트는 일반 데이터세트와 로컬 데이터세트를 포함하며, 일반 데이터세트를 서로 유사한 특성변화를 갖도록 복수개의 서브그룹으로 분리되고, 상기 로컬 데이터세트를 하나의 서브그룹으로 분리되는 것을 특징으로 하는 특징벡터 추출방법.
  4. 제1 항에 있어서, 상기 방법은
    (e) 상기 서브그룹별 특징벡터를 이용한 해당 서브그룹의 얼굴인식성능에 따라서 서브그룹별 가중치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 특징벡터 추출방법.
  5. 제1 항에 있어서, 상기 방법은
    (e) 사용자에 의해 상기 서브그룹별 특징벡터를 결정하는 단계를 더 포함하는 것을 특징으로 하는 특징벡터 추출방법.
  6. 제1 항 내지 제5 항 중 어느 한 항에 기재된 방법을 실행할 수 있는 프로글램을 기재한 컴퓨터로 읽을 수 있는 기록매체.
  7. 트레이닝 데이터세트를 복수개의 서브그룹으로 분리하는 데이터분류부;
    상기 각 서브그룹별로 PCA 학습을 수행하여 PCA 베이시스 벡터를 생성하는 PCA 학습부;
    상기 서브그룹별 PCA 베이시스 벡터를 상기 전체 트레이닝 데이터세트에 프로젝션시키는 프로젝션부;
    상기 PCA 베이시스 벡터가 프로젝션된 트레이닝 데이터세트에 대하여 LDA 학습을 수행하여 서브그룹별로 PCLDA 베이시스벡터를 생성하는 LDA 학습부; 및
    상기 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출하는 특징벡터 추출부를 포함하는 것을 특징으로 하는 특징벡터 추출장치.
  8. 제7 항에 있어서, 상기 트레이닝 데이터세트는 상기 트레이닝 데이터세트는 일반 데이터세트를 포함하며, 일반 데이터세트 중 조명변화에 기반한 데이터세트 및 포즈변화에 기반한 데이터세트가 각각 하나의 서브그룹으로 분리되는 것을 특징으로 하는 특징벡터 추출장치.
  9. 제7 항에 있어서, 상기 트레이닝 데이터세트는 일반 데이터세트와 로컬 데이터세트를 포함하며, 일반 데이터세트를 서로 유사한 특성변화를 갖도록 복수개의 서브그룹으로 분리되고, 상기 로컬 데이터세트를 하나의 서브그룹으로 분리되는 것을 특징으로 하는 특징벡터 추출장치.
  10. 제7 항에 있어서, 상기 장치는
    상기 서브그룹별 특징벡터를 이용한 해당 서브그룹의 얼굴인식성능에 따라서 서브그룹별 가중치를 결정하는 가중치 결정부를 더 포함하는 것을 특징으로 하는 특징벡터 추출장치.
  11. (a) 트레이닝 데이터세트를 구성하는 복수개의 서브그룹별로 PCA 학습 후 전체 트레이닝 데이터세트로 LDA 학습을 순차적으로 수행하여 서브그룹별 PCLDA 베이시스벡터를 생성하는 단계;
    (b) 상기 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출하는 단계;
    (c) 등록하고자 하는 복수개의 얼굴영상을 상기 서브그룹별 PCLDA 베이시스벡터에 프로젝션시켜 서브그룹별로 특징벡터를 생성하여 데이터베이스에 저장하는 단계; 및
    (d) 상기 입력영상의 서브그룹별 특징벡터와 데이터베이스에 저장된 등록영상의 서브그룹별 특징벡터간의 유사도를 산출하는 단계를 포함하는 것을 특징으로 하는 얼굴인식방법.
  12. 제11 항에 있어서, 상기 (a) 단계는
    (a1) 트레이닝 데이터세트를 복수개의 서브그룹으로 분리하는 단계;
    (a2) 상기 각 서브그룹별로 PCA 학습을 수행하여 PCA 베이시스 벡터를 생성 하는 단계; 및
    (a3) 상기 서브그룹별 PCA 베이시스 벡터를 상기 트레이닝 데이터세트에 프로젝션시켜 LDA 학습을 수행하여 서브그룹별로 PCLDA 베이시스벡터를 생성하는 단계로 이루어지는 것을 특징으로 하는 얼굴인식방법.
  13. 제12 항에 있어서, 상기 트레이닝 데이터세트는 일반 데이터세트와 로컬 데이터세트를 포함하며, 일반 데이터세트는 서로 유사한 특성변화를 갖도록 복수개의 서브그룹으로 분리되고, 상기 로컬 데이터세트는 하나의 서브그룹으로 분리되는 것을 특징으로 하는 얼굴인식방법.
  14. 제12 항에 있어서, 상기 트레이닝 데이터세트는 상기 트레이닝 데이터세트는 일반 데이터세트를 포함하며, 일반 데이터세트는 서로 유사한 특성변화를 갖도록 복수개의 서브그룹으로 분리되는 것을 특징으로 하는 얼굴인식방법.
  15. 제12 항에 있어서, 상기 방법은
    (e) 상기 서브그룹별 특징벡터를 이용한 서브그룹별 얼굴인식성능에 따라서 서브그룹별 가중치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 얼굴인식방법.
  16. 제12 항에 있어서, 상기 방법은
    (e) 사용자에 의해 상기 서브그룹별 가중치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 얼굴인식방법.
  17. 제15 항 또는 제16 항에 있어서, 상기 (e) 단계는
    (e1) 입력영상과 하나의 등록영상에 대하여 특징벡터간의 유사도를 서브그룹별로 각각 산출하는 단계; 및
    (e2) 각 서브그룹에 해당하는 유사도에 상기 서브그룹별 가중치를 곱한 다음 전체를 가산함으로써 입력영상과 하나의 등록영상간의 최종 유사도를 산출하는 단계를 포함하는 것을 특징으로 하는 얼굴인식방법.
  18. 제11 항 내지 제17 항 중 어느 한 항에 기재된 방법을 실행할 수 있는 프로글램을 기재한 컴퓨터로 읽을 수 있는 기록매체.
  19. 트레이닝 데이터세트를 구성하는 복수개의 서브그룹별로 PCA 학습 후 전체 트레이닝 데이터세트로 LDA 학습을 순차적으로 수행하여 서브그룹별 PCLDA 베이시스벡터를 생성하는 학습부;
    상기 서브그룹별 PCLDA 베이시스벡터를 입력영상에 프로젝션시켜 입력영상의 특징벡터를 서브그룹별로 추출하는 특징벡터 추출부;
    등록하고자 하는 복수개의 얼굴영상을 상기 서브그룹별 PCLDA 베이시스벡터에 프로젝션시켜 서브그룹별로 특징벡터를 생성하여 데이터베이스에 저장하는 등록 영상 특징벡터 저장부; 및
    상기 입력영상의 서브그룹별 특징벡터와 데이터베이스에 저장된 등록영상의 서브그룹별 특징벡터간의 유사도를 산출하는 유사도 계산부를 포함하는 것을 특징으로 하는 얼굴인식장치.
  20. 제19 항에 있어서, 상기 장치는 상기 서브그룹별로 가중치를 결정하는 가중치 결정부를 더 포함하는 것을 특징으로 하는 얼굴인식장치.
  21. 제19 항에 있어서, 상기 학습부는 트레이닝 데이터세트를 복수개의 서브그룹으로 분리하고, 상기 각 서브그룹별로 PCA 학습을 수행하여 PCA 베이시스 벡터를 생성하고, 상기 서브그룹별 PCA 베이시스 벡터를 상기 트레이닝 데이터세트에 프로젝션시켜 LDA 학습을 수행하여 서브그룹별로 PCLDA 베이시스벡터를 생성하는 것을 특징으로 하는 얼굴인식장치.
  22. 제20 항에 있어서, 상기 유사도 계산부는 입력영상과 하나의 등록영상에 대하여 특징벡터간의 유사도를 서브그룹별로 각각 산출하고, 각 서브그룹에 해당하는 유사도에 상기 서브그룹별 가중치를 곱한 다음 전체를 가산함으로써 입력영상과 하나의 등록영상간의 최종 유사도를 산출하는 것을 특징으로 하는 얼굴인식장치.
KR1020030087767A 2003-12-04 2003-12-04 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치 KR100543707B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020030087767A KR100543707B1 (ko) 2003-12-04 2003-12-04 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치
US11/002,082 US7734087B2 (en) 2003-12-04 2004-12-03 Face recognition apparatus and method using PCA learning per subgroup

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030087767A KR100543707B1 (ko) 2003-12-04 2003-12-04 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치

Publications (2)

Publication Number Publication Date
KR20050054394A KR20050054394A (ko) 2005-06-10
KR100543707B1 true KR100543707B1 (ko) 2006-01-20

Family

ID=34632087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030087767A KR100543707B1 (ko) 2003-12-04 2003-12-04 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치

Country Status (2)

Country Link
US (1) US7734087B2 (ko)
KR (1) KR100543707B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390154A (zh) * 2013-07-31 2013-11-13 中国人民解放军国防科学技术大学 基于进化多特征提取的人脸识别方法
US9875397B2 (en) 2014-09-16 2018-01-23 Samsung Electronics Co., Ltd. Method of extracting feature of input image based on example pyramid, and facial recognition apparatus

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634527B1 (ko) * 2004-11-26 2006-10-16 삼성전자주식회사 층 기반 영상 처리 장치 및 방법
KR100711223B1 (ko) * 2005-02-18 2007-04-25 한국방송공사 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체
KR100734849B1 (ko) 2005-11-26 2007-07-03 한국전자통신연구원 얼굴 인식 방법 및 그 장치
CN100373395C (zh) * 2005-12-15 2008-03-05 复旦大学 一种基于人脸统计知识的人脸识别方法
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
JP2007206833A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 生体照合方法および生体照合装置
KR100755934B1 (ko) * 2006-04-20 2007-09-06 인하대학교 산학협력단 변환된 행렬의 벡터 곱과 키워드를 사용하는 취소 가능한생체인식 시스템 및 방법
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
KR100888751B1 (ko) * 2006-08-24 2009-03-17 연세대학교 산학협력단 객체 인식 장치 및 방법
US7724960B1 (en) 2006-09-08 2010-05-25 University Of Central Florida Research Foundation Inc. Recognition and classification based on principal component analysis in the transform domain
CN100444190C (zh) * 2006-10-30 2008-12-17 邹采荣 一种基于加权主动形状建模的人脸特征定位方法
CN100447807C (zh) * 2006-11-09 2008-12-31 上海大学 基于有限多幅人脸图像的人脸匹配方法
KR100860989B1 (ko) * 2006-12-18 2008-09-30 삼성전자주식회사 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법
RU2007119908A (ru) * 2007-05-29 2008-12-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко. Адаптивный к галерее способ и система распознавания лиц
US7936906B2 (en) * 2007-06-15 2011-05-03 Microsoft Corporation Face recognition using discriminatively trained orthogonal tensor projections
US8862582B2 (en) * 2007-11-15 2014-10-14 At&T Intellectual Property I, L.P. System and method of organizing images
US20090161912A1 (en) * 2007-12-21 2009-06-25 Raviv Yatom method for object detection
US8218880B2 (en) 2008-05-29 2012-07-10 Microsoft Corporation Linear laplacian discrimination for feature extraction
KR101669420B1 (ko) * 2010-01-04 2016-10-27 삼성전자주식회사 냉장고
ES2339100B2 (es) * 2010-01-14 2010-09-21 Universidad Politecnica De Madrid Dispositivo y procedimiento automatico para establecer el sexo al que pertenecen los rostros que aparecen en imagenes.
CN101819628B (zh) * 2010-04-02 2011-12-28 清华大学 结合形状特征的稀疏表示人脸识别方法
KR101116737B1 (ko) * 2010-10-12 2012-02-22 고려대학교 산학협력단 요주의 인물 식별 시스템
US9355303B2 (en) * 2011-12-04 2016-05-31 King Saud University Face recognition using multilayered discriminant analysis
US9405962B2 (en) * 2012-08-14 2016-08-02 Samsung Electronics Co., Ltd. Method for on-the-fly learning of facial artifacts for facial emotion recognition
US9165180B2 (en) 2012-10-12 2015-10-20 Microsoft Technology Licensing, Llc Illumination sensitive face recognition
CN103198331B (zh) * 2013-03-25 2017-02-08 江苏易谱恒科技有限公司 基于pca_lda分析的多谱图特征融合识别方法
CN103226699B (zh) * 2013-04-16 2016-06-29 哈尔滨工程大学 一种基于分离度差有监督局部保持投影的人脸识别方法
CN103745205B (zh) * 2014-01-22 2017-01-11 山东大学 一种基于多线性均值成分分析的步态识别方法
CN104318224B (zh) * 2014-11-18 2018-03-23 深圳市中控生物识别技术有限公司 一种人脸识别方法及监控设备
CN107004115B (zh) * 2014-12-03 2019-02-15 北京市商汤科技开发有限公司 用于人脸识别的方法和系统
CN104463234B (zh) * 2015-01-04 2017-10-27 深圳信息职业技术学院 人脸识别方法
CN105389560B (zh) * 2015-11-13 2018-05-11 东北师范大学 基于局部约束的图优化维数约简方法
CN105718885B (zh) * 2016-01-20 2018-11-09 南京邮电大学 一种人脸特征点跟踪方法
KR102221118B1 (ko) 2016-02-16 2021-02-26 삼성전자주식회사 영상의 특징을 추출하여 객체를 인식하는 방법
US10437565B2 (en) * 2016-08-31 2019-10-08 International Business Machines Corporation Dynamic code suggestion
CN108182442B (zh) * 2017-12-29 2022-03-15 惠州华阳通用电子有限公司 一种图像特征提取方法
TWI632509B (zh) * 2017-12-29 2018-08-11 技嘉科技股份有限公司 人臉辨識裝置及方法、提升影像辨識率的方法、及電腦可讀儲存介質
CN108776768A (zh) * 2018-04-19 2018-11-09 广州视源电子科技股份有限公司 图像识别方法及装置
US10467504B1 (en) 2019-02-08 2019-11-05 Adhark, Inc. Systems, methods, and storage media for evaluating digital images
US11531840B2 (en) 2019-02-08 2022-12-20 Vizit Labs, Inc. Systems, methods, and storage media for training a model for image evaluation
CN110210340B (zh) * 2019-05-20 2023-06-02 深圳供电局有限公司 一种人脸特征值比对方法及其系统、可读存储介质
KR102321039B1 (ko) * 2019-07-23 2021-11-04 주식회사 카이 머신러닝 기반의 비디오 분류 장치, 방법 및 컴퓨터 프로그램
WO2021037869A1 (en) 2019-08-28 2021-03-04 Ventana Medical Systems, Inc. Assessing antigen retrieval and target retrieval progression quantitation with vibrational spectroscopy
WO2021037872A1 (en) 2019-08-28 2021-03-04 Ventana Medical Systems, Inc. Label-free assessment of biomarker expression with vibrational spectroscopy
JP2022546058A (ja) 2019-08-28 2022-11-02 ベンタナ メディカル システムズ， インコーポレイテッド 振動分光法を使用して検体固定の持続時間および品質を評価するためのシステムおよび方法
CN111611909A (zh) * 2020-05-18 2020-09-01 桂林电子科技大学 多子空间域自适应人脸识别方法
CN114419383A (zh) * 2022-01-21 2022-04-29 北部湾大学 一种基于主成分分析的图像光照校正算法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU658066B2 (en) * 1992-09-10 1995-03-30 Deere & Company Neural network based control system
US6185337B1 (en) * 1996-12-17 2001-02-06 Honda Giken Kogyo Kabushiki Kaisha System and method for image recognition
US6442519B1 (en) * 1999-11-10 2002-08-27 International Business Machines Corp. Speaker model adaptation via network of similar users
GB0013016D0 (en) * 2000-05-26 2000-07-19 Univ Surrey Personal identity authentication process and system
US6892189B2 (en) * 2001-01-26 2005-05-10 Inxight Software, Inc. Method for learning and combining global and local regularities for information extraction and classification
US20020136433A1 (en) * 2001-03-26 2002-09-26 Koninklijke Philips Electronics N.V. Adaptive facial recognition system and method
US7027620B2 (en) * 2001-06-07 2006-04-11 Sony Corporation Method of recognizing partially occluded and/or imprecisely localized faces
US20030210139A1 (en) * 2001-12-03 2003-11-13 Stephen Brooks Method and system for improved security
US7123783B2 (en) * 2002-01-18 2006-10-17 Arizona State University Face classification using curvature-based multi-scale morphology
DE60233935D1 (de) * 2002-07-19 2009-11-19 Mitsubishi Electric Inf Tech Verfahren und Gerät zur Datenverarbeitung
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390154A (zh) * 2013-07-31 2013-11-13 中国人民解放军国防科学技术大学 基于进化多特征提取的人脸识别方法
US9875397B2 (en) 2014-09-16 2018-01-23 Samsung Electronics Co., Ltd. Method of extracting feature of input image based on example pyramid, and facial recognition apparatus

Also Published As

Publication number Publication date
US20050123202A1 (en) 2005-06-09
US7734087B2 (en) 2010-06-08
KR20050054394A (ko) 2005-06-10

Similar Documents

Publication Publication Date Title
KR100543707B1 (ko) 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치
Kotropoulos et al. Frontal face authentication using morphological elastic graph matching
CN110362677B (zh) 文本数据类别的识别方法及装置、存储介质、计算机设备
Zhang et al. Ear verification under uncontrolled conditions with convolutional neural networks
Kotropoulos et al. Frontal face authentication using discriminating grids with morphological feature vectors
Ross et al. Exploiting the “doddington zoo” effect in biometric fusion
JP6111297B2 (ja) 方法、装置、およびプログラム
EP1433118A1 (en) System and method of face recognition using portions of learned model
CN103605972A (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
Garg et al. An efficient human identification through iris recognition system
Guzel Turhan et al. Class‐wise two‐dimensional PCA method for face recognition
CN110555386A (zh) 一种基于动态贝叶斯的人脸识别身份认证方法
Mohanty et al. From scores to face templates: A model-based approach
Tefas et al. Face verification using elastic graph matching based on morphological signal decomposition
CN110378414B (zh) 基于进化策略的多模态生物特征融合的身份识别方法
Ioannidis et al. Key-frame extraction using weighted multi-view convex mixture models and spectral clustering
Luo et al. Spontaneous smile recognition for interest detection
CN115565231A (zh) 一种隐私保护的人脸防伪方法、系统、终端及介质
CN113240394B (zh) 一种基于人工智能的电力营业厅服务方法
Suzuki et al. Illumination-invariant face identification using edge-based feature vectors in pseudo-2D Hidden Markov Models
Lu et al. Joint Subspace and Low‐Rank Coding Method for Makeup Face Recognition
Khryashchev et al. Enhancement of Fast Face Detection Algorithm Based on A Cascade of Decision Trees
Lee et al. Local age group modeling in unconstrained face images for facial age classification
Goudelis et al. Automated facial pose extraction from video sequences based on mutual information
Juan Recognition Algorithm of Popular Elements of Ethnic Minority Traditional Clothing Based on PCA

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121210

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131217

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 15