KR20080099443A - 조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법 - Google Patents

조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법 Download PDF

Info

Publication number
KR20080099443A
KR20080099443A KR1020070044981A KR20070044981A KR20080099443A KR 20080099443 A KR20080099443 A KR 20080099443A KR 1020070044981 A KR1020070044981 A KR 1020070044981A KR 20070044981 A KR20070044981 A KR 20070044981A KR 20080099443 A KR20080099443 A KR 20080099443A
Authority
KR
South Korea
Prior art keywords
user
gmm
face
face image
facial feature
Prior art date
Application number
KR1020070044981A
Other languages
English (en)
Other versions
KR100876786B1 (ko
Inventor
김현수
윤제한
이지효
이재연
지수영
윤우한
Original Assignee
삼성전자주식회사
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국전자통신연구원 filed Critical 삼성전자주식회사
Priority to KR1020070044981A priority Critical patent/KR100876786B1/ko
Priority to EP08155324.0A priority patent/EP1990758B1/en
Priority to US12/115,905 priority patent/US8116538B2/en
Priority to CN200810096436XA priority patent/CN101320424B/zh
Publication of KR20080099443A publication Critical patent/KR20080099443A/ko
Application granted granted Critical
Publication of KR100876786B1 publication Critical patent/KR100876786B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 조명 마스크(Light Masks)를 이용한 사용자 얼굴 검증 시스템 및 방법에 관한 것으로서, 얼굴 영상으로부터 얼굴특징 벡터를 추출하는 얼굴특징 추출부와, 일반인 DB(Database)의 얼굴 영상으로부터 일반인 GMM(Gaussian Mixture Model)을 생성하는 일반인 GMM 구성부 및 사용자 DB(Database)의 얼굴 영상에 조명 마스크를 적용하여 사용자 GMM(Gaussian Mixture Model)을 생성하는 사용자 GMM 구성부와, 상기 일반인 GMM과 상기 사용자 GMM에 상기 얼굴특징 벡터를 입력하여 로그우도값(Log-likelihood)을 계산하는 로그우도값 계산부와, 상기 계산된 로그우도값을 소정 임계치와 비교하여 상기 얼굴 영상이 사용자의 얼굴 영상인지 여부를 검증하는 사용자 검증부를 포함하는 조명 마스크를 이용하는 사용자 얼굴 검증 시스템을 제공한다.
본 발명에 의하여 얼굴 영역 전체에 대하여 특징 추출을 함으로써 얼굴 전체에 대한 특징을 제대로 반영하여 검증할 수 있으며, 얼굴 영상에 대해 조명 마스크를 적용함으로써 얼굴 특징에 관한 데이터 양을 늘여 검증시 조명에 취약한 단점을 보완하는 효과가 있다.
로봇, GMM(Gaussian Mixture Model), 조명 마스크, 사용자 검증

Description

조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법{SYSTEM AND METHOD FOR VERIFYING USER'S FACE USING LIGHT MASKS}
도 1은 종래기술 및 본 발명의 실시 예에 따른 얼굴 영역의 블록화에 대한 예시도
도 2는 본 발명의 실시 예에 따른 조명 마스크(Light Masks)를 이용한 얼굴 영상 처리에 대한 예시도
도 3은 본 발명의 실시예에 따른 조명 마스크를 이용한 사용자 얼굴 검증 시스템에 관한 구성도
도 4는 본 발명의 실시 예에 따른 일반인 GMM(Gaussian Mixture Model) 구성부에 관한 구성도
도 5는 본 발명의 실시 예에 따른 사용자 GMM(Gaussian Mixture Model) 구성부에 관한 구성도
도 6은 본 발명의 실시 예에 따른 조명 마스크를 이용한 얼굴 영상의 선형 변환 산출에 관한 구성도
도 7은 본 발명의 실시 예에 따른 조명 마스크를 이용한 사용자 얼굴 검증 방법에 관한 흐름도
본 발명은 조명 마스크를 이용한 사용자 얼굴 검증 시스템 및 방법에 관한 것이다. 특히 로봇(Robot) 환경에서 카메라(Camera)를 통해 입력되는 영상을 인식하여 등록된 사용자를 검증하는 시스템 및 방법에 유용하다.
얼굴을 인식하여 검증하는 기술은 종래에도 많이 존재하고 있다. 종래의 얼굴 검증 기술은 얼굴 영상을 블록화하여 각 블록에 대해 특징을 추출한 후 가우시안 혼합 모델(Gaussian Mixture Model, 이하 GMM)을 생성하는 것이 주를 이루고 있다. 얼굴 영상을 블록화하는 것은 도 1의 (a)에 예시된 것과 같다. 이처럼 얼굴 영상을 작은 블록으로 구분하여 특징을 추출하는 방식은 소수의 영상으로 많은 데이터를 얻어서 GMM 학습이 잘된다는 장점도 있으나 GMM의 개수가 많아져서 학습 및 적응 시간과 검증 시간이 오래 걸리고, 얼굴의 전체적인 특징이 제대로 반영되지 못한다는 단점이 있다.
본 발명은 종래에 얼굴 영역을 블록화하여 특징 추출하는 것을 얼굴 전체 영역에 대해 특징을 추출함으로써, 얼굴 전체의 특징을 제대로 반영하는 얼굴 검증 시스템 및 방법을 제공한다. 도 1의 (b)에서 처럼 얼굴 영역을 따로 블록화하지 않고 전체에 대해 특징을 추출한다.
한편, 얼굴 전체를 이용한 특징 추출에 의해 추출된 데이터 양이 줄어드는 새로운 문제점을 보완하기 위하여, 얼굴에 조명 마스크를 적용하는 선형 변환을 통 해 데이터 양을 늘리는 얼굴 검증 시스템 및 방법을 제공한다. 도 2에서 보는 바와 같이 하나의 얼굴 영상에 대하여 다양한 방향에서 조명을 비추는 효과를 가지는 조명 마스크를 합성하여 마치 여러 방향에서 조명을 비추는 얼굴 영상을 만들어 낼수 있다. 이처럼 조명 마스크를 이용하여 얼굴을 검증함으로써, 종래의 얼굴 검증 시스템 및 방법이 조명에 취약하다는 단점을 보완하는 조명 마스크를 이용한 얼굴 검증 시스템 및 방법을 제공한다.
상기 기술적 과제를 해결하기 위하여 본 발명은 얼굴 영상으로부터 얼굴특징 벡터를 추출하는 얼굴특징 추출부와, 일반인 DB의 얼굴 영상으로부터 일반인 GMM을 생성하는 일반인 GMM 구성부 및 사용자 DB의 얼굴 영상에 조명 마스크를 적용하여 사용자 GMM을 생성하는 사용자 GMM 구성부와, 상기 일반인 GMM과 상기 사용자 GMM에 상기 얼굴특징 벡터를 입력하여 로그우도값(Log-likelihood)을 계산하는 로그우도값 계산부와, 상기 계산된 로그우도값을 소정 임계치와 비교하여 상기 얼굴 영상이 사용자의 얼굴 영상인지 여부를 검증하는 사용자 검증부를 포함하는 조명 마스크를 이용하는 사용자 얼굴 검증 시스템을 제공한다.
한편, 상기 기술적 과제를 해결하기 위하여 본 발명은 얼굴 영상으로부터 얼굴특징 벡터를 추출하는 얼굴특징 추출단계와, 일반인 DB의 얼굴영상으로부터 일반인 GMM을 생성하고, 사용자 DB의 얼굴영상에 조명 마스크를 적용하여 사용자 GMM을 생성하는 GMM 생성단계와, 상기 일반인 GMM과 상기 사용자 GMM에 상기 얼굴특징 벡터를 입력하여 로그우도값을 계산하는 로그우도값 계산단계와, 상기 계산된 로그우 도값을 소정 임계치와 비교하여 상기 얼굴 영상이 사용자의 얼굴 영상인지 여부를 검증하는 사용자 검증단계를 포함하는 조명 마스크를 이용하는 사용자 얼굴 검증 방법을 제공한다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명한다. 도면에서 동일한 구성 요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
도 3은 본 발명의 실시예에 따른 조명 마스크를 이용한 사용자 얼굴 검증 시스템에 관한 구성도이다. 도 3을 참조하면, 조명 마스크를 이용한 사용자 얼굴 검증 시스템(300, 이하 사용자 얼굴 검증 시스템)은 영상 입력부(310), 얼굴특징 추출부(320), 일반인 GMM 구성부(400), 사용자 GMM 구성부(500), 로그우도값 계산부(330) 및 사용자 검증부(340)를 포함한다. 사용자 얼굴 검증 시스템(300)의 각 구성은 다음과 같다. 먼저 영상 입력부(310)는 로봇에 장착된 카메라 등을 통해서 얼굴 영상을 입력받는다. 이러한 영상 입력부(310)는 카메라에 한정하지 않으며, 디스켓(Diskette)과 같이 카메라에 의한 촬영없이 영상이 입력될 수 있는 모든 구성을 포함한다.
얼굴특징 추출부(320)는 영상 입력부(310)에서 입력받은 영상에 대해 전처리를 행한 후, 얼굴특징 벡터를 추출한다. 여기서 영상 상의 얼굴 영역 전체를 얼굴특징 추출 단위로 하여 얼굴특징 벡터를 추출할 수 있다.
한편, 일반인 GMM 구성부(400)는 일반인 DB 상에 등록된 일반인 얼굴 영상에 대해 일반인 GMM을 생성하여 저장하며, 사용자 GMM 구성부(500)는 사용자 DB 상에 등록된 사용자 얼굴 영상에 대해 사용자 GMM을 생성하여 저장한다. 여기서 특히 사용자 GMM 구성부(500)에서는 얼굴특징 추출부(320)에서 추출된 얼굴특징 벡터에 조명 마스크를 적용하여 다양한 조명 하의 얼굴 영상을 생성한다. 따라서 얼굴특징 벡터의 데이터 양을 늘리고 사용자 검증 시 검증 확률을 높일 수 있다. 일반적인 GMM 생성에 관한 구성은 후술한다.
로그우도값 계산부(330)는 얼굴특징 추출부(320)에서 추출한 얼굴특징 벡터를 일반인 GMM과 사용자 GMM에 입력하여 로그우도값을 계산한다. 다음은 로그우도값의 계산 과정을 수식화한 것이다. 사용자가 여러 명이라면 사용자 GMM에 대한 결과가 여러 개 얻어지는데, 이 때는 가장 큰 로그우도값을 취하여 계산한다.
Figure 112007034432164-PAT00001
사용자 검증부(340)는 로그우도값 계산부(330)에서 구한 위 z값을 이용하여 실제 임계치와 비교하여 영상 입력부(310)에서 입력된 영상의 얼굴이 사용자의 얼굴인지를 검증한다. 여기서 z가 임계치보다 크면 사용자로 판단하고, z가 임계치보다 작으면 일반인으로 판단한다.
도 4는 본 발명의 실시 예에 따른 일반인 GMM 구성부(400)에 관한 구성도이다. 도 4를 참조하면, 일반인 DB(410)에 등록된 일반인의 얼굴 영상은 얼굴특징 추출부(420)에 의해 얼굴 특징이 추출된다. 도면에 도시하지는 않았지만, 얼굴특징 벡터를 추출하기 전에 얼굴특징 추출부(420)에서 얼굴 영상에 대한 전처리를 한 후 얼굴특징 벡터 추출한다. 전처리로는 눈을 중심으로 얼굴의 위치를 정렬하는 기하하적 정규화와 영상의 밝기를 조절하는 히스토그램 정규화를 수행한다. 특징 추출 시에는 주성분 분석을 통해서 특징을 추출한다. 이렇게 추출된 특징들을 이용하여 GMM 생성부(430)에서 일반인 GMM을 생성하고 이를 일반인 GMM 저장부(440)에 저장한다.
일반인 GMM 구성부(400)에서 실제로 수행되는 과정을 수식화하면 다음과 같다. 일반인 DB(410)에 얼굴 영상이 N개 있고 이것을 X=[x1, ... , xN] 이라고 하면, 이 얼굴 영상 데이터를 가우시안 혼합 형태로 모델링한다. 일반적으로 가우시안 확률밀도(Gaussian Probability)는 다음과 같다. 얼굴 영상 데이터의 차원을 D, 얼굴 영상 데이터를 x라고 할 때,
Figure 112007034432164-PAT00002
이러한 가우시안 확률밀도 여러 개가 하나의 확률 모델을 구성한다. 그러한 확률 모델을 GMM이라 하고 다음과 같이 나타낼 수 있다. 여기서 M은 혼합(Mixture)의 개수이다.
Figure 112007034432164-PAT00003
이러한 모델에서 파라미터(parameter)는 다음과 같이 요약할 수 있다. 각 혼합 구성(Mixture component) j의 평균(mean)
Figure 112007034432164-PAT00004
, 코베리언스(Covariance)
Figure 112007034432164-PAT00005
, 가중치(weight) P(j)이다. 이러한 각 파라미터는 주어진 얼굴 영상 데이터 X를 이용하여 학습한다. 학습 방법은 혼합 모델이 얼굴 영상 데이터 X를 가장 잘 표현하는 파라미터를 찾는 것이다. 즉, 로그우도값이 최대화되도록 하는 파라미터를 찾는 것이다. 최대화하고자 하는 로그우도 함수는 다음과 같다. 여기서
Figure 112007034432164-PAT00006
일 때,
Figure 112007034432164-PAT00007
이 로그우도 함수를 최대화하는 파라미터를 찾기 위해, 먼저 K-평균(K-means)를 이용하여 파라미터를 초기화한 후 최대화 기대 알고리즘(Expectation-Maximazation algorithm, 이하 EM 알고리즘)을 사용한다. 이 알고리즘을 통해서 먼저 각 데이터를 몇 개의 그룹으로 분리한다. 이러한 클러스터링(clustering)은 다음과 같이 수행한다.
1. 임의로 M개의 얼굴 영상 데이터를 선택하여 각 그룹의
Figure 112007034432164-PAT00008
으로 정한다.
2. 다음의 과정을 수렴할 때까지 반복한다.
(1) 각 얼굴 영상 데이터 i에 대해서 유클리디안(Euclidian) 거리
Figure 112007034432164-PAT00009
를 구하여 가장 가까운 그룹으로 분류한다.
(2) 분류된 데이터를 이용하여 각 그룹의
Figure 112007034432164-PAT00010
을 다시 계산한다.
초기화를 수행하여 얻어진 각 그룹의
Figure 112007034432164-PAT00011
을 초기값으로 이용하여 EM 알고리즘을 수행하고 파라미터를 구한다. 여기서 EM 알고리즘은 E-단계와 M-단계의 과정으로 나누어지는데, E-단계에서는 잉여 통계값(Sufficient Statistics)를 예측하고, M-단계에서는 잉여 통계값을 바탕으로 파라미터를 예측한다. 이러한 E-단계와 M-단계는 다음과 같다. 먼저 E-단계에서 주어진 얼굴 영상 데이터의 잉여 통계값은 다음과 같다.
Figure 112007034432164-PAT00012
E-단계에서 구해진 잉여 통계값을 바탕으로 M-단계에서 다음과 같이 파라미터들을 구한다.
Figure 112007034432164-PAT00013
위의 EM 알고리즘을 수렴할 때까지 반복한다. 결국 EM 알고리즘을 통하여 일반인 GMM을 표현하는 확률 모델의 파라미터
Figure 112007034432164-PAT00014
를 구할 수 있다.
도 5는 본 발명의 실시 예에 따른 사용자 GMM 구성부(500)에 관한 구성도이다. 도 5를 참조하면, 사용자 DB(510)에는 사용자의 얼굴 영상이 미리 등록된다. 사용자는 개인일 수 도 있고, 복수의 사용자를 포함하는 집단일 수 있다. 사용자 DB(510)에 등록된 사용자의 얼굴 영상도 도 4에서와 마찬가지로 얼굴특징 추출부(520)를 동일한 전처리 및 얼굴특징 추출을 한다. 얼굴특징 추출 시에는 얼굴 영역을 복수의 블록으로 나누어 얼굴특징 벡터를 추출하는 종래 기술과 달리 얼굴 영역 전체를 하나의 특징 추출 단위로 하여 얼굴특징 벡터를 추출한다. 따라서 추출된 얼굴특징 벡터는 차원은 크지만 그 갯수가 적어 데이터 양이 적을 수 밖에 없다. 이를 극복하기 위해 선형변환 증폭부(530)에서 선형변환을 통해 얼굴특징 벡 터의 개수를 늘린다. 여기서 선형 변환 증폭은 조명 마스크를 의미한다. 이렇게 늘어난 특징과 일반인 GMM 구성부(400)에 생성한 일반인 GMM을 이용하여 적응기법 GMM 생성부(540)에서 사용자 GMM을 생성한다. 적응 기법은 보편적인 연관 적응(Relevance Adaptation) 기법을 이용한다. 이러한 연관 적응 기법은 다음의 두 과정으로 나누어 진다.
1. 각 혼합 m에 대한 선점 확률(Occupation Probability) rm(xi)를 구한다.
Figure 112007034432164-PAT00015
2. 이렇게 구한 선점 확률을 이용하여 일반인 GMM으로부터 사용자 GMM을 생성한다. 그 적응 과정은 다음과 같다.
Figure 112007034432164-PAT00016
여기서 은 일반인 GMM과 등록된 사용자의 가중치를 조절하는 값으로 실험을 통해서 미리 정해진다. 이렇게 생성된 사용자 GMM은 사용자 GMM 저장부(550)에 저장된다.
도 6은 본 발명의 실시 예에 따른 조명 마스크를 이용한 얼굴 영상의 선형 변환 산출에 관한 구성도이다. 도 6을 참조하면, 도 4에서와 마찬가지로 일반인 DB의 일반인 얼굴 영상에 대해 얼굴특징 추출부(620a)가 동일한 전처리 및 얼굴특징 벡터를 추출한다. 그리고 정상적 특징 저장부(630a)에서 얼굴특징 벡터를 수신하여 저장한다. 한편, 조명마스크 적용부(620b)에서는 다양한 방향의 조명에 관한 조명 마스크를 일반인 DB의 얼굴 영상에 덧씌워 얼굴특징 추출부(630b)가 얼굴특징 벡터들을 추출한다. 그리고 선형증폭된 특징 저장부(640b)에서 이를 저장한다.
선형변환 산출부(650)는 정상적 특징 저장부(630a)와 선형증폭된 특징 저장부(640b)에 각각 저장된 얼굴특징 벡터들의 차를 이용하여 선형변환을 산출한다. 도 6에서 명시된 시스템을 이용하여 산출된 선형 변환들은 사용자 GMM을 생성할 때 사용된다.
도 7은 본 발명의 실시 예에 따른 조명 마스크를 이용한 사용자 얼굴 검증 방법에 관한 흐름도이다. 도 7을 참조하면, 먼저 영상 입력단계(S710)에서 영상 입력부(310)를 통해 얼굴 영상을 입력받으면, 얼굴특징 추출단계(S720)에서는 얼굴특징 추출부(320)가 얼굴 영상의 얼굴 영역 전체를 추출 단위로 하여 얼굴특징 벡터를 추출한다. 로그우도값 계산단계(S740)에서는 얼굴특징 추출단계(S720)에서 추출한 얼굴특징 벡터를 일반인 GMM 저장부(440) 및 사용자 GMM 저장부(550)에 저장된 일반인 GMM과 사용자 GMM에 입력하여 로그우도값을 계산한다. 일반인 GMM 저장부(440) 및 사용자 GMM 저장부(550)는 일반인 GMM 구성부(400) 및 사용자 GMM 구성부(500)에서 생성된 일반인 GMM과 사용자 GMM들이 저장되어 있다. 여기서 사용자 GMM은 사용자 DB에 등록된 사용자 얼굴 영상에 다양한 조명 마스크를 덧씌어 얼굴특징 벡터들을 추출한 후 생성된다.(S730) 그리고 나서, 사용자 검증단계(S750)에서 로그우도값이 임계치와 비교하여 영상 입력부(310)에서 입력받은 얼굴 영상의 얼굴이 사용자의 얼굴인지 일반인의 얼굴인지를 판단하여 검증한다.
상기한 바와 같이 구성된 본 발명에 의하여 얼굴 영역을 블록화하여 특징을 추출하지 않고 얼굴 영역 전체에 대하여 특징 추출을 함으로써, 얼굴 전체에 대한 특징을 제대로 반영하여 검증할 수 있는 효과가 있다.
한편, 얼굴 영상에 대해 조명 마스크를 적용함으로써, 위의 구성으로 줄어든 데이터 양을 늘이고, 조명에 취약한 얼굴 검증을 보완하는 효과가 있다.

Claims (6)

  1. 조명 마스크(Light Masks)를 이용하는 사용자 얼굴 검증 시스템에 있어서,
    얼굴 영상으로부터 얼굴특징 벡터를 추출하는 얼굴특징 추출부와,
    일반인 DB(Database)의 얼굴 영상으로부터 일반인 GMM(Gaussian Mixture Model)을 생성하는 일반인 GMM 구성부 및 사용자 DB의 얼굴 영상에 조명 마스크를 적용하여 사용자 GMM을 생성하는 사용자 GMM 구성부와,
    상기 일반인 GMM과 상기 사용자 GMM에 상기 얼굴특징 벡터를 입력하여 로그우도값(Log-likelihood)을 계산하는 로그우도값 계산부와,
    상기 계산된 로그우도값을 소정 임계치와 비교하여 상기 얼굴 영상이 사용자의 얼굴 영상인지 여부를 검증하는 사용자 검증부를 포함하는 조명 마스크를 이용하는 사용자 얼굴 검증 시스템.
  2. 제1항에 있어서,
    얼굴 영상을 입력받아 상기 얼굴특징 추출부로 전송하는 영상 입력부를 더 포함하는 조명 마스크를 이용하는 사용자 얼굴 검증 시스템.
  3. 제1항에 있어서,
    상기 얼굴특징 추출부가, 상기 얼굴 영상에서 얼굴영역 전체를 하나의 추출 단위로 하여 얼굴특징을 추출함을 특징으로 하는 조명 마스크를 이용하는 사용자 얼굴 검증 시스템.
  4. 제1항에 있어서, 상기 사용자 GMM 구성부가,
    사용자의 얼굴 영상을 등록하는 사용자 DB와,
    상기 얼굴 영상으로부터 얼굴영역 전체를 하나의 추출 단위로 하여 얼굴특징 벡터를 추출하는 얼굴특징 추출부와,
    상기 추출된 얼굴특징 벡터에 조명 마스크를 적용하여 선형변환 증폭을 하는 선형변환 증폭부와,
    연관 적응 기법(Relevance Adaptation)을 이용하여 상기 일반인 GMM 구성부로부터 사용자 GMM을 생성하는 적응기법 GMM 생성부와,
    상기 생성된 사용자 GMM을 저장하는 사용자 GMM 저장부를 포함하는 조명 마스크를 이용하는 사용자 얼굴 검증 시스템.
  5. 조명 마스크를 이용하는 사용자 얼굴 검증 방법에 있어서,
    얼굴 영상으로부터 얼굴특징 벡터를 추출하는 얼굴특징 추출단계와,
    일반인 GMM과 사용자 GMM이 저장되어 있는 GMM 구성부에 상기 얼굴특징 벡터를 입력하여 로그우도값을 계산하는 로그우도값 계산단계와,
    로그 우도값을 계산하기 위한 일반인 DB의 얼굴 영상으로부터 생성된 일반인 GMM과 사용자 DB의 얼굴 영상에 조명 마스크를 적용하여 생성된 사용자 GMM이 저장되는 GMM 생성단계와,
    상기 계산된 로그우도값을 소정 임계치와 비교하여 상기 얼굴 영상이 사용자의 얼굴 영상인지 여부를 검증하는 사용자 검증단계를 포함하는 조명 마스크를 이용하는 사용자 얼굴 검증 방법.
  6. 제5항에 있어서,
    상기 얼굴특징 추출단계가, 상기 얼굴 영상에서 얼굴영역 전체를 하나의 추출 단위로 하여 얼굴특징을 추출하는 단계임을 특징으로 하는 사용자 얼굴 검증 방법.
KR1020070044981A 2007-05-09 2007-05-09 조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법 KR100876786B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020070044981A KR100876786B1 (ko) 2007-05-09 2007-05-09 조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법
EP08155324.0A EP1990758B1 (en) 2007-05-09 2008-04-29 System and method for verifying face of user using light masks
US12/115,905 US8116538B2 (en) 2007-05-09 2008-05-06 System and method for verifying face of user using light mask
CN200810096436XA CN101320424B (zh) 2007-05-09 2008-05-09 使用光栅验证用户的面部的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070044981A KR100876786B1 (ko) 2007-05-09 2007-05-09 조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20080099443A true KR20080099443A (ko) 2008-11-13
KR100876786B1 KR100876786B1 (ko) 2009-01-09

Family

ID=39712227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070044981A KR100876786B1 (ko) 2007-05-09 2007-05-09 조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법

Country Status (4)

Country Link
US (1) US8116538B2 (ko)
EP (1) EP1990758B1 (ko)
KR (1) KR100876786B1 (ko)
CN (1) CN101320424B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI391876B (zh) * 2009-02-16 2013-04-01 Inst Information Industry 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
EP2954459A4 (en) 2013-02-08 2016-10-19 Emotient Inc HARVESTING MACHINE LEARNING TRAINING DATA FOR EXPRESSION RECOGNITION
US10424072B2 (en) 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
RU2697627C1 (ru) 2018-08-01 2019-08-15 Самсунг Электроникс Ко., Лтд. Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
CN118570485A (zh) * 2024-06-05 2024-08-30 南通大学 一种基于深度学习的建筑三维点云线特征提取方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
KR100287216B1 (ko) * 1998-04-09 2001-04-16 윤종용 조명변화를고려한얼굴인식방법
US6160903A (en) * 1998-04-24 2000-12-12 Dew Engineering And Development Limited Method of providing secure user access
EP1343108A3 (en) * 2002-03-04 2005-03-23 Samsung Electronics Co., Ltd. Method and apparatus for recognising faces using principal component analysis and second order independent component analysis
US20030225719A1 (en) * 2002-05-31 2003-12-04 Lucent Technologies, Inc. Methods and apparatus for fast and robust model training for object classification
AU2003302063A1 (en) * 2002-11-21 2004-06-15 Matsushita Electric Industrial Co., Ltd. Standard model creating device and standard model creating method
KR20030066512A (ko) * 2003-07-04 2003-08-09 김재민 노이즈에 강인한 저용량 홍채인식 시스템
EP1665124A1 (en) * 2003-09-10 2006-06-07 Koninklijke Philips Electronics N.V. Apparatus and method for feature recognition
US7596247B2 (en) * 2003-11-14 2009-09-29 Fujifilm Corporation Method and apparatus for object recognition using probability models
US20060015497A1 (en) * 2003-11-26 2006-01-19 Yesvideo, Inc. Content-based indexing or grouping of visual images, with particular use of image similarity to effect same
KR100567765B1 (ko) * 2004-03-12 2006-04-05 학교법인 인하학원 조명환경 분석과 전처리를 통한 얼굴 인식 시스템 및 방법
US7454039B2 (en) * 2004-07-12 2008-11-18 The Board Of Trustees Of The University Of Illinois Method of performing shape localization
US7779268B2 (en) * 2004-12-07 2010-08-17 Mitsubishi Electric Research Laboratories, Inc. Biometric based user authentication and data encryption
US7620818B2 (en) * 2004-12-07 2009-11-17 Mitsubishi Electric Research Laboratories, Inc. Biometric based user authentication and data encryption
US7509259B2 (en) * 2004-12-21 2009-03-24 Motorola, Inc. Method of refining statistical pattern recognition models and statistical pattern recognizers
US7787011B2 (en) * 2005-09-07 2010-08-31 Fuji Xerox Co., Ltd. System and method for analyzing and monitoring 3-D video streams from multiple cameras
US7680664B2 (en) * 2006-08-16 2010-03-16 Microsoft Corporation Parsimonious modeling by non-uniform kernel allocation

Also Published As

Publication number Publication date
CN101320424B (zh) 2011-11-16
US20080279426A1 (en) 2008-11-13
EP1990758A2 (en) 2008-11-12
CN101320424A (zh) 2008-12-10
EP1990758A3 (en) 2017-12-13
EP1990758B1 (en) 2022-03-02
KR100876786B1 (ko) 2009-01-09
US8116538B2 (en) 2012-02-14

Similar Documents

Publication Publication Date Title
CN110362677B (zh) 文本数据类别的识别方法及装置、存储介质、计算机设备
RU2738325C2 (ru) Способ и устройство аутентификации личности
US9159321B2 (en) Lip-password based speaker verification system
US8331632B1 (en) Indexing face templates using linear models
KR100825756B1 (ko) 얼굴 특징 추출 방법 및 그 장치
EP3229171A1 (en) Method and device for determining identity identifier of human face in human face image, and terminal
US11341770B2 (en) Facial image identification system, identifier generation device, identification device, image identification system, and identification system
KR100745980B1 (ko) 분류기 통합을 위한 스코어 합성 방법 및 장치
KR100876786B1 (ko) 조명 마스크를 이용하는 사용자 얼굴 검증 시스템 및 방법
US8744144B2 (en) Feature point generation system, feature point generation method, and feature point generation program
US20050226509A1 (en) Efficient classification of three dimensional face models for human identification and other applications
Sequeira et al. Iris liveness detection methods in mobile applications
Kryszczuk et al. Reliability-based decision fusion in multimodal biometric verification systems
CN111814744A (zh) 一种人脸检测方法、装置、电子设备和计算机存储介质
Sadjadi et al. Nearest neighbor discriminant analysis for robust speaker recognition.
CN110378414B (zh) 基于进化策略的多模态生物特征融合的身份识别方法
KR20120026232A (ko) 확장된 곡선형 가버 필터를 이용한 객체 기술자 생성 방법 및 장치
JP3998628B2 (ja) パターン認識装置及びその方法
Nefian et al. A Bayesian approach to audio-visual speaker identification
Ives et al. Iris recognition using the ridge energy direction (RED) algorithm
Abboud et al. Biometric templates selection and update using quality measures
CN106407942B (zh) 一种图像处理方法及其装置
CN110688972B (zh) 用于提升人脸生成性能的系统以及方法
Luque et al. Audio, video and multimodal person identification in a smart room
Prayogo et al. A Novel Approach for Face Recognition: YOLO-Based Face Detection and Facenet

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070509

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20081127

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20081223

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20081223

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20111129

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20121129

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20131128

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20141127

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20141127

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20151127

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20161129

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20171129

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20181129

Start annual number: 11

End annual number: 11

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20201003