KR101402078B1 - 얼굴 인식 장치 및 얼굴 인식 방법 - Google Patents

얼굴 인식 장치 및 얼굴 인식 방법 Download PDF

Info

Publication number
KR101402078B1
KR101402078B1 KR1020120142295A KR20120142295A KR101402078B1 KR 101402078 B1 KR101402078 B1 KR 101402078B1 KR 1020120142295 A KR1020120142295 A KR 1020120142295A KR 20120142295 A KR20120142295 A KR 20120142295A KR 101402078 B1 KR101402078 B1 KR 101402078B1
Authority
KR
South Korea
Prior art keywords
image
probability model
face
feature vector
reference image
Prior art date
Application number
KR1020120142295A
Other languages
English (en)
Inventor
박혜영
서정인
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020120142295A priority Critical patent/KR101402078B1/ko
Application granted granted Critical
Publication of KR101402078B1 publication Critical patent/KR101402078B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

얼굴 인식 방법이 개시된다. 얼굴 인식 방법은, 사용자를 촬영한 기준 이미지 및 적어도 하나의 변형 이미지를 저장하는 단계, 기준 이미지 및 적어도 하나의 변형 이미지 각각을 복수 개의 영역으로 분할하고, 각 분할 영역에 대해 지역적 특징 기술자를 추출하여 특징 벡터를 획득하는 단계, 특징 벡터를 이용하여 사용자에 대한 얼굴 확률 모델을 획득하는 단계, 기준 이미지를 구성하는 각 분할 영역에 대한 특징 벡터와 변형 이미지를 구성하는 각 분할 영역에 대한 특징 벡터 간의 차이 벡터를 획득하는 단계, 차이 벡터를 이용하여 사용자에 대한 변형 확률 모델을 획득하는 단계, 및 얼굴 확률 모델과 변형 확률 모델을 결합하여, 테스트 이미지와 기준 이미지 사이의 유사도를 계산하는 단계를 포함한다.

Description

얼굴 인식 장치 및 얼굴 인식 방법{FACE RECOGNITION APPARATUS AND METHOD FOR THEREOF}
본 발명은 얼굴 인식 장치 및 얼굴 인식 방법에 관한 것으로, 얼굴 영상을 이용해 구성한 두 가지의 통계적 모델을 활용하여 다양한 변형, 특히 표정과 부분 폐색에 강건한 얼굴 인식 장치 및 얼굴 인식 방법에 관한 것이다.
얼굴인식은 최근 수십 년 동안 패턴인식 및 컴퓨터 비전에서 자주 연구되는 분야이다. 그간 얼굴 인식에 대해 가졌던 지대한 관심에도 불구하고, 아직도 비선형적이고 예측 불가능한 변형에 대응할 수가 없었기 때문이다.
또한 일반적인 2차원 이미지에서 발생할 수 있는 조명 및 Translation 변형뿐만 아니라, 얼굴 이미지 부분 및 전체에 큰 영향을 끼치는 표정 및 부분 폐색 변형도 존재하였다. 이러한 변형에 대응하기 위해서는 얼굴에서 중요한 정보는 보존하고 변형으로 변형된 부분을 제거할 수 있는 강건한 이미지 표현법이 필요하였다.
이미지 표현법으로 주로 사용되는 것은 PCA(Principal Component Analysis)와 LDA(Linear discriminant Analysis)와 같은 통계적 특징 추출 방법을 활용하는 것이었다. 이 방법은 각각 eigenface와 fisherface로 많이 알려져 있기도 하였다. 이러한 방법을 활용하면 고차원의 얼굴 이미지를 효과적으로 저차원 벡터로 표현할 수 있었다.
PCA(Principal Component Analysis)를 활용하면 정보의 손실을 최대한 줄일 수 있는 저차원 특징 벡터를 얻을 수 있고, LDA(Linear discriminant Analysis)를 활용하면 클래스 정보를 활용한 효과적인 저차원 특징 벡터를 얻을 수 있었다. 이러한 통계적 특징 추출 방법은 데이터의 분포를 효율적으로 표현하는 특징 벡터를 찾기 때문에 데이터의 손실이 발생할 수 있었다.
특히 표정 및 부분 폐색 등의 얼굴 자체에서 일어난 변형에 대해서는 낮은 성능을 보였다.
이러한 문제를 극복하기 위하여 modular PCA(Principal Component Analysis), 블록 기반 PCA(Principal Component Analysis)와 같은 블록 기반의 통계적 특징 추출 방법이 제안되었다. 이미지를 일정 수의 작은 부분영역으로 나누어 통계적 특징 추출 방법을 각각 수행하는 방법으로, 이미지를 다수의 국소 특징 벡터의 집합으로 표현할 수 있게 되었다. 이러한 블록 기반 방법들은 얼굴 이미지의 국소적 특징을 잘 보존한다는 장점이 있지만 여전히 다양한 변형에 대응하지 못한다는 단점이 있었다. 또한 추출된 특징 벡터를 그대로 사용할 경우, 폐색에 의한 큰 변형이 일어난 부분영역 때문에 전체 얼굴 인식 시스템의 성능이 내려가는 문제가 있었다.
상기 문제점을 해결하기 위하여 본 발명이 갖는 목적은, 일반적인 얼굴에 대한 확률 모델과, 한 사람의 얼굴 이미지에서 일어날 수 있는 변형에 대한 확률 모델을 이용하여 두 얼굴 이미지의 유사도를 정의 함으로서 여러 가지 변형에 강건한 얼굴 인식 장치 및 얼굴 인식 방법을 제공하는데 있다.
본 발명의 목적을 달성하기 위한 따른 얼굴 인식 방법은, 사용자를 촬영한 기준 이미지 및 적어도 하나의 변형 이미지를 저장하는 단계, 상기 기준 이미지 및 상기 적어도 하나의 변형 이미지 각각을 복수 개의 영역으로 분할하고, 각 분할 영역에 대해 지역적 특징 기술자를 추출하여 특징 벡터를 획득하는 단계, 상기 특징 벡터를 이용하여 상기 사용자에 대한 얼굴 확률 모델을 획득하는 단계, 상기 기준 이미지를 구성하는 각 분할 영역에 대한 특징 벡터와 상기 변형 이미지를 구성하는 각 분할 영역에 대한 특징 벡터 간의 차이 벡터를 획득하는 단계, 상기 차이 벡터를 이용하여 상기 사용자에 대한 변형 확률 모델을 획득하는 단계 및 상기 얼굴 확률 모델과 상기 변형 확률 모델을 결합하여, 테스트 이미지와 상기 기준 이미지와의 유사도 및 테스트 이미지와 변형 이미지 사이의 유사도를 계산하는 단계를 포함한다.
또한 얼굴 인식 방법은, 상기 계산된 유사도를 K-근접이웃 분류기에 입력하는 단계를 더 포함할 수 있고, 상기 기 저장된 기준 이미지 또는 변형 이미지 중 테스트 이미지와 유사도 값이 가장 큰 이미지를 사용자 얼굴 이미지로 인식할 수 있다.
한편, 상기 지역적 특징 기술자를 추출하는 방법은, PCA(Principal Component Analysis)(Principal Component Analysis) 또는 LDA(Linear discriminant Analysis)(Linear discriminant Analysis)중 하나의 방법을 이용할 수 있고, 상기 얼굴 확률 모델 및 변형 확률 모델의 획득은, Gaussian 모델 또는 Laplacian 모델 중 하나의 방법을 이용할 수 있다.
그리고, 상기 테스트 이미지와 상기 기준 이미지 사이의 유사도 계산은 하기 수학식에 의해 산출될 수 있다.
Figure 112012102031958-pat00001
여기서, Ii는 i번째 기준 이미지, Itst는 테스트 이미지, m은 각 부분 영역 인덱스, pm은 얼굴 확률 모델, qm은 변형확률 모델, ym i는 기준 이미지의 특징 벡터, ym tst는 테스트 이미지의 특징 벡터이다.
본 발명의 일 실시 예에 따른 얼굴 인식 장치는, 사용자를 촬영한 기준 이미지 및 적어도 하나의 변형 이미지를 저장하는 저장부, 상기 기준 이미지 및 상기 적어도 하나의 변형 이미지 각각을 복수 개의 영역으로 분할하고, 각 분할 영역에 대해 지역적 특징 기술자를 추출하여 특징 벡터를 획득하는 특징 벡터 획득부, 상기 특징 벡터를 이용하여 상기 사용자에 대한 얼굴 확률 모델을 획득하는 얼굴 확률 모델 획득부, 상기 기준 이미지를 구성하는 각 분할 영역에 대한 특징 벡터와 상기 변형 이미지를 구성하는 각 분할 영역에 대한 특징 벡터 간의 차이 벡터를 획득하는 차이 벡터 획득부, 상기 차이 벡터를 이용하여 상기 사용자에 대한 변형 확률 모델을 획득하는 변형 확률 모델 획득부 및 상기 얼굴 확률 모델과 상기 변형 확률 모델을 결합하여, 테스트 이미지와 상기 기준 이미지 사이의 유사도 및 테스트 이미지와 상기 변형 이미지 사이의 유사도를 계산하는 제어부를 포함한다.
한편, 얼굴 인식 장치의 제어부는, 상기 계산된 유사도를 K-근접이웃 분류기에 입력하고, 상기 기 저장된 기준 이미지 또는 변형 이미지 중 테스트 이미지와 유사도 값이 가장 큰 이미지를 사용자 얼굴 이미지로 인식할 수 있다.
그리고, 얼굴 인식 장치의 특징 벡터 획득부는, PCA(Principal Component Analysis)(Principal Component Analysis) 또는 LDA(Linear discriminant Analysis)(Linear discriminant Analysis)중 하나의 방법을 이용할 수 있고, 상기 얼굴 확률 모델 획득부 및 상기 변형 모델 획득부는, Gaussian 모델 또는 Laplacian 모델 중 하나의 방법을 이용할 수 있다.
또한 얼굴 인식 장치의 제어부는, 하기 수학식에 의해 상기 테스트 이미지와 상기 기준 이미지 사이의 유사도를 계산할 수 있다.
Figure 112012102031958-pat00002
여기서, Ii는 i번째 기준 이미지, Itst는 테스트 이미지, m은 각 부분 영역 인덱스, pm은 얼굴 확률 모델, qm은 변형확률 모델, ym i는 기준 이미지의 특징 벡터, ym tst는 테스트 이미지의 특징 벡터이다.
상술한 바와 같이 본 발명에 있어서는, 두 가지 통계적 모델을 결합함으로서 두 얼굴 이미지 간의 유사도를 계산하고 얼굴 인식에 활용하여 여러가지 변형이나 표정 변화에 강건한 얼굴 인식 장치 및 얼굴 인식 방법을 제공할 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 장치를 설명하기 위한 블럭도,
도 2는 얼굴 인식 장치에 기 저장된 기준 이미지 및 변형 이미지를 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따라 얼굴 인식 장치에 입력되는 테스트 이미지를 설명하기 위한 도면,
도 4 및 5는 본 실시 예에 따른 얼굴 인식 방법의 실험 결과를 설명하기 위한 도면, 및
도 6은 본 발명의 일 실시 예에 따른 얼굴 인식 방법을 설명하기 위한 흐름도이다.
이하 첨부된 도면을 참고하여, 얼굴 인식 장치 및 얼굴 인식 방법에 대하여 설명한다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 장치를 설명하기 위한 블럭도이다.
본 발명의 일 실시 예에 따른 얼굴 인식 장치(100)는 사용자의 기준 이미지 및 적어도 하나의 변형 이미지를 저장하고, 이로부터 얼굴 확률 모델과 변형 확률 모델을 획득하여, 테스트 이미지와 기준 이미지 사이의 유사도를 계산하여 사용자 얼굴을 인식한다.
이러한 기능을 수행하는 얼굴 인식 장치(100)는 도 1에 도시된 바와 같이, 특징 벡터 획득부(110), 얼굴 확률 모델 획득부(120), 차이 벡터 획득부(130), 변형 확률 모델 획득부(140), 저장부(150) 및 제어부(160)를 포함한다.
특징 벡터 획득부(110)는 기준 이미지 및 적어도 하나의 변형 이미지 각각을 복수 개의 영역으로 분할하고, 각 분할 영역에 대해 지역적 특징 기술자를 추출하여 특징 벡터를 획득한다.
여기서 기준 이미지는 사용자 얼굴을 촬영한 이미지를 의미하고, 변형 이미지는 사용자의 얼굴 표정의 변화, 조명 변화에 따른 국소적 변형 등을 포함한 얼굴 이미지를 의미한다.
사용자 얼굴의 기준 이미지를 I라 하면, 특징 벡터 획득부(110)는 기준 이미지 I를 복수 개의 영역으로 분할한다.
이때, 특징 벡터 획득부(110)가 기준 이미지 I를 M개의 영역으로 분할하면 각 부분 영역을 Xm 이라고 할 수 있다. 또한, 얼굴 인식 장치는 복수의 사용자에 대한 기준 이미지를 저장할 수 있으므로, 복수의 기준 이미지 Ii는 다음과 같은 벡터의 집합으로 표현할 수 있다.
Figure 112012102031958-pat00003
Xm은 복수의 사용자의 기준 이미지의 m번째 부분영역에 속한 벡터들을 의미하므로, 모든 부분영역의 집합 X는 다음과 같이 정의된다.
Figure 112012102031958-pat00004
특징 벡터 획득부(110)는 각 분할 영역에 대해 지역적 특징 기술자를 추출하여 특징 벡터를 획득한다. 이때 지역적 특징 기술자 추출 방법으로 PCA(Principal Component Analysis) 또는 LDA(Linear Discriminant Analysis) 중 하나의 방법을 이용하여 특징 벡터를 구할 수 있다.
이 방법으로 구해진 각 부분영역 Xm i에 대한 특징 벡터 ym i는 다음 식과 같이 정의된다.
Figure 112012102031958-pat00005
그러면 최종적으로 차원이 축소된 특징 벡터의 집합으로 이미지를 표현할 수 있게 된다.
Figure 112012102031958-pat00006
얼굴 확률 모델 획득부(120)는 특징 벡터 획득부(110)에서 획득된 특징 벡터를 이용하여 사용자에 대한 얼굴 확률 모델을 획득한다.
기준 이미지가 복수의 영역에 대한 특징 벡터로 구성되어 있으므로, 얼굴 확률 모델은 각 특징 벡터의 결합분포로 정의할 수 있다.
Figure 112012102031958-pat00007
얼굴 확률 모델 획득부(120)는 Gaussian 모델 또는 Laplacian 모델 중 하나의 방법을 이용하여 특징 벡터로부터 얼굴 확률 모델을 구할 수 있다.
본 발명의 일 실시 예에 따른 Gaussian 모델에 기반한 얼굴 확률 모델은 다음과 같이 정의할 수 있다.
Figure 112012102031958-pat00008
이 때 모수 μm과 Σm은 기준 이미지의 특징 벡터 ym i의 표본평균과 표본공분산으로 구할 수 있다.
본 발명의 다른 실시 예에 따른 Laplacian 모델에 기반한 얼굴 확률 모델은 다음과 같이 정의할 수 있다.
Figure 112012102031958-pat00009
이 때 모수 μm=[μm 1, μm,2 ..., μm d]T와 bm=[bm 1, bm 2, ...bm d]T는 기준 이미지의 특징 벡터 ym i의 표본 중앙값과 절대 편차의 평균으로 구할 수 있다.
차이 벡터 획득부(130)는 기준 이미지를 구성하는 각 분할 영역에 대한 특징 벡터와 변형 이미지를 구성하는 분할 영역에 대한 특징 벡터 간의 차이 벡터를 획득한다.
즉, 차이 벡터는 동일한 사용자의 이미지에서 추출된 두 특징 벡터 ym i, ym j의 차이로 표현할 수 있다. 이때, 하나의 특징 벡터는 기준 이미지에서 획득한 특징 벡터일 수 있고 다른 특징 벡터는 사용자의 얼굴에 변화가 있는 이미지, 예를 들면 사용자의 표정에 변화가 있거나, 조명의 변화에 따른 폐색이 있는 이미지의 특징 벡터일 수 있다.
따라서 차이 벡터 δm은 다음과 같이 정의할 수 있다.
Figure 112012102031958-pat00010
이 차이 벡터를 활용하여 기 저장된 변형 이미지의 m번째 분할 영역에서 발생한 변형에 대한 데이터 집합 Δm을 다음과 같이 정의할 수 있다.
Figure 112012102031958-pat00011
c(I)는 이미지 I의 클래스 라벨을 의미한다. 이 Δm을 이용하여 변형 확률 모델을 구할 수 있다.
변형 확률 모델 획득부(140)는 차이 벡터를 이용하여 사용자에 대한 변형 확률 모델을 획득할 수 있다.
여기에서 사용자의 변형 이미지란, 사용자의 얼굴 표정 또는 조명등의 변형이 있는 얼굴 이미지를 의미한다. 변형 확률 모델 획득부(140)는 차이 벡터 획득부(130)로부터 얻어진 차이 벡터를 이용하여 변형 확률 모델을 구한다.
구체적으로 변형 확률 모델 획득부(140)는 변형 이미지의 m번째 분할 영역에서 발생한 변형에 대한 데이터 집합 Δm을 이용하여 변형 확률 모델을 획득할 수 있다.
본 발명의 일 실시 예에 따른 변형 확률 모델 획득부(140)는 Gaussain 모델을 이용하여 변형 확률 모델을 구할 수 있다.
Gaussian 모델을 이용하여 구한 변형 확률 모델은 다음과 같이 정의할 수 있다.
Figure 112012102031958-pat00012
이 때, 모수 vm, Ξm은 변형 데이터 Δm의 표본중앙값과 절대 편차의 평균으로 추정 가능하다.
한편, 본 발명의 다른 실시 예에 따른 변형 확률 모델은 Laplacian 모델을 이용하여 변형 확률 모델을 구할 수 있다.
Laplacian 모델을 이용하여 구한 변형 확률 모델은 다음과 같이 정의할 수 있다.
Figure 112012102031958-pat00013
모수 μm=[μm 1, μm 2, ... , μm d]T, bm=[bm 1, bm 2, ... , bm d]T는 Δm의 표본중앙값과 절대 편차의 평균으로 구할 수 있다.
저장부(150)는 사용자의 기준 이미지 및 적어도 하나의 변형 이미지를 저장한다.
또한, 저장부(150)는 입력되는 테스트 이미지와 기 저장된 사용자 기준 이미지의 유사도 판단에 필요한 얼굴 확률 모델 및 변형 확률 모델에 관한 정보를 저장할 수도 있다.
한편, 저장부(150)는 얼굴 인식 장치(100) 내의 저장매체 및 외부 저장 매체, 예를 들어 USB 메모리를 포함한 Removable Disk, 호스트(Host)에 연결된 저장 매체, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.
제어부(160)는 얼굴 확률 모델과 변형 확률 모델을 결합하여, 입력되는 테스트 이미지와 기 저장된 기준 이미지 사이의 유사도를 계산한다.
구체적으로, 제어부(160)는 하기 수학식에 의해 테스트 이미지와 기 저장된 사용자 기준 이미지 사이의 유사도를 계산할 수 있다.
Figure 112012102031958-pat00014
여기서, Ii는 i번째 기준 이미지, Itst는 테스트 이미지, m은 각 부분 영역 인덱스, pm은 얼굴 확률 모델, qm은 변형 확률 모델, ym i는 기준 이미지의 특징 벡터, ym tst는 테스트 이미지의 특징 벡터이다.
또한, 제어부(160)는 테스트 이미지가 입력되면 얼굴 확률 모델 획득부(120)와 변형 확률 모델 획득부(140)에서 얻어진 얼굴 확률 모델과 변형 확률 모델을 활용하여 테스트 이미지와 기 저장된 사용자 이미지 사이의 유사도를 측정하고, 이 결과값을 K-근접이웃 분류기에 입력할 수 있다.
이후 제어부(160)는 기 저장된 기준 이미지 중 테스트 이미지와 유사도 값이 가장 큰 이미지를 사용자 얼굴 이미지로 인식할 수 있다.
상술한 바와 같이 일반적인 얼굴 영상에서 검출된 특징 기술자 분포를 활용한 얼굴 확률 모델과, 한 사용자의 복수의 이미지를 활용하여 한 사용자의 이미지에서 발생할 수 있는 여러 가지 변형에 대한 모델인 변형 확률 모델을 이용하여 유사도를 판단하고, 그 결과 값을 바탕으로 사용자의 얼굴을 인식하면, 얼굴 이미지에서 발생하는 여러 가지 변형에 강건한 얼굴 인식 장치를 구현할 수 있는 효과가 있다.
도 2는 얼굴 인식 장치에 기 저장된 기준 이미지 및 변형 이미지를 설명하기 위한 도면이다.
얼굴 인식 장치에 기 저장되어 학습되는 이미지는 기준 이미지(210)와 변형 이미지(220)를 포함할 수 있다.
기준 이미지(210)란 입력되는 사용자의 표정 변화나 부분 폐색 등이 없는 이미지를 의미하고 변형 이미지(220)란 사용자의 표정 변화나 조명 변화가 있는 이미지를 의미한다.
제어부(160)는 얼굴 확률 모델 획득부(120)를 제어하여 기준 이미지(210)로부터 일반적은 얼굴 모델 확률을 획득하고, 변형 확률 모델 획득부(140)를 제어하여 변형 이미지(220)로부터 변형 확률 모델을 획득할 수 있다.
한편, 본 발명의 실시 예에서는 3명의 사용자 각각에 대하여 1개의 기준 이미지(210) 및 2개의 변형 이미지(220)가 학습 되어 저장된 것을 예로 들었으나, 그 이상의 사용자 각각에 대하여 더 많거나 적은 변형 이미지(220)가 학습 되어 저장되는 형태로 구현할 수도 있다.
도 3은 본 발명의 일 실시 예에 따라 얼굴 인식 장치에 입력되는 테스트 이미지를 설명하기 위한 도면이다.
본 실시 예에서는 사용자 A(310), 사용자 B(320), 사용자 C(330) 3명의 테스트 이미지가 입력되는 경우를 예로 든다.
사용자 A(310)에 대한 테스트 이미지를 살펴보면, 사용자 표정에 변화가 있는 이미지(310a), 조명 변화에 따른 국소적 변형이 있는 이미지(310b), 부분 폐색이 있는 이미지(310c) 등이 포함될 수 있다.
본 발명의 일 실시 예에 따른 얼굴 인식 장치(100)는 입력되는 테스트 이미지(310 내지 330)와 기 저장된 기준 이미지(210) 및 변형 이미지(220)와의 유사도를 판단하여 테스트 이미지의 사용자 얼굴을 인식할 수 있다.
도 4 및 5는 본 실시 예에 따른 얼굴 인식 방법의 실험 결과를 설명하기 위한 도면이다.
도 4는 종래 기술인 L1-norm 및 L2-norm과 본원 발명의 인식률을 비교하기 위한 도면이다.
본원 발명의 경우, 얼굴 확률 모델과 변형 확률 모델을 획득하는 방법으로 Gaussian 모델을 사용한 경우와 Laplacian 모델을 사용한 경우로 나누어서 비교하였다.
본 실험에서, 특징 벡터 획득부(110)는 88*64 픽셀의 크기를 가지는 이미지를 8*8 픽셀의 크기를 가지는 부분 이미지 11*8개로 나누고, PCA(Principal Component Analysis)를 수행하여 특징 벡터를 획득하는 경우를 예로 들었다.
실험 결과를 살펴보면, 표정(310a) 및 조명 변형(310b)에는 종래 방법인 L1-norm 및 L2-norm도 우수한 성능을 보이지만, 선글라스 및 스카프로 부분 폐색이 일어난 경우(310c), 기존의 방법보다 본원 발명에서 제안하는 방법이 훨씬 우수함을 볼 수 잇고, 특히 얼굴 확률 모델 및 변형 확률 모델로 Laplacian 모델을 사용한 경우 더 우수한 성능을 보임을 알 수 있다.
도 5는 테스트 이미지로 인공적인 폐색이 추가된 이미지(510)가 입력된 경우인식률을 비교하기 위한 도면이다.
도 4의 실험 결과와 마찬가지로 본 발명에 얼굴 확률 모델과 변형 확률 모델을 획득하는 방법으로 Gaussian 모델을 사용한 경우와 Laplacian 모델을 사용한 경우를 비교하였다.
실험 결과를 살펴보면, 확률 모델로 Gaussian 모델을 사용한 경우 폐색 면적이 작을 때 우수한 인식률을 보였지만, 폐색 면적이 넓어질수록 Laplacian 모델을 사용할 때 높은 인식률을 보임을 알 수 있다.
도 6은 본 발명의 일 실시 예에 따른 얼굴 인식 방법을 설명하기 위한 흐름도이다.
사용자를 촬영한 기준 이미지 및 적어도 하나의 변형 이미지를 저장한다(S610).
저장된 기준 이미지 및 적어도 하나의 변형 이미지는 복수의 영역으로 나누어 지고, 분할 영역에 대하여 지역적 특징 기술자를 추출하여 특징 벡터를 획득한다(S620). 이때 지역적 특징 기술자를 추출하는 방법으로 PCA(Principal Component Analysis) 또는 LDA(Linear discriminant Analysis) 중 하나의 방법을 사용할 수 있다.
S620단계에서 구해진 특징 벡터로부터 얼굴 확률 모델을 획득한다(S630). 이때 얼굴 확률 모델을 획득하는 방법으로 Gaussian 모델 또는 Laplacian 모델을 사용할 수 있다.
이후, 기준 이미지를 구성하는 분할 영역에 대한 특징 벡터와 변형 이미지를 구성하는 분할 영역에 대한 특징 벡터 간의 차이 벡터를 획득하고(S640), 차이 벡터로부터 변형 확률 모델을 획득한다(S650).
얼굴 확률 모델을 획득할 때와 마찬가지로, 변형 확률 모델을 획득할 때도 Gaussian 모델 또는 Laplacian 모델 중 하나의 모델을 사용할 수 있다.
위 단계에서 획득한 얼굴 확률 모델과 변형 확률 모델을 결합하여 테스트 이미지와 기 저장된 기준 이미지 사이의 유사도를 계산하여(S660), 사용자의 얼굴을 인식한다.
구체적으로, S660 단계에서 계산된 유사도를 K-근접이웃 분류기에 입력하여 기 저장된 기준 이미지 중 테스트 이미지와 유사도 값이 가장 큰 이미지를 사용자 얼굴 이미지로 인식할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100 : 얼굴 인식 장치 110 : 특징 벡터 획득부
120 : 얼굴 확률 모델 획득부 130 : 차이 벡터 획득부
140 : 변형 확률 모델 획득부 150 : 저장부
160 : 제어부

Claims (10)

  1. 사용자를 촬영한 기준 이미지 및 적어도 하나의 변형 이미지를 저장하는 단계;
    상기 기준 이미지 및 상기 적어도 하나의 변형 이미지 각각을 복수 개의 영역으로 분할하고, 각 분할 영역에 대해 지역적 특징 기술자를 추출하여 특징 벡터를 획득하는 단계;
    상기 특징 벡터를 이용하여 상기 사용자에 대한 얼굴 확률 모델을 획득하는 단계;
    상기 기준 이미지를 구성하는 각 분할 영역에 대한 특징 벡터와 상기 변형 이미지를 구성하는 각 분할 영역에 대한 특징 벡터 간의 차이 벡터를 획득하는 단계;
    상기 차이 벡터를 이용하여 상기 사용자에 대한 변형 확률 모델을 획득하는 단계;
    상기 얼굴 확률 모델과 상기 변형 확률 모델을 결합하여, 테스트 이미지와 상기 기준 이미지와의 유사도 및 테스트 이미지와 상기 변형 이미지 사이의 유사도를 계산하는 단계;를 포함하는 얼굴 인식 방법.
  2. 제1항에 있어서,
    상기 테스트 이미지와 상기 기준 이미지와의 유사도 및 상기 테스트 이미지와 상기 변형 이미지 사이의 유사도를 K-근접이웃 분류기에 입력하는 단계;를 더 포함하고,
    상기 기 저장된 기준 이미지 또는 변형 이미지 중 테스트 이미지와 유사도 값이 가장 큰 이미지를 사용자 얼굴 이미지로 인식하는 것을 특징으로 하는 얼굴 인식 방법.
  3. 제1항에 있어서,
    상기 지역적 특징 기술자를 추출하는 방법은,
    PCA(Principal Component Analysis) 또는 LDA(Linear discriminant Analysis) 중 하나의 방법을 이용하는 것을 특징으로 하는 얼굴 인식 방법.
  4. 제1항에 있어서,
    상기 얼굴 확률 모델 및 변형 확률 모델의 획득은,
    Gaussian 모델 또는 Laplacian 모델 중 하나의 방법을 이용하는 것을 특징으로 하는 얼굴 인식 방법.
  5. 제1항에 있어서,
    상기 테스트 이미지와 상기 기준 이미지 사이의 유사도 계산은 하기 수학식에 의해 산출되는 것을 특징으로 하는 얼굴 인식 방법.
    Figure 112012102031958-pat00015

    여기서, Ii는 i번째 기준 이미지, Itst는 테스트 이미지, m은 각 부분 영역 인덱스, pm은 얼굴 확률 모델, qm은 변형확률 모델, ym i는 기준 이미지의 특징 벡터, ym tst는 테스트 이미지의 특징 벡터이다.
  6. 사용자를 촬영한 기준 이미지 및 적어도 하나의 변형 이미지를 저장하는 저장부;
    상기 기준 이미지 및 상기 적어도 하나의 변형 이미지 각각을 복수 개의 영역으로 분할하고, 각 분할 영역에 대해 지역적 특징 기술자를 추출하여 특징 벡터를 획득하는 특징 벡터 획득부;
    상기 특징 벡터를 이용하여 상기 사용자에 대한 얼굴 확률 모델을 획득하는 얼굴 확률 모델 획득부;
    상기 기준 이미지를 구성하는 각 분할 영역에 대한 특징 벡터와 상기 변형 이미지를 구성하는 각 분할 영역에 대한 특징 벡터 간의 차이 벡터를 획득하는 차이 벡터 획득부;
    상기 차이 벡터를 이용하여 상기 사용자에 대한 변형 확률 모델을 획득하는 변형 확률 모델 획득부; 및
    상기 얼굴 확률 모델과 상기 변형 확률 모델을 결합하여, 테스트 이미지와 상기 기준 이미지와의 유사도 및 테스트 이미지와 상기 변형 이미지 사이의 유사도를 계산하는 제어부;를 포함하는 얼굴 인식 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 테스트 이미지와 상기 기준 이미지와의 유사도 및 상기 테스트 이미지와 상기 변형 이미지 사이의 유사도를 K-근접이웃 분류기에 입력하고, 상기 기준 이미지 또는 상기 변형 이미지 중 테스트 이미지와 유사도 값이 가장 큰 이미지를 사용자 얼굴 이미지로 인식하는 것을 특징으로 하는 얼굴 인식 장치.
  8. 제6항에 있어서,
    상기 특징 벡터 획득부는,
    PCA(Principal Component Analysis) 또는 LDA(Linear discriminant Analysis)(Linear discriminant Analysis)중 하나의 방법을 이용하는 것을 특징으로 하는 얼굴 인식 장치.
  9. 제6항에 있어서,
    상기 얼굴 확률 모델 획득부 및 상기 변형 확률 모델 획득부는,
    Gaussian 모델 또는 Laplacian 모델 중 하나의 방법을 이용하는 것을 특징으로 하는 얼굴 인식 장치.
  10. 제6항에 있어서,
    상기 제어부는,
    하기 수학식에 의해 상기 테스트 이미지와 상기 기준 이미지 사이의 유사도를 계산하는 것을 특징으로 하는 얼굴 인식 장치.
    Figure 112012102031958-pat00016

    여기서, Ii는 i번째 기준 이미지, Itst는 테스트 이미지, m은 각 부분 영역 인덱스, pm은 얼굴 확률 모델, qm은 변형확률 모델, ym i는 기준 이미지의 특징 벡터, ym tst는 테스트 이미지의 특징 벡터이다.
    ,
KR1020120142295A 2012-12-07 2012-12-07 얼굴 인식 장치 및 얼굴 인식 방법 KR101402078B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120142295A KR101402078B1 (ko) 2012-12-07 2012-12-07 얼굴 인식 장치 및 얼굴 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120142295A KR101402078B1 (ko) 2012-12-07 2012-12-07 얼굴 인식 장치 및 얼굴 인식 방법

Publications (1)

Publication Number Publication Date
KR101402078B1 true KR101402078B1 (ko) 2014-06-03

Family

ID=51131419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120142295A KR101402078B1 (ko) 2012-12-07 2012-12-07 얼굴 인식 장치 및 얼굴 인식 방법

Country Status (1)

Country Link
KR (1) KR101402078B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875397B2 (en) 2014-09-16 2018-01-23 Samsung Electronics Co., Ltd. Method of extracting feature of input image based on example pyramid, and facial recognition apparatus
KR20190016733A (ko) * 2017-08-09 2019-02-19 한국과학기술연구원 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20190099039A (ko) * 2016-12-27 2019-08-23 오브체스트보 에스 오르가니첸노이 오트베트스트벤노스티쥬 ＂비쯔흐렙스＂ 페어 유사성 척도의 분포를 기반으로 한 심층 신경망의 훈련
CN110458217A (zh) * 2019-07-31 2019-11-15 腾讯医疗健康(深圳)有限公司 图像识别方法及装置、眼底图像识别方法和电子设备
KR20200079095A (ko) * 2018-12-24 2020-07-02 주식회사 포스코아이씨티 얼굴인식용 에지 디바이스
KR102308894B1 (ko) * 2021-05-06 2021-10-05 주식회사 닥터밀리그램 Ai에 기반한 개인 맞춤형 건강기능식품을 제공하는 방법 및 그 장치
KR20220067138A (ko) * 2020-11-17 2022-05-24 연세대학교 산학협력단 동영상 특징 추출 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040001319A (ko) * 2002-06-27 2004-01-07 주식회사 케이티 얼굴 정보 추출 방법 및 그를 이용한 얼굴 인식 방법
JP2005149302A (ja) 2003-11-18 2005-06-09 Nippon Hoso Kyokai <Nhk> 顔画像認識装置及び顔画像認識プログラム
KR20110109695A (ko) * 2010-03-31 2011-10-06 경북대학교 산학협력단 얼굴 인식 시스템 및 그 얼굴 인식 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040001319A (ko) * 2002-06-27 2004-01-07 주식회사 케이티 얼굴 정보 추출 방법 및 그를 이용한 얼굴 인식 방법
JP2005149302A (ja) 2003-11-18 2005-06-09 Nippon Hoso Kyokai <Nhk> 顔画像認識装置及び顔画像認識プログラム
KR20110109695A (ko) * 2010-03-31 2011-10-06 경북대학교 산학협력단 얼굴 인식 시스템 및 그 얼굴 인식 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875397B2 (en) 2014-09-16 2018-01-23 Samsung Electronics Co., Ltd. Method of extracting feature of input image based on example pyramid, and facial recognition apparatus
KR20190099039A (ko) * 2016-12-27 2019-08-23 오브체스트보 에스 오르가니첸노이 오트베트스트벤노스티쥬 ＂비쯔흐렙스＂ 페어 유사성 척도의 분포를 기반으로 한 심층 신경망의 훈련
KR102216614B1 (ko) 2016-12-27 2021-02-17 오브체스트보 에스 오르가니첸노이 오트베트스트벤노스티쥬 ＂비쯔흐렙스＂ 페어 유사성 척도의 분포를 기반으로 한 심층 신경망의 훈련
KR20190016733A (ko) * 2017-08-09 2019-02-19 한국과학기술연구원 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR101998112B1 (ko) * 2017-08-09 2019-07-10 한국과학기술연구원 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20200079095A (ko) * 2018-12-24 2020-07-02 주식회사 포스코아이씨티 얼굴인식용 에지 디바이스
KR102184490B1 (ko) * 2018-12-24 2020-11-30 주식회사 포스코아이씨티 얼굴인식용 에지 디바이스
CN110458217A (zh) * 2019-07-31 2019-11-15 腾讯医疗健康(深圳)有限公司 图像识别方法及装置、眼底图像识别方法和电子设备
CN110458217B (zh) * 2019-07-31 2024-04-19 腾讯医疗健康(深圳)有限公司 图像识别方法及装置、眼底图像识别方法和电子设备
KR20220067138A (ko) * 2020-11-17 2022-05-24 연세대학교 산학협력단 동영상 특징 추출 방법 및 장치
KR102501723B1 (ko) 2020-11-17 2023-02-17 연세대학교 산학협력단 동영상 특징 추출 방법 및 장치
KR102308894B1 (ko) * 2021-05-06 2021-10-05 주식회사 닥터밀리그램 Ai에 기반한 개인 맞춤형 건강기능식품을 제공하는 방법 및 그 장치

Similar Documents

Publication Publication Date Title
KR101402078B1 (ko) 얼굴 인식 장치 및 얼굴 인식 방법
Rizwan et al. An accurate facial expression detector using multi-landmarks selection and local transform features
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
Boulgouris et al. Gait recognition using linear time normalization
CN106803055B (zh) 人脸识别方法和装置
Zhang et al. Fast and robust occluded face detection in ATM surveillance
Fan et al. A dynamic framework based on local Zernike moment and motion history image for facial expression recognition
Vishwakarma et al. A unified model for human activity recognition using spatial distribution of gradients and difference of Gaussian kernel
Lam et al. Gait flow image: A silhouette-based gait representation for human identification
EP2893491B1 (en) Image processing apparatus and method for fitting a deformable shape model to an image using random forest regression voting
EP2737434B1 (en) Gait recognition methods and systems
CN111144293A (zh) 带交互式活体检测的人脸身份认证系统及其方法
Jalal et al. Daily human activity recognition using depth silhouettes and transformation for smart home
KR101451854B1 (ko) 얼굴 표정 인식 장치 및 그 방법
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
Khatri et al. Facial expression recognition: A survey
KR101515928B1 (ko) 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 방법
Xue et al. Automatic 4D facial expression recognition using DCT features
CN103605993A (zh) 一种基于面向场景判别性分析的图像到视频人脸识别方法
Wu et al. Facial feature extraction and applications: A review
Riaz et al. A model based approach for expressions invariant face recognition
Liu et al. Palm-dorsa vein recognition based on independent principle component analysis
Fahad et al. An experimental evaluation of different face recognition algorithms using closed circuit Television images
Seo et al. A robust face recognition through statistical learning of local features
Laadjel et al. An improved palmprint recognition system using iris features

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 6