KR101577040B1 - 얼굴 인식 장치 및 방법 - Google Patents

얼굴 인식 장치 및 방법 Download PDF

Info

Publication number
KR101577040B1
KR101577040B1 KR1020140013851A KR20140013851A KR101577040B1 KR 101577040 B1 KR101577040 B1 KR 101577040B1 KR 1020140013851 A KR1020140013851 A KR 1020140013851A KR 20140013851 A KR20140013851 A KR 20140013851A KR 101577040 B1 KR101577040 B1 KR 101577040B1
Authority
KR
South Korea
Prior art keywords
face recognition
facial feature
feature vector
image
face
Prior art date
Application number
KR1020140013851A
Other languages
English (en)
Other versions
KR20150093058A (ko
Inventor
정지년
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020140013851A priority Critical patent/KR101577040B1/ko
Publication of KR20150093058A publication Critical patent/KR20150093058A/ko
Application granted granted Critical
Publication of KR101577040B1 publication Critical patent/KR101577040B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명의 실시예에 따르면, 얼굴 인식 장치가 얼굴을 인식하는 방법이 제공된다. 상기 얼굴 인식 장치는, 제1 특징 추출 알고리즘을 이용해, 제1 영상 및 제2 영상 각각으로부터 제1 얼굴 특징 벡터 및 제2 얼굴 특징 벡터 각각을 추출한다. 얼굴 인식 장치는 상기 제1 특징 추출 알고리즘과 다른 제2 특징 추출 알고리즘을 이용해, 상기 제1 및 제2 영상 각각으로부터 제3 얼굴 특징 벡터 및 제4 얼굴 특징 벡터 각각을 추출한다. 얼굴 인식 장치는 상기 제1 및 제2 얼굴 특징 벡터 간의 제1 거리와, 상기 제3 및 제4 얼굴 특징 벡터 간의 제2 거리를 계산한다. 얼굴 인식 장치는 상기 제1 및 제2 거리 각각을 유사도 함수(likelihood function)를 이용해, 제1 유사도와 제2 유사도 각각으로 변환한다. 그리고 얼굴 인식 장치는 상기 제1 및 제2 유사도를 합산한 제1 값을 이용해, 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단한다.

Description

얼굴 인식 장치 및 방법{METHOD AND APPARATUS FOR RECOGNIZING FACE}
본 발명은 얼굴을 인식하는 방법 및 장치에 관한 것이다.
기존의 얼굴 인식 방법은 PCA(Principal Component Analysis)나 LDA(Non-parametric Discriminant Analysis)와 같은 원본 신호의 선형 분석 방법에 기반하여 특징량(또는 특징 벡터)을 추출한다. 그리고 기존의 얼굴 인식 방법은 추출된 특징량 간의 거리를 계산하고, 계산된 거리와 임계값을 비교하여 얼굴 인식을 수행한다.
하지만 기존의 얼굴 인식 방법은 하나의 특징 추출 방법을 이용하거나, 복수의 특징 추출 방법을 이용하더라도 복수의 특징량을 순차적으로 사용한다. 즉, 기존의 얼굴 인식 방법은 복수의 특징량을 융합하여 사용하지 않는다. 따라서, 기존의 얼굴 인식 방법은, 복수의 특징량을 융합함으로써 얻을 수 있는 성능 개선 효과를 기대하기 어렵다.
본 발명이 해결하고자 하는 과제는, 복수의 특징량을 효과적으로 융합하여 얼굴 인식 성능을 향상시킬 수 있는 얼굴 인식 방법 및 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 얼굴 인식 장치가 얼굴을 인식하는 방법이 제공된다. 상기 얼굴 인식 방법은, 제1 특징 추출 알고리즘을 이용해, 제1 영상 및 제2 영상 각각으로부터 제1 얼굴 특징 벡터 및 제2 얼굴 특징 벡터 각각을 추출하는 단계; 상기 제1 특징 추출 알고리즘과 다른 제2 특징 추출 알고리즘을 이용해, 상기 제1 및 제2 영상 각각으로부터 제3 얼굴 특징 벡터 및 제4 얼굴 특징 벡터 각각을 추출하는 단계; 상기 제1 및 제2 얼굴 특징 벡터 간의 제1 거리와, 상기 제3 및 제4 얼굴 특징 벡터 간의 제2 거리를 계산하는 단계; 상기 제1 및 제2 거리 각각을 유사도 함수(likelihood function)를 이용해, 제1 유사도와 제2 유사도 각각으로 변환하는 단계; 및 상기 제1 및 제2 유사도를 합산한 제1 값을 이용해, 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단하는 단계를 포함한다.
상기 제1 및 제2 얼굴 특징 벡터를 추출하는 단계는, 상기 제1 특징 추출 알고리즘을 이용해, 상기 제1 영상으로부터 제5 얼굴 특징 벡터를 추출하는 단계; 및 PCA(Principal Component Analysis) 방식과 NDA(Non-parametric Discriminant Analysis) 방식을 이용해, 상기 제5 얼굴 특징 벡터를 상기 제1 얼굴 특징 벡터로 변환하는 단계를 포함할 수 있다.
상기 제1 얼굴 특징 벡터로 변환하는 단계는, 상기 PCA의 투영(projection) 행렬과 상기 NDA의 투영 행렬을 내적(inner product)한 행렬을 이용해, 상기 제5 얼굴 특징 벡터를 상기 제1 얼굴 특징 벡터로 변환하는 단계를 포함할 수 있다.
상기 제1 특징 추출 알고리즘은, LBP(Local Binary Pattern), 그래디언트 히스토그램(Histogram of Gradient), 및 가보 웨이블릿(Gabor wavelet) 알고리즘 중 어느 하나일 수 있다.
상기 계산하는 단계는, WED(Weighted Euclidian Distance) 측정 방식을 이용해, 상기 제1 및 제2 거리를 계산하는 단계를 포함할 수 있다.
상기 변환하는 단계는, 학습 데이터인 동일한 사람의 영상으로부터 획득된 제1 거리 확률 분포와 학습 데이터인 서로 다른 사람의 영상으로부터 획득된 제2 거리 확률 분포를 이용해, 상기 제1 거리에 대응하는 상기 제1 유사도를 계산하는 단계를 포함할 수 있다.
상기 판단하는 단계는, 상기 제1 값을 쌍곡 탄젠트(hyperbolic tangent) 함수를 이용해, 제2 값으로 변환하는 단계를 포함할 수 있다.
상기 판단하는 단계는, 상기 제1 값과 임계값을 비교해, 상기 비교 결과에 따라 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단하는 단계를 포함할 수 있다.
상기 판단하는 단계는, 상기 제1 값이 상기 제1 영상과 제3 영상에 대한 제2 값 보다 큰 경우에, 상기 제2 영상을 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 얼굴을 인식하는 장치가 제공된다. 상기 얼굴 인식 장치는, 다수의 특징 추출 알고리즘을 이용해, 제1 영상으로부터 다수의 제1 얼굴 특징 벡터와, 제2 영상으로부터 다수의 제2 얼굴 특징 벡터를 추출하는 추출부; 상기 제1 및 제2 얼굴 특징 벡터 간의 거리를 계산하는 계산부; 상기 거리 각각을 유사도 함수를 이용해, 유사도로 변환하는 변환부; 및 상기 유사도를 합산한 제1 값을 이용해, 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단하는 판단부를 포함한다.
또한, 본 발명의 또 다른 실시예에 따르면, 얼굴 인식 장치가 얼굴을 인식하는 방법이 제공된다. 상기 얼굴 인식 방법은, 다수의 특징 추출 알고리즘을 이용해, 제1 영상으로부터 다수의 제1 얼굴 특징 벡터를, 제2 영상으로부터 제2 얼굴 특징 벡터를 추출하는 단계; 상기 제1 및 제2 얼굴 특징 벡터 간의 거리를 계산하는 단계; 상기 거리 각각을 동일한 통계적 척도로 변환하는 단계; 및 상기 변환된 값을 합산하고, 상기 합산된 값을 이용해 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단하는 단계를 포함한다.
본 발명은 다양한 특징량 추출 방법에 의해 획득된 특징량의 거리 값을 효과적으로 융합할 수 있다. 이를 통해, 얼굴 인식 방법 및 장치의 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 하나의 특징량을 사용하는 기존 얼굴 인식 방법에 비해, 얼굴 인식의 에러를 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 얼굴 인식 장치를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 얼굴 인식 장치가 얼굴을 인식하는 과정을 나타내는 순서도이다.
도 3은 도 2의 특징 벡터 추출 과정에서 사용되는 영상의 일예를 나타내는 도면이다.
도 4는 도 2의 특징 벡터 추출 과정의 구체적인 과정을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 얼굴 인식 방법을 실험한 결과의 일예를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 실시예에 따른 얼굴 인식 장치(100)를 나타내는 도면이다.
얼굴 인식 장치(100)는 추출부(110), 계산부(120), 변환부(130), 및 판단부(140)를 포함할 수 있다.
추출부(110)는 다수의 특징량 추출 방법을 이용해, 영상으로부터 다수의 얼굴 특징량(또는 얼굴 특징 벡터)를 추출한다. 여기서, 특징량 추출 방법은 LBP(Local Binary Pattern), 그래디언트 히스토그램(Histogram of Gradient), 또는 가보 웨이블릿(Gabor wavelet) 알고리즘 등 일 수 있다. 구체적으로 추출부(110)는 각 특징량 추출 방법을 이용해, 제1 영상으로부터 제1 얼굴 특징 벡터를 추출하고, 제2 영상으로부터 제2 얼굴 특징 벡터를 추출할 수 있다. 예를 들어, 추출부(110)는 제1 특징량 추출 방법을 이용해, 제1 영상으로부터 제1 얼굴 특징 벡터를 추출하고, 제2 영상으로부터 제2 얼굴 특징 벡터를 추출한다. 그리고 추출부(110)는 제2 특징량 추출 방법을 이용해, 제1 영상으로부터 제1 얼굴 특징 벡터를 추출하고, 제2 영상으로부터 제2 얼굴 특징 벡터를 추출한다.
한편, 추출부(110)는 얼굴 특징 벡터를 추출하기 위해서, 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역의 위치를 보정하고, 보정된 얼굴 영역으로부터 각 특징량 추출 방법을 통해 원 특징 벡터(raw feature vector)를 추출할 수 있다. 그리고 추출부(110)는 PCA(Principal Component Analysis)와 NDA(Non-parametric Discriminant Analysis) 방식을 이용하여, 원 특징 벡터를 얼굴 특징 벡터로 변환할 수 있다. 여기서 PCA 및 NDA 방식 각각은 원본 특징 벡터의 분류 능력을 극대화하기 위해서, 미리 계산된 선형 변환 행렬을 이용한다. 추출부(110)는 PCA 방식과 NDA 방식을 순차적으로 이용하여, 원 특징 벡터를 얼굴 특징 벡터로 변환할 수 있다. 구체적으로, 추출부(110)는 PCA 방식을 이용해 원 특징 벡터를 고유 특징 벡터(Eigen feature vector)로 변환하고, NDA 방식을 이용해 고유 특징 벡터를 얼굴 특징 벡터로 변환할 수 있다. 한편, PCA 부분 공간(subspace)과 NDA 부분 공간은 연속된 선형 변환 행렬이므로, 추출부(110)는 미리 PCA의 행렬과 NDA의 행렬을 내적(inner product)하여 하나의 변환 행렬을 생성하고, 생성된 변환 행렬을 이용해 원 특징 벡터를 얼굴 특징 벡터로 변환할 수도 있다.
한편, 추출부(110)가 원 특징 벡터를 얼굴 특징 벡터로 변환하는 과정을, 수식으로 나타내면 아래의 수학식 1과 같다.
Figure 112014011975439-pat00001
즉, 추출부(110)는 원 특징 벡터인 r에서 평균 벡터인 r'를 감산하고, 감산된 값에 PCA/NDA 투영(projection) 행렬인 M을 투영한다. 이를 통해, 추출부(110)는 컴팩트(compact)한 형태의 얼굴 특징 벡터인 x를 생성할 수 있다. 여기서 PCA/NDA 투영 행렬 M은 PCA의 행렬과 NDA의 행렬을 내적한 행렬일 수 있다. 그리고 평균 벡터 r'는 학습 데이터를 이용해 PCA의 변형(transform) 행렬을 학습하는 과정에서 획득되는 r의 평균 벡터이다. 한편, 지금까지 추출부(110)가 PCA 방식과 NDA 방식을 이용하는 경우에 대해서 설명하였으나, 이는 예시일 뿐이다. 추출부(110)는 LDA(Linear Discriminant Analysis), Kernel LDA, ICA(Independent Component Analysis) 등과 같은 다른 선형 변환 방식/비선형 변환 방식을 이용할 수도 있다.
계산부(120)는 추출부(110)에 의해 추출된 얼굴 특징 벡터 간의 거리(distance)를 계산한다. 구체적으로, 계산부(120)는 각 특징량 추출 방법을 통해 추출된, 제1 영상에 대한 제1 얼굴 특징 벡터와 제2 영상에 대한 제2 얼굴 특징 벡터 간의 거리를 계산한다. 예를 들어, 계산부(120)는 제1 특징량 추출 방법을 통해 추출된, 제1 영상에 대한 제1 얼굴 특징 벡터와 제2 영상에 대한 제2 얼굴 특징 벡터 간의 거리를 계산하고, 제2 특징량 추출 방법을 통해 추출된, 제1 영상에 대한 제1 얼굴 특징 벡터와 제2 영상에 대한 제2 얼굴 특징 벡터 간의 거리를 계산한다. 한편, 계산부(120)는 얼굴 특징 벡터 간의 거리를 계산하기 위해서, 얼굴 특징 벡터의 성질에 따라 다양한 측정 방식을 사용할 수 있는데, 이하에서는 설명의 편의를 위해서, 계산부(120)가 WED(Weighted Euclidian Distance) 측정 방식을 사용하는 경우를 예로 들어 설명한다. 구체적으로 WED 측정 방식에서, 가중치(weight)는 NDA 과정에서 도출된 베이시스(basis)의 분류 능력에 따라서, 각 베이시스에 할당된다. 여기서, 각 베이시스는 얼굴 특징 벡터의 각 요소(element)에 대응한다. WED 측정 방식에 의해 계산되는 얼굴 특징 벡터 간의 거리는 아래의 수학식 2와 같이 정의될 수 있다.
Figure 112014011975439-pat00002
여기서, d(a, b)는 제1 영상에 대한 얼굴 특징 벡터인 a와 제2 영상에 대한 얼굴 특징 벡터인 b 간의 거리를 나타낸다. n은 베이시스의 인덱스를 나타내고, wn은 각 베이시스의 가중치를 나타내고, N은 차원(dimension)을 나타낸다.
변환부(130)는 계산부(120)에 의해 계산된 얼굴 특징 벡터 간의 거리를, 동일한 통계적 의미를 가지는 척도로 변환한다. 예를 들어, 변환부(130)는 유사도 함수(likelihood function)를 이용해, 얼굴 특징 벡터 간의 거리 각각을 유사도로 변환할 수 있다. 여기서, 유사도 함수는 동일인 여부를 판별하기 위한 함수로써, 사전에 학습 데이터를 이용해 학습된 함수이다. 즉, 유사도 함수는 학습 데이터를 이용해 계산된 얼굴 특징 벡터 간의 거리의 확률 분포를 이용한다. 유사도 함수는 로그(log)-유사도 함수일 수 있다. 구체적으로, 변환부(130)는 로그-유사도 함수를 이용해, 아래의 수학식 3과 같이, 얼굴 특징 벡터 간의 거리에 대응하는 유사도를 계산할 수 있다.
Figure 112014011975439-pat00003
여기서 h(d)는 얼굴 특징 벡터 간의 거리가 d인 경우의 유사도 값을 나타낸다. Ppositive(t)는 학습 데이터인 동일한 사람의 영상으로부터 획득된 거리 확률 분포를 나타내고, Pnegitive(t)는 학습 데이터인 서로 다른 사람의 영상으로부터 획득된 거리 확률 분포를 나타낸다. 한편, 유사도 값 h(d)은 거리 값 d에 따라 샘플링(sampling)되어, 룩업 테이블(look-up table)로 구현될 수 있다.
판단부(140)는 변환부(130)에 의해 구해진 유사도를 합산하고, 합산된 값을 이용해 동일인 여부를 판단한다. 예를 들어, 판단부(140)는 제1 영상과 제2 영상에 대해서, 제1 특징량 추출 방식이 적용된 경우에 구해진 유사도 값과, 제2 특징량 추출 방식이 적용된 경우에 구해진 유사도 값을 합산한다. 추출부(110)에 의한 얼굴 특징 벡터 추출, 및 계산부(120)에 의한 거리 계산은 원 특징 벡터의 성질, 적용된 특징량 추출 방식(예, LBP 등) 또는 적용된 변환 방식(예, PCA, NDA 등)에 따라 다르게 수행될 수 있다. 하지만, 서로 다른 다수의 특징량 추출 방식이 적용되는 경우에도, 얼굴 특징 벡터 간의 거리 각각은 변환부(130)에 의해서 동일한 통계적 척도(예, 유사도)로 변환되므로, 판단부(140)는 각 특징량 추출 방식에 대응하는 유사도 값 각각을 합산하여 하나의 유사도 스코어(score)를 생성할 수 있다. 여기서, 유사도 스코어는 두 영상이 동일인의 영상일 수록 큰 값을 가진다. 유사도 스코어는 아래의 수학식 4와 같이 정의될 수 있다.
Figure 112014011975439-pat00004
여기서 K는 다양한 특징량 추출 방식이 적용된 경우에 구해진 유사도 값의 개수이다. 판단부(140)는 H(d0, d1, ..., dK -1)를 이용해, 동일인 여부를 판단한다. 한편, 판단부(140)는 쌍곡 탄젠트(hyperbolic tangent) 함수를 이용해 H(d0, d1, ..., dK -1) 값을 0~1 사이의 값으로 변환하고, 변환된 값을 동일인 여부 판단 시에 이용할 수도 있다. 이하에서는 설명의 편의를 위해서, 판단부(140)가 H(d0, d1, ..., dK -1) 값을 이용해 동일인 여부를 판단하는 경우에 대해서 설명한다. 구체적으로 판단부(140)는 H(d0, d1, ..., dK -1) 값이 클수록, 두 영상이 동일인의 영상에 가깝다고 판단한다. 예를 들어, 판단부(140)는 H(d0, d1, ..., dK -1) 값과 임계값을 비교해, 두 영상이 동일인의 영상인 지를 판단함으로써, 인증(verification) 과정을 수행할 수 있다. 또는 판단부(140)는 다수의 등록된 얼굴 영상과 타겟 영상에 대해서 구해진 H(d0, d1, ..., dK -1) 값 중에서 가장 큰 값을 가지는 등록 얼굴 영상을 선택함으로써, 인식(identification) 과정을 수행할 수도 있다. 예를 들어, 판단부(140)는 제1 등록 얼굴 영상과 타겟 영상 간의 H(d0, d1, ..., dK -1) 값이 제2 등록 얼굴 영상과 타겟 영상 간의 H(d0, d1, ..., dK -1) 값 보다 더 큰 경우에, 제1 등록 얼굴 영상을 선택하여, 인식 과정을 수행할 수도 있다.
도 2는 본 발명의 실시예에 따른 얼굴 인식 장치(100)가 얼굴을 인식하는 과정을 나타내는 순서도이다.
얼굴 인식 장치(100)는 다수의 특징량 추출 방식을 이용해, 서로 다른 두 얼굴 영상으로부터 얼굴 특징 벡터를 추출한다(S100). S100 과정의 세부적인 과정은 도 3 및 도 4를 참고하여 설명한다.
얼굴 인식 장치(100)는 두 영상에 대한 얼굴 특징 벡터 간의 거리를 계산한다(S200). S200 과정에서 구해지는 거리 값은, 적용되는 특징량 추출 방식의 개수에 따라, 다수 개일 수 있다.
얼굴 인식 장치(100)는 S200 과정에서 구해진 거리 값 각각에 대응하는 로그-유사도 값을 계산한다(S300).
얼굴 인식 장치(100)는 S300 과정에서 구해진 로그-유사도 값 각각을 합산한다(S400).
얼굴 인식 장치(100)는 S400 과정에서 합산된 값과 임계값을 비교해, 두 얼굴 영상이 동일인의 영상인지를 판단한다(S500).
도 3은 도 2의 특징 벡터 추출 과정(S100)에서 사용되는 영상의 일례를 나타내는 도면이다. 도 3의 (A)와 (B)는 얼굴 인식 장치(100)에 입력되는 서로 다른 두 얼굴 영상을 나타낸다. 얼굴 인식 장치(100)는 (A) 영상으로부터 얼굴 영역(F1)을 검출하고, 얼굴 영역(F1)의 위치를 보정 한 후에, 보정된 얼굴 영역(F1)으로부터 각 특징량 추출 방식을 이용해 원 특징 벡터를 추출한다. 마찬가지로, 얼굴 인식 장치(100)는 (B) 영상으로부터 얼굴 영역(F2)을 검출하고, 얼굴 영역(F2)의 위치를 보정 한 후에, 보정된 얼굴 영역(F2)으로부터 각 특징량 추출 방식을 이용해 원 특징 벡터를 추출한다.
도 4는 도 2의 특징 벡터 추출 과정(S100)의 구체적인 과정을 나타내는 도면이다. 도 4에서는 설명의 편의를 위해서, 얼굴 인식 장치(100)가 변환 방식 중 PCA 방식과 NDA 방식을 이용하는 경우를 예시하였다. 이하에서는 도 3 및 도 4를 참고하여, 특징 벡터 추출 과정(S100)의 세부 과정을 설명한다.
얼굴 인식 장치(100)는 각 특징량 추출 방식을 이용해 얼굴 영역(F1, F2)으로부터 원 특징 벡터를 추출한다(S110).
얼굴 인식 장치(100)는 S110 과정에서 추출된 원 특징 벡터에 대하여 PCA 과정(예, PCA 투영 과정 등)을 수행한다(S120).
얼굴 인식 장치(100)는 S120 과정에서 생성된 고유 특징 벡터에 대하여, NDA 과정(예, NDA 투영 과정 등)을 수행한다(S130). S130 과정에서 얼굴 특징 벡터가 생성된다.
한편, 도 4에서는 얼굴 인식 장치(100)가 PCA 방식과 NDA 방식을 순차적으로 사용하는 경우에 대해서 예시하였으나, 이는 예시일 뿐이다. 얼굴 인식 장치(100)는 PCA의 행렬과 NDA의 행렬을 내적한 변환 행렬을 미리 구한 후에, 구해진 변환 행렬을 이용해 원 특징 벡터를 얼굴 특징 벡터로 변환할 수도 있다.
도 5는 본 발명의 실시예에 따른 얼굴 인식 방법을 실험한 결과의 일예를 나타내는 도면이다.
도 5의 FRR(False Rejection Ratio) 그래프의 X축은 융합된 얼굴 특징 벡터의 개수이고, Y축은 오수락율(false acceptation ratio)이 0.1%인 경우의 오거절율(false rejection ratio)이다. 도 5에 예시된 바와 같이, 융합되는 얼굴 특징 벡터의 개수가 많아질 수록, 얼굴 인식 에러가 줄어드는 것을 확인할 수 있다. 따라서, 다수의 얼굴 특징 벡터를 융합하여 사용하는 본 발명의 얼굴 인식 방법에 따르면, 하나의 얼굴 특징 벡터를 사용하는 기존 얼굴 인식 방법에 비해, 얼굴 인식 에러를 줄일 수 있다.
지금까지 설명한 본 발명의 얼굴 인식 방법 및 장치를 요약하면 다음과 같다. 본 발명은 서로 다른 두 얼굴 영상으로부터 다양한 특징량 추출 방법을 통해 얼굴 특징 벡터를 추출한다. 그리고 본 발명은 두 영상에 대한 얼굴 특징 벡터 간의 거리 값 각각을 유사도 함수(또는 로그-유사도 함수)를 통해, 유사도 값으로 변환한다. 즉, 본 발명은 얼굴 특징 벡터 간의 거리 각각을 동일한 통계적 척도(예, 유사도)로 변환함으로써, 다양한 특징량 추출 방법에 의해 추출된 다수의 얼굴 특징 벡터를 효과적으로 융합할 수 있다. 여기서 통계적 척도는 인증 오류율이 반영된 척도이다. 그리고 본 발명은 통계적 척도 값(예, 유사도 값)을 합산한 값을 이용해, 영상의 두 사람이 얼마나 동일인에 가까운지를 판단한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 얼굴 인식 장치가 얼굴을 인식하는 방법으로서,
    제1 특징 추출 알고리즘을 이용해, 제1 영상 및 제2 영상 각각으로부터 제1 얼굴 특징 벡터 및 제2 얼굴 특징 벡터 각각을 추출하는 단계;
    상기 제1 특징 추출 알고리즘과 다른 제2 특징 추출 알고리즘을 이용해, 상기 제1 및 제2 영상 각각으로부터 제3 얼굴 특징 벡터 및 제4 얼굴 특징 벡터 각각을 추출하는 단계;
    상기 제1 및 제2 얼굴 특징 벡터 간의 제1 거리와, 상기 제3 및 제4 얼굴 특징 벡터 간의 제2 거리를 계산하는 단계;
    상기 제1 및 제2 거리 각각을 유사도 함수(likelihood function)를 이용해, 제1 유사도와 제2 유사도 각각으로 변환하는 단계; 및
    상기 제1 및 제2 유사도를 합산한 제1 값을 이용해, 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단하는 단계
    를 포함하는 얼굴 인식 방법.
  2. 제1항에 있어서,
    상기 제1 및 제2 얼굴 특징 벡터를 추출하는 단계는
    상기 제1 특징 추출 알고리즘을 이용해, 상기 제1 영상으로부터 제5 얼굴 특징 벡터를 추출하는 단계; 및
    PCA(Principal Component Analysis) 방식과 NDA(Non-parametric Discriminant Analysis) 방식을 이용해, 상기 제5 얼굴 특징 벡터를 상기 제1 얼굴 특징 벡터로 변환하는 단계를 포함하는
    얼굴 인식 방법.
  3. 제2항에 있어서,
    상기 제1 얼굴 특징 벡터로 변환하는 단계는
    상기 PCA의 투영(projection) 행렬과 상기 NDA의 투영 행렬을 내적(inner product)한 행렬을 이용해, 상기 제5 얼굴 특징 벡터를 상기 제1 얼굴 특징 벡터로 변환하는 단계를 포함하는
    얼굴 인식 방법.
  4. 제3항에 있어서,
    상기 제1 얼굴 특징 벡터는 아래의 수학식 1과 같이 정의되는
    얼굴 인식 방법.
    [수학식 1]
    x = M(r-r')
    (x: 상기 제1 얼굴 특징 벡터, M: 상기 내적 행렬, r: 상기 제5 얼굴 특징 벡터, r': 학습 데이터를 이용해 상기 PCA의 변형 행렬을 학습하는 과정에서 획득되는 평균 벡터)
  5. 제4항에 있어서,
    상기 제1 특징 추출 알고리즘은 LBP(Local Binary Pattern), 그래디언트 히스토그램(Histogram of Gradient), 및 가보 웨이블릿(Gabor wavelet) 알고리즘 중 어느 하나인
    얼굴 인식 방법.
  6. 제1항에 있어서,
    상기 계산하는 단계는,
    WED(Weighted Euclidian Distance) 측정 방식을 이용해, 상기 제1 및 제2 거리를 계산하는 단계를 포함하는
    얼굴 인식 방법.
  7. 제1항에 있어서,
    상기 변환하는 단계는,
    학습 데이터인 동일한 사람의 영상으로부터 획득된 제1 거리 확률 분포와 학습 데이터인 서로 다른 사람의 영상으로부터 획득된 제2 거리 확률 분포를 이용해, 상기 제1 거리에 대응하는 상기 제1 유사도를 계산하는 단계를 포함하는
    얼굴 인식 방법.
  8. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 제1 값을 쌍곡 탄젠트(hyperbolic tangent) 함수를 이용해, 제2 값으로 변환하는 단계를 포함하는
    얼굴 인식 방법.
  9. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 제1 값과 임계값을 비교해, 상기 비교 결과에 따라 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단하는 단계를 포함하는
    얼굴 인식 방법.
  10. 제1항에 있어서,
    상기 제1 특징 추출 알고리즘을 이용해, 제3 영상으로부터 제5 얼굴 특징 벡터를 추출하는 단계;
    상기 제2 특징 추출 알고리즘을 이용해, 상기 제3 영상으로부터 제6 얼굴 특징 벡터를 추출하는 단계;
    상기 제1 및 제5 얼굴 특징 벡터 간의 제3 거리와, 상기 제3 및 제6 얼굴 특징 벡터 간의 제4 거리를 계산하는 단계; 및
    상기 제3 및 제4 거리 각각을 상기 유사도 함수를 이용해, 제3 유사도와 제4 유사도 각각으로 변환하는 단계를 더 포함하고,
    상기 판단하는 단계는,
    상기 제1 값이 상기 제3 및 제4 유사도를 합산한 제2 값 보다 큰 경우에, 상기 제2 영상 및 상기 제3 영상 중 상기 제2 영상을 선택하는 단계를 포함하는
    얼굴 인식 방법.
  11. 얼굴을 인식하는 장치로서,
    다수의 특징 추출 알고리즘을 이용해, 제1 영상으로부터 다수의 제1 얼굴 특징 벡터와, 제2 영상으로부터 다수의 제2 얼굴 특징 벡터를 추출하는 추출부;
    상기 제1 및 제2 얼굴 특징 벡터 간의 제1 거리를, 상기 다수의 특징 추출 알고리즘 별로, 계산하는 계산부;
    상기 다수의 제1 거리 각각을 유사도 함수를 이용해, 제1 유사도로 변환하는 변환부; 및
    상기 다수의 제1 유사도를 합산한 제1 값을 이용해, 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단하는 판단부
    를 포함하는 얼굴 인식 장치.
  12. 제11항에 있어서,
    상기 추출부는
    상기 다수의 특징 추출 알고리즘을 이용해, 상기 제1 영상으로부터 다수의 제3 얼굴 특징 벡터를 추출하고,
    선형 변환 방식 및 비선형 변환 방식 중 적어도 어느 하나를 이용해 상기 제3 얼굴 특징 벡터를 상기 제1 얼굴 특징 벡터로 변환하는
    얼굴 인식 장치.
  13. 제12항에 있어서,
    상기 선형 변환 방식은 PCA 방식과 NDA 방식을 포함하고,
    상기 추출부는
    상기 PCA의 투영 행렬과 상기 NDA의 투영 행렬을 내적한 행렬을 이용해, 상기 제3 얼굴 특징 벡터를 상기 제1 얼굴 특징 벡터로 변환하는
    얼굴 인식 장치.
  14. 제13항에 있어서,
    상기 다수의 특징 추출 알고리즘은 LBP(Local Binary Pattern), 그래디언트 히스토그램(Histogram of Gradient), 및 가보 웨이블릿(Gabor wavelet) 알고리즘을 포함하는
    얼굴 인식 장치.
  15. 제11항에 있어서,
    상기 계산부는
    WED(Weighted Euclidian Distance) 측정 방식을 이용해, 상기 다수의 제1 거리 각각을 계산하는
    얼굴 인식 장치.
  16. 제11항에 있어서,
    상기 변환부는
    학습 데이터인 동일한 사람의 영상으로부터 획득된 제1 거리 확률 분포와 학습 데이터인 서로 다른 사람의 영상으로부터 획득된 제2 거리 확률 분포를 이용해, 상기 다수의 제1 거리 각각에 대응하는 상기 다수의 제1 유사도 각각을 계산하는
    얼굴 인식 장치.
  17. 제11항에 있어서,
    상기 판단부는
    상기 제1 값을 쌍곡 탄젠트 함수를 이용해, 제2 값으로 변환하는
    얼굴 인식 장치.
  18. 제17항에 있어서,
    상기 판단부는
    상기 제2 값과 임계값을 비교해, 상기 비교 결과에 따라 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단하는
    얼굴 인식 장치.
  19. 제17항에 있어서,
    상기 추출부는 상기 다수의 특징 추출 알고리즘을 이용해, 제3 영상으로부터 다수의 제3 얼굴 특징 벡터를 추출하고,
    상기 계산부는 상기 제1 및 제3 얼굴 특징 벡터 간의 제2 거리를 상기 다수의 특징 추출 알고리즘 별로 계산하고,
    상기 변환부는 상기 다수의 제2 거리 각각을 상기 유사도 함수를 이용해, 제2 유사도로 변환하고,
    상기 판단부는 상기 다수의 제2 유사도를 합산한 제3 값을 상기 쌍곡 탄젠트 함수를 이용해 제4 값으로 변환하고, 상기 제2 값이 상기 제4 값 보다 큰 경우에, 상기 제2 영상 및 상기 제3 영상 중 상기 제2 영상을 선택하는
    얼굴 인식 장치.
  20. 얼굴 인식 장치가 얼굴을 인식하는 방법으로서,
    다수의 특징 추출 알고리즘을 이용해, 제1 영상으로부터 다수의 제1 얼굴 특징 벡터를, 제2 영상으로부터 제2 얼굴 특징 벡터를 추출하는 단계;
    상기 제1 및 제2 얼굴 특징 벡터 간의 거리를, 상기 다수의 특징 추출 알고리즘 별로, 계산하는 단계;
    상기 다수의 거리 각각을 동일한 통계적 척도로 변환하는 단계; 및
    상기 다수의 변환된 척도들을 합산하고, 상기 합산된 척도를 이용해 상기 제1 및 제2 영상이 동일인의 영상인 지를 판단하는 단계
    를 포함하는 얼굴 인식 방법.
KR1020140013851A 2014-02-06 2014-02-06 얼굴 인식 장치 및 방법 KR101577040B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140013851A KR101577040B1 (ko) 2014-02-06 2014-02-06 얼굴 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140013851A KR101577040B1 (ko) 2014-02-06 2014-02-06 얼굴 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150093058A KR20150093058A (ko) 2015-08-17
KR101577040B1 true KR101577040B1 (ko) 2015-12-11

Family

ID=54057152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140013851A KR101577040B1 (ko) 2014-02-06 2014-02-06 얼굴 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101577040B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230145873A (ko) 2022-04-11 2023-10-18 스퀘어네트 주식회사 본인 인증 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880547B1 (ko) * 2017-03-06 2018-07-20 서강대학교산학협력단 유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법
KR102254331B1 (ko) * 2019-07-04 2021-05-20 한양대학교 산학협력단 공중 제스쳐 인식 장치 및 방법
CN110348362B (zh) * 2019-07-05 2022-10-28 北京达佳互联信息技术有限公司 标签生成、视频处理方法、装置、电子设备及存储介质
KR20210054920A (ko) * 2019-11-06 2021-05-14 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010004958A1 (ja) 2008-07-10 2010-01-14 日本電気株式会社 個人認証システム、個人認証方法
JP2010262350A (ja) 2009-04-30 2010-11-18 Institute Of Physical & Chemical Research 画像処理装置、画像処理方法およびプログラム
KR101089287B1 (ko) 2010-06-09 2011-12-05 한국과학기술원 다중 얼굴 특징 정보 융합 기반 자동 얼굴 인식 장치 및 방법
KR101254181B1 (ko) 2012-12-13 2013-04-19 위아코퍼레이션 주식회사 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010004958A1 (ja) 2008-07-10 2010-01-14 日本電気株式会社 個人認証システム、個人認証方法
JP2010262350A (ja) 2009-04-30 2010-11-18 Institute Of Physical & Chemical Research 画像処理装置、画像処理方法およびプログラム
KR101089287B1 (ko) 2010-06-09 2011-12-05 한국과학기술원 다중 얼굴 특징 정보 융합 기반 자동 얼굴 인식 장치 및 방법
KR101254181B1 (ko) 2012-12-13 2013-04-19 위아코퍼레이션 주식회사 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230145873A (ko) 2022-04-11 2023-10-18 스퀘어네트 주식회사 본인 인증 시스템

Also Published As

Publication number Publication date
KR20150093058A (ko) 2015-08-17

Similar Documents

Publication Publication Date Title
KR101577040B1 (ko) 얼굴 인식 장치 및 방법
KR100738080B1 (ko) 성별을 이용한 얼굴 인식 방법 및 장치
US9070041B2 (en) Image processing apparatus and image processing method with calculation of variance for composited partial features
KR100940902B1 (ko) 손가락 기하학 정보를 이용한 바이오 인식 방법
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
JP4858612B2 (ja) 物体認識システム、物体認識方法および物体認識用プログラム
KR102399025B1 (ko) 개선된 데이터 비교 방법
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
US20140093142A1 (en) Information processing apparatus, information processing method, and information processing program
JP4507679B2 (ja) 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
Fathima et al. Fusion Framework for Multimodal Biometric Person Authentication System.
KR101717729B1 (ko) 영상에서의 휴먼 인지 장치 및 방법
JP2006344236A (ja) 顔メタデータ生成方法および装置、並びに顔認識方法およびシステム
US20220076003A1 (en) Action recognition apparatus, learning apparatus, and action recognition method
Das et al. Iris Recognition using a Scalar based Template in Eigen-space
KR101268586B1 (ko) 얼굴 인식 장치 및 방법
JP6003367B2 (ja) 画像認識装置、画像認識方法および画像認識プログラム
Tome et al. Scenario-based score fusion for face recognition at a distance
JP4375571B2 (ja) 顔類似度算出方法および装置
CN110321935B (zh) 业务事件关系确定方法及装置、计算机可读存储介质
Pankaj et al. Comparison of PCA, LDA and gabor features for face recognition using fuzzy neural network
Li et al. Predict and improve iris recognition performance based on pairwise image quality assessment
JP6453618B2 (ja) 算出装置、方法及びプログラム
JP2019036232A (ja) 対象認識装置
Malek et al. Subspace state estimator for facial biometric verification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 4