KR20160035765A - 시각관측신뢰도를 채용한 자동얼굴인식 시스템 - Google Patents

시각관측신뢰도를 채용한 자동얼굴인식 시스템 Download PDF

Info

Publication number
KR20160035765A
KR20160035765A KR1020140127470A KR20140127470A KR20160035765A KR 20160035765 A KR20160035765 A KR 20160035765A KR 1020140127470 A KR1020140127470 A KR 1020140127470A KR 20140127470 A KR20140127470 A KR 20140127470A KR 20160035765 A KR20160035765 A KR 20160035765A
Authority
KR
South Korea
Prior art keywords
pixels
face
visual observation
measure
image
Prior art date
Application number
KR1020140127470A
Other languages
English (en)
Inventor
김진영
투안
민소희
나승유
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020140127470A priority Critical patent/KR20160035765A/ko
Publication of KR20160035765A publication Critical patent/KR20160035765A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 부블록(sub - block) 기반 특징을 사용하는 얼굴인식 시스템(예, GMM, HMM 등)의 강인한 시스템을 위하여 시각관측신뢰도(VOC)를 통합한 인식시스템을 제안하는 것이다.
본 발명에서는 시각관측신뢰도의 요소 척도로써 평탄도(flatness) 척도, 중심성(centrality) 척도, 그리고 조명(illumination) 척도를 제안하였다. 또한 제안된 각 관측신뢰도 척도들은 선형결합(linear combination) 을 통해 하나의 VOC로 통합된다. 물리 가중합을 시행할 때, 각 신뢰도의 기여도에 따라 가중값이 결정된다.
평탄도 척도는 시스템의 조명에 강한 성질을 만들뿐만 아니라, 변별력이 적은 블록들의 영향을 감소시킨다. 중심성 척도는 눈, 코, 입 등 얼굴의 중요한 구성 요소들의 영향을 유지하면서 상대적으로 얼굴인식에서 기여도가 적은 머리카락 그리고 목, 배경 블록 등의 영향을 감소시킨다. 한편 조명척도는 각 블록들의 평균 밝기(Lu) 들의 intra - variance 함수로부터 그림자 그리고 하이라이트 된 영역을 탐지하여 인식기에 미치는 영향을 감소시킨다.
본 특허는 얼굴인식 문제에 대해 존재하는 기존의 방법들(조명에 강한 특징추출, 얼굴영상 향상기법, 멀티모달 인식)과는 다른 관점에서 고안되었다. 각 영상 블록의 인식문제에 대한 기여도를 계산하여 인식에 반영한다는 점에서 신규성이 있다.

Description

시각관측신뢰도를 채용한 자동얼굴인식 시스템{Automatic Face Recognition System using Visual Observation Confidence}
본 발명은 얼굴인식(식별 및 인증)이 실제 환경에 채용될 때의 가장 큰 문제점 중 하나인 조명 변화에 의한 열화 문제를 해결하기 위한 방안으로서, 시각관측신뢰도 개념을 도입한 얼굴인식시스템에 관한 것이다.
일반적으로 정보통신 기술의 발전과 함께 자동화된 개인식별 및 인증에 관한 연구개발이 근 20여년 꾸준히 진행되어 왔으며, 지문, 얼굴, 음성, 그리고 홍채 등 다양한 바이오메트릭 정보가 사용되고 있다. 이에 지문인식은 인증성능이 우수하지만 접촉식 방법으로써 사용자에게 상당한 불편함을 주어, 얼굴 인식과 같은 비접촉식 방법들에 대한 관심이 지대하다. 그러나 얼굴인식과 같이 영상정보를 인식의 대상으로 하는 경우 심각한 문제가 존재하는데, 조명의 변화 또는 불균형적인 조명에 대하여 상당히 취약하다는 점이다.
고유얼굴(eigen-face, Fisher-face) 방법들은 얼굴전체를 한 블록으로 처리하여 특징을 구하기 때문에, 조명 왜곡된 영상의 향상(image enhancement)을 통해 성능향상을 도모한다. 그러나 이러한 방법이 성공적으로 적용되지 못하고 있는 실정이다. 한편 얼굴의 전반적인 구조를 무시한, 부블록(sub-block) 중심의 특징추출을 사용하는 인식시스템들이 있다. 예를 들어 HMM(hidden Markov model) 또는 GMM(Gaussian Mixture model)을 이용하는 인식시스템이다. 이들 방법들에 대해서도 영상 향상 기술이 적용될 수 있으나, 다양한 조명변화가 존재하는 환경하에서는 성능향상이 미미하다.
그러므로 조명에 의한 영상의 왜곡문제를 극복할 수 있는 새로운 방법론이 필요하다. 새로운 방법론의 한 아이디어는 블록기반 특징추출시 각 블록의 확률계산 반영을 블록들의 왜곡도에 따라 가중적으로 반영하는 방법이다. 각 영상블록에 대해 신뢰도를 계산할 수 있다면, 이 신뢰도를 확률 계산에 반영하는 방법이다. 이러한 방법론은 음성처리에서 화자인식에 적응되어 성공적인 결과를 얻은 바 있다. 즉 관측 신뢰로를 반영하는 Modified GMM, Modified HMM 등의 방법이 존재한다. 그러나 MGGM 또는 MHMM을 적용하기 위해서는 인식 대상의 측정 특징들에 대한 신뢰도값이 필요한데, 현재까지 얼굴인식 시스템을 위한 블록 신뢰도 계산 방법이 제시되어 있지 않다. 따라서 이를 위한 기술의 개발이 절실한 것이다.
공개특허번호 제10-2009-0038110호(2009.04.20. 공개) 공개특허번호 제10-2008-0028700호(2008.04.01. 공개) 공개특허번호 제10-2005-0007688호(2005.01.21. 공개)
상기와 같은 문제점을 해소하기 위한 본 발명은 얼굴인식시스템에 MGMM 또는 MHMM을 적용하기 위하여 시각 관측 신호에 대한 신뢰도 함수를 제공하고자 하는 것이다.
즉 본 발명은 영상 블록기반 특징추출을 사용하는 얼굴인식 시스템의 성능향상을 위한, 신뢰도 함수를 정의하고 기존의 알려진 MGMM을 사용한 얼굴인식 시스템을 제공하고자 한다. 본 발명에서 제시하는 방법은 얼굴영상 내 각 부블록의 학습 및 인식시에 왜곡 또는 정보량에 따라 가중적으로 반영하여, 인식률 향상을 꾀하는 것이다. 즉 입력된 얼굴영상을 여러 블록으로 나눌 때, 각 블록이 얼굴인식 문제에 있어 얼마나 유효하고 신뢰할 만한 것인지를 계산하는 방법론을 제공하는 것이다. 얼굴인식에서 블록의 신뢰도는 다음과 같은 정보들을 반영하여야 한다.
첫째, 주어진 블록이 얼굴인식에서 변별력 있는 정보인가?
둘째, 주어진 블록이 조명에 의하여 왜곡된 정보인가?
만약 얼굴 영상을 대상으로 시각적 관측 신뢰도를 정의할 수 있다면, 음성처리에서 성공적인 결과를 보인 Modified GMM 또는 Modified HMM을 채용하여 얼굴인식 시스템의 성능을 향상시킬 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명은, 영상데이터로부터 소정의 조건으로 변환처리하고 소정 색상의 픽셀을 추출하는 얼굴영역탐지단계; 상기 얼굴영역탐지단계에서 처리된 영상데이터에 대해 소정의 시각적 특징정보로 하는 시각관측신뢰도를 산출하는 시각관측신뢰도 분석단계; 상기 시각관측신뢰도를 이용한 얼굴모델 GMM 학습을 수행하는 얼굴모델 학습단계; 및 상기 얼굴모델 학습단계 이후 얼굴모델 인식 과정을 수행하는 얼굴모델 인식단계를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법을 제공한다.
본 발명의 바람직한 실시예에 있어서, 상기 시각관측신뢰도 분석단계는: 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM)를 산출하는 평탄도척도처리단계; 영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM)를 산출하는 중심성척도처리단계; 영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도처리단계; 및 평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 분석단계를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법을 제공한다.
본 발명의 바람직한 실시예에 있어서, 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM), 영상에서 눈의 위치 및 입의 위치 데이터로부터 산출된 얼굴의 중심성 척도(CM), 및 영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 산출된 조명척도(IM) 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 분석단계를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 방법을 제공한다.
본 발명의 바람직한 실시예에 있어서, 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM)를 산출하는 평탄도척도처리단계; 영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM)를 산출하는 중심성척도처리단계; 영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도처리단계; 및 평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 분석단계를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법을 제공한다.
본 발명의 바람직한 실시예에 있어서, 상기 평탄도 척도(FM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법을 제공한다.
(수학식 2)
Figure pat00001

(수학식 3)
Figure pat00002

(수학식 4)
Figure pat00003

G는 기하평균, A는 산술평균,
Figure pat00004
는 주어진 블록 내 픽셀의 luminance 정보, T는 대상이 되는 블록 수이다.
본 발명의 바람직한 실시예에 있어서, 상기 중심성 척도(CM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법을 제공한다.
(수학식 7)
Figure pat00005

Figure pat00006
은 m번째 블록의 중심좌표,
Figure pat00007
는 평균값 위치, 탐지된 얼굴의 왼쪽 위의 위치는
Figure pat00008
, 그리고 오른쪽 아래의 위치는
Figure pat00009
이다.
본 발명의 바람직한 실시예에 있어서, 상기 조명척도(IM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법을 제공한다.
(수학식 8)
Figure pat00010

Figure pat00011
는 Intra - class 편차,
Figure pat00012
는 전경의 표준편차,
Figure pat00013
는 배경의 표준편차, foreground (전경) 집합은 얼굴영상의 pixel 들 중 Lu 값이 소정 휘도 값 t 이상인 픽셀들의 집합, background (배경)은 소정 휘도 값 t 이하인 pixel 들의 집합,
Figure pat00014
는 foreground 집합에 속한 pixel들의 수를 전체 Pixel수로 나눈 값,
Figure pat00015
는 background 집합에 속한 pixel들의 수를 전체 pixel수로 나눈 값이다.
(수학식 9)
Figure pat00016

(수학식 10)
Figure pat00017

Figure pat00018
는 tinflection에서의 미분값의 근사치를 구하기 위한 것으로서 2 또는 3을 사용하고, t1은 tmin과 tinflection 사이 임의의 값으로써 소정 조건을 만족하는 값들이고, t2는 tinflection과 tmax 사이 임의의 값으로써 소정 조건을 만족하는 값들이고,
Figure pat00019
은
Figure pat00020
함수의 2차 미분이 0이 되는 점이다.
(수학식 11)
Figure pat00021

Figure pat00022
.
(수학식 13)
Figure pat00023
A는 주어진 블록 픽셀들의 Lu값의 평균값이다.
본 발명의 바람직한 실시예에 있어서, 상기 시각관측신뢰도는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법을 제공한다.
(수학식 14)
Figure pat00024

위 식에서 a는 FMm의 가중치이고, b는 CMm의 가중치이며, c는 IMm의 가중치이다.
(수학식 15)
Figure pat00025

본 발명의 바람직한 실시예에 있어서, 영상데이터로부터 소정의 조건으로 변환처리하고 소정 색상의 픽셀을 추출하는 얼굴영역탐지부; 상기 얼굴영역탐지부에서 처리된 영상데이터에 대해 소정의 시각적 특징정보로 하는 시각관측신뢰도를 산출하는 시각관측신뢰도 분석부; 상기 시각관측신뢰도를 이용한 얼굴모델 GMM 학습을 수행하는 얼굴모델 학습부; 및 상기 얼굴모델 학습부에 의한 처리 이후 얼굴모델 인식 과정을 수행하는 얼굴모델 인식부를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템을 제공한다.
본 발명의 바람직한 실시예에 있어서, 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM)를 산출하는 평탄도척도분석부; 영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM)를 산출하는 중심성척도분석부; 영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도분석부; 및 상기 평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 처리부를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템을 제공한다.
본 발명의 바람직한 실시예에 있어서, 상기 평탄도 척도(FM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템을 제공한다.
(수학식 2)
Figure pat00026

(수학식 3)
Figure pat00027

(수학식 4)
Figure pat00028

G는 기하평균, A는 산술평균,
Figure pat00029
는 주어진 블록 내 픽셀의 luminance 정보, T는 대상이 되는 블록 수이다.
본 발명의 바람직한 실시예에 있어서, 상기 중심성 척도(CM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템을 제공한다.
(수학식 7)
Figure pat00030

Figure pat00031
은 m번째 블록의 중심좌표,
Figure pat00032
는 평균값 위치, 탐지된 얼굴의 왼쪽 위의 위치는
Figure pat00033
, 그리고 오른쪽 아래의 위치는
Figure pat00034
이다.
본 발명의 바람직한 실시예에 있어서, 상기 조명척도(IM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템을 제공한다.
(수학식 8)
Figure pat00035

Figure pat00036
는 Intra - class 편차,
Figure pat00037
는 전경의 표준편차,
Figure pat00038
는 배경의 표준편차, foreground (전경) 집합은 얼굴영상의 pixel 들 중 Lu 값이 소정 휘도 값 t 이상인 픽셀들의 집합, background (배경)은 소정 휘도 값 t 이하인 pixel 들의 집합,
Figure pat00039
는 foreground 집합에 속한 pixel들의 수를 전체 Pixel수로 나눈 값,
Figure pat00040
는 background 집합에 속한 pixel들의 수를 전체 pixel수로 나눈 값이다.
(수학식 9)
Figure pat00041

(수학식 10)
Figure pat00042

Figure pat00043
는 tinflection에서의 미분값의 근사치를 구하기 위한 것으로서 2 또는 3을 사용하고, t1은 tmin과 tinflection 사이 임의의 값으로써 소정 조건을 만족하는 값들이고, t2는 tinflection과 tmax 사이 임의의 값으로써 소정 조건을 만족하는 값들이고,
Figure pat00044
은
Figure pat00045
함수의 2차 미분이 0이 되는 점이다.
(수학식 11)
Figure pat00046

Figure pat00047
.
(수학식 13)
Figure pat00048
A는 주어진 블록 픽셀들의 Lu값의 평균값이다.
본 발명의 바람직한 실시예에 있어서, 상기 시각관측신뢰도는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템을 제공한다.
(수학식 14)
Figure pat00049

a는 FMm의 가중치이고, b는 CMm의 가중치이며, c는 IMm의 가중치이다.
(수학식 15)
Figure pat00050
상기와 같이 본 발명은 얼굴영상정보를 이용하여 인식을 수행하는 시스템의 성능 개선을 위한 방법으로서 시각관측신뢰도(visual observation confidence, VOC)를 제안하였다.
본 발명에서 제시한 방법은 GMM, HMM과 같은 부블록 특징 등을 이용하는 얼굴인식기술을 제공하여 얼굴인식의 성능을 향상시킨 것이다. 즉 인식시스템의 감지기 성능이 부족하거나, 조명 등에 의하여 심하게 왜곡된 블록들의 영향을 GMM 확률 계산시 줄여줌으로써 오인식의 가능성을 줄여 자동 얼굴인식 성능을 향상시킨 것이다.
특히 본 발명은 조명이 균일하지 않은 실내외 환경에서 얼굴 인식의 성능을 향상시켜, 얼굴인식이 다양한 모바일 환경 기기에서 적용될 수 있도록 하는 장점을 갖는다.
도 1은 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 얼굴 영상에서 부블록 기반 특징 추출의 개념을 도시한 예시도이다.
도 2는 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 영상에서 조명에 따라 영향을 받는 얼굴 영상의 예를 도시한 것이다.
도 3은 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 영상에서 평탄도 척도의 개념과 예시를 보인 것이다.
도 4는 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 영상에서 중심성 척도의 적용 예시를 보인 것이다.
도 5는 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 영상에서 Intra - variance 기반 조명 척도의 적용 예시를 보인 것이다.
도 6은 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 영상에서 조명척도의 구현과 그림자 및 하이라이트 탐지의 예시를 보인 것이다.
도 7은 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 영상에 대한 시각 신뢰도 기반 GMM 얼굴인식 처리 과정을 설명한 도면이다.
도 8은 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 영상에서 얼굴영역 탐지 방법을 설명한 예시도이다.
도 9는 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 얼굴 영상에서 얼굴 영상의 특징 추출하는 과정을 예시한 도면이다.
도 10은 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 얼굴 영상에서 Eye map, mouth map 그리고 눈과 입술기반 얼굴 중심점을 추출하는 과정을 설명한 도면이다.
도 11은 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 얼굴 영상에서 Eye map, mouth map 기반 눈, 입 탐지 방법을 설명한 예시도이다.
도 12는 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 얼굴 영상에서 구축한 얼굴 영상의 예를 보인 것이다.
도 13은 본 발명에 따른 자동얼굴인식 시스템에 의한 처리의 대상이 되는 얼굴 영상에서 성능 검증 실험 결과를 예시한 도면이다.
도 14는 본 발명에 따른 자동얼굴인식 시스템에 대한 구성도이다.
도 15는 본 발명에 따른 자동얼굴인식 시스템에 제어방법의 순서도이다.
이하 첨부되는 도면을 참조하여 상세히 설명한다.
즉 본 발명에 따른 시각관측신뢰도를 채용한 자동얼굴인식 시스템은 첨부된 도 1 내지 도 15 등에서와 같이, 촬영된 얼굴 영상을 분석하기 위한 얼굴인식시스템에 관한 것이다.
특히 이러한 얼굴인식(식별 및 인증)이 실제 환경에 채용될 때의 가장 큰 문제점 중 하나인 조명 변화에 의한 열화 문제 등 영상에 대한 여러 조건을 극복하여 신뢰도를 한층 높여 분석하기 위한 시각관측신뢰도 개념을 도입한 얼굴인식시스템에 관한 것이다.
이에 대해 첨부된 도면의 예를 들어 설명하기로 한다. 즉 본 발명에 따른 자동얼굴인식시스템 및 제어방법의 구성에 대해 살펴본다.
즉 양쪽 눈, 입, 얼굴 주변의 배경 등을 포함한 얼굴에 대한 영상데이터로부터 소정의 조건으로 변환처리하고 소정 색상의 픽셀을 추출하는 얼굴영역탐지부(20)를 포함한다.
아울러 이러한 얼굴영역탐지부(20)에 의하여, 영상데이터로부터 소정의 조건으로 변환처리하고 소정 색상의 픽셀을 추출하는 얼굴영역탐지단계(S20)를 수행한다.
그리고 상기 얼굴영역탐지부(20)에서 처리된 영상데이터에 대해 소정의 시각적 특징정보로 하는 시각관측신뢰도를 산출하는 시각관측신뢰도 분석부(30)를 포함한다.
아울러 시각관측신뢰도 분석부(30)에 의하여, 상기 얼굴영역탐지단계에서 처리된 영상데이터에 대해 소정의 시각적 특징정보로 하는 시각관측신뢰도를 산출하는 시각관측신뢰도 분석단계(S30)를 수행한다.
이러한 시각관측신뢰도 분석부(30) 및 시각관측신뢰도 분석단계(S30)에 대한 상세 구성을 살펴보면 다음과 같다.
우선 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM)를 산출하는 평탄도척도분석부(31)를 포함한다.
아울러 평탄도척도분석부(31)에 의하여, 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM)를 산출하는 평탄도척도처리단계(S31)를 수행한다.
또한 영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM)를 산출하는 중심성척도분석부(32)를 포함한다.
아울러 중심성척도분석부(32)에 의하여, 영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM)를 산출하는 중심성척도처리단계(S32)를 처리한다.
그리고 영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도분석부(33)를 포함한다.
아울러 조명척도분석부(33)에 의하여, 영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도처리단계(S33)를 수행한다.
나아가 평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 처리부(34)를 포함한다.
아울러 시각관측 신뢰도 처리부(34)에 의하여, 평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 분석단계(S34)를 수행한다.
이상에서와 같이 얼굴영역탐지부(20) 및 얼굴영역탐지단계(S20), 그리고 시각관측 신뢰도분석부(30) 및 시각관측신뢰도 분석단계(S30) 등에 의한 전처리 수단 및 전처리 단계를 거친 후, 분석된 데이터들을 이용하여 얼굴영상 모델에 대한 학습 및 얼굴모델에 인식 등의 처리를 수행한다.
즉 상기 시각관측신뢰도를 이용한 얼굴모델 GMM 학습을 수행하는 얼굴모델 학습부(40)를 포함한다.
아울러 얼굴모델 학습부(40)에 의하여, 상기 시각관측신뢰도를 이용한 얼굴모델 GMM 학습을 수행하는 얼굴모델 학습단계(S40)를 처리한다.
그리고 상기 얼굴모델 학습부(40)에 의한 처리 이후 얼굴모델 인식 과정을 수행하는 얼굴모델 인식부(50)를 포함한다.
아울러 얼굴모델 인식부(50)에 의하여, 상기 얼굴모델 학습단계 이후 얼굴모델 인식 과정을 수행하는 얼굴모델 인식단계(S50)를 수행한다.
이상에서와 같이 마련된 본 발명에 따른 시각관측신뢰도를 채용한 자동얼굴인식시스템 및 제어방법에 대해 첨부된 도면을 참조하여 설명하면, 우선 본 발명은 얼굴인식시스템에서 입력되는 영상의 각 블록의 특징들이 얼마나 유효한 것인지를 판별하는 과정이 수행된다.
즉 (도 1)에 보인 바와 마찬가지로, 블록 기반 특징 추출은 얼굴 영상을 세부 부블록(sub block)으로 나누고, 나누어진 블록들에 대하여 DCT와 같은 변환을 사용하여 특징을 추출하는 것이다.
단 각 블록들은 그림에 보인 바와 달리 50% 정도의 중첩(overlap)이 되도록 결정된다.
그러므로 얻어지는 각 블록별 특징들은 벡터
Figure pat00051
로 표현할 수 있다. 여기서 i와 j는 각 블록의 행 및 열의 위치를 의미한다.
(도 1)에 보인 바와 같이 블록기반 얼굴인식에서 각 블록이 유용한 정보들을 가지고 있는 것은 아니다. 얼굴인식문제에 있어 각 블록들은 다음과 같은 성질들로 설명될 수 있다.
1) 일부 블록들은, 그 자체만 살펴볼 때, 정보가 존재하지 않는다. 즉 블록 안에 어떤 모양의 객체 또는 에지도 존재하지 않는다. 예를 들어 뺨(볼)에 존재하는 블록은 정보가 존재하지 않는다.
2) 일부 블록들은, 원래 정보가 존재했을지라도, 조명 효과에 의하여 너무 밝아지거나 또는 그림자가 심하여 에지와 같은 정보가 심하게 왜곡되어 드러나 보이지 않는다.
3) 눈, 코, 입 등에 걸쳐있는 블록들은 블록영상 내에 얼굴의 중요한 특징을 나타내는 에지 정보들이 풍부하다.
4) 얼굴의 주요 정보인 눈, 코, 입들은 얼굴의 중심에 모여 있으며, 외곽은 목 또는 머리카락 또는 배경으로써 에지정보들이 존재하지만 얼굴 인식상에서 부적절한 정보들을 포함하고 있다.
위와 같은 얼굴 영상 내 부블록(sub block) 영상들의 특징들은 다양한 조명하에서 획득된 (도 2)와 같은 얼굴영상들에서 쉽게 찾아볼 수 있다. 이에 본 발명에서의 시각 관측 신뢰도는 얼굴 내 부블록들의 특성 1) 내지 4)를 반영하여 처리하는 것이다.
먼저 상기에서 언급한 블록의 성질 중 1)과 2)를 참조하여 설명한다. 즉 상기 1)과 2)의 성질은, 블록의 위치상 고유의 성격상 또는 조명에 의한 왜곡에 기인하던지, 블록 내 에지픽셀(edge pixel)들이 존재하지 않는 평탄한 경우를 의미한다. 즉 평탄도에 대한 척도와 관련되는 것으로, 평탄도 척도에 의하여 주어진 블록이 인식문제에 있어 유효한지 신뢰도를 측정할 수 있다. 본 발명은 스펙트럼 신호의 평탄도 척도(FM, spectral flatness measure)를 산출하는 것이다. 이러한 평탄도 척도(FM)의 산출은 다음과 같이 기하평균(G)과 산술평균(A)의 비로 얻어지는데 다음 식과 같다.
Figure pat00052
Figure pat00053

위 식에서
Figure pat00054
는 주어진 블록 내 픽셀의 luminance 정보를 의미하고 T는 대상이 되는 블록 수에 대한 것이다. 본 발명은 상기의 평탄도 척도 값의 영역의 신뢰도 지수 (0 ~ 1) 사이의 값으로 변환하기 위하여, 다음과 같이 시각적 평탄도 척도(FM)를 정의한다.
Figure pat00055

이에 (도 3)은 시각적 FM 계산 예를 얼굴 영상 샘플에 대해서 보여주고 있다.
다음 본 발명에 따른 중심성 척도(Centrality Measure, CM)를 설명한다. 중심성 척도(CM)는 얼굴의 중심점으로부터 원거리에 존재하는 블록들에 대하여 확률 계산시 영향을 감쇄시키는 것이다. 이는 첫째, 얼굴의 중심에서 멀리 떨어질수록 조명의 영향을 쉽게 받는다는 점과, 눈, 코 그리고 입 등 중요한 얼굴 정보가 얼굴의 중심점에 가까이 위치한다는 점에서 의미를 갖는다. 일단 중심성 척도(CM)를 적용하기 위해서는 얼굴의 중심점 결정이 필요하다. 본 발명은 얼굴의 중심점으로 양 눈과 입의 위치의 평균값으로 하여 적용한다. 이 평균값 위치는
Figure pat00056
라고 하자. 그리고 탐지된 얼굴의 왼쪽 위, 그리고 오른쪽 아래의 위치를
Figure pat00057
그리고
Figure pat00058
라고 하자. 그러면 중심성 척도(CM)는 다음과 같이 정의된다.
Figure pat00059

얼굴의 중심점 결정을 위한 눈 및 입술 탐지는 eye - map과 mouth - map 등과 같은 방법들을 통해 결정되는데, 이에 대해서는 발명의 구체적인 내용에서 기술한다. (도 4)는 중심성 척도(CM)를 적용하여 불필요한 블록을 제거해나가는 바이너리 결정(binary decision)의 예를 보여준다. 본 발명에서는 뒤에서 설명하겠지만, 바이너리 결정을 사용하지 않고, 중심성 척도(CM)에 의한 확률 가중 방법을 사용한다.
나아가 본 발명은 조명에 의한 영향을 수치적으로 평가할 수 있는 조명 척도(Illumination Measure, IM)를 제안한다. (도 5)는 조명척도(IM)의 예시를 보여주고 있다. (도 5)의 (a)는 (c)영상에 대한 intra - class variance를 그린 것이다. 여기서 Intra - class 편차
Figure pat00060
는 다음과 같이 정의된다.
Figure pat00061

위 식에서 foreground (전경) 집합은 얼굴영상의 pixel 들 중 Lu 값이 소정 휘도 값 t 이상인 픽셀들의 집합이고, background (배경)은 소정 휘도 값 t 이하인 pixel 들의 집합니다.
Figure pat00062
는 foreground 집합에 속한 pixel들의 수를 전체 Pixel수로 나눈 것이고,
Figure pat00063
는 background 집합에 속한 pixel들의 수를 전체 pixel수로 나눈 것이다. 편차들은 각 집합들에 속한 pixel들의 Lu값의 편차를 구한 것이다. 단 (도 5)의 (c)는 (b)의 원 얼굴영상으로부터 얻어진 그림인데, 얼굴색 영역 외의 pixel값들을 0으로 대치하여 배경을 무시한 것이다. (도 5)의 (a)에 보인 바와 같이
Figure pat00064
그림은 다음 5개의 부분으로 나눌 수 있는데, 다음과 같다.
*부분 1: 이 부분에서 배경집합은 0으로 처리된 배경과, 눈 그리고 머리로 구성된다. 그리고 전경은 나머지 부분이 속한다.
*부분 2: 배경집합은 부분 1과 deep shadow를 포함하며, 전경부분에서 deep shadow 부분이 재건된다. 따라서 배경집합의 편차는 증가하고, 전경집합의 편차는 감소한다.
*부분 3: 배경집합에 추가적으로 soft shadow의 pixel들이 추가된다. 따라서 배경집합의 편차가 커지고, 전경부분의 편차는 다소 감소한다.
*부분 4: 대부분의 얼굴 피부 영역이 배경집합에 포함되기 시작한다. 따라서 배경집합의 편차가 크게 증가하기 시작하고, 전경집합의 편차는 감소한다.
*부분 5: 배경집합에 거의 모든 피부 영역을 포함하고, 하이라이트(highlight) 영역까지 포함한다. 따라서 전경집합의 편차는 0으로 수렴된다.
(도 6)은 샘플영상에 대하여 임계값 위치에 따라 결정되는 그림자(shadow) 영역과 하이라이트 영역의 예를 보여준다. 그러면 (도 5), (도 6)에서 보인 바와 같이
Figure pat00065
로부터 조명 척도를 계산하는 방법이 필요하다. 당연히 조명척도는 그림자 영역과 하이라이트 영역의 영향을 감소시키도록 고안되어야 할 것이다. 이러한 본 발명은 이를 위해 Turkey Mapping 함수를 사용한다. 단 매핑 함수 결정을 위해서는 두 개의 임계값이 필요한데, 본 발명은 다음과 같이 제시한다.
Figure pat00066
Figure pat00067

위 식에서
Figure pat00068
은
Figure pat00069
함수의 2차 미분이 0이 되는 점이다. 그러면 Turkey function에 의한
Figure pat00070
은 다음과 같이 정의된다.
Figure pat00071

단,
Figure pat00072
으로 결정한다.
최종적으로 IM은
Figure pat00073
함수를 이용하여 다음과 같이 정의된다.
Figure pat00074

위 식에서 A는 주어진 블록 픽셀들의 Lu값의 평균값이다. 지금까지 본 발명의 주요 개념인 시각 관측 신뢰도로, 평탄도 척도(FM), 중심성 척도(CM) 그리고 조명척도(IM) 등에 대하여 설명하였다. 단 본 발명에서 정의한 신뢰값들은 0에 가까울수록 신뢰할 만하다는 의미를 가지도록 정의되었다. 한편 시각 신뢰도 척도는 위에서 정의한 신뢰도 값들의 선형결합으로 결정된다. 즉 최종적으로 시각관측 신뢰도 척도는 다음과 같이 결정된다.
Figure pat00075

만약 시각관측 신뢰도 값이 커질수록 믿을 만하다고 정의한다면 위 식은,
Figure pat00076
와 같이 정의되어야 한다. 일단 시각관측 신뢰도가 정의되면, 기존의 변형된 GMM (modified GMM)을 이용하여 학습과 인식에 적용할 수 있다.
이상에서와 같이 설명되는 본 발명에 따른 시각관측신뢰도를 채용한 자동얼굴인식 시스템 및 그 제어방법에 대해 첨부된 도면을 참조하여 바람직한 일 실시예를 설명하기로 한다.
(도 7)은 본 발명에 따른 자동얼굴인식 시스템 및 그 제어방법에 따른 인식 및 학습과정을 보인 모식도이다. 도 7에서와 같이 본 발명의 자동얼굴인식 시스템은 얼굴 영상에 대한 전처리 단계와 얼굴모델의 학습/인식 단계로 나누어진다. 전처리 단계는 얼굴 영상 블록들에 대한 특징추출로써 얼굴영역탐지부(20)에 의한 얼굴영역탐지단계(S20), 그리고 각 블록에 대한 시각 관측 신뢰도를 계산하는 단계로써 시각관측 신뢰도 분석부(30)에 의한 시각관측신뢰도 분석단계(S30) 등으로 이루어진다. 이에 우선 전처리 단계의 특징 추출과정으로서 얼굴 영역탐지부(20) 및 얼굴영역탐지단계(S20)에 의한 처리 과정을 살펴본다.
(1. 얼굴 탐지 및 특징 추출)
즉 본 발명에 따른 자동얼굴인식 시스템은 양쪽 눈, 입, 얼굴 주변의 배경 등을 포함한 얼굴에 대한 영상데이터로부터 소정의 조건으로 변환처리하고 소정 색상의 픽셀을 추출하는 얼굴영역탐지부(20)를 포함한다.
아울러 자동얼굴인식 시스템 제어방법은, 이러한 얼굴영역탐지부(20)에 의하여, 영상데이터로부터 소정의 조건으로 변환처리하고 소정 색상의 픽셀을 추출하는 얼굴영역탐지단계(S20)를 수행한다.
이러한 본 발명에서는 얼굴인식을 위한 것으로, 카메라에 캡쳐된 영상 안에 얼굴이 존재한다고 가정한다. 일단 영상 안에 얼굴이 존재한다고 가정하면, 얼굴의 피부색에 기반하여 얼굴 영역을 결정할 수 있다.
(도 8)은 입력 영상으로부터 얼굴 영역을 탐지하는 과정을 설명한다. 그림에 보인 바와 같이 얼굴 탐지는 YCbCr 칼라 영역에서 실행된다. 첫째, RGB 영상을 YCbCr 영역으로 변환한다. 둘째, 다음의 피부색 조건을 만족하는 pixel들을 검출한다.
Figure pat00077

다음 잡음제거를 위하여 형태론적 필터(morphological filter)를 erosion 그리고 dilation 의 순서에 따라 수행한다.
셋째 이진화된 영상에서 가장 큰 객체를 선택한다. 마지막으로 선택된 객체의 x축 방향의 최소, 최대점 그리고 y축 방향으로 최소, 최대점을 찾는다. 그러면 우리는
Figure pat00078
를 대칭점으로 하는 직사각을 정할 수 있다. 이렇게 얻어진 얼굴영상은 92 x 112의 크기로 정규화된 후 특징 추출이 시행된다.
(도 9)는 탐지된 얼굴영역에 대하여 블록별 특징을 계산하는 과정을 보여준다. 그림에 보인 바와 같이 얼굴영상은 시각형 블록에 의하여 분할되는데, 블록을 나누는 사각형 윈도우들은 x 및 y축에 대하여 50% 씩 중첩된다. 본 발명에서 블록의 크기는 8 x 8로써 전체 64개의 픽셀로 구성된다. 각 m번째 블록에 대하여 DCT를 적용하여 특징을 추출하는데, 2차원 DCT(discrete cosine transform), C(u,v)는 다음과 같다.
Figure pat00079
위 식에서
Figure pat00080
이고, u는 푸리에 변환시 x축 주파수 성분이며, v는 푸리에 변환시 y축 주파수 성분이고, b(x, y)는 8*8 블록이며, N은 블록 사이즈로 8이다.
한편 2-D DCT의 결과를 1차원 특징으로 변환하기 위하여 (도 9)에 보인 바와 같이 zig - zag 스캐닝을 실시한다. 본 발명에서는 총 18개의 저주파 성분만을 특징으로 사용한다. 이를 m번째 블록에 대하여 이를
Figure pat00081
이라고 하자.
(2. 시각관측 신뢰도 계산)
특징추출과 더불어 각 영상 블록들에 대한 시각관측 신뢰도 VOC를 계산한다. 위에서 기술한 바와 같이 VOC에는 평탄도 척도(FM), 중심성 척도(CM), 그리고 조명 척도(IM)를 계산한다.
즉 상기 얼굴영역탐지부(20)에서 처리된 영상데이터에 대해 소정의 시각적 특징정보로 하는 시각관측신뢰도를 산출하는 시각관측신뢰도 분석부(30)를 포함한다.
아울러 시각관측신뢰도 분석부(30)에 의하여, 상기 얼굴영역탐지단계에서 처리된 영상데이터에 대해 소정의 시각적 특징정보로 하는 시각관측신뢰도를 산출하는 시각관측신뢰도 분석단계(S30)를 수행한다.
(2.1. 평탄도 척도 계산)
이러한 시각관측신뢰도 분석부(30) 및 시각관측신뢰도 분석단계(S30)에 대한 상세 구성으로, 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM, spectral flatness measure)를 산출하는 평탄도척도분석부(31)를 포함한다. 아울러 평탄도척도분석부(31)에 의하여, 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM)를 산출하는 평탄도척도처리단계(S31)를 수행한다.
즉 이를 설명하면, 평탄도 척도(FM)는 m번째 블록에 대하여 다음과 같이 계산한다. 이 계산식에서 8 x 8 블록 영상을 사용하므로 T = 64이다.
이러한 평탄도 척도(FM)의 산출은 다음과 같이 기하평균(G)과 산술평균(A)의 비로 얻어지는데 다음 식과 같다.
Figure pat00082
Figure pat00083
Figure pat00084
위 식에서
Figure pat00085
는 주어진 블록 내 픽셀의 luminance 정보를 의미하고 T는 대상이 되는 블록 수에 대한 것이다.
(2.2. 중심성 척도 계산)
또한 영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM, centrality measure)를 산출하는 중심성척도분석부(32)를 포함한다.
아울러 중심성척도분석부(32)에 의하여, 영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM)를 산출하는 중심성척도처리단계(S32)를 처리한다.
이러한 중심성 척도(CM)를 계산하기 위해서 본 발명에서는 양쪽 눈과 입의 위치를 정위(定位)하는 과정을 주요 실시예로 보이고 있다. 즉 얼굴영역에서 눈과 입의 위치를 정위(定位)하기 위하여 eye - map (EyM)가 mouth - map(MM)을 사용하였다. EyM과 MM은 RGB영상을 YCbCr로 변환한 후 계산되는데, 다음 식과 같다.
Figure pat00086
Figure pat00087
각 블록에 대해 Y는 휘도, Cb, Cr은 색차이다.
Ydil은 luminance channel Y의 dilation 이고, Yer은 luminace channel Y의 erosion 이다.
(도 10)은 얼굴 영상 예에 대하여 EyM과 MM을 계산하는 결과를 보여준다. 그림의 첫 번째는 EyM이고, 두 번째는 MM을 보여준다. 세 번째 그림은 임계값을 통해 얻은 EyM의 바이너리 영상과 MM의 바이너리 영상을 함께 그린 것으로써, 양 눈과 입술의 위치에 검은 색 객체가 존재한다.
(도 11)은 눈객체, 입술 객체 탐지 알고리즘을 보여준다. 입력 얼굴영상에 대해 EyeMap 및 Mouthmap 영상을 얻는다. 다음 임계값 0.5를 사용하여 이진화한다. 즉 0.5 보다 큰 EyM과 MM의 픽셀값들은 1로, 그렇지 않으면 0으로 처리한다. 다음 Morpholigical 필터를 erosion 과 dilation 의 순서로 시행한다. 다음 EyeM에서 가장 큰 두 영역을 선택하고 MM에서 가장 큰 하나의 영역을 선택한다. 물론 이 단계에서 얼굴영역 이내의 픽셀에 대해서만 처리한다. 다음 각 영역에 대하여 중심점을 구한다. 그리고 3개의 점의 평균을 구하여 얼굴의 중심을 구한다.
일단 양 눈과 입술의 정위(定位)가 끝나면, 각 중심점을 평균하여
Figure pat00088
를 계산한다. 중심성 척도는 다음 식에 의해 계산된다.
Figure pat00089
위 식에서
Figure pat00090
은 m번째 블록의 중심좌표이다. 평균값 위치는
Figure pat00091
, 탐지된 얼굴의 왼쪽 위의 위치는
Figure pat00092
, 그리고 오른쪽 아래의 위치는
Figure pat00093
이다.
(2.3. 조명 척도 계산)
그리고 영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도분석부(33)를 포함한다.
아울러 조명척도분석부(33)에 의하여, 영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도처리단계(S33)를 수행한다.
즉 조명척도(IM)를 계산하기 위하여 1차적으로 intra - variance
Figure pat00094
를 구하여야 한다. 입력된 얼굴 영상에 대하여 얼굴 탐지에서 피부색 마스크 영역 외의 픽셀 값들을 먼저 0으로 치환한 후
Figure pat00095
를 계산한다. ((도 5) (c) 참조).
Intra - class 편차
Figure pat00096
는 다음과 같이 정의된다.
Figure pat00097
위 식에서
Figure pat00098
는 전경(foreground)의 표준편차이고,
Figure pat00099
는 배경(background)의 표준편차이다. 그리고 위 식에서 foreground (전경) 집합은 얼굴영상의 pixel 들 중 Lu 값이 소정 휘도 값 t 이상인 픽셀들의 집합이고, background (배경)은 소정 휘도 값 t 이하인 pixel 들의 집합니다.
Figure pat00100
는 foreground 집합에 속한 pixel들의 수를 전체 Pixel수로 나눈 것이고,
Figure pat00101
는 background 집합에 속한 pixel들의 수를 전체 pixel수로 나눈 것이다. 편차들은 각 집합들에 속한 pixel들의 Lu값의 편차를 구한 것이다. 단 (도 5)의 (c)는 (b)의 원 얼굴영상으로부터 얻어진 그림인데, 얼굴색 영역 외의 pixel값들을 0으로 대치하여 배경을 무시한 것이다.
그리고 함수
Figure pat00102
로부터
Figure pat00103
,
Figure pat00104
그리고
Figure pat00105
을 계산한다. 각각
Figure pat00106
가 최소, 최대값이 되는 점의 t값, 그리고 2차 미분이 0이 되는 지점의 t값이다. 다음
Figure pat00107
와
Figure pat00108
를 계산하여
Figure pat00109
를 결정하고, 블록 m의 조명 척도를 다음과 같이 결정한다.
Figure pat00110
Figure pat00111
위 식에서
Figure pat00112
는 tinflection에서의 미분값의 근사치를 구하기 위한 것으로서 2 또는 3을 사용하고, t1은 tmin과 tinflection 사이 임의의 값으로써 소정 조건을 만족하는 값들이고, t2는 tinflection과 tmax 사이 임의의 값으로써 소정 조건을 만족하는 값들이고,
Figure pat00113
은
Figure pat00114
함수의 2차 미분이 0이 되는 점이다. 그러면 Turkey function에 의한
Figure pat00115
은 다음과 같이 정의된다.
Figure pat00116
Figure pat00117
최종적으로 IM은
Figure pat00118
함수를 이용하여 다음과 같이 정의된다.
Figure pat00119
위 식에서 A는 주어진 블록 픽셀들의 Lu값의 평균값이다.
(2.4. VOC 시각 관측 신뢰도 계산)
그리고 평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 처리부(34)를 포함한다.
아울러 시각관측 신뢰도 처리부(34)에 의하여, 평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 분석단계(S34)를 수행한다.
즉 이러한 m번째 블록의 시각관측신뢰도를 다음 식을 통해 얻는다.
Figure pat00120
Figure pat00121
위 식에서 a는 FMm의 가중치로써 0.501이 되고, b는 CMm의 가중치로써 0.2가 되며, c는 IMm의 가중치로써 0.299가 된다.
이에 a = 0.501, b = 0.2, c = 0.299로 적용될 수 있다. 이 파라미터값은 인식성능 최대화를 위하여 실험적으로 결정한 수치이다.
지금까지 설명한 전처리의 결과로써 얻어지는 것은 각 영상 블록들에 대한 특징 벡터와 시각관측신뢰도로써,
Figure pat00122
이다.
다음 단계는 특징벡터와 신뢰도 값을 이용하여, 화자별 모델을 GMM 모델을 구축하는 학습단계와 입력된 특징벡터에 대하여 확률을 계산하는 인식단계이다. 먼저 학습단계에 대하여 살펴보자.
(3. 얼굴 모델 학습)
상기 시각관측신뢰도를 이용한 얼굴모델 GMM 학습을 수행하는 얼굴모델 학습부(40)를 포함한다.
아울러 얼굴모델 학습부(40)에 의하여, 상기 시각관측신뢰도를 이용한 얼굴모델 GMM 학습을 수행하는 얼굴모델 학습단계(S40)를 처리한다.
본 발명에서는 상기 시각관측신뢰도를 반영하여 GMM 학습이 가능한 modified GMM 학습 방법을 상용한다. GMM 학습은 EM(expectation - maximization) 방법에 의하여 최적화된다. 임의 얼굴에 대한 모델을 다음과 같이 정의하자.
Figure pat00123
여기서
Figure pat00124
는 정규분포를 나타내며,
Figure pat00125
는 k번째 혼합 가우시안 밀도의 가중값,
Figure pat00126
는 평균 벡터 그리고
Figure pat00127
는 공분산행렬이다.
그러면 신뢰도 값 을 반영한 modified GMM 모델링의 EM 최적화는 다음과 같다.
for(j)

(Expectation Step)
Mixture probability
Figure pat00129


(Maximization Step)
Mixture weights
Figure pat00130

Means
Figure pat00131

Convariance matrices
Figure pat00132

end
(4. 얼굴 모델 인식)
그리고 상기 얼굴모델 학습부(40)에 의한 처리 이후 얼굴모델 인식 과정을 수행하는 얼굴모델 인식부(50)를 포함한다.
아울러 얼굴모델 인식부(50)에 의하여, 상기 얼굴모델 학습단계 이후 얼굴모델 인식 과정을 수행하는 얼굴모델 인식단계(S50)를 수행한다.
즉 얼굴인식은 주어진 입력특징과 신뢰도값을 대상으로 각 얼굴모델들의 확률을 계산하여 이루어진다. 확률계산은 신뢰도를 고려한 likelihood 계산을 통해 이루어진다. 주어진 모델 λ에 대하여 다음을 계산한다.
Figure pat00133
위 식에서 L은 로그 라이클리우드이고, X는 임의의 입력 특징벡터이며, p는 확률이다.
그러면 인식은 각 모델에 대한 likelihood 계산값들의 최대값을 갖는 모델로 이루어진다. 모델
Figure pat00134
이다.
Figure pat00135
이상에서와 같이 본 발명에 따른 자동얼굴인식 시스템 및 그 제어방법에 대한 상세한 실시예를 설명하였다. 본 발명은 결국 기존에 제시된 modified GMM을 얼굴인식에 성공적으로 적용하기 위한 시각관측신뢰도(VOC)를 반영한 것이다.
이러한 본 발명은 효과를 검증하기 위해서 실내외에서 구축한 얼굴 DB에 대하여 인식 실험을 수행하였다.
(도 12)는 구축된 얼굴 영상의 예를 보여주고 있다. (도 13)은 GMM baseline 시스템과 이에 신뢰도 함수를 부분적으로 적용시킨 결과들, 그리고 본 발명의 시각 신뢰도 반영 시스템의 인식 결과를 보여주고 있다. 그림에 보인 바와 같이 실내외 얼굴 영상에 대해서 본 발명의 방법이 높은 인식률을 성취하고 있다.
이상으로 본 발명의 실시예에 대하여 상세히 설명하였으나, 이는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 일실시예를 기재한 것이므로, 상기 실시예의 기재에 의하여 본 발명의 기술적 사상이 제한적으로 해석되어서는 아니 된다.
20 : 얼굴영역탐지부 21 : 영상데이터변환부
22 : 피부색픽셀추출부 23 : 이진화영상객체추출부
30 : 시각관측신뢰도분석부 31 : 평탄도 척도분석부
32 : 중심성 척도분석부 33 : 조명척도분석부
34 : 시각관측신뢰도 처리부
40 : 얼굴모델 학습부 50 : 얼굴모델 인식부

Claims (14)

  1. 영상데이터로부터 소정의 조건으로 변환처리하고 소정 색상의 픽셀을 추출하는 얼굴영역탐지단계;
    상기 얼굴영역탐지단계에서 처리된 영상데이터에 대해 소정의 시각적 특징정보로 하는 시각관측신뢰도를 산출하는 시각관측신뢰도 분석단계;
    상기 시각관측신뢰도를 이용한 얼굴모델 GMM 학습을 수행하는 얼굴모델 학습단계; 및
    상기 얼굴모델 학습단계 이후 얼굴모델 인식 과정을 수행하는 얼굴모델 인식단계;
    를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법.
  2. 제 1항에 있어서,
    상기 시각관측신뢰도 분석단계는:
    영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM)를 산출하는 평탄도척도처리단계;
    영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM)를 산출하는 중심성척도처리단계;
    영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도처리단계; 및
    평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 분석단계를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법.
  3. 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM), 영상에서 눈의 위치 및 입의 위치 데이터로부터 산출된 얼굴의 중심성 척도(CM), 및 영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 산출된 조명척도(IM) 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 분석단계를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 방법.
  4. 영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM)를 산출하는 평탄도척도처리단계;
    영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM)를 산출하는 중심성척도처리단계;
    영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도처리단계; 및
    평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 분석단계를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법.
  5. 제 2항 또는 제 4항에 있어서,
    상기 평탄도 척도(FM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법.

    (수학식 2)
    Figure pat00136


    (수학식 3)
    Figure pat00137


    (수학식 4)
    Figure pat00138


    G는 기하평균, A는 산술평균,
    Figure pat00139
    는 주어진 블록 내 픽셀의 luminance 정보, T는 대상이 되는 블록 수이다.
  6. 제 2항 또는 제 4항에 있어서,
    상기 중심성 척도(CM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법.

    (수학식 7)
    Figure pat00140


    Figure pat00141
    은 m번째 블록의 중심좌표,
    Figure pat00142
    는 평균값 위치, 탐지된 얼굴의 왼쪽 위의 위치는
    Figure pat00143
    , 그리고 오른쪽 아래의 위치는
    Figure pat00144
    이다.
  7. 제 2항 또는 제 4항에 있어서,
    상기 조명척도(IM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법.

    (수학식 8)
    Figure pat00145


    Figure pat00146
    는 Intra - class 편차,
    Figure pat00147
    는 전경의 표준편차,
    Figure pat00148
    는 배경의 표준편차, foreground (전경) 집합은 얼굴영상의 pixel 들 중 Lu 값이 소정 휘도 값 t 이상인 픽셀들의 집합, background (배경)은 소정 휘도 값 t 이하인 pixel 들의 집합,
    Figure pat00149
    는 foreground 집합에 속한 pixel들의 수를 전체 Pixel수로 나눈 값,
    Figure pat00150
    는 background 집합에 속한 pixel들의 수를 전체 pixel수로 나눈 값이다.

    (수학식 9)
    Figure pat00151


    (수학식 10)
    Figure pat00152


    Figure pat00153
    는 tinflection에서의 미분값의 근사치를 구하기 위한 것으로서 2 또는 3을 사용하고, t1은 tmin과 tinflection 사이 임의의 값으로써 소정 조건을 만족하는 값들이고, t2는 tinflection과 tmax 사이 임의의 값으로써 소정 조건을 만족하는 값들이고,
    Figure pat00154
    은
    Figure pat00155
    함수의 2차 미분이 0이 되는 점이다.

    (수학식 11)
    Figure pat00156


    Figure pat00157
    .

    (수학식 13)
    Figure pat00158

    A는 주어진 블록 픽셀들의 Lu값의 평균값이다.
  8. 제 2항 또는 제 4항에 있어서,
    상기 시각관측신뢰도는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템 제어방법.

    (수학식 14)
    Figure pat00159


    위 식에서 a는 FMm의 가중치이고, b는 CMm의 가중치이며, c는 IMm의 가중치이다.

    (수학식 15)
    Figure pat00160

  9. 영상데이터로부터 소정의 조건으로 변환처리하고 소정 색상의 픽셀을 추출하는 얼굴영역탐지부;
    상기 얼굴영역탐지부에서 처리된 영상데이터에 대해 소정의 시각적 특징정보로 하는 시각관측신뢰도를 산출하는 시각관측신뢰도 분석부;
    상기 시각관측신뢰도를 이용한 얼굴모델 GMM 학습을 수행하는 얼굴모델 학습부; 및
    상기 얼굴모델 학습부에 의한 처리 이후 얼굴모델 인식 과정을 수행하는 얼굴모델 인식부;
    를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템.
  10. 제 9항에 있어서,
    영상의 블록에 대해 스펙트럼 신호에 따른 평탄도 척도(FM)를 산출하는 평탄도척도분석부;
    영상에서 눈의 위치 및 입의 위치 데이터로부터 얼굴의 중심성 척도(CM)를 산출하는 중심성척도분석부;
    영상의 전경집합 픽셀들의 휘도값의 편차와 배경집합의 픽셀들의 휘도값의 편차로부터 조명척도(IM)를 산출하는 조명척도분석부; 및
    상기 평탄도 척도, 중심성 척도 및 조명척도 중 어느 하나 이상의 척도 데이터를 포함하여 연산된 시각관측신뢰도를 산출하는 시각관측 신뢰도 처리부를 포함하는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템.
  11. 제 10항에 있어서,
    상기 평탄도 척도(FM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템.

    (수학식 2)
    Figure pat00161


    (수학식 3)
    Figure pat00162


    (수학식 4)
    Figure pat00163


    G는 기하평균, A는 산술평균,
    Figure pat00164
    는 주어진 블록 내 픽셀의 luminance 정보, T는 대상이 되는 블록 수이다.
  12. 제 10항에 있어서,
    상기 중심성 척도(CM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템.

    (수학식 7)
    Figure pat00165


    Figure pat00166
    은 m번째 블록의 중심좌표,
    Figure pat00167
    는 평균값 위치, 탐지된 얼굴의 왼쪽 위의 위치는
    Figure pat00168
    , 그리고 오른쪽 아래의 위치는
    Figure pat00169
    이다.
  13. 제 10항에 있어서,
    상기 조명척도(IM)는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템.

    (수학식 8)
    Figure pat00170


    Figure pat00171
    는 Intra - class 편차,
    Figure pat00172
    는 전경의 표준편차,
    Figure pat00173
    는 배경의 표준편차, foreground (전경) 집합은 얼굴영상의 pixel 들 중 Lu 값이 소정 휘도 값 t 이상인 픽셀들의 집합, background (배경)은 소정 휘도 값 t 이하인 pixel 들의 집합,
    Figure pat00174
    는 foreground 집합에 속한 pixel들의 수를 전체 Pixel수로 나눈 값,
    Figure pat00175
    는 background 집합에 속한 pixel들의 수를 전체 pixel수로 나눈 값이다.

    (수학식 9)
    Figure pat00176


    (수학식 10)
    Figure pat00177


    Figure pat00178
    는 tinflection에서의 미분값의 근사치를 구하기 위한 것으로서 2 또는 3을 사용하고, t1은 tmin과 tinflection 사이 임의의 값으로써 소정 조건을 만족하는 값들이고, t2는 tinflection과 tmax 사이 임의의 값으로써 소정 조건을 만족하는 값들이고,
    Figure pat00179
    은
    Figure pat00180
    함수의 2차 미분이 0이 되는 점이다.

    (수학식 11)
    Figure pat00181


    Figure pat00182
    .

    (수학식 13)
    Figure pat00183

    A는 주어진 블록 픽셀들의 Lu값의 평균값이다.
  14. 제 10항에 있어서,
    상기 시각관측신뢰도는 다음 식에 의해 산출되는 것을 특징으로 하는 시각관측신뢰도를 채용한 자동얼굴인식 시스템.

    (수학식 14)
    Figure pat00184


    a는 FMm의 가중치이고, b는 CMm의 가중치이며, c는 IMm의 가중치이다.

    (수학식 15)
    Figure pat00185

KR1020140127470A 2014-09-24 2014-09-24 시각관측신뢰도를 채용한 자동얼굴인식 시스템 KR20160035765A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140127470A KR20160035765A (ko) 2014-09-24 2014-09-24 시각관측신뢰도를 채용한 자동얼굴인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140127470A KR20160035765A (ko) 2014-09-24 2014-09-24 시각관측신뢰도를 채용한 자동얼굴인식 시스템

Publications (1)

Publication Number Publication Date
KR20160035765A true KR20160035765A (ko) 2016-04-01

Family

ID=55799127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140127470A KR20160035765A (ko) 2014-09-24 2014-09-24 시각관측신뢰도를 채용한 자동얼굴인식 시스템

Country Status (1)

Country Link
KR (1) KR20160035765A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213750A1 (ko) * 2019-04-16 2020-10-22 엘지전자 주식회사 객체를 인식하는 인공 지능 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213750A1 (ko) * 2019-04-16 2020-10-22 엘지전자 주식회사 객체를 인식하는 인공 지능 장치 및 그 방법
US11113532B2 (en) 2019-04-16 2021-09-07 Lg Electronics Inc. Artificial intelligence apparatus for recognizing object and method therefor

Similar Documents

Publication Publication Date Title
KR102641115B1 (ko) 객체 검출을 위한 영상 처리 방법 및 장치
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
CN105205480B (zh) 一种复杂场景中人眼定位方法及系统
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN102324025A (zh) 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
KR101035768B1 (ko) 립 리딩을 위한 입술 영역 설정 방법 및 장치
CN110348289A (zh) 一种基于二值图的手指静脉识别方法
CN109712158A (zh) 一种基于目标背景像元统计约束的红外小目标捕获方法
CN110728185B (zh) 一种判别驾驶人存在手持手机通话行为的检测方法
US20210200990A1 (en) Method for extracting image of face detection and device thereof
Vishwakarma et al. Simple and intelligent system to recognize the expression of speech-disabled person
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
CN110598574A (zh) 智能人脸监控识别方法及系统
CN112464885A (zh) 基于机器学习的面部色斑未来变化的图像处理系统
Lee et al. Robust iris recognition baseline for the grand challenge
KR20080079798A (ko) 얼굴 검출 및 인식을 위한 방법
CN113569707A (zh) 活体检测方法、装置、电子设备以及存储介质
KR20150027393A (ko) 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
KR20160035765A (ko) 시각관측신뢰도를 채용한 자동얼굴인식 시스템
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
WO2022120532A1 (en) Presentation attack detection
KR100893086B1 (ko) 조명 변화에 강인한 얼굴 검출 방법
Zhang et al. A new method for face detection in colour images for emotional bio-robots
Babatunde et al. A multi-level model for fingerprint image enhancement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application