KR101172898B1 - 얼굴 인식 시스템에서의 위조 검출 방법 - Google Patents

Abstract

본 발명은 얼굴 인식 시스템에서의 위조 검출 방법에 관한 것으로서, 적외선 조명을 이용하여 얼굴 인식 대상으로부터 영상을 획득하는 단계; 상기 획득된 영상으로부터 동공 영역을 검출하는 단계; 상기 검출된 동공 영역에서 가장 어두운 화소를 선택하는 단계; 상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은지를 판단하는 단계; 및 판단 결과, 상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은 경우에는 상기 얼굴 인식 대상을 실제 얼굴로 판단하는 단계를 포함하는 얼굴 인식 시스템에서의 위조 검출 방법이 제공된다.

Description

얼굴 인식 시스템에서의 위조 검출 방법 {Method for detecting liveness for face recognition system}

본 발명은 얼굴 인식 시스템에서의 위조 검출 방법에 관한 것으로, 보다 상세하게는 동공에서의 빛의 흡수 및 반사 특성을 이용한 얼굴 인식 시스템에서의 위조 검출 방법에 관한 것이다.

최근 지능형 범죄가 늘면서 첨단 보안 기술에 대한 요구가 점점 늘어가고 있다. 각 사람에 내재하는 고유한 생체 특성을 이용하여 사람을 판별하는 생체인식 기술은 사용자 편의성 이라는 측면에서 그 중요성이 점차로 증가하고 있다.

그 중에서도 얼굴인식은 특정 센서에 접촉하지 않고 자연스럽게 얼굴을 기반으로 사람을 인식하기 때문에 가장 매력적인 기술 중 하나이다. 얼굴 인식은 얼굴 검출, 자세 추정, 조명 처리, 얼굴 특징 추출 기술의 발전과 함께 그 성능이 향상되면서 점차적으로 그 사용이 확대되고 있다.

이러한 얼굴 인식 기술은 2차원 영상을 기반으로 하는 인식 기술과 3차원 형상을 기반으로 하는 기술로 분류된다. 3차원 형상을 기반으로 하는 인식 기술은 많은 연산량을 필요로 하기 때문에 2차원 영상을 기반으로 하는 얼굴 인식 시스템이 현재 널리 사용되고 있다.

한편, 2차원 영상을 기반으로 하는 얼굴 인식 시스템은 등록된 대상의 얼굴 사진을 이용한 위장 공격에 취약한 단점이 있다. 이러한 문제점을 해결하기 위한 위조 검출(liveness detection)에 대한 연구가 꾸준히 연구되고 있다.

종래 기술 중 하나는 푸리에 스펙트럼을 분석하여 위조 얼굴을 검출하는 방법이다. 이는 실질 얼굴로부터 캡처한 영상은 사진으로부터 캡처한 영상에 비하여 많은 고주파 성분을 포함하고 있다는 점을 이용하였다. 하지만, 이러한 방법은 두 영상에서의 고주파 성분의 차이가 외부환경의 변화가 가져오는 영상에서의 고주파 성분의 차이보다 뚜렷하지 않기 때문에 성능이 안정적이지 못하다는 문제점이 있다.

다른 종래기술에 따르면, 눈 움직임을 이용한 위조 검출 방법이 있다. 이 방법은 연속적으로 획득한 얼굴 영상에서 눈 영역을 검출하고 검출한 눈 영역을 2진화 한 후 변화가 작으면 실질 얼굴, 변화가 크면 위조 사진으로 판별하는 방법이다. 이러한 종래 기술은 연속된 영상(예를 들면, 5개의 연속적인 영상 프레임)에서 눈 영역을 검출하여야 하기 때문에 많은 연산 시간이 필요로 하며, 또한 순간적으로 외부 조명이 변화하는 경우 이를 눈의 동작으로 오인하는 문제점이 있다.

또 다른 종래기술은 눈의 깜박거림을 이용한 위조 검출 방법이 있다. 눈의 깜박거림을 이용한 위조 검출 방법은 연속된 영상의 차이점을 이용한다는 점에서 많은 연산 시간이 필요하다는 문제점을 가지고 있다.

따라서, 신뢰성이 높으면서도 연산량 및 연산 시간이 적은 위조 검출 방법에 대한 연구가 절실한 상황이다.

본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명이 해결하고자 하는 과제는 동공에서의 빛의 흡수 및 반사 특성을 이용한 얼굴 인식 시스템에서의 위조 검출 방법을 통하여 신뢰성이 높으면서도 연산량이 적은 위조 검출 방법을 제공하기 위한 것이다.

본 발명의 예시적인 실시예에 따르면, 적외선 조명을 이용하여 얼굴 인식 대상으로부터 영상을 획득하는 단계; 상기 획득된 영상으로부터 동공 영역을 검출하는 단계; 상기 검출된 동공 영역에서 가장 어두운 화소를 선택하는 단계; 상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은지를 판단하는 단계; 및 판단 결과, 상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은 경우에는 상기 얼굴 인식 대상을 실제 얼굴로 판단하는 단계를 포함하는 얼굴 인식 시스템에서의 위조 검출 방법이 제공된다.

상기 검출된 동공 영역에서 가장 어두운 화소 선택 시, 상기 검출된 동공 영역에서 가장 밝은 화소도 선택하며, 상기 판단 단계는 상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은지 판단함과 더불어 상기 선택한 가장 밝은 화소값이 미리 설정된 제2 임계값 보다 큰지를 판단하며, 상기 얼굴 인식 대상을 실제 얼굴로 판단하는 단계는 상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은 경우 및 상기 선택한 가장 밝은 화소값이 미리 설정된 제2 임계값 보다 큰 경우에 상기 얼굴 인식 대상을 실제 얼굴로 판단한다.

상기 판단 단계에서 판단한 결과, 조건을 만족하지 못하는 경우에는 현재 영상 프레임이 미리 설정된 연속 영상 프레임의 수를 초과하는지 판단하는 단계; 및 판단 결과, 현재 영상 프레임의 순번이 미리 설정된 연속 영상 프레임의 수 이내에 존재하면, 다음 영상 프레임의 영상을 획득하는 단계를 더 포함하며, 현재 영상 프레임이 미리 설정된 연속 영상 프레임의 수를 초과하면, 얼굴 인식 대상을 위조 사진으로 판단하는 단계를 더 포함한다.

상기 다음 영상 프레임에서 영상을 획득한 후, 상기 동공 영역을 검출하는 단계로 복귀하여 반복 수행한다.

상기 동공 영역을 검출하는 단계는 상기 획득된 영상으로부터 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역의 자세 정렬 및 얼굴 영역을 정규화하는 단계; 및 상기 정규화된 얼굴 영역에서 동공 좌표 및 눈 좌표를 검출하는 단계를 포함하며, 동공 좌표를 검출하는 방법과 눈 좌표를 검출하는 방법은 서로 다른 방법으로 독립적으로 수행하는 것을 특징으로 한다.

상기 검출된 동공 좌표와 상기 검출된 눈 좌표를 비교하여, 동공 좌표가 눈 좌표의 일정 범위 내에 존재하는 지를 판단하는 단계; 및 판단 결과, 상기 동공 좌표가 상기 눈 좌표의 일정 범위 내에 존재하면, 검출된 동공 좌표를 선택하는 단계를 더 포함한다.

판단 결과, 상기 동공 좌표가 눈 좌표의 일정 범위 내에 존재하지 않을 경우에는 다음 영상 프레임에서 영상을 획득한 후, 상기 획득된 영상으로부터 얼굴 영역을 검출하는 단계로 복귀하여 반복 수행한다.

상기 동공 좌표를 검출하는 단계는 후보 좌표들을 검출하는 단계; 상기 후보 좌표에서 가버 특징 벡터를 추출하는 단계; 추출된 가버 특징 벡터와 사전 학습된 가버 번치 모델의 가버 특징 벡터와 유사도를 측정하는 단계; 및 측정 결과, 가장 큰 유사도를 갖는 후보 좌표를 동공 좌표로 최종 선택하는 단계를 포함한다.

상기 눈 좌표를 검출하는 단계는 상기 정규화된 얼굴 영역에서 눈을 템플릿 매칭으로 검출하는 단계; 및 상기 템플릿 매칭 결과에서 상관관계가 가장 큰 좌표를 눈의 좌표로 선택하는 단계를 포함한다.

상기 얼굴 인식 대상으로부터 영상 획득 시, 상기 얼굴 인식 대상과 영상을 획득하기 위한 카메라 사이의 거리를 30cm 내지 60cm 범위로 조절하여 영상을 획득한다.

본 발명에서와 같이, 동공에서의 빛의 흡수 및 반사 특성을 이용한 얼굴 인식 시스템에서의 위조 검출 방법을 통하여 신뢰성이 높으면서도 연산량 및 연산 시간을 단축시킬 수 있다.

그리고 하나의 영상 프레임을 이용하여 위조 검출을 하는 경우에도 FAR=0를 만족하면서 낮은 FRR 값을 갖는 효과를 얻을 수 있다.

또한, 연속된 영상 프레임을 통하여 위조 검출을 수행하면, FAR=0로 만족한 상태에서 FRR를 원하는 조건에 맞도록 낮출 수 있는 효과를 얻을 수 있다.

도 1은 본 발명의 예시적인 일 실시예에 따른 얼굴 인식 시스템에서의 위조 검출 방법을 나타낸 흐름도이다.
도 2a 및 도 2b는 적외선 조명을 사용하여 실제 얼굴과 사진 얼굴로부터 캡쳐한 눈과 동공의 영상이다.
도 3a 및 도 3b는 본 발명의 실시예에 따라 실제 얼굴로부터 획득한 동공 영상과 사진으로부터 획득한 동공 영상이다.
도 4는 실제 얼굴로부터 획득한 동공 영상과 사진으로 부터 획득한 동공 영상의 최소 밝기 화소 분포를 나타낸 그래프이다.
도 5는 본 발명의 실시예에 따라 동공을 검출하기 위한 방법을 나타낸 흐름도이다.
도 6a 및 도 6b는 얼굴 검출 과정을 통하여 얼굴을 검출한 결과를 도시한 도이다.
도 7a 및 도 7b는 얼굴 정규화를 위한 얼굴 자세 정렬을 수행한 결과를 도시한 도이다.
도 8은 동공 중심 좌표를 검출하는 방법을 나타낸 흐름도이다.
도 9은 눈의 중심 좌표를 검출하는 방법을 나타낸 흐름도이다.
도 10은 눈 검출 후보 영역 및 검출 결과를 나타낸 도이다.
도 11은 눈의 중심 좌표를 검출하는 과정 중 템플릿 매칭 결과를 나타낸 도이다.
도 12는 본 발명의 실시예와 기존 방법에 따른 동공 검출 결과를 비교하여 나타낸 표이다.
도 13은 본 발명의 실시예에 따른 위조 판별 실험 결과를 나타낸 표이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.

도 1은 본 발명의 예시적인 일 실시예에 따른 얼굴 인식 시스템에서의 위조 검출 방법을 나타낸 흐름도이며, 도 2a 및 도 2b는 적외선 조명을 사용하여 실제 얼굴과 사진 얼굴로부터 캡쳐한 눈과 동공의 영상이며, 도 3a 및 도 3b는 본 발명의 실시예에 따라 실제 얼굴로부터 획득한 동공 영상과 사진으로부터 획득한 동공 영상이며, 도 4는 실제 얼굴로부터 획득한 동공 영상과 사진으로 부터 획득한 동공 영상의 최소 밝기 화소 분포를 나타낸 그래프이다.

도 1 내지 도 2b를 참조하면, 적외선 조명을 이용하여 얼굴 인식 대상으로부터 영상을 획득하는 과정을 수행한다(S100).

획득된 영상으로부터 동공을 검출하는 과정을 수행한다(S200). 그리고 나서, 검출된 동공 영역에서 가장 밝은 화소(pel_max)와 검출된 동공 영역에서 가장 어두운 화소(pel_min)를 선택하는 과정을 수행한다(S300).

그리고 나서, S300 과정을 통하여 선택한 가장 어두운 화소(pel_min)값이 미리 설정된 제1 임계값(th_min)보다 작고, 선택한 가장 밝은 화소(pel_max)값이 미리 설정된 제2 임계값(th_max) 보다 큰지를 판단하는 과정을 수행한다(S400).

S400에서 판단한 결과, 선택한 가장 어두운 화소(pel_min)값이 미리 설정된 제1 임계값(th_min)보다 작고, 선택한 가장 밝은 화소(pel_max)값이 미리 설정된 제2 임계값(th_max) 보다 큰 조건을 만족하는 경우에는 얼굴 인식 대상을 실제 얼굴로 판단한다(S500).

한편, S400에서 판단한 결과, 위의 조건을 만족하지 못하는 경우에는 현재 영상 프레임이 미리 설정된 연속 영상 프레임의 수를 초과하는지 판단하는 과정을 수행한다(S600).

판단 결과, 현재 영상 프레임의 순번이 미리 설정된 연속 영상 프레임의 수 이내에 존재하면, 다음 영상 프레임의 영상을 획득하는 과정을 수행한다(S800). 그리고 나서, 다음 영상 프레임에서 획득된 영상으로부터 S200과정 내지 S400 과정을 반복하여 수행한다. 한편, S600과정에서 현재 영상 프레임이 미리 설정된 연속 영상 프레임의 수를 초과한 경우로 판단되면, 얼굴 인식 대상을 위조 사진으로 판단한다(S700).

위의 방법을 각 단계별로 보다 상세히 살펴본다.

S100 과정을 통하여 적외선 조명을 이용하여 얼굴 인식 대상으로부터 영상을 획득하고, S200 과정을 통하여 동공을 검출하게 된다.

사람 눈의 홍채 안에 있는 둥근 영역인 동공은 대부분의 빛을 흡수하기 때문에 화소의 밝기가 매우 낮은 검정색으로 보인다. 그 결과, 실제 얼굴로부터 영상을 캡처하면 동공 영역의 화소 밝기 값은 매우 낮은 값을 보이는 데 반하여, 사진으로 부터 영상을 캡처하면 모든 영역에서 빛이 반사되기 때문에 동공 영역의 화소의 밝기 값이 상대적으로 높게 나타난다. 본 발명은 이러한 동공에서의 빛의 흡수 및 반사 특성을 이용하여 얼굴 위조 검출을 수행하게 된다.

한편, 본 발명의 실시예에서는 얼굴에서 동공 영역을 보다 효율적으로 검출하기 위하여 S100 과정에서 언급된 바와 같이, 적외선 조명을 이용하여 영상을 획득한다. 이와 같이, 적외선을 보조 조명으로 사용하면, 적외선 파장이 동공의 일부 영역에서 반사되고 이 영역에서의 화소 값은 매우 밝게 나타난다.

그 결과, 실제 얼굴로부터 영상을 캡처하는 경우, 획득된 영상으로부터 검출된 동공 영역에는 적외선을 반사하는 화소들이 존재한다. 이에 반하여, 사진으로부터 캡처된 영상에서 검출된 동공 영역에서는 실제 동공과 같은 반사 특성을 가지지 않는다.

이러한 결과는 도 2a 및 도 2b에 도시된다. 도 2a는 실제 얼굴로부터 캡처한 영상에서의 동공 상태를 나타낸 사진이며, 도 2b는 사진으로부터 캡처한 영상에서의 동공 상태를 나타낸 사진이다. 도 2a를 살펴보면, 동공의 중앙 영역은 매우 밝은 화소값을 나타내고, 그 주변 영역은 매우 어두운 화소값을 나타낸다. 이에 반하여, 도 2b에서는 동공의 중앙 영역과 주변 영역의 구분이 되지 않으며, 전체적으로 중간 밝기 정도의 화소값이 나타남을 알 수 있다.

S300 과정을 통하여, 검출된 동공 영역에서 가장 밝은 화소(pel_max)와 검출된 동공 영역에서 가장 어두운 화소(pel_min)를 선택한다.

본 발명에서 제안한 방법에서는 동공의 위치를 정확하게 검출하지 못하면 올바른 위조 검출을 할 수 없기 때문에 정확하고 신뢰도 높은 동공 검출이 필수적이다. 본 발명에는 이를 위하여, 기존의 동공 및 눈 검출 방법을 조합하여 동공 검출의 신뢰도 및 정확도를 높였으며 이에 대한 상세한 내용은 이하 도 5 내지 도 11을 참조하여 상술한다.

S400 과정을 통하여 선택한 가장 어두운 화소(pel_min)값이 미리 설정된 제1 임계값(th_min)보다 작고, 선택한 가장 밝은 화소(pel_max)값이 미리 설정된 제2 임계값(th_max) 보다 큰지를 판단하고, 이러한 조건을 만족하면 S500 과정을 통하여 얼굴 인식 대상을 실제 얼굴로 판단한다. 본 과정은 얼굴 인식 대상이 실제 얼굴인지 아니면 위조 사진인지를 판단하는 과정이다.

위에서 살펴본 바와 같이, 적외선을 보조 조명으로 사용하면, 실제 얼굴의 경우 적외선 파장이 동공의 일부 영역에서 반사되고 이 영역에서의 화소 값은 매우 밝게 나타나고, 동공의 나머지 영역에서는 화소값이 매우 어둡게 나타나는데 반하여, 사진의 경우 적외선 파장이 얼굴 전체 영역에서 반사가 일어나므로 실제 얼굴과 다른 화소값을 나타내게 된다.

이때 동공 영역에서의 가장 어두운 화소의 밝기 값(intensity) 분포는 외부 조명, 얼굴과 카메라 사이의 거리, 얼굴의 자세에 따라 다소 변화가 있지만, 얼굴과 카메라 사이의 간격이 약 30cm ~ 60cm 범위 안에 있을 때 평균값=3인 지수분포로 근사화된다. 실험 결과 하한 값은 0, 상한 값은 36이다.

한편, 사진으로부터 영상을 캡처하면 모든 영역에서 빛이 반사되기 때문에 동공에서의 화소의 밝기 값이 상대적으로 높다. 카메라와 사진의 간격이 약 30cm~60cm 범위 안에 있는 경우 평균값이 80이고 표준편차가 13 인 정규분포로 근사화된다. 도 3a 및 도 3b는 얼굴에서 획득한 동공 영상과 사진으로부터 획득한 동공 영상의 차이를 보여주고 있으며, 도 4는 근사화된 두 분포를 보여준다. 도 4에서 파란색은 얼굴로부터 획득한 동공 영상의 최소 밝기 화소 분포를 나타내며, 초록색은 사진으로부터 획득한 동공에서의 최소밝기 화소 분포를 나타낸다.

도 4에서 보여주는 두 분포 사이의 거리는 매우 크기 때문에 동공 영역에서 가장 어두운 화소값(즉, 최소 밝기 화소분포)를 이용하여 위조 사진 영상을 매우 정확한 신뢰도로 검출할 수 있다. 아래 식 (1)의 검출 기준을 만족하면 실제 얼굴로 판단한다.

[식 1]

pel_min ≤th_min

적외선을 보조 조명으로 사용하는 경우, 적외선 파장이 동공의 일부 영역에서 반사되고 이 영역에서의 화소 값은 매우 밝다. 그러므로 실제 얼굴로부터 영상을 캡처는 경우 검출된 동공 영역에서는 적외선을 반사하는 매우 밝은 영역이 존재한다.

반면에 사진으로부터 영상을 캡처하는 경우 카메라와 사진 사이의 거리 및 각도에 따라 영상의 동공 영역에 특정 밝기 이상의 포화된 반사광이 있을 수도 또는 없을 수도 있다. 따라서, 매우 밝은 화소의 존재 유무로 위조 판별은 어떻게 실험을 하였는가에 따라 그 성능이 좌우된다. 정확한 성능을 정량적으로 표시하는 것은 어렵지만 정성적으로 위조 판별에 도움에 되기 때문에 식 1에 추가하여 다음 조건을 만족하면 실제 얼굴로 판단한다.

[식 2]

pel_max ≥ th_max

위의 [식 1]에 의한 검출 기준만으로도 위조 판별을 수행할 수 있으나, 본 실시예의 경우 보다 신뢰도를 향상시키기 위하여 [식 1] 및 [식 2]를 동시에 만족하는 경우 실제 얼굴로 판단토록 하였다.

또한, FAR(False Acceptance Rate) 즉, 타인 수락율과 FRR(False Rejection Rate) 즉, 본인 거부율은 두 임계값을 조절함으로써 조절가능하다. 예를 들면, 위조를 판별하는 두 식에서 임계값인 th_min 을 감소시키고, th_max를 증가시키면 FAR를 감소시키지만 FRR를 증가시키게 된다.

위에서 살펴본 S600 과정 내지 S800 과정은 연속적인 영상 프레임에서 위의 과정을 반복수행함으로써 위조 판별 신뢰도를 보다 향상시키기 위한 과정이다.

[식 1] 및 [식 2]의 조건을 만족하지 못하면, 다음 영상 프레임에서 다시 한번 판별할 필요성이 있다. 그러나 무한반복시킬 필요는 없으므로, 몇 번 반복할지를 미리 설정하고, 미리 설정된 연속 프레임의 수 내에서 위조 판별을 수행하게 된다.

만약 2개의 연속 프레임에서 위조 판별을 수행하는 것으로 설정한다면, 최종적인 FRR은 한 프레임으로 판단한 FRR의 제곱에 가깝게 감소되어 매우 작은 값이 된다. 그 결과, 본 발명에 따른 방법은 연속 영상 프레임에서의 위조 판별 수행 회수를 조절하여 FAR=0이 되도록 하면서 FRR를 매우 작은 값이 되도록 할 수 있는 효과를 얻게 된다.

도 5은 본 발명의 실시예에 따라 동공을 검출하기 위한 방법을 나타낸 흐름도이며, 도 6a 및 도 6b는 얼굴 검출 과정을 통하여 얼굴을 검출한 결과를 도시한 도이고, 도 7a 및 도 7b는 얼굴 정규화를 위한 얼굴 자세 정렬을 수행한 결과를 도시한 도이다.

도 5 내지 도 7b를 참조하여, 본 발명의 실시예에 따라 동공을 검출하는 방법을 살펴보면, 우선 획득된 영상으로부터 얼굴 영역을 검출하는 과정을 수행한다(S210). 본 실시예에서 얼굴 검출은, 부스팅 방법으로 학습한 하 웨이블렛(Haar wavelet) 을 사용한 순차적인 얼굴 검출기(cascade face detector)를 이용하여 얼굴 영역을 검출하였다. 도 6a 및 도 6b에는 각각 획득된 영상 및 획득된 영상으로터 검출된 얼굴 영역이 도시된다.

그리고 나서, 검출된 얼굴 영역의 자세 정렬 및 얼굴 영역을 정규화하는 과정을 수행한다(S220). 얼굴이 회전되었을 경우에는 얼굴의 자세를 바로잡은 후, 얼굴 영역의 크기를 일정하게 정규화한다. 도 7a 및 도 7b에는 얼굴 정규화를 위한 얼굴 자세 정렬을 수행한 결과가 도시된다.

그 다음에, 동공 좌표(x_p, y_p)를 검출하고(S230), 눈 좌표(x_e, y_e)를 검출하는 과정(S240)을 수행한다. S230 과정 및 S240 과정은 동시에 수행될 수도 있으며, 순차적으로 수행될 수도 있다. 이때, 동공 좌표를 검출하는 방법과 눈 좌표를 검출하는 방법은 서로 다른 방법으로 수행하며, 서로 독립적으로 수행한다.

동공 좌표를 검출하는 방법(S230)과 눈 좌표를 검출하는 방법(S240)은 이하의 도 8 내지 도 11에서 보다 상세히 살펴본다.

그 다음에, S230 과정 및 S240 과정을 통하여 검출된 동공 좌표와 눈 좌표를 비교하여, 동공 좌표가 눈 좌표의 일정 범위 내에 존재하는 지를 판단한다(S250). 판단 결과, 동공 좌표가 눈 좌표의 일정 범위 내에 존재하면, 검출된 동공 좌표를 선택한다(S260)

만약 판단 결과, 동공 좌표가 눈 좌표의 일정 범위 내에 존재하지 않을 경우에는 다음 영상 프레임에서 영상을 획득하는 과정을 수행한다(S270). 그리고 나서, S210 과정으로 복귀하여 다음 영상 프레임에서 획득된 영상으로부터 위의 과정을 반복하여 수행한다.

위의 과정에서와 같이, 임의의 한 방법(A 방법)으로 검출한 동공의 좌표가 다른 방법(B 방법)을 사용하여 독립적으로 검출한 눈의 좌표로부터 일정 범위 안에 있는 경우 동공 검출이 성공하였다고 판정한다면 동공 검출 에러율은 매우 낮아지는 효과를 얻을 수 있다. 예를 들어 A 방법의 에러율=0.02, B 방법의 에러율=0.05 라고 가정한다. 이 때 A와 B 방법은 독립적으로 수행된 것이 때문에 최종 동공 검출 에러율은 0.00이 된다.

또한 한 영상 프레임에서 동공을 검출하지 못하는 경우 다음 영상 프레임에서 동공 검출을 다시 시도한다. 일반적으로 실질 사람의 얼굴인 경우 자세와 표정이 조금씩 변화하기 때문에 두 영상 프레임에서의 동공 검출은 독립적인 것으로 볼 수 있다. 그 결과 동공 검출 에러율은 0.02×0.05 = 0.001 에 가깝게 감소한다. 또한, 한 영상 프레임에서 동공을 검출하지 못하는 경우 다음 영상 프레임에서 동공 검출을 다시 시도한다. 일반적으로 실질 사람의 얼굴인 경우 자세와 표정이 조금씩 변화하기 때문에 두 영상 프레임에서의 동공 검출은 독립적인 것으로 볼 수 있다. 그 결과 동공 검출 에러율은 0.001×0.001 = 0.000001에 가깝게 감소한다.

도 8은 동공 중심 좌표를 검출하는 방법을 나타낸 흐름도이며, 도 9는 눈의 중심 좌표를 검출하는 방법을 나타낸 흐름도이며, 도 10은 눈 검출 후보 영역 및 검출 결과를 나타낸 도이고, 도 11은 눈의 중심 좌표를 검출하는 과정 중 템플릿 매칭 결과를 나타낸 도이다.

도 8을 참조하여, 본 실시예에 따른 동공 중심 좌표를 검출하는 방법은 후보 좌표 중에서 얼굴의 기하학적 특성상 동공의 위치에 합당한 좌표를 가버 특징 벡터를 이용하여 선택한다.

우선 후보 좌표들을 검출하는 과정을 수행한다(S231). 후보 좌표에서 가버 특징 벡터를 추출하는 과정을 수행한다(S232).

그 다음에 추출된 가버 특징 벡터와 사전 학습된 가버 번치 모델의 가버 특징 벡터간 유사도를 측정한다(S233). 그리고 나서, 가장 큰 유사도를 갖는 후보 좌표를 동공 중심 좌표로 최종 선택한다(S234).

도 9를 참조하여, 눈의 중심 좌표를 검출하는 방법을 살펴보면, 우선 정규화된 얼굴 영역에서 눈을 템플릿 매칭으로 검출한다(S241). 그리고 나서, 템플릿 매칭 결과에서 상관관계가 가장 큰 좌표를 눈의 중심 좌표로 선택한다(S242).

검출된 동공의 좌표의 신뢰성을 확인하기 위하여 도 10에 도시된 영역에서 눈을 템플릿 매칭으로 독립적으로 검출한다. 템플릿 매칭에서 사용한 유사도는 정규화된 상관관계 계수(normalized correlation coefficient)이다. 도 11은 템플릿 매칭의 계수 값을 보여주고 있다. 가장 밝은 점이 상관관계가 가장 큰 좌표이며, 이 좌표는 도 10의 좌측 눈을 표시한 사각형의 중심점이 된다. 최종적으로 가버 특징 벡터로 검출한 동공의 중심 좌표와 템플릿 매칭으로 검출한 눈의 중심 좌표가 [식 3]과 같이 일정 반경 이내에 있으며 검출한 동공이 안정적으로 검출되었다고 판단한다.

[식 3]

(x_p - x_e)² + (y_p - y_e)² ≤ th_th

도 12는 본 발명의 실시예와 기존 방법에 따른 동공 검출 결과를 비교하여 나타낸 표이고, 도 13은 본 발명의 실시예에 따른 위조 판별 실험 결과를 나타낸 표이다.

[실험예]

(1) 실험 환경 및 실험 분석

본 발명에 따른 실험에 사용된 PC의 사양은 인텔 코어2 듀어 콘로 E6600(4MB L2 캐쉬, 2.4GHz@3.25GHz), 메인 메모리는 2GB(DDR2-667)이다. 실험에서는 듀얼 코어 중 하나의 CPU만을 이용하였다. 위조 검출 시스템에 사용된 카메라는 아이비젼 IVT-30IR 해상도는 640x480이다. 적외선 조명을 위하여 infrared class A LED를 사용하였다.

본 실험에는 10명 각각 45번 씩 총 450번의 테스트를 수행하였으며, 위조 공격 실험의 경우 고광택 사진용지(Epson S0441332), 저광택 사진용지(Epson S042071), 더블에이 복사용지에 3가지의 다른 크기의 얼굴 영상을 출력하여 각각 5번씩 실험을 하였다. 카메라와 실험 대상과의 거리는 30cm~60cm의 범위로 제한하였다.

(2) 동공 검출 실험 결과

10명의 사람이 카메라 앞에서 상하좌우로 약 20도 이내에서 움직이면서 테스트 한 결과는 도 12와 같다. 도 12의 결과에서 보는 것과 같이 본 발명에서 제안한 방법은 다소 많은 연산 시간을 필요로 하나 안정적인 동공 검출 결과를 보여주고 있다. 가버 특징 벡터 기반 동공 검출은 자세의 변화로 인하여 초기값의 오차가 크거나 눈을 감은 경우 잘못된 좌표를 선택하게 된다.

본 발명의 실시예에 따른 동공 검출 방법은 동공 검출 결과와 눈 검출 결과가 일치하지 않는 경우 다음 영상 프레임에서 다시 눈을 검출하기 때문에 안정적으로 눈을 검출 할 수 있다. 실험에서는 연속된 3 프레임에서도 안정적인 눈을 잡지 못하는 경우도 발생하였다. 두 방법이 동시에 동일한 영역을 잘못 검출할 수 있지만 실험에서는 발생하지 않았다. 검출된 동공의 좌표가 동공의 중심으로부터 여러 화소 이상 벗어나는 경우가 발생하였지만, 제안한 위조 검출 알고리즘에서는 동공 영역을 실제보다 크게 잡아도 되기 때문에 성공으로 판정하였다. 판정하는 기준이 되는 th_th값을 5²으로 설정하였다.

(3) 위조 판별 실험 결과

실험 조건에 따라 하나의 영상 프레임을 사용하여 위조 검출하는 실험을 한 결과는 도 13에서 보여 주는 것과 같이 FAR=0%, FRR=1%라는 우수한 결과를 보여주고 있다. 두 임계값은 th_min = 30 , th_max = 235로 설정하였다.

동공의 좌표를 검출 한 이후 좌표를 중심으로 일정 범위 이내를 동공영역으로 설정하고 설정한 영역에서 가장 어두운 화소와 가장 밝은 화소를 선택하는 연산량은 동공의 좌표를 검출하는 연산량에 비하여 무시할 수 있을 정도의 매우 작은 연산량이기 때문에 전체 연산량은 동공 검출 연산량에 의하여 결정된다.

제안한 발명의 실시예는 카메라와 검출 객체와의 거리를 30cm ~ 60cm 이내일 때가 최적이다. 만약, 위조 공격을 하는 사진과 카메라 간의 거리가 60cm를 초과하는 경우, FAR=0을 만족하는 값은 작아져야 하며 따라서 FAR이 증가하는 단점이 있다. 이를 보완하기 위해서는 위조 검출 시스템에 거리측정 센서를 추가로 구성하여, 대상 객체가 카메라와 일정 거리 범위 안에 있을 때에만 시스템이 작동하도록 할 수도 있다.

이상에서 설명한 것은 본 발명에 따른 얼굴 인식 시스템에서의 위조 검출 방법의 예시적인 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (10)

1. 얼굴 인식 시스템에서의 위조 검출 방법에 있어서,
   적외선 조명을 이용하여 얼굴 인식 대상으로부터 영상을 획득하는 단계;
   상기 획득된 영상으로부터 동공 영역을 검출하는 단계;
   상기 검출된 동공 영역에서 가장 어두운 화소를 선택하는 단계;
   상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은지를 판단하는 단계; 및
   판단 결과, 상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은 경우에는 상기 얼굴 인식 대상을 실제 얼굴로 판단하는 단계를 포함하며,
   상기 검출된 동공 영역에서 가장 어두운 화소 선택 시, 상기 검출된 동공 영역에서 가장 밝은 화소도 선택하며,
   상기 판단 단계는 상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은지 판단함과 더불어 상기 선택한 가장 밝은 화소값이 미리 설정된 제2 임계값 보다 큰지를 판단하며,
   상기 얼굴 인식 대상을 실제 얼굴로 판단하는 단계는 상기 가장 어두운 화소값이 미리 설정된 제1 임계값 보다 작은 경우 및 상기 선택한 가장 밝은 화소값이 미리 설정된 제2 임계값 보다 큰 경우에 상기 얼굴 인식 대상을 실제 얼굴로 판단하는 것을 특징으로 하는 얼굴 인식 시스템에서의 위조 검출 방법.
   
2. 삭제
3. 제1항에 있어서,
   상기 판단 단계에서 판단한 결과, 조건을 만족하지 못하는 경우에는 현재 영상 프레임이 미리 설정된 연속 영상 프레임의 수를 초과하는지 판단하는 단계; 및
   판단 결과, 현재 영상 프레임의 순번이 미리 설정된 연속 영상 프레임의 수 이내에 존재하면, 다음 영상 프레임의 영상을 획득하는 단계를 더 포함하며, 현재 영상 프레임이 미리 설정된 연속 영상 프레임의 수를 초과하면, 얼굴 인식 대상을 위조 사진으로 판단하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 시스템에서의 위조 검출 방법.
   
4. 제3항에 있어서,
   상기 다음 영상 프레임에서 영상을 획득한 후, 상기 동공 영역을 검출하는 단계로 복귀하여 반복 수행하는 것을 특징으로 하는 얼굴 인식 시스템에서의 위조 검출 방법.
   
5. 제1항에 있어서, 상기 동공 영역을 검출하는 단계는,
   상기 획득된 영상으로부터 얼굴 영역을 검출하는 단계;
   상기 검출된 얼굴 영역의 자세 정렬 및 얼굴 영역을 정규화하는 단계; 및
   상기 정규화된 얼굴 영역에서 동공 좌표 및 눈 좌표를 검출하는 단계를 포함하며, 동공 좌표를 검출하는 방법과 눈 좌표를 검출하는 방법은 서로 다른 방법으로 독립적으로 수행하는 것을 특징으로 하는 얼굴 인식 시스템에서의 위조 검출 방법.
   
6. 제5항에 있어서,
   상기 검출된 동공 좌표와 상기 검출된 눈 좌표를 비교하여, 동공 좌표가 눈 좌표의 일정 범위 내에 존재하는 지를 판단하는 단계; 및
   판단 결과, 상기 동공 좌표가 상기 눈 좌표의 일정 범위 내에 존재하면, 검출된 동공 좌표를 선택하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 시스템에서의 위조 검출 방법.
   
7. 제6항에 있어서,
   판단 결과, 상기 동공 좌표가 눈 좌표의 일정 범위 내에 존재하지 않을 경우에는 다음 영상 프레임에서 영상을 획득한 후, 상기 획득된 영상으로부터 얼굴 영역을 검출하는 단계로 복귀하여 반복 수행하는 것을 특징으로 하는 얼굴 인식 시스템에서의 위조 검출 방법.
   
8. 제5항에 있어서, 상기 동공 좌표를 검출하는 단계는,
   후보 좌표들을 검출하는 단계;
   상기 후보 좌표에서 가버 특징 벡터를 추출하는 단계;
   추출된 가버 특징 벡터와 사전 학습된 가버 번치 모델의 가버 특징 벡터와 유사도를 측정하는 단계; 및
   측정 결과, 가장 큰 유사도를 갖는 후보 좌표를 동공 좌표로 최종 선택하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 시스템에서의 위조 검출 방법.
   
9. 제5항에 있어서, 상기 눈 좌표를 검출하는 단계는,
   상기 정규화된 얼굴 영역에서 눈을 템플릿 매칭으로 검출하는 단계; 및
   상기 템플릿 매칭 결과에서 상관관계가 가장 큰 좌표를 눈의 좌표로 선택하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 시스템에서의 위조 검출 방법.
   
10. 제1항에 있어서,
    상기 얼굴 인식 대상으로부터 영상 획득 시, 상기 얼굴 인식 대상과 영상을 획득하기 위한 카메라 사이의 거리를 30cm 내지 60cm 범위로 조절하여 영상을 획득하는 것을 특징으로 하는 얼굴 인식 시스템에서의 위조 검출 방법.
    

Images