KR102160137B1 - 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법 - Google Patents

Abstract

특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법이 개시된다. 본 발명의 위조 얼굴 판별장치는 얼굴 인증을 시도하는 사용자로 하여금 얼굴의 위치를 바꾸거나 얼굴가 보이지 않도록 하는 적어도 하나의 동작을 요청한 다음에, 촬영된 이미지에서 추출한 특징점에 변동이 있는지 여부를 기초로 인증 시도 중인 얼굴가 위조 얼굴인지 여부를 판단한다.

Description

특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법{Apparatus and Method for Recognizing Fake Face By Using Minutia Data Variation}

본 발명은 얼굴을 이용한 생체인식관련 기술 중에서 위조 얼굴을 판별할 수 있는 위조 얼굴 판별장치 및 그 방법에 관한 것이다.

얼굴 인식(Face Recognition)도 지문이나 홍채와 마찬가지로 개인 인증 수단으로 주목받고 있는 것 중 하나이다.

얼굴 인식은 카메라로 얼굴을 촬영하여 등록된 얼굴 이미지와 비교하는 방법으로 인식하는 방식이다. 얼굴 인식 기술은 2차원 영상을 이용하는 방법과 3차원 형상을 이용하는 방법으로 분류되는데, 3차원 인식 기술은 많은 연산량을 필요하기 때문에 2차원 얼굴 인식 시스템이 일반적으로 사용된다.

지문이나 홍채 인식은 불변성이 뛰어나고 그 이미지 획득이 비교적 용이한 반면에, 얼굴 인식은 동일한 사람이라도 조명이나 얼굴 표정 등에 따라 서로 다른 얼굴로 인식되는 등 여러 가지 해결 과제가 있어서 쉽게 채용되지 못한 인증기술이다.

그럼에도, 얼굴 인식은 홍채 인식처럼 사용자의 다른 조작을 요구하지 않고 사용자의 신체가 기기와 접촉하지 않는다는 장점이 있어서, 최근에 컴퓨터나 이동전화기와 같은 디지털 기기 등을 시작으로 얼굴 인식이 접목되고 있다. 얼굴 인증이 해결해야 할 과제 중 하나는 등록된 사용자 본인이 아닌 위조된 얼굴(이하 '위조 얼굴'이라 함)을 효과적으로 구분하는 것이다. 위조 얼굴은 프린터로 얼굴 이미지를 종이에 인쇄한 형태가 일반적이다.

이와 같은 위조 얼굴을 종래의 얼굴 인식장치에 입력하면, 진짜 얼굴과 유사한 얼굴 이미지가 획득되고, 특징점을 추출하는 과정을 거쳐 진짜 얼굴과 구분없이 처리될 여지가 있다.

[관련 발명]

1. 얼굴 인식 시스템에서의 위조 검출 방법 (대한민국 공개특허 10-2011-0102073호)

이 발명은 실제 얼굴로부터 캡쳐한 영상에서 동공 영역은 매우 어두운데 반해, 사진(위조 얼굴)으로부터 캡쳐한 영상은 모든 영역에서 빛이 반사하기 때문에 동공 영역이라도 상대적으로 밝다는 점을 이용하여, 위조 얼굴을 검출한다.

본 발명의 목적은 일련의 연속으로 촬영한 얼굴 이미지에서 추출한 특징점의 변동을 이용하여 위조 얼굴과 진짜 얼굴을 판별할 수 있는 위조 얼굴 판별장치 및 그 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 위조 얼굴 판별방법은, 제1 카메라부가 인증을 시도하는 사용자를 기설정된 프레임 속도로 촬영하여 위조 판별용 얼굴 이미지를 생성하는 단계와; 기설정된 측정시간 동안 상기 제1 카메라부가 생성하는 복수 개의 상기 얼굴 이미지에서 얼굴 부분을 추출하고, 얼굴의 특징점을 추출하는 과정을 반복하는 단계와; 상기 반복하는 단계를 통해 상기 복수 개의 얼굴 이미지로부터 추출한 특징점을 비교할 때, 전체 특징점 중 일부 특징점에 변동이 있으면 인증 중인 얼굴을 생체로 판단하고 상기 특징점의 변동이 검출되지 않으면 위조 얼굴로 판단하는 단계를 포함한다.

위조판별과 얼굴 인식의 연동

실시 예에 따라, 본 발명의 방법은 사용자의 얼굴인증 시도를 확인하는 단계와; 상기 인증 시도가 확인되면 상기 제1 카메라부가 획득한 얼굴 이미지에서 특징점을 추출하고 사용자 등록정보와 비교하여 사용자를 1차 인식하는 단계를 더 포함할 수 있다. 이 경우, 상기 인증 중인 얼굴을 생체로 판단하는 단계는 상기 전체 특징점 중 일부 특징점에 변동이 있는 경우에 상기 측정시간의 마지막에 추출된 특징점을 상기 1차 인식하는 단계에서 추출한 특징점과 비교하여 동일한 경우에 생체로 판단한다.

한편, 상기 판단하는 단계에서, 상기 측정시간의 첫 번째 프레임과 마지막 프레임을 제외한 나머지 프레임에서 생성한 얼굴 이미지 중에서 상기 특징점의 변동을 검출하는 것이 바람직하다.

위조판별을 위한 사용자 동작 요청

다른 실시 예에 따라, 본 발명의 방법은 전체 특징점 중 일부 특징점의 변동을 만드는 적어도 하나의 사용자 동작을 요청하는 안내를 사용자에게 출력하는 단계를 더 포함할 수 있다. 상기 반복하는 단계는 상기 안내를 표시하는 단계 이후에 상기 측정시간 동안 수행되는 것이 바람직하다. 예컨대 상기 안내는, 사용자로 하여금 특정 음을 발음함으로써 입의 모양을 바꾸도록 요청하는 것이 해당한다.

또 다른 실시 예에 따라, 본 발명의 방법은, 상기 제1 카메라부가 제공하는 이미지에서 얼굴 인증을 시도하는 사용자의 얼굴을 인식하거나, 근접센서로 사용자를 감지하거나 특정 버튼이 조작된 때에 사용자의 얼굴인증 시도가 있는 것으로 판단하는 단계를 더 포함할 수 있다. 상기 인증 시도가 확인되면 상기 안내를 사용자에게 출력하는 단계가 수행된다.

로그 저장

또 다른 실시 예에 따라, 본 발명의 방법은, 제2 카메라부가 상기 사용자의 얼굴 이미지를 생성하여 상기 판단하는 단계의 판단결과와 함께 저장하는 단계를 더 포함할 수 있다.

위조얼굴 판별장치

본 발명은 상기 위조얼굴 판별방법을 수행하는 판별장치에도 미친다. 본 발명의 판별장치는 제1 카메라부, 얼굴검출부, 특징점추출부 및 위조판단부를 포함한다.

제1 카메라부는 인증을 시도하는 사용자를 기설정된 프레임 속도로 촬영하여 얼굴 이미지를 생성한다. 얼굴검출부는 상기 얼굴 이미지에서 얼굴 부분을 추출하고, 특징점추출부는 상기 얼굴 부분에서 얼굴의 특징점을 추출한다.

위조판단부는 기설정된 측정시간 동안 복수 개의 상기 얼굴 이미지로부터 추출한 특징점을 비교할 때, 전체 특징점 중 일부 특징점에 변동이 있으면 인증 중인 얼굴을 생체로 판단하고 상기 특징점의 변동이 검출되지 않으면 위조 얼굴로 판단함으로써 위조판별을 수행한다.

본 발명에 따른 위조 얼굴 판별장치는 얼굴 인증을 시도하는 사용자로 하여금 특징점의 변동을 일으킬 만한 동작을 하도록 요청한 다음에, 촬영된 이미지에서 추출한 특징점에 변동이 있는지 여부를 기초로 인증 시도 중인 얼굴이 위조 얼굴인지 여부를 판단할 수 있다.

또한, 본 발명의 위조얼굴 판별방법은 위조얼굴 판별을 위해 별도의 하드웨어 장치를 사용하지 않기 때문에 장치의 구조가 매우 간단하다.

도 1은 본 발명의 위조 얼굴 판별장치의 블록도,
도 2는 본 발명의 위조 얼굴 판별방법의 설명에 제공되는 흐름도,
도 3은 본 발명의 다른 실시 예에 따른 위조 얼굴 판별방법의 설명에 제공되는 흐름도, 그리고
도 4는 본 발명의 다른 실시 예에 따른 위조 얼굴 판별장치의 블록도이다.

이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 1을 참조하면, 본 발명의 위조 얼굴 판별장치(100)는 사용자 인터페이스(101), 이미지획득 모듈(110) 및 제어모듈(130)을 포함한다.

사용자 인터페이스(101)는 아래에서 설명하는 위조얼굴 판별을 위한 각종 안내를 출력하는 수단으로서, 시각적 방법이나 청각적인 방법으로 사용자에게 출력한다. 예컨대, 엘시디(LCD)나 오엘이디(OLED)와 같은 디스플레이 수단이나 스피커와 같은 음성 출력 수단이 사용자 인터페이스(101)에 해당할 수 있다.

이미지획득 모듈(110)은 적어도 하나의 광원(111) 및 적어도 하나의 제1 카메라부(113)를 포함하여 사용자의 얼굴을 촬영한 이미지(이하, '얼굴 이미지'라 함)를 획득한다.

광원(111)은 사용자의 얼굴 이미지를 촬영하기 위해 사용자의 얼굴을 향해 기설정된 파장의 광선을 출사한다. 광원(111)이 출사하는 광선의 파장은 어떤 대역이어도 무방하고 백색광을 사용할 수도 있지만, 적외선을 사용하는 것이 바람직하다. 적외선 광원(111)을 사용할 경우에 제1 카메라부(113)는 적외선 필터를 사용함으로써 외부 자연광의 영향을 배제할 수 있다.

도 1의 제1 카메라부(113)는 렌즈(113a), 이미지 센서(113b) 및 적외선 필터(113c)를 포함하여, 광원(111)에서 출사되어 사용자 얼굴에서 반사되어 입사되는 적외선 영상으로 얼굴 이미지를 생성한다. 렌즈(113a)는 제1 카메라부(113)가 사용자의 얼굴 전체를 촬영할 수 있도록 초점 거리와 화각을 조정한다.

제1 카메라부(113)는 얼굴 인식을 위해 기설정된 프레임 속도로 사용자의 얼굴을 촬영하고, 획득한 복수 개의 얼굴 이미지를 제어모듈(130)에게 제공한다.

한편, 아래에서 설명하는 것처럼 사용자의 얼굴인증 시도 여부를 확인하기 위하여 제1 카메라부(113)는 전방을 주기적으로 촬영하게 되는데, 이때는 상기의 기설정된 프레임 속도보다 낮은 속도로 촬영할 수 있다.

제어모듈(130)은 얼굴검출부(131), 특징점추출부(133), 얼굴인식부(135) 및 위조판단부(137)를 포함하며, 본 발명의 위조 얼굴 판별장치(100)의 전반적인 동작을 제어한다.

얼굴검출부(131)는 위조얼굴 판별을 위한 전처리 과정을 수행하는 것으로서, 이미지획득 모듈(110)이 기설정된 프레임 속도로 제공하는 얼굴 이미지에서 얼굴 부분을 추출한다. 얼굴 부분 추출은 지식 기반 학습 방법, 특징 기반 방법, 템플릿 매칭 방법, 외형 기반 방법으로 구분할 수 있으며, 종래에 알려진 어떠한 방법이라도 적용할 수 있다.

외형 기반 방법은, 예컨대, 이미지획득 모듈(110)가 제공하는 얼굴 이미지에 종래의 이미지 처리방법을 적용하여 대략 원형에 해당하는 얼굴의 외곽선을 추출한 다음, 얼굴 외곽선에서 위치 기반으로 눈과 입을 검출함으로써 얼굴 윤곽을 인식한다.

한편, 사용자의 인증 시도를 확인하는 방법은 사용자가 버튼 조작을 하거나 근접센서 등으로 접근을 확인하는 것을 포함해 다양한 방법이 가능한데, 그 방법 중에 하나는 이미지획득 모듈(110)이 촬영한 이미지를 이용하는 것이다. 이 경우에 얼굴검출부(131)는 광원(111)을 소등한 자연광 상태에서 제1 카메라부(113)가 촬영하여 제공하는 이미지에서 얼굴 이미지가 입력되는지 정도를 확인하여 위조판단부(137)에게 통지함으로써 사용자의 인증시도 여부를 확인하도록 할 수 있다. 이때의 이미지 처리는 얼굴 이미지에서 특징점을 추출하기 위한 전처리 과정 정도가 아니어도 무방하다.

특징점추출부(133)는 얼굴검출부(131)가 얼굴 이미지에서 검출한 얼굴 부분에서 특징점 데이터를 추출함으로써 얼굴 인증을 위한 정보를 추출한다. 특징점추출부(133)가 추출하는 특징점에는 사용자에 특유한 얼굴의 형태 정보를 반영하는 특징으로서, 예컨대 얼굴, 턱, 눈, 눈썹, 코, 입 등의 형태, 길이 및 그 상대적 위치 등에 대한 정보 등이 포함된다. 그 밖에도 얼굴의 특징점은 종래에 알려진 다양한 정보와 그 추출방식을 적용하여 추출할 수 있다.

얼굴인식부(135)는 특징점추출부(133)가 추출한 특징점 데이터를 기등록된 '사용자 등록정보'와 비교하는 방법으로 얼굴 인증을 시도하는 사용자를 인식한다. 사용자 등록정보에는 사용자 얼굴 이미지로부터 추출한 특징점 데이터와 사용자에 대한 정보(이름 등) 등을 포함한다. 위조얼굴 판별장치(100)는 자체적으로 사용자 등록과정을 수행하여 사용자 등록정보를 보유할 수도 있고, 다른 인증장치나 서버로부터 사용자 등록정보를 제공받아 보유할 수도 있다.

위조판단부(137)는 특징점추출부(133)가 제공하는 특징점 데이터를 기초로 위조판별을 수행한다. 위조판별의 기본적인 방법은 일단의 측정기간 중에 생성된 일련의 복수 개 얼굴 이미지로부터 추출한 특징점에 변동이 있는지 확인하는 것이다. 여기서 특징점의 변동은 측정기간 중에 추출한 다른 특징점과 비교해서 일부 특징점 위치(예컨대 입의 위치)나 그 윤곽 형태(예컨대 입의 모양)가 바뀌는 것을 말한다. 특징점의 변동이 검출되면 인증 중인 얼굴을 진짜 얼굴로 간주하고, 반대로 특징점의 변동이 검출되지 않으면 인증 중인 얼굴을 위조 얼굴로 간주한다. 위조판단부(137)의 위조얼굴 판별방법은 도 2를 참조하여 아래에서 다시 설명한다.

위조얼굴 판단방법 (도 2)

본 발명의 기본적인 위조얼굴 판단방법은 제1 카메라부(113)가 인증을 시도하는 사용자를 촬영하여 얼굴 이미지를 생성하고, 얼굴검출부(131)가 제1 카메라부(113)가 기설정된 프레임 속도로 생성하는 복수 개의 얼굴 이미지마다 얼굴 부분을 추출하고, 특징점추출부(133)가 복수 개의 얼굴 이미지마다 얼굴 특징점 데이터를 추출하는 과정을 반복하는 중에 수행된다.

위조판단부(137)는 복수 개의 얼굴 이미지로부터 추출한 특징점 데이터가 모두 동일하거나 동일성 범위 내에 있으면 인증 중인 얼굴을 위조 얼굴로 판단한다.

이하에서는 도 2를 참조하여 위조판단부(137)의 동작을 중심으로 본 발명의 위조얼굴 판별방법을 설명한다.

<얼굴 인증 시도의 확인: S201, S203>

제1 카메라부(113)는 주기적으로 전방을 촬영하여 이미지를 생성하여 제어모듈(130)에게 제공한다. 이때 광원(111)을 점등할 수도 있으나, 광원(111)을 소등하여 자연광 상태에서 사용자를 촬영해도 무방하다(S201).

얼굴검출부(131)는 제1 카메라부(113)가 촬영한 이미지에 대한 이미지처리를 수행하여 사용자의 얼굴을 검출한다. 위조판단부(137)는 얼굴검출부(131)가 사용자의 얼굴을 인식하면 사용자의 얼굴 인증 시도가 있는것으로 판단한다. 얼굴검출부(131)는 얼굴 이미지에서 엣지(Edge) 검출을 통해 얼굴의 외곽을 검출하는 정도를 수행할 수도 있다(S203).

앞서 설명한 것처럼, 위조 얼굴 판별장치(100)는 근접센서나 버튼 등을 더 포함하고, 제어모듈(130)은 근접센서나 사용자의 버튼 조작을 기초로 얼굴 인증 시도를 확인할 수 있는 인증개시부를 더 포함할 수 있다.

한편, S201 및 S203 단계의 확인은 위조판단부(137)를 대신해, 얼굴검출부(131)나 얼굴인식부(135)가 수행할 수도 있다.

<위조판별을 위한 사용자 안내: S205>

S203 단계에서 사용자의 얼굴이 인식되면, 위조판단부(137)는 위조판별을 위한 사용자 안내를 사용자 인터페이스(101)를 통해 사용자에게 제공한다.

알려진 것처럼, 위조 얼굴은 얼굴 이미지를 인쇄한 종이 형태이므로, 얼굴 형태가 고정되어 있다. 그러나 사용자의 진짜 얼굴은 표정이 바뀔 때, 눈, 코, 입의 형태, 상대적 위치 또는 길이도 바뀔 수 있다. 그 변동이 커서 특징점 데이터가 많이 바뀌면 서로 다른 사람으로 인식될 수 있는 정도다. 본 발명은 이러한 점에 착안하여, 사용자에게 표정 변동을 요청하여 그 특징점이 바뀌는지를 판단함으로써 위조 여부를 판단한다.

따라서 위조판별을 위한 사용자 안내는 사용자에게 얼굴로부터 추출되는 전체 특징점 중 일부 특징점의 변동(특징점의 형태, 위치, 상대적 위치가 바뀌는 것)를 만들어내는 '사용자 동작'을 요청하는 것이다. 사용자 동작은 특징점의 변동을 만들어내는 것이면 어떤 동작이어도 무방한데, 예컨대 입의 형태를 바꾸거나 눈을 감는 동작 등이 해당할 수 있다. 단순히 얼굴의 위치를 바꾸는 것도 가능하지만, 눈, 코 또는 입을 움직이는 동작을 포함하는 것이 바람직하다. 또한, 특별히 아주 짧은 시간에 수행될 수 있는 사용자 동작이 더 바람직하다. 본 발명에서는 사용자에게 '아', '에', '이', '오', '우' 중에서 선택된 적어도 하나를 발음하도록 요청할 수 있다.

위조판별을 위한 사용자 안내는 스피커를 통해 음성으로 출력할 수도 있고, 디스플레이 수단을 이용하여 시각적으로 표시할 수도 있다.

<측정시간동안 얼굴인식/ 특징점 추출: S207 내지 S211>

위조판별을 위한 사용자 안내를 표시한 후에, 위조판단부(137)는 광원(111)을 점등하고 제1 카메라부(113)로 하여금 기설정된 프레임 속도로 사용자의 눈을 촬영하여 얼굴 이미지를 생성하도록 제어한다. 여기서의 제1 카메라부(113)의 촬영 속도는 S201단계의 촬영 속도와 동일할 수도 있지만 더 고속으로 설정하는 것이 바람직하다(S207).

얼굴검출부(131)는 제1 카메라부(113)가 촬영한 얼굴 이미지에서 얼굴 부분을 인식하고, 특징점추출부(133)는 얼굴의 특징점을 추출한다(S209).

S207 및 S209 단계는 기설정된 측정시간 동안 복수(n)회 반복됨으로써, 복수(n) 개의 얼굴 이미지가 생성되고 얼굴 인식과 특징점 추출이 복수(n) 회 반복된다. 예를 들어, 제1 카메라부(113)의 촬영 속도를 초당 10 프레임으로 정하고 측정시간을 2초로 정한 경우, 얼굴검출부(131)는 2초동안 제공되는 20장(n=20)의 얼굴 이미지에서 특징점 데이터를 추출한다. 여기서 측정시간은 S205 단계의 사용자 안내에 따라 사용자가 안내된 동작을 수행하는데 소요되는 시간보다 긴 시간을 설정하는 것이 바람직하며, 실험적으로 결정할 수 있다(S211).

<특징점의 변동에 따른 위조얼굴 판별: S213 내지 S217>

측정시간이 경과하면, 위조판단부(137)는 복수(n) 개의 얼굴 이미지에서 추출한 특징점 사이에 변동이 있는지 판단한다. 여기서 특징점의 변동은 전체 특징점이 일정한 패턴으로 바뀌는 것이 아니라 전체 특징점 중 일부 특징점의 형태, 위치, 상대적 위치가 바뀌는 것을 말한다. 눈, 코, 입의 형태를 그대로 유지하면서 얼굴의 위치가 바뀜에 따라 전체 특징점의 추출 위치가 바뀌는 것은 특징점의 변동에 포함되지 않는다(S213).

만약, 위조판단부(137)는 복수(n) 개의 얼굴 이미지 사이에 특징점 변동이 검출되면 인증 중인 얼굴을 생체로 판단하고(S215), 특징점 변동이 검출되지 않으면 인증 중인 얼굴을 위조 얼굴로 판단한다((S217).

S205 단계의 안내에 따라 사용자가 입 모양을 바꾸어 특정 소리를 내면, 측정시간(예컨대 2초) 중에 촬영된 복수 개 얼굴 이미지에서 사용자의 입에서 추출되는 특징점 또는 입과 관련된 특징점이 바뀐다. 고해상도로 종이나 합성수지에 인쇄된 형태의 위조 얼굴은 사용자 안내에 따른 동작을 수행할 수 없기 때문에, 일부 특징점의 변동이 생기지 않는다.

한편, 만약 S205 단계에서 눈동자를 움직이도록 안내하였더라도, 사용자는 입을 움직이는 대신에 눈을 깜박일 수도 있고, 이때에도 일부 특징점에 변동이 생긴다. 이처럼 안내된 동작과 다른 부분의 특징점이 변동되어도, 위조판단부(137)는 인증 중인 얼굴을 생체로 판단할 수 있다. 따라서 오류 이미지의 판단기준은 S205 단계의 안내와 관련없어도 무방하다.

이상의 방법으로 본 발명의 위조얼굴 판별방법이 수행된다.

사용자 인증 중의 위조 판별

본 발명의 위조 얼굴 판별방법은 사용자 얼굴 인식과정과 결합될 수 있다. 이하에서는 도 3을 참조하여 본 발명의 다른 실시 예에 따른 위조 얼굴 판별방법을 설명한다. 도 3의 방법은 도 2의 위조얼굴 판별방법 중에 사용자 얼굴 인식과정이 결합된다.

<얼굴 인증 시도의 확인: S201, S203>

도 2의 S201 및 S203 단계에 따라 사용자의 얼굴 인증 시도를 확인한다.

<사용자 인식: S301 내지 S305>

사용자의 얼굴 인증 시도가 확인되면, 위조판단부(137)는 광원(111)을 점등하고 제1 카메라부(113)로 하여금 사용자의 얼굴 이미지를 획득하도록 제어한다. 얼굴검출부(131)는 제1 카메라부(113)가 제공하는 얼굴 이미지에서 얼굴 부분을 인식하고, 특징점추출부(133)는 얼굴 부분에서 특징점 데이터를 1차로 추출한다. 이하에서는 설명의 편리를 위해 S205 단계에서 추출한 특징점 데이터를 '기준 특징점 데이터'라 한다(S301).

얼굴인식부(135)는 기준 특징점 데이터를 기등록된 사용자 정보와 비교하여 일치하는 사용자를 확인함으로써 사용자를 1차 인식한다(S303).

만약, 기준 특징점 데이터와 동일한 등록된 사용자 정보를 발견하지 못하면, 얼굴인식부(135)는 해당 사용자에 대한 얼굴 인식을 실패로 처리한다(S305).

<위조얼굴 판별을 위한 측정: S205 내지 S211>

S303 단계에서 사용자가 인식되면, 위조판단부(137)는 S205 단계를 수행한다. 따라서 위조판단부(137)는 위조판별을 위한 사용자 안내를 사용자 인터페이스(101)를 통해 사용자에게 제공한다. 이후에 기설정된 측정시간 동안 S207 내지 S211 단계를 수행하면서 위조얼굴 판별을 위한 측정을 수행한다.

<특징점의 변동에 따른 위조얼굴 판별: S213, S217>

측정시간이 경과하면, 위조판단부(137)는 복수(n) 개의 얼굴 이미지에서 추출한 특징점 사이에 변동이 있는지 판단한다(S213). 만약, 복수(n) 개의 얼굴 이미지 사이에 특징점 변동이 검출되지 않으면, 위조판단부(137)는 인증 중인 얼굴을 위조 얼굴로 판단한다((S217).

<진짜 얼굴로 판단: S307 내지 S311>

S213 단계의 판단결과, 복수(n) 개의 얼굴 이미지 사이에 특징점 변동이 검출된 경우에, 위조판단부(137)는 S205 내지 S211 단계의 측정시간의 가장 마지막으로 촬영되어 추출된 특징점 데이터를 S301 단계에서 추출한 기준 특징점 데이터와 비교하여 동일한지 판단한다(S307).

S307 단계의 판단결과, 두 개 특징점 데이터가 동일하여 동일한 사용자로 판단되면(S309), 위조판단부(137)는 비로소 인증 중인 얼굴을 진짜 얼굴로 판단한다(S311).

만약, S307 단계의 판단결과, 두 개 특징점 데이터가 동일하지 않으면 동일한 사용자가 아닌 것이므로, 위조판단부(137)는 다른 위조얼굴의 가능성이 있다고 판단하여 인증 중인 얼굴을 위조 얼굴로 판단한다. S307 및 S309 단계를 통해, 위조판단부(137)는 인증 절차 중에 얼굴 이미지를 바꾸는 방법으로 본 발명의 위조판단을 회피하는 것을 차단한다.

S307 및 S309 단계를 도 2의 방법과 비교하면, 복수(n) 개의 얼굴 이미지 사이에 특징점 변동이 검출될 때 다른 절차없이 인증 중인 얼굴을 진짜 얼굴로 판단(S215 단계)한 것과 다르다.

로그 저장

도 4를 참조하면, 본 발명의 다른 실시 예에 따른 위조얼굴 판별장치(400)의 이미지 획득모듈(410)은 제1 카메라모듈(113)과 별개로 사용자의 얼굴 이미지를 촬영하는 제2 카메라부(411)를 더 포함할 수 있다.

제2 카메라부(411)는 얼굴 이미지를 촬영하는 것이므로, 얼굴 이미지를 생성하는 제1 카메라부(113)와 다른 구성이다. 제2 카메라부(411)는 적외선 조명없이 자연광으로 사용자 얼굴에 대한 컬러 이미지를 생성할 수도 있다.

위조판단부(431)는 S203 단계에서 사용자 얼굴을 인식한 경우에 제2 카메라부(411)로 하여금 사용자의 얼굴 이미지를 촬영하도록 제어할 수 있다. 위조판단부(431)는 제2 카메라부(411)가 촬영한 얼굴 이미지를 S215, S217, S305 또는 S311 단계의 판단결과와 함께 메모리나 저장매체(미도시)에 저장할 수 있다.

제2 카메라부(411)가 촬영한 얼굴 이미지는 얼굴 인증을 시도한 사용자에 대한 로그(Log) 데이터로 이용될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

111: 광원 113: 제1 카메라부
113a: 렌즈 113b: 이미지센서
113c: 적외선 필터 411: 제2 카메라부

Claims (14)

1. 사용자의 얼굴인증 시도를 확인하는 단계;
   상기 인증 시도가 확인되면 제1 카메라부가 획득한 얼굴 이미지에서 기준 특징점 데이터를 추출하고 사용자 등록정보와 비교하여 사용자를 1차 인식하는 단계;
   상기 1차 인식 후에, 기설정된 측정시간 동안 상기 제1 카메라부가 기설정된 프레임 속도로 사용자를 촬영하여 복수 개의 위조 판별용 얼굴 이미지를 생성하고 얼굴의 특징점을 추출하는 과정을 반복하는 단계;
   상기 반복하는 단계를 통해 상기 복수 개의 얼굴 이미지로부터 추출한 특징점을 비교할 때, 전체 특징점 중 일부 특징점에 변동이 검출되지 않으면 위조 얼굴로 판단하는 단계; 및
   전체 특징점 중 일부 특징점에 변동이 있는 경우에, 상기 반복하는 단계의 마지막에 추출된 특징점을 상기 기준 특징점 데이터와 비교하여 동일한 경우에 생체로 최종 판단하는 단계를 포함하는 것을 특징으로 하는 위조 얼굴 판별방법.
   
2. 삭제
3. 제1항에 있어서,
   상기 위조 얼굴로 판단하는 단계에서,
   상기 측정시간의 첫 번째 프레임과 마지막 프레임을 제외한 나머지 프레임에서 생성한 얼굴 이미지 중에서 상기 특징점의 변동을 검출하는 것을 특징으로 하는 위조 얼굴 판별방법.
   
4. 제1항에 있어서,
   전체 특징점 중 일부 특징점의 변동을 만드는 적어도 하나의 사용자 동작을 요청하는 안내를 사용자에게 출력하는 단계를 더 포함하고,
   상기 반복하는 단계는 상기 안내를 표시하는 단계 이후에 상기 측정시간 동안 수행되는 것을 특징으로 하는 위조 얼굴 판별방법.
   
5. 제4항에 있어서,
   상기 안내는, 사용자로 하여금 특정 음을 발음함으로써 입의 모양을 바꾸도록 요청하는 것을 특징으로 하는 위조 얼굴 판별방법.
   
6. 제4항에 있어서,
   상기 1차 인식하는 단계는,
   상기 제1 카메라부가 제공하는 이미지에서 얼굴 인증을 시도하는 사용자의 얼굴을 검출하거나, 근접센서로 사용자를 감지하거나 특정 버튼이 조작된 때에 사용자의 얼굴인증 시도가 있는 것으로 판단하는 것을 특징으로 하는 위조 얼굴 판별방법.
   
7. 제1항에 있어서,
   제2 카메라부가 상기 사용자의 얼굴 이미지를 생성하여 상기 위조 얼굴로 판단하는 단계 및 생체로 최종 판단하는 단계의 판단결과와 함께 저장하는 단계를 더 포함하는 것을 특징으로 하는 위조 얼굴 판별방법.
   
8. 사용자의 얼굴인증 시도에 따라, 제1 카메라부가 획득한 얼굴 이미지에서 특징점추출부가 추출한 기준 특징점 데이터를 사용자 등록정보와 비교하여 사용자를 1차 인식하는 얼굴인식부;
   상기 사용자를 기설정된 프레임 속도로 촬영하여 얼굴 이미지를 생성하는 상기 제1 카메라부;
   상기 얼굴 이미지에서 얼굴 부분을 추출하는 얼굴검출부;
   상기 얼굴 부분에서 얼굴의 특징점을 추출하는 상기 특징점추출부; 및
   기설정된 측정시간 동안 복수 개의 상기 얼굴 이미지로부터 추출한 특징점을 비교할 때, 전체 특징점 중 일부 특징점에 변동이 검출되지 않으면 위조 얼굴로 판단함으로써 위조판별을 수행하는 위조판단부를 포함하고,
   상기 위조판단부는 전체 특징점 중 일부 특징점에 변동이 있으면 상기 측정시간의 마지막에 추출된 특징점을 상기 기준 특징점 데이터와 비교하여 동일한 경우에 생체로 최종 판단하는 것을 특징으로 하는 위조 얼굴 판별장치.
   
9. 삭제
10. 제8항에 있어서,
    상기 위조판단부는,
    상기 측정시간의 첫 번째 프레임과 마지막 프레임을 제외한 나머지 프레임에서 생성한 얼굴 이미지 중에서 상기 특징점의 변동을 검출하는 것을 특징으로 하는 위조 얼굴 판별장치.
    
11. 제8항에 있어서,
    상기 위조판단부의 제어에 따라 전체 특징점 중 일부 특징점의 변동을 만드는 적어도 하나의 사용자 동작을 요청하는 안내를 사용자에게 출력하는 사용자 인터페이스를 더 포함하고,
    상기 위조판단부는 상기 안내를 출력한 이후 상기 측정시간 동안에 추출된 상기 특징점추출부의 추출결과를 기초로 상기 위조판별을 수행하는 것을 특징으로 하는 위조 얼굴 판별장치.
    
12. 제11항에 있어서,
    상기 안내는, 사용자로 하여금 특정 음을 발음함으로써 입의 모양을 바꾸도록 요청하는 것임을 특징으로 하는 위조 얼굴 판별장치.
    
13. 제8항에 있어서,
    상기 위조판단부는,
    상기 얼굴검출부가 상기 제1 카메라부가 제공하는 이미지에서 얼굴 인증을 시도하는 사용자의 얼굴을 검출하거나, 근접센서로 사용자를 감지하거나 특정 버튼이 조작된 때에 안내를 출력하는 것을 특징으로 하는 위조 얼굴 판별장치.
    
14. 제8항에 있어서,
    상기 사용자의 얼굴 이미지를 생성하는 제2 카메라부를 더 포함하고,
    상기 위조판단부는 상기 얼굴 이미지를 위조판별 결과와 함께 저장하는 것을 특징으로 하는 위조 얼굴 판별장치.
    
    
    
    

Images