KR102594852B1 - 적외선을 이용하여 위조얼굴을 구별할 수 있는 얼굴인식장치 및 그 얼굴인식방법 - Google Patents

Abstract

적외선을 이용하여 위조얼굴을 구별할 수 있는 얼굴인식장치 및 그 얼굴인식방법이 개시된다. 본 발명의 얼굴인식장치는 적외선을 이용하여 생성한 얼굴 이미지를 이용해 얼굴 인식을 수행하면서, 인증을 시도하는 얼굴을 조명하는 적외선의 세기를 조정함으로써 적외선 이미지의 포화상태로 인증을 시도한 얼굴이 위조인지 판별할 수 있다.

Description

적외선을 이용하여 위조얼굴을 구별할 수 있는 얼굴인식장치 및 그 얼굴인식방법{Apparatus and Method for Recognizing Fake Face in Face Recognizing by Using Infrared}

본 발명은 적외선을 이용한 얼굴인식에서, 위조한 얼굴 이미지를 이용한 인증 시도를 구분할 수 있는 얼굴인식장치 및 그 얼굴인식방법에 관한 것이다.

얼굴 인식(Face Recognition)도 지문이나 홍채와 마찬가지로 개인 인증 수단으로 주목받고 있는 것 중 하나로서, 카메라로 얼굴을 촬영하여 등록된 얼굴 이미지와 비교하는 방법으로 사용자를 인식한다. 얼굴 인식은 홍채 인식처럼 사용자의 다른 조작을 요구하지 않고 사용자의 신체가 기기와 접촉하지 않는다는 장점이 있어서, 최근에 컴퓨터나 이동전화기와 같은 개인용 디지털 기기 등에서 얼굴 인식이 접목되고 있다.

얼굴 인식 기술은 2차원 영상을 이용하는 방법과 3차원 형상을 이용하는 방법으로 분류되는데, 3차원 인식 기술은 많은 연산량을 필요하기 때문에 2차원 얼굴 인식 시스템이 일반적으로 사용된다. 한편, 얼굴인식용 이미지의 생성방식으로 구분하면, 얼굴 인식에는 가시광선을 이용하여 일반적인 흑백이나 컬러 이미지를 촬영하여 인식하는 방식이 있고, 적외선을 이용하여 적외선 이미지를 촬영하여 인식하는 방식이 있으며, 필요에 따라 두 개 방식의 이미지를 모두 사용하기도 한다.

다만, 적외선을 이용한 얼굴인식은 조도가 충분하지 않아도 사용할 수 있다는 장점이 있다. 종래에, 얼굴 인식에 사용하는 적외선 영역은 근적외선(Near Infrared) 대역 중에서도 대략 850nm 파장의 적외선을 주로 사용한다. 그것은 방범용 CCTV나 인터폰과 같이 사용자를 촬영하는데 사용되는 대부분의 적외선 카메라가 850nm 대역을 사용해 오고 있었기 때문이다. 또한, 850nm 대역의 적외선 필터가 상대적으로 매우 싼 가격에 용이하게 제작할 수 있기 때문이기도 하다.

얼굴 인증에도 위조 인증이 있다. 해상도가 높은 고성능 프린터로 출입자 얼굴을 인쇄한 종이나, 얼굴 이미지가 화면에 표시된 모바일 장치와 같은 '위조된 얼굴'을 이용한 인증시도가 발견되고 있다. 위조 얼굴을 종래의 얼굴 인식장치에 입력하면, 장치가 얼굴 이미지를 획득하고 특징점을 추출하는 과정을 동일하게 수행하면서 등록된 출입자가 인증을 시도한 것으로 처리할 수 있다.

1. KR 10-2009-0038110호 2. KR 10-0983346호 3. KR 10-2020-0107167호

본 발명의 목적은 적외선을 이용한 얼굴인식에서, 위조한 얼굴 이미지를 이용한 인증 시도를 구분할 수 있는 얼굴인식장치 및 그 얼굴인식방법을 제공함에 있다.

상기 목적을 달성하기 위해 본 발명은 얼굴인식장치의 얼굴 인식방법을 제시한다. 본 발명의 얼굴 인식방법은, 엘이디부가 920 nm 내지 960 nm 파장 대역에서 선택된 적외선 광을 출사하는 적어도 하나의 적외선 엘이디를 구비하여 인증을 시도하는 얼굴을 향해 기설정된 기준세기의 적외선을 출사하는 단계와; 상기 카메라부가 920 nm 내지 960 nm 파장 대역의 적외선을 투과시키는 적외선 필터를 구비하여 상기 얼굴에서 반사되어 입사되는 광으로 상기 적외선 얼굴 이미지를 생성하는 단계와; 위조판별부가 상기 적외선 얼굴 이미지가 포화된 경우에 위조로 판단하고 상기 적외선 얼굴 이미지가 포화되지 않은 경우에 생체로 판단하는 위조판별단계와; 특징점추출부가 상기 적외선 얼굴 이미지에서 특징점을 추출하고 얼굴인식부가 상기 특징점을 이용하여 얼굴인증을 수행하는 단계를 포함한다. 여기서, 상기 기준세기는 기설정된 기준거리 범위에 위치한 위조 얼굴에서 반사된 광이 카메라부가 생성하는 적외선 얼굴 이미지의 픽셀 전체의 픽셀값을 최대값으로 포화시키되 상기 기준거리 범위에 위치한 생체 얼굴에서 반사된 광이 상기 적외선 얼굴 이미지를 포화시키지 않는 세기이다.

인증을 시도하는 얼굴까지의 거리에 따른 적외선 광의 세기 조정

실시 예에 따라, 본 발명의 얼굴인식방법은 상기 위조판별부가 상기 인증을 시도하는 얼굴까지의 거리를 계산하고, 상기 계산된 거리가 상기 기준거리 범위에 속하지 않는 경우에 상기 계산된 거리에 맞추어 상기 엘이디부의 적외선의 세기를 조정하는 단계와; 상기 카메라부가 상기 조정된 적외선 세기로 조명된 얼굴을 다시 촬영하여 적외선 얼굴 이미지를 다시 생성하는 단계와; 상기 위조판별부가 상기 다시 생성한 적외선 얼굴 이미지로 상기 위조판별단계를 다시 수행하는 단계를 포함한다.

다른 실시 예에 따라, 본 발명의 얼굴인식방법은, 상기 위조판별단계에서 상기 인증을 시도하는 얼굴이 위조로 판단된 경우에, 상기 위조판별부가 상기 인증을 시도하는 얼굴까지의 거리를 계산하고, 상기 계산된 거리가 상기 기준거리 범위에 속하지 않는 경우에 상기 계산된 거리에 맞추어 상기 엘이디부의 적외선의 세기를 조정하는 단계와; 상기 카메라부가 상기 조정된 적외선 세기로 조명된 얼굴을 다시 촬영하여 적외선 얼굴 이미지를 다시 생성하고, 상기 위조판별부가 상기 다시 생성한 적외선 얼굴 이미지로 상기 위조판별단계를 다시 수행하는 단계와; 상기 계산된 거리가 상기 기준거리 범위에 속하면 상기 위조판별부가 상기 인증을 시도하는 얼굴이 위조로 확정하는 단계를 포함할 수 있다.

또 다른 실시 예에 따라, 상기 엘이디부의 적외선의 세기를 조정하는 단계에서, 상기 위조판별부는 조도 테이블을 구비하고, 상기 계산된 거리가 상기 기준거리 범위에 속하지 않는 경우에 상기 계산된 거리에 해당하는 적외선의 세기를 상기 조도 테이블에서 조회하여 상기 엘이디부가 출력하는 광 세기를 조정할 수 있다. 여기서, 상기 조도 테이블은 상기 카메라부로부터 상기 인증을 시도하는 얼굴까지 거리에 대해 위조 얼굴은 포화된 적외선 이미지를 생성하고 생체 얼굴은 포화되지 않는 적외선 이미지를 생성하도록 상기 엘이디부의 광 세기를 설정한 것이다.

또 다른 실시 예에 따라, 상기 엘이디부의 적외선의 세기를 조정하는 단계에서, 상기 위조판별부는 상기 적외선 얼굴 이미지에 포착된 얼굴의 두 눈 사이의 거리를 측정하여 상기 인증을 시도하는 얼굴까지의 거리를 계산할 수 있다.

얼굴인식장치

본 발명은 상기에 제시된 동작 단계를 수행하는 엘이디부, 카메라부, 위조판별부, 특징점추출부 및 얼굴인식부를 구비한 얼굴인식장치에도 미친다.

본 발명에 따른 얼굴인식장치는, 종래에 널리 사용되는 850 nm 파장 대역이 아닌, 920nm 내지 960nm 파장의 적외선을 얼굴 인식에 사용하며, 얼굴 인식 시도를 인식한 때에 해당 시도 중인 얼굴 인식이 위조 이미지에 의한 것인지 여부를 확인할 수 있다.

본 발명은 위조판별을 위해 별도의 장치를 사용하거나 별도의 사용자 동작을 요청하지 않기 때문에, 사용자가 얼굴 인증을 시도할 때 위조 판별을 즉시 수행할 수 있고 위조 판별에 이어 얼굴 인식을 바로 수행할 수 있다.

한편, 본 발명의 얼굴인식장치는 적외선 얼굴 이미지와 함께 컬러 얼굴 이미지도 생성할 수 있으며, 컬러 얼굴 이미지는 얼굴 인식과정을 사용자에게 표시하기 위한 사용자 인터페이스용으로 사용하거나, 사용자가 얼굴 인증을 수행한 사실을 기록하기 위한 인증 기록용 로그(Log) 데이터로 사용할 수 있다.

도 1은 본 발명의 얼굴인식장치를 도시한 도면,
도 2는 본 발명의 얼굴인식장치의 블록도,
도 3은 본 발명의 얼굴인식장치의 동작 설명에 제공되는 흐름도, 그리고
도 4는 본 발명의 얼굴인식장치에 적용되는 적외선 필터의 특성 그래프이다.

이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 1 및 도 2를 참조하면, 본 발명의 얼굴인식장치(100)는 엘이디부(111), 카메라부(130) 및 제어부(150)를 포함한다.

본 발명의 얼굴인식장치(100)는 얼굴 인증을 위한 전용장치로 구현될 수도 있고, 출입통제 등과 같은 목적을 위한 출입통제장치의 형태로 구현될 수도 있고, 이동전화기나 컴퓨터 등과 같은 다른 장치에 내장되는 형태로 구현될 수도 있다. 따라서 얼굴인식장치(100)는 필요에 따라 앞서 제시된 구성 이외에 다양한 구성을 더 포함할 수 있다. 예컨대, 키보드(미도시)와 같은 사용자 인터페이스 또는 지문센서(미도시)와 같은 다른 인증 수단, 또는 무선랜(Wireless LAN, 미도시)과 같은 네트워킹 수단 등이 얼굴인식장치(100)에 포함될 수 있다.

한편, 실시 예에 따라, 도 2에 도시된 얼굴인식장치(200)는 도 1의 얼굴 인식장치(100)에 더하여, 사용자의 컬러 얼굴 이미지를 생성하는 컬러 이미지용 카메라(211)와, 컬러 이미지를 표시하는 표시부(213)와, 이들을 수용하는 본체(215)를 더 구비할 수 있다.

엘이디부(111)와 카메라부(130)는 위조판단 및 얼굴 인식을 수행하고자 하는 사용자의 얼굴을 촬영할 수 있도록 본체(215)의 전면(215a)에 배치된다.

엘이디부(111)는 카메라부(130)의 촬영을 위한 조명으로서 적어도 하나의 적외선 엘이디를 구비하며, 제어부(150)의 제어에 따른 조도로 위조판단용 적외선 광 및/또는 얼굴인증용 적외선 광을 출력함으로써, 인증을 시도하는 얼굴을 비춘다. 위조판단용 적외선 광과 얼굴인증용 적외선 광은 구분없이 동일한 광의 세기일 수도 있고, 아래에서 설명하는 모드진행에 따라 각각 다른 세기로 출사될 수 있다.

엘이디부(111)가 사용하는 적외선은 920 내지 960nm 파장 대역에서 선택된 단일 파장을 사용한다. 엘이디부(111)가 출사하는 920 내지 960 nm(±20nm) 파장의 적외선은 인증을 시도하는 얼굴에서 반사되면서 사용자 얼굴 영상으로 바뀐 다음, 카메라부(130)로 다시 입사한다.

카메라부(130)는 본 발명의 얼굴인식장치(100)의 얼굴 인식의 기본 장치로서, 적외선 필터(131), 렌즈부(133) 및 이미지 센서(135)를 포함하여 전방을 촬영한 적외선 이미지를 생성한다. 카메라부(130)가 생성한 적외선 이미지는 제어부(150)에게 제공한다.

아래에서 설명하는 것처럼, 카메라부(130)는 대기모드, 위조판별모드 및 인식모드에서 제어부(150)의 제어에 따라 촬영한다. 위조판별모드는 인식모드를 수행하기 전에 먼저 수행된다. 대기 모드 중에는 촬영 이벤트는 제1 프레임 속도로 주기적으로 반복 발생하지만, 위조판별모드 및 인식모드에서는 한 장의 이미지를 촬영하거나 제2 프레임 속도로 복수 개의 이미지를 촬영할 수 있다. 제1 프레임 속도는 위조판별 모드 및 인식모드에서의 제2 프레임 속도보다 느리게 설정된다. 위조판별모드의 결과에 따라 인식모드가 수행되거나 대기모드로 다시 복귀하게 된다.

위조판별 모드는 얼굴인증을 시도하는 사용자를 대상으로 얼굴 인식 직전에 수행된다. 위조판별 모드에서는 한 장의 이미지 촬영으로 충분할 수도 있고 몇 장의 일련의 이미지가 필요할 수도 있다. 복수 개의 이미지가 필요한 경우에, 위조판별모드와 인식모드가 동일한 제2 프레임 속도로 사용자를 촬영하게 된다.

얼굴 인식을 위해 수행되는 인식모드 중에도, 카메라부(130)는 사용자를 한 번 촬영하여 한 장의 적외선 얼굴 이미지를 생성할 수 있지만, 얼굴 인증의 성공율을 높이기 위해 기설정된 제2 프레임 속도로 복수 개의 적외선 얼굴 이미지를 한꺼번에 생성하는 것이 바람직하다.

적외선 필터(131)는 이미지 센서(135)로 입사되는 광에서 920 내지 960 nm(±20nm) 파장의 적외선 대역을 통과시키고 나머지 파장의 광을 차단하는 대역통과 필터로 구현된다. 따라서. 가시광선이 차단될 뿐만 아니라, 920 내지 960 nm(±20nm) 보다 짧거나 긴 파장의 적외선도 이미지 센서(135)로 입사되지 않고 차단된다.

렌즈부(133)는 사용자의 얼굴 전체를 촬영할 수 있도록 초점 거리와 화각을 조정함으로써 사용자 얼굴에서 반사되어 입사되는 적외선 영상을 이미지 센서(135)로 결상시킨다. 렌즈부(133)는 적외선 필터(131)와 이미지 센서(135) 사이에 마련되거나, 적외선 필터(131)의 전단에 마련될 수 있다. 렌즈부(133)는 통상 하나의 렌즈를 사용하지만 복수 개의 렌즈 조합을 사용할 수도 있다.

엘이디부(111)가 출사하는 920 내지 960 nm(±20nm) 파장의 적외선은 사용자 얼굴에서 반사되면서 사용자 얼굴 영상이 되어 카메라부(130)로 입사된다. 이때 카메라부(130)로 입사되는 얼굴 영상에는 외부 조명이나 자연광에 의한 영상뿐만 아니라 실시 예에 따라 구비한 다른 엘이디부(미도시)에서 출사된 광에 의한 영상도 함께 포함될 수 있지만, 적외선 필터(131)에 의해 차단된다. 카메라부(130)로 입사된 얼굴 영상은 적외선 필터(131)를 통과하면서 적외선 얼굴 영상이 된 다음, 렌즈부(133)에 의해 이미지 센서(135)에 결상된다.

이미지 센서(135)는 적외선 필터(131)와 렌즈부(133)를 통과한 적외선 얼굴 영상으로부터 디지털 이미지, 즉 적외선 얼굴 이미지를 생성하여, 제어부(150)에 제공한다. 이미지 센서(135)는 동작 대역폭에는 920 내지 960nm 파장이 포함되어야 한다. 920 내지 960nm 파장 영역이 이미지 센서(135)의 중심 파장일 필요는 없다. 다만, 일반적인 CMOS(Complementary Metal-Oxide-Semiconductor) 이미지 센서는 가시광선 영역에 최적화되어 있을 뿐만 아니라, 적외선의 영향으로 화질이 나빠지는 것을 방지하기 위해 근적외선 영역을 포함한 적외선 영역의 양자효율을 상당히 낮게 설계되어 있기 때문에, 이미지 센서(135)로 사용할 수 없다.

제어부(150)는 본 발명의 얼굴인식장치(100)의 전반적인 동작을 수행하며, 모드제어부(151), 얼굴검출부(153), 위조판별부(155), 특징점추출부(157) 및 얼굴인식부(159)를 포함하여 본 발명의 얼굴인증에서의 위조판별 및 얼굴 인식과정을 수행한다.

모드제어부(151)는 얼굴인식장치(100)의 동작모드를 제어한다. 본 발명의 동작모드에는 사용자의 접근 정도를 확인하면서 사용자의 얼굴 인증 시도를 기다리는 대기모드와, 인증 시도 중인 얼굴이 위조인지 판단하는 위조판별모드와, 얼굴 인식을 위한 동작을 수행하는 인식모드가 있다.

얼굴인식장치(100)는 일반적으로 대기모드에서 동작하며, 사용자의 접근을 인식되면 위조판별모드로 전환하여 위조 여부를 판단하고, 인식모드로 진행하여 얼굴 인식 이벤트를 수행한다. 대기모드 후에, 위조판별모드와 인식모드 사이의 순서는 중요하지 않다. 따라서 인식모드를 수행한 다음 위조판별모드를 수행해도 무방하다. 또한, 실시 예에 따라, 대기모드 없이 위조판별모드를 바로 수행할 수도 있다.

위조판별모드로의 진입은 사용자의 인증시도를 확인한 때에 이루어지는데, 사용자의 인증시도를 인식하기 위해 별도의 센서(미도시)나 버튼(미도시) 조작을 이용할 수 있다. 예를 들어, 사용자가 버튼 조작을 하거나 근접센서 등이 사용자의 접근을 확인하면 사용자의 접금으로 인식할 수 있다. 버튼 조작 방법은 다른 오류의 가능성이 상대적으로 적지만 사용자의 행동을 요구하기 때문에 불편하고, 센서를 이용하는 방법은 오동작의 가능성이 크다. 이러한 경우, 적어도 카메라부(130)의 동작 모드로서의 대기모드는 필요없다.

사용자의 인증시도를 확인하는 다른 방법으로, 대기모드 중에 얼굴검출부(153)는 카메라부(130)로 하여금 주기적으로 전방을 촬영하여 얼굴 이미지를 생성하도록 하고. 생성한 얼굴 이미지에서 사람의 얼굴이 검출되면 그 검출정보를 모드제어부(151)에게 제공할 수 있다. 모드제어부(151)가 얼굴검출부(153)가 제공하는 검출정보를 이용하여 대기모드를 위조판별모드로 전환할 수 있다.

얼굴검출부(153)는 대기모드 중에 카메라부(130)가 제공하는 이미지에서 얼굴 영역을 검출한다. 얼굴 부분 추출에는 지식 기반 학습 방법, 특징 기반 방법, 템플릿 매칭 방법, 외형 기반 방법 등이 사용될 수 있으며, 종래에 알려진 어떠한 방법이라도 적용할 수 있다.

외형 기반 방법은, 예컨대, 카메라부(130)가 제공하는 적외선 얼굴 이미지에 종래의 이미지 처리방법을 적용하여 대략 원형에 해당하는 얼굴의 외곽선을 추출한 다음, 얼굴 외곽선에서 위치 기반으로 눈과 입을 검출함으로써 얼굴 윤곽을 인식한다.

대기모드 중의 얼굴검출부(153)의 동작은 사용자의 인증 시도를 확인하는데 사용된다. 대기모드 중에 얼굴검출부(153)는 엘이디부(111)를 소등한 상태에서 카메라부(130)로 하여금 제1 프레임 속도로 전방을 촬영하도록 제어한다. 카메라부(130)가 전방을 촬영한 이미지를 제공하면, 얼굴검출부(153)는 이미지 내에 사람의 얼굴 부분이 있는지 정도를 확인함으로써 사용자의 인증시도 여부를 확인할 수 있다.

위조판별부(155)는 위조판별모드 중에 카메라부(130)가 생성한 적외선 이미지를 이용하여 얼굴 인증을 시도하는 사용자 얼굴이 위조된 얼굴인지 생체의 얼굴인지 판단한다. 위조판단을 위해, 본 발명의 얼굴인식장치(100, 200)는 카메라부(130)에서 사용자 얼굴 사이의 거리를 기초로 엘이디부(111)가 출사하는 적외선의 세기에 대한 '조도 테이블'을 구비한다.

위조판별부(155)의 위조 판별방법은 엘이디부(111)가 사용자 얼굴을 비추는 920 내지 960nm(±20nm) 파장의 특징을 이용한다. 920 내지 960 nm 대역 파장은 사용자의 피부 내부로 일정 부분 흡수된다. 반면에 종이나 모바일 기기의 표시장치의 화면(즉, 위조 얼굴)은 920 내지 960 nm 대역의 광을 전면적으로 반사한다. 따라서 엘이디부(111)가 사용자 얼굴을 비출 때, 생체와 위조 얼굴에서 반사되는 적외선의 세기가 달라진다. 엘이디부(111)가 출사하는 적외선의 세기와 사용자 얼굴까지의 거리에 따라, 생체를 촬영한 적외선 이미지는 사용자 얼굴을 인식할 수 있는 이미지가 되는데 반해 위조 얼굴을 촬영한 적외선 이미지는 모든 픽셀의 화소값이 최대값으로 포화되어 사용자를 인식할 수 없는 이미지가 될 수 있다. 따라서 위조 얼굴에서는 포화된 적외선 이미지가 생성되고 생체 얼굴에서는 통상의 적외선 이미지가 생성되도록 하기 위한, 엘이디부(111)가 출사하는 적외선의 세기와 사용자 얼굴까지의 거리의 조합을 구하면 인증 시도한 얼굴이 생체인지 위조인지 판단할 수 있다. 이런 조합은 실험치로 구할 수 있다. 본 발명의 얼굴인식장치(100, 200)는 그 조합에 대한 '조도 테이블'을 구비한다.

한편, 적외선 이미지의 포화정도로 위조를 판단하기 위해서는 외부광의 영향이 최소화되어야 한다. 태양의 복사 조도는 가시광선 영역에서 제일 높고, 적외선 영역에서 파장이 길어질수록 조도가 낮아진다. 900nm 이상 대역에서는 자연광 조도가 급격히 낮아지므로, 카메라부(130)가 920 내지 960 nm 대역만을 통과시킬 경우에 적외선 이미지는 외부광의 영향이 무시할 정도가 된다. 다만, 태양광만으로는 적외선 이미지를 생성하기에 충분한 조도가 아니므로, 엘이디부(111)를 구비하여 해당 파장의 조명을 비추어야 한다. 조도 테이블을 이용한 위조판별부(155)의 위조 판별방법은 아래에서 자세히 설명한다.

특징점추출부(157)는 카메라부(130)가 생성한 적외선 이미지에서 사용자 얼굴의 특징점을 추출한다. 추출된 특징점은 사용자 등록을 위해 사용될 수도 있고, 기등록된 사용자와 비교하기 위한 인증수단으로 사용될 수도 있다.

얼굴인식부(159)는 특징점추출부(157)가 추출한 특징점 데이터를 기등록된 '사용자 등록정보'와 비교하는 방법으로 얼굴 인증을 시도하는 사용자를 인증한다. 사용자 등록정보에는 사용자 얼굴 이미지로부터 추출한 특징점 데이터와 사용자 이미지(컬러 및/또는 적외선 이미지), 사용자에 대한 정보(이름 등) 등을 포함할 수 있다. 얼굴인식장치(100)는 자체적으로 사용자 등록과정을 수행하여 사용자 등록정보를 보유할 수도 있고, 다른 인증장치나 서버로부터 사용자 등록정보를 제공받아 보유할 수도 있다.

특징점추출부(157)와 얼굴인식부(159)는 위조판별부(155)의 위조판별과 무관하게 특징점을 추출하고 얼굴 인식을 수행할 수 있다. 다만, 얼굴인식부(159)는 위조판별부(155)가 생체로 판단한 경우에 인증결과를 표시부(213)에 표시할 수 있다.

실시 예1: 위조판단 (도 3)

이하에서는 제어부(150)의 동작을 중심으로 본 발명의 얼굴인식장치(100)의 위조판단 동작을 설명한다.

<위조판단용 이미지의 획득: S301>

엘이디부(111)는 위조판별부(155)의 제어에 따라 인증 시도 중인 사용자의 얼굴에 위조판단용 적외선을 출사하여 조명하고, 카메라부(130)는 인증을 시도하는 얼굴에서 반사되는 적외선을 이용하여 위조판단용 적외선 이미지를 생성한다. 이때, 엘이디부(111)가 출사하는 적외선의 세기는 위조판별부(155)의 제어에 따라 결정되는데, 인증시도 중인 사용자에 대해 위조판단용 적외선 이미지를 처음 생성할 때는 기준 세기를 사용하도록 설정된다. 엘이디부(111)의 기준 세기는 기설정된 기준거리 범위에 위치한 위조 얼굴에서 반사된 광으로 생성한 적외선 얼굴 이미지의 픽셀 전체의 화소값을 최대값으로 포화시키되 기준거리 범위에 위치한 생체 얼굴에서 반사된 광으로 생성한 적외선 얼굴 이미지는 포화시키지 않도록 설정된 세기다.

한편, 위조판단용 적외선 이미지라도, 기본적으로 얼굴 인증이 가능할 정도의 크기로 얼굴이 포착되어야 한다.

<적외선 이미지의 포화여부로 위조판단: S303, S305, S309>.

위조판별부(155)는 카메라부(130)가 생성한 적외선 이미지가 포화되었는지 판단한다(S303).

만약, 적외선 이미지가 포화되지 않았다면, 위조판별부(155)는 인증 시도 중인 얼굴을 생체로 판단하고(S305), 인증모드로 진입하여 특징점추출부(157)와 얼굴인식부(159)가 얼굴 인증과정을 수행한다(S307).

만약 적외선 이미지가 포화되었다면, 위조판별부(155)는 인증시도 중인 얼굴을 위조로 판단한다. 적외선 이미지의 포화 여부는 다양한 방법으로 확인할 수 있는데, 예를 들어 이미지 전체의 평균 화소값이 기설정된 범위 내에 있으면 포화되지 않은 것으로 판단할 수 있다(S309).

이상의 방법으로 기본적인 위조판별 동작이 수행된다.

한편, 카메라부(130)와 사용자 얼굴 사이의 거리가 적외선의 제1 세기를 정한 기준 거리가 아닌 경우에는 S303 내지 S309 단계의 판단이 부적절할 수 있다. 예를 들어, 사용자가 기준거리보다 멀리 위한 상태에서 촬영된 적외선 이미지에서는 위조 얼굴이라도 카메라부(130)로 입사되는 적외선의 세기가 포화까지 되지 않을 수 있다. 반대로, 사용자가 기준거리보다 가까이 위치한 상태에서 촬영된 적외선 이미지에서는 생체 얼굴이라도 적외선 이미지가 포화될 수 있다. 도 4와 도 5는 이러한 문제를 해결하기 위해 제안된다.

실시 예2: 위조판단 (도 4)

실시 예 2는 도 3의 위조판단 방법을 그대로 이용하면서 다른 실시 예로 제시된다. 따라서 S301 내지 S305 단계는 그대로 수행된다.

<이미지 포화에 따른 얼굴까지의 거리측정: S401>

도 3의 S303 단계의 판단결과 적외선 이미지가 포화되었다면 S309 단계로 진행하는 대신에, S301 단계에서 획득한 적외선 이미지를 이용하여 사용자까지의 거리를 측정한다.

적외선 이미지를 이용하여 사용자 얼굴까지의 거리를 측정하는 방법은 실제 사용자 얼굴의 실제 크기를 확인할 정도의 정밀성을 요구하지 않는다. 예를 들어, 본 발명은 적외선 이미지에 포착된 얼굴에서 두 눈 사이의 거리로 카메라부(130)에서 얼굴 사이의 거리를 대략 추정할 수 있다. 이러한 추정치만으로도 적외선 이미지의 포화여부로 위조 얼굴을 판단하는데 엘이디부(111)의 조도가 적절한지를 판단하기에 충분하다.

<엘이디부의 조도의 적절성 판단: S403>

위조판별부(155)는 엘이디부(111)의 조도가 S401 단계에서 측정한 거리에 적합한지 여부를 조도 테이블을 조회하여 판단한다.

이를 위해, 앞서 설명한 것처럼, 조도 테이블에는 거리별(또는 거리구간별) 엘이디부(111)의 광 세기가 지정되어 있으며, 이러한 광 세기는 실험으로 구할 수 있다. 실시 예에 따라, 조도 테이블에는 기준거리, 근접거리 및 원거리의 3구간으로 구분된 거리범위가 설정되고 해당 거리범위별로 엘이디부(111)의 조도가 설정되는 것이 바람직하다. 예를 들어, 거리별 엘이디부(111)의 조도(광의 세기)에 대한 '조도 테이블'은 다음의 표 1과 같이 설정할 수 있다.

얼굴까지 거리범위	엘이디부의 조도
기준거리 (1m±20㎝)	제1 조도(기준세기)
근접거리 (80㎝ 이내)	제2 조도
원거리 (120㎝ 이상)	제3 조도

제1 조도는 제2 조도보다 크고 제3 조도보다 작은 값으로 설정한다. 원거리의 경우에, 120㎝ 이상으로 정하더라도 적어도 S301 단계에서 얼굴 인식시도를 확인할 정도의 이미지이므로 한정이 없는 것이 아니다.

예를 들어, 적외선 이미지가 엘이디부(111)가 기준세기로 얼굴을 비추어 촬영한 것이고 S401 단계에서 측정한 거리가 예를 들어 기준거리 범위에 속하지 않는 경우에, 위조판별부(155)는 측정한 거리에 맞추어 엘이디부(111)가 출사하는 적외선의 세기를 조정하게 된다.

<엘이디부의 조도가 적절한 경우에 위조로 판단: S405>

S403 단계의 판단결과 엘이디부(111)의 조도가 S401 단계에서 측정한 거리에 적합한 경우라면, 도 3의 S303 단계에서 적외선 이미지가 포화된 상태이었으므로 위조판별부(155)는 인증시도 중인 얼굴이 위조된 얼굴로 확정한다.

<엘이디부의 조도 변경: S407>

S403 단계의 판단결과 엘이디부(111)의 조도가 S401 단계에서 측정한 거리에 적합하지 않은 것으로 판단되면, 위조판별부(155)는 S401 단계에서 측정한 거리에 부합하는 조도를 조도 테이블에서 조회하여 엘이디부(111)의 조도를 변경한 다음, S301 단계로 진행하여 카메라부(130)로 하여금 위조판별용 적외선 이미지를 다시 생성하도록 한다.

예를 들어, S401 단계에서 측정한 거리가 조도 테이블의 근거리에 해당해서 S303 단계에서 이미지가 포화된 경우라면, 엘이디부(111)의 조도를 제2 조도로 낮추어 다시 위조판단을 해야한다.

도 4의 실시 예에 의하면, 사용자가 카메라부(130)와 너무 가까이 위치함에 따라, 인증시도 중인 얼굴이 위조로 판단되는 문제를 해결한다.

실시 예3: 위조판단 (도 5)

도 5의 실시 예에 따른 위조 판단은, 인증시도 중인 얼굴까지의 거리를 먼저 측정하여 엘이디부(111)의 조도를 맞춘 다음에 위조판별용 적외선 이미지를 생성하는 방법이다.

<인증시도 중인 얼굴까지의 거리 측정: S501, S503>

위조판별부(155)는 카메라부(130)가 생성한 적외선 이미지를 이용하여 사용자 얼굴까지의 거리를 측정한다. 이때의 거리측정방법은 S401 단계에서 사용하는 방법처럼, 적외선 이미지에 포착된 사용자 얼굴의 두 눈 사이의 거리를 이용하여 대략의 거리를 측정하는 방법을 그대로 사용할 수 있다.

한편, 카메라부(130)가 생성한 적외선 이미지는 인증시도 중인 사용자 얼굴을 촬영한 적외선 이미지이면 충분하며, 위조판별용으로 생성한 것이 아니어도 무방하다. 예를 들어, 얼굴검출부(153)가 대기모드 중에 카메라부(130)가 촬영한 이미지 중에서 인증시도 중인 사용자 얼굴을 처음 확인한 때의 적외선 이미지를 사용할 수 있다.

<거리에 적합한 적외선 조도에서 새로운 이미지 생성: S505, S507>

위조판별부(155)는 S501 단계에서 측정한 거리를 이용하여 엘이디부(111)의 조도를 조도 테이블에서 조회하여 결정한 다음 엘이디부(111)가 결정한 광 세기의 적외선을 출사하도록 제어한다(S505).

카메라부(130)는 위조판별부(155)의 제어에 따라 새로운 조도로 인증시도 중이 얼굴을 조명하고 위조판별용 적외선 이미지를 다시 생성한다(S507).

<적외선 이미지의 포화여부로 위조판단: S509 내지 S515>.

위조판별부(155)는 S505 단계에서 카메라부(130)가 생성한 적외선 이미지가 포화되었는지 판단한다(S509). 만약, 적외선 이미지가 포화되지 않았다면 생체로 판단한다(S511). 인증 시도 중인 얼굴이 생체로 판단되면, 인증모드로 진입하여 특징점추출부(157)와 얼굴인식부(159)가 얼굴 인증과정을 수행한다(S513).

만약 적외선 이미지가 포화되었다면, 위조판별부(155)는 인증시도 중인 얼굴을 위조로 판단한다(S515).

이상의 방법으로 위조판별 동작이 수행된다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (10)

1. 얼굴인식장치의 얼굴 인식방법에 있어서,
   엘이디부가 920 nm 내지 960 nm 파장 대역에서 선택된 적외선 광을 출사하는 적어도 하나의 적외선 엘이디를 구비하여 인증을 시도하는 얼굴을 향해 기설정된 기준세기의 적외선을 출사하되, 상기 기준세기는 기설정된 기준거리 범위에 위치한 위조 얼굴에서 반사된 광이 카메라부가 생성하는 적외선 얼굴 이미지의 픽셀 전체의 픽셀값을 최대값으로 포화시키되 상기 기준거리 범위에 위치한 생체 얼굴에서 반사된 광이 상기 적외선 얼굴 이미지를 포화시키지 않는 세기인 단계;
   상기 카메라부가 920 nm 내지 960 nm 파장 대역의 적외선을 투과시키는 적외선 필터를 구비하여 상기 얼굴에서 반사되어 입사되는 광으로 상기 적외선 얼굴 이미지를 생성하는 단계;
   위조판별부가 상기 적외선 얼굴 이미지가 포화된 경우에 위조로 판단하고 상기 적외선 얼굴 이미지가 포화되지 않은 경우에 생체로 판단하는 위조판별단계;
   특징점추출부가 상기 적외선 얼굴 이미지에서 특징점을 추출하고 얼굴인식부가 상기 특징점을 이용하여 얼굴인증을 수행하는 단계;
   상기 위조판별부가 상기 적외선 얼굴 이미지를 이용해 상기 인증을 시도하는 얼굴까지의 거리를 추정하고, 상기 추정된 거리가 상기 기준거리 범위에 속하지 않는 경우에 상기 추정된 거리에 맞추어 상기 엘이디부의 적외선의 세기를 조정하는 단계;
   상기 카메라부가 상기 조정된 적외선 세기로 조명된 얼굴을 다시 촬영하여 적외선 얼굴 이미지를 다시 생성하는 단계; 및
   상기 위조판별부가 상기 다시 생성한 적외선 얼굴 이미지로 상기 위조판별단계를 다시 수행하는 단계를 포함하는 것을 특징으로 하는 얼굴인식장치의 얼굴 인식방법.
   
2. 삭제
3. 제1항에 있어서,
   상기 위조판별단계에서 상기 인증을 시도하는 얼굴이 위조로 판단된 경우에, 상기 위조판별부가 상기 적외선 얼굴 이미지를 이용해 상기 인증을 시도하는 얼굴까지의 거리를 추정하고, 상기 추정된 거리가 상기 기준거리 범위에 속하지 않는 경우에 상기 추정된 거리에 맞추어 상기 엘이디부의 적외선의 세기를 조정하는 단계;
   상기 카메라부가 상기 조정된 적외선 세기로 조명된 얼굴을 다시 촬영하여 적외선 얼굴 이미지를 다시 생성하고, 상기 위조판별부가 상기 다시 생성한 적외선 얼굴 이미지로 상기 위조판별단계를 다시 수행하는 단계; 및
   상기 추정된 거리가 상기 기준거리 범위에 속하면 상기 위조판별부가 상기 인증을 시도하는 얼굴이 위조로 확정하는 단계를 포함하는 것을 특징으로 하는 얼굴인식장치의 얼굴 인식방법.
   
4. 제3항에 있어서,
   상기 엘이디부의 적외선의 세기를 조정하는 단계에서, 상기 위조판별부는 조도 테이블을 구비하고, 상기 추정된 거리가 상기 기준거리 범위에 속하지 않는 경우에 상기 추정된 거리에 해당하는 적외선의 세기를 상기 조도 테이블에서 조회하여 상기 엘이디부가 출력하는 광 세기를 조정하되,
   상기 조도 테이블은 상기 카메라부로부터 상기 인증을 시도하는 얼굴까지 거리에 대해 위조 얼굴은 포화된 적외선 이미지를 생성하고 생체 얼굴은 포화되지 않는 적외선 이미지를 생성하도록 상기 엘이디부의 광 세기를 설정한 것임을 특징으로 하는 얼굴인식장치의 얼굴 인식방법.
   
5. 제3항에 있어서,
   상기 엘이디부의 적외선의 세기를 조정하는 단계에서, 상기 위조판별부는 상기 적외선 얼굴 이미지에 포착된 얼굴의 두 눈 사이의 거리를 측정하여 상기 인증을 시도하는 얼굴까지의 거리를 추정하는 것을 특징으로 하는 얼굴인식장치의 얼굴 인식방법.
   
6. 얼굴인식장치에 있어서,
   920 nm 내지 960 nm 파장 대역에서 선택된 적외선 광을 출사하는 적어도 하나의 적외선 엘이디를 구비하여 인증을 시도하는 얼굴을 향해 기설정된 기준세기의 적외선을 출사하는 엘이디부. 상기 기준세기는 기설정된 기준거리 범위에 위치한 위조 얼굴에서 반사된 광이 카메라부가 생성하는 적외선 얼굴 이미지의 픽셀 전체의 픽셀값을 최대값으로 포화시키되 상기 기준거리 범위에 위치한 생체 얼굴에서 반사된 광이 상기 적외선 얼굴 이미지를 포화시키지 않는 세기임;
   920 nm 내지 960 nm 파장 대역의 적외선을 투과시키는 적외선 필터를 구비하여, 상기 얼굴에서 반사되어 입사되는 광으로 상기 적외선 얼굴 이미지를 생성하는 상기 카메라부;
   상기 적외선 얼굴 이미지를 기초로 위조여부를 판단하되, 상기 적외선 얼굴 이미지가 포화된 경우에 위조로 판단하고 상기 적외선 얼굴 이미지가 포화되지 않은 경우에 생체로 판단하는 위조판별부;
   상기 카메라부가 생성한 적외선 얼굴 이미지로 특징점을 추출하는 특징점추출부; 및
   상기 특징점을 이용하여 얼굴 인증절차를 수행하는 얼굴인식부를 포함하고,
   상기 위조판별부는, 상기 적외선 얼굴 이미지를 이용해 상기 인증을 시도하는 얼굴까지의 거리를 추정하고, 상기 추정된 거리가 상기 기준거리 범위에 속하지 않는 경우에 상기 추정된 거리에 맞추어 상기 엘이디부가 출사하는 적외선의 세기를 조정하고 상기 카메라부가 다시 생성한 적외선 얼굴 이미지로 위조 여부를 판단하는 것을 특징으로 하는 얼굴인식장치.
   
7. 삭제
8. 제6항에 있어서,
   위조판별단계에서 상기 인증을 시도하는 얼굴이 위조로 판단된 경우에,
   상기 위조판별부는 상기 적외선 얼굴 이미지를 이용해 상기 인증을 시도하는 얼굴까지의 거리를 추정하고, 상기 추정된 거리가 상기 기준거리 범위에 속하지 않는 경우에 상기 추정된 거리에 맞추어 상기 엘이디부가 출사하는 적외선의 세기를 조정하고 상기 카메라부가 다시 생성한 적외선 얼굴 이미지로 위조 여부를 다시 판단하고, 상기 추정된 거리가 상기 기준거리 범위에 속하면 상기 인증을 시도하는 얼굴이 위조로 확정하는 것을 특징으로 하는 얼굴인식장치.
   
9. 제8항에 있어서,
   상기 위조판별부는, 조도 테이블을 구비하고, 상기 추정된 거리가 상기 기준거리 범위에 속하지 않는 경우에 상기 추정된 거리에 해당하는 적외선의 세기를 상기 조도 테이블에서 조회하여 상기 엘이디부가 출력하는 광 세기를 조정하되,
   상기 조도 테이블은 상기 카메라부로부터 상기 인증을 시도하는 얼굴까지 거리에 대해 위조 얼굴은 포화된 적외선 이미지를 생성하고 생체 얼굴은 포화되지 않는 적외선 이미지를 생성하도록 상기 엘이디부의 광 세기를 설정한 것임을 특징으로 하는 얼굴인식장치.
   
10. 제8항에 있어서,
    상기 위조판별부는 상기 적외선 얼굴 이미지에 포착된 얼굴의 두 눈 사이의 거리를 측정하여 상기 인증을 시도하는 얼굴까지의 거리를 추정하는 것을 특징으로 하는 얼굴인식장치.
    

Images