KR20190098656A - 라이브니스 검증 방법 및 장치 - Google Patents

Abstract

라이브니스 검증 방법 및 장치가 제공된다. 라이브니스 검증 장치는 적외선 영상 및 컬러 영상의 다양한 영상 패치를 추출하고, 해당 영상 패치에 대응하는 라이브니스 모델을 선택하여, 영상 패치로부터 객체의 라이브니스를 검증할 수 있다.

Description

라이브니스 검증 방법 및 장치{METHOD AND DEVICE TO VERIFY LIVENESS}

이하, 객체의 라이브니스를 검증하는 기술이 제공된다.

사용자 인증 시스템(userauthenticationsystem)에서 컴퓨팅 장치는 사용자에 의해 제공되는 인증 정보(authentication information)에 기초하여 해당 컴퓨팅 장치에 대한 액세스를 허용할지 여부를 결정할 수 있다. 인증 정보는 사용자에 의해 입력되는 패스워드 또는 사용자의 생체 정보(biometric information) 등을 포함할 수 있다. 생체 정보는 지문(fingerprint), 홍채(iris) 또는 얼굴에 대한 정보를 포함한다.

최근, 사용자 인증 시스템을 위한 보안 방법으로서, 얼굴 스푸핑 방지(face anti-spoofing) 기술에 대한 관심이 증가하고 있다. 얼굴 스푸핑 방지는 컴퓨팅 장치에 입력된 사용자의 얼굴이 위조 얼굴(fake face)인지 아니면 진짜 얼굴(genuine face)인지 여부를 구별한다. 이를 위해, 입력 영상에서 LBP(Local Binary Patterns), HOG(Histogram of Oriented Gradients), DoG(Difference of Gaussians) 등과 같은 특징들(features)이 추출되고, 추출된 특징들에 기반하여 입력된 얼굴이 위조 얼굴인지 여부가 판정된다. 얼굴 스푸핑은 사진, 동영상 또는 마스크 등을 이용하는 공격 형태를 가지며, 얼굴 인증에 있어 이러한 공격들을 구별해 내는 것은 중요하다.

일 실시예에 따른 라이브니스(liveness) 검증 방법은, 제1 영상 또는 제2 영상에서 검출되는 객체 부위(object part)에 기초하여, 라이브니스 모델(liveness model)을 선택하는 단계; 및 상기 선택된 라이브니스 모델에 기초하여, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나로부터 객체의 라이브니스(liveness)를 검증하는 단계를 포함할 수 있다.

상기 라이브니스 모델을 선택하는 단계는, 상기 제1 영상 및 상기 제2 영상에서 대상 부위가 검출되는 경우에 응답하여, 상기 라이브니스 모델로서 제1 검증 모델(first verification model) 및 제2 검증 모델(second verification model) 중 적어도 하나를 선택하는 단계를 포함할 수 있다.

상기 객체의 라이브니스를 검증하는 단계는, 상기 제1 영상 중 상기 대상 부위에 대응하는 제1 영상 패치로부터 상기 제1 검증 모델에 기초하여 산출된 제1 라이브니스 점수 및 상기 제2 영상 중 상기 대상 부위에 대응하는 제2 영상 패치로부터 상기 제2 검증 모델에 기초하여 산출된 제2 라이브니스 점수 중 적어도 하나에 기초하여, 상기 객체의 라이브니스를 검증하는 단계를 포함할 수 있다.

상기 객체의 라이브니스를 검증하는 단계는, 상기 제2 검증 모델에 기초하여, 상기 제2 영상의 객체 영역 패치, 제1 대상 영역 패치, 및 제2 대상 영역 패치 중 적어도 하나로부터 제2 라이브니스 점수를 산출하는 단계를 포함할 수 있다.

상기 객체의 라이브니스를 검증하는 단계는, 상기 제1 검증 모델에 기초하여, 상기 제1 영상의 전체 영역 패치, 객체 영역 패치, 및 관심 영역 패치 중 적어도 하나로부터 제1 라이브니스 점수를 산출하는 단계를 포함할 수 있다.

상기 라이브니스 모델을 선택하는 단계는, 상기 제1 영상의 미리 정한 영역 내에 대상 부위가 위치되는 경우에 응답하여, 부위 비교 모델(part comparison model)을 선택하는 단계를 포함할 수 있다.

상기 라이브니스를 검증하는 단계는, 부위 비교 모델에 기초하여, 대상 부위에 대응하는 제1 영상 패치 및 상기 대상 부위에 대응하는 제2 영상 패치로부터 상기 객체의 라이브니스를 검증하는 단계를 포함할 수 있다.

상기 라이브니스를 검증하는 단계는, 상기 부위 비교 모델 중 특징 추출 모델에 기초하여, 상기 제1 영상 패치로부터 제1 부위 특징을 추출하는 단계; 상기 특징 추출 모델에 기초하여, 제2 패치로부터 제2 부위 특징을 추출하는 단계; 및 상기 제1 부위 특징 및 상기 제2 부위 특징 간의 차이(difference)에 기초하여 상기 객체의 라이브니스를 검증하는 단계를 포함할 수 있다.

상기 라이브니스를 검증하는 단계는, 상기 부위 비교 모델에 기초하여, 상기 제1 영상 패치 및 상기 제2 영상 패치 간의 차분 정보(differential information)로부터 상기 객체의 라이브니스를 검증하는 단계를 포함할 수 있다.

상기 라이브니스를 검증하는 단계는, 상기 제1 영상으로부터 추출된 대상 부위에 대응하는 제1 영상 패치 및 상기 제1 영상 패치에 응답하여 결정된 제2 영상 패치 간의 상호상관도(correlation level)에 기초하여, 상기 객체의 라이브니스를 검증하는 단계를 포함할 수 있다.

라이브니스 검증 방법은 상기 제1 영상으로서 컬러 영상을 획득하고, 상기 제2 영상으로서 적외선 영상을 획득하는 단계를 더 포함하고, 상기 라이브니스 모델을 선택하는 단계는, 상기 컬러 영상에서 대상 부위가 검출되는 경우에 응답하여, 컬러 검증 모델을 선택하는 단계; 및 상기 대상 부위가 상기 컬러 영상의 미리 정한 영역을 벗어나서 위치되고, 상기 객체의 적어도 일부가 상기 미리 정한 영역 내에 위치되는 경우에 응답하여, 적외선 영역 모델을 선택하는 단계를 포함할 수 있다.

상기 라이브니스 모델을 선택하는 단계는, 상기 제2 영상으로부터 상기 객체의 동공이 검출되는 경우에 응답하여, 동공 모델을 선택하는 단계를 포함하고, 상기 라이브니스를 검증하는 단계는, 상기 동공 모델에 기초하여, 상기 동공에 대응하는 동공 패치로부터 상기 객체의 라이브니스를 검증하는 단계를 포함할 수 있다.

상기 라이브니스를 검증하는 단계는, 상기 객체에 대한 라이브니스의 검증이 미리 정한 횟수 이상 실패하는 경우에 응답하여, 상기 라이브니스 모델에 기초하여 산출되는 라이브니스 점수에 대한 라이브니스 임계(liveness threshold)를 증가시키는 단계를 포함할 수 있다.

라이브니스 검증 방법은 상기 제2 영상 내에 대상 부위가 위치되지 않는 경우에 응답하여, 상기 라이브니스 임계로서 제1 임계 값을 결정하는 단계; 상기 제2 영상 내에 하나의 대상 부위가 위치되는 경우에 응답하여, 상기 라이브니스 임계로서 상기 제1 임계 값보다 작은 제2 임계 값을 결정하는 단계; 상기 제2 영상 내에 복수의 대상 부위들이 위치되는 경우에 응답하여, 상기 라이브니스 임계로서 상기 제2 임계 값보다 작은 제3 임계 값을 결정하는 단계; 상기 제2 영상 내에 하나의 동공이 검출되는 경우에 응답하여, 상기 라이브니스 임계로서 상기 제3 임계 값보다 작은 제4 임계 값을 결정하는 단계; 및 상기 제2 영상 내에 복수의 동공들이 검출되는 경우에 응답하여, 상기 라이브니스 임계로서 상기 제4 임계 값보다 작은 제5 임계 값을 결정하는 단계를 더 포함할 수 있다.

상기 라이브니스를 검증하는 단계는, 상기 라이브니스 모델에 기초하여, 상기 제1 영상 및 상기 제2 영상으로부터 상기 객체에 대한 라이브니스 점수와 함께 위조 정보(fake information)를 결정하는 단계를 포함할 수 있다.

상기 라이브니스를 검증하는 단계는, 상기 라이브니스 모델에 기초하여, 상기 제1 영상에 나타나는 객체 부위에 대응하는 제1 영상 패치 및 상기 제2 영상에 나타나는 객체 부위에 대응하는 제2 영상 패치 중 적어도 하나로부터 라이브니스 점수를 산출하는 단계; 상기 라이브니스 점수가 라이브니스 임계 이상인 경우에 응답하여, 실제 객체(real object)에 대한 영상이 획득된 것으로 결정하는 단계; 및 상기 라이브니스 점수가 라이브니스 임계 미만인 경우에 응답하여, 가짜 객체(fake object)에 대한 영상이 획득된 것으로 결정하는 단계를 포함할 수 있다.

상기 라이브니스를 검증하는 단계는, 상기 라이브니스 모델에 기초하여, 상기 제2 영상 중 상기 객체의 양 눈(both eyes)에 대응하는 제2 영상 패치들로부터 상기 객체의 라이브니스를 검증하는 단계를 포함할 수 있다.

다른 일 실시예에 따른 라이브니스 검증 방법은, 제1 영상으로부터 객체 부위에 대응하는 제1 영상 패치 및 제2 영상으로부터 상기 객체 부위에 대응하는 제2 영상 패치를 추출하는 단계; 및 상기 제1 영상 패치 및 상기 제2 영상 패치 간의 차분 정보(differential information)에 기초하여 상기 객체의 라이브니스를 검증하는 단계를 포함할 수 있다.

일 실시예에 따른 라이브니스 검증 장치는, 제1 영상 및 제2 영상을 획득하는 영상 획득부; 및 상기 제1 영상 또는 상기 제2 영상에서 검출되는 객체 부위에 기초하여, 라이브니스 모델을 선택하고, 상기 선택된 라이브니스 모델에 기초하여, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나로부터 객체의 라이브니스를 검증하는 프로세서를 포함할 수 있다.

도 1은 일 실시예에 따른 라이브니스 검증 시스템을 설명하는 도면이다.
도 2 내지 도 4는 일 실시예에 따른 라이브니스 검증 방법을 설명하는 흐름도이다.
도 5 내지 도 7은 일 실시예에 따른 적외선 검증 모델을 설명하는 도면이다.
도 8a, 도 8b, 도 9 및 도 10은 일 실시예에 따른 부위 비교 모델을 구체적으로 설명하는 도면이다.
도 11 내지 도 13은 일 실시예에 따른 적외선 검증 모델을 설명하는 도면이다.
도 14는 일 실시예에 따른 부위 비교를 설명하는 도면이다.
도 15 및 도 16은 사용자 인증의 위조 시도를 설명하는 도면이다.
도 17 및 도 18은 일 실시예에 따른 라이브니스 검증이 적용되는 예시를 설명한다.
도 19 및 도 20은 일 실시예에 따른 라이브니스 검증 장치의 구성을 설명하는 블록도이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 일 실시예에 따른 라이브니스 검증 시스템을 설명하는 도면이다.

본 명세서에서 인식(recognition)은 검증(verification) 및 식별(identification)을 포함할 수 있다. 검증은 입력 데이터가 참인지 거짓인지를 판단하는 동작을 나타낼 수 있고, 식별은 복수의 레이블들 중 입력 데이터가 지시하는 레이블(label)을 판단하는 동작을 나타낼 수 있다.

라이브니스 검증은 검증 대상인 객체가 라이브(live)한지 여부를 검증하는 것으로, 예를 들어 카메라를 통해 촬영된 얼굴이 진짜 얼굴인지 아니면 위조 얼굴인지 여부를 검증하는 것이다. '라이브니스'는 생명이 없는 객체(예를 들어, 위조(fake) 수단으로서 사용된 사진, 영상 및 모형)와 생명이 있는 객체(예를 들어, 살아있는 사람) 사이를 구별하기 위한 용어로서 이용될 수 있다. 일 실시예에 따르면, 라이브니스 검증은 사용자 로그인, 결제 서비스 또는 출입 통제 등에서 수행되는 사용자 인증(userauthentication)과 관련하여 인증 대상(authentication target)의 라이브니스를 검증하는데 이용될 수 있다. 라이브니스 검증은 사진, 동영상, 마스크 또는 모형과 같은 대체물을 이용한 인증 시도(스푸핑 공격)를 걸러내어 오인증(erroneous authentication)을 방지하는 역할을 한다.

일 실시예에 따르면, 라이브니스 검증 장치는 컴퓨팅 장치에 포함되어 동작할 수 있다. 컴퓨팅 장치는 예를 들어, 스마트폰, 웨어러블 기기(wearable device), 태블릿 컴퓨터, 넷북, 랩탑, 데스크탑, PDA(personal digital assistant), 셋탑 박스, 가전 기기, 생체 도어락, 보안 장치 또는 차량 시동 장치일 수 있다.

위 과정에서, 라이브니스 검증 장치는 카메라에 의해 캡쳐된 영상에 나타난 다양한 요소들을 종합적으로 고려하여 라이브니스를 검증한다. 예를 들어, 라이브니스 검증 장치는 캡쳐된 영상에 나타난 컨텍스트(context) 정보, 전체 얼굴의 형상(shape) 정보 및 부분 얼굴의 텍스쳐(texture) 정보를 고려하여 검증 대상의 라이브니스를 결정할 수 있다. 검증 대상이 원거리에 있을 때 촬영된 영상에는 검증 대상이 전자 기기의 화면인지 또는 종이인지 여부에 대한 단서가 포함될 수 있다. 예를 들어, 전자 기기 또는 종이를 들고 있는 사용자의 손이 영상에 나타날 수 있고, 이는 검증 대상이 위조된 것이라고 판단할 수 있는 단서가 된다. 컨텍스트 정보를 고려함으로써 이러한 위조 시도 상황을 효과적으로 검증할 수 있다. 또한, 전체 얼굴의 형상 정보를 통해, 빛의 반사 및 형상의 왜곡 등이 라이브니스 검증 결과에 고려될 수 있다. 예를 들어, 위조 수단 중 하나인 사진 또는 종이의 빛 반사는 사람의 진짜 얼굴과 다르고, 사진 또는 종이의 휘어짐 또는 구김으로 인하여 모양의 왜곡이 발생할 수 있다. 이러한 요소를 고려하여 라이브니스 검증이 수행될 수 있다. 그리고, 텍스쳐 정보를 통해, 사람의 피부와 종이/전자 기기의 화면 사이를 구분할 수 있는 미세한 텍스쳐의 차이가 고려될 수 있다. 이와 같이, 다양한 요소들을 종합적으로 고려하는 것에 의해 검증 대상의 라이브니스가 보다 정확히 판단될 수 있다.

일 실시예에 따르면, 도 1에 도시된 바와 같이, 라이브니스 검증 장치는 제1 영상(101) 및 제2 영상(102)에 기초하여 객체의 라이브니스를 검증할 수 있다.

라이브니스 검증 장치는 제1 영상(101) 또는 제2 영상(102)에서 검출되는 객체 부위를 판단할 수 있다. 라이브니스 검증 장치는 검출되는 객체 부위에 따라, 다른 라이브니스 모델을 선택할 수 있다.

예를 들어, 라이브니스 검증 장치는 제1 영상(101)으로부터 얼굴을 검출(111)할 수 있다. 제1 영상(101)은 예를 들어, 제1 시야각(FOV, field of view)(112)을 가질 수 있다. 라이브니스 검증 장치는 검출된 객체 부위인 얼굴에 대응하는 라이브니스 모델을 선택할 수 있다. 도 1에서 라이브니스 검증 장치는 얼굴 부위에 대응하는 라이브니스 모델로서 제1 라이브니스 모델(131), 제2 라이브니스 모델(132), 제3 라이브니스 모델(133)을 선택할 수 있다.

라이브니스 검증 장치는 선택된 라이브니스 모델들(131, 132, 133)에 사용하기 위한 패치를 제1 영상(101)으로부터 추출할 수 있다. 예를 들어, 라이브니스 검증 장치는 제1 영상(101)으로부터 전체 영역 패치(113), 객체 영역 패치(114), 및 관심 영역(ROI, region of interest) 패치(115)를 추출할 수 있다.

본 명세서에서 전체 영역은 영상의 전체를 나타내는 영역일 수 있고, 객체 영역은 영상에서 객체를 나타내는 영역일 수 있으며, 관심 영역은 객체의 특징을 나타내는 영역일 수 있다. 객체는 예를 들어, 사람의 얼굴일 수 있다. 객체가 사람의 얼굴인 경우, 객체의 특징은 예를 들어, 얼굴의 눈, 코, 및 입을 나타낼 수 있다. 전체 영역 패치(113)는 영상의 전체에 대응하는 영상 패치(image patch)일 수 있다. 객체 영역 패치(114)는 영상에서 객체 영역을 포함하는 영상 패치일 수 있다. 관심 영역 패치(114)는 영상에서 관심 영역을 포함하는 영상 패치일 수 있다.

라이브니스 검증 장치는 제1 검증 모델에 기초하여, 제1 영상(101)의 전체 영역 패치(113), 객체 영역 패치(114), 및 관심 영역 패치(115) 중 적어도 하나로부터 제1 라이브니스 점수를 산출할 수 있다. 예를 들어, 제1 검증 모델은 제1 라이브니스 모델(131), 제2 라이브니스 모델(132), 및 제3 라이브니스 모델(133) 중 적어도 하나를 포함할 수 있다. 다만, 제1 검증 모델을 이로 한정하는 것은 아니고, 제1 영상(101)에 대응하는 패치에 기초하여 트레이닝된 다양한 모델을 나타낼 수 있다. 제1 영상(101)이 컬러 영상인 경우, 제1 검증 모델은 컬러 검증 모델일 수 있다.

라이브니스 검증 장치는 전체 영역 패치(113)를 제1 라이브니스 모델(131)에 입력하여 제1 라이브니스 판단 결과(141)(예를 들어, 라이브니스 점수)를 산출할 수 있다. 라이브니스 검증 장치는 객체 영역 패치(114)를 제2 라이브니스 모델(132)에 입력하여 제2 라이브니스 판단 결과(142)를 산출할 수 있다. 라이브니스 검증 장치는 관심 영역 패치(115)를 제3 라이브니스 모델(133)에 입력하여 제3 라이브니스 판단 결과(143)를 산출할 수 있다.

또한, 라이브니스 검증 장치는 라이브니스 판단 결과들(141, 142, 143)을 앙상블함으로써, 제1 라이브니스 점수를 산출할 수 있다. 제1 라이브니스 점수는 제1 영상(101)에 기초하여 산출된 라이브니스 점수를 나타낼 수 있다. 제1 영상(101)이 컬러 영상인 경우, 제1 라이브니스 점수를 컬러 라이브니스 점수라고도 나타낼 수 있다. 라이브니스 점수는 객체의 라이브니스를 검증하기 위해 산출된 점수를 나타낼 수 있다.

그리고 라이브니스 검증 장치는 제2 영상(102)으로부터 객체의 대상 부위(예를 들어, 눈 부위)를 검출(121)할 수 있다. 제2 영상(102)은 예를 들어, 제1 시야각(112)보다 작은 제2 시야각(122)을 가질 수 있다. 다만, 제2 영상(102)의 제2 시야각(122)을 이로 한정하는 것은 아니다. 제1 시야각(112) 및 제2 시야각(122)은 동일할 수도 있다. 라이브니스 검증 장치는 검출된 대상 부위에 대응하는 라이브니스 모델을 선택할 수도 있다. 도 1에서 라이브니스 검증 장치는 대상 부위에 대응하는 라이브니스 모델로서 제4 라이브니스 모델(134) 및 제5 라이브니스 모델(135)을 선택할 수 있다.

라이브니스 검증 장치는 선택된 라이브니스 모델들(134, 135)에 사용하기 위한 패치를 제2 영상(102)으로부터 추출할 수 있다. 예를 들어, 라이브니스 검증 장치는 제2 영상(102)으로부터 객체 영역 패치(123), 제1 대상 영역 패치(124), 및 제2 대상 영역 패치(125)를 추출할 수 있다.

본 명세서에서 대상 영역은 객체의 대상 부위(target part)를 나타내는 영역일 수 있다. 대상 부위는 객체의 라이브니스를 검증하기 위해 객체에 대해 지정되는 부위를 나타낼 수 있다. 예를 들어, 객체가 사람의 얼굴인 경우, 대상 부위는 사람의 눈일 수 있다. 제1 대상 부위는 좌안 및 우안 중 어느 하나일 수 있고, 제2 대상 부위는 나머지 눈(other eye)일 수 있다. 대상 영역 패치는 영상에서 대상 영역을 포함하는 영상 패치일 수 있다. 제1 대상 영역 패치(124)는 예를 들어, 좌안 영역을 포함하는 영상 패치일 수 있고, 제2 대상 영역 패치(125)는 예를 들어, 우안 영역을 포함하는 영상 패치일 수 있다.

라이브니스 검증 장치는 제2 검증 모델에 기초하여, 제2 영상(102)의 객체 영역 패치(123), 제1 대상 영역 패치(124), 및 제2 대상 영역 패치(125) 중 적어도 하나로부터 제2 라이브니스 점수를 산출할 수 있다. 예를 들어, 제2 검증 모델은 제4 라이브니스 모델(134) 및 제5 라이브니스 모델(135) 중 적어도 하나를 포함할 수 있다. 다만, 제2 검증 모델을 이로 한정하는 것은 아니고, 제2 영상(102)에 대응하는 패치에 기초하여 트레이닝된 다양항 모델을 나타낼 수 있다. 제2 영상(102)이 적외선 영상인 경우, 제2 검증 모델은 적외선 검증 모델이라고 나타낼 수 있다.

라이브니스 검증 장치는 제2 영상(102)의 객체 영역 패치(123)를 제4 라이브니스 모델(134)에 입력하여 제4 라이브니스 판단 결과(144)(예를 들어, 라이브니스 점수)를 산출할 수 있다. 라이브니스 검증 장치는 제1 대상 영역 패치(124) 및 제2 대상 영역 패치(125)를 제5 라이브니스 모델(135)에 입력하여 제5 라이브니스 판단 결과(145)를 산출할 수 있다. 또한, 라이브니스 검증 장치는 라이브니스 판단 결과들(144, 145)를 앙상블함으로써 제2 라이브니스 점수를 산출할 수 있다. 제2 라이브니스 점수는 제2 영상(102)에 기초하여 산출된 라이브니스 점수를 나타낼 수 있다. 제2 영상(102)이 적외선 영상인 경우, 제2 라이브니스 점수는 적외선 라이브니스 점수라고도 나타낼 수 있다.

또한, 라이브니스 검증 장치는 제1 영상(101) 및 제2 영상(102)으로부터 대상 부위(예를 들어, 눈)이 검출되는 경우, 제6 라이브니스 모델(136)을 선택할 수 있다. 라이브니스 검증 장치는 제1 영상(101)으로부터 대상 부위(예를 들어, 눈)에 대응하는 제1 영상 패치(116)(예를 들어, 컬러 패치)를 추출할 수 있고, 제2 영상(102)으로부터 해당 대상 부위(예를 들어, 동일한 눈)에 대응하는 제2 영상 패치(126)(예를 들어, 적외선 패치)를 추출할 수 있다. 라이브니스 검증 장치는 대상 부위에 대응하는 제1 영상 패치(116) 및 해당 대상 부위에 대응하는 제2 영상 패치(126)를 제6 라이브니스 모델(130)에 입력하여 제6 라이브니스 판단 결과(146)를 산출할 수 있다.

일 실시예에 따르면, 라이브니스 검증 장치는 라이브니스 판단 결과들(141 내지 146) 중 하나만 이용하거나 적어도 둘 이상을 앙상블함으로써, 최종 라이브니스 점수를 산출할 수 있다. 예를 들어, 라이브니스 검증 장치는 제1 검증 모델에 기초하여 산출된 제1 라이브니스 점수 및 제2 검증 모델에 기초하여 산출된 제2 라이브니스 점수 중 적어도 하나에 기초하여, 객체의 라이브니스를 검증할 수 있다. 라이브니스 검증 장치는 최종 라이브니스 점수에 기초하여, 제1 영상(101) 및 제2 영상(102)에 나타나는 객체의 라이브니스를 검증할 수 있다.

라이브니스 검증 장치는, 상술한 바와 같이, 라이브니스 모델들(131 내지 136)에 기초하여 제1 영상(101) 및 제2 영상(102)의 다양한 영상 패치들로부터 객체의 라이브니스를 검증할 수 있다. 예를 들어, 라이브니스 모델들(131 내지 136)의 각 모델은 입력된 정보에 기초하여 객체의 라이브니스를 결정하기 위한 정보(예를 들어, 확률 값 또는 특징 값)를 제공하는 모델을 나타낼 수 있다. 라이브니스 모델들(131 내지 136)의 각 모델은 트레이닝 데이터(training data)에 기초하여 감독 학습(supervised learning) 방식에 의해 미리 학습될 수 있다. 라이브니스 모델들(131 내지 136)의 각 모델은 비선형 맵핑(non-linear mapping)을 수행할 수 있고, 라이브니스 검증에 있어 뛰어난 구별 능력을 제공할 수 있다. 라이브니스 모델들(131 내지 136)의 각 모델은 뉴럴 네트워크(neural network)를 포함할 수 있으나, 이로 한정하는 것은 아니고, 서포트 벡터 머신(SVM, supportvector machine) 등과 같은 다양한 기계 학습 구조의 모델을 포함할 수도 있다.

일 실시예에 따르면, 라이브니스 모델들(131 내지 136)의 각 모델은 깊은 컨볼루션 뉴럴 네트워크(Deep Convolutional Neural Network; DCNN) 모델을 포함할 수 있다. DCNN 모델은 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하고, 각 레이어에 의해 수행되는 연산 과정을 통해 라이브니스 모델들(131 내지 136)의 각 모델에 입력되는 영상 정보로부터 라이브니스의 판단을 위한 정보를 제공할 수 있다. 여기서 영상 정보는, 영상에 포함된 픽셀들의 픽셀 값(예를 들어, 컬러 값 및/또는 밝기 값)이다. 위 DCNN 모델은 일 실시예에 불과하며, 라이브니스 모델들(131 내지 136)의 각 모델은 DCNN 모델 이외의 다른 기계 학습 구조의 모델에 기초할 수도 있다.

본 명세서에서는 제1 영상(101)이 컬러 영상이고, 제2 영상(102)이 적외선 영상인 것으로 설명하나, 이로 한정하는 것은 아니다. 제1 영상(101) 및 제2 영상(102)은 서로에 대해 이종 영상으로서, 예를 들어, 제1 영상(101) 및 제2 영상(102)은 컬러 영상, 흑백 영상, 및 깊이 영상 중 하나일 수 있다. 예를 들어, 제1 영상(101)이 컬러 영상, 흑백 영상, 및 깊이 영상 중 한 영상이고, 제2 영상(102)은 제1 영상(101)과 다른 나머지 영상 중 하나일 수 있다. 깊이 영상은 깊이 센서에 의해 획득되는 영상을 나타낼 수 있다. 깊이 영상의 각 픽셀은 그에 대응하는 지점까지의 거리를 나타내는 값을 가질 수 있다. 깊이 센서는 ToF(Time-of-Flight) 방식에 기반한 센서, 구조광(Structured Light) 방식에 기초한 센서 등이 있으나, 이로 한정하지는 않는다.

일 실시예에 따르면, 컬러 영상과 적외선 영상은 별개의 영상 센서들을 통해 획득될 수 있다. 예를 들어, 사용자가 사용자 인증을 위해 얼굴 또는 홍채를 촬영하고자 하는 경우, 컬러 영상 센서를 통해 사용자 인증을 위한 컬러 영상이 획득되고, 적외선 영상 센서를 통해 사용자 인증을 위한 적외선 영상이 획득된다. 적외선 영상은, IR(infrared rays) 광원으로부터 방사된 적외선이 사용자에 의해 반사된 후 적외선 영상 센서에 의해 그 반사된 적외선이 센싱됨으로써 획득될 수 있다. 일 실시예에서, 컬러 영상 센서는 컬러 영상 센서에 입사되는 적외선을 차단하기 위한 적외선 차단 필터(IR cut-offfiler)와 R(red), G(green) 및 B(blue)의 컬러 값을 센싱하기 위한 컬러 픽셀 어레이를 포함할 수 있다. 적외선 영상 센서는 적외선 영상 센서에 입사되는 적외선을 통과시키는 적외선 패스 필터와 적외선 값을 센싱하기 위한 적외선 픽셀 어레이를 포함할 수 있다.

라이브니스 검증 장치는 사용자에 대한 라이브니스 검증이 요구되는 경우, 컬러 영상 센서와 적외선 영상 센서로부터 각각 컬러 영상과 적외선 영상을 수신하고, 수신한 컬러 영상과 적외선 영상에 기초하여 라이브니스 검증 동작을 수행할 수 있다.

또한, 컬러 영상과 적외선 영상은 단일의 영상 센서에 의해 획득될 수도 있다. 라이브니스 검증을 위해 검증 대상에 대한 컬러 영상과 적외선 영상이 필요한 경우, 라이브니스 검증 장치는 IR 광원을 활성화시키고, 통합 영상 센서에 의해 센싱된 이미지 정보를 수신한다. 일 실시예에서, 통합 영상 센서는 통합 영상 센서에 입사되는 적외선을 차단하는 적외선 차단 영역과 해당 적외선을 통과시키는 적외선 패스 영역을 포함하는 광학 필터와 컬러 값과 적외선 값을 센싱하기 위한 픽셀 어레이를 포함할 수 있다. 도면에는 일부의 픽셀 어레이만이 도시되어 있으며, 통합 영상 센서에는 픽셀 어레이에 나타난 픽셀 구조가 반복적으로 배치된 픽셀 어레이를 포함할 수 있다.

통합 영상 센서는 이러한 픽셀 어레이를 통해 컬러 값과 적외선 값을 함께 측정할 수 있다. 픽셀 어레이는 R(red) 컬러 값을 측정하기 위한 제1 수광 소자, G(green) 컬러 값을 측정하기 위한 제2 수광 소자, B(blue) 컬러 값을 측정하기 위한 제3 수광 소자와 적외선 값을 측정하기 위한 제4 수광 소자를 포함할 수 있다. 라이브니스 검증 장치는 통합 영상 센서에 의해 측정된 컬러 값과 적외선 값을 서로 분리시키고, 분리 결과에 기초하여 컬러 영상과 적외선 영상을 생성할 수 있다. 라이브니스 검증 장치는 생성된 컬러 영상과 적외선 영상에 기초하여 라이브니스 검증 동작을 수행할 수도 있다.

이하, 도면들을 참조하여 라이브니스 검증 장치가 검증 대상의 라이브니스를 검증하는 과정을 보다 상세히 설명한다.

도 2 내지 도 4는 일 실시예에 따른 라이브니스 검증 방법을 설명하는 흐름도이다.

도 2는 라이브니스 검증 방법을 개괄적으로 설명하는 도면이다.

우선, 단계(210)에서 라이브니스 검증 장치는 제1 영상 및 제2 영상을 획득할 수 있다. 예를 들어, 라이브니스 검증 장치는 제1 영상 센서(예를 들어, 컬러 영상 센서)를 통해 제1 영상(예를 들어, 컬러 영상)을 획득할 수 있고, 제2 영상 센서(예를 들어, 적외선 영상 센서)를 통해 제2 영상(예를 들어, 적외선 영상)을 획득할 수 있다. 다만, 이로 한정하는 것은 아니고, 라이브니스 검증 장치는 통합 영상 센서를 통해 제1 영상 및 제2 영상을 함께 획득할 수도 있다.

그리고 단계(220)에서 라이브니스 검증 장치는 제1 영상 또는 제2 영상에서 검출되는 객체 부위를 판단할 수 있다. 예를 들어, 라이브니스 검증 장치는 제1 영상으로부터 검출되는 객체 부위 및 제2 영상으로부터 검출되는 객체 부위를 식별할 수 있다. 예를 들어, 라이브니스 검증 장치는 제1 영상에서 얼굴 부위가 검출되었는지 여부 또는 제2 영상에서 눈 부위가 검출되었는지 여부를 판단할 수 있다.

이어서 단계(230)에서 라이브니스 검증 장치는 제1 영상 또는 제2 영상에서 검출되는 객체 부위(object part)에 기초하여, 라이브니스 모델(liveness model)을 선택할 수 있다. 예를 들어, 제1 영상 또는 제2 영상에서 대상 부위가 검출되는 경우에 응답하여, 복수개의 라이브니스 모델들 중 하나 이상을 선택할 수 있다. 이하, 제1 영상이 컬러 영상이고, 제2 영상이 적외선 영상인 경우, 검출되는 객체 부위에 기초한 라이브니스 모델의 선택에 대한 실시예를 설명한다. 다만, 제1 영상 및 제2 영상의 종류를 이로 한정하는 것은 아니다.

예를 들어, 라이브니스 모델들 중 컬러 검증 모델은 컬러 영상으로부터 추출된 영상 패치로부터 컬러 라이브니스 점수를 산출하도록 트레이닝된 모델을 나타낼 수 있다. 적외선 검증 모델은 적외선 영상으로부터 추출된 영상 패치로부터 적외선 라이브니스 점수를 산출하도록 트레이닝된 모델을 나타낼 수 있다. 예를 들어, 컬러 검증 모델 및 적외선 검증 모델은 각각 뉴럴 네트워크를 포함할 수 있다.

또한, 라이브니스 검증 장치는 컬러 영상의 미리 정한 영역 내에 대상 부위가 위치되는 경우에 응답하여, 부위 비교 모델(part comparison model)을 선택할 수 있다. 부위 비교 모델은 컬러 영상으로부터 대상 부위에 대응하여 추출된 컬러 패치 및 적외선 영상으로부터 대상 부위에 대응하여 추출된 적외선 패치로부터 라이브니스 점수를 산출하도록 트레이닝된 모델을 나타낼 수 있다. 부위 비교 모델은 예를 들어, 뉴럴 네트워크를 포함할 수 있다.

라이브니스 검증 장치는 대상 부위가 컬러 영상의 미리 정한 영역을 벗어나서 위치되고, 객체의 적어도 일부가 미리 정한 영역 내에 위치되는 경우에 응답하여, 적외선 영역 모델을 선택할 수 있다. 적외선 영역 모델은 예를 들어, 대상 부위(예를 들어, 눈)를 제외한 나머지 부위(예를 들어, 코, 입, 및 피부 등)에 대응하는 영상 패치로부터 적외선 라이브니스 점수를 산출하도록 트레이닝된 모델을 나타낼 수 있다. 예를 들어, 적외선 영역 모델은 교차 상관계수(cross-correlation coefficient) 분석, 주어진 속성(given property)의 선형결합에 기초한 분류를 수행하는 선형 분류기(linear classifier), 특징간의 교차율(intersection rate), 또는 편차(deviation)를 포함할 수 있다. 다만, 이로 한정하는 것은 아니고, 서포트 벡터 머신(SVM, supportvector machine) 등과 같은 다양한 기계 학습 구조의 모델을 포함할 수도 있다.

더 나아가, 라이브니스 검증 장치는 적외선 영상(예를 들어, 제2 영상)으로부터 객체의 동공이 검출되는 경우에 응답하여, 동공 모델을 선택할 수 있다. 동공 모델은, 적외선 영상에서 동공에 대응하는 동공 패치로부터 적외선 라이브니스 점수를 산출하도록 트레이닝된 모델을 나타낼 수 있다.

다만, 라이브니스 모델을 상술한 컬러 검증 모델, 적외선 검증 모델, 부위 비교 모델, 적외선 영역 모델, 및 동공 모델로 한정하는 것은 아니다. 설계에 따라, 컬러 영상 및 적외선 영상의 전체 영역 패치 및 부분 패치를 이용하는 다양한 모델이 라이브니스 점수를 산출하기 위해 사용될 수 있다.

그리고 단계(240)에서 라이브니스 검증 장치는 선택된 라이브니스 모델에 기초하여, 제1 영상 및 제2 영상 중 적어도 하나로부터 객체의 라이브니스(liveness)를 검증할 수 있다.

예를 들어, 라이브니스 검증 장치는 단계(210)에서 선택된 라이브니스 모델에 기초하여, 제1 영상에 나타나는 객체 부위에 대응하는 제1 영상 패치 및 제2 영상에 나타나는 객체 부위에 대응하는 제2 영상 패치 중 적어도 하나로부터 라이브니스 점수를 산출할 수 있다. 라이브니스 검증 장치는 라이브니스 점수가 라이브니스 임계 이상인 경우에 응답하여, 실제 객체(real object)에 대한 영상이 획득된 것으로 결정할 수 있다. 라이브니스 검증 장치는 라이브니스 점수가 라이브니스 임계 미만인 경우에 응답하여, 가짜 객체(fake object)에 대한 영상이 획득된 것으로 결정할 수 있다. 본 명세서에서 라이브니스 임계는 객체가 실제 객체인지 여부를 결정하기 위한 기준이 되는 임계 값을 나타낼 수 있다. 다만, 본 명세서에서는 주로 라이브니스 점수가 라이브니스 임계 이상인 것이 진짜 객체이고, 라이브니스 임계 미만인 것이 가짜 객체인 것으로 설명되었으나, 이로 한정하는 것은 아니고 반대로 설정될 수도 있다. 예를 들어, 라이브니스 점수가 라이브니스 임계 미만인 것이 진짜 객체이고, 라이브니스 임계 이상인 것이 가짜 객체인 것으로 설계될 수도 있다.

도 3은 라이브니스 검증 방법을 보다 상세히 설명하는 흐름도이다.

도 3은 제1 영상이 컬러 영상이고, 제2 영상이 적외선 영상인 경우의 라이브니스 검증 방법에 대한 실시예를 도시한다. 다만, 일 실시예에 따른 라이브니스 검증 방법에 있어서, 영상의 종류가 이로 한정되지는 않는다.

우선, 단계(210)에서 라이브니스 검증 장치는 제1 영상 및 제2 영상을 획득할 수 있다. 예를 들어, 단계(311)에서 라이브니스 검증 장치는 컬러 영상 및 적외선 영상을 획득할 수 있다. 예를 들어, 라이브니스 검증 장치의 영상 획득부는 객체에 대한 영상을 촬영함으로써, 컬러 영상 및 적외선 영상을 획득할 수 있다.

그리고 단계(220)에서 라이브니스 검증 장치는 제1 영상 또는 제2 영상에서 검출되는 객체 부위를 판단할 수 있다. 예를 들어, 단계(321)에서 라이브니스 검증 장치는 컬러 영상의 미리 정한 영역 내에 객체의 대상 부위가 존재하는 지 여부를 판단할 수 있다. 예를 들어, 라이브니스 검증 장치는 컬러 영상의 미리 정한 영역 내에 눈(eye)이 존재하는 지 여부를 판단할 수 있다.

그리고 단계(322)에서 라이브니스 검증 장치는 컬러 영상의 미리 정한 영역 내에 대상 부위가 존재하는 경우, 적외선 영상에서 동공이 검출되는 지 여부를 판단할 수 있다. 라이브니스 검증 장치는 적외선 영상에서 동공이 검출되는 경우에 응답하여, 라이브니스 모델로서 동공 모델을 선택할 수 있다. 라이브니스 검증 장치는 적외선 영상에서 동공이 검출되지 않는 경우에 응답하여, 컬러 검증 모델(예를 들어, 제1 검증 모델) 및 적외선 검증 모델(예를 들어, 제2 검증 모델)을 선택할 수 있다.

이어서 단계(323)에서 라이브니스 검증 장치는 컬러 영상의 미리 정한 영역 내에 객체의 대상 부위가 존재하지 않는 경우에 응답하여, 미리 정한 영역 내에 객체 일부가 존재하는지 여부를 결정할 수 있다. 라이브니스 검증 장치는 미리 정한 영역 내에 객체 일부가 존재하면, 컬러 검증 모델과 함께 적외선 영역 모델을 라이브니스 모델로서 선택할 수 있다. 따라서, 라이브니스 검증 장치는 적외선 영상 내에 대상 부위가 위치되지 않더라도, 객체의 나머지 부위(예를 들어, 피부 등)에 기초한 라이브니스 점수를 산출하기 위하여 적외선 영역 모델을 이용할 수 있다. 라이브니스 검증 장치는 미리 정한 영역 내에 객체 일부도 존재하지 않는 경우, 컬러 검증 모델을 라이브니스 모델로서 선택할 수 있다.

참고로, 상술한 단계(321)에서 컬러 영상의 미리 정한 영역은 적외선 센서의 시야각에 대응하는 영역일 수 있다. 미리 정한 영역 내에 대상 부위(예를 들어, 눈)가 존재하지 않을 경우 적외선 영상에 대상 부위가 나타나지 않을 것이므로, 라이브니스 검증 장치는 동공 검출을 스킵(skip)할 수 있다.

일 실시예에 따르면, 라이브니스 검증 장치는 상술한 단계들(321, 322, 323)에 대응하는 동작들을 수행함으로써 대상 부위를 판단할 수 있고, 판단된 대상 부위에 따라 라이브니스 모델을 선택할 수 있다. 다만, 도 3에서는 상술한 단계들(321, 322, 323)이 모두 수행되는 것으로 도시되었는데, 이로 한정하는 것은 아니다. 예를 들어, 라이브니스 검증 장치는 컬러 영상에서 검출되는 객체의 대상 부위에 따라 라이브니스 모델을 선택할 수 있다. 라이브니스 검증 장치는 컬러 영상에서 객체의 대상 부위가 검출되는 경우에 응답하여, 라이브니스 모델들 중 컬러 검증 모델을 선택할 수 있다. 다른 예를 들어, 라이브니스 검증 장치는 적외선 영상에서 검출되는 객체의 대상 부위에 따라 라이브니스 모델을 선택할 수도 있다.

단계(240)에서 라이브니스 검증 장치는, 상술한 단계(220)에서 검출된, 객체 부위에 따라 선택된 라이브니스 모델에 기초한 라이브니스 검증을 수행할 수 있다.

예를 들어, 단계(330)에서 라이브니스 검증 장치는 동공 모델에 기초하여, 동공에 대응하는 동공 패치로부터 객체의 라이브니스를 검증할 수 있다. 단계(331)에서 라이브니스 검증 장치는 동공 모델에 기초하여 동공 패치로부터 동공 점수를 산출할 수 있다. 단계(332)에서 라이브니스 검증 장치는 동공 점수가 동공 임계를 초과하는 지 여부를 결정할 수 있다. 단계(333)에서 라이브니스 검증 장치는 동공 점수가 동공 임계를 초과하는 경우에 응답하여, 객체가 라이브니스를 가지는 것으로 결정할 수 있다. 단계(334)에서 라이브니스 검증 장치는 동공 점수가 동공 임계 이하인 경우에 응답하여, 촬영된 객체가 가짜인 것으로 결정할 수 있다. 동공 임계는 객체가 실제(real)인 지 여부를 결정하기 위한 임계 값을 나타낼 수 있다.

상술한 바와 같이, 적외선 영상 내에서 동공이 검출되는 경우, 라이브니스 검증 장치는 적외선 영상 및 동공 모델에 기초하여 산출된 동공 점수를 이용함으로써 정확하고 빠르게 객체의 라이브니스를 검증할 수 있다.

다른 예를 들어, 단계(340)에서 라이브니스 검증 장치는 컬러 검증 모델 및 적외선 검증 모델을 이용하여 객체의 라이브니스를 검증할 수 있다. 이 경우, 라이브니스 검증 장치는 컬러 검증 모델 및 적외선 검증 모델을 이용하여, 대상 부위(예를 들어, 눈)에 대한 컬러 패치 및 적외선 패치에 기초한 복합 검증을 수행할 수 있게 된다.

단계(341)에서 라이브니스 검증 장치는 적외선 검증 모델에 기초하여, 적외선 영상 중 대상 부위에 대응하는 적외선 패치로부터 적외선 라이브니스 점수를 산출할 수 있다. 이후, 라이브니스 검증 장치는 컬러 라이브니스 점수 및 적외선 라이브니스 점수에 기초하여, 객체의 라이브니스를 검증할 수 있다.

단계(342)에서 라이브니스 검증 장치는 컬러 검증 모델에 기초하여, 컬러 영상 중 대상 부위에 대응하는 컬러 패치로부터 컬러 라이브니스 점수를 산출할 수 있다.

단계(343)에서 라이브니스 검증 장치는 컬러 라이브니스 점수 및 적외선 라이브니스 점수를 앙상블(ensemble)함으로써, 최종 라이브니스 점수를 산출할 수 있고, 최종 라이브니스 점수가 라이브니스 임계를 초과하는 지 여부를 결정할 수 있다. 예를 들어, 라이브니스 검증 장치는 컬러 라이브니스 점수 및 적외선 라이브니스 점수의 가중합(weighted sum)을 최종 라이브니스 점수로 산출함으로써, 컬러 라이브니스 점수 및 적외선 라이브니스 점수를 앙상블할 수 있다. 다만, 이로 한정하는 것은 아니고, 라이브니스 검증 장치는 컬러 라이브니스 점수 및 적외선 라이브니스 점수 중 최대 값 또는 최소 값을 최종 라이브니스 점수로 결정할 수도 있다.

또한, 라이브니스 검증 장치는 컬러 라이브니스 점수 혹은 적외선 라이브니스 점수가 미리 정한 범위를 벗어나는 경우(예를 들어, 라이브니스 점수가 현저하게 높거나 현저하게 낮을 경우), 상술한 단계(341) 또는 단계(342)의 동작을 스킵할 수 있다. 예를 들어, 적외선 라이브니스 점수가 미리 정한 범위를 벗어나는 경우, 라이브니스 검증 장치는 단계(342)의 동작을 스킵할 수 있다. 따라서, 라이브니스 검증 장치는 라이브니스 점수에 따라, 상술한 단계(341) 또는 단계(342)의 동작을 스킵하고 최종 라이브니스를 결정할 수도 있다. 단계(342)의 동작이 스킵되는 경우, 라이브니스 검증 장치는 컬러 라이브니스 점수를 배제하고, 최종 라이브니스를 결정할 수 있다.

단계(344)에서 라이브니스 검증 장치는 최종 라이브니스 점수가 라이브니스 임계를 초과하는 경우에 응답하여, 객체가 실제 객체인 것으로 결정할 수 있다. 단계(345)에서 라이브니스 검증 장치는 최종 라이브니스 점수가 라이브니스 임계 이하인 경우에 응답하여, 객체가 가짜 객체인 것으로 결정할 수 있다.

또 다른 예를 들어, 단계(350)에서 라이브니스 검증 장치는 컬러 검증 모델 및 적외선 영역 모델을 이용하여 객체의 라이브니스를 검증할 수 있다. 이 경우, 라이브니스 검증 장치는 적외선 영상에서 대상 부위가 나타나지 않더라도, 나머지 부위에 기초한 적외선 패치 및 대상 부위에 대한 컬러 패치에 기초한 복합 검증을 수행할 수 있게 된다.

단계(351)에서 라이브니스 검증 장치는 적외선 영역 모델을 이용하여 대상 부위 외의 나머지 부위에 대응하는 적외선 패치로부터 적외선 라이브니스 점수를 산출할 수 있다.

단계(352)에서 라이브니스 검증 장치는 컬러 검증 모델을 이용하여 대상 부위에 대응하는 컬러 패치로부터 컬러 라이브니스 점수를 산출할 수 있다.

단계(353)에서 라이브니스 검증 장치는 단계(351)에서 산출된 적외선 라이브니스 점수 및 단계(352)에서 산출된 컬러 라이브니스 점수로부터 최종 라이브니스 점수를 산출할 수 있고, 최종 라이브니스 점수가 라이브니스 임계를 초과하는 지 여부를 결정할 수 있다.

단계(354)에서 라이브니스 검증 장치는 최종 라이브니스 점수가 라이브니스 임계를 초과하는 경우에 응답하여, 객체가 실제 객체인 것으로 결정할 수 있다. 단계(355)에서 라이브니스 검증 장치는 최종 라이브니스 점수가 라이브니스 임계 이하인 경우에 응답하여, 객체가 가짜 객체인 것으로 결정할 수 있다.

또 다른 예를 들어, 단계(360)에서 라이브니스 검증 장치는 적외선 영상이 유효하지 않은(invalid) 경우에 응답하여, 컬러 검증 모델에 기초한 컬러 라이브니스 점수만을 이용하여 객체의 라이브니스를 검증할 수 있다. 유효하지 않은 적외선 영상은, 적외선 영상 내에 객체의 대상 부위 및 나머지 부위가 나타나지 않는 상태이거나, 화질이 낮은 상태일 수 있다.

단계(361)에서 라이브니스 검증 장치는 컬러 검증 모델을 이용하여 컬러 라이브니스 점수를 산출할 수 있다. 단계(362)에서 라이브니스 검증 장치는 컬러 라이브니스 점수가 라이브니스 임계를 초과하는 지 여부를 결정할 수 있다. 단계(363)에서 라이브니스 검증 장치는 컬러 라이브니스 점수가 라이브니스 임계를 초과하는 경우에 응답하여, 객체가 실제 객체인 것으로 결정할 수 있다. 단계(364)에서 라이브니스 검증 장치는 컬러 라이브니스 점수가 라이브니스 임계 이하인 경우에 응답하여, 객체가 가짜 객체인 것으로 결정할 수 있다.

상술한 도 3에서, 라이브니스 검증 장치가 라이브니스 점수를 단일한(single) 라이브니스 임계와 비교하는 것을 주로 설명하였으나, 이로 한정하는 것은 아니다. 예를 들어, 라이브니스 검증 장치는 라이브니스 점수가 유효 범위(valid range) 내(예를 들어, 제1 유효 임계값 < 라이브니스 점수 < 제2 유효 임계값)인 경우, 객체가 라이브니스를 가지는 실제 객체인 것으로 결정할 수 있다. 다른 예를 들어, 라이브니스 검증 장치는 라이브니스 점수가 제3 유효 임계값 이하인 경우, 객체가 라이브니스를 가지는 진짜 객체인 것으로 결정할 수도 있다. 따라서, 임계의 조건은 설계에 따라 변경될 수 있으며, 도 3에 도시된 바로 한정하는 것은 아니다.

아울러, 상술한 단계(341) 및 단계(351)의 적외선 검증 모델은 아래 도 5 내지 도 8a 및 도 8b에서 상세히 설명한다.

도 4는 라이브니스 검증 방법의 다른 예시적인 흐름도를 도시한다.

예를 들어, 도 3에 도시된 라이브니스 검증 방법은 적외선 검증 모델 및 컬러 검증 모델을 모두 이용하여 라이브니스 점수를 연산할 수 있으나, 도 4에 도시된 라이브니스 검증 방법은 일부 라이브니스 모델의 연산을 스킵할 수 있다. 따라서, 도 4에 도시된 방법을 통해, 라이브니스 검증 장치는 적외선 검증 모델 및 컬러 검증 모델 중 하나의 라이브니스 점수가 매우 높거나 낮은 경우, 다른 라이브니스 모델의 연산을 배제함으로써 연산 속도를 향상시킬 수 있다. 참고로, 도 4에 도시된 라이브니스 검증 방법은 동공 점수 산출을 생략할 수 있다. 구체적으로는 다음과 같이 설명한다.

우선, 단계(411)에서는 라이브니스 검증 장치는 도 3과 유사하게, 컬러 영상 및 적외선 영상을 획득할 수 있다.

그리고 단계(421)에서 라이브니스 검증 장치는 대상 부위 위치 및 영상 화질을 판단할 수 있다. 예를 들어, 라이브니스 검증 장치는 객체의 대상 부위의 컬러 영상 내 위치를 결정할 수 있다. 라이브니스 검증 장치는 적외선 영상의 영상 화질을 판단할 수 있다. 다만, 단계(421)는 설계에 따라 스킵되거나 생략될 수도 있다.

단계(422)에서 라이브니스 검증 장치는 적외선 영상에 눈이 검출되는 지 여부를 판단할 수 있다. 예를 들어, 라이브니스 검증 장치는 컬러 영상의 미리 정한 영역 내에 객체의 대상 부위가 위치되는 지 여부를 결정할 수 있다.

예를 들어, 라이브니스 검증 장치는 적외선 영상에 눈이 검출되는 경우에 응답하여, 적외선 검증 모델을 선택할 수 있다. 단계(441)에서 라이브니스 검증 장치는 적외선 검증 모델에 기초하여 적외선 라이브니스 점수를 산출할 수 있다. 단계(442)에서 라이브니스 검증 장치는 적외선 라이브니스 점수가 라이브니스 임계를 초과하는 지 여부를 판단할 수 있다. 단계(443)에서 라이브니스 검증 장치는 적외선 라이브니스 점수만으로 라이브니스 임계를 초과하는 경우에 응답하여, 검증이 성공한 것으로 결정할 수 있다. 따라서 라이브니스 검증 장치는 적외선 라이브니스 점수가 높은 경우, 컬러 영상을 배제하고, 빠른 검증 성공을 결정할 수 있다.

단계(444)에서 라이브니스 검증 장치는 컬러 검증 모델을 선택하여, 컬러 검증 모델에 기초한 컬러 라이브니스 점수를 산출할 수 있다.

단계(445)에서 라이브니스 검증 장치는 적외선 라이브니스 점수 및 컬러 라이브니스 점수를 앙상블하여, 최종 라이브니스 점수를 산출할 수 있다. 이후, 단계(480)에서 라이브니스 검증 장치는 최종 라이브니스 점수가 라이브니스 임계를 초과하는 지 여부에 따라 객체가 진짜인지 가짜인 지를 결정할 수 있다.

또한, 단계(423)에서 라이브니스 검증 장치는 적외선 영상 내에 눈이 검출되지 않는 경우에 응답하여, 적외선 영상의 적외선 화질이 양호한 지 여부를 판단할 수 있다. 예를 들어, 라이브니스 검증 장치는 적외선 화질이 화질 임계(quality threshold)를 초과하는 지 여부를 결정할 수 있다.

단계(461)에서 라이브니스 검증 장치는 적외선 화질이 유효하지 않은 경우에 응답하여, 컬러 검증 모델에 기초한 컬러 라이브니스 점수를 산출할 수 있다. 따라서, 라이브니스 검증 장치는 적외선 영상의 화질이 낮아서 적외선 영상이 유효하지 않은 경우, 컬러 영상에만 기초한 컬러 라이브니스 점수를 산출할 수 있다. 이후, 단계(480)에서 라이브니스 검증 장치는 컬러 라이브니스 점수가 라이브니스 임계를 초과하는 지 여부에 따라 객체가 진짜인 지 가짜인 지를 결정할 수 있다.

단계(424)에서 라이브니스 검증 장치는 적외선 화질이 양호한 경우에 응답하여, 객체 일부가 컬러 영상의 미리 정한 영역 내 위치하는 지 여부를 판단할 수 있다. 예를 들어, 라이브니스 검증 장치는 객체의 적어도 일부가 컬러 영상의 미리 정한 영역 내에서 검출되는 경우에 응답하여, 객체의 적어도 일부가 적외선 영상 내에 위치되는 것으로 결정할 수 있다.

단계(451)에서 라이브니스 검증 장치는 객체의 적어도 일부가 미리 정한 영역 내에 위치되는 경우에 응답하여, 적외선 영역 특징을 추출할 수 있다. 적외선 영역 특징은 적외선 영역 모델에 기초하여 적외선 영상으로부터 추출되는 특징을 나타낼 수 있다.

단계(452)에서 라이브니스 검증 장치는 적외선 영역 특징이 추출 가능한 경우에 응답하여, 적외선 영역 모델을 이용하여 적외선 라이브니스 점수를 산출할 수 있다. 단계(453)에서 라이브니스 검증 장치는 컬러 검증 모델을 이용하여 컬러 라이브니스 점수를 산출할 수 있다. 이후, 단계(480)에서 라이브니스 검증 장치는 컬러 라이브니스 점수 및 적외선 라이브니스 점수에 기초하여, 객체가 진짜인 지 가짜인 지를 결정할 수 있다.

단계(470)에서 라이브니스 검증 장치는 미리 정한 영역 내에 객체의 적어도 일부가 위치되지 않거나, 적외선 영역 특징이 추출되지 않는 경우에 응답하여, 라이브니스 점수에 대한 임계 값을 조절할 수 있다. 다만, 이로 한정하는 것은 아니다. 라이브니스 검증 장치는 라이브니스 검증 이력에 기초하여 임계 값을 조절할 수도 있다. 예를 들어, 라이브니스 검증 장치는 객체에 대한 라이브니스의 검증이 미리 정한 횟수 이상 실패하는 경우에 응답하여, 라이브니스 모델에 기초하여 산출되는 라이브니스 점수에 대한 라이브니스 임계(liveness threshold)를 증가시킬 수 있다.

또한, 라이브니스 검증 장치는 적외선 영상(예를 들어, 제2 영상) 내에 객체의 대상 부위가 위치되지 않는 경우에 응답하여, 라이브니스 임계로서 제1 임계 값을 결정할 수 있다. 라이브니스 검증 장치는 적외선 영상 내에 하나의 대상 부위가 위치되는 경우에 응답하여, 라이브니스 임계로서 제1 임계 값보다 작은 제2 임계 값을 결정할 수 있다. 라이브니스 검증 장치는 적외선 영상 내에 복수의 대상 부위들이 위치되는 경우에 응답하여, 라이브니스 임계로서 제2 임계 값보다 작은 제3 임계 값을 결정할 수 있다. 라이브니스 검증 장치는 적외선 영상 내에 하나의 동공이 검출되는 경우에 응답하여, 라이브니스 임계로서 제3 임계 값보다 작은 제4 임계 값을 결정할 수 있다. 라이브니스 검증 장치는 적외선 영상 내에 복수의 동공들이 검출되는 경우에 응답하여, 라이브니스 임계로서 제4 임계 값보다 작은 제5 임계 값을 결정할 수 있다. 다만, 라이브니스 임계, 및 제1 임계 값 내지 제5 임계 값으로 임계의 조건이 한정되는 것은 아니고, 설계에 따라 변경될 수 있으며, 더 나아가 동적으로 조정될 수도 있다.

따라서, 라이브니스 검증 장치는 컬러 영상 및 적외선 영상으로부터 객체의 대상 부위가 검출되는 정도(level) 및 라이브니스 검증의 실패 횟수에 기초하여, 라이브니스 임계를 동적으로 조절할 수 있다. 라이브니스 검증 장치는 라이브니스 임계를 동적으로 조절함으로써, 위조 시도가 증가할수록 인증 난이도를 증가시킬 수 있다.

도 5 내지 도 7은 일 실시예에 따른 적외선 검증 모델을 설명하는 도면이다.

일 실시예에 따른 라이브니스 검증 장치는 적외선 검증 모델에 기초하여, 적외선 영상의 객체 영역 패치, 제1 대상 영역 패치, 및 제2 대상 영역 패치 중 적어도 하나로부터 적외선 라이브니스 점수를 산출할 수 있다.

예를 들어, 도 5는 제1 적외선 검증 모델(510)을 설명하는 도면이다. 라이브니스 검증 장치는 제1 적외선 검증 모델(510)에 기초하여, 적외선 영상의 제1 대상 영역 패치, 및 제2 대상 영역 패치로부터 적외선 라이브니스 점수(509)를 산출할 수 있다. 예를 들어, 라이브니스 검증 장치는 라이브니스 모델에 기초하여, 적외선 영상(예를 들어, 제2 영상) 중 객체의 양 눈(both eyes)에 대응하는 적외선 패치들(예를 들어, 제2 영상 패치들)로부터 객체의 라이브니스를 검증할 수 있다. 제1 적외선 검증 모델(510)은 제1 대상 패치(501)(예를 들어, 한쪽 눈에 대응하는 영상 패치) 및 제2 대상 패치(502)(예를 들어, 다른 눈에 대응하는 영상 패치)로부터 적외선 라이브니스 점수(509)를 산출하도록 트레이닝된 모델을 나타낼 수 있다.

도 6에서 라이브니스 검증 장치는 제2 적외선 검증 모델(610)에 기초하여, 적외선 영상의 객체 영역 패치(601)로부터 적외선 라이브니스 점수(609)를 산출할 수 있다. 도 6에 도시된 객체 영역 패치(601)는, 미리 결정된 크기 중 객체 영역을 제외한 나머지 영역이 객체 영역의 평균 픽셀 값 또는 미리 정한 특정 값으로 패딩(padding)된 영상 패치를 나타낼 수 있다. 제2 적외선 검증 모델(610)은 패딩된 객체 영역 패치(601)로부터 적외선 라이브니스 점수(609)를 산출하도록 트레이닝된 모델을 나타낼 수 있다.

도 7에서 라이브니스 검증 장치는 제3 적외선 검증 모델(710)에 기초하여 적외선 영상의 객체 영역 패치(701)로부터 적외선 라이브니스 점수(709)를 산출할 수 있다. 도 7에 도시된 객체 영역 패치(701)는, 객체 영역이 미리 정한 크기로 스케일링된 영상 패치를 나타낼 수 있다. 제3 적외선 검증 모델(710)은 스케일링된 객체 영역 패치(701)로부터 적외선 라이브니스 점수(709)를 산출하도록 트레이닝된 모델을 나타낼 수 있다.

도 5 내지 도 7에서는 설명의 편의를 위하여 제1 적외선 검증 모델(510) 내지 제3 적외선 검증 모델(710)이 각각 도시되었으나, 이로 한정하는 것은 아니다. 제1 적외선 검증 모델(510) 내지 제3 적외선 검증 모델(710)은 서로 연결될 수도 있고, 예를 들어, 라이브니스 검증 모델은 제1 적외선 검증 모델(510) 내지 제3 적외선 검증 모델(710)의 출력들의 가중합을 적외선 라이브니스 점수로 산출할 수도 있다.

도 8a, 도 8b, 도 9 및 도 10은 일 실시예에 따른 부위 비교 모델을 구체적으로 설명하는 도면이다.

도 8a는 부위 비교 모델(810)을 이용한 라이브니스 점수 산출을 설명하는 도면이다. 예를 들어, 라이브니스 검증 장치는 부위 비교 모델(810)에 기초하여, 대상 부위에 대응하는 컬러 패치(801)(예를 들어, 제1 영상 패치) 및 대상 부위에 대응하는 적외선 패치(802)(예를 들어, 제2 영상 패치)로부터 객체의 라이브니스를 검증할 수 있다. 부위 비교 모델(810)은 대상 부위(예를 들어, 한쪽 눈)에 대응하는 컬러 패치(801) 및 대상 부위(예를 들어, 동일한 눈)에 대응하는 적외선 패치(802)로부터 라이브니스 점수(809)를 산출하도록 트레이닝된 모델일 수 있다. 부위 비교 모델(810)은 예를 들어, 뉴럴 네트워크일 수 있으며, 네트워크 구조는 하기 도 9 및 도 10에서 설명한다.

또한, 도 8b는 위조 정보를 함께 출력하도록 설계된 부위 비교 모델(820)을 설명하는 도면이다. 예를 들어, 라이브니스 검증 장치는 부위 비교 모델(820)에 기초하여, 대상 부위에 대응하는 제1 영상 패치(803) 및 대상 부위에 대응하는 제2 영상 패치(804)로부터 라이브니스 점수(891)와 함께 위조 정보(892)를 결정할 수 있다. 도 8b에서 부위 비교 모델(820)은 제1 영상 패치(803) 및 제2 영상 패치(804)로부터 라이브니스 점수(891) 및 위조 정보(892)를 출력하도록 트레이닝된 모델을 나타낼 수 있다.

위조 정보(892)는 위조의 종류를 나타낼 수 있다. 위조의 종류는 예를 들어, 사진에 인쇄된 객체, 스크린에 디스플레이되는 객체, 실리콘 카빙(silicon carving)된 객체, 및 3차원 프린팅된 객체 등을 포함할 수 있다. 위조 정보(892)는 예를 들어, 위조의 종류 중 하나를 지시하는 레이블일 수 있다.

참고로, 도 3의 단계(341) 및 단계(351)의 적외선 검증 모델은 도 5, 도 6 또는 도 7 중 하나, 도 8a 및 도 8b의 실시예가 개별적으로 또는 부분적으로 결합된 모델일 수 있다. 또한, 단계(341) 및 단계(351)의 적외선 검증 모델은 도 5, 도 8a 및 도 8b와 함께 도 6 또는 도 7이 앙상블된 모델일 수도 있다.

도 8a 및 도 8b에서 설명한 부위 비교 모델(810)의 보다 상세한 구성은 하기 도 9 및 도 10에서 설명한다.

도 9는 부위 비교 모델(910)의 예시적인 구성을 설명하는 도면이다. 예를 들어, 라이브니스 검증 장치는 부위 비교 모델(910) 중 특징 추출 모델(911)에 기초하여, 컬러 패치(901)(예를 들어, 제1 영상 패치)로부터 컬러 부위 특징(예를 들어, 제1 부위 특징)을 추출할 수 있다. 라이브니스 검증 장치는 특징 추출 모델(912)에 기초하여, 적외선 패치(902)(예를 들어, 제2 영상 패치)로부터 적외선 부위 특징(예를 들어, 제2 부위 특징)을 추출할 수 있다. 특징 추출 모델들(911, 912)은 대상 부위에 대응하는 영상 패치로부터 부위 특징을 출력하도록 트레이닝된 모델일 수 있다. 부위 특징은 입력 영상으로부터 추상화된 특징으로서, 예를 들어, 특징 벡터를 나타낼 수 있다. 두 특징 추출 모델들(911, 912)은 서로 동일한 파라미터(예를 들어, 연결 가중치(connection weight))를 가지도록 트레이닝된 것일 수 있다. 따라서, 두 특징 추출 모델들(911, 912)은 서로 동일한 기계 학습 구조로 구성될 수 있고, 동일한 파라미터를 공유할 수 있다.

라이브니스 검증 장치는 컬러 부위 특징 및 적외선 부위 특징 간의 차이(difference)에 기초하여 객체의 라이브니스를 검증할 수 있다. 예를 들어, 라이브니스 검증 장치는 특징 추출 모델들(911, 912)로부터 산출된 적외선 부위 특징 및 컬러 부위 특징을 차분 추출 레이어(913) 및 완전연결(FC, fullyconnected)(914) 레이어에 입력하여 라이브니스 결과 정보(909)를 산출할 수 있다. 라이브니스 정보(909)는 영상에 나타나는 객체가 실제인 지 가짜인 지를 나타내는 정보로서, 예를 들어, 라이브니스 점수일 수 있다.

도 10은 부위 비교 모델(1010)의 다른 예시를 설명하는 도면이다. 예를 들어, 라이브니스 검증 장치는 부위 비교 모델에 기초하여, 컬러 패치(1001)(예를 들어, 제1 영상 패치) 및 적외선 패치(1002)(예를 들어, 제2 영상 패치) 간의 차분 정보(differential information)로부터 객체의 라이브니스를 검증할 수 있다. 라이브니스 검증 장치는 차분 추출 레이어(1011)에 기초하여, 컬러 패치(1002) 및 적외선 패치(1001) 간의 차분 정보를 추출할 수 있다. 차분 정보는 컬러 패치(1002) 및 적외선 패치(1001) 간의 차이를 나타내는 정보를 나타낼 수 있다. 예를 들어, 차분 정보는 가우시안 필터링된 컬러 패치(1002) 및 가우시안 필터링된 적외선 패치(1001) 간의 픽셀 값 차이를 나타낼 수 있다. 다만 이로 한정하는 것은 아니고 다른 필터링이 사용 될 수도 있다.

라이브니스 검증 장치는 차분 정보를 차분 모델(1013)에 입력하고, 차분 모델(1013)의 출력을 완전연결 레이어(1014)(FullyConnected Layer)로 전파시킴으로써 라이브니스 정보(1009)를 생성할 수 있다. 라이브니스 정보(1009)는 도 9와 유사하게 라이브니스 점수를 포함할 수 있다.

도 11 내지 도 13은 일 실시예에 따른 적외선 검증 모델을 설명하는 도면이다.

도 8b에서 설명된 위조 정보 및 라이브니스 점수가 함께 출력되는 부위 비교 모델과 유사하게, 다른 라이브니스 모델도 라이브니스 점수와 함께 위조 정보를 출력하도록 설계될 수 있다. 예를 들어, 라이브니스 검증 장치는 라이브니스 모델에 기초하여, 컬러 영상 및 적외선 영상으로부터 객체에 대한 라이브니스 점수와 함께 위조 정보(fake information)를 결정할 수 있다.

예를 들어, 도 11에 도시된 바와 같이, 라이브니스 검증 장치는 제4 적외선 검증 모델(1110)에 기초하여, 적외선 영상의 제1 대상 영역 패치(1101) 및 제2 대상 영역 패치(1102)로부터 적외선 라이브니스 점수(1191)와 함께 위조 정보(1192)를 결정할 수 있다. 제4 적외선 검증 모델(1110)은 제1 대상 영역 패치(1101) 및 제2 대상 영역 패치(1102)으로부터 적외선 라이브니스 점수(1191) 및 위조 정보(1192)를 출력하도록 트레이닝된 모델을 나타낼 수 있다.

위조 정보(1192)에 대한 설명은 도 8b에서 설명되었으므로 생략한다.

또한, 도 12에 도시된 바와 같이, 라이브니스 검증 장치는 제5 적외선 검증 모델(1210)에 기초하여 적외선 영상의 패딩된 객체 영역 패치(1201)로부터 적외선 라이브니스 점수(1291)와 함께 위조 정보(1292)를 결정할 수 있다. 제5 적외선 검증 모델(1210)은 패딩된 객체 영역 패치(1201)로부터 적외선 라이브니스 점수(1291) 및 위조 정보(1292)를 출력하도록 트레이닝된 모델을 나타낼 수 있다.

도 13에서 라이브니스 검증 장치는 제6 적외선 검증 모델(1310)에 기초하여 적외선 영상의 스케일링된 객체 영역 패치(1301)로부터 적외선 라이브니스 점수(1391)와 함께 위조 정보(1392)를 결정할 수 있다. 제6 적외선 검증 모델(1310)은 스케일링된 객체 영역 패치(1301)로부터 적외선 라이브니스 점수(1391) 및 위조 정보(1392)를 출력하도록 트레이닝된 모델을 나타낼 수 있다.

도 14는 일 실시예에 따른 부위 비교를 설명하는 도면이다.

일 실시예에 따른 라이브니스 검증 장치는 컬러 영상(1402)(예를 들어, 제1 영상)으로부터 추출된 대상 부위에 대응하는 컬러 패치(1421)(예를 들어, 제1 영상 패치) 및 적외선 영상(1401)(예를 들어, 제2 영상) 내에서 컬러 패치(1421)에 응답하여 결정된 적외선 패치(1411)(예를 들어, 제2 영상 패치) 간의 상호상관도(correlation level)에 기초하여, 객체의 라이브니스를 검증할 수 있다.

예를 들어, 라이브니스 검증 장치는 컬러 패치(1421) 및 적외선 패치(1411) 간의 정규화된 상호상관 값(1430)(NCC value, normalized cross correlation value)을 산출할 수 있다. 라이브니스 검증 장치는 정규화된 상호상관 값(1430)이 임계 값을 초과하는 지 여부를 판단하여 라이브니스 정보(1490)를 결정할 수 있다. 예를 들어, 라이브니스 검증 장치는 정규화된 상호상관 값(1430)이 임계 값을 초과하면 실제 얼굴인 것으로 결정할 수 있고, 정규화된 상호상관 값(1430)이 임계 값 이하이면 가짜 얼굴인 것으로 결정할 수 있다. 다만 이로 한정 하는 것은 아니고 특정 임계 값을 초과하면 가짜 얼굴인 것으로 결정할 수도 있으며, 임계 값과 조건을 다양하게 설정 할 수도 있다.

도 15 및 도 16은 사용자 인증의 위조 시도를 설명하는 도면이다.

도 15는 상술한 위조의 종류 중 스크린에 디스플레이되는 객체(1590)를 설명한다. 위조 시도자는 스크린 상에 디스플레이되는 위조 객체(1590)의 형태를 라이브니스 검증 장치(1510)를 통해 촬영함으로써, 위조를 시도할 수 있다. 예를 들어, 위조 시도자는 라이브니스 검증 장치(1510)의 전면 카메라를 통해 위조 장치의 디스플레이 상에 나타나는 위조 객체(1590)를 촬영할 수 있다.

도 16에 도시되는 바와 같이, 컬러 영상(1610)에서는 객체(1611)가 정상적으로 촬영된 것처럼 나타날 수 있다. 다만, 적외선 영상(1620)에서는 객체가 전혀 나타나지 않고 위조 장치(1621)만이 촬영된 것처럼 나타날 수 있다. 따라서, 라이브니스 검증 장치는 도 1 내지 도 14에서 상술한 동작들을 수행함으로써, 컬러 영상 및 적외선 영상에 기초하여 객체의 라이브니스를 정확하게 검증할 수 있다.

도 17 및 도 18은 일 실시예에 따른 라이브니스 검증이 적용되는 예시를 설명한다.

도 17은 라이브니스 검증 장치가 구현될 수 있는 실시예로서 컴퓨팅 장치(1700)를 설명하는 도면이다. 일 실시예에 따르면, 컴퓨팅 장치(1700)는 얼굴 인증을 통해 컴퓨팅 장치(1700)에 액세스하려는 사용자에 대한 사용자 인증을 수행할 수 있다. 예를 들어, 사용자가 컴퓨팅 장치(1700)의 잠금 상태를 해제하고자 컴퓨팅 장치(1700)에 사용자 인증을 시도하는 경우, 컴퓨팅 장치(1700)는 카메라와 같은 영상 획득 장치를 이용하여 사용자의 얼굴 영상을 획득하고, 획득된 얼굴 영상을 분석하여 컴퓨팅 장치(1700)의 잠금 상태를 해제할지 여부를 결정할 수 있다.

컴퓨팅 장치(1700)의 잠금 상태를 해제하기 위해 사용자는 자신의 얼굴을 컴퓨팅 장치(1700)의 카메라를 통해 촬영할 수 있다. 유효하지 않은 사용자는 위조 기술(spoofing techniques)을 이용하여 컴퓨팅 장치(1700)의 오인증을 유발하여 잠금 상태의 해제를 시도할 수 있다. 예를 들어, 유효하지 않은 사용자는 오인증을 유발하기 위해 유효한 사용자의 얼굴이 인쇄된 사진 또는 허가된 사용자의 얼굴 형상을 가지는 모형을 카메라에 제시할 수 있다. 라이브니스 검증 장치는 위와 같은 위조 기술에 기초한 오인증을 방지하는 역할을 한다.

일 실시예에 따르면, 라이브니스 검증 장치가 검증 대상이 라이브니스를 가지는 것으로 결정한 경우(검증 대상이 라이브한 경우), 컴퓨팅 장치(1700)는 사용자 인증 과정을 수행할 수 있다. 사용자 인증이 성공한 경우, 사용자는 컴퓨팅 장치(1700)의 잠금 상태를 성공적으로 해제시킬 수 있다. 반대로, 사용자 인증이 실패한 경우, 사용자는 컴퓨팅 장치(1700)의 잠금 상태를 해제시킬 수 없고, 컴퓨팅 장치(1700)는 계속 잠금 상태에서 동작할 수 있다. 라이브니스 검증 장치가 검증 대상이 라이브니스를 가지지 않는 것으로 결정한 경우(위조된 것인 경우), 컴퓨팅 장치(1700)는 사용자 인증을 수행하는 단계로 넘어가지 않고, 계속적으로 잠금 상태에서 동작할 수 있다.

도 18은 라이브니스 검증 장치가 적용되는 보안 관리 시스템(1800)(예를 들어, CCTV 등)을 설명한다. 예를 들어, 야간과 같이 광량이 제한되는 상황에서도, 라이브니스 검증 장치는 컬러 영상 및 적외선 영상을 복합적으로 이용하여 객체의 라이브니스를 검증함으로써, 실리콘 카빙 또는 3차원 프린팅에 의한 신분 위장(disguise)을 검출할 수도 있다.

도 19 및 도 20은 일 실시예에 따른 라이브니스 검증 장치의 구성을 설명하는 블록도이다.

도 19는 라이브니스 검증 장치(1900)의 개괄적인 구성을 설명하는 도면이다.

영상 획득부(1910)는 제1 영상 및 제2 영상을 포함하는 입력 영상을 획득할 수 있다. 제1 영상 및 제2 영상은 상술한 바와 같이 컬러 영상, 적외성 영상, 흑백 영상 및 깊이 영상 등일 수 있다. 영상 획득부(1910)는 컬러 센서 및 적외선 센서를 포함할 수 있고, 컬러 센서 및 적외선 센서는 서로 이격되어 배치될 수 있다. 또한, 컬러 센서 및 적외선 센서는 서로 다른 시야각을 가질 수 있다. 다만, 이로 한정하는 것은 아니고, 영상 획득부(1910)는 컬러 센서 및 적외선 센서가 통합된 단일 영상 센서(image sensor)를 포함할 수도 있고, 이러한 영상 센서에 의해 획득되는 컬러 영상 및 적외선 영상은 동일한 시야각을 가질 수 있다.

프로세서(1920)는 컬러 영상에서 검출되는 객체 부위 에 기초하여, 라이브니스 모델을 선택하고, 선택된 라이브니스 모델에 기초하여, 제1 영상 및 제2 영상 중 적어도 하나로부터 객체의 라이브니스를 검증할 수 있다.

다른 예를 들어, 프로세서(1920)는 컬러 영상으로부터 객체 부위에 대응하는 컬러 패치 및 적외선 영상으로부터 객체 부위에 대응하는 적외선 패치를 추출할 수 있다. 프로세서(1920)는 컬러 패치 및 적외선 패치 간의 차분 정보(differential information)에 기초하여 객체의 라이브니스를 검증할 수도 있다.

다만, 프로세서(1920)의 동작을 이로 한정하는 것은 아니고, 도 1 내지 도 14에서 설명한 동작들을 수행할 수 있다. 더 나아가 프로세서(1920)에 의해 수행되는 동작을 도 1 내지 도 14에서 설명한 바로 한정하는 것은 아니고 설계에 따라 변경될 수 있다. 또한, 도 1 내지 도 14의 각각에서 설명한 동작들은 다른 동작과 결합되러 라이브니스 검증 장치(1900)에 의해 수행될 수도 있다.

일 실시예에 따른 라이브니스 검증 장치(1900)는 적외선 영상과 함께 컬러 영상을 같이 고려하여 라이브니스를 검증함으로, 햇빛이 강한 야외에서도 강인할 수 있다.

도 20은 라이브니스 검증 장치(2000)의 추가적인 구성을 설명하는 도면이다.

라이브니스 검증 장치(2000)는 프로세서(2010), 메모리(2020), 카메라(2030), 저장 장치(2040), 입력 장치(2050), 출력 장치(2060) 및 네트워크 인터페이스(2070)를 포함할 수 있다. 프로세서(2010), 메모리(2020), 카메라(2030), 저장 장치(2040), 입력 장치(2050), 출력 장치(2060) 및 네트워크 인터페이스(2070)는 통신 버스(2080)를 통해 서로 통신할 수 있다.

프로세서(2010)는 라이브니스 검증 장치(2000) 내에서 실행하기 위한 기능 및 인스트럭션들을 실행한다. 예를 들어, 프로세서(2010)는 메모리(2020) 또는 저장 장치(2040)에 저장된 인스트럭션들을 처리할 수 있다. 프로세서(2010)는 도 1 내지 도 14를 통하여 전술한 하나 이상의 동작을 수행할 수 있다.

메모리(2020)는 라이브니스 검증을 위한 정보를 저장한다. 메모리(2020)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다. 메모리(2020)는 프로세서(2010)에 의해 실행하기 위한 인스트럭션들을 저장할 수 있고, 라이브니스 검증 장치(2000)에 의해 소프트웨어 또는 애플리케이션이 실행되는 동안 관련 정보를 저장할 수 있다.

카메라(2030)는 라이브니스 검증의 검사 대상이 나타난 정지 영상, 비디오 영상, 또는 이들 모두를 획득할 수 있다.

저장 장치(2040)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함한다. 일 실시예에 따르면, 저장 장치(2040)는 메모리(2020)보다 더 많은 양의 정보를 저장하고, 정보를 장기간 저장할 수 있다. 예를 들어, 저장 장치(2040)는 자기 하드 디스크, 광 디스크, 플래쉬 메모리, 전기적으로 프로그래밍가능한 메모리(EPROM), 플로피 디스크 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다.

입력 장치(2050)는 촉각, 비디오, 오디오 또는 터치 입력을 통해 사용자로부터 입력을 수신할 수 있다. 예를 들어, 입력 장치(2050)는 키보드, 마우스, 터치 스크린, 마이크로폰, 또는 사용자로부터 입력을 검출하고, 검출된 입력을 라이브니스 검증 장치(2000)에 전달할 수 있는 임의의 다른 장치를 포함할 수 있다.

출력 장치(2060)는 시각적, 청각적 또는 촉각적인 채널을 통해 사용자에게 라이브니스 검증 장치(2000)의 출력을 제공할 수 있다. 출력 장치(2060)는 예를 들어, 디스플레이, 터치 스크린, 스피커, 진동 발생 장치 또는 사용자에게 출력을 제공할 수 있는 임의의 다른 장치를 포함할 수 있다. 네트워크 인터페이스(2070)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

1. 라이브니스(liveness) 검증 방법에 있어서,
   제1 영상 또는 제2 영상에서 검출되는 객체 부위(object part)에 기초하여, 라이브니스 모델(liveness model)을 선택하는 단계; 및
   상기 선택된 라이브니스 모델에 기초하여, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나로부터 객체의 라이브니스(liveness)를 검증하는 단계
   를 포함하는 라이브니스 검증 방법.
2. 제1항에 있어서,
   상기 라이브니스 모델을 선택하는 단계는,
   상기 제1 영상 및 상기 제2 영상에서 대상 부위가 검출되는 경우에 응답하여, 상기 라이브니스 모델로서 제1 검증 모델(first verification model) 및 제2 검증 모델(second verification model) 중 적어도 하나를 선택하는 단계
   를 포함하는 라이브니스 검증 방법
3. 제2항에 있어서,
   상기 객체의 라이브니스를 검증하는 단계는,
   상기 제1 영상 중 상기 대상 부위에 대응하는 제1 영상 패치로부터 상기 제1 검증 모델에 기초하여 산출된 제1 라이브니스 점수 및 상기 제2 영상 중 상기 대상 부위에 대응하는 제2 영상 패치로부터 상기 제2 검증 모델에 기초하여 산출된 제2 라이브니스 점수 중 적어도 하나에 기초하여, 상기 객체의 라이브니스를 검증하는 단계
   를 포함하는 라이브니스 검증 방법.
4. 제2항에 있어서,
   상기 객체의 라이브니스를 검증하는 단계는,
   상기 제2 검증 모델에 기초하여, 상기 제2 영상의 객체 영역 패치, 제1 대상 영역 패치, 및 제2 대상 영역 패치 중 적어도 하나로부터 제2 라이브니스 점수를 산출하는 단계
   를 포함하는 라이브니스 검증 방법.
5. 제2항에 있어서,
   상기 객체의 라이브니스를 검증하는 단계는,
   상기 제1 검증 모델에 기초하여, 상기 제1 영상의 전체 영역 패치, 객체 영역 패치, 및 관심 영역 패치 중 적어도 하나로부터 제1 라이브니스 점수를 산출하는 단계
   를 포함하는 라이브니스 검증 방법.
6. 제1항에 있어서,
   상기 라이브니스 모델을 선택하는 단계는,
   상기 제1 영상의 미리 정한 영역 내에 대상 부위가 위치되는 경우에 응답하여, 부위 비교 모델(part comparison model)을 선택하는 단계
   를 포함하는 라이브니스 검증 방법.
7. 제1항에 있어서,
   상기 라이브니스를 검증하는 단계는,
   부위 비교 모델에 기초하여, 대상 부위에 대응하는 제1 영상 패치 및 상기 대상 부위에 대응하는 제2 영상 패치로부터 상기 객체의 라이브니스를 검증하는 단계
   를 포함하는 라이브니스 검증 방법.
8. 제7항에 있어서,
   상기 라이브니스를 검증하는 단계는,
   상기 부위 비교 모델 중 특징 추출 모델에 기초하여, 상기 제1 영상 패치로부터 제1 부위 특징을 추출하는 단계;
   상기 특징 추출 모델에 기초하여, 제2 패치로부터 제2 부위 특징을 추출하는 단계; 및
   상기 제1 부위 특징 및 상기 제2 부위 특징 간의 차이(difference)에 기초하여 상기 객체의 라이브니스를 검증하는 단계
   를 포함하는 라이브니스 검증 방법.
9. 제7항에 있어서,
   상기 라이브니스를 검증하는 단계는,
   상기 부위 비교 모델에 기초하여, 상기 제1 영상 패치 및 상기 제2 영상 패치 간의 차분 정보(differential information)로부터 상기 객체의 라이브니스를 검증하는 단계
   를 포함하는 라이브니스 검증 방법.
10. 제1항에 있어서,
    상기 라이브니스를 검증하는 단계는,
    상기 제1 영상으로부터 추출된 대상 부위에 대응하는 제1 영상 패치 및 상기 제1 영상 패치에 응답하여 결정된 제2 영상 패치 간의 상호상관도(correlation level)에 기초하여, 상기 객체의 라이브니스를 검증하는 단계
    를 포함하는 라이브니스 검증 방법.
11. 제1항에 있어서,
    상기 제1 영상으로서 컬러 영상을 획득하고, 상기 제2 영상으로서 적외선 영상을 획득하는 단계
    를 더 포함하고,
    상기 라이브니스 모델을 선택하는 단계는,
    상기 컬러 영상에서 대상 부위가 검출되는 경우에 응답하여, 컬러 검증 모델을 선택하는 단계; 및
    상기 대상 부위가 상기 컬러 영상의 미리 정한 영역을 벗어나서 위치되고, 상기 객체의 적어도 일부가 상기 미리 정한 영역 내에 위치되는 경우에 응답하여, 적외선 영역 모델을 선택하는 단계
    를 포함하는 라이브니스 검증 방법.
12. 제1항에 있어서,
    상기 라이브니스 모델을 선택하는 단계는,
    상기 제2 영상으로부터 상기 객체의 동공이 검출되는 경우에 응답하여, 동공 모델을 선택하는 단계
    를 포함하고,
    상기 라이브니스를 검증하는 단계는,
    상기 동공 모델에 기초하여, 상기 동공에 대응하는 동공 패치로부터 상기 객체의 라이브니스를 검증하는 단계
    를 포함하는 라이브니스 검증 방법.
13. 제1항에 있어서,
    상기 라이브니스를 검증하는 단계는,
    상기 객체에 대한 라이브니스의 검증이 미리 정한 횟수 이상 실패하는 경우에 응답하여, 상기 라이브니스 모델에 기초하여 산출되는 라이브니스 점수에 대한 라이브니스 임계(liveness threshold)를 증가시키는 단계
    를 포함하는 라이브니스 검증 방법.
14. 제13항에 있어서,
    상기 제2 영상 내에 대상 부위가 위치되지 않는 경우에 응답하여, 상기 라이브니스 임계로서 제1 임계 값을 결정하는 단계;
    상기 제2 영상 내에 하나의 대상 부위가 위치되는 경우에 응답하여, 상기 라이브니스 임계로서 상기 제1 임계 값보다 작은 제2 임계 값을 결정하는 단계;
    상기 제2 영상 내에 복수의 대상 부위들이 위치되는 경우에 응답하여, 상기 라이브니스 임계로서 상기 제2 임계 값보다 작은 제3 임계 값을 결정하는 단계;
    상기 제2 영상 내에 하나의 동공이 검출되는 경우에 응답하여, 상기 라이브니스 임계로서 상기 제3 임계 값보다 작은 제4 임계 값을 결정하는 단계; 및
    상기 제2 영상 내에 복수의 동공들이 검출되는 경우에 응답하여, 상기 라이브니스 임계로서 상기 제4 임계 값보다 작은 제5 임계 값을 결정하는 단계
    를 더 포함하는 라이브니스 검증 방법.
15. 제1항에 있어서,
    상기 라이브니스를 검증하는 단계는,
    상기 라이브니스 모델에 기초하여, 상기 제1 영상 및 상기 제2 영상으로부터 상기 객체에 대한 라이브니스 점수와 함께 위조 정보(fake information)를 결정하는 단계
    를 포함하는 라이브니스 검증 방법.
16. 제1항에 있어서,
    상기 라이브니스를 검증하는 단계는,
    상기 라이브니스 모델에 기초하여, 상기 제1 영상에 나타나는 객체 부위에 대응하는 제1 영상 패치 및 상기 제2 영상에 나타나는 객체 부위에 대응하는 제2 영상 패치 중 적어도 하나로부터 라이브니스 점수를 산출하는 단계;
    상기 라이브니스 점수가 라이브니스 임계 이상인 경우에 응답하여, 실제 객체(real object)에 대한 영상이 획득된 것으로 결정하는 단계; 및
    상기 라이브니스 점수가 라이브니스 임계 미만인 경우에 응답하여, 가짜 객체(fake object)에 대한 영상이 획득된 것으로 결정하는 단계
    를 포함하는 라이브니스 검증 방법.
17. 제1항에 있어서,
    상기 라이브니스를 검증하는 단계는,
    상기 라이브니스 모델에 기초하여, 상기 제2 영상 중 상기 객체의 양 눈(both eyes)에 대응하는 제2 영상 패치들로부터 상기 객체의 라이브니스를 검증하는 단계
    를 포함하는 라이브니스 검증 방법.
18. 라이브니스 검증 방법에 있어서,
    제1 영상으로부터 객체 부위에 대응하는 제1 영상 패치 및 제2 영상으로부터 상기 객체 부위에 대응하는 제2 영상 패치를 추출하는 단계; 및
    상기 제1 영상 패치 및 상기 제2 영상 패치 간의 차분 정보(differential information)에 기초하여 상기 객체의 라이브니스를 검증하는 단계
    를 포함하는 라이브니스 검증 방법.
19. 제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 프로그램을 저장하는 컴퓨터 판독 가능 기록매체.
20. 라이브니스 검증 장치에 있어서,
    제1 영상 및 제2 영상을 획득하는 영상 획득부; 및
    상기 제1 영상 또는 상기 제2 영상에서 검출되는 객체 부위에 기초하여, 라이브니스 모델을 선택하고, 상기 선택된 라이브니스 모델에 기초하여, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나로부터 객체의 라이브니스를 검증하는 프로세서
    를 포함하는 라이브니스 검증 장치.
    

Images