KR20230105986A

KR20230105986A - 라이브니스 검사 방법 및 라이브니스 검사 장치

Info

Publication number: KR20230105986A
Application number: KR1020220001677A
Authority: KR
Inventors: 이솔애; 곽영준; 유병인; 이한아; 최지호
Original assignee: 삼성전자주식회사
Priority date: 2022-01-05
Filing date: 2022-01-05
Publication date: 2023-07-12
Also published as: US20230215219A1; CN116416685A; EP4210006A1

Abstract

라이브니스 검사 방법 및 라이브니스 검사 장치가 개시된다. 라이브니스 검사 방법은 입력 영상에서 얼굴 영역을 검출하는 동작, 검출된 얼굴 영역에 기초하여 입력 영상 내 얼굴 위치와 관련된 가중치 맵 데이터를 생성하는 동작, 가중치 맵 데이터를 입력 영상이 입력되는 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터 또는 입력 영상의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성하는 동작, 결합 데이터를 라이브니스 검사 모델에 입력시키는 동작, 및 라이브니스 검사 모델에 의해 결정된 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정하는 동작을 포함한다.

Description

라이브니스 검사 방법 및 라이브니스 검사 장치{LIVENESS TEST METHOD AND LIVENESS TEST APPARATUS}

다양한 실시예들은 객체에 대한 라이브니스 검사 기술에 관한 것이다.

사용자 인증 시스템(user authentication system)에서 컴퓨팅 장치는 사용자에 의해 제공되는 인증 정보에 기초하여 해당 컴퓨팅 장치에 대한 액세스를 허용할지 여부를 결정할 수 있다. 인증 정보는 사용자에 의해 입력되는 패스워드 또는 사용자의 생체 정보(biometric information) 등을 포함할 수 있다. 생체 정보는 지문(fingerprint), 홍채(iris) 또는 얼굴에 대한 정보를 포함한다.

최근, 사용자 인증 시스템을 위한 보안 방법으로서, 얼굴 스푸핑 방지(face anti-spoofing) 기술에 대한 관심이 증가하고 있다. 얼굴 스푸핑 방지는 컴퓨팅 장치에 입력된 사용자의 얼굴이 위조 얼굴(fake face)인지 아니면 진짜 얼굴(genuine face)인지 여부를 구별한다. 이를 위해, 입력 영상에서 LBP(local binary patterns), HOG(histogram of oriented gradients), DoG(difference of Gaussians) 등과 같은 특징들(features)이 추출되고, 추출된 특징들에 기반하여 입력된 얼굴이 위조 얼굴인지 여부가 판정된다. 얼굴 스푸핑은 사진, 동영상 또는 마스크 등을 이용하는 공격 형태를 가지며, 얼굴 인증에 있어 이러한 공격들을 구별해 내는 것은 중요하다.

일 실시예에 따른 라이브니스 검사 방법은 입력 영상에서 얼굴 영역을 검출하는 동작; 상기 검출된 얼굴 영역에 기초하여 상기 입력 영상 내 얼굴 위치와 관련된 가중치 맵 데이터를 생성하는 동작; 상기 가중치 맵 데이터를 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터 또는 상기 입력 영상의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성하는 동작; 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키는 동작; 및 상기 라이브니스 검사 모델에 의해 결정된 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정하는 동작을 포함할 수 있다.

상기 가중치 맵 데이터는, 상기 입력 영상 내 상기 얼굴 영역에 대응되는 제1 영역과 상기 입력 영상 내 비-얼굴 영역에 대응되는 제2 영역을 포함하고, 상기 제1 영역에 할당된 가중치와 상기 제2 영역에 할당된 가중치는 서로 다를 수 있다.

상기 가중치 맵 데이터는, 상기 얼굴 영역에 대응되는 상기 가중치 맵 데이터의 대응 영역의 중심을 기준으로 거리에 따라 가중치가 달라지는 것일 수 있다.

상기 가중치 맵 데이터는, 상기 대응 영역의 축소 영역, 상기 대응 영역 및 상기 대응 영역의 확장 영역을 포함하고, 상기 축소 영역, 상기 대응 영역 및 상기 확장 영역은 상기 대응 영역의 중심을 기준으로 중첩하여 배치될 수 있다.

상기 축소 영역에 할당되는 제1 가중치는, 상기 대응 영역과 상기 축소 영역 사이의 영역에 할당되는 제2 가중치보다 크고, 상기 제2 가중치는 상기 확장 영역과 상기 대응 영역 사이의 영역에 할당되는 제3 가중치보다 큰 것일 수 있다.

상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키는 동작은, 상기 가중치 맵 데이터와 상기 제1 중간 레이어로부터 출력된 특징 데이터가 결합되어 상기 결합 데이터가 생성된 경우에, 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델의 제2 중간 레이어에 입력시키는 동작을 포함하고, 상기 제2 중간 레이어는, 상기 제1 중간 레이어보다 상위 레이어일 수 있다.

상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키는 동작은, 상기 가중치 맵 데이터와 상기 입력 영상의 영상 데이터가 결합되어 상기 결합 데이터가 생성된 경우에, 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델의 입력 레이어에 입력시키는 동작을 포함할 수 있다.

상기 가중치 맵 데이터를 생성하는 동작은, 뉴럴 네트워크 기반의 가중치 맵 생성 모델을 이용하여 상기 가중치 맵 데이터를 생성하는 동작을 포함할 수 있다.

일 실시예에 따른 라이브니스 검사 장치는, 프로세서; 및 상기 프로세서에서 실행가능한 명령어들을 포함하는 메모리를 포함하고, 상기 명령어들이 상기 프로세서에 의해 실행되면, 상기 프로세서는 입력 영상에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역에 기초하여 상기 입력 영상 내 얼굴 위치와 관련된 가중치 맵 데이터를 생성하고, 상기 가중치 맵 데이터를 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터 또는 상기 입력 영상의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성하고, 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키고, 상기 라이브니스 검사 모델에 의해 결정된 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정할 수 있다.

일 실시예에 따른 객체에 대한 라이브니스 검사를 수행하는 전자 장치는, 상기 객체가 나타난 입력 영상을 획득하는 카메라; 및 상기 입력 영상에 기초하여 라이브니스 검사를 수행하는 프로세서를 포함하고, 상기 프로세서는 입력 영상에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역에 기초하여 상기 입력 영상내 얼굴 위치와 관련된 가중치 맵 데이터를 생성하고, 상기 가중치 맵 데이터를 상기 입력 영상이 입력되는 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터 또는 상기 입력 영상의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성하고, 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키고, 상기 라이브니스 검사 모델에 의해 결정된 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정할 수 있다.

도 1 및 도 2는 일 실시예에 따른 생체 인증 및 라이브니스 검사를 설명하기 위한 도면들이다.
도 3은 일 실시예에 따른 라이브니스 검사 방법의 동작들을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 가중치 맵 데이터의 생성을 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 가중치 맵 데이터의 생성을 설명하기 위한 도면이다.
도 6a는 일 실시예에 따른 결합 데이터를 라이브니스 검사 모델에 입력시키는 것을 설명하기 위한 도면이다.
도 6b는 일 실시예에 따른 결합 데이터를 라이브니스 검사 모델에 입력시키는 것을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 라이브니스 검사 장치의 구성을 도시한 블록도이다.
도 8은 일 실시예에 따른 전자 장치의 구성을 도시하는 블록도이다.
도 9는 일 실시예에 따른 라이브니스 검사 모델의 학습(training)을 설명하기 위한 도면이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

도 1 및 도 2는 일 실시예에 따른 생체 인증 및 라이브니스 검사를 설명하기 위한 도면들이다.

생체 인증(biometrics)은 사용자 인증(user verification)을 위한 인증 기술들 중 지문, 홍채, 얼굴, 정맥, 피부 등의 개인 생체 정보를 이용하는 인증 기술이다. 생체 인증에서 얼굴 인증은(face verification)은 인증을 시도한 사용자의 얼굴 정보에 기초하여 해당 사용자가 유효한(valid) 사용자인지 여부를 판단하는 인증 기술이다. 얼굴 인증은 사용자 로그인, 결제 서비스 및 출입 통제 등에서 유효한 사용자를 인증하는데 이용될 수 있다.

도 1을 참조하면, 전자 장치(120)(예: 도 8의 전자 장치(800))는 생체 인증을 통해 전자 장치(120)에 액세스하려는 객체(110)(예: 사용자)에 대한 인증 과정을 수행한다. 전자 장치(120)는 전자 장치(120)에 포함된 카메라(130)를 이용하여 객체(110)에 대한 영상 데이터를 획득하고, 획득한 영상 데이터를 분석하여 인증 결과를 결정할 수 있다. 생체 인증 과정은 영상 데이터에서 특징을 추출하고, 추출된 특징을 유효한 객체에 대한 등록 특징과 비교하여 그 비교 결과에 따라 인증의 성공 여부를 결정하는 과정을 포함할 수 있다. 일 실시예에서, 전자 장치(120)가 잠금 상태에 있었던 경우, 객체(110)에 대한 인증이 성공한 것으로 결정되면 전자 장치(120)의 잠금 상태가 해제될 수 있다. 이와 반대로, 객체(110)에 대한 인증이 실패한 것으로 결정된 경우, 전자 장치(120)는 계속적으로 잠금 모드에서 동작하거나 객체(110)의 액세스를 차단할 수 있다.

전자 장치(120)에 대한 유효한 사용자는 등록 과정을 통해 자신의 생체 특징을 전자 장치(120)에 미리 등록할 수 있고, 전자 장치(120)는 저장 장치 또는 클라우드 저장매체(cloud storage)에 해당 유효한 사용자를 식별하기 위한 정보를 저장할 수 있다. 예를 들어, 유효한 사용자의 얼굴 영상 또는 해당 얼굴 영상으로부터 추출된 얼굴 특징이 유효한 사용자의 등록 생체 특징으로서 저장될 수 있다.

위와 같은 생체 인증 과정에서 라이브니스 검사(liveness test)가 수행될 수 있다. 라이브니스 검사는 객체(110)가 살아있는 객체인지 여부를 검사하는 것으로, 생체 인증 수단의 진위 여부를 판단하기 위한 것이다. 예를 들어, 라이브니스 검사는 카메라(130)에 의해 촬영된 영상에 나타난 얼굴이 사람의 진짜 얼굴(genuine face)인지 아니면 가짜 얼굴(fake face)인지 여부를 검사하는 것이다. 라이브니스 검사를 통해, 살아있지 않은 객체(예: 사진, 종이, 동영상, 모형, 마스크 등)와 살아있는 객체(예: 사람의 실제 얼굴) 사이를 구별할 수 있다. 본 명세서에서 '라이브니스 검사'의 용어는 '라이브니스 검출(liveness detection)'로 대체될 수 있다. 실시예에 따라 전자 장치(120)는 라이브니스 검사 및 생체 인증 중 어느 하나만 수행하거나, 또는 라이브니스 검사 및 생체 인증을 모두 수행할 수 있다.

도 2는 일 실시예에 따른 가짜 얼굴(210)의 예들과 진짜 얼굴(220)을 도시한다. 전자 장치(120)는 라이브니스 검사를 통해 영상 데이터에 나타난 얼굴이 진짜 얼굴(220)인지 여부를 식별할 수 있다. 전자 장치(120)는 라이브니스 검사를 통해 스크린, 사진, 종이 또는 모형 등에 나타난 가짜 얼굴(210)과 실제 사람의 진짜 얼굴(220)을 구별할 수 있다.

도 1로 돌아오면, 유효하지 않은 사용자는 위조 기술(spoofing techniques)을 이용하여 생체 인증 시스템의 오인증(false acceptance)을 유발하기 위한 시도를 수행할 수 있다. 얼굴 인증에서, 유효하지 않은 사용자는 해당 오인증을 유발하기 위해, 유효한 사용자의 얼굴이 나타난 사진, 동영상 또는 모형 등의 대체물을 카메라(130)에 제시할 수 있다. 라이브니스 검사는 이러한 대체물을 이용한 인증 시도(또는, 스푸핑 공격)를 걸러내어 오인증을 방지하는 역할을 한다. 라이브니스 검사의 결과로서, 인증 대상이 살아있지 않은 객체로 결정된 경우, 유효한 객체인지 여부를 판단하는 인증 과정을 수행하는 것 없이 최종적으로 인증이 실패한 것으로 결정되거나 또는 인증 과정이 수행되었더라도 그 인증 결과와 관계없이 최종적으로 인증이 실패한 것으로 결정될 수 있다.

전자 장치(120)는 라이브니스 검사 과정에서 얼굴 위치 정보(face location information)를 이용하여 라이브니스 검사를 수행할 수 있다. 전자 장치(120)는 영상 데이터에서 얼굴 영역을 검출하고, 검출된 얼굴 영역의 위치 정보를 이용하여 얼굴 영역의 위치와 관련된 가중치 맵 데이터(또는 얼굴 위치 맵 데이터)를 생성할 수 있다. 전자 장치(120)는 가중치 맵 데이터를 영상 데이터나 라이브니스 검사 모델(예: 도 6a의 라이브니스 검사 모델(620))의 레이어로부터 출력된 특징 데이터와 결합하여 라이브니스 판단에 이용할 수 있다. 전자 장치(120)는 영상 데이터와 가중치 맵 데이터를 이용하여 라이브니스 검사를 수행함으로써, 얼굴 내부의 특징과 함께 얼굴 주변의 컨텍스트(context) 정보를 포함하는 얼굴 외부의 특징을 모두 고려하여 라이브니스 검사 결과를 결정할 수 있다. 라이브니스 검사에서 가중치 맵 데이터를 이용하는 것에 의해, 가중치 맵 데이터를 이용하지 않는 경우보다 라이브니스 검사의 정확도가 개선될 수 있다.

도 3은 일 실시예에 따른 라이브니스 검사 방법의 동작들을 설명하기 위한 흐름도이다. 라이브니스 검사 방법은 라이브니스 검사 장치(예: 도 7의 라이브니스 검사 장치(700))에 의해 수행될 수 있다.

도 3을 참조하면, 동작(310)에서 라이브니스 검사 장치는 입력 영상(또는 얼굴 영상)에서 얼굴 영역(face region)을 검출할 수 있다. 얼굴 영역은 입력 영상에 나타난 얼굴의 주요 컴포넌트들(예: 눈, 코, 입, 눈썹)을 포함하는 영역으로서, 얼굴의 전체 영역을 포함할 필요는 없으며 얼굴의 일부 영역만을 포함할 수도 있다. 라이브니스 검사 장치는 라이브니스 판별을 위한 입력 영상을 입력 받고, 다양한 얼굴 영역 검출 기법들 중 적어도 하나를 이용하여 입력 영상에서 얼굴 영역을 검출할 수 있다. 예를 들어, 라이브니스 검사 장치는 Haar 기반의 캐스케이드 에이다부스트 분류기, 얼굴 영역을 검출하는 것으로 학습된 뉴럴 네트워크 또는 Viola-Jones 검출기 등을 이용하여 영상 데이터에서 얼굴 영역을 검출할 수 있다. 다만, 실시예의 범위가 이에 한정되는 것은 아니고, 라이브니스 검사 장치는 다른 얼굴 영역 검출 기법을 이용하여 얼굴 영역을 검출할 수 있다. 예를 들어, 라이브니스 검사 장치는 입력 영상에서 얼굴의 랜드마크들(facial landmarks)을 검출하고, 검출된 랜드마크들을 포함하는 바운딩(bounding) 영역을 얼굴 영역으로서 검출할 수도 있다.

일 실시예에서, 라이브니스 검사 장치는 얼굴 영역을 정의하기 위해 입력 영상에서 얼굴 영역의 기준 위치를 정의하기 위한 기준 좌표, 기준 위치로부터의 높이(height) 및 기준 위치로부터의 너비(width)를 검출할 수 있다. 얼굴 영역은 예를 들어 사각형의 영역으로서 검출될 수 있고, 이 경우 기준 좌표는 검출된 사각형의 좌측 상단 꼭지점의 위치에 대한 2차원 좌표일 수 있다. 다만, 실시예의 범위가 이에 제한되는 것은 아니고, 얼굴 영역은 예를 들어 원, 타원, 또는 다각형의 형태로 검출될 수도 있으며, 기준 좌표는 얼굴 영역의 중심 위치나 다른 꼭지점 위치로 정의될 수도 이다.

동작(320)에서, 라이브니스 검사 장치는 검출된 얼굴 영역에 기초하여 입력 영상 내 얼굴 위치와 관련된 가중치 맵 데이터를 생성할 수 있다. 가중치 맵 데이터는 입력 영상 내 얼굴 영역의 위치에 의존하는 가중치 분포를 나타내는 데이터이다. 라이브니스 검사 장치에 의해 생성되는 가중치 맵 데이터는 실시예에 따라 다양한 형태로 정의될 수 있다. 예를 들어, 가중치 맵 데이터는 입력 영상 내 얼굴 영역에 대응되는 제1 영역과 입력 영상 내 비-얼굴 영역(non-face region)에 대응되는 제2 영역을 포함할 수 있고, 제1 영역에 할당된 가중치와 제2 영역에 할당된 가중치는 서로 다를 수 있다. 제1 영역에 할당된 가중치는 제2 영역에 할당된 가중치보다 클 수 있다.

다른 예로, 가중치 맵 데이터는 입력 영상 내 얼굴 영역에 대응되는 가중치 맵 데이터의 대응 영역의 중심을 기준으로 거리에 따라 가중치가 달라지는 것일 수도 있다. 가중치 맵 데이터는 해당 대응 영역의 축소 영역, 대응 영역 및 대응 영역의 확장 영역을 포함할 수 있고, 축소 영역, 대응 영역 및 확장 영역은 대응 영역의 중심을 기준으로 중첩하여 배치될 수 있다. 여기서, 축소 영역에 할당되는 제1 가중치는 대응 영역과 축소 영역 사이의 영역에 할당되는 제2 가중치보다 크고, 제2 가중치는 확장 영역과 상기 대응 영역 사이의 영역에 할당되는 제3 가중치보다 클 수 있다.

또 다른 예로, 라이브니스 검사 장치는 뉴럴 네트워크 기반의 가중치 맵 생성 모델을 이용하여 가중치 맵 데이터를 생성할 수 있다. 가중치 맵 생성 모델에는 입력 영상이 입력되고, 가중치 맵 생성 모델은 입력 영상 내 얼굴 영역의 위치와 관련된 가중치 맵 데이터를 출력할 수 있다. 가중치 맵 생성 모델은 학습 데이터(예: 학습 영상)와 해당 학습 데이터에 대응하는 목적하는 가중치 맵 데이터에 기초하여 학습된 모델일 수 있다. 학습 과정에서 가중치 맵 생성 모델은 입력된 학습 데이터에 대응하여 목적하는 가중치 맵 데이터와 최대한 유사한 가중치 맵 데이터를 출력하도록 가중치 맵 생성 모델의 파라미터(예: 연결 가중치)가 업데이트될 수 있다. 가중치 맵 생성 모델을 이용하는 경우, 얼굴 영역 내에 존재할지 모르는 장애물이나 액세서리(예: 모자, 마스크, 선글라스, 안경)에 의한 가림 영역(occlusion region)에 대한 가중치가 보다 정확하게 결정될 수 있다. 가중치 맵 생성 모델에 의해 생성된 가중치 맵 데이터에서 얼굴 영역에 대응되는 가중치 맵 데이터의 제1 영역에 할당된 가중치는, 얼굴 영역에 나타난 가림 영역에 대응되는 가중치 맵 데이터의 제2 영역에 할당된 가중치와 다를 수 있다. 제1 영역에 할당된 가중치는 제2 영역에 할당된 가중치보다 클 수 있다.

동작(330)에서, 라이브니스 검사 장치는 가중치 맵 데이터를 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터 또는 입력 영상의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성할 수 있다. 라이브니스 검사 모델(예: 도 6a의 라이브니스 검사 모델(620), 도 6b의 라이브니스 검사 모델(650))은 입력된 입력 영상에 기초하여 라이브니스 스코어를 출력하는 모델로서, 뉴럴 네트워크(예: 컨볼루션 뉴럴 네트워크(convolution neural network))에 기반할 수 있다. 가중치 맵 데이터와 제1 중간 레이어로부터 출력된 특징 데이터를 결합시키는 경우, 라이브니스 검사 장치는 가중치 맵 데이터의 크기(또는 해상도)를 특징 데이터의 크기(또는 해상도)에 대응되도록 조정하고, 크기가 조정된 가중치 맵 데이터와 특징 데이터를 결합(concatenation)시키는 것에 의해 결합 데이터를 생성할 수 있다.

동작(340)에서, 라이브니스 검사 장치는 생성된 결합 데이터를 라이브니스 검사 모델에 입력시킬 수 있다. 가중치 맵 데이터와 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터가 결합되어 결합 데이터가 생성된 경우에, 라이브니스 검사 장치는 생성된 결합 데이터를 라이브니스 검사 모델의 제2 중간 레이어에 입력시킬 수 있다. 제2 중간 레이어는 제1 중간 레이어보다 상위 레이어일 수 있다. 가중치 맵 데이터와 입력 영상의 영상 데이터가 결합되어 결합 데이터가 생성된 경우에, 라이브니스 검사 장치는 생성된 결합 데이터를 라이브니스 검사 모델의 입력 레이어에 입력시킬 수 있다.

동작(350)에서, 라이브니스 검사 장치는 라이브니스 검사 모델에 의해 결정된 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정할 수 있다. 라이브니스 검사 모델은 입력된 데이터(예: 입력 영상의 영상 데이터 또는 입력 영상과 가중치 맵 데이터의 결합 데이터)에 기초하여 라이브니스 스코어(또는 객체의 라이브니스 여부)를 출력하도록 학습된 뉴럴 네트워크일 수 있다. 라이브니스 검사 모델은 입력된 데이터에 대한 응답으로 내부 파라미터들에 의해 계산된 값을 라이브니스 스코어로서 출력할 수 있다. 라이브니스 검사 모델은 예를 들어 심층 뉴럴 네트워크(deep neural network, DNN), 컨볼루션 뉴럴 네트워크(CNN), 재귀적 뉴럴 네트워크(recurrent neural network, RNN), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 이들 중 둘 이상의 조합 중 하나일 수 있으며, 전술한 예에 한정되지 않는다. 라이브니스 검사 모델의 적어도 일부는 소프트웨어로 구현되거나, 뉴럴 프로세서(neural processor)를 포함하는 하드웨어로 구현되거나, 또는 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다.

라이브니스 검사 모델로부터 출력되는 라이브니스 스코어는 검사 대상의 라이브니스 여부를 결정하는데 기준이 되는 값으로, 예를 들어 입력된 데이터에 기반하여 검사 대상인 객체가 진짜 객체 또는 가짜 객체에 해당할 수치, 확률 값 또는 특징 값을 나타낼 수 있다. 다른 예로, 라이브니스 스코어는 얼굴 객체가 진짜 얼굴 및 가짜 얼굴 중 어느 것에 해당하는지 여부를 나타내는 값을 나타낼 수도 있다. 라이브니스 검사 장치는 라이브니스 스코어가 미리 설정된 조건을 만족시키는지 여부에 기초하여 객체의 라이브니스 여부를 결정할 수 있다. 예를 들어, 라이브니스 검사 장치는 라이브니스 스코어가 임계 값보다 큰 경우에는 객체가 살아 있는 진짜 객체인 것으로 결정하고, 라이브니스 스코어가 임계 값 이하인 경우에는 객체가 살아 있지 않은 가짜 객체인 것으로 결정할 수 있다. 다른 예로, 라이브니스 스코어가 진짜 객체 및 가짜 객체 중 어느 것에 해당하는지 여부를 나타내는 값일 경우에는, 라이브니스 검사 장치는 라이브니스 스코어에 기초하여 바로 객체의 라이브니스 여부를 결정할 수 있다.

도 4는 일 실시예에 따른 가중치 맵 데이터의 생성을 설명하기 위한 도면이다.

도 4를 참조하면, 라이브니스 검사를 위해 객체(420)가 나타난 입력 영상(410)이 주어지면, 라이브니스 검사 장치는 입력 영상(410)에서 객체(420)의 얼굴 영역(430)을 검출할 수 있다. 얼굴 영역(430)의 위치 및 크기는 예를 들어 얼굴 영역(430)을 정의하는 사각형의 좌측 상단 꼭지점의 좌표, 사각형의 너비 및 높이에 의해 정의될 수 있다.

라이브니스 검사 장치는 검출된 얼굴 영역(430)의 위치에 기반하여 얼굴 영역(430)의 위치 정보를 가중치 맵의 형태로 변환하는 것에 의해 가중치 맵 데이터(440)를 생성할 수 있다. 가중치 맵 데이터(440)는 얼굴 영역의 위치 정보를 2D(dimensional) 맵의 형태로 변환한 것으로, 얼굴 영역의 위치에 의존하는 가중치 정보를 포함할 수 있다.

가중치 맵 데이터(440)에서 얼굴 영역(430)에 대응되는 가중치 맵 데이터(440)의 대응 영역과 얼굴 영역이 아닌 비-얼굴 영역에 대응되는 영역에는 각기 다른 가중치가 할당되도록 구현될 수 있다. 또는, 가중치 맵 데이터(440)는 얼굴 영역(430)에 대응되는 가중치 맵 데이터(440)의 대응 영역의 중심을 기준으로 거리에 따라 가중치가 달라지게 구현될 수도 있다. 도 4에 도시된 실시예의 경우, 가중치 맵 데이터(440)가 얼굴 영역(430)에 대응되는 대응 영역(1T 영역)(442), 대응 영역(442)의 축소 영역(0.5T 영역)(441), 대응 영역(442)의 확장 영역들(1.5T 영역, 2T 영역)(443, 444) 및 최외각 영역(445)을 포함한다. 영역들(441, 442, 443, 444, 445)은 서로 간에 영역 크기의 가로 및 세로 비율이 다르고, 대응 영역(442)의 중심을 기준으로 중첩하여 배치될 수 있다.

가중치 맵 데이터(440)에서 각 영역들(441, 442, 443, 444, 445)에 할당되는 가중치는 서로 다를 수 있다. 예를 들어, 가중치 맵 데이터(440)에서 얼굴 영역(430)의 내부 중심 영역에 대응되는 축소 영역(441)에는 1의 가중치가 할당되고, 얼굴 영역(430)에 대응되는 대응 영역(442)과 축소 영역(441) 사이의 영역에는 0.75의 가중치가 할당될 수 있다. 확장 영역(443)과 대응 영역(442) 사이의 영역에는 0.5의 가중치가 할당되고, 확장 영역(444)과 확장 영역(443) 사이의 영역에는 0.25의 가중치가 할당될 수 있다. 최외각 영역(445)과 확장 영역(444) 사이의 영역에는 0의 가중치가 할당될 수 있다. 이와 같이, 가중치 맵 데이터(440)에서의 가중치 분포는 얼굴 영역(430)에 대응되는 대응 영역(442)의 중심을 거리에 따라 가중치가 점차 작아지는 형태를 가질 수 있다. 다만, 이는 일 실시예에 불과하고, 가중치 맵 데이터(440)에서의 가중치 분포는 다양할 수 있다. 예를 들어, 가중치 분포는 가중치 맵 데이터(440)에서와 같이 계단형으로 변하는 것이 아니라, 대응 영역(442)의 중심으로부터의 거리에 비례하여 가중치가 연속적으로 변하는 형태를 가질 수도 있다. 가중치 맵 데이터(440)에서 가중치가 높은 영역일수록, 대응되는 입력 영상(410)의 영역의 정보가 라이브니스 검사 결과에 미치는 영향이 입력 영상(410)의 다른 영역에 비해 상대적으로 높을 수 있다.

도 5는 다른 실시예에 따른 가중치 맵 데이터의 생성을 설명하기 위한 도면이다.

도 5를 참조하면, 가중치 맵 데이터(540)는 뉴럴 네트워크 기반의 가중치 맵 생성 모델(530)에 의해 생성될 수 있다. 가중치 맵 생성 모델(530)에는 객체(520)가 나타난 입력 영상(510)이 입력되고, 가중치 맵 생성 모델(530)로부터 입력 영상(510)에 대응되는 가중치 맵 데이터(540)이 출력될 수 있다. 가중치 맵 생성 모델(530)은 입력 영상(510)에서 객체(520)에 나타난 얼굴 가림 등의 컨텍스트에 따라 가중치 맵 데이터에서의 가중치를 동적(dynamically)으로 할당할 수 있다. 도 5에 도시된 실시예와 같이 입력 영상(510)에 장애물에 의한 얼굴 영역에 대한 가림 영역이 있다고 가정하는 경우, 가중치 맵 생성 모델(530)에 의해 생성된 가중치 맵 데이터(540)는 객체의 얼굴 영역에 대응되는 제1 영역(542)과 얼굴 영역에 나타난 가림 영역에 대응되는 제2 영역(544)을 포함하고, 제1 영역(542)에 할당된 가중치는 제2 영역(544)에 할당된 가중치와 서로 다를 수 있다. 제1 영역(542)에서는 동일한 가중치가 할당되거나 또는 제1 영역(542)의 중심을 기준으로 멀어질수록 점차 작은 값의 가중치가 할당될 수 있다. 한편, 가림 영역에 대응되는 제2 영역(544)에는 0의 가중치가 할당될 수 있고, 이를 통해 입력 영상에 나타난 가림 영역이 라이브니스 검사 결과에 미치는 영향을 줄일 수 있다.

도 6a는 일 실시예에 따른 결합 데이터를 라이브니스 검사 모델에 입력시키는 것을 설명하기 위한 도면이다.

도 6a를 참조하면, 라이브니스 검사를 위해 라이브니스 검사 모델(620)에 입력 영상(610)이 입력될 수 있다. 라이브니스 검사 모델(620)은 예를 들어 컨볼루션 뉴럴 네트워크일 수 있다. 라이브니스 검사 장치는 가중치 맵 데이터(예: 도 4의 가중치 맵 데이터(440) 또는 도 5의 가중치 맵 데이터(540))가 생성되면, 가중치 맵 데이터를 라이브니스 검사 모델(620)에 입력시킬 수 있다. 라이브니스 검사 장치는 라이브니스 검사 모델(620)의 제1 중간 레이어(622)(예: 컨볼루션 레이어)로부터 출력된 특징 데이터(630)(예: 액티베이션 맵(activation map) 또는 벡터 데이터)와 가중치 맵 데이터(640)를 결합(concatenation)시키는 것에 의해 결합 데이터를 생성하고, 생성된 결합 데이터를 라이브니스 검사 모델(620)의 제2 중간 레이어(624)에 입력시킬 수 있다. 결합 데이터의 생성을 위해 제1 중간 레이어(622)가 아니라 다른 중간 레이어의 특징 데이터가 이용될 수도 있다. 제2 중간 레이어(624)는 제1 중간 레이어(622)의 바로 다음의 상위 레이어일 수 있다.

결합 데이터의 생성 시에, 라이브니스 검사 장치는 특징 데이터(630)와 가중치 맵 데이터(640)가 서로 크기가 다른 경우(예: 가로 및 세로 길이가 다른 경우), 결합이 가능해지도록 가중치 맵 데이터(640)의 크기를 특징 데이터(630)의 크기에 대응되도록 조정할 수 있다. 라이브니스 검사 장치는 크기가 조정된 가중치 맵 데이터와 특징 데이터(630)를 결합시키는 것에 의해 결합 데이터를 생성할 수 있다.

라이브니스 검사 모델(620)은 입력된 입력 영상(610)과 제2 중간 레이어에 입력된 결합 데이터에 기반하여 라이브니스 스코어를 출력할 수 있고, 라이브니스 검사 장치는 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정할 수 있다. 가중치 맵 데이터(640)를 이용함으로써 입력 영상(610)의 얼굴 영역이 다른 영역에 비해 라이브니스 검사 결과에 미치는 영향이 증가되어 라이브니스 검사 결과의 정확도가 개선될 수 있다.

도 6b는 일 실시예에 따른 결합 데이터를 라이브니스 검사 모델에 입력시키는 것을 설명하기 위한 도면이다.

도 6b를 참조하면, 가중치 맵 데이터(650)(예: 도 4의 가중치 맵 데이터(440) 또는 도 5의 가중치 맵 데이터(540))가 생성된 후, 라이브니스 검사 장치는 가중치 맵 데이터(650)를 입력 영상(610)의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성할 수 있고, 생성된 결합 데이터를 라이브니스 검사 모델(660)의 입력 레이어에 입력시킬 수 있다. 라이브니스 검사 모델(660)은 입력된 결합 데이터에 기초하여 라이브니스 스코어를 출력할 수 있고, 라이브니스 검사 장치는 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정할 수 있다.

도 7은 일 실시예에 따른 라이브니스 검사 장치의 구성을 도시한 블록도이다.

도 7을 참조하면, 라이브니스 검사 장치(700)는 입력 영상에 나타난 객체에 대한 라이브니스 검사를 수행할 수 있다. 라이브니스 검사 장치(700)는 프로세서(710) 및 메모리(720)를 포함할 수 있다.

메모리(720)는 라이브니스 검사 장치(700)의 구성요소(예: 프로세서(710))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(720)는 휘발성 메모리 및 비휘발성 메모리 중 하나 이상을 포함할 수 있다.

프로세서(710)는 라이브니스 검사 장치(700)의 동작을 수행하기 위한 인스트럭션들을 실행할 수 있다. 프로세서(710)는 예를 들어 소프트웨어를 실행하여 프로세서(710)에 연결된 라이브니스 검사 장치(700)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.

일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(710)는 명령 또는 데이터를 메모리(720)에 저장하고, 메모리(720)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(720) 또는 저장 장치(230)에 저장할 수 있다. 프로세서(710)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 유닛, 신경망 처리 장치(NPU: neural processing unit))를 포함할 수 있다.

프로세서(710)는 라이브니스 검사와 관련하여 본 명세서에 기술되거나 또는 도시된 하나 이상의 동작을 수행할 수 있다. 예를 들어, 프로세서(710)는 라이브니스 검사의 대상인 입력 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에 기초하여 입력 영상 내 얼굴 위치와 관련된 가중치 맵 데이터를 생성할 수 있다. 프로세서(710)는 가중치 맵 데이터를 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터 또는 입력 영상의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성하고, 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시킬 수 있다. 가중치 맵 데이터와 제1 중간 레이어로부터 출력된 특징 데이터가 결합되어 결합 데이터가 생성된 경우에, 프로세서(710)는 생성된 결합 데이터를 라이브니스 검사 모델의 제1 중간 레이어보다 상위 레이어인 제2 중간 레이어에 입력시킬 수 있다. 가중치 맵 데이터와 입력 영상의 영상 데이터가 결합되어 결합 데이터가 생성된 경우에, 프로세서(710)는 생성된 결합 데이터를 라이브니스 검사 모델의 입력 레이어에 입력시킬 수 있다. 이후에, 프로세서(710)는 라이브니스 검사 모델에 의해 결정된 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정할 수 있다.

도 8은 일 실시예에 따른 전자 장치의 구성을 도시하는 블록도이다.

도 8을 참조하면, 전자 장치(800)(예: 도 1의 전자 장치(120))는 다양한 형태의 전자 장치일 수 있다. 예를 들어, 전자 장치(800)는 스마트폰, 태블릿 컴퓨터, PDA(personal digital assistant), 넷북, 랩탑, 제품 검사 장치, 퍼스널 컴퓨터, 웨어러블 장치(예: AR(augmented reality) 글래스, HMD(head mounted display), 스마트 자동차, 스마트 가전 장치, 보안 장치, 금융 자동화 기기, 또는 서버 장치일 수 있으나, 이에 제한되지 않는다. 전자 장치(800)는 객체에 대한 라이브니스 검사를 수행할 수 있다.

전자 장치(800)는 프로세서(810), 메모리(820), 카메라(830), 센서(840), 입력 장치(850), 출력 장치(860) 및 통신 장치(870)를 포함할 수 있다. 전자 장치(800)의 각 컴포넌트들 중 적어도 일부는 주변 기기들 간의 통신 인터페이스(880)(예: 버스(bus), GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.

프로세서(810)는 전자 장치(800)의 전체적인 동작을 제어하며, 전자 장치(800) 내에서 실행하기 위한 기능 및 인스트럭션을 실행한다. 프로세서(810)는 본 명세서에서 설명한 라이브니스 검사 장치(예: 도 7의 라이브니스 검사 장치(700))의 동작들을 수행할 수 있다.

메모리(820)는 프로세서(810)에 의해 실행 가능한 인스트럭션들과 입/출력되는 데이터를 저장할 수 있다. 메모리(820)는 RAM, DRAM, SRAM과 같은 휘발성 메모리 및/또는 ROM, 플래쉬 메모리와 같은 이 기술 분야에서 알려진 비휘발성 메모리를 포함할 수 있다.

카메라(830)는 영상을 촬영할 수 있다. 카메라(830)는 예를 들어 컬러 영상, 흑백 영상, 그레이 영상, 적외선 영상 또는 깊이 영상 등을 획득할 수 있다. 일 실시예에서, 카메라(830)는 객체가 나타난 입력 영상을 획득할 수 있고, 프로세서(810)는 획득된 입력 영상에 기초하여 라이브니스 검사를 수행할 수 있다.

센서(840)는 전자 장치(800)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서(840)는 예를 들어 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.

입력 장치(850)는 촉각, 비디오, 오디오 또는 터치 입력 등을 통해 사용자로부터 사용자 입력을 수신할 수 있다. 예를 들어, 입력 장치(850)는 키보드, 마우스, 터치 패드, 마이크로폰, 또는 사용자 입력을 전자 장치(800)에 전달할 수 있는 임의의 다른 장치를 포함할 수 있다.

출력 장치(860)는 시각적, 청각적 또는 촉각적인 채널을 통해 사용자에게 전자 장치(800)의 출력을 제공할 수 있다. 출력 장치(870)는 예를 들어 액정 디스플레이나 LED/OLED 디스플레이, 마이크로 엘이디(micro light emitting diode, micro LED), 터치 스크린, 스피커, 진동 발생 장치 또는 사용자에게 출력을 제공할 수 있는 임의의 다른 장치를 포함할 수 있다.

통신 장치(870)는 전자 장치(800)와 외부의 장치 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 일 실시예에 따르면, 통신 모듈(800)은 무선 통신 모듈 (예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈 (예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 무선 통신 모듈은 근거리 통신 네트워크(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)) 또는 원거리 통신 네트워크(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN))를 통하여 외부의 장치와 통신할 수 있다.

도 9는 일 실시예에 따른 라이브니스 검사 모델의 학습을 설명하기 위한 도면이다.

본 명세서에서 설명된 라이브니스 검사 모델은 학습 과정을 통해 파라미터들(예: 연결 가중치)이 결정된 것일 수 있다. 도 9를 참조하면, 학습 과정에서는 많은 수의 학습 데이터(910)(예: 학습 영상)와 각 학습 데이터(910)에 대응하는 바람직한 목적 값(desired value)이 주어진다. 학습 과정에서, 라이브니스 검사 모델(930)은 학습 데이터(910)를 입력 받고, 파라미터들에 기초한 계산 과정을 통해 학습 데이터(910)에 대응하는 결과 값을 출력한다. 이 때, 가중치 맵 생성기(920)는 학습 데이터(910)에 기초하여 학습 데이터(910)에 대응하는 가중치 맵 데이터를 생성할 수 있다. 가중치 맵 생성기(920)는 도 4 또는 도 5에서 설명된 내용에 따라 가중치 맵 데이터를 생성할 수 있으며, 이에 대한 자세한 설명은 생략한다.

가중치 맵 생성기(920)에 의해 생성된 가중치 맵 데이터는 학습시키려는 라이브니스 검사 구조에 따라, 라이브니스 검사 모델(930)의 제1 중간 레이어로부터 출력된 특징 데이터에 결합되거나 또는 현재의 학습 데이터(910)에 결합될 수 있다. 제1 중간 레이어의 특징 데이터에 가중치 맵 데이터가 결합되어 결합 데이터가 생성된 경우, 결합 데이터는 제1 중간 레이어의 바로 상위 레이어인 제2 중간 레이어에 입력될 수 있다. 학습 데이터(910)에 가중치 맵 데이터가 결합되어 결합 데이터가 생성된 경우, 결합 데이터는 라이브니스 검사 모델(930)의 입력 레이어에 입력될 수 있다.

학습 장치(940)는 라이브니스 검사 모델(930)로부터 출력된 결과 값에 기초하여 라이브니스 검사 모델(930)의 파라미터들을 업데이트할 수 있다. 학습 장치(940)는 라이브니스 검사 모델(30)로부터 출력된 결과 값과 학습 데이터(910)에 대응하는 목적 값 간의 차이에 기초하여 손실(loss)을 계산하고, 해당 손실이 줄어들도록 라이브니스 검사 모델(930)의 파라미터들을 조정할 수 있다. 손실을 계산하기 위해 다양한 손실 함수가 이용될 수 있고, 파라미터들의 조정은 예를 들어 역전파(back propagation) 알고리즘에 의해 이루어질 수 있다. 학습 장치(940)는 많은 수의 학습 데이터(910) 각각에 대해 이와 같은 과정을 반복적으로 수행할 수 있고, 이를 통해 라이브니스 검사 모델(30)의 파라미터들은 점차 바람직한 방향으로 조정될 수 있다. 학습 장치(940)는 여기서 설명된 학습 방법 이외에도 다양한 기계 학습 알고리즘을 이용하여 라이브니스 검사 모델(930)을 학습시킬 수 있다.

가중치 맵 생성기(920)가 뉴럴 네트워크에 기반하는 가중치 맵 생성 모델인 경우, 학습 장치(940)는 가중치 맵 생성기(920)에 대한 학습도 수행할 수 있다. 이 경우, 학습 데이터(910)와 해당 학습 데이터(910)에 대응하는 목적하는 가중치 맵 데이터가 주어지고, 학습 장치(940)는 가중치 맵 생성기(920)가 가중치 맵 생성기(920)에 입력된 학습 데이터(910)에 대응하여 목적하는 가중치 맵 데이터와 최대한 유사한 가중치 맵 데이터를 출력하도록 가중치 맵 생성기(920)의 파라미터들을 업데이트할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

라이브니스 검사 방법에 있어서,
입력 영상에서 얼굴 영역(face region)을 검출하는 동작;
상기 검출된 얼굴 영역에 기초하여 상기 입력 영상 내 얼굴 위치와 관련된 가중치 맵 데이터를 생성하는 동작;
상기 가중치 맵 데이터를 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터 또는 상기 입력 영상의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성하는 동작;
상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키는 동작; 및
상기 라이브니스 검사 모델에 의해 결정된 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정하는 동작
을 포함하는 라이브니스 검사 방법.
제1항에 있어서,
상기 가중치 맵 데이터는,
상기 입력 영상 내 상기 얼굴 영역에 대응되는 제1 영역과 상기 입력 영상 내 비-얼굴 영역(non-face region)에 대응되는 제2 영역을 포함하고,
상기 제1 영역에 할당된 가중치와 상기 제2 영역에 할당된 가중치는 서로 다른,
라이브니스 검사 방법.
제1항에 있어서,
상기 가중치 맵 데이터는,
상기 얼굴 영역에 대응되는 상기 가중치 맵 데이터의 대응 영역의 중심을 기준으로 거리에 따라 가중치가 달라지는 것인,
라이브니스 검사 방법.
제3항에 있어서,
상기 가중치 맵 데이터는,
상기 대응 영역의 축소 영역, 상기 대응 영역 및 상기 대응 영역의 확장 영역을 포함하고,
상기 축소 영역, 상기 대응 영역 및 상기 확장 영역은 상기 대응 영역의 중심을 기준으로 중첩하여 배치되는,
라이브니스 검사 방법.
제4항에 있어서,
상기 축소 영역에 할당되는 제1 가중치는, 상기 대응 영역과 상기 축소 영역 사이의 영역에 할당되는 제2 가중치보다 크고,
상기 제2 가중치는 상기 확장 영역과 상기 대응 영역 사이의 영역에 할당되는 제3 가중치보다 큰,
라이브니스 검사 방법.
제1항에 있어서,
상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키는 동작은,
상기 가중치 맵 데이터와 상기 제1 중간 레이어로부터 출력된 특징 데이터가 결합되어 상기 결합 데이터가 생성된 경우에, 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델의 제2 중간 레이어에 입력시키는 동작을 포함하고,
상기 제2 중간 레이어는, 상기 제1 중간 레이어보다 상위 레이어인,
라이브니스 검사 방법.
제1항에 있어서,
상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키는 동작은,
상기 가중치 맵 데이터와 상기 입력 영상의 영상 데이터가 결합되어 상기 결합 데이터가 생성된 경우에, 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델의 입력 레이어에 입력시키는 동작
을 포함하는 라이브니스 검사 방법.
제1항에 있어서,
상기 가중치 맵 데이터를 생성하는 동작은,
뉴럴 네트워크 기반의 가중치 맵 생성 모델을 이용하여 상기 가중치 맵 데이터를 생성하는 동작
을 포함하는 라이브니스 검사 방법.
제8항에 있어서,
상기 가중치 맵 데이터에서 상기 얼굴 영역에 대응되는 상기 가중치 맵 데이터의 제1 영역에 할당된 가중치는, 상기 얼굴 영역에 나타난 가림 영역(occlusion region)에 대응되는 상기 가중치 맵 데이터의 제2 영역에 할당된 가중치와 다른,
라이브니스 검사 방법.
제1항에 있어서,
상기 결합 데이터를 생성하는 동작은,
상기 가중치 맵 데이터의 크기를 상기 특징 데이터의 크기에 대응되도록 조정하는 동작; 및
상기 크기가 조정된 가중치 맵 데이터와 상기 특징 데이터를 결합(concatenation)시키는 것에 의해 상기 결합 데이터를 생성하는 동작
을 포함하는 라이브니스 검사 방법.
제1항 내지 제10항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
라이브니스 검사 장치에 있어서,
프로세서; 및
상기 프로세서에서 실행가능한 명령어들을 포함하는 메모리
를 포함하고,
상기 명령어들이 상기 프로세서에 의해 실행되면, 상기 프로세서는
입력 영상에서 얼굴 영역을 검출하고,
상기 검출된 얼굴 영역에 기초하여 상기 입력 영상 내 얼굴 위치와 관련된 가중치 맵 데이터를 생성하고,
상기 가중치 맵 데이터를 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터 또는 상기 입력 영상의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성하고,
상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키고,
상기 라이브니스 검사 모델에 의해 결정된 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정하는,
라이브니스 검사 장치.
제12항에 있어서,
상기 가중치 맵 데이터는,
상기 입력 영상 내 상기 얼굴 영역에 대응되는 제1 영역과 상기 입력 영상 내 비-얼굴 영역(non-face region)에 대응되는 제2 영역을 포함하고,
상기 제1 영역에 할당된 가중치와 상기 제2 영역에 할당된 가중치는 서로 다른,
라이브니스 검사 장치.
제12항에 있어서,
상기 가중치 맵 데이터는,
상기 얼굴 영역에 대응되는 상기 가중치 맵 데이터의 대응 영역의 중심을 기준으로 거리에 따라 가중치가 달라지는 것인,
라이브니스 검사 장치.
제12항에 있어서,
상기 프로세서는,
상기 가중치 맵 데이터와 상기 제1 중간 레이어로부터 출력된 특징 데이터가 결합되어 상기 결합 데이터가 생성된 경우에, 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델의 제2 중간 레이어에 입력시키고,
상기 제2 중간 레이어는, 상기 제1 중간 레이어보다 상위 레이어인,
라이브니스 검사 장치.
제12항에 있어서,
상기 프로세서는,
상기 가중치 맵 데이터와 상기 입력 영상의 영상 데이터가 결합되어 상기 결합 데이터가 생성된 경우에, 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델의 입력 레이어에 입력시키는,
라이브니스 검사 장치.
제12항에 있어서,
상기 프로세서는,
뉴럴 네트워크 기반의 가중치 맵 생성 모델을 이용하여 상기 가중치 맵 데이터를 생성하고,
상기 가중치 맵 데이터에서 상기 얼굴 영역에 대응되는 상기 가중치 맵 데이터의 제1 영역에 할당된 가중치는, 상기 얼굴 영역에 나타난 가림 영역(occlusion region)에 대응되는 상기 가중치 맵 데이터의 제2 영역에 할당된 가중치와 다른,
라이브니스 검사 장치.
객체에 대한 라이브니스 검사를 수행하는 전자 장치에 있어서,
상기 객체가 나타난 입력 영상을 획득하는 카메라; 및
상기 입력 영상에 기초하여 라이브니스 검사를 수행하는 프로세서
를 포함하고,
상기 프로세서는,
입력 영상에서 얼굴 영역을 검출하고,
상기 검출된 얼굴 영역에 기초하여 상기 입력 영상내 얼굴 위치와 관련된 가중치 맵 데이터를 생성하고,
상기 가중치 맵 데이터를 상기 입력 영상이 입력되는 라이브니스 검사 모델의 제1 중간 레이어로부터 출력된 특징 데이터 또는 상기 입력 영상의 영상 데이터와 결합시키는 것에 의해 결합 데이터를 생성하고,
상기 생성된 결합 데이터를 상기 라이브니스 검사 모델에 입력시키고,
상기 라이브니스 검사 모델에 의해 결정된 라이브니스 스코어에 기초하여 라이브니스 검사 결과를 결정하는,
전자 장치.
제18항에 있어서,
상기 가중치 맵 데이터는,
상기 입력 영상 내 상기 얼굴 영역에 대응되는 제1 영역과 상기 입력 영상 내 비-얼굴 영역에 대응되는 제2 영역을 포함하고,
상기 제1 영역에 할당된 가중치와 상기 제2 영역에 할당된 가중치는 서로 다른,
전자 장치.
제18항에 있어서,
상기 프로세서는,
상기 가중치 맵 데이터와 상기 제1 중간 레이어로부터 출력된 특징 데이터가 결합되어 상기 결합 데이터가 생성된 경우에, 상기 생성된 결합 데이터를 상기 라이브니스 검사 모델의 제2 중간 레이어에 입력시키고,
상기 제2 중간 레이어는, 상기 제1 중간 레이어보다 상위 레이어인,
전자 장치.