KR102455633B1 - 라이브니스 검사 방법 및 장치 - Google Patents

라이브니스 검사 방법 및 장치 Download PDF

Info

Publication number
KR102455633B1
KR102455633B1 KR1020170177240A KR20170177240A KR102455633B1 KR 102455633 B1 KR102455633 B1 KR 102455633B1 KR 1020170177240 A KR1020170177240 A KR 1020170177240A KR 20170177240 A KR20170177240 A KR 20170177240A KR 102455633 B1 KR102455633 B1 KR 102455633B1
Authority
KR
South Korea
Prior art keywords
liveness
data
registration
determining
determination condition
Prior art date
Application number
KR1020170177240A
Other languages
English (en)
Other versions
KR20190075560A (ko
Inventor
곽영준
유병인
김영성
최창규
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170177240A priority Critical patent/KR102455633B1/ko
Priority to CN201811443351.4A priority patent/CN109948408B/zh
Priority to US16/224,970 priority patent/US11157760B2/en
Priority to EP18215416.1A priority patent/EP3502968A3/en
Publication of KR20190075560A publication Critical patent/KR20190075560A/ko
Priority to US17/508,001 priority patent/US11971924B2/en
Application granted granted Critical
Publication of KR102455633B1 publication Critical patent/KR102455633B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

라이브니스 검사 방법 및 장치가 개시된다. 라이브니스 검사 장치는 검사 대상이 나타난 쿼리 영상에서 얼굴 영역을 검출하고, 등록 데이터베이스에 등록된 하나 이상의 등록 사용자에 대한 라이브니스 판단 조건 중에서 검사 대상에 적용할 라이브니스 판단 조건을 결정한다. 라이브니스 검사 장치는 검출된 얼굴 영역 및 결정된 라이브니스 판단 조건에 기초하여 쿼리 영상에서 하나 이상의 검사 영역을 결정하고, 뉴럴 네트워크 기반의 특징 추출기를 이용하여 하나 이상의 검사 영역의 영상 데이터로부터 검사 대상의 특징 데이터를 획득한다. 라이브니스 검사 장치는 획득된 특징 데이터와 등록 특징 데이터를 비교하고, 그 비교 결과에 기초하여 라이브니스 검사 결과를 결정한다.

Description

라이브니스 검사 방법 및 장치{LIVENESS TEST METHOD AND APPARATUS}
아래의 설명은 영상에 나타난 객체의 라이브니스를 검사하는 기술 및 객체의 고유한 라이브니스 데이터를 등록하는 기술에 관한 것이다.
사용자 인증 시스템(user verification system)에서 컴퓨팅 장치는 사용자에 의해 제공되는 인증 정보에 기초하여 해당 컴퓨팅 장치에 대한 액세스를 허용할지 여부를 결정할 수 있다. 인증 정보는 사용자에 의해 입력되는 패스워드 또는 사용자의 생체 정보(biometric information) 등을 포함할 수 있다. 생체 정보는 지문(fingerprint), 홍채(iris) 또는 얼굴에 대한 정보를 포함한다.
최근, 사용자 인증 시스템을 위한 보안 방법으로서, 얼굴 스푸핑 방지(face anti-spoofing) 기술에 대한 관심이 증가하고 있다. 얼굴 스푸핑 방지는 컴퓨팅 장치에 입력된 사용자의 얼굴이 위조 얼굴(fake face)인지 아니면 진짜 얼굴(genuine face)인지 여부를 구별한다. 이를 위해, 입력 영상에서 LBP(Local Binary Patterns), HOG(Histogram of Oriented Gradients), DoG(Difference of Gaussians) 등과 같은 특징들(features)이 추출되고, 추출된 특징들에 기반하여 입력된 얼굴이 위조 얼굴인지 여부가 판정된다. 얼굴 스푸핑은 사진, 동영상 또는 마스크 등을 이용하는 공격 형태를 가지며, 얼굴 인증에 있어 이러한 생체 인식 모조(biometric mimicking)를 구별해 내는 것은 중요하다.
일 실시예에 따른 라이브니스 검사 방법은, 검사 대상이 나타난 쿼리 영상에서 얼굴 영역을 검출하는 단계; 등록 데이터베이스에 등록된 하나 이상의 등록 사용자에 대한 라이브니스 판단 조건 중에서 상기 검사 대상에 적용할 라이브니스 판단 조건을 결정하는 단계; 상기 검출된 얼굴 영역 및 상기 결정된 라이브니스 판단 조건에 기초하여 상기 쿼리 영상에서 하나 이상의 검사 영역을 결정하는 단계; 뉴럴 네트워크 기반의 특징 추출기를 이용하여 상기 하나 이상의 검사 영역의 영상 데이터로부터 상기 검사 대상의 특징 데이터를 획득하는 단계; 및 상기 획득된 특징 데이터 및 상기 결정된 라이브니스 판단 조건에 대응하는 등록 특징 데이터에 기초하여 라이브니스 검사 결과를 결정하는 단계를 포함할 수 있다.
상기 라이브니스 판단 조건을 결정하는 단계는, 상기 하나 이상의 검사 영역의 크기 및 상기 하나 이상의 검사 영역의 위치 중 적어도 하나를 결정할 수 있다.
상기 검사 영역을 결정하는 단계는, 상기 검출된 얼굴 영역과 상기 결정된 라이브니스 판단 조건에 기초하여 제1 검사 영역 및 제2 검사 영역 중 적어도 하나를 결정할 수 있다.
상기 제1 검사 영역 및 제2 검사 영역 중 적어도 하나를 결정하는 단계는, 상기 결정된 라이브니스 판단 조건에 따라, 상기 검출된 얼굴 영역보다 큰 제1 영역, 상기 얼굴 영역과 동일한 제2 영역, 또는 상기 얼굴 영역보다 작은 제3 영역을 상기 제1 검사 영역으로 결정하는 단계를 포함할 수 있다.
상기 제1 검사 영역 및 제2 검사 영역 중 적어도 하나를 결정하는 단계는, 상기 검출된 얼굴 영역 내에서 상기 결정된 라이브니스 판단 조건에 의해 위치가 결정된 부분 얼굴 영역을 상기 제2 검사 영역으로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 라이브니스 데이터 등록 방법은, 등록 대상이 나타난 등록 영상에서 얼굴 영역을 검출하는 단계; 현재 라이브니스 판단 조건과 상기 검출된 얼굴 영역에 기초하여 상기 등록 영상에서 하나 이상의 등록 후보 영역을 결정하는 단계; 뉴럴 네트워크 기반의 특징 추출기를 이용하여 상기 하나 이상의 등록 후보 영역의 영상 데이터로부터 상기 등록 대상의 특징 데이터를 획득하는 단계; 상기 획득된 특징 데이터에 기초하여 라이브니스 스코어를 결정하는 단계; 및 상기 라이브니스 스코어에 기초하여 상기 현재 라이브니스 판단 조건 및 상기 등록 대상의 특징 데이터의 등록 여부를 결정하는 단계를 포함할 수 있다.
상기 하나 이상의 등록 후보 영역을 결정하는 단계는, 상기 현재 라이브니스 판단 조건과 상기 검출된 얼굴 영역에 기초하여 제1 등록 후보 영역 및 제2 등록 후보 영역 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
다른 실시예에 따른 라이브니스 검사 방법은, 사용자의 얼굴을 포함하는 등록 영상으로부터 특징 데이터를 획득하는 단계; 상기 획득된 등록 영상의 특징 데이터를 저장하는 단계; 입력 영상으로부터 특징 데이터를 획득하는 단계; 및 상기 저장된 등록 영상의 특징 데이터와 상기 입력 영상의 특징 데이터를 비교하여 상기 입력 영상에 나타난 검사 대상의 라이브니스 여부를 결정하는 단계를 포함할 수 있다.
상기 등록 영상의 특징 데이터와 상기 입력 영상의 특징 데이터는, 동일한 특징 추출기를 이용하여 획득될 수 있다.
일 실시예에 따른 라이브니스 검사 장치는, 프로세서를 포함하고, 상기 프로세서는, 검사 대상이 나타난 쿼리 영상에서 얼굴 영역을 검출하고, 등록 데이터베이스에 등록된 하나 이상의 등록 사용자에 대한 라이브니스 판단 조건 중에서 상기 검사 대상에 적용할 라이브니스 판단 조건을 결정하고, 상기 검출된 얼굴 영역 및 상기 결정된 라이브니스 판단 조건에 기초하여 상기 쿼리 영상에서 하나 이상의 검사 영역을 결정하고, 뉴럴 네트워크 기반의 특징 추출기를 이용하여 상기 하나 이상의 검사 영역의 영상 데이터로부터 상기 검사 대상의 특징 데이터를 획득하고, 상기 획득된 특징 데이터 및 상기 결정된 라이브니스 판단 조건에 대응하는 등록 특징 데이터에 기초하여 라이브니스 검사 결과를 결정할 수 있다.
일 실시예에 따른 라이브니스 데이터 등록 장치는, 프로세서를 포함하고, 상기 프로세서는, 상기 등록 대상이 나타난 등록 영상에서 얼굴 영역을 검출하고, 현재 라이브니스 판단 조건과 상기 검출된 얼굴 영역에 기초하여 상기 등록 영상에서 하나 이상의 등록 후보 영역을 결정하고, 뉴럴 네트워크 기반의 특징 추출기를 이용하여 상기 하나 이상의 등록 후보 영역의 영상 데이터로부터 상기 등록 대상의 특징 데이터를 획득하고, 상기 획득된 특징 데이터에 기초하여 라이브니스 스코어를 결정하고, 상기 라이브니스 스코어에 기초하여 상기 현재 라이브니스 판단 조건 및 상기 등록 대상의 특징 데이터의 등록 여부를 결정할 수 있다.
도 1은 일 실시예에 따른 라이브니스 검사의 일례를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 라이브니스 데이터의 등록과 라이브니스 검사의 전체적인 과정을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 라이브니스 데이터 등록 방법의 동작을 도시한 흐름도이다.
도 4a 및 도 4b는 일 실시예에 따른 라이브니스 데이터 등록 과정의 일례를 설명하기 위한 도면들이다.
도 5a 및 도 5b는 일 실시예에 따른 각 라이브니스 판단 조건들에서 도출된 라이브니스 스코어의 일례를 도시하는 도면들이다.
도 6은 일 실시예에 따른 라이브니스 검사 방법의 동작을 도시한 흐름도이다.
도 7a 및 도 7b는 일 실시예에 따른 라이브니스 검사 방법의 일례를 설명하기 위한 도면들이다.
도 8은 일 실시예에 따른 라이브니스 데이터 등록 장치의 구성을 도시한 도면이다.
도 9는 일 실시예에 따른 라이브니스 검사 장치의 구성을 도시한 도면이다.
도 10은 일 실시예에 따른 컴퓨팅 장치의 구성을 도시하는 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 또한, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 달리 명시되지 않는 한 일반적으로 "하나 이상의"를 의미하는 것으로 해석되어야 한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 라이브니스 검사의 일례를 설명하기 위한 도면이다.
라이브니스 검사는 검사 대상(test object)인 객체가 살아있는 객체인지 여부를 검사하는 것으로, 예를 들어 카메라에 의해 촬영된 영상에 나타난 얼굴이 사람의 실제 얼굴(genuine face)인지 아니면 위조 얼굴(fake face)인지 여부를 검사하는 것이다. 일 실시예에 따르면, 라이브니스 검사는 사용자 로그인, 결제 서비스 또는 출입 통제 등에서 수행되는 사용자 인증(user verification)과 관련하여 인증 대상(검사 대상과 동일)의 라이브니스를 검사하는데 이용될 수 있다. 라이브니스 검사는, 예를 들어 사용자 인증 시스템에서 살아있지 않은 객체(예를 들어, 위조 수단으로서 사용된 사진, 종이, 영상 및 모형)와 살아있는 객체(예를 들어, 살아있는 사람) 사이를 구별하는데 이용될 수 있다.
유효하지 않은 사용자는 위조 기술(spoofing techniques)을 이용하여 사용자 인증 시스템의 오인증(false acceptance)을 유발하기 위한 시도를 수행할 수 있다. 예를 들어, 얼굴 인증에서, 유효하지 않은 사용자는 오인증을 유발하기 위해 유효한 사용자의 얼굴이 나타난 컬러 사진, 동영상 또는 유효한 사용자의 얼굴 형상을 묘사한 모형을 카메라에 제시할 수 있다. 라이브니스 검사는 이러한 사진, 동영상, 마스크 또는 모형과 같은 대체물을 이용한 인증 시도(스푸핑 공격)를 걸러내어 오인증을 방지하는 역할을 한다. 라이브니스 검사 결과, 인증 대상이 살아있지 않은 객체로 결정된 경우, 사용자 인증 단계로 넘어가지 않거나 또는 사용자 인증의 결과와 관계 없이 최종적으로 사용자 인증이 실패한 것으로 결정될 수 있다.
도 1을 참조하면, 라이브니스 검사를 수행하는 장치인 라이브니스 검사 장치는 컴퓨팅 장치(120)에 포함되어 동작할 수 있다. 컴퓨팅 장치(120)는 예를 들어, 스마트폰, 웨어러블 기기(wearable device), 태블릿 컴퓨터, 넷북, 랩탑, 데스크탑, PDA(personal digital assistant), 셋탑 박스, 가전 기기, 생체 도어락, 보안 장치 또는 차량 시동 장치일 수 있다.
일 실시예에 따르면, 사용자는 얼굴 인증을 통해 컴퓨팅 장치(120)에 대한 사용자 인증을 시도할 수 있다. 예를 들어, 사용자(110)가 컴퓨팅 장치(120)의 잠금 상태를 해제하고자 컴퓨팅 장치(120)에 얼굴 인증을 시도하는 경우, 컴퓨팅 장치(120)는 카메라(130)를 이용하여 사용자(110)의 얼굴 영상을 획득하고, 획득된 얼굴 영상을 분석하여 컴퓨팅 장치(120)의 잠금 상태를 해제할지 여부를 결정할 수 있다. 사용자 인증이 성공한 경우, 컴퓨팅 장치(120)는 잠금 상태를 해제하고, 사용자(110)의 액세스를 허용할 수 있다. 이와 반대로, 사용자 인증이 실패한 경우, 컴퓨팅 장치(120)는 계속적으로 잠금 상태로 동작할 수 있다. 또는, 다른 예로, 사용자(110)가 컴퓨팅 장치(120)를 결제 서비스를 수행하고자 컴퓨팅 장치(120)에 얼굴 인증을 수행하는 경우, 컴퓨팅 장치(120)는 사용자(110)의 얼굴 영상을 획득하고, 얼굴 영상의 분석 결과 정당한 사용자로 인식된 경우 결제 요청을 승인하고, 그 외의 경우에는 결제 요청을 거부할 수 있다.
일 실시예에서, 위와 같은 사용자 인증 과정들에서, 사용자 인증 결과가 결정되기 이전에 라이브니스 검사 장치에 의해 사용자 인증의 객체가 살아있는 객체인지 여부를 결정하는 라이브니스 검사가 수행될 수 있다. 라이브니스 검사 결과, 인증 대상이 살아있는 객체인 것으로 결정된 경우, 컴퓨팅 장치(120)는 사용자 인증의 성공 여부를 판단하는 과정을 수행할 수 있다. 이와 반대로, 인증 대상이 살아있지 않은 객체인 것으로 결정된 경우, 컴퓨팅 장치(120)는 사용자 인증의 성공 여부를 판단하는 단계로 넘어가지 않고, 계속적으로 잠금 상태로 동작하거나 또는 결제 요청을 거부할 수 있다.
또는, 사용자 인증 과정이 라이브니스 검사 과정보다 먼저 수행되는 경우, 사용자 인증의 결과가 성공이더라도 라이브니스 검사 결과가 실패한 것으로 결정(즉, 인증 대상이 살아있지 않은 객체로 결정)되면, 사용자 인증의 최종 결과가 실패한 것으로 결정될 수 있다.
위와 같은 라이브니스 검사 과정에서, 라이브니스 검사 장치는 개별 사용자의 미리 등록된 라이브니스 특징을 이용하여 라이브니스 검사를 수행할 수 있다. 라이브니스 검사 장치는 모든 사용자들을 동일한 방식으로 검사하는 것이 아니라, 등록 과정에서 저장된 사용자의 고유한 라이브니스 특징을 이용하여 사용자 특성에 따른 개인화된 라이브니스 검사를 수행할 수 있다. 이를 통해, 라이브니스 검사 결과의 정확도가 높아지고, 사용자들 간에 라이브니스 검사의 정확도 편차가 줄어들 수 있다.
또한, 라이브니스 검사 장치는 카메라(130)에 의해 캡쳐된 영상에 나타난 다양한 요소들을 종합적으로 고려하여 검사 대상의 라이브니스를 검사할 수 있다. 예를 들어, 라이브니스 검사 장치는 캡쳐된 영상에 나타난 컨텍스트(context) 정보, 전체 얼굴의 형상(shape) 정보 및 부분 얼굴의 텍스쳐(texture) 정보를 고려하여 검사 대상이 살아있는 객체인지 여부를 결정할 수 있다. 검사 대상이 원거리에 있을 때 촬영된 영상에는 검사 대상이 전자 기기의 화면인지 또는 종이인지 여부에 대한 단서가 포함될 수 있다. 예를 들어, 전자 기기 또는 종이를 들고 있는 사용자의 손이 영상에 나타날 수 있고, 이는 검사 대상이 위조된 것이라고 판단할 수 있는 단서가 된다. 컨텍스트 정보를 고려함으로써 이러한 위조 시도 상황을 효과적으로 검사할 수 있다. 또한, 전체 얼굴의 형상 정보를 통해, 빛의 반사 및 형상의 왜곡 등이 라이브니스 검사 결과에 고려될 수 있다. 예를 들어, 위조 수단 중 하나인 사진 또는 종이의 빛 반사는 사람의 진짜 얼굴과 다르고, 사진 또는 종이의 휘어짐 또는 구김으로 인하여 모양의 왜곡이 발생할 수 있다. 이러한 요소를 고려하여 라이브니스 검사가 수행될 수 있다. 그리고, 텍스쳐 정보를 통해, 사람의 피부와 종이/전자 기기의 화면 사이를 구분할 수 있는 미세한 텍스쳐의 차이가 고려될 수 있다.
위와 같이, 라이브니스 검사 장치는 사용자별로 차별화된 강인한 특징을 기반으로 다양한 라이브니스 판단 요소들을 종합적으로 고려함으로써 라이브니스 검사를 보다 정확히 수행할 수 있다. 이하에서는, 도면들을 참고하여 사용자의 고유한 라이브니스 데이터가 등록되고, 등록된 라이브니스 데이터에 기초하여 라이브니스 검사가 수행되는 과정을 자세히 설명하도록 한다.
도 2는 일 실시예에 따른 라이브니스 데이터의 등록과 라이브니스 검사의 전체적인 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 라이브니스 데이터의 등록 과정(210)에서는 유효한 사용자의 라이브니스 데이터가 등록된다. 등록 과정(210)은 사용자 등록을 위해 사용자가 얼굴을 컴퓨팅 장치에 등록하는 과정에서 함께 수행될 수 있다. 등록 과정(210)에서는 사용자 얼굴의 위/변조 판단에 최적화된 사용자 고유의 라이브니스 데이터가 등록된다. 라이브니스 데이터는 라이브니스 스코어를 최대화하는 라이브니스 검사 조건에 관한 메타데이터를 포함할 수 있다. 라이브니스 데이터는, 예를 들어 라이브니스 판단을 위한 특징 벡터, 전체 얼굴 영역의 크기 및 부분 얼굴의 위치 등을 포함할 수 있다.
일 실시예에 따른 등록 과정(210)은 등록 후보 영역 결정부(220), 특징 데이터 획득부(225) 및 라이브니스 데이터 등록부(230)를 포함하는 라이브니스 데이터 등록 장치에 의해 수행될 수 있다. 등록 후보 영역 결정부(220)는 라이브니스 데이터의 등록 대상이 나타난 등록 영상(215)에서 특징이 추출될 하나 이상의 후보 영역을 결정한다. 예를 들어, 등록 후보 영역 결정부(220)는 등록 영상(215)에 나타난 전체 얼굴에 대응하는 제1 등록 후보 영역, 부분 얼굴에 대응하는 제2 등록 후보 영역 및 등록 영상(215)의 전체 영역에 대응하는 제3 등록 후보 영역을 결정할 수 있다. 이 때, 제1 등록 후보 영역과 제2 등록 후보 영역은 등록 후보 영역의 결정시마다 다르게 결정될 수 있다. 예를 들어, 등록 후보 영역의 결정시마다, 제1 등록 후보 영역의 크기와 제2 등록 후보 영역이 설정되는 위치가 달라질 수 있다.
특징 데이터 획득부(225)는 하나 이상의 등록 후보 영역에 기초하여 등록 대상의 특징 데이터를 획득할 수 있다. 여기서, 특징 데이터는, 예를 들어 등록 대상의 라이브니스와 관련된 특징을 나타내는 데이터로서, 등록 객체가 살아있는 객체에 해당할 확률을 나타내는 확률 값 내지 특징 값일 수 있다.
특징 데이터 획득부(225)는 뉴럴 네트워크에 기반한 특징 추출기를 통해 각 등록 후보 영역들로부터 특징 데이터를 획득할 수 있다. 특징 추출기는 입력된 데이터에 기초하여 내부 파라미터들에 의해 계산된 결과 값을 출력할 수 있다. 특징 추출기는 복수의 레이어들을 포함하고, 각각의 레이어들은 노드(node)들을 포함할 수 있으며, 라이브니스 데이터 등록 장치의 프로세서에 의해 실행될 수 있다. 예를 들어, 특징 추출기는 입력 레이어, 적어도 하나의 히든 레이어(hidden layer) 및 출력 레이어를 포함할 수 있다. 뉴럴 네트워크의 구조에 따라, 인접한 레이어들에 포함된 노드들은 각각의 연결 가중치(connection weight)에 따라 선택적으로 서로 연결될 수 있다. 특징 추출기에 입력된 데이터는 노드들을 거치면서 가공 및 변형되고, 최종적으로는 출력 레이어를 통해 특정한 결과 값으로 변환된다.
일 실시예에서, 특징 추출기는 복수의 히든 레이어들을 포함하는 깊은 컨볼루션 뉴럴 네트워크(Deep Convolutional Neural Network; DCNN)에 기초할 수 있다. DCNN은 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하고, 각 레이어에 의해 수행되는 연산 과정을 통해 특징 추출기에 입력되는 영상 데이터로부터 라이브니스의 판단을 위한 정보를 제공할 수 있다. 여기서, 영상 데이터는 영상에 포함된 픽셀들의 픽셀 값(예를 들어, 컬러 값 및/또는 밝기 값)이다. 위 DCNN은 일 실시예에 불과하며, 특징 추출기는 DCNN 이외의 다른 구조의 뉴럴 네트워크에 기초하여 동작할 수 있다.
노드들 간의 연결 가중치와 같은 특징 추출기의 내부 파라미터들은 특징 추출기의 학습(training) 과정을 통해 미리 결정될 수 있다. 예를 들어, 학습 과정에서는 많은 수의 학습 데이터(training data)와 각 학습 데이터에 대응하는 특징 추출기의 목적 값(desired value)이 존재하고, 특징 추출기에 특정한 학습 데이터가 입력되었을 때, 특징 추출기가 해당 학습 데이터에 대응하는 목적 값을 출력하도록 특징 추출기의 내부 파라미터들을 조정하는 과정이 수행된다. 예를 들어, 특징 추출기로부터 출력된 결과 값과 목적 값 간의 차이로 인한 손실(loss)이 계산되고, 해당 손실이 줄어들도록 특징 추출기의 내부 파라미터들을 조정하는 과정이 수행될 수 있다. 이러한 과정이 각 학습 데이터들에 대해 반복적으로 수행됨에 따라, 특징 추출기로부터 목적 값에 상응하는 바람직한 출력 값이 출력되도록 내부 파라미터들이 조정될 수 있다.
라이브니스 데이터 등록부(230)는 특징 데이터 획득부(225)에 의해 획득된 특징 데이터에 기초하여 라이브니스 스코어를 결정한다. 예를 들어, 복수의 등록 후보 영역들 각각에 대해 인증 대상이 살아있는 객체인지 여부를 나타내는 확률 값을 특징 데이터로서 획득한 경우, 라이브니스 데이터 등록부(230)는 각 등록 후보 영역들에 대응하는 확률 값을 가중합(weighted sum)하여 라이브니스 스코어를 결정할 수 있다. 이외에도, 라이브니스 스코어는 다양한 방식에 따라 결정될 수 있다. 예를 들어, 각 등록 후보 영역들에 대응하는 확률 값의 단순합 또는 평균이 라이브니스 스코어로 결정될 수도 있다.
현재 라이브니스 판단 조건에 대한 라이브니스 스코어가 결정되면, 등록 후보 영역 결정부(220)는 다른 라이브니스 판단 조건에 따라 등록 영상(215)에서 다시 하나 이상의 등록 후보 영역을 결정한다. 예를 들어, 전체 얼굴의 크기와 부분 얼굴의 위치가 이전의 라이브니스 판단 조건과 다른 제1 등록 후보 영역과 제2 등록 후보 영역을 각각 결정할 수 있다. 이후에, 특징 데이터 획득부(225)에 의해 새롭게 결정된 제1 등록 후보 영역 및 제2 등록 후보 영역, 등록 영상(215)의 전체 영역에 대응하는 제3 등록 후보 영역으로부터 특징 데이터가 획득되고, 라이브니스 데이터 등록부(230)에 의해 새로운 라이브니스 판단 조건에 따른 라이브니스 스코어가 결정된다.
라이브니스 데이터 등록 장치는 위와 같은 과정을 미리 정의된 라이브니스 판단 조건들 각각에 대해 수행하고, 라이브니스 데이터 등록부(230)는 각 라이브니스 판단 조건에 따른 라이브니스 스코어를 결정할 수 있다. 한편, 등록 영상(215)은 복수의 영상 프레임들로 구성될 수 있다. 이 경우, 각 영상 프레임들마다 위와 같이 각 라이브니스 판단 조건마다 하나 이상의 등록 후보 영역을 결정하고, 특징 데이터를 획득하고, 라이브니스 스코어를 결정하는 일련의 과정이 반복적으로 수행된다.
라이브니스 데이터 등록부(230)는 각 라이브니스 판단 조건에 따른 라이브니스 스코어들 중에서 가장 높은 라이브니스 스코어를 나타내는 라이프니스 판단 조건을 선택하고, 선택된 라이브니스 판단 조건에 관한 라이브니스 데이터를 등록 데이터베이스(235)에 저장할 수 있다. 여기서, 특정한 라이브니스 판단 조건에 따른 라이브니스 스코어가 가장 높다는 것은, 해당 라이브니스 판단 조건에 따라 등록 후보 영역을 결정하였을 때 라이브니스 판단을 위한 특징이 가장 잘 추출된다는 것을 나타낼 수 있다. 등록 데이터베이스(235)에는 라이브니스 판단 조건(예, 전체 얼굴의 설정 크기, 부분 얼굴의 위치 등)에 관한 데이터와 함께 해당 라이브니스 판단 조건 하에서 추출된 특징 데이터(등록 특징 데이터)가 라이브니스 데이터로서 저장될 수 있다.
등록 데이터베이스(235)에는 여러 사용자의 라이브니스 데이터가 저장될 수 있다. 라이브니스 데이터는 등록된 사용자를 식별하기 위한 식별자와 연관되어 저장될 수 있다. 이를 통해, 여러 사용자들의 라이브니스 데이터가 서로 구분되어 등록될 수 있다. 라이브니스 검사 과정에서, 특정한 사용자의 식별자가 선택되면, 해당 사용자의 등록된 라이브니스 데이터가 등록 데이터베이스(235)에서 추출될 수 있다. 라이브니스 데이터의 등록 과정은 도 3 내지 도 5b를 통해 아래에서 보다 자세히 설명한다.
일 실시예에 따른 라이브니스의 검사 과정(240)에서는 등록 과정(210)에서 등록된 라이브니스 데이터에 기초하여 쿼리 영상(query image; 245)에 대한 라이브니스 검사가 수행된다. 라이브니스 검사를 통해 생체 인증을 시도한 인증 객체의 진짜/위조 여부가 판단될 수 있다. 쿼리 영상은 라이브니스 검사의 검사 대상이 나타난 영상으로, 라이브니스 검사 또는 사용자 인증을 위해 카메라에 의해 촬영된 영상이나 인터페이스 수단을 통해 입력받은 영상일 수 있다. 본 명세서에서 '쿼리 영상'은 입력 영상 또는 인증 영상의 용어로 대체될 수 있다.
일 실시예에 따른 검사 과정(240)은 검사 영역 결정부(250), 특징 데이터 획득부(255) 및 라이브니스 판단부(260)를 포함하는 라이브니스 검사 장치에 의해 수행될 수 있다. 검사 영역 결정부(250)는 등록 데이터베이스(235)에 등록된 라이브니스 데이터에 기초하여 검사 대상에 적용할 라이브니스 판단 조건을 결정할 수 있다. 예를 들어, 등록 데이터베이스(235)에 여러 사용자들의 라이브니스 데이터가 등록되어 있는 경우, 검사 대상에 대응하는 사용자의 라이브니스 데이터에 기초하여 검사 대상에 적용될 라이브니스 판단 조건이 결정될 수 있다. 검사 대상에 대응하는 사용자는 사용자 식별 결과 또는 인터페이스를 통한 사용자 입력에 의해 결정될 수 있다.
검사 영역 결정부(250)는 결정된 라이브니스 판단 조건에 따라 쿼리 영상(245)에서 하나 이상의 검사 영역을 결정할 수 있다. 예를 들어, 검사 영역 결정부(250)는 쿼리 영상(245)의 전체 얼굴에 대응하는 제1 검사 영역, 부분 얼굴에 대응하는 제2 검사 영역 및 전체 영역에 대응하는 제3 검사 영역을 결정할 수 있다. 적용된 라이브니스 판단 조건에 따라 제1 검사 영역의 크기와 제2 검사 영역의 위치가 결정될 수 있다.
특징 데이터 획득부(255)는 하나 이상의 검사 영역에 기초하여 검사 대상의 특징 데이터를 획득할 수 있다. 특징 데이터 획득부(255)는 라이브니스 데이터의 등록 과정(210)에서 이용된 특징 추출기와 동일한 특징 추출기를 이용하여 특징 데이터를 획득할 수 있다. 특징 추출기에는 위 하나 이상의 검사 영역의 영상 데이터가 입력되고, 특징 추출기는 입력된 영상 데이터에 대응하는 특징 데이터를 출력할 수 있다.
라이브니스 판단부(260)는 특징 데이터 획득부(255)에 의해 획득된 특징 데이터와 등록 데이터베이스(235)에 등록된 특징 데이터를 비교하고, 그 비교 결과에 기초하여 라이브니스 검사 결과를 결정할 수 있다. 여기서, 등록된 특징 데이터는 검사 영역을 결정하는데 이용된 등록된 라이브니스 판단 조건에 대응하는 특징 데이터이다. 일 예에서, 획득된 특징 데이터와 등록된 특징 데이터 간의 유사도가 임계 값보다 크면, 검사 대상이 살아있는 객체인 것으로 결정되고, 해당 유사도가 임계 값 이하이면 검사 대상이 살아있지 않은 객체인 것으로 결정될 수 있다. 라이브니스의 검사 과정은 도 6 내지 도 7b를 통해 아래에서 보다 자세히 설명한다.
위와 같이, 사용자 고유의 라이브니스 특징을 등록하고, 등록된 라이브니스 특징에 기초하여 라이브니스 검사를 수행하는 것에 의해 라이브니스 검사의 정확도가 개선될 수 있다.
도 3은 일 실시예에 따른 라이브니스 데이터 등록 방법의 동작을 도시한 흐름도이다. 라이브니스 데이터 등록 방법은 라이브니스 데이터 등록 장치에 의해 수행될 수 있다.
도 3을 참조하면, 단계(310)에서 라이브니스 데이터 등록 장치는 등록 대상이 나타난 등록 영상에서 얼굴 영역을 검출한다. 예를 들어, 라이브니스 데이터 등록 장치는 등록 영상에서 Haar 기반의 캐스케이드 에이다부스트 분류기(Haar-based cascade adaboost classifier) 또는 Viola-Jones 검출기 등을 이용하여 얼굴 영역을 검출할 수 있다. 다만, 실시예의 범위가 이에 한정되는 것은 아니고, 라이브니스 데이터 등록 장치는 다양한 얼굴 영역 검출 기법을 이용하여 입력 영상에서 얼굴 영역을 검출할 수 있다. 예를 들어, 라이브니스 데이터 등록 장치는 등록 영상에서 얼굴의 랜드마크들(facial landmarks)을 검출하고, 검출된 랜드마크들을 포함하는 바운딩(bounding) 영역을 얼굴 영역으로서 검출할 수도 있다. 등록 영상은, 예를 들어 사용자 인증 과정에서 이용된 영상이거나 또는 라이브니스 데이터의 등록을 위해 카메라에 의해 캡쳐된 영상일 수 있다.
단계(320)에서, 라이브니스 데이터 등록 장치는 현재 라이브니스 판단 조건과 위 검출된 얼굴 영역에 기초하여 등록 영상에서 하나 이상의 등록 후보 영역을 결정한다. 현재 라이브니스 판단 조건은, 예를 들어 검출된 얼굴 영역에 기초한 전체 얼굴의 크기 및 검출된 얼굴 영역보다 작은 부분 얼굴의 위치에 관한 조건을 포함할 수 있다. 일 실시예에서, 라이브니스 데이터 등록 장치는 현재 라이브니스 판단 조건과 검출된 얼굴 영역에 기초하여 제1 등록 후보 영역 및 제2 등록 후보 영역 중 하나 이상을 결정할 수 있다. 예를 들어, 라이브니스 데이터 등록 장치는 현재 라이브니스 판단 조건에 따라, 검출된 얼굴 영역보다 크기가 큰 제1 영역, 얼굴 영역과 동일한 제2 영역 및 얼굴 영역보다 작은 제3 영역 중 어느 하나를 제1 등록 후보 영역으로 결정할 수 있다. 이 때, 제1 영역과 제3 영역의 크기는 라이브니스 판단 조건에 의해 미리 정의될 수 있다. 또한, 라이브니스 데이터 등록 장치는 검출된 얼굴 영역 내에서, 현재 라이브니스 판단 조건에 의해 위치가 결정된 부분 얼굴 영역을 제2 등록 후보 영역으로 결정할 수 있다. 현재 라이브니스 판단 조건에 따라, 예를 들어 얼굴 영역 내에서 좌측, 우측, 위, 아래 및 중앙 중 어느 하나에 위치한 부분 얼굴 영역이 제2 등록 후보 영역으로 결정될 수 있다. 또한, 라이브니스 데이터 등록 장치는 등록 영상의 전체 영역에 대응하는 제3 등록 후보 영역을 추가적으로 결정할 수도 있다.
단계(330)에서, 라이브니스 데이터 등록 장치는 뉴럴 네트워크 기반의 특징 추출기를 이용하여 하나 이상의 등록 후보 영역의 영상 데이터로부터 등록 대상의 특징 데이터를 획득한다. 일 실시예에서, 라이브니스 등록 장치는 위 제1 등록 후보 영역 및 제2 등록 후보 영역 중 하나 이상과 위 제3 등록 후보 영역에 기초하여 등록 대상의 특징 데이터를 획득할 수 있다. 이 때, 라이브니스 등록 장치는 각 등록 후보 영역들의 영상 데이터가 각각 입력되는 별개의 특징 추출기들을 이용하여 등록 대상의 특징 데이터를 획득할 수 있다. 또는, 특징 데이터의 획득을 위해, 등록 후보 영역들의 영상 데이터가 각각의 입력 레이어들을 통해 입력되지만, 하나의 출력 레이어를 통해 특징 데이터를 출력하는 단일의 특징 추출기가 이용될 수도 있다. 여기서, 설명한 특징 추출기는 도 2에서 설명한 특징 추출기에 대응할 수 있다.
단계(340)에서, 라이브니스 데이터 등록 장치는 획득된 특징 데이터에 기초하여 라이브니스 스코어를 결정한다. 예를 들어, 라이브니스 데이터 등록 장치는 각 등록 후보 영역들에 대응하는 특징 데이터의 가중합을 라이브니스 스코어로 결정하거나 또는 특징 데이터로부터 등록 대상이 얼마나 살아있는 객체에 가까운지를 나타내는 수치화된 값을 미리 정의된 계산식을 통해 계산하고, 해당 계산된 값을 라이브니스 스코어로 결정할 수 있다. 라이브니스 스코어를 결정하는 것은 위 일례들에 한정되지 아니하며, 다양한 방식을 통해 라이브니스 스코어가 결정될 수 있다.
단계(350)에서, 라이브니스 데이터 등록 장치는 라이브니스 스코어에 기초하여 현재 라이브니스 판단 조건 및 등록 대상의 특징 데이터의 등록 여부를 결정한다. 라이브니스 데이터 등록 장치는 다른 라이브니스 판단 조건에 대해서도 위 단계(310) 내지 단계(340)를 수행하여 각 라이브니스 판단 조건에 대응하는 라이브니스 스코어를 결정할 수 있다. 라이브니스 데이터 등록 장치는 현재 라이브니스 판단 조건에 대응하는 라이브니스 스코어가 다른 라이브니스 판단 조건들에 대응하는 라이브니스 스코어들보다 큰 경우에, 현재 라이브니스 판단 조건과 현재 라이브니스 판단 조건 하에서 결정된 등록 대상의 특징 데이터를 등록하는 것으로 결정할 수 있다. 예를 들어, 단계(320)에서 설명한 제1 등록 후보 영역과 관련하여, 전체 얼굴 영역의 크기가 특정한 크기일 경우에 결정된 라이브니스 스코어가 전체 얼굴 영역의 크기가 다른 크기일 경우에 결정된 라이브니스 스코어들보다 큰 경우, 라이브니스 데이터 등록 장치는 해당 특정한 크기에 대한 라이브니스 판단 조건을 등록시키는 것으로 결정할 수 있다. 또한, 제2 등록 후보 영역과 관련하여, 부분 얼굴 영역의 위치가 특정한 위치일 경우에 결정된 라이브니스 스코어가 부분 얼굴 영역의 위치가 다른 위치일 경우에 결정된 라이브니스 스코어들보다 큰 경우, 라이브니스 데이터 등록 장치는 해당 부분 얼굴 영역의 위치에 대한 라이브니스 판단 조건을 등록시키는 것으로 결정할 수 있다.
도 4a 및 도 4b는 일 실시예에 따른 라이브니스 데이터 등록 과정의 일례를 설명하기 위한 도면들이다.
도 4a를 참조하면, 라이브니스 데이터의 등록을 위해 등록 영상이 입력되는 경우, 등록 영상에서 얼굴 영역(420)이 검출된다. 얼굴 영역(420)은 Haar 기반의 캐스케이드 에이다부스트 분류기 및 Viola-Jones 검출기 등과 같은 다양한 얼굴 검출 기법을 통해 검출될 수 있다. 이후에, 현재 라이브니스 판단 조건에 기초하여 등록 영상에서 하나 이상의 등록 후보 영역이 결정된다. 도 4a에 도시된 실시예에서는 전체 얼굴 영역에 대응하는 제1 등록 후보 영역, 부분 얼굴 영역에 대응하는 제2 등록 후보 영역(430) 및 등록 영상(410)의 전체 영역에 대응하는 제3 등록 후보 영역(410)의 세 개의 등록 후보 영역들이 결정되고, 제1 등록 후보 영역은 얼굴 영역(420)과 동일하다고 가정한다. 실시예에 따라, 한 개 또는 두 개의 등록 후보 영역들이 결정되는 것도 가능하다. 라이브니스 판단 조건에 따라 얼굴 영역(420)을 기준으로 제1 등록 후보 영역의 크기가 달라질 수 있고, 제2 등록 후보 영역(430)의 위치가 달라질 수 있다.
이후에, 제1 등록 후보 영역에 대응하는 영상(450)의 영상 데이터는 제1 특징 추출기(470)에 입력되고, 제2 등록 후보 영역(430)에 대응하는 영상(460)의 영상 데이터는 제2 특징 추출기(475)에 입력된다. 그리고, 제3 등록 후보 영역(410)에 대응하는 영상(440)의 영상 데이터가 제3 특징 추출기(465)에 입력된다. 영상들(440, 450, 460)의 영상 데이터가 특징 추출기들(465, 470, 475)에 입력되기 전에, 영상들(440, 450, 460) 간의 크기가 서로 동일해 지도록 영상 크기가 조절되거나 또는 일부 영상의 크기는 다른 영상의 크기와 달라지도록 영상들(440, 450, 460)의 크기가 조절될 수도 있다. 영상 데이터는 영상의 픽셀 값을 나타낸다.
특징 추출기들(465, 470, 475)을 통해 등록 대상에 대응하는 특징 데이터(예, 특징 벡터)가 획득(480)된다. 제1 특징 추출기(470)는 영상(450)에 대응하는 제1 특징 데이터를 출력하고, 제2 특징 추출기(475)는 영상(460)에 대응하는 제2 특징 데이터를 출력하며, 제3 특징 추출기(465)는 영상(440)에 대응하는 제3 특징 데이터를 출력한다.
다른 실시예에 따르면, 제1 특징 데이터, 제2 특징 데이터 및 제3 특징 데이터는 단일의 특징 추출기에 의해 결정될 수도 있다. 예를 들어, 각 영상들(440, 450, 460)의 영상 데이터가 특징 추출기의 하나 이상의 입력 레이어에 입력되고, 특징 추출기의 하나 이상의 출력 레이어로부터 제1 특징 데이터, 제2 특징 데이터 및 제3 특징 데이터가 출력될 수도 있다.
위와 같이 획득된 제1 특징 데이터, 제2 특징 데이터 및 제3 특징 데이터에 기초하여 라이브니스 스코어가 계산(485)된다. 그 후, 현재 라이브니스 판단 조건이 아닌 다른 라이브니스 판단 조건에 기초하여 등록 영상에서 하나 이상의 등록 후보 영역을 결정하는 과정, 특징 데이터를 획득하는 과정 및 라이브니스 스코어를 계산하는 과정이 위와 동일하게 수행될 수 있다. 또한, 실시예에 따라, 등록 영상은 복수의 영상 프레임들로 구성될 수 있고, 각 영상 프레임들마다 라이브니스 판단 조건에 기초하여 하나 이상의 등록 후보 영역을 결정하는 과정, 특징 데이터를 획득하는 과정 및 라이브니스 스코어를 계산하는 과정이 수행되어, 영상 프레임들 각각에 대한 라이브니스 스코어가 계산될 수 있다.
이후에, 위와 같이 계산된 라이브니스 스코어들에 기초하여 특징 데이터 및 라이브니스 판단 조건을 등록(490)하는 과정이 수행된다. 계산된 라이브니스 스코어들 중 가장 높은 라이브니스 스코어를 나타낼 때의 라이브니스 판단 조건과 영상 프레임을 선택한 후, 선택된 라이브니스 판단 조건과 선택된 영상 프레임에서 획득된 제1 특징 데이터, 제2 특징 데이터 및 제3 특징 데이터가 라이브니스 등록 데이터로서 등록될 수 있다.
위와 같은 라이브니스 등록 데이터의 등록 과정을 통해, 등록 영상으로부터 등록 대상의 고유의 라이브니스 특징이 추출되고, 추출된 라이브니스 특징이 저장될 수 있다. 저장된 라이브니스 특징은 검사 대상의 라이브니스를 검사하는데 이용될 수 있다.
도 4b는 도 4a의 실시예를 보다 구체화하여 도시한 도면이다.
도 4b를 참조하면, 라이브니스 데이터의 등록 과정에서는, 등록 영상에서 얼굴 영역(420)이 검출되고, 최적의 라이브니스 판단 조건을 찾기 위한 과정이 수행된다. 일 실시예에서, 등록 대상의 특징 데이터를 결정하는데 이용될 최적의 등록 후보 영역들을 결정하기 위해 제1 등록 후보 영역의 크기와 제2 등록 후보 영역(430)의 위치를 찾는 과정이 수행될 수 있다. 예를 들어, 제1 등록 후보 영역의 크기는 검출된 얼굴 영역(420)을 기준으로 얼굴 영역(420)보다 큰 제1 영역(424), 얼굴 영역(420)과 동일한 제2 영역 및 얼굴 영역(420)보다 작은 제3 영역(426) 중 어느 하나로 결정될 수 있다. 제1 영역(424)은, 예를 들어 얼굴 영역(420)의 110%의 크기를 가지고, 제3 영역(426)은 얼굴 영역(420)의 90%의 크기를 가질 수 있다. 위 제1 영역(424), 제2 영역 및 제3 영역(426)은 서로 다른 라이브니스 판단 조건을 구성할 수 있다. 일 실시예에서, 제1 영역(424)에 대응하는 영상(454)의 영상 데이터에 기초하여 제1 특징 추출기(470)로부터 제1 특징 데이터가 획득되고, 해당 제1 특징 데이터에 기초하여 라이브니스 스코어가 계산된다. 이후에, 제2 영역에 대응하는 영상(452)의 영상 데이터와 제3 영역(426)에 대응하는 영상(456)의 영상 데이터가 차례대로 제1 특징 추출기(470)에 입력되어 각 경우에 따른 제1 특징 데이터가 획득되고, 라이브니스 스코어가 계산된다.
또한, 부분 얼굴 영역에 대응하는 제2 등록 후보 영역(430)의 경우, 라이브니스 판단 조건에 따라 그 위치가 달라질 수 있다. 제2 등록 후보 영역(430)은 라이브니스 스코어를 계산할 때마다 얼굴 영역(420) 내 임의의 위치 또는 미리 정해진 위치에 설정되는 것으로 결정될 수 있다. 예를 들어, 제2 등록 후보 영역(430)은 라이브니스 판단 조건에 따라 얼굴 영역(420) 내 좌측, 중앙 및 우측 중 어느 하나에 위치하도록 결정될 수 있다. 각각의 경우에 대응하는 부분 얼굴 영상들(462, 464, 466)은 서로 다른 라이브니스 판단 조건을 구성할 수 있다. 일 실시예에서, 부분 얼굴 영상(462)의 영상 데이터에 기초하여 제2 특징 추출기(475)로부터 제2 특징 데이터가 획득되고, 해당 제2 특징 데이터에 기초하여 라이브니스 스코어가 계산된다. 이후에, 부분 얼굴 영상(464)의 영상 데이터와 부분 얼굴 영상(466)의 영상 데이터가 차례대로 제2 특징 추출기(475)에 입력되어 각 경우에 따른 제2 특징 데이터가 획득되고, 라이브니스 스코어가 계산된다.
위 실시예들에서, 제3 등록 후보 영역(410)에 대응하는 영상(440)은 라이브니스 판단 조건에 관계 없이 제3 특징 추출기(465)에 입력될 수 있고, 제3 특징 추출기(465)에 의해 제3 특징 데이터가 획득된다. 제3 특징 데이터는 라이브니스 판단 조건에 따른 제1 특징 데이터 및 제2 특징 데이터와 함께 라이브니스 스코어를 계산하는데 이용될 수 있다.
특징 데이터 및 라이브니스 판단 조건을 등록(490)하는 과정과 관련하여, 도 5a 및 도 5b는 일 실시예에 따른 각 라이브니스 판단 조건들에서 도출된 라이브니스 스코어의 일례를 도시한다.
도 5a를 참조하면, 제1 등록 후보 영역(전체 얼굴 영역에 대응)의 크기와 관련된 라이브니스 판단 조건들로부터 도출된 라이브니스 스코어들이 히스토그램으로 표시되어 있다. 히스토그램에서, 제1 등록 후보 영역의 크기가 각각 제3 영역(426)일 때의 라이브니스 스코어(510)는 0.85, 제1 영역(424)일 때의 라이브니스 스코어(520)는 0.95, 얼굴 영역(420)과 동일한 제2 영역일 때의 라이브니스 스코어(530)는 0.9로 결정되어 있다. 여기서, 라이브니스 스코어가 가장 클 때인, 제1 등록 후보 영역의 크기가 제1 영역(424)일 때의 라이브니스 판단 조건이 등록된다. 이 경우, 라이브니스 검사 과정에서는 전체 얼굴 영역에 대응하는 제1 검사 영역의 크기가 쿼리 영상에서 검출된 얼굴 영역보다 큰 영역으로 설정되게 된다.
도 5b를 참조하면, 제2 등록 후보 영역(부분 얼굴 영역에 대응)의 위치와 관련된 라이브니스 판단 조건들로부터 도출된 라이브니스 스코어들이 히스토그램으로 표시되어 있다. 히스토그램에서, 제2 등록 후보 영역의 위치가 각각 제1 위치일 때(부분 얼굴 영상(462)에 대응)의 라이브니스 스코어(540)는 0.85, 제2 위치일 때(부분 얼굴 영상(464)에 대응)의 라이브니스 스코어(550)는 0.9, 제3 위치일 때(부분 얼굴 영상(466)에 대응)의 라이브니스 스코어(560)는 0.95로 결정되어 있다. 도 5a에서와 유사하게, 라이브니스 스코어가 가장 클 때인 제2 등록 후보 영역의 위치가 제3 위치일 때의 라이브니스 판단 조건이 등록된다. 이 경우, 라이브니스 검사 과정에서는 쿼리 영상에서 부분 얼굴 영역에 대응하는 제2 검사 영역의 위치가 제3 위치로 설정되게 된다.
도 6은 일 실시예에 따른 라이브니스 검사 방법의 동작을 도시한 흐름도이다. 라이브니스 검사 방법은 라이브니스 검사 장치에 의해 수행될 수 있다.
도 6을 참조하면, 단계(610)에서 라이브니스 검사 장치는 검사 대상이 나타난 쿼리 영상에서 얼굴 영역을 검출한다. 예를 들어, 라이브니스 검사 장치는 Haar 기반의 캐스케이드 에이다부스트 분류기 또는 Viola-Jones 검출기 등을 이용하여 얼굴 영역을 검출할 수 있다.
단계(620)에서, 라이브니스 검사 장치는 등록 데이터베이스에 등록된 하나 이상의 등록 사용자에 대한 라이브니스 판단 조건 중에서 검사 대상에 적용할 라이브니스 판단 조건을 결정(또는 선택)한다. 라이브니스 판단 조건은, 예를 들어 검사 영역의 크기 및 검사 영역의 위치 등과 같이 쿼리 영상에서 하나 이상의 검사 영역을 결정하기 위한 조건을 포함할 수 있다.
일 실시예에서, 등록 데이터베이스에 하나의 등록 사용자에 대한 라이브니스 판단 조건이 등록되어 있는 경우, 라이브니스 검사 장치는 해당 등록 사용자에 대한 라이브니스 판단 조건을 검사 대상에 적용할 라이브니스 판단 조건으로 결정할 수 있다. 이와 다르게, 등록 데이터베이스에 복수의 등록 사용자들에 대한 라이브니스 판단 조건들이 등록되어 있는 경우, 라이브니스 검사 장치는 등록 사용자들 중 검사 대상에 대응하는 등록 사용자의 라이브니스 판단 조건을 검사 대상에 적용할 라이브니스 판단 조건으로 결정할 수 있다. 여기서, 검사 대상에 대응하는 등록 사용자는, 예를 들어 검사 대상에 대한 사용자 인식 결과에 기초하여 결정될 수 있다. 사용자 인식 결과, 복수의 등록 사용자들 중 검사 대상에 가장 가까운 것으로 결정된 등록 사용자가 검사 대상에 대응하는 등록 사용자로 결정될 수 있다. 다른 예로, 라이브니스 검사 장치는 라이브니스 판단 조건들 각각에 대응하는 식별자를 디스플레이하고, 사용자 입력을 통해 위 식별자에 대한 선택 데이터를 수신할 수 있다. 라이브니스 검사 장치는 해당 사용자 입력을 통해 선택된 식별자에 대응하는 라이브니스 판단 조건을 검사 대상에 적용할 라이브니스 판단 조건으로 결정할 수 있다.
단계(630)에서, 라이브니스 검사 장치는 단계(610)에서 검출된 얼굴 영역 및 단계(620)에서 결정된 라이브니스 판단 조건에 기초하여 쿼리 영상에서 하나 이상의 검사 영역을 결정할 수 있다. 이 때, 결정되는 검사 영역의 개수는 라이브니스 판단 조건의 등록 과정에서 이용된 등록 후보 영역의 개수와 동일할 수 있다.
일 실시예에서, 라이브니스 검사 장치는 라이브니스 판단 조건에 따라, 전체 얼굴 영역에 대응하는 제1 검사 영역, 부분 얼굴 영역에 대응하는 제2 검사 영역 및 쿼리 영상의 전체 영역에 대응하는 제3 검사 영역을 결정할 수 있다. 이 때, 라이브니스 판단 조건에 따라 제1 검사 영역의 크기와 제2 검사 영역의 위치가 결정될 수 있다. 예를 들어, 라이브니스 검사 장치는 라이브니스 판단 조건에 따라, 검출된 얼굴 영역보다 큰 제1 영역, 얼굴 영역과 동일한 제2 영역 및 얼굴 영역보다 작은 제3 영역 중 어느 하나를 제1 검사 영역으로 결정할 수 있다. 만약, 라이브니스 데이터의 등록 과정에서 얼굴 영역보다 작은 제3 영역의 제1 등록 후보 영역에 기초하여 라이브니스 데이터가 등록되었다면, 라이브니스 검사 과정에서도 얼굴 영역보다 작은 제3 영역에 대응하는 제1 검사 영역이 결정될 수 있다. 또한, 라이브니스 검사 장치는 검출된 얼굴 영역 내에서 라이브니스 판단 조건에 의해 위치가 결정된 부분 얼굴 영역을 제2 검사 영역으로 결정할 수 있다. 예를 들어, 라이브니스 검사 장치는 라이브니스 판단 조건에 따라, 검출된 얼굴 영역 내에서 제2 검사 영역이 좌측, 우측, 위, 아래 및 중앙 중 어디에 위치할 것인지를 결정할 수 있다. 만약, 라이브니스 데이터의 등록 과정에서 얼굴 영역의 중앙 위치에 대응하는 제2 등록 후보 영역에 기초하여 라이브니스 데이터가 등록되었다면, 라이브니스 검사 과정에서도 검출된 얼굴 영역의 중앙 위치에 대응하는 부분 얼굴 영역이 제2 검사 영역으로 결정될 수 있다.
단계(640)에서, 라이브니스 검사 장치는 뉴럴 네트워크 기반의 특징 추출기를 이용하여 위 하나 이상의 검사 영역의 영상 데이터로부터 검사 대상의 특징 데이터를 획득할 수 있다. 일 실시예에서, 라이브니스 검사 장치는 위 제1 검사 영역 및 제2 검사 영역 중 하나 이상과 쿼리 영상의 전체 영역에 대응하는 제3 검사 영역에 기초하여 검사 대상의 특징 데이터를 획득할 수 있다. 특징 데이터를 획득하기 위해 이용되는 특징 추출기는 라이브니스 데이터의 등록 과정에서 이용된 특징 추출기와 동일할 수 있다. 실시예에 따라, 각 검사 영역들의 영상 데이터가 각각 입력되는 별개의 특징 추출기들을 이용하여 검사 대상의 특징 데이터가 획득되거나 또는 각 검사 영역들의 영상 데이터가 별개의 입력 레이어들을 통해 입력되는 단일의 특징 추출기를 이용하여 검사 대상의 특징 데이터가 획득될 수 있다.
단계(650)에서, 라이브니스 검사 장치는 단계(640)에서 획득된 특징 데이터 및 결정된 라이브니스 판단 조건에 대응하는 등록 특징 데이터에 기초하여 라이브니스 검사 결과를 결정한다. 라이브니스 검사 장치는 특징 추출기를 통해 획득된 특징 데이터와 등록 특징 데이터 간의 유사도를 계산하고, 유사도에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정할 수 있다. 만약, 유사도가 임계 값보다 크면, 검사 대상이 살아있는 객체인 것으로 결정되고, 유사도가 임계 값 이하이면, 검사 대상이 살아있지 않은 객체인 것으로 결정될 수 있다.
라이브니스 검사 장치는 라이브니스의 검사 결과에 응답하여 제어 동작을 수행할 수 있다. 일 실시예에서, 검사 대상이 살아있는 객체인 것으로 결정된 경우, 라이브니스 검사 장치는 사용자 인증 절차의 실행을 요청하기 위한 제어 신호를 생성할 수 있다. 이와 반대로, 검사 대상이 살아있지 않은 객체인 것으로 결정된 경우, 라이브니스 검사 장치는 사용자 인증 과정의 실행을 요청하지 않고, 사용자의 액세스를 차단하기 위한 제어 신호를 생성할 수 있다.
도 7a 및 도 7b는 일 실시예에 따른 라이브니스 검사 방법의 일례를 설명하기 위한 도면들이다.
도 7a를 참조하면, 라이브니스 검사의 검사 대상이 나타난 쿼리 영상이 입력되면, 쿼리 영상에서 얼굴 영역(715)가 검출된다. 얼굴 영역(715)의 검출은 본 명세서에서 설명한 다양한 얼굴 검출 기법 중 하나 이상에 의해 수행될 수 있다. 이후에, 등록 데이터베이스에 등록된 라이브니스 판단 조건에 기초하여 쿼리 영상에서 하나 이상의 검사 영역이 결정된다. 실시예에 따라, 등록 데이터베이스 등록된 복수의 라이브니스 판단 조건들 중 쿼리 영상에 적용될 라이브니스 판단 조건을 결정하기 위해 사용자 인증 결과가 이용될 수 있다. 사용자 인증 결과에 기초하여 등록 사용자들 중 검사 대상과 가장 가까운 등록 사용자가 선택되고, 선택된 등록 사용자에 대한 라이브니스 판단 조건이 쿼리 영상에 적용될 수 있다. 만약, 등록 데이터베이스에 하나의 라이브니스 판단 조건만이 등록되어 있다면, 사용자 인증 결과를 이용하는 것 없이 해당 라이브니스 판단 조건에 기초하여 쿼리 영상에서 하나 이상의 검사 영역이 결정될 수 있다. 이와 같이, 라이브니스 데이터의 등록 과정에서 등록된 사용자의 고유의 라이브니스 판단 조건을 이용하여 쿼리 영상이 처리된다.
도 7a에 도시된 것과 같이, 라이브니스 판단 조건에 따라 쿼리 영상에서 세 개의 검사 영역들이 결정된다고 가정하면, 쿼리 영상에서 전체 얼굴 영역에 대응하는 제1 검사 영역(720), 부분 얼굴 영역에 대응하는 제2 검사 영역(725) 및 쿼리 영상의 전체 영역에 대응하는 제3 검사 영역(710)이 결정될 수 있다. 이 때, 제1 검사 영역(720)의 크기와 제2 검사 영역(725)의 위치는 라이브니스 판단 조건에 등록된 조건에 의해 결정될 수 있다. 예를 들어, 도면에 도시된 실시예에서는 라이브니스 판단 조건의 등록 시에, 전체 얼굴 영역에 대응하는 제1 등록 후보 영역이 검출된 얼굴 영역보다 큰 크기를 가지고, 부분 얼굴 영역에 대응하는 제2 등록 후보 영역이 얼굴 영역의 중앙 위치에 오게 하는 라이브니스 판단 조건이 등록되었다는 것을 알 수 있다.
제1 검사 영역(720)에 대응하는 영상(735)의 영상 데이터는 제1 특징 추출기(755)에 입력되고, 제2 검사 영역(725)에 대응하는 영상(740)의 영상 데이터는 제2 특징 추출기(760)에 입력된다. 제3 검사 영역(710)에 대응하는 영상(710)의 영상 데이터는 제3 특징 추출기(750)에 입력된다. 영상들(730, 735, 740)의 영상 데이터가 특징 추출기들(750, 755, 760)에 입력되기 전에, 영상들(730, 735, 740) 간의 크기가 서로 동일해 지도록 영상 크기가 조절되거나 또는 일부 영상의 크기는 다른 영상의 크기와 달라지도록 영상들(730, 735, 740)의 크기가 조절될 수도 있다. 영상 데이터는 영상의 픽셀 값을 나타낸다.
특징 추출기들(750, 755, 760)을 통해 검사 대상에 대응하는 특징 데이터(예, 특징 벡터)가 획득(765)된다. 제1 특징 추출기(755)를 통해 영상(735)에 대응하는 제1 특징 데이터가 출력되고, 제2 특징 추출기(760)를 통해 영상(740)에 대응하는 제2 특징 데이터가 출력되며, 제3 특징 추출기(750)를 통해 영상(730)에 대응하는 제3 특징 데이터가 출력된다.
제1 검사 영역(720)이 나타내는 전체 얼굴 영역은 검사 대상의 형상(shape) 특징을 잘 나타내고, 제1 검사 영역(720)에 대응되는 영상(735)에 기초하여 결정된 제1 특징 데이터는 위조 수단을 구별하는데 이용되는 빛 반사 및 모양의 왜곡 특성을 반영할 수 있다. 제2 검사 영역(725)이 나타내는 부분 얼굴 영역은 검사 대상의 텍스쳐(texture) 특징을 잘 나타내고, 제2 검사 영역(725)에 대응되는 영상(740)에 기초하여 결정된 제2 특징 데이터는 위조 수단을 구별하는데 이용되는 미세한 텍스쳐 차이 특성을 반영할 수 있다. 제3 검사 영역(710)이 나타내는 쿼리 영상의 전체 영역은 컨텍스트(context) 특징을 잘 나타내고, 제3 검사 영역(710)에 대응되는 영상(730)에 기초하여 결정된 제3 특징 데이터는 위조 수단을 구별하는데 이용되는 컨텍스트 특성을 반영할 수 있다.
각각의 특징 추출기들(750, 755, 760)를 통하여 복수의 구별되는 특징을 구별하는 것에 의해, 얼굴 영역의 형태와 관련된 형태 정보, 얼굴 영역 또는 부분 얼굴 영역의 텍스쳐 정보 및 전역적인 영역의 컨텍스트 정보가 종합적으로 고려될 수 있다. 이에 따, 전체적인 라이브니스 검사의 정확도가 개선될 수 있고, 보다 안전한 사용자 인증, 금융 액세스(financial access) 또는 지불 액세스(payment access)가 가능해 진다.
다른 실시예에 따르면, 제1 특징 데이터, 제2 특징 데이터 및 제3 특징 데이터는 단일의 특징 추출기에 의해 결정될 수도 있다. 예를 들어, 각 영상들(730, 735, 740)의 영상 데이터가 특징 추출기의 하나 이상의 입력 레이어에 입력되고, 특징 추출기의 하나 이상의 출력 레이어로부터 제1 특징 데이터, 제2 특징 데이터 및 제3 특징 데이터가 출력될 수도 있다.
라이브니스 검사 장치는 획득된 특징 데이터와 라이브니스 데이터의 등록 과정에서 등록된 등록 특징 데이터를 비교(770)하고, 그 비교 결과에 기초하여 라이브니스 검사 결과를 결정할 수 있다. 여기서, 등록 특징 데이터는 검사 영역의 결정에 이용된 라이브니스 판단 조건에 대응하는 등록 특징 데이터이다. 일례에서, 라이브니스 검사 장치는 특징 추출기를 통해 획득한 특징 데이터와 등록 특징 데이터 간의 유사도를 계산하고, 계산된 유사도가 임계 값보다 크면 검사 대상이 살아있는 객체인 것으로 결정할 수 있다. 유사도가 임계 값 이하이면, 검사 대상은 살아있지 않은 객체인 것으로 결정될 수 있다.
도 7b는 도 7a의 실시예와 다른 라이브니스 판단 조건이 적용된 일례를 도시한 도면이다.
도 7b를 참조하면, 라이브니스 데이터의 등록 과정에서 등록된 라이브니스 판단 조건에 따라, 쿼리 영상에서 전체 얼굴 영역에 대응하는 제1 검사 영역(722), 부분 얼굴 영역에 대응하는 제2 검사 영역(727) 및 쿼리 영상의 전체 영역에 대응하는 제3 검사 영역(710)이 결정될 수 있다. 본 실시예에서는, 라이브니스 판단 조건의 등록 시에, 전체 얼굴 영역에 대응하는 제1 등록 후보 영역이 검출된 얼굴 영역과 동일한 크기를 가지고, 부분 얼굴 영역에 대응하는 제2 등록 후보 영역이 얼굴 영역의 왼쪽 하단에 위치하게 하는 라이브니스 판단 조건이 등록되었다는 것을 알 수 있다.
이후에, 도 7a에서와 유사하게 제1 검사 영역(722)에 대응하는 영상(737)의 영상 데이터는 제1 특징 추출기(755)에 입력되고, 제2 검사 영역(727)에 대응하는 영상(745)의 영상 데이터는 제2 특징 추출기(760)에 입력된다. 제3 검사 영역(710)에 대응하는 영상(710)의 영상 데이터는 제3 특징 추출기(750)에 입력된다. 특징 추출기들(750, 755, 560)로부터 획득된 특징 데이터와 라이브니스 판단 조건과 함께 등록된 등록 특징 데이터에 기초하여 라이브니스 검사 결과가 결정된다.
도 8은 일 실시예에 따른 라이브니스 데이터 등록 장치의 구성을 도시한 도면이다.
라이브니스 데이터 등록 장치(800)는 등록 영상으로부터 등록 대상의 라이브니스 데이터를 추출하고, 추출된 라이브니스 데이터를 등록할 수 있다. 라이브니스 데이터 등록 장치(800)는 라이브니스 데이터의 등록과 관련하여 본 명세서에 기술되거나 또는 도시된 하나 이상의 동작을 수행할 수 있다.
도 8을 참조하면, 라이브니스 데이터 등록 장치(800)는 하나 이상의 프로세서(810) 및 메모리(820)를 포함할 수 있다. 메모리(820)는 프로세서(810)에 연결되고, 프로세서(810)에 의해 실행가능한 인스트럭션들, 프로세서(810)가 연산할 데이터 또는 프로세서(810)에 의해 처리된 데이터를 저장할 수 있다.
프로세서(810)는 도 1 내지 도 5a를 참조하여 설명된 하나 이상의 동작을 수행할 수 있다. 예를 들어, 프로세서(810)는 등록 영상에서 얼굴 영역을 검출하고, 현재 라이브니스 판단 조건과 검출된 얼굴 영역에 기초하여 등록 영상에서 하나 이상의 등록 후보 영역을 결정할 수 있다. 프로세서(810)는 특징 추출기를 이용하여 위 결정된 하나 이상의 등록 후보 영역의 영상 데이터로부터 등록 대상의 특징 데이터를 획득하고, 획득된 특징 데이터에 기초하여 라이브니스 스코어를 결정할 수 있다. 프로세서(810)는 결정된 라이브니스 스코어에 기초하여 현재 라이브니스 판단 조건 및 등록 대상의 특징 데이터의 등록 여부를 결정할 수 있다. 프로세서(810)는 각각의 라이브니스 판단 조건에 따라 하나 이상의 등록 후보 영역을 결정하는 과정, 결정된 하나 이상의 등록 후보 영역으로부터 특징 데이터를 획득하는 과정, 특징 데이터에 기초하여 라이브니스 스코어를 결정하는 과정을 반복적으로 수행할 수 있다. 일 실시예에서, 프로세서(810)는 라이브니스 스코어가 가장 높게 나오는 라이브니스 판단 조건과 해당 라이브니스 판단 조건 하에서 획득된 특징 데이터를 등록 대상의 라이브니스 데이터로서 등록할 수 있다.
도 9는 일 실시예에 따른 라이브니스 검사 장치의 구성을 도시한 도면이다.
라이브니스 검사 장치(900)는 쿼리 영상에 나타난 검사 대상에 대해 라이브니스 검사를 수행하고, 그 검사 결과를 제공할 수 있다. 라이브니스 검사 장치(900)는 라이브니스 검사와 관련하여 본 명세서에 기술되거나 또는 도시된 하나 이상의 동작을 수행할 수 있다.
도 9를 참조하면, 라이브니스 검사 장치(900)는 하나 이상의 프로세서(910) 및 메모리(920)를 포함할 수 있다. 메모리(920)는 프로세서(910)에 연결되고, 프로세서(910)에 의해 실행가능한 인스트럭션들, 프로세서(910)가 연산할 데이터 또는 프로세서(910)에 의해 처리된 데이터를 저장할 수 있다.
프로세서(910)는 도 1, 도 2, 도 6 내지 도 7b를 참조하여 설명된 하나 이상의 동작을 수행할 수 있다. 예를 들어, 프로세서(910)는 쿼리 영상에서 얼굴 영역을 검출하고, 등록 데이터베이스에 등록된 하나 이상의 등록 사용자에 대한 라이브니스 판단 조건 중에서 검사 대상에 적용할 라이브니스 판단 조건을 결정할 수 있다. 예를 들어, 프로세서(910)는 라이브니스 판단 조건으로서 하나 이상의 검사 영역의 크기 및 하나 이상의 검사 영역의 위치 중 하나 이상을 결정할 수 있다. 프로세서(910)는 검출된 얼굴 영역 및 결정된 라이브니스 판단 조건에 기초하여 쿼리 영상에서 하나 이상의 검사 영역을 결정하고, 특징 추출기를 이용하여 하나 이상의 검사 영역의 영상 데이터로부터 검사 대상의 특징 데이터를 획득할 수 있다. 프로세서(910)는 특징 추출기를 통해 획득된 특징 데이터와 라이브니스 판단 조건에 대응하는 등록 특징 데이터를 비교하고, 그 비교 결과에 기초하여 라이브니스 검사 결과를 결정할 수 있다.
도 10은 일 실시예에 따른 컴퓨팅 장치의 구성을 도시하는 도면이다.
컴퓨팅 장치(1000)는 라이브니스 데이터의 등록 과정에서 등록 영상으로부터 등록 대상의 라이브니스 데이터를 추출하고, 추출된 라이브니스 데이터를 등록할 수 있다. 또한, 컴퓨팅 장치(1000)는 등록된 라이브니스 데이터를 기반으로 쿼리 영상에 나타난 검사 대상에 대해 라이브니스 검사를 수행할 수 있다. 컴퓨팅 장치(1000)는 도 1의 컴퓨팅 장치(120)에 대응할 수 있고, 도 8의 라이브니스 데이터 등록 장치(800) 및 도 9의 라이브니스 검사 장치(900)의 기능을 모두 수행할 수 있다.
도 10을 참조하면, 컴퓨팅 장치(1000)는 하나 이상의 프로세서(1010), 메모리(1020), 카메라(1030), 저장 장치(1040), 입력 장치(1050), 출력 장치(1060) 및 네트워크 인터페이스(1070)를 포함할 수 있다. 프로세서(1010), 메모리(1020), 카메라(1030), 저장 장치(1030), 입력 장치(1050), 출력 장치(1060) 및 네트워크 인터페이스(1070)는 통신 버스(communication bus; 1080)를 통해 서로 통신할 수 있다.
프로세서(1010)는 라이브니스 데이터의 등록 및 라이브니스 검사를 수행하기 위한 기능 및 인스트럭션들을 실행할 수 있다. 예를 들어, 프로세서(1010)는 메모리(1020) 또는 저장 장치(1040)에 저장된 인스트럭션들을 처리할 수 있다. 프로세서(1010)는 도 1 내지 도 9를 통하여 전술한 하나 이상의 동작을 수행할 수 있다.
메모리(1020)는 라이브니스 데이터의 등록 또는 라이브니스 검사를 수행하기 위한 정보를 저장한다. 메모리(1020)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다. 메모리(1020)는 프로세서(1010)에 의해 실행하기 위한 인스트럭션들과 라이브니스 검사의 수행에 필요한 정보를 저장할 수 있다.
카메라(1030)는 라이브니스 데이터의 등록을 위한 등록 영상 및 라이브니스 검사를 위한 쿼리 영상 중 하나 이상을 획득할 수 있다.
저장 장치(1040)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함한다. 일 실시예에 따르면, 저장 장치(1040)는 메모리(1020)보다 더 많은 양의 정보를 저장하고, 정보를 장기간 저장할 수 있다. 예를 들어, 저장 장치(1040)는 자기 하드 디스크, 광 디스크, 플래쉬 메모리, 전기적으로 프로그래밍가능한 메모리(EPROM), 플로피 디스크 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다.
입력 장치(1050)는 촉각, 비디오, 오디오 또는 터치 입력을 통해 사용자로부터 입력을 수신할 수 있다. 예를 들어, 입력 장치(1050)는 키보드, 마우스, 터치 스크린, 마이크로폰, 또는 사용자로부터 입력을 검출하고, 검출된 입력을 컴퓨팅 장치(1000)에 전달할 수 있는 임의의 다른 장치를 포함할 수 있다.
출력 장치(1060)는 시각적, 청각적 또는 촉각적인 채널을 통해 사용자에게 컴퓨팅 장치(1000)의 출력을 제공할 수 있다. 출력 장치(1060)는 예를 들어, 디스플레이, 터치 스크린, 스피커, 진동 발생 장치 또는 사용자에게 출력을 제공할 수 있는 임의의 다른 장치를 포함할 수 있다. 네트워크 인터페이스(1070)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (37)

  1. 검사 대상이 나타난 쿼리 영상에서 얼굴 영역을 검출하는 단계;
    상기 검사 대상에 대한 사용자 식별 결과 또는 인터페이스를 통한 사용자 입력에 기초하여 복수의 등록 사용자들 중 상기 검사 대상에 대응되는 등록 사용자를 결정하는 단계;
    등록 데이터베이스에 등록된 상기 등록 사용자들에 대한 라이브니스 판단 조건들 중에서 상기 검사 대상에 적용할 라이브니스 판단 조건을 결정하는 단계;
    상기 검출된 얼굴 영역 및 상기 결정된 라이브니스 판단 조건에 기초하여 상기 쿼리 영상에서 하나 이상의 검사 영역을 결정하는 단계;
    뉴럴 네트워크 기반의 특징 추출기를 이용하여 상기 하나 이상의 검사 영역의 영상 데이터로부터 상기 검사 대상의 특징 데이터를 획득하는 단계; 및
    상기 획득된 특징 데이터 및 상기 결정된 라이브니스 판단 조건에 대응하는 등록 특징 데이터에 기초하여 라이브니스 검사 결과를 결정하는 단계
    를 포함하고,
    상기 라이브니스 판단 조건을 결정하는 단계는,
    상기 등록 사용자들 중 상기 결정된 등록 사용자의 라이브니스 판단 조건을 상기 검사 대상에 적용할 라이브니스 판단 조건으로 결정하는 단계
    를 포함하는, 라이브니스 검사 방법.
  2. 제1항에 있어서,
    상기 라이브니스 판단 조건을 결정하는 단계는,
    상기 하나 이상의 검사 영역의 크기 및 상기 하나 이상의 검사 영역의 위치 중 적어도 하나를 결정하는, 라이브니스 검사 방법.
  3. 제1항에 있어서,
    상기 검사 영역을 결정하는 단계는,
    상기 검출된 얼굴 영역과 상기 결정된 라이브니스 판단 조건에 기초하여 제1 검사 영역 및 제2 검사 영역 중 적어도 하나를 결정하는 단계
    를 포함하는 라이브니스 검사 방법.
  4. 제3항에 있어서,
    상기 제1 검사 영역 및 제2 검사 영역 중 적어도 하나를 결정하는 단계는,
    상기 결정된 라이브니스 판단 조건에 따라, 상기 검출된 얼굴 영역보다 큰 제1 영역, 상기 얼굴 영역과 동일한 제2 영역, 또는 상기 얼굴 영역보다 작은 제3 영역을 상기 제1 검사 영역으로 결정하는 단계
    를 포함하는 라이브니스 검사 방법.
  5. 제3항에 있어서,
    상기 제1 검사 영역 및 제2 검사 영역 중 적어도 하나를 결정하는 단계는,
    상기 검출된 얼굴 영역 내에서 상기 결정된 라이브니스 판단 조건에 의해 위치가 결정된 부분 얼굴 영역을 상기 제2 검사 영역으로 결정하는 단계
    를 포함하는 라이브니스 검사 방법.
  6. 제3항에 있어서,
    상기 검사 대상의 특징 데이터를 획득하는 단계는,
    상기 제1 검사 영역 및 상기 제2 검사 영역 중 적어도 하나와 상기 쿼리 영상의 전체 영역에 대응하는 제3 검사 영역에 기초하여 상기 검사 대상의 특징 데이터를 획득하는, 라이브니스 검사 방법.
  7. 제1항에 있어서,
    상기 라이브니스 판단 조건을 결정하는 단계는,
    상기 등록 데이터베이스에 하나의 등록 사용자에 대한 라이브니스 판단 조건이 등록되어 있는 경우, 상기 등록 사용자에 대한 라이브니스 판단 조건을 상기 검사 대상에 적용할 라이브니스 판단 조건으로 결정하는, 라이브니스 검사 방법.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 검사 대상의 특징 데이터를 획득하는 단계는,
    각 검사 영역들의 영상 데이터가 각각 입력되는 별개의 특징 추출기들을 이용하여 상기 검사 대상의 특징 데이터를 획득하는, 라이브니스 검사 방법.
  11. 제1항에 있어서,
    상기 검사 대상의 특징 데이터를 획득하는 단계는,
    각 검사 영역들의 영상 데이터가 별개의 입력 레이어들을 통해 입력되는 단일의 특징 추출기를 이용하여 상기 검사 대상의 특징 데이터를 획득하는, 라이브니스 검사 방법.
  12. 제1항에 있어서,
    상기 라이브니스 검사 결과를 결정하는 단계는,
    상기 획득된 특징 데이터와 상기 등록 특징 데이터 간의 유사도에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는, 라이브니스 검사 방법.
  13. 등록 대상이 나타난 등록 영상에서 얼굴 영역을 검출하는 단계;
    현재 라이브니스 판단 조건과 상기 검출된 얼굴 영역에 기초하여 상기 등록 영상에서 하나 이상의 등록 후보 영역을 결정하는 단계;
    뉴럴 네트워크 기반의 특징 추출기를 이용하여 상기 하나 이상의 등록 후보 영역의 영상 데이터로부터 상기 등록 대상의 특징 데이터를 획득하는 단계;
    상기 획득된 특징 데이터에 기초하여 라이브니스 스코어를 결정하는 단계; 및
    상기 라이브니스 스코어에 기초하여 상기 현재 라이브니스 판단 조건 및 상기 등록 대상의 특징 데이터의 등록 여부를 결정하는 단계
    를 포함하고,
    상기 현재 라이브니스 판단 조건 및 상기 등록 대상의 특징 데이터의 등록 여부를 결정하는 단계는,
    상기 현재 라이브니스 판단 조건에 대응하는 라이브니스 스코어가 다른 라이브니스 판단 조건들에 대응하는 라이브니스 스코어들보다 큰 경우에, 상기 현재 라이브니스 판단 조건과 상기 현재 라이브니스 판단 조건 하에서 결정된 상기 등록 대상의 특징 데이터를 등록하는 것으로 결정하는, 라이브니스 데이터 등록 방법.
  14. 제13항에 있어서,
    상기 하나 이상의 등록 후보 영역을 결정하는 단계는,
    상기 현재 라이브니스 판단 조건과 상기 검출된 얼굴 영역에 기초하여 제1 등록 후보 영역 및 제2 등록 후보 영역 중 적어도 하나를 결정하는 단계
    를 포함하는 라이브니스 데이터 등록 방법.
  15. 제14항에 있어서,
    상기 하나 이상의 등록 후보 영역을 결정하는 단계는,
    상기 현재 라이브니스 판단 조건에 따라, 상기 검출된 얼굴 영역보다 크기가 큰 제1 영역, 상기 얼굴 영역과 동일한 제2 영역, 또는 상기 얼굴 영역보다 작은 제3 영역을 상기 제1 등록 후보 영역으로 결정하는 단계
    를 포함하는 라이브니스 데이터 등록 방법.
  16. 제14항에 있어서,
    상기 하나 이상의 등록 후보 영역을 결정하는 단계는,
    상기 검출된 얼굴 영역 내에서, 상기 현재 라이브니스 판단 조건에 의해 위치가 결정된 부분 얼굴 영역을 상기 제2 등록 후보 영역으로 결정하는 단계
    를 포함하는 라이브니스 데이터 등록 방법.
  17. 제14항에 있어서,
    상기 등록 대상의 특징 데이터를 획득하는 단계는,
    상기 제1 등록 후보 영역 및 상기 제2 등록 후보 영역 중 적어도 하나와 상기 등록 영상의 전체 영역에 대응하는 제3 등록 후보 영역에 기초하여 상기 등록 대상의 특징 데이터를 획득하는, 라이브니스 데이터 등록 방법.
  18. 제13항에 있어서,
    상기 등록 대상의 특징 데이터를 획득하는 단계는,
    각 등록 후보 영역들의 영상 데이터가 각각 입력되는 별개의 특징 추출기들을 이용하여 상기 등록 대상의 특징 데이터를 획득하는, 라이브니스 데이터 등록 방법.
  19. 삭제
  20. 제1항 내지 제7항, 제10항 내지 제18항 중 어느 하나의 항의 방법을 실행하기 위한 인스트럭션들을 저장한 컴퓨터 판독 가능한 저장 매체.
  21. 검사 대상의 라이브니스를 검사하는 라이브니스 검사 장치는,
    프로세서를 포함하고,
    상기 프로세서는,
    검사 대상이 나타난 쿼리 영상에서 얼굴 영역을 검출하고,
    상기 검사 대상에 대한 사용자 식별 결과 또는 인터페이스를 통한 사용자 입력에 기초하여 복수의 등록 사용자들 중 상기 검사 대상에 대응되는 등록 사용자를 결정하고,
    등록 데이터베이스에 등록된 상기 등록 사용자들에 대한 라이브니스 판단 조건들 중에서 상기 결정된 등록 사용자의 라이브니스 판단 조건을 상기 검사 대상에 적용할 라이브니스 판단 조건으로 결정하고,
    상기 검출된 얼굴 영역 및 상기 결정된 라이브니스 판단 조건에 기초하여 상기 쿼리 영상에서 하나 이상의 검사 영역을 결정하고,
    뉴럴 네트워크 기반의 특징 추출기를 이용하여 상기 하나 이상의 검사 영역의 영상 데이터로부터 상기 검사 대상의 특징 데이터를 획득하고,
    상기 획득된 특징 데이터 및 상기 결정된 라이브니스 판단 조건에 대응하는 등록 특징 데이터에 기초하여 라이브니스 검사 결과를 결정하는, 라이브니스 검사 장치.
  22. 제21항에 있어서,
    상기 프로세서는,
    상기 라이브니스 판단 조건으로서 상기 하나 이상의 검사 영역의 크기 및 상기 하나 이상의 검사 영역의 위치 중 적어도 하나를 결정하는, 라이브니스 검사 장치.
  23. 등록 대상의 라이브니스 데이터를 등록하는 라이브니스 데이터 등록 장치는,
    프로세서를 포함하고,
    상기 프로세서는,
    상기 등록 대상이 나타난 등록 영상에서 얼굴 영역을 검출하고,
    현재 라이브니스 판단 조건과 상기 검출된 얼굴 영역에 기초하여 상기 등록 영상에서 하나 이상의 등록 후보 영역을 결정하고,
    뉴럴 네트워크 기반의 특징 추출기를 이용하여 상기 하나 이상의 등록 후보 영역의 영상 데이터로부터 상기 등록 대상의 특징 데이터를 획득하고,
    상기 획득된 특징 데이터에 기초하여 라이브니스 스코어를 결정하고,
    상기 라이브니스 스코어에 기초하여 상기 현재 라이브니스 판단 조건 및 상기 등록 대상의 특징 데이터의 등록 여부를 결정하되, 상기 현재 라이브니스 판단 조건에 대응하는 라이브니스 스코어가 다른 라이브니스 판단 조건들에 대응하는 라이브니스 스코어들보다 큰 경우에, 상기 현재 라이브니스 판단 조건과 상기 현재 라이브니스 판단 조건 하에서 결정된 상기 등록 대상의 특징 데이터를 등록하는 것으로 결정하는, 라이브니스 데이터 등록 장치.
  24. 얼굴을 포함하는 등록 영상들로부터 특징 데이터를 획득하는 단계;
    상기 획득된 등록 영상들의 특징 데이터를 저장하는 단계;
    상기 등록 영상들 중에서 입력 영상에 나타난 검사 대상에 대한 사용자 식별 결과 또는 인터페이스를 통한 사용자 입력에 기초하여 상기 검사 대상에 대응되는 등록 영상을 결정하는 단계;
    상기 결정된 등록 영상에 대응되는 상기 입력 영상의 적어도 하나의 검사 영역을 결정하는 단계;
    상기 입력 영상에서 결정된 적어도 하나의 검사 영역의 특징 데이터를 획득하는 단계; 및
    상기 결정된 등록 영상의 특징 데이터와 상기 입력 영상의 특징 데이터를 비교하여 상기 검사 대상의 라이브니스 여부를 결정하는 단계
    를 포함하는 라이브니스 검사 방법.
  25. 제24항에 있어서,
    상기 등록 영상의 특징 데이터와 상기 입력 영상의 특징 데이터는, 동일한 특징 추출기를 이용하여 획득되는, 라이브니스 검사 방법.
  26. 제25항에 있어서,
    상기 특징 추출기는, 뉴럴 네트워크 기반의 특징 추출기인, 라이브니스 검사 방법.
  27. 제26항에 있어서,
    상기 뉴럴 네트워크는, 컨볼루션 뉴럴 네트워크인, 라이브니스 검사 방법.
  28. 제24항에 있어서,
    상기 검사 대상의 라이브니스 여부를 결정하는 단계는,
    상기 등록 영상의 특징 데이터와 상기 입력 영상의 특징 데이터의 유사도를 계산하는 단계를 포함하는, 라이브니스 검사 방법.
  29. 제28항에 있어서,
    상기 검사 대상의 라이브니스 여부를 결정하는 단계는,
    상기 유사도가 임계 값보다 큰 경우에 상기 검사 대상이 살아있는 객체인 것으로 결정하는, 라이브니스 검사 방법.
  30. 제24항에 있어서,
    상기 라이브니스 검사 방법은 컴퓨팅 장치에 의해 수행되는, 라이브니스 검사 방법.
  31. 제30항에 있어서,
    상기 컴퓨팅 장치는 스마트폰인, 라이브니스 검사 방법.
  32. 제30항에 있어서,
    상기 검사 대상의 라이브니스 검사 결과, 상기 검사 대상이 살아있는 객체인 것으로 결정된 경우, 사용자 인증의 성공 여부를 판단하는 과정이 수행되는, 라이브니스 검사 방법.
  33. 제30항에 있어서,
    상기 검사 대상의 라이브니스 검사 결과, 상기 검사 대상이 살아있지 않은 객체인 것으로 결정된 경우, 상기 컴퓨팅 장치의 잠금 상태를 유지하는, 라이브니스 검사 방법.
  34. 삭제
  35. 제24항에 있어서,
    상기 등록 영상들의 특징 데이터는,
    각각의 등록 영상에서 복수의 검사 영역들이 결정되고, 상기 결정된 검사 영역들 각각으로부터 특징 데이터를 추출하는 것에 의해 획득되는, 라이브니스 검사 방법.
  36. 제35항에 있어서,
    상기 검사 영역을 결정하는 단계는,
    상기 입력 영상에서 상기 결정된 등록 영상의 상기 검사 영역들과 동일한 검사 영역들을 결정하는 단계를 포함하고,
    상기 특징 데이터를 획득하는 단계는,
    상기 입력 영상에서 결정된 각각의 검사 영역들의 특징 데이터를 획득하는 단계를 포함하고,
    상기 라이브니스 여부를 결정하는 단계는,
    상기 입력 영상과 상기 결정된 등록 영상 간에 대응되는 검사 영역의 특징 데이터를 비교하는 단계를 포함하는 라이브니스 검사 방법.
  37. 제36항에 있어서,
    상기 검사 영역들은,
    상기 검사 대상의 얼굴 영역보다 큰 검사 영역과 상기 얼굴 영역보다 작은 검사 영역을 포함하는, 라이브니스 검사 방법.
KR1020170177240A 2017-12-21 2017-12-21 라이브니스 검사 방법 및 장치 KR102455633B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170177240A KR102455633B1 (ko) 2017-12-21 2017-12-21 라이브니스 검사 방법 및 장치
CN201811443351.4A CN109948408B (zh) 2017-12-21 2018-11-29 活性测试方法和设备
US16/224,970 US11157760B2 (en) 2017-12-21 2018-12-19 Liveness test method and apparatus
EP18215416.1A EP3502968A3 (en) 2017-12-21 2018-12-21 Liveness test method and apparatus
US17/508,001 US11971924B2 (en) 2017-12-21 2021-10-22 Liveness test method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170177240A KR102455633B1 (ko) 2017-12-21 2017-12-21 라이브니스 검사 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190075560A KR20190075560A (ko) 2019-07-01
KR102455633B1 true KR102455633B1 (ko) 2022-10-17

Family

ID=64901376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170177240A KR102455633B1 (ko) 2017-12-21 2017-12-21 라이브니스 검사 방법 및 장치

Country Status (4)

Country Link
US (1) US11157760B2 (ko)
EP (1) EP3502968A3 (ko)
KR (1) KR102455633B1 (ko)
CN (1) CN109948408B (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019506694A (ja) * 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
US10606993B2 (en) * 2017-08-09 2020-03-31 Jumio Corporation Authentication using facial image comparison
KR102374747B1 (ko) * 2017-12-15 2022-03-15 삼성전자주식회사 객체를 인식하는 장치 및 방법
US10721070B2 (en) 2018-03-07 2020-07-21 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11265168B2 (en) 2018-03-07 2022-03-01 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11170084B2 (en) 2018-06-28 2021-11-09 Private Identity Llc Biometric authentication
US11489866B2 (en) 2018-03-07 2022-11-01 Private Identity Llc Systems and methods for private authentication with helper networks
US11789699B2 (en) 2018-03-07 2023-10-17 Private Identity Llc Systems and methods for private authentication with helper networks
US11138333B2 (en) 2018-03-07 2021-10-05 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11502841B2 (en) 2018-03-07 2022-11-15 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US10938852B1 (en) 2020-08-14 2021-03-02 Private Identity Llc Systems and methods for private authentication with helper networks
US11210375B2 (en) 2018-03-07 2021-12-28 Private Identity Llc Systems and methods for biometric processing with liveness
US11394552B2 (en) 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11392802B2 (en) 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11093772B2 (en) * 2018-06-11 2021-08-17 Laurence Hamid Liveness detection
KR20200067465A (ko) 2018-12-04 2020-06-12 삼성전자주식회사 영상 처리 방법 및 장치
US11237713B2 (en) * 2019-01-21 2022-02-01 International Business Machines Corporation Graphical user interface based feature extraction application for machine learning and cognitive models
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10997396B2 (en) * 2019-04-05 2021-05-04 Realnetworks, Inc. Face liveness detection systems and methods
CN110969189B (zh) * 2019-11-06 2023-07-25 杭州宇泛智能科技有限公司 人脸检测方法、装置及电子设备
KR20210061146A (ko) 2019-11-19 2021-05-27 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210071410A (ko) 2019-12-06 2021-06-16 삼성전자주식회사 센서 특화 이미지 인식 장치 및 방법
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
KR20210145458A (ko) 2020-05-25 2021-12-02 삼성전자주식회사 위조 지문 검출 장치 및 위조 지문 방지를 위한 모델 업데이트 방법
WO2022034371A1 (en) * 2020-08-10 2022-02-17 Quantum Integrity Sa Machine learning based system and method of detecting inauthentic content
US11922731B1 (en) 2021-06-30 2024-03-05 Jumio Corporation Liveness detection

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
JP2000306095A (ja) 1999-04-16 2000-11-02 Fujitsu Ltd 画像照合・検索システム
DE60230192D1 (de) 2002-04-12 2009-01-15 Agency Science Tech & Res Robuste gesichtsregistrierung über mehrfach-gesichtsprototypensynthese
US7609859B2 (en) 2005-06-14 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating bi-linear models for faces
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
US8280120B2 (en) * 2006-10-02 2012-10-02 Eyelock Inc. Fraud resistant biometric financial transaction system and method
CN100573553C (zh) * 2007-01-18 2009-12-23 中国科学院自动化研究所 基于薄板样条形变模型的活体指纹检测方法
KR100862526B1 (ko) 2007-04-12 2008-10-09 에스케이 텔레콤주식회사 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템.
WO2008130906A1 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
KR101123834B1 (ko) * 2009-05-22 2012-03-15 한국인식산업(주) 적외선 가변조명을 이용한 사진위조 판별방법 및 카메라 장치
JP5554984B2 (ja) 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
KR20110093425A (ko) 2010-02-12 2011-08-18 주식회사 미래인식 연속 촬영하여 획득한 복수의 영상을 이용한 보안 인증 방법
CN101950360A (zh) * 2010-09-07 2011-01-19 成都方程式电子有限公司 一种能识别活体手指的光学指纹采集仪
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8856541B1 (en) 2013-01-10 2014-10-07 Google Inc. Liveness detection
CN104143078B (zh) * 2013-05-09 2016-08-24 腾讯科技（深圳）有限公司 活体人脸识别方法、装置和设备
US9003196B2 (en) * 2013-05-13 2015-04-07 Hoyos Labs Corp. System and method for authorizing access to access-controlled environments
KR101441108B1 (ko) 2013-08-08 2014-09-22 주식회사 에스원 일인용 장치의 인증을 위한 얼굴 식별 방법 및 그 장치
CN104751108B (zh) 2013-12-31 2019-05-17 汉王科技股份有限公司 人脸图像识别装置和人脸图像识别方法
US9679212B2 (en) * 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
KR20160011916A (ko) 2014-07-23 2016-02-02 삼성전자주식회사 얼굴 인식을 통한 사용자 식별 방법 및 장치
US9405967B2 (en) * 2014-09-03 2016-08-02 Samet Privacy Llc Image processing apparatus for facial recognition
KR101647803B1 (ko) 2014-09-18 2016-08-11 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
US10210410B2 (en) 2014-10-22 2019-02-19 Integenx Inc. Systems and methods for biometric data collections
WO2016076914A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Facial liveness detection in image biometrics
US9602761B1 (en) 2015-01-22 2017-03-21 Enforcement Video, Llc Systems and methods for intelligently recording a live media stream
KR20160119932A (ko) 2015-04-06 2016-10-17 한국과학기술원 품질 측정 기반의 얼굴 인식 방법 및 장치
JP6507046B2 (ja) * 2015-06-26 2019-04-24 株式会社東芝 立体物検知装置及び立体物認証装置
KR102261833B1 (ko) * 2015-11-04 2021-06-08 삼성전자주식회사 인증 방법 및 장치, 및 인식기 학습 방법 및 장치
CN105512632B (zh) * 2015-12-09 2019-04-05 北京旷视科技有限公司 活体检测方法及装置
CN105740780B (zh) * 2016-01-25 2020-07-28 北京眼神智能科技有限公司 人脸活体检测的方法和装置
CN105913024B (zh) * 2016-04-12 2019-05-24 上海交通大学 基于lap算子的抵抗重放攻击的安卓手机终端检测方法
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
KR102387571B1 (ko) 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치
CN106998332B (zh) * 2017-05-08 2020-06-30 深圳市牛鼎丰科技有限公司 安全登录方法、装置、存储介质和计算机设备
CN113095124B (zh) * 2017-06-07 2024-02-06 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
CN107292267A (zh) * 2017-06-21 2017-10-24 北京市威富安防科技有限公司 照片造假卷积神经网络训练方法及人脸活体检测方法
US20190073580A1 (en) * 2017-09-01 2019-03-07 Facebook, Inc. Sparse Neural Network Modeling Infrastructure

Also Published As

Publication number Publication date
CN109948408B (zh) 2023-08-29
KR20190075560A (ko) 2019-07-01
CN109948408A (zh) 2019-06-28
EP3502968A3 (en) 2020-01-22
US20220044040A1 (en) 2022-02-10
EP3502968A2 (en) 2019-06-26
US20190197331A1 (en) 2019-06-27
US11157760B2 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
KR102455633B1 (ko) 라이브니스 검사 방법 및 장치
KR102387571B1 (ko) 라이브니스 검사 방법 및 장치
JP7004522B2 (ja) ライブネス検査方法及び装置
US20210287026A1 (en) Method and apparatus with liveness verification
US11030470B2 (en) Apparatus and method with liveness verification
JP6650946B2 (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
KR102352345B1 (ko) 라이브니스 검사 방법 및 장치
KR102434562B1 (ko) 위조 지문 검출 방법 및 장치, 지문 인식 방법 및 장치
US11804070B2 (en) Method and apparatus with liveness detection
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
US11568681B2 (en) Iris authentication device, iris authentication method and recording medium
JP5480532B2 (ja) 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム
KR20220082454A (ko) 생체 정보의 도용 여부를 검출하는 방법 및 장치
KR102570071B1 (ko) 라이브니스 검사 방법 및 장치, 얼굴 인증 방법 및 장치
JP2004118731A (ja) 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム
US11971924B2 (en) Liveness test method and apparatus
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치
WO2021060256A1 (ja) 顔認証装置、顔認証方法、及びコンピュータ読み取り可能な記録媒体
KR20220136011A (ko) 생체 정보의 도용 여부를 검출하는 방법 및 장치
KR20210001270A (ko) 블러 추정 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant