KR20180109664A - Liveness test method and apparatus - Google Patents

Liveness test method and apparatus Download PDF

Info

Publication number
KR20180109664A
KR20180109664A KR1020180000230A KR20180000230A KR20180109664A KR 20180109664 A KR20180109664 A KR 20180109664A KR 1020180000230 A KR1020180000230 A KR 1020180000230A KR 20180000230 A KR20180000230 A KR 20180000230A KR 20180109664 A KR20180109664 A KR 20180109664A
Authority
KR
South Korea
Prior art keywords
liveness
score
determining
sub
post
Prior art date
Application number
KR1020180000230A
Other languages
Korean (ko)
Inventor
유병인
한재준
장 차오
펭 하오
산 안후
안 아오주
최창규
수 징타오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201710192070.5 priority Critical
Priority to CN201710192070.5A priority patent/CN108664843A/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority claimed from US15/921,740 external-priority patent/US10679083B2/en
Publication of KR20180109664A publication Critical patent/KR20180109664A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00885Biometric patterns not provided for under G06K9/00006, G06K9/00154, G06K9/00335, G06K9/00362, G06K9/00597; Biometric specific functions not specific to the kind of biometric
    • G06K9/00899Spoof detection
    • G06K9/00906Detection of body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00006Acquiring or recognising fingerprints or palmprints
    • G06K9/00107Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06K9/00114Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6256Obtaining sets of training patterns; Bootstrap methods, e.g. bagging, boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Abstract

A liveness test method and apparatus are disclosed. The liveness test apparatus determines a dictionary liveness score based on a plurality of sub images obtained from an input image, determines a post liveness score based on a recognition model for recognizing an object included in the input image, and determines the liveness of the object based on at least one of the liveness score and the post liveness score. It is possible to perform effective liveness test at low cost.

Description

라이브니스 검사 방법 및 장치{LIVENESS TEST METHOD AND APPARATUS}[0001] LIVENESS TEST METHOD AND APPARATUS [0002]
아래 실시예들은 라이브니스 검사 방법 및 장치에 관한 것이다.The following embodiments relate to a luminescence inspection method and apparatus.
사용자 인증 시스템(user verification system)에서 컴퓨팅 장치는 사용자에 의해 제공되는 인증 정보에 기초하여 해당 컴퓨팅 장치에 대한 액세스를 허용할지 여부를 결정할 수 있다. 인증 정보는 사용자에 의해 입력되는 패스워드 또는 사용자의 생체 정보(biometric information) 등을 포함할 수 있다.In a user verification system, the computing device may determine whether to allow access to the computing device based on authentication information provided by the user. The authentication information may include a password input by a user or biometric information of a user.
최근, 사용자 인증 시스템을 위한 보안 방법으로서, 얼굴 스푸핑 방지(face anti-spoofing) 기술에 대한 관심이 증가하고 있다. 얼굴 스푸핑 방지는 컴퓨팅 장치에 입력된 사용자의 얼굴이 위조 얼굴(fake face)인지 아니면 진짜 얼굴(genuine face)인지 여부를 구별한다. 이를 위해, 입력 영상에서 LBP(Local Binary Patterns), HOG(Histogram of Oriented Gradients), DoG(Difference of Gaussians) 등과 같은 특징들(features)이 추출되고, 추출된 특징들에 기반하여 입력된 얼굴이 위조 얼굴인지 여부가 판정된다. 얼굴 스푸핑은 사진, 동영상 또는 마스크 등을 이용하는 공격 형태를 가지며, 얼굴 인증에 있어 이러한 생체 인식 모조(biometric mimicking)를 구별해 내는 것은 중요하다.Recently, as a security method for a user authentication system, interest in face anti-spoofing technology is increasing. The face spoofing prevention distinguishes whether the face of the user input to the computing device is a fake face or a genuine face. To this end, features such as Local Binary Patterns (LBP), Histogram of Oriented Gradients (HOG), and DoG (Difference of Gaussian) are extracted from the input image and the input face is falsified It is determined whether or not it is a face. Face spoofing has an attack form using pictures, videos, or masks, and it is important to distinguish these biometric mimickings in face authentication.
일실시예에 따른 라이브니스 검사 방법은 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어(pre-liveness score)를 결정하는 단계; 상기 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어(post-liveness score)를 결정하는 단계; 및 상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 적어도 하나에 기초하여 상기 객체의 라이브니스 여부를 판단하는 단계를 포함한다.According to an exemplary embodiment of the present invention, a method for checking a livenessness includes: determining a pre-liveness score based on a plurality of sub-images obtained from an input image; Determining a post-liveness score based on a recognition model for recognizing objects included in the input image; And determining whether the object is live based on at least one of the pre-liveness score and the post liveness score.
일실시예에 따른 라이브니스 검사 방법에서 상기 사전 라이브니스 스코어를 결정하는 단계는 상기 입력 영상에 포함된 객체에 기초하여 상기 입력 영상으로부터 서로 다른 유형들의 상기 복수의 서브 영상들을 획득하는 단계; 상기 복수의 서브 영상들 각각에 대응하는 라이브니스 스코어들을 결정하는 단계; 및 상기 결정된 라이브니스 스코어들에 기초하여 상기 사전 라이브니스 스코어를 결정하는 단계를 포함할 수 있다.The determining of the pre-liveness score in the loniness checking method according to an exemplary embodiment of the present invention includes: obtaining the plurality of sub-images of different types from the input image based on an object included in the input image; Determining liveness scores corresponding to each of the plurality of sub-images; And determining the pre-liveness score based on the determined liveness scores.
일실시예에 따른 라이브니스 검사 방법에서 상기 복수의 서브 영상들은 상기 입력 영상에서 상기 객체가 포함된 객체 영역에 대응하는 제1 서브 영상, 상기 객체 영역의 일부 영역에 대응하는 제2 서브 영상 및 상기 객체 영역과 상기 객체의 배경 영역에 대응하는 제3 서브 영상 중 적어도 둘을 포함할 수 있다.The plurality of sub-images may include a first sub-image corresponding to an object region including the object in the input image, a second sub-image corresponding to a partial region of the object region, and a second sub- And a third sub-image corresponding to an object area and a background area of the object.
일실시예에 따른 라이브니스 검사 방법에서 상기 결정된 라이브니스 스코어들은 제1 서브 영상에 대응하는 제1 라이브니스 스코어, 제2 서브 영상에 대응하는 제2 라이브니스 스코어 및 제3 서브 영상에 대응하는 제3 라이브니스 스코어를 포함하고, 상기 제1 라이브니스 스코어는 제1 라이브니스 검사 모델에 의해 결정되고, 상기 제2 라이브니스 스코어는 제2 라이브니스 검사 모델에 의해 결정되고, 상기 제3 라이브니스 스코어는 제3 라이브니스 검사 모델에 의해 결정될 수 있다.In the method according to the embodiment of the present invention, the determined liveness scores may include a first liveness score corresponding to the first sub-image, a second liveness score corresponding to the second sub-image, and a second liveness score corresponding to the third sub- 3 < / RTI > liveness score, the first liveness score being determined by a first liveness check model, the second liveness score being determined by a second liveness check model, May be determined by a third liveness inspection model.
일실시예에 따른 라이브니스 검사 방법에서 상기 라이브니스 스코어들을 결정하는 단계는 상기 제1 서브 영상의 크기를 리사이즈하는 단계; 및 제1 라이브니스 검사 모델을 이용하여 상기 리사이즈된 제1 서브 영상으로부터 상기 제1 서브 영상에 대응하는 제1 라이브니스 스코어를 결정하는 단계를 포함할 수 있다.The determining of the liveness scores in the loniness checking method according to an exemplary embodiment may include resizing the size of the first sub-image. And determining a first liveness score corresponding to the first sub-image from the resized first sub-image using a first liveness check model.
일실시예에 따른 라이브니스 검사 방법에서 상기 라이브니스 스코어들을 결정하는 단계는 상기 객체 영역에서 상기 일부 영역을 크롭핑(cropping)함으로써 상기 제2 서브 영상을 획득하는 단계; 및 제2 라이브니스 검사 모델을 이용하여 상기 제2 서브 영상으로부터 상기 제2 서브 영상에 대응하는 제2 라이브니스 스코어를 결정하는 단계를 포함할 수 있다.The determining of the liveness scores in the loniness checking method according to an exemplary embodiment of the present invention includes obtaining the second sub-image by cropping the partial area in the object area; And determining a second liveness score corresponding to the second sub-image from the second sub-image using a second liveness check model.
일실시예에 따른 라이브니스 검사 방법에서 상기 결정된 라이브니스 스코어들에 기초하여 상기 사전 라이브니스 스코어를 결정하는 단계는 상기 결정된 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 사전 라이브니스 스코어를 결정할 수 있다.Wherein the determining the preliminary liveness score based on the determined liveness scores in the liveness check method in accordance with an embodiment includes applying a weight to at least one of the determined liveness scores, The pre-liveness score can be determined.
일실시예에 따른 라이브니스 검사 방법에서 상기 사후 라이브니스 스코어를 결정하는 단계는 상기 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 제4 라이브니스 스코어들을 결정하는 단계; 및 상기 제4 라이브니스 스코어들에 기초하여 상기 사후 라이브니스 스코어를 결정하는 단계를 포함할 수 있다.Determining a post liveness score in the loniness test method according to an embodiment includes determining fourth liveness scores from each of the feature vectors output from the plurality of hidden layers in the recognition model; And determining the post liveness score based on the fourth liveness scores.
일실시예에 따른 라이브니스 검사 방법에서 상기 제4 라이브니스 스코어들을 결정하는 단계는 제4 라이브니스 검사 모델을 이용하여 상기 특징 벡터들 각각으로부터 상기 제4 라이브니스 스코어들을 결정할 수 있다.The determining of the fourth liveness scores in the method of liveness checking according to an embodiment may determine the fourth liveness score from each of the feature vectors using a fourth liveness check model.
일실시예에 따른 라이브니스 검사 방법에서 상기 제4 라이브니스 스코어들에 기초하여 상기 사후 라이브니스 스코어를 결정하는 단계는 상기 제4 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 사후 라이브니스 스코어를 결정할 수 있다.In the method of loness testing according to an embodiment, the step of determining the post liveness score based on the fourth liveness scores comprises applying a weight to at least one of the fourth liveness scores, May be used to determine the post liveness score.
일실시예에 따른 라이브니스 검사 방법에서 상기 사후 라이브니스 스코어를 결정하는 단계는 상기 사전 라이브니스 스코어에 기초하여 상기 객체가 라이브(live)한 것으로 판단된 경우, 상기 사후 라이브니스 스코어를 결정할 수 있다.The step of determining the post liveness score in the method according to an exemplary embodiment may determine the post liveness score if the object is determined to be live based on the pre-live score .
일실시예에 따른 라이브니스 검사 방법에서 상기 객체의 라이브니스 여부를 판단하는 단계는 상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 어느 하나 또는 이들의 조합이 임계 조건을 만족하는지 여부에 기초하여 상기 객체의 라이브니스 여부를 판단할 수 있다.Wherein the step of determining whether or not the object is live in the method of checking a loniness according to an exemplary embodiment of the present invention includes a step of determining whether the object is live or not based on whether or not the combination of any one of the prior liveness score and the post liveness score, It is possible to judge whether the object is live or not.
일실시예에 따른 라이브니스 검사 방법은 상기 인식 모델에 기초하여 상기 객체가 미리 등록된 객체인지 여부를 판단하는 단계를 더 포함할 수 있다.The method of checking a loniness according to an exemplary embodiment may further include determining whether the object is a registered object based on the recognition model.
일실시예에 따른 라이브니스 검사 방법에서 상기 사후 라이브니스 스코어를 결정하는 단계는 상기 사전 라이브니스 스코어에 기초하여 상기 객체가 라이브(live)한 것으로 판단되고, 상기 객체가 미리 등록된 객체인 것으로 판단된 경우, 상기 사후 라이브니스 스코어를 결정할 수 있다.In the method of loness checking according to an embodiment, the step of determining the post liveness score may include determining that the object is live based on the pre-liveness score, judging that the object is a pre-registered object , It is possible to determine the post liveness score.
일실시예에 따른 라이브니스 검사 장치는 프로세서; 및 상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리를 포함하고, 상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어를 결정하고, 상기 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어를 결정하며, 상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 적어도 하나에 기초하여 상기 객체의 라이브니스 여부를 판단한다.A lonity verifying apparatus according to an exemplary embodiment includes a processor; And a memory including at least one instruction executable by the processor, wherein, if the at least one instruction is executed in the processor, the processor is configured to perform a pre-live task based on the plurality of sub- Determining a post-liveness score based on a recognition model for recognizing an object included in the input image, and determining a post live fitness score based on at least one of the pre-live score and the post live score, It is judged whether or not it is good.
도 1 및 도 2는 일실시예에 따라 라이브니스 검사를 설명하기 위한 도면이다.
도 3은 일실시예에 따른 라이브니스 검사의 전체적인 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따라 사전 라이브니스 스코어를 결정하는 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따라 서브 영상들의 예시를 나타낸 도면이다.
도 6은 일실시예에 따라 사전 라이브니스 스코어 결정에 이용되는 라이브니스 검사 모델의 예시를 나타낸 도면이다.
도 7 및 도 8은 일실시예에 따라 사후 라이브니스 스코어를 결정하는 과정을 설명하기 위한 도면이다.
도 9는 일실시예에 따라 인식 모델에 포함된 레이어 그룹의 예시를 나타낸 도면이다.
도 10은 일실시예에 따라 제4 라이브니스 스코어 결정에 이용되는 제4 라이브니스 검사 모델의 예시를 나타낸 도면이다.
도 11은 일실시예에 따른 라이브니스 검사 방법을 나타낸 도면이다.
도 12는 일실시예에 따른 라이브니스 검사 장치를 나타낸 도면이다.
FIG. 1 and FIG. 2 are diagrams for explaining liveness inspection according to an embodiment.
FIG. 3 is a diagram for explaining an overall process of a liveness check according to an embodiment.
FIG. 4 is a diagram for explaining a process of determining a pre-existingness score according to an embodiment.
5 is a diagram illustrating an example of sub-images according to an exemplary embodiment.
FIG. 6 is an illustration of an example of a liveness check model used for prior liveness score determination in accordance with one embodiment.
7 and 8 are diagrams for explaining a process of determining a post liveness score according to an embodiment.
FIG. 9 is a diagram illustrating an example of a layer group included in the recognition model according to an embodiment.
10 is a diagram illustrating an example of a fourth liveness check model used in the fourth liveness score determination according to an embodiment.
11 is a diagram illustrating a method of checking a loness according to an embodiment of the present invention.
12 is a diagram illustrating a loness test apparatus according to an embodiment.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of embodiments are set forth for illustration purposes only and may be embodied with various changes and modifications. Accordingly, the embodiments are not intended to be limited to the specific forms disclosed, and the scope of the disclosure includes changes, equivalents, or alternatives included in the technical idea.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first or second, etc. may be used to describe various elements, but such terms should be interpreted solely for the purpose of distinguishing one element from another. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected or connected to the other element, although other elements may be present in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", and the like, are used to specify one or more of the described features, numbers, steps, operations, elements, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The specific structural or functional descriptions below are illustrated for purposes of illustration only and are not to be construed as limiting the scope of the embodiments to those described in the text. Those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the scope of the present invention. In addition, the same reference numerals shown in the drawings denote the same members, and the well-known functions and structures are omitted.
도 1 및 도 2는 일실시예에 따라 라이브니스 검사를 설명하기 위한 도면이다.FIG. 1 and FIG. 2 are diagrams for explaining liveness inspection according to an embodiment.
라이브니스 검사는 검사 대상(test subject)인 객체가 살아있는 객체인지 여부를 검사하는 것으로, 예를 들어 카메라에 의해 촬영된 영상에 나타난 얼굴이 사람의 실제 얼굴(true face)인지 아니면 거짓 얼굴(fake face)인지 여부를 검사하는 것이다. 일실시예에 따르면, 라이브니스 검사는 사용자 로그인, 결제 서비스 또는 출입 통제 등에서 수행되는 사용자 인증(user verification)과 관련하여 인증 대상(검사 대상과 동일)의 라이브니스를 검사하는데 이용될 수 있다. 라이브니스 검사는, 예를 들어 사용자 인증 시스템에서 살아있지 않은 객체(예를 들어, 위조 수단으로서 사용된 사진, 종이, 영상 및 모형 등)와 살아있는 객체(예를 들어, 살아있는 사람 등) 사이를 구별하는데 이용될 수 있다.The loniness check is to check whether the object being a test subject is a living object. For example, if the face displayed on the image taken by the camera is a true face of a person or a false face ). ≪ / RTI > According to one embodiment, the loniness check can be used to check the authenticity of the object of authentication (same as the object to be inspected) in connection with user verification performed in user login, payment service, access control, and the like. The liveness check can be used to distinguish between objects that are not alive (e.g., photos, paper, images and models used as counterfeit means) and live objects (e.g., living persons, etc.) . ≪ / RTI >
유효하지 않은 사용자는 위조 기술(spoofing techniques)을 이용하여 사용자 인증 시스템의 오인증(false acceptance)을 유발하기 위한 시도를 수행할 수 있다. 예를 들어, 얼굴 인증에서, 유효하지 않은 사용자는 오인증을 유발하기 위해 유효한 사용자의 얼굴이 나타난 컬러 사진, 동영상 또는 유효한 사용자의 얼굴 형상을 묘사한 모형을 카메라에 제시할 수 있다. 라이브니스 검사는 이러한 사진, 동영상, 마스크 또는 모형과 같은 대체물을 이용한 인증 시도(다시 말해, 스푸핑 공격)를 걸러내어 오인증을 방지하는 역할을 한다. 라이브니스 검사 결과, 인증 대상이 살아있지 않은 객체로 결정된 경우, 사용자 인증 단계로 넘어가지 않거나 또는 사용자 인증의 결과와 관계 없이 최종적으로 사용자 인증이 실패한 것으로 결정될 수 있다.An invalid user may attempt to cause false acceptance of the user authentication system using spoofing techniques. For example, in face authentication, an invalid user may present to the camera a model depicting a color picture, a moving picture, or a valid user's face shape in which a valid user's face appears to induce false authentication. The liveness check filters out authentication attempts (ie, spoofing attacks) using alternatives such as photos, videos, masks, or models to prevent misidentification. If it is determined that the object to be authenticated is not an object to be authenticated as a result of the liveness check, it can be determined that the user authentication does not go to the user authentication step or the user authentication finally fails regardless of the result of the user authentication.
도 1을 참조하면, 라이브니스 검사를 수행하는 장치인 라이브니스 검사 장치는 컴퓨팅 장치(120)에 포함되어 동작할 수 있다. 컴퓨팅 장치(120)는 예를 들어, 스마트폰, 웨어러블 기기(wearable device), 태블릿 컴퓨터, 넷북, 랩탑, 데스크탑, PDA(personal digital assistant), 셋탑 박스, 가전 기기, 생체 도어락, 보안 장치 또는 차량 시동 장치 등일 수 있다.Referring to FIG. 1, a loness checking apparatus, which is an apparatus for performing a loniness check, may be included in and operate in the computing device 120. The computing device 120 may be, for example, a smart phone, a wearable device, a tablet computer, a netbook, a laptop, a desktop, a personal digital assistant (PDA), a set- Device or the like.
일실시예에 따르면, 사용자는 얼굴 인증을 통해 컴퓨팅 장치(120)에 대한 사용자 인증을 시도할 수 있다. 예를 들어, 사용자(110)가 컴퓨팅 장치(120)의 잠금 상태를 해제하고자 컴퓨팅 장치(120)에 얼굴 인증을 시도하는 경우, 컴퓨팅 장치(120)는 카메라(130)를 이용하여 사용자(110)의 얼굴 영상을 획득하고, 획득된 얼굴 영상을 분석하여 컴퓨팅 장치(120)의 잠금 상태를 해제할지 여부를 결정할 수 있다. 사용자 인증이 성공한 경우, 컴퓨팅 장치(120)는 잠금 상태를 해제하고, 사용자(110)의 액세스를 허용할 수 있다. 이와 반대로, 사용자 인증이 실패한 경우, 컴퓨팅 장치(120)는 계속적으로 잠금 상태로 동작할 수 있다.According to one embodiment, the user may attempt to authenticate the user to the computing device 120 via face authentication. For example, when the user 110 attempts to authenticate the face of the computing device 120 to unlock the computing device 120, the computing device 120 may use the camera 130 to interact with the user 110, And determine whether to release the locked state of the computing device 120 by analyzing the acquired facial image. If the user authentication is successful, the computing device 120 may release the lock state and allow the user 110 to access. Conversely, if user authentication fails, the computing device 120 may continue to operate in a locked state.
또는, 다른 예로, 사용자(110)가 컴퓨팅 장치(120)를 결제 서비스를 수행하고자 컴퓨팅 장치(120)에 얼굴 인증을 수행하는 경우, 컴퓨팅 장치(120)는 사용자(110)의 얼굴 영상을 획득하고, 얼굴 영상의 분석 결과 정당한 사용자로 인식된 경우 결제 요청을 승인하고, 그 외의 경우에는 결제 요청을 거부할 수 있다.Or, as another example, if the user 110 performs facial authentication to the computing device 120 to perform a payment service on the computing device 120, the computing device 120 acquires a face image of the user 110 , If the analysis result of the facial image is recognized as a legitimate user, the user can approve the payment request, and in other cases, the user can deny the payment request.
일실시예에서, 위와 같은 사용자 인증 과정들에서, 사용자 인증 결과가 결정되기 이전 또는 이후에 라이브니스 검사 장치에 의해 사용자 인증의 객체가 살아있는 객체인지 여부를 결정하는 라이브니스 검사가 수행될 수 있다. 라이브니스 검사 결과 인증 대상이 살아있는 객체인 것으로 결정되고, 인증 결과 정당한 사용자로 인식된 경우, 컴퓨팅 장치(120)는 잠금 상태를 해제하거나 또는 결제 요청을 승인할 수 있다. 이와 반대로, 인증 대상이 살아있지 않은 객체인 것으로 결정되거나, 또는 정당한 사용자로 인식되지 않은 경우, 컴퓨팅 장치(120)는 계속적으로 잠금 상태로 동작하거나 또는 결제 요청을 거부할 수 있다.In one embodiment, in the above-described user authentication processes, a liveness check may be performed to determine whether or not an object of user authentication is a living object before or after the user authentication result is determined by the presence verification apparatus. If it is determined that the authentication object is a living object as a result of the liveness check and the authentication result is recognized as a legitimate user, the computing device 120 can release the lock state or approve the payment request. Conversely, if the authentication subject is determined to be a non-live object, or is not recognized as a legitimate user, the computing device 120 may continue to operate in a locked state or refuse a payment request.
다시 말해, 사용자 인증 과정이 라이브니스 검사 과정보다 먼저 수행되는 경우에서 사용자 인증의 결과가 성공이더라도 라이브니스 검사 결과가 실패한 것으로 결정(즉, 인증 대상이 살아있지 않은 객체로 결정)되면, 사용자 인증의 최종 결과가 실패한 것으로 결정될 수 있다.In other words, if the user authentication process is performed prior to the liveness check process and the result of the user authentication is determined to be unsuccessful (that is, the authentication object is determined as an object that is not alive) The final result may be determined to have failed.
위와 같은 라이브니스 검사 과정에서, 라이브니스 검사 장치는 카메라(130)에 의해 캡쳐된 영상에 나타난 다양한 요소들을 종합적으로 고려하여 객체의 라이브니스를 검사할 수 있다. 예를 들어, 라이브니스 검사 장치는 캡쳐된 영상에 나타난 전체 얼굴의 형상(shape) 정보, 부분 얼굴의 텍스쳐(texture) 정보 및 컨텍스트(context) 정보 중 적어도 하나를 고려하여 검사 대상인 객체가 살아있는지 여부를 결정할 수 있다. 객체가 원거리에 있을 때 촬영된 영상에는 객체가 전자 기기의 화면인지 또는 종이인지 여부에 대한 단서가 포함될 수 있다. 예를 들어, 전자 기기 또는 종이를 들고 있는 사용자의 손이 영상에 나타날 수 있고, 이는 객체가 거짓인 것이라고 판단할 수 있는 단서가 된다. 컨텍스트 정보를 고려함으로써 이러한 위조 시도 상황을 효과적으로 검사할 수 있다. 또한, 전체 얼굴의 형상 정보를 통해, 빛의 반사 및 형상의 왜곡 등이 라이브니스 검사 결과에 고려될 수 있다. 예를 들어, 위조 수단 중 하나인 사진 또는 종이의 빛 반사는 사람의 진짜 얼굴과 다르고, 사진 또는 종이의 휘어짐 또는 구김으로 인하여 모양의 왜곡이 발생할 수 있다. 이러한 요소를 고려하여 라이브니스 검사가 수행될 수 있다. 그리고, 텍스쳐 정보를 통해, 사람의 피부와 종이/전자 기기의 화면 사이를 구분할 수 있는 미세한 텍스쳐의 차이가 고려될 수 있다. 이를 통해, 라이브니스 검사 장치는 다양한 레벨들의 라이브니스 판단 요소들을 종합적으로 고려함으로써 라이브니스 검사의 정확도를 향상시키고, 라이브니스 검사를 강인하게 수행할 수 있다.In the above-described liveness inspecting process, the liveness testing apparatus can check the liveness of an object by taking into consideration various factors appearing in an image captured by the camera 130. For example, the loniness checking apparatus may determine whether an object to be examined is alive in consideration of at least one of shape information of an entire face, texture information of a partial face, and context information displayed on the captured image. Can be determined. The captured image when the object is at a remote location may include a clue as to whether the object is an electronic device screen or paper. For example, a user's hand holding an electronic device or paper may appear in the image, which leads to a clue that the object is false. By considering the context information, such a falsification trial situation can be effectively checked. Further, through the shape information of the whole face, reflection of light and distortion of the shape can be considered in the result of the loness test. For example, light reflections of photographs or paper, which is one of the counterfeiting means, are different from the real face of a person and distortion of the shape can occur due to warping or wrinkling of photographs or paper. A liveness check can be performed in consideration of these factors. The difference in texture between the skin of the person and the screen of the paper / electronic device can be considered through the texture information. Thus, the loness test apparatus can improve the accuracy of the loness test and robustly perform the lonness test by collectively considering the various levels of the lyness judgment factors.
또한, 라이브니스 검사 장치는 사용자 얼굴을 인식하기 위한 인식 모델을 이용하여 객체의 라이브니스를 검사할 수 있다. 예를 들어, 라이브니스 검사 장치는 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 라이브니스 스코어들을 결정하고, 결정된 라이브니스 스코어에 기초하여 객체가 살아있는지 여부를 결정할 수 있다. 인식 모델이 수많은 얼굴 영상들에 기반하여 학습됨에 따라, 라이브한 실제 얼굴에 대한 특징을 효과적으로 추출할 수 있고, 이러한 특성에 기반하여 인식 모델의 히든 레이어로부터 출력된 특징 벡터들을 고려하여 라이브니스를 검사함으로써, 저비용으로 효과적인 라이브니스 검사를 수행할 수 있다.Further, the loniness testing apparatus can check the liveness of the object using a recognition model for recognizing the user's face. For example, the liveness checker may determine the liveness score from each of the feature vectors output from the plurality of hidden layers in the recognition model, and determine whether the object is alive based on the determined liveness score. As the recognition model is learned based on a large number of facial images, it is possible to effectively extract the characteristics of a live real face, and based on these characteristics, it is possible to check the liveness by considering the feature vectors output from the hidden layer of the recognition model It is possible to perform an effective liveness check at a low cost.
도 2에는 일실시예에 따라 라이브니스 검사 장치에 의해 판단되는 거짓 얼굴(210)과 실제 얼굴(220)의 예시가 도시된다. 예를 들어, 거짓 얼굴(210)에는 스마트폰 스크린, PC 스크린에 디스플레이된 사용자 얼굴, 사진에 표시된 사용자 얼굴, 종이에 프린팅된 사용자 얼굴 등이 포함될 수 있다.FIG. 2 illustrates an example of a false face 210 and an actual face 220 determined by the loniness checking apparatus according to an embodiment. For example, the false face 210 may include a smartphone screen, a user face displayed on a PC screen, a user face displayed on a photo, a user face printed on a paper, and the like.
이하, 도면들을 참조하여 라이브니스 검사 장치가 객체의 라이브니스를 검사하는 과정을 보다 상세히 설명한다.Hereinafter, the process of checking the liveness of an object by the lapse checker will be described in more detail with reference to the drawings.
도 3은 일실시예에 따른 라이브니스 검사의 전체적인 과정을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining an overall process of a liveness check according to an embodiment.
도 3을 참조하면, 일실시예에 따른 입력 영상(310)가 획득될 수 있다. 입력 영상(310)은 카메라에 의해 촬영된 영상으로 검사 대상인 객체를 포함할 수 있다. 예를 들어, 객체는 사용자의 신체부위로서, 얼굴, 손바닥(palm), 지문(fingerprint), 홍채(iris), 림(limb) 등을 포함할 수 있다.Referring to FIG. 3, an input image 310 according to an embodiment may be obtained. The input image 310 may include an object to be inspected as an image photographed by a camera. For example, an object may include a face, a palm, a fingerprint, an iris, a limb, and the like as a body part of a user.
입력 영상(310)으로부터 복수의 서브 영상들이 획득될 수 있다. 복수의 서브 영상들은 서로 다른 유형들의 서브 영상들로, 예를 들어, 입력 영상(310)에서 객체가 포함된 객체 영역에 대응하는 제1 서브 영상, 객체 영역의 일부 영역에 대응하는 제2 서브 영상 및 객체 영역과 객체의 배경 영역에 대응하는 제3 서브 영상 중 적어도 하나를 포함할 수 있다.A plurality of sub-images can be obtained from the input image 310. The plurality of sub images are different types of sub images, for example, a first sub image corresponding to an object area including an object in the input image 310, a second sub image corresponding to a partial area of the object area, And a third sub-image corresponding to the object area and the background area of the object.
복수의 서브 영상들 각각으로부터 대응하는 라이브니스 검사 모델을 통해 라이브니스 스코어들이 결정되고, 복수의 라이브니스 스코어들에 기초하여 사전 라이브니스 스코어(pre-liveness score)(320)가 결정될 수 있다.From each of the plurality of sub-images, the liveness scores are determined through a corresponding liveness check model, and a pre-liveness score 320 can be determined based on the plurality of liveness scores.
그리고, 사전 라이브니스 스코어(320)가 제1 조건(330)을 만족하는지 여부에 기초하여 객체의 라이브니스 여부가 판단될 수 있다. 예를 들어, 사전 라이브니스 스코어(320)가 [0, 1] 구간 사이의 값을 가지고, 제1 조건(330)이 0.4로 설정될 때, 사전 라이브니스 스코어(320)가 0.4보다 큰 값을 가지면, 객체가 살아있는 것으로 판단되고, 그렇지 않다면 객체가 살아있지 않는 것(다시 말해, 거짓)으로 판단될 수 있다.Whether or not the object is live based on whether or not the pre-existingness score 320 satisfies the first condition 330 can be determined. For example, when the dictionary liveness score 320 has a value between [0, 1] intervals and the first condition 330 is set to 0.4, the dictionary liveness score 320 is set to a value larger than 0.4 If so, it can be judged that the object is alive, otherwise the object is not alive (ie, false).
사전 라이브니스 스코어(320)에 기초하여 객체가 살아있는 것으로 판단되면, 인식 모델에 기초하여 사후 라이브니스 스코어(post-liveness score)(340)가 결정될 수 있다. 그리고, 사후 라이브니스 스코어(340)가 제2 조건(350)을 만족하는지 여부에 기초하여 객체의 라이브니스 여부가 최종 판단될 수 있다. 예를 들어, 사후 라이브니스 스코어(340)가 [0, 1] 구간 사이의 값을 가지고, 제2 조건(350)이 0.5로 설정될 때, 사전 라이브니스 스코어(320)가 0.5보다 큰 값을 가지면, 객체가 살아있는 것으로 최종 판단되고, 그렇지 않다면 객체가 살아있지 않는 것(다시 말해, 거짓)으로 최종 판단될 수 있다. 예를 들어, 제1 조건(330)이 제2 조건(350)보다 낮게 설정됨으로써, 사후 라이브니스 스코어(340)를 이용하여 객체의 라이브니스 여부가 최종적으로 결정되도록 할 수 있다.If it is determined that the object is alive based on the dictionary liveness score 320, a post-liveness score 340 may be determined based on the recognition model. Whether or not the object is live can be finally determined based on whether the post liveness score 340 satisfies the second condition 350. [ For example, when the post liveness score 340 has a value between the [0, 1] intervals and the second condition 350 is set to 0.5, the pre-liveness score 320 has a value greater than 0.5 If so, the object is ultimately determined to be alive, otherwise the object can be ultimately determined to be non-live (ie, false). For example, the first condition 330 may be set lower than the second condition 350, so that the post liveness score 340 may be used to finally determine whether the object is live or not.
실시예에 따라서는, 사전 라이브니스 스코어(320) 및 사후 라이브니스 스코어(340) 간의 조합이 제2 조건(350)을 만족하는지 여부가 판단될 수 있고, 판단 결과에 기초하여 객체의 라이브니스 여부가 최종 판단될 수도 있다. 이 때, 사전 라이브니스 스코어(320) 및 사후 라이브니스 스코어(340) 중 적어도 하나에 가중치가 적용됨으로써 사전 라이브니스 스코어(320) 및 사후 라이브니스 스코어(340) 간 조합이 결정될 수도 있다.Depending on the embodiment, it can be determined whether the combination of the pre-existingness score 320 and the post-liveness score 340 satisfies the second condition 350 and whether the object is live or not based on the determination result May be the final judgment. At this time, the combination between the pre-liveness score 320 and the post liveness score 340 may be determined by applying a weight to at least one of the pre-liveness score 320 and the post-liveness score 340.
이를 통해, 낮은 조도, 역광 등의 악조건에서도 객체의 라이브니스 여부를 강인하게 판단할 수 있으며, 정확도를 효과적으로 향상시킬 수 있다. This makes it possible to determine robustly whether an object is live even in a bad condition such as low illuminance or backlight, and can improve the accuracy effectively.
도 4는 일실시예에 따라 사전 라이브니스 스코어를 결정하는 과정을 설명하기 위한 도면이다.FIG. 4 is a diagram for explaining a process of determining a pre-existingness score according to an embodiment.
도 4를 참조하면, 일실시예에 따른 입력 영상(410)으로부터 객체 영역(420)이 검출될 수 있다. 객체 영역(420)의 검출은 다양한 객체 검출 기법 중 하나 이상(예컨대, 얼굴 검출 기법 등)에 기반하여 수행될 수 있다. 또한, 객체 영역(420)의 일부 영역(430)이 결정될 수 있으며, 일부 영역(430)은 객체 영역(420) 내에서 랜덤하게 결정될 수 있다.Referring to FIG. 4, an object region 420 may be detected from an input image 410 according to an embodiment. The detection of the object region 420 may be performed based on one or more of various object detection techniques (e.g., face detection techniques, etc.). Also, some areas 430 of the object area 420 may be determined, and some areas 430 may be determined randomly within the object area 420.
객체 영역(420)이 미리 결정된 크기로 리사이즈(resize)됨으로써 제1 서브 영상(425)이 획득되고, 일부 영역(430)이 미리 결정된 크기로 리사이즈됨으로써 제2 서브 영상(435)이 획득될 수 있다. 제3 서브 영상(415)은 객체 영역(420)과 객체의 배경 영역의 합 영역이 리사이즈됨으로써 결정될 수 있다. 여기서, 배경 영역은 입력 영상(410)에서 객체 영역(420)을 제외한 나머지 영역의 일부 또는 전체를 나타낼 수 있다.The first sub image 425 is obtained by resizing the object area 420 to a predetermined size and the second sub image 435 can be obtained by resizing the partial area 430 to a predetermined size . The third sub-image 415 may be determined by resizing the sum area of the object area 420 and the background area of the object. Here, the background region may represent a part or all of the remaining region except for the object region 420 in the input image 410. [
복수의 서브 영상들 각각에 대응하는 라이브니스 스코어가 결정되는데 있어, 뉴럴 네트워크(neural network) 기반의 라이브니스 검사 모델이 이용될 수 있다. 라이브니스 검사 모델은 입력된 데이터에 기초하여 객체의 라이브니스 스코어를 결정하기 위한 정보(예를 들어, 확률 값 또는 특징 값)를 제공하는 모델이다. 라이브니스 검사 모델은 복수의 레이어들을 포함하고, 각각의 레이어들은 노드(node)들을 포함할 수 있으며, 라이브니스 데이터 검사 장치의 프로세서에 의해 실행될 수 있다. 예를 들어, 라이브니스 검사 모델은 입력 레이어, 적어도 하나의 히든 레이어(hidden layer) 및 출력 레이어를 포함할 수 있다. 뉴럴 네트워크의 구조에 따라, 인접한 레이어들에 포함된 노드들은 각각의 연결 가중치(connection weight)에 따라 선택적으로 서로 연결될 수 있다. 라이브니스 검사 모델에 입력된 데이터는 노드들을 거치면서 가공 및 변형되고, 최종적으로는 출력 레이어를 통해 특정한 결과 값으로 변환된다.A neural network based liveness check model may be used for determining the liveness score corresponding to each of the plurality of sub images. The liveness check model is a model that provides information (e.g., probability value or feature value) for determining the liveness score of an object based on input data. The liveness check model includes a plurality of layers, each of which may include nodes and may be executed by a processor of the liveness data checking device. For example, the liveness check model may include an input layer, at least one hidden layer, and an output layer. According to the structure of the neural network, nodes included in adjacent layers can be selectively connected to each other according to their connection weights. The data input to the liveness check model is processed and transformed through the nodes, and finally converted to a specific result value through the output layer.
일실시예에서, 라이브니스 검사 모델은 복수의 히든 레이어들을 포함하는 깊은 컨볼루션 뉴럴 네트워크(Deep Convolutional Neural Network; DCNN)에 기초할 수 있다. DCNN은 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하고, 각 레이어에 의해 수행되는 연산 과정을 통해 라이브니스 검사 모델에 입력되는 영상 데이터로부터 라이브니스의 판단을 위한 정보를 제공할 수 있다. 여기서, 영상 데이터는 영상에 포함된 픽셀들의 픽셀 값(예를 들어, 컬러 값 및/또는 밝기 값)이다. 위 DCNN은 일실시예에 불과하며, 라이브니스 검사 모델은 DCNN 이외의 다른 구조의 뉴럴 네트워크에 기초하여 동작할 수 있다.In one embodiment, the loniness inspection model may be based on a Deep Convolutional Neural Network (DCNN) comprising a plurality of hidden layers. The DCNN includes a convolution layer, a pooling layer, and a fully connected layer. The DCNN includes a plurality of layers, Information for judgment of Nice can be provided. Here, the image data is a pixel value (e.g., a color value and / or a brightness value) of pixels included in the image. The above DCNN is merely one embodiment, and the loniness inspection model can operate based on a neural network of a structure other than DCNN.
노드들 간의 연결 가중치와 같은 라이브니스 검사 모델의 내부 파라미터들은 라이브니스 검사 모델의 학습(training) 과정을 통해 미리 결정될 수 있다. 예를 들어, 학습 과정에서는 많은 수의 학습 데이터(training data)와 각 학습 데이터에 대응하는 라이브니스 검사 모델의 목적 값(desired value)이 존재하고, 라이브니스 검사 모델에 특정한 학습 데이터가 입력되었을 때, 라이브니스 검사 모델이 해당 학습 데이터에 대응하는 목적 값을 출력하도록 라이브니스 검사 모델의 내부 파라미터들을 조정하는 과정이 수행된다. 예를 들어, 라이브니스 검사 모델로부터 출력된 결과 값과 목적 값 간의 차이로 인한 손실(loss)이 계산되고, 해당 손실이 줄어들도록 라이브니스 검사 모델의 내부 파라미터들을 조정하는 과정이 수행될 수 있다. 이러한 과정이 각 학습 데이터들에 대해 반복적으로 수행됨에 따라, 라이브니스 검사 모델로부터 목적 값에 상응하는 바람직한 출력 값이 출력되도록 내부 파라미터들이 조정될 수 있다.The internal parameters of the loness test model, such as the connection weights between nodes, can be predetermined through a training process of the loness test model. For example, in a learning process, when a large number of training data and a desired value of a liveness test model corresponding to each learning data exist, and when learning data specific to the liveness test model is input , The process of adjusting the internal parameters of the lapse check model so that the loniness test model outputs the objective value corresponding to the learning data is performed. For example, a loss due to a difference between a resultant value and a target value output from the liveness check model may be calculated, and a process of adjusting internal parameters of the lapse test model may be performed so that the loss is reduced. As this process is repeatedly performed for each learning data, the internal parameters can be adjusted such that the desired output value corresponding to the target value is output from the liveness check model.
일실시예에 따른 라이브니스 스코어는 서브 영상의 유형에 따라 라이브니스 검사 모델에 의해 결정될 수 있다. 예를 들어, 제1 라이브니스 검사 모델(440)에 의해 제1 서브 영상(425)으로부터 제1 라이브니스 스코어가 결정될 수 있다. 또한, 제2 라이브니스 검사 모델(450)에 의해 제2 서브 영상(435)으로부터 제2 라이브니스 스코어가 결정될 수 있으며, 제3 라이브니스 검사 모델(460)에 의해 제3 서브 영상(415)으로부터 제3 라이브니스 스코어가 결정될 수 있다. The liveness score according to an exemplary embodiment may be determined by a liveness check model according to the type of the sub image. For example, the first liveness check model 440 may determine a first liveness score from the first sub-image 425. [ The second liveness check model 450 can also determine a second liveness score from the second sub video 435 and the third liveness check model 460 from the third sub video 415 A third liveness score can be determined.
제1 내지 제3 라이브니스 검사 모델들(440, 450, 460)은 상응하는 유형의 영상들에 기초하여 학습될 수 있다. 예를 들어, 제1 라이브니스 검사 모델(440)은 얼굴 영역에 대응하는 학습 데이터에 기초하여 학습될 수 있다. 제2 라이브니스 검사 모델(450)은 얼굴 영역의 일부 영역에 대응하는 학습 데이터에 기초하여 학습될 수 있으며, 제3 라이브니스 검사 모델(460)은 얼굴 영역과 배경 영역에 대응하는 학습 데이터에 기초하여 학습될 수 있다.The first through third liveness inspection models 440, 450, and 460 may be learned based on images of corresponding types. For example, the first liveness inspection model 440 can be learned based on the learning data corresponding to the face area. The second liveness check model 450 can be learned based on the learning data corresponding to a partial area of the face area and the third liveness check model 460 can be learned based on the learning data corresponding to the face area and the background area Can be learned.
일실시예에 따라 사전 라이브니스 스코어(470)는 제1 내지 제3 라이브니스 스코어들에 기초하여 결정될 수 있다. 예를 들어, 사전 라이브니스 스코어(470)는 제1 내지 제3 라이브니스 스코어들의 가중평균(weighted average) 또는 산술평균(arithmetic averages)으로 결정될 수 있다.According to one embodiment, the pre-liveness score 470 may be determined based on the first through third live scores. For example, the dictionary liveness score 470 may be determined by a weighted average or arithmetic averages of the first through third liveness scores.
제1 내지 제3 라이브니스 스코어들 중 적어도 하나에 가중치가 적용되고, 적용 결과에 기초하여 사전 라이브니스 스코어(470)가 결정될 수 있다. 예를 들어, 가중평균은 아래의 수학식과 같이 계산될 수 있다.A weight is applied to at least one of the first to third liveness scores, and the pre-live score 470 can be determined based on the application result. For example, the weighted average may be calculated as:
Figure pat00001
Figure pat00001
위의 수학식 1에서, Score 1 은 제1 라이브니스 스코어를 나타내고, Score 2 는 제2 라이브니스 스코어를 나타내고, Score 3 은 제3 라이브니스 스코어를 나타내며, Score pre 는 사전 라이브니스 스코어(470)를 나타낸다. 이 때, 사전 라이브니스 스코어(470)는 [0, 1] 구간 사이의 값을 가질 수 있다. Score 1 represents the first liveness score, Score 2 represents the second liveness score, Score 3 represents the third liveness score, Score pre represents the preliminary liveness score 470, . At this time, the preliminary live score 470 may have a value between [0, 1] intervals.
이와 같이 결정된 사전 라이브니스 스코어(470)가 임계 조건을 만족하는지 여부에 기초하여 객체의 라이브니스 여부가 결정될 수 있다.Whether or not the object is live can be determined based on whether the preliminary live score 470 thus determined satisfies the threshold condition.
도 5는 일실시예에 따라 서브 영상들의 예시를 나타낸 도면이다.5 is a diagram illustrating an example of sub-images according to an exemplary embodiment.
도 5를 참조하면, 일실시예에 따른 입력 영상(510)으로부터 획득되는 제1 서브 영상(520), 제2 서브 영상(530), 제3 서브 영상(540)의 예시가 도시된다.Referring to FIG. 5, an example of a first sub-image 520, a second sub-image 530, and a third sub-image 540 obtained from the input image 510 according to an exemplary embodiment is shown.
일실시예에 따른 입력 영상(510)은 640x640 크기로 리사이즈된 촬영 영상일 수 있다. 제1 서브 영상(520)은 입력 영상(510)에서 검출된 얼굴 영역을 크롭핑(cropping)하고, 크롭핑된 얼굴 영역을 128x128 크기로 리사이징함으로써 획득될 수 있다. 또한, 제2 서브 영상(530)은 얼굴 영역에서 랜덤하게 결정된 일부 영역을 크롭핑하고, 크롭핑된 일부 영역을 128x128 크기로 리사이징함으로써 획득될 수 있다. 또한, 제3 서브 영상(540)은 얼굴 영역과 배경 영역의 합 영역을 크롭핑하고, 크롭핑된 합 영역을 64x64 크기로 리사이징함으로써 획득될 수 있다. 다만, 입력 영상(510), 제1 서브 영상(520), 제2 서브 영상(530), 제3 서브 영상(540)의 크기가 이에 제한되지 않으며, 다양한 크기가 제한 없이 서브 영상들에 적용될 수 있다.The input image 510 according to one embodiment may be a photographed image resized to a size of 640x640. The first sub-image 520 may be obtained by cropping the face region detected in the input image 510 and resizing the cropped face region to a size of 128x128. Also, the second sub-image 530 can be obtained by cropping a random area determined in the face area and resizing the cropped area to 128x128 size. Also, the third sub-image 540 can be obtained by cropping the sum area of the face area and the background area and resizing the cropped sum area to 64x64 size. However, the sizes of the input image 510, the first sub-image 520, the second sub-image 530, and the third sub-image 540 are not limited thereto, and various sizes may be applied to the sub- have.
도 6은 일실시예에 따라 사전 라이브니스 스코어 결정에 이용되는 라이브니스 검사 모델의 예시를 나타낸 도면이다.FIG. 6 is an illustration of an example of a liveness check model used for prior liveness score determination in accordance with one embodiment.
도 6을 참조하면, 라이브니스 검사 모델(600)에, 예를 들어 128x128x3의 입력 영상이 입력될 수 있다. 여기서, 128x128x3의 입력 영상은 128x128의 해상도의 RGB(Red, Green, Blue)의 3개의 컬러 채널들을 포함할 수 있다. 입력 영상은 120x120x3로 크롭핑될 수 있다. 라이브니스 검사 모델(600)은 6개의 컨볼루션 레이어들을 포함할 수 있고, 6개의 컨볼루션 레이어들 각각은 16개의 3x3x3 컨볼루션 커널(kernels), 16개의 3x3x16 컨볼루션 커널, 32개의 3x3x16 컨볼루션 커널, 32개의 3x3x32 컨볼루션 커널, 64개의 3x3x32컨볼루션 커널, 및 64개의 3x3x64컨볼루션 커널을 포함할 수 있다. 컨볼루션 레이어에 포함되는 컨볼루션 커널의 개수는 컨볼루션 레이어의 깊이가 깊어질수록 순차적으로 16, 16, 32, 32, 64, 64로 증가함으로써, 라이브니스 검사 모델(600)의 표현 능력이 향상될 수 있다.Referring to FIG. 6, an input image of, for example, 128x128x3 may be input to the liveness inspection model 600. FIG. Here, the input image of 128x128x3 may include three color channels of RGB (Red, Green, Blue) with a resolution of 128x128. The input image can be cropped to 120x120x3. The liveness check model 600 may include six convolution layers, each of which may comprise sixteen 3x3x3 convolution kernels, sixteen 3x3x16 convolution kernels, thirty three 3x3x16 convolution kernels, , 32 3x3x32 convolution kernels, 64 3x3x32 convolution kernels, and 64 3x3x64 convolution kernels. The number of convolution kernels included in the convolution layer is increased to 16, 16, 32, 32, 64, and 64 sequentially as the depth of the convolution layer becomes deeper, .
또한, 라이브니스 검사 모델(600)은 적어도 하나의 컨볼루션 레이어 이후 및 다음의 컨볼루션 레이어 이전에, 배치 정규화(BN; Batch Normalization) 레이어, ReLU(Rectified Linear Unit) 레이어 및/또는 풀링(Pooling) 레이어를 포함할 수 있다. 예를 들어, 배치 정규화 레이어들(BN1, BN2, BN3, BN4, BN5, BN6) 각각이 제1 내지 제6 컨볼루션 레이어 이후에 배치되어 각 컨볼루션 레이어에서 출력된 특성 곡선(characteristic curve)으로부터 정규화된 특성 맵(normalized Characteristic map)이 획득될 수 있다. 또한, 제5 컨볼루션 레이어 이후 및 제6 컨볼루션 레이어 이전에는, ReLU 레이어와 풀링 레이어가 존재하지 않는다. 풀링 레이어의 풀링 영역 사이즈는 2x2일 수 있다. 또한, 제5 및 제6 컨볼루션 레이어들을 제외한 컨볼루션 레이어들 각각 이후의 풀링 레이어는 맥스 풀링 레이어(Max pooling layer)일 수 있다. 제6 컨볼루션 레이어 이후에는 평균 풀링 레이어(average pooling layer)가 배치될 수 있다. 또한, 제6 컨볼루션 레이어 이후의 평균 풀링 레이어 이후에 완전 연결 레이어(fully connected layer) 및 소프트맥스 레이어(Softmax layer)가 배치되어, 라이브니스 검출 모델(600)의 최종 출력(다시 말해, 사전 라이브니스 스코어)이 획득될 수 있다.In addition, the loniness inspection model 600 may include a batch normalization (BN) layer, a rectified linear unit (ReLU) layer, and / or a pooling layer after at least one convolution layer and before the next convolution layer. You can include layers. For example, each of the batch normalization layers BN1, BN2, BN3, BN4, BN5, and BN6 is arranged after the first to sixth convolution layers, and normalized from a characteristic curve output from each convolution layer A normalized characteristic map can be obtained. Further, after the fifth convolution layer and before the sixth convolution layer, the ReLU layer and the pooling layer do not exist. The pooling area size of the pooling layer may be 2x2. In addition, the pooling layer after each of the convolution layers except for the fifth and sixth convolution layers may be a Max pooling layer. After the sixth convolution layer an average pooling layer may be placed. In addition, a fully connected layer and a softmax layer are arranged after the average pooling layer after the sixth convolution layer, so that the final output of the liveness detection model 600 (i.e., A good score) can be obtained.
다만, 라이브니스 검사 모델(600)의 실시예가 도 6에 도시된 구조에 한정되지 않으며, 다양한 개수의 컨볼루션 레이어가 적용될 수 있다. 또한, 풀링 레이어에 다른 유형의 풀링 레이어(예를 들어, 평균 풀링(averaging pooling) 레이어, L2 놈 풀링(L2 norm pooling) 레이어 등)가 적용될 수 있다. 또한, ReLU 레이어는 유사한 기능들을 가진 활성 레이어(active layer)(예를 들어, 시그모이드(Sigmoid) 레이어, tanh 레이어 등)로 대체될 수도 있다. 또한, 소프트맥스 레이어는 유사한 기능을 가진 로시 레이어(lossy layers)(예를 들어, 시그모이드 교차 엔트로피 레이어(Sigmoid cross entropy layer), 유클리드 레이어(Euclidean layer) 등)로 대체될 수도 있다. 또한, 각 컨볼루션 레이어의 컨볼루션 커널 개수와 크기도 도 6에 도시된 구조에 한정되지 않으며, 다양한 구조가 적용될 수 있다.However, the embodiment of the loness test model 600 is not limited to the structure shown in Fig. 6, and various numbers of convolution layers may be applied. In addition, other types of pooling layers (e. G., An averaging pooling layer, an L2 norm pooling layer, etc.) may be applied to the pooling layer. In addition, the ReLU layer may be replaced by an active layer (e.g., a Sigmoid layer, a tanh layer, etc.) having similar functions. In addition, the soft max layer may be replaced by lossy layers having similar functions (e.g., a sigmoid cross entropy layer, an Euclidean layer, etc.). Also, the number and size of the convolution kernels of each convolution layer are not limited to the structure shown in Fig. 6, and various structures can be applied.
도 7 및 도 8은 일실시예에 따라 사후 라이브니스 스코어를 결정하는 과정을 설명하기 위한 도면이다.7 and 8 are diagrams for explaining a process of determining a post liveness score according to an embodiment.
도 7을 참조하면, 객체 영상(710)이 인식 모델(720)에 입력될 수 있다. 객체 영상(710)은 객체가 포함된 영상으로서, 예를 들어, 객체가 포함된 입력 영상 또는 입력 영상에서 객체 영역에 대응하는 영상일 수 있다. 인식 모델(720)은 객체를 인식하기 위한 뉴럴 네트워크 기반한 모델일 수 있다. 인식 모델(720) 내 히든 레이어들에서 획득된 특징 벡터들에 기초하여 제4 라이브니스 스코어들(730)이 결정될 수 있다. 사후 라이브니스 스코어(740)는 제4 라이브니스 스코어들(730)에 기초하여 결정될 수 있다. 사후 라이브니스 스코어(740)에 기초하여 객체의 라이브니스 여부가 최종적으로 결정될 수 있다. 이하, 도 8을 참조하며 보다 자세하게 사후 라이브니스 스코어 결정 과정을 설명한다.Referring to FIG. 7, an object image 710 may be input to the recognition model 720. The object image 710 may include an object, for example, an input image including the object or an image corresponding to the object region in the input image. The recognition model 720 may be a neural network based model for recognizing an object. The fourth liveness scores 730 may be determined based on the feature vectors obtained in the hidden layers in the recognition model 720. [ The post liveness score 740 may be determined based on the fourth live scores 730. [ Whether or not the object is live based on the post liveness score 740 can be finally determined. Hereinafter, the post-liveness score determination process will be described in detail with reference to FIG.
도 8을 참조하면, 인식 모델(820)과 제4 라이브니스 검사 모델에 기초하여 사후 라이브니스 스코어가 결정되는 예시가 도시된다.Referring to Fig. 8, an example is shown in which the post liveness score is determined based on the recognition model 820 and the fourth liveness check model.
인식 모델(820)은 복수의 레이어들을 포함할 수 있고, 복수의 레이어들의 일부가 하나의 레이어 그룹으로 그룹핑될 수 있다. 레이어 그룹에 대해서는 도 9를 참조하여 후술한다.The recognition model 820 may include a plurality of layers, and some of the plurality of layers may be grouped into one layer group. The layer group will be described later with reference to Fig.
객체 영상(810)이 인식 모델(820)에 입력됨에 따라, 인식 모델(820)의 히든 레이어에서 특징 벡터들이 출력될 수 있다. 예를 들어, 특징 벡터들은 인식 모델(820) 내 각 레이어 그룹에서 출력된 특징 벡터일 수 있다. 출력된 특징 벡터들 각각은 대응하는 제4 라이브니스 검사 모델(840)에 입력될 수 있다. 제4 라이브니스 검사 모델(840)은 대응하는 특징 벡터에 대한 제4 라이브니스 스코어를 각각 결정할 수 있다. 제4 라이브니스 검사 모델(840)에 대해서는 도 10을 참조하여 후술한다.As the object image 810 is input to the recognition model 820, the feature vectors may be output from the hidden layer of the recognition model 820. For example, the feature vectors may be feature vectors output from each layer group in the recognition model 820. Each of the output feature vectors may be input to the corresponding fourth liveness check model 840. [ The fourth liveness check model 840 may determine a fourth liveness score for the corresponding feature vector, respectively. The fourth liveness inspection model 840 will be described later with reference to FIG.
제4 라이브니스 스코어들에 기초하여 사후 라이브니스 스코어(860)가 결정될 수 있다. 예를 들어, 사후 라이브니스 스코어(860)는 제4 라이브니스 스코어들의 가중평균 또는 산술평균에 기초하여 결정될 수 있다. 제4 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 적용 결과에 기초하여 사후 라이브니스 스코어(860)가 결정될 수 있다. 그리고, 사후 라이브니스 스코어(860)에 기초하여 객체의 라이브니스 여부(다시 말해, 라이브 또는 거짓)가 최종 판단될 수 있다.A post liveness score 860 may be determined based on the fourth liveness scores. For example, post liveness scores 860 may be determined based on a weighted average or arithmetic mean of the fourth live scores. A weight may be applied to at least one of the fourth liveness scores, and a post liveness score 860 may be determined based on the application results. Then, based on the post liveness score 860, whether or not the object is live (i.e., live or false) can be finally determined.
일실시예에 따라 인식 모델(820)에 의해 객체 영상(810)에 포함된 객체가 미리 등록된 객체인지 여부가 판단될 수 있다. 예를 들어, 미리 등록된 객체는 데이터베이스에 미리 저장될 수 있고, 인식 모델(820)에 기반하여 객체 영상(810) 내 객체가 데이터베이스에 저장된 등록 객체와 일치하는지 여부가 판단될 수 있다. 인식 모델(820)의 인식 결과(830)로 미리 등록된 객체인지 여부 및/또는 객체 식별 정보가 출력될 수 있다.According to one embodiment, it may be determined by the recognition model 820 whether the object included in the object image 810 is a pre-registered object. For example, the pre-registered object can be pre-stored in the database and it can be determined based on the recognition model 820 whether the object in the object image 810 matches the registered object stored in the database. Whether or not the object is registered in advance as the recognition result 830 of the recognition model 820 and / or object identification information may be output.
일실시예에 따라 객체의 라이브니스 여부 판단에 인식 결과(830)가 추가적으로 이용될 수 있다. 예를 들어, 사후 라이브니스 스코어(860)는 인식 결과(830)로 객체가 미리 등록된 객체로 인증된 이후에 결정될 수 있다. 또는, 인식 결과(830)로 객체가 미리 등록된 객체로 인증되기 전에 사후 라이브니스 스코어(830)가 결정되더라도, 사후 라이브니스 스코어(830)가 임계 조건을 만족하고, 인식 결과(830)로 객체가 미리 등록된 객체로 인증되어야, 객체가 라이브한 것으로 판단될 수 있다.According to one embodiment, the recognition result 830 may additionally be used to determine whether the object is live. For example, the post liveness score 860 may be determined after the object is authenticated as a pre-registered object with the recognition result 830. Alternatively, even if the post liveness score 830 is determined before the object is authenticated as a pre-registered object with the recognition result 830, the post live fitness score 830 satisfies the threshold condition, Is authenticated as a pre-registered object, it can be judged that the object is live.
도 9는 일실시예에 따라 인식 모델에 포함된 레이어 그룹의 예시를 나타낸 도면이다.FIG. 9 is a diagram illustrating an example of a layer group included in the recognition model according to an embodiment.
도 9를 참조하면, 일실시예에 따른 레이어 그룹(900)은 복수의 컨볼루션 레이어들, 맥스 풀링 레이어를 포함할 수 있다.Referring to FIG. 9, a layer group 900 according to an exemplary embodiment may include a plurality of convolution layers and a max pooling layer.
일실시예에 따른 인식 모델은 복수의 레이어 그룹들을 포함할 수 있으며, 레이어 그룹(900)은, 예를 들어 10개의 컨볼루션 레이어들, 1개의 맥스 풀링 레이어(maximum pooling layer)를 포함할 수 있다. 다만, 레이어 그룹(900)에 대한 실시예는 이에 한정되지 않고, 다양한 개수, 구조의 컨볼루션 레이어, 풀링 레이어가 적용될 수 있으며, 컨볼루션 레이어, 풀링 레이어 외에 다른 레이어가 포함될 수도 있다.The recognition model according to an exemplary embodiment may include a plurality of layer groups, and the layer group 900 may include, for example, ten convolution layers and one maximum pooling layer . However, the embodiment of the layer group 900 is not limited to this, and various numbers and structures of convolution layers and pulling layers may be applied, and layers other than the convolution layer and the pulling layer may be included.
또한, 도 9에 도시된 레이어들 간 연결 외에 추가적인 연결이 존재할 수 있다. 예를 들어, 제1 컨볼루션 레이어의 출력은 제3 컨볼루션 레이어의 출력과 중첩(superposition)되어, 제4 컨볼루션 레이어에 입력될 수 있다. 또한, 제1 컨볼루션 레이어의 출력 및 제3 컨볼루션 레이어의 출력 간 중첩은 제5 컨볼루션 레이어의 출력에 더 중첩되어, 제6 컨볼루션 레이어에 입력될 수도 있다.In addition, there may be additional connections other than the inter-layer connections shown in FIG. For example, the output of the first convolution layer may be superpositioned with the output of the third convolution layer and input to the fourth convolution layer. In addition, the overlap between the output of the first convolution layer and the output of the third convolution layer may be further superimposed on the output of the fifth convolution layer and input to the sixth convolution layer.
도 10은 일실시예에 따라 제4 라이브니스 스코어 결정에 이용되는 제4 라이브니스 검사 모델의 예시를 나타낸 도면이다.10 is a diagram illustrating an example of a fourth liveness check model used in the fourth liveness score determination according to an embodiment.
도 10을 참조하면, 일실시예에 따른 제4 라이브니스 검사 모델(1000)은 인식 모델의 히든 벡터에서 출력된 특징 벡터로부터 대응하는 제4 라이브니스 스코어를 결정할 수 있다. 예를 들어, 제4 라이브니스 검사 모델(1000)은 컨볼루션 레이어, 평균 풀링 레이어(average pooling layer), 제1 완전 연결 레이어 및 제2 완전 연결 레이어를 포함할 수 있다. 다만, 제4 라이브니스 검사 모델(1000)의 실시예가 이에 제한되지 않으며, 다양한 개수 및/또는 구조의 레이어가 적용될 수 있으며, 맥스 풀링 레이어, L2 놈 풀링 레이어 등 다른 유형의 레이어가 적용될 수도 있다.Referring to FIG. 10, a fourth liveness check model 1000 according to an embodiment may determine a corresponding fourth liveness score from a feature vector output from a hidden vector of a recognition model. For example, the fourth liveness inspection model 1000 may include a convolution layer, an average pooling layer, a first fully connected layer, and a second fully connected layer. However, the embodiment of the fourth liveness inspection model 1000 is not limited thereto, and various layers and / or structures may be applied, and other types of layers such as a max pooling layer and an L2 norm pooling layer may be applied.
도 11은 일실시예에 따른 라이브니스 검사 방법을 나타낸 도면이다.11 is a diagram illustrating a method of checking a loness according to an embodiment of the present invention.
도 11을 참조하면, 일실시예에 따른 라이브니스 검사 장치의 프로세서에 의해 수행되는 라이브니스 검사 방법이 도시된다.Referring to FIG. 11, there is shown a method of checking a liveness test performed by a processor of a loness test apparatus according to an embodiment.
단계(1110)에서, 라이브니스 검사 장치는 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어를 결정한다. 라이브니스 검사 장치는 입력 영상에 포함된 객체에 기초하여 입력 영상으로부터 서로 다른 유형들의 복수의 서브 영상들을 획득하고, 복수의 서브 영상들 각각에 대응하는 라이브니스 스코어들을 결정하며, 결정된 라이브니스 스코어들에 기초하여 사전 라이브니스 스코어를 결정할 수 있다.In step 1110, the liveness checker determines a pre-liveness score based on the plurality of sub-images obtained from the input image. The liveness checker device obtains a plurality of sub-images of different types from the input image based on the objects contained in the input image, determines the liveness scores corresponding to each of the plurality of sub-images, and determines the determined liveness scores Lt; RTI ID = 0.0 > livedness < / RTI > score.
일실시예에 따른 복수의 서브 영상들은 입력 영상에서 객체가 포함된 객체 영역에 대응하는 제1 서브 영상, 객체 영역의 일부 영역에 대응하는 제2 서브 영상 및 객체 영역과 객체의 배경 영역에 대응하는 제3 서브 영상 중 적어도 둘을 포함할 수 있다. 결정된 라이브니스 스코어들은 제1 서브 영상에 대응하는 제1 라이브니스 스코어, 제2 서브 영상에 대응하는 제2 라이브니스 스코어 및 제3 서브 영상에 대응하는 제3 라이브니스 스코어를 포함할 수 있다. 제1 라이브니스 스코어는 제1 라이브니스 검사 모델에 의해 결정되고, 제2 라이브니스 스코어는 제2 라이브니스 검사 모델에 의해 결정되고, 제3 라이브니스 스코어는 제3 라이브니스 검사 모델에 의해 결정될 수 있다.A plurality of sub images according to an exemplary embodiment may include a first sub-image corresponding to an object region including an object in an input image, a second sub-image corresponding to a partial region of the object region, And a third sub-image. The determined liveness scores may include a first liveness score corresponding to the first sub-image, a second liveness score corresponding to the second sub-image, and a third liveness score corresponding to the third sub-image. The first liveness score may be determined by a first liveness check model, the second liveness score may be determined by a second liveness check model, and the third liveness score may be determined by a third liveness check model. have.
일실시예에 따른 라이브니스 검사 장치는 제1 서브 영상의 크기를 리사이즈하고, 제1 라이브니스 검사 모델을 이용하여 리사이즈된 제1 서브 영상으로부터 제1 서브 영상에 대응하는 제1 라이브니스 스코어를 결정할 수 있다. 또한, 라이브니스 검사 장치는 객체 영역에서 일부 영역을 크롭핑함으로써 제2 서브 영상을 획득하고, 제2 라이브니스 검사 모델을 이용하여 제2 서브 영상으로부터 제2 서브 영상에 대응하는 제2 라이브니스 스코어를 결정할 수 있다.The apparatus for examining a lunisiness according to an exemplary embodiment resizes a size of a first sub-picture and determines a first liveness score corresponding to a first sub-picture from a resized first sub-picture using a first liveness check model . In addition, the loniness testing apparatus obtains the second sub-image by cropping a part of the region in the object region, and acquires a second liveness score corresponding to the second sub-image from the second sub- Can be determined.
단계(1120)에서, 라이브니스 검사 장치는 인식 모델에 기초하여 객체가 미리 등록된 객체인지 여부를 판단할 수 있다. 예를 들어, 라이브니스 검사 장치는 인식 모델을 통해 객체가 데이터베이스에 저장된 미리 등록된 객체와 일치하는지 여부를 판단할 수 있다. 실시예에 따라 단계(1120)는 생략될 수도 있다.In step 1120, the liveness checker may determine whether the object is a pre-registered object based on the recognition model. For example, the loness-of-confidence-testing device can determine whether an object matches a pre-registered object stored in the database through a recognition model. Step 1120 may be omitted according to an embodiment.
단계(1130)에서, 라이브니스 검사 장치는 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어를 결정한다.In step 1130, the liveness checker determines a post liveness score based on a recognition model for recognizing objects included in the input image.
라이브니스 검사 장치는 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 제4 라이브니스 스코어들을 결정하고, 제4 라이브니스 스코어들에 기초하여 사후 라이브니스 스코어를 결정할 수 있다. 이 때, 라이브니스 검사 장치는 제4 라이브니스 검사 모델을 이용하여 특정 벡터들 각각으로부터 제4 라이브니스 스코어들을 결정할 수 있다.The liveness checker may determine fourth liveness scores from each of the feature vectors output from the plurality of hidden layers in the recognition model and determine a post liveness score based on the fourth liveness scores. At this time, the loness test apparatus can determine the fourth liveness scores from each of the specific vectors using the fourth liveness test model.
일실시예에 따른 라이브니스 검사 장치는 단계(1110)에서 결정된 사전 라이브니스 스코어에 기초하여 객체가 라이브한 것으로 판단된 경우, 단계(1120)에서 객체가 미리 등록된 객체에 해당된 것으로 판단된 경우, 또는 이들의 조합이 모두 만족한 경우에 사후 라이브니스 스코어를 결정할 수 있다. In the case where it is determined that the object is live based on the dictionary liveness score determined in step 1110, and the object is determined to correspond to an object previously registered in step 1120 , ≪ / RTI > or a combination thereof are all satisfied.
단계(1140)에서, 라이브니스 검사 장치는 사전 라이브니스 스코어 및 사후 라이브니스 스코어 중 적어도 하나에 기초하여 객체의 라이브니스 여부를 판단한다. 라이브니스 검사 장치는 사전 라이브니스 스코어 및 사후 라이브니스 스코어 중 어느 하나 또는 이들의 조합이 임계 조건을 만족하는지 여부에 기초하여 객체의 라이브니스 여부를 판단할 수 있다.In step 1140, the liveness checker determines whether the object is live based on at least one of a pre-liveness score and a post live score. The liveness checker may determine whether the object is live based on whether any of the pre-liveness score and post liveness score, or a combination thereof, satisfies a threshold condition.
도 11에 도시된 각 단계들에는 도 1 내지 도 10를 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.The steps described above with reference to FIGS. 1 to 10 are applied to each step shown in FIG. 11 as it is, and a detailed description will be omitted.
도 12는 일실시예에 따른 라이브니스 검사 장치를 나타낸 도면이다.12 is a diagram illustrating a loness test apparatus according to an embodiment.
도 12를 참조하면, 일실시예에 따른 라이브니스 검사 장치(1200)는 메모리(1210) 및 프로세서(1220)를 포함한다. 또한, 라이브니스 검사 장치(1200)는 카메라(1230)를 더 포함할 수 있다. 메모리(1210), 프로세서(1220) 및 카메라(1230)는 버스(bus)(1240)를 통하여 서로 통신할 수 있다.Referring to FIG. 12, a loness checking apparatus 1200 according to an embodiment includes a memory 1210 and a processor 1220. Further, the loness test apparatus 1200 may further include a camera 1230. [ The memory 1210, the processor 1220, and the camera 1230 may communicate with each other via a bus 1240.
메모리(1210)는 컴퓨터에서 읽을 수 있는 명령어를 포함할 수 있다. 프로세서(1220)는 메모리(1210)에 저장된 명령어가 프로세서(1220)에서 실행됨에 따라 앞서 언급된 동작들을 수행할 수 있다. 메모리(1210)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.Memory 1210 may include instructions readable by a computer. Processor 1220 may perform the aforementioned operations as the instructions stored in memory 1210 are executed in processor 1220. [ Memory 1210 may be volatile memory or non-volatile memory.
프로세서(1220)는 명령어들, 혹은 프로그램들을 실행하거나, 라이브니스 검사 장치(1200)를 제어하는 장치일 수 있다. 프로세서(1220)는 카메라(1230)로부터 입력 영상을 획득하거나 또는 외부 장치로부터 유선 또는 무선 네트워크를 통해 입력 영상을 수신할 수 있다. 프로세서(1220)는 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어를 결정하고, 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어를 결정하며, 사전 라이브니스 스코어 및 사후 라이브니스 스코어 중 적어도 하나에 기초하여 객체의 라이브니스 여부를 판단한다.The processor 1220 may be a device that executes commands, programs, or controls the loniness checking apparatus 1200. [ The processor 1220 may acquire an input image from the camera 1230 or may receive an input image from an external device via a wired or wireless network. The processor 1220 determines a dictionary liveness score based on a plurality of sub images obtained from the input image, determines a post liveness score based on a recognition model for recognizing an object included in the input image, Whether the object is live based on at least one of a liveness score and a post liveness score.
그 밖에, 라이브니스 검사 장치(1200)에 관해서는 상술된 동작을 처리할 수 있다.In addition, the above-described operation can be performed with respect to the loness test apparatus 1200. [
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented in hardware components, software components, and / or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, such as an array, a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the drawings, various technical modifications and variations may be applied to those skilled in the art. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

Claims (20)

  1. 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어(pre-liveness score)를 결정하는 단계;
    상기 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어(post-liveness score)를 결정하는 단계; 및
    상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 적어도 하나에 기초하여 상기 객체의 라이브니스 여부를 판단하는 단계
    를 포함하는 라이브니스 검사 방법.
    Determining a pre-liveness score based on the plurality of sub-images obtained from the input image;
    Determining a post-liveness score based on a recognition model for recognizing objects included in the input image; And
    Determining whether the object is live based on at least one of the pre-liveness score and the post liveness score
    / RTI >
  2. 제1항에 있어서,
    상기 사전 라이브니스 스코어를 결정하는 단계는
    상기 입력 영상에 포함된 객체에 기초하여 상기 입력 영상으로부터 서로 다른 유형들의 상기 복수의 서브 영상들을 획득하는 단계;
    상기 복수의 서브 영상들 각각에 대응하는 라이브니스 스코어들을 결정하는 단계; 및
    상기 결정된 라이브니스 스코어들에 기초하여 상기 사전 라이브니스 스코어를 결정하는 단계
    를 포함하는, 라이브니스 검사 방법.
    The method according to claim 1,
    The step of determining the preliminary liveness score
    Obtaining the plurality of sub-images of different types from the input image based on an object included in the input image;
    Determining liveness scores corresponding to each of the plurality of sub-images; And
    Determining the preliminary liveness score based on the determined liveness scores,
    The method comprising the steps of:
  3. 제2항에 있어서,
    상기 복수의 서브 영상들은
    상기 입력 영상에서 상기 객체가 포함된 객체 영역에 대응하는 제1 서브 영상, 상기 객체 영역의 일부 영역에 대응하는 제2 서브 영상 및 상기 객체 영역과 상기 객체의 배경 영역에 대응하는 제3 서브 영상 중 적어도 둘을 포함하는, 라이브니스 검사 방법.
    3. The method of claim 2,
    The plurality of sub-
    A first sub-image corresponding to an object region including the object, a second sub-image corresponding to a partial region of the object region, and a third sub-image corresponding to the object region and a background region of the object, RTI ID = 0.0 > 1, < / RTI >
  4. 제3항에 있어서,
    상기 결정된 라이브니스 스코어들은 제1 서브 영상에 대응하는 제1 라이브니스 스코어, 제2 서브 영상에 대응하는 제2 라이브니스 스코어 및 제3 서브 영상에 대응하는 제3 라이브니스 스코어를 포함하고,
    상기 제1 라이브니스 스코어는 제1 라이브니스 검사 모델에 의해 결정되고, 상기 제2 라이브니스 스코어는 제2 라이브니스 검사 모델에 의해 결정되고, 상기 제3 라이브니스 스코어는 제3 라이브니스 검사 모델에 의해 결정되는, 라이브니스 검사 방법.
    The method of claim 3,
    Wherein the determined liveness scores include a first liveness score corresponding to a first sub-image, a second liveness score corresponding to a second sub-image, and a third liveness score corresponding to a third sub-
    Wherein the first liveness score is determined by a first liveness check model, the second liveness score is determined by a second liveness check model, and the third liveness score is determined by a third liveness check model Lt; / RTI >
  5. 제3항에 있어서,
    상기 라이브니스 스코어들을 결정하는 단계는
    상기 제1 서브 영상의 크기를 리사이즈하는 단계; 및
    제1 라이브니스 검사 모델을 이용하여 상기 리사이즈된 제1 서브 영상으로부터 상기 제1 서브 영상에 대응하는 제1 라이브니스 스코어를 결정하는 단계
    를 포함하는, 라이브니스 검사 방법.
    The method of claim 3,
    The step of determining the liveness scores
    Resizing the size of the first sub-image; And
    Determining a first liveness score corresponding to the first sub-image from the resized first sub-image using a first liveness check model,
    The method comprising the steps of:
  6. 제3항에 있어서,
    상기 라이브니스 스코어들을 결정하는 단계는
    상기 객체 영역에서 상기 일부 영역을 크롭핑(cropping)함으로써 상기 제2 서브 영상을 획득하는 단계; 및
    제2 라이브니스 검사 모델을 이용하여 상기 제2 서브 영상으로부터 상기 제2 서브 영상에 대응하는 제2 라이브니스 스코어를 결정하는 단계
    를 포함하는, 라이브니스 검사 방법.
    The method of claim 3,
    The step of determining the liveness scores
    Obtaining the second sub-image by cropping the partial area in the object area; And
    Determining a second liveness score corresponding to the second sub-picture from the second sub-picture using a second liveness check model
    The method comprising the steps of:
  7. 제2항에 있어서,
    상기 결정된 라이브니스 스코어들에 기초하여 상기 사전 라이브니스 스코어를 결정하는 단계는
    상기 결정된 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 사전 라이브니스 스코어를 결정하는, 라이브니스 검사 방법.
    3. The method of claim 2,
    Determining the pre-existingness score based on the determined liveness scores
    Applying a weight to at least one of the determined liveness scores, and determining the pre-livedness score based on the application results.
  8. 제1항에 있어서,
    상기 사후 라이브니스 스코어를 결정하는 단계는
    상기 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 제4 라이브니스 스코어들을 결정하는 단계; 및
    상기 제4 라이브니스 스코어들에 기초하여 상기 사후 라이브니스 스코어를 결정하는 단계
    를 포함하는, 라이브니스 검사 방법.
    The method according to claim 1,
    The step of determining the post liveness score
    Determining fourth liveness scores from each of the feature vectors output from the plurality of hidden layers in the recognition model; And
    Determining the post liveness score based on the fourth liveness scores
    The method comprising the steps of:
  9. 제8항에 있어서,
    상기 제4 라이브니스 스코어들을 결정하는 단계는
    제4 라이브니스 검사 모델을 이용하여 상기 특징 벡터들 각각으로부터 상기 제4 라이브니스 스코어들을 결정하는, 라이브니스 검사 방법.
    9. The method of claim 8,
    The step of determining the fourth liveness scores
    And determining the fourth liveness scores from each of the feature vectors using a fourth liveness check model.
  10. 제8항에 있어서,
    상기 제4 라이브니스 스코어들에 기초하여 상기 사후 라이브니스 스코어를 결정하는 단계는
    상기 제4 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 사후 라이브니스 스코어를 결정하는, 라이브니스 검사 방법.
    9. The method of claim 8,
    Wherein determining the post liveness score based on the fourth liveness scores comprises:
    Apply a weight to at least one of the fourth liveness scores, and determine the post liveness score based on the application result.
  11. 제1항에 있어서,
    상기 사후 라이브니스 스코어를 결정하는 단계는
    상기 사전 라이브니스 스코어에 기초하여 상기 객체가 라이브(live)한 것으로 판단된 경우, 상기 사후 라이브니스 스코어를 결정하는, 라이브니스 검사 방법.
    The method according to claim 1,
    The step of determining the post liveness score
    And determines the post liveness score if it is determined that the object is live based on the pre-liveness score.
  12. 제1항에 있어서,
    상기 객체의 라이브니스 여부를 판단하는 단계는
    상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 어느 하나 또는 이들의 조합이 임계 조건을 만족하는지 여부에 기초하여 상기 객체의 라이브니스 여부를 판단하는, 라이브니스 검사 방법.
    The method according to claim 1,
    The step of determining whether the object is live or not
    And determining whether or not the object is live based on whether any one of the pre-live score and the post liveness score, or a combination thereof, satisfies a threshold condition.
  13. 제1항에 있어서,
    상기 인식 모델에 기초하여 상기 객체가 미리 등록된 객체인지 여부를 판단하는 단계
    를 더 포함하는, 라이브니스 검사 방법.
    The method according to claim 1,
    Determining whether the object is a pre-registered object based on the recognition model
    Further comprising the steps of:
  14. 제13항에 있어서,
    상기 사후 라이브니스 스코어를 결정하는 단계는
    상기 사전 라이브니스 스코어에 기초하여 상기 객체가 라이브(live)한 것으로 판단되고, 상기 객체가 미리 등록된 객체인 것으로 판단된 경우, 상기 사후 라이브니스 스코어를 결정하는, 라이브니스 검사 방법.
    14. The method of claim 13,
    The step of determining the post liveness score
    Determining the post live fitness score if it is determined that the object is live based on the pre-existing liveness score and the object is determined to be a pre-registered object.
  15. 제1항 내지 제14항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 저장 매체.A computer-readable storage medium having recorded thereon a program for executing the method of any one of claims 1 to 14.
  16. 프로세서; 및
    상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리
    를 포함하고,
    상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 입력 영상으로부터 획득된 복수의 서브 영상들에 기초하여 사전 라이브니스 스코어(pre-liveness score)를 결정하고, 상기 입력 영상에 포함된 객체를 인식하기 위한 인식 모델에 기초하여 사후 라이브니스 스코어(post-liveness score)를 결정하며, 상기 사전 라이브니스 스코어 및 상기 사후 라이브니스 스코어 중 적어도 하나에 기초하여 상기 객체의 라이브니스 여부를 판단하는,
    라이브니스 검사 장치.
    A processor; And
    A memory including at least one instruction executable by the processor,
    Lt; / RTI >
    If the at least one instruction is executed in the processor, the processor determines a pre-liveness score based on the plurality of sub-images obtained from the input image, Determining a post-liveness score based on a recognition model for recognizing the presence of the object, and determining whether the object is live based on at least one of the pre-live score and the post live score,
    Longevity inspection device.
  17. 제16항에 있어서,
    상기 프로세서는
    상기 입력 영상에 포함된 객체에 기초하여 상기 입력 영상으로부터 서로 다른 유형들의 상기 복수의 서브 영상들을 획득하고, 상기 복수의 서브 영상들 각각에 대응하는 라이브니스 스코어들을 결정하며, 상기 결정된 라이브니스 스코어들에 기초하여 상기 사전 라이브니스 스코어를 결정하는, 라이브니스 검사 장치.
    17. The method of claim 16,
    The processor
    Acquiring the plurality of sub-images of different types from the input image based on an object included in the input image, determining the liveness scores corresponding to each of the plurality of sub-images, To determine the pre-existing liveness score based on the pre-liveness score.
  18. 제16항에 있어서,
    상기 프로세서는
    상기 인식 모델 내 복수의 히든 레이어들로부터 출력된 특징 벡터들 각각으로부터 제4 라이브니스 스코어들을 결정하고, 상기 제4 라이브니스 스코어들에 기초하여 상기 사후 라이브니스 스코어를 결정하는, 라이브니스 검사 장치.
    17. The method of claim 16,
    The processor
    Determine fourth liveness scores from each of the feature vectors output from the plurality of hidden layers in the recognition model and determine the post liveness score based on the fourth liveness scores.
  19. 제18항에 있어서,
    상기 프로세서는
    제4 라이브니스 검사 모델을 이용하여 상기 특징 벡터들 각각으로부터 상기 제4 라이브니스 스코어들을 결정하는, 라이브니스 검사 장치.
    19. The method of claim 18,
    The processor
    And determines the fourth liveness scores from each of the feature vectors using a fourth liveness check model.
  20. 제18항에 있어서,
    상기 프로세서는
    상기 제4 라이브니스 스코어들 중 적어도 하나에 가중치를 적용하고, 상기 적용 결과에 기초하여 상기 사후 라이브니스 스코어를 결정하는, 라이브니스 검사 장치.
    19. The method of claim 18,
    The processor
    Apply a weight to at least one of the fourth liveness scores, and determine the post liveness score based on the application result.
KR1020180000230A 2017-03-27 2018-01-02 Liveness test method and apparatus KR20180109664A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710192070.5 2017-03-27
CN201710192070.5A CN108664843A (en) 2017-03-27 2017-03-27 Live subject recognition methods, equipment and computer readable storage medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/921,740 US10679083B2 (en) 2017-03-27 2018-03-15 Liveness test method and apparatus
EP18164299.2A EP3382602A1 (en) 2017-03-27 2018-03-27 Liveness test method and apparatus
US16/861,497 US20200257913A1 (en) 2017-03-27 2020-04-29 Liveness test method and apparatus

Publications (1)

Publication Number Publication Date
KR20180109664A true KR20180109664A (en) 2018-10-08

Family

ID=63786498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180000230A KR20180109664A (en) 2017-03-27 2018-01-02 Liveness test method and apparatus

Country Status (2)

Country Link
KR (1) KR20180109664A (en)
CN (1) CN108664843A (en)

Also Published As

Publication number Publication date
CN108664843A (en) 2018-10-16

Similar Documents

Publication Publication Date Title
US10521643B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
Atoum et al. Face anti-spoofing using patch and depth-based CNNs
JP2020061171A (en) System and method for biometric authentication in connection with camera-equipped devices
Hadid et al. Biometrics systems under spoofing attack: an evaluation methodology and lessons learned
De Marsico et al. Mobile iris challenge evaluation (MICHE)-I, biometric iris dataset and protocols
CN108009528B (en) Triple Loss-based face authentication method and device, computer equipment and storage medium
KR101356358B1 (en) Computer-implemented method and apparatus for biometric authentication based on images of an eye
Scherhag et al. On the vulnerability of face recognition systems towards morphed face attacks
JP6483485B2 (en) Person authentication method
Raghavendra et al. Robust scheme for iris presentation attack detection using multiscale binarized statistical image features
CN104766063B (en) A kind of living body faces recognition methods
KR101714350B1 (en) Image Recognition Apparatus and Data Registration Method for Image Recognition Apparatus
CN103577801B (en) Quality metrics method and system for biometric authentication
US20200257914A1 (en) Living body recognition method, storage medium, and computer device
CN105518709B (en) The method, system and computer program product of face for identification
Tome et al. On the vulnerability of finger vein recognition to spoofing
Ferrara et al. Face demorphing
CN104364798B (en) System and method for face verification
Biggio et al. Security evaluation of biometric authentication systems under real spoofing attacks
CN107423690B (en) Face recognition method and device
CN105956578B (en) A kind of face verification method of identity-based certificate information
Hsu et al. Camera response functions for image forensics: an automatic algorithm for splicing detection
Stein et al. Fingerphoto recognition with smartphone cameras
TWI686774B (en) Human face live detection method and device
US7505613B2 (en) System for and method of securing fingerprint biometric systems against fake-finger spoofing