KR20190089387A - 라이브니스 검사 방법 및 장치 - Google Patents

라이브니스 검사 방법 및 장치 Download PDF

Info

Publication number
KR20190089387A
KR20190089387A KR1020180007814A KR20180007814A KR20190089387A KR 20190089387 A KR20190089387 A KR 20190089387A KR 1020180007814 A KR1020180007814 A KR 1020180007814A KR 20180007814 A KR20180007814 A KR 20180007814A KR 20190089387 A KR20190089387 A KR 20190089387A
Authority
KR
South Korea
Prior art keywords
liveness
inspection
result
image
test
Prior art date
Application number
KR1020180007814A
Other languages
English (en)
Other versions
KR102466997B1 (ko
Inventor
한재준
곽영준
유병인
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180007814A priority Critical patent/KR102466997B1/ko
Priority to CN201811276147.8A priority patent/CN110069970A/zh
Priority to US16/215,750 priority patent/US11030470B2/en
Priority to EP19151612.9A priority patent/EP3525133A3/en
Publication of KR20190089387A publication Critical patent/KR20190089387A/ko
Application granted granted Critical
Publication of KR102466997B1 publication Critical patent/KR102466997B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

라이브니스 검사 방법 및 장치가 개시된다. 라이브니스 검사 방법은 검사 대상이 나타난 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득하는 단계, 상기 검사 대상이 나타난 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득하는 단계와 상기 제1 라이브니스 검사 결과 및 상기 제2 라이브니스 검사 결과에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정하는 단계를 포함한다.

Description

라이브니스 검사 방법 및 장치{LIVENESS TEST METHOD AND APPARATUS}
아래의 설명은 영상에 나타난 객체의 라이브니스를 검사하는 방법 및 이를 수행하는 장치에 관한 것이다.
사용자 인증 시스템(user verification system)에서 컴퓨팅 장치는 사용자에 의해 제공되는 인증 정보에 기초하여 해당 컴퓨팅 장치에 대한 액세스를 허용할지 여부를 결정할 수 있다. 인증 정보는 사용자에 의해 입력되는 패스워드 또는 사용자의 생체 정보(biometric information) 등을 포함할 수 있다. 생체 정보는 지문(fingerprint), 홍채(iris) 또는 얼굴에 대한 정보를 포함한다.
최근, 사용자 인증 시스템을 위한 보안 방법으로서, 얼굴 스푸핑 방지(face anti-spoofing) 기술에 대한 관심이 증가하고 있다. 얼굴 스푸핑 방지는 컴퓨팅 장치에 입력된 사용자의 얼굴이 위조 얼굴(fake face)인지 아니면 진짜 얼굴(genuine face)인지 여부를 구별한다. 이를 위해, 입력 영상에서 LBP(Local Binary Patterns), HOG(Histogram of Oriented Gradients), DoG(Difference of Gaussians) 등과 같은 특징들(features)이 추출되고, 추출된 특징들에 기반하여 입력된 얼굴이 위조 얼굴인지 여부가 판정된다. 얼굴 스푸핑은 사진, 동영상 또는 마스크 등을 이용하는 공격 형태를 가지며, 얼굴 인증에 있어 이러한 공격들을 구별해 내는 것은 중요하다.
일 실시예에 따른 라이브니스 검사 방법은, 검사 대상이 나타난 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득하는 단계; 상기 검사 대상이 나타난 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득하는 단계; 및 상기 제1 라이브니스 검사 결과 및 상기 제2 라이브니스 검사 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계
상기 제1 라이브니스 검사 결과를 획득하는 단계는, 상기 컬러 영상을 입력으로 하는 뉴럴 네트워크 기반의 제1 라이브니스 검사 모델을 이용하여 상기 제1 라이브니스 검사 결과를 획득할 수 있다.
상기 제2 라이브니스 검사 결과를 획득하는 단계는, 상기 적외선 영상을 입력으로 하는 뉴럴 네트워크 기반의 제2 라이브니스 검사 모델을 이용하여 상기 제2 라이브니스 검사 결과를 획득할 수 있다.
일 실시예에 따른 라이브니스 검사 방법은, 컬러 값과 적외선 값을 함께 측정할 수 있는 이미지 센서를 이용하여 상기 컬러 영상 및 상기 적외선 영상을 획득하는 단계를 더 포함할 수 있다.
상기 이미지 센서는, R(red) 컬러 값을 측정하기 위한 제1 수광 소자; G(green) 컬러 값을 측정하기 위한 제2 수광 소자; B(blue) 컬러 값을 측정하기 위한 제3 수광 소자; 및 상기 적외선 값을 측정하기 위한 제4 수광 소자를 포함할 수 있다.
상기 제1 라이브니스 검사 결과를 획득하는 단계는, 상기 컬러 영상에서 상기 검사 대상의 제1 관심 영역을 추출하는 단계; 및 상기 추출된 제1 관심 영역에 기초하여 라이브니스 검사를 수행하는 것에 의해 상기 제1 라이브니스 검사 결과를 획득하는 단계를 포함하고, 상기 제2 라이브니스 검사 결과를 획득하는 단계는, 상기 적외선 영상에서 상기 검사 대상의 제2 관심 영역을 추출하는 단계; 및 상기 추출된 제2 관심 영역에 기초하여 라이브니스 검사를 수행하는 것에 의해 상기 제2 라이브니스 검사 결과를 획득하는 단계를 포함할 수 있다.
상기 제1 관심 영역과 상기 제2 관심 영역은 각각 상기 검사 대상의 서로 다른 검사 영역에 대응할 수 있다.
다른 실시예에 따른 라이브니스 검사 방법은, 검사 대상이 나타난 컬러 영상 및 상기 검사 대상이 나타난 적외선 영상에 기초하여 상기 검사 대상의 라이브니스 검사를 위한 검사 데이터를 생성하는 단계; 및 상기 검사 데이터를 입력으로 하는 라이브니스 검사 모델의 출력 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계를 포함할 수 있다.
또 다른 실시예에 따른 라이브니스 검사 방법은, 검사 대상이 나타난 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득하는 단계; 상기 검사 대상이 나타난 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득하는 단계; 상기 컬러 영상 및 상기 적외선 영상에 기초한 검사 데이터에 대해 라이브니스 검사를 수행하여 제3 라이브니스 검사 결과를 획득하는 단계; 및 상기 제1 라이브니스 검사 결과, 상기 제2 라이브니스 검사 결과 및 상기 제3 라이브니스 검사 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 라이브니스 검사 장치는, 검사 대상이 나타난 컬러 영상과 상기 검사 대상이 나타난 적외선 영상을 획득하는 적어도 하나의 이미지 센서; 및 상기 컬러 영상 및 상기 적외선 영상에 기초하여 상기 검사 대상의 라이브니스 검사를 수행하는 프로세서를 포함하고, 상기 프로세서는, 상기 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득하고, 상기 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득하고, 상기 제1 라이브니스 검사 결과 및 상기 제2 라이브니스 검사 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정할 수 있다.
상기 프로세서는, 상기 컬러 영상 및 상기 적외선 영상이 결합된 검사 데이터에 기초하여 라이브니스 검사를 수행하는 것에 의해 제3 라이브니스 검사 결과를 더 획득하고, 상기 제1 라이브니스 검사 결과, 상기 제2 라이브니스 검사 결과 및 상기 제3 라이브니스 검사 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정할 수 있다.
다른 실시예에 따른 라이브니스 검사 장치는, 검사 대상이 나타난 컬러 영상과 상기 검사 대상이 나타난 적외선 영상을 획득하는 적어도 하나의 이미지 센서; 및 상기 컬러 영상 및 상기 적외선 영상에 기초하여 상기 검사 대상의 라이브니스 검사를 수행하는 프로세서를 포함하고, 상기 프로세서는, 검사 대상이 나타난 컬러 영상 및 상기 검사 대상이 나타난 적외선 영상에 기초하여 상기 검사 대상의 라이브니스 검사를 위한 검사 데이터를 생성하고, 상기 검사 데이터를 입력으로 하는 라이브니스 검사 모델의 출력 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정할 수 있다.
도 1은 일 실시예에 따른 라이브니스 검사의 일례를 설명하기 위한 도면이다.
도 2a는 일 실시예에 따른 라이브니스 검사 방법의 동작을 설명하기 위한 흐름도이다.
도 2b는 일 실시예에 따른 라이브니스 검사 방법의 일례를 설명하기 위한 흐름도이다.
도 3은 다른 실시예에 따른 라이브니스 검사 방법의 동작을 설명하기 위한 흐름도이다.
도 4는 또 다른 실시예에 따른 라이브니스 검사 방법의 동작을 설명하기 위한 흐름도이다.
도 5a 및 도 5b는 일 실시예에 따른 라이브니스 검사의 대상이 되는 컬러 영상과 적외선 영상을 획득하는 일례들을 설명하기 위한 도면들이다.
도 6은 일 실시예에 따른 컬러 센서와 적외선 센서가 통합된 통합 이미지 센서의 픽셀 어레이를 도시하는 도면이다.
도 7a 내지 도 7d는 서로 다른 실시예들에 따른 라이브니스 검사 방법을 설명하기 위한 도면들이다.
도 8은 다른 실시예에 따른 라이브니스 검사 방법의 일례를 설명하기 위한 도면이다.
도 9는 또 다른 실시예에 따른 라이브니스 검사 방법의 일례를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 라이브니스 검사 장치의 구성을 도시하는 도면이다.
도 11은 일 실시예에 따른 컴퓨팅 장치의 구성을 도시하는 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 또한, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 달리 명시되지 않는 한 일반적으로 "하나 이상의"를 의미하는 것으로 해석되어야 한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 라이브니스 검사의 일례를 설명하기 위한 도면이다.
라이브니스 검사는 검사 대상(test object)인 객체가 살아있는 객체인지 여부를 검사하는 것으로, 예를 들어 카메라에 의해 촬영된 영상에 나타난 얼굴이 사람의 실제 얼굴(genuine face)인지 아니면 위조 얼굴(fake face)인지 여부를 검사하는 것이다. 일 실시예에 따르면, 라이브니스 검사는 사용자 로그인, 결제 서비스 또는 출입 통제 등에서 수행되는 사용자 인증(user verification)과 관련하여 인증 대상의 라이브니스를 검사하는데 이용될 수 있다. 라이브니스 검사는, 예를 들어 사용자 인증 시스템에서 생명이 없는 객체(예를 들어, 위조 수단으로서 사용된 사진, 종이, 영상 및 모형)와 생명이 있는 객체(예를 들어, 살아있는 사람) 사이를 구별하기 위해 이용될 수 있다. 라이브니스 검사는 사진, 동영상, 마스크 또는 모형과 같은 대체물을 이용한 인증 시도(스푸핑 공격)를 걸러내어 오인증(false acceptance)을 방지하는 역할을 한다.
유효하지 않은 사용자는 위조 기술(spoofing techniques)을 이용하여 사용자 인증 시스템의 오인증을 유발하기 위한 시도를 수행할 수 있다. 예를 들어, 얼굴 인증에서, 유효하지 않은 사용자는 오인증을 유발하기 위해 유효한 사용자의 얼굴이 나타난 컬러 사진, 동영상 또는 유효한 사용자의 얼굴 형상을 묘사한 모형을 컬러 카메라에 제시할 수 있다. 홍채 인증의 경우, 유효하지 않은 사용자는 유효한 사용자의 홍채 영역이 나타난 적외선 사진, 동영상 또는 모형을 적외선 카메라에 제시할 수도 있다. 라이브니스 검사는 이와 같은 위조 기술에 기반한 오인증을 방지하는 역할을 할 수 있다.
라이브니스 검사는 카메라와 같은 영상 획득 장치에 의해 획득된 영상(스틸 영상 또는 동영상)에 기초하여 수행된다. 이하에서 설명할 라이브니스 검사에서는 컬러 영상과 적외선 영상 모두에 기초하여 라이브니스 검사가 수행된다. 일반적으로, 얼굴 인증에서는 컬러 영상에 나타난 얼굴 영역을 분석하며, 홍채 인증에서는 적외선 영상에 나타난 홍채 영역을 분석한다. 이 경우, 기존의 방법에서는 사용자 인증 방법이 얼굴 인증 또는 홍채 인증인지 여부에 따라, 라이브니스 검사도 또한 컬러 영상 또는 적외선 영상에 한정되어 수행되었다. 컬러 영상 또는 적외선 영상의 하나의 영상에 기초하여 라이브니스 검사를 수행하는 것보다, 본 명세서에서 설명하는 것과 같이 동일한 검사 대상을 촬영한 컬러 영상 및 적외선 영상 모두에 기초하여 라이브니스 검사를 수행하면 라이브니스 검사의 정확도를 향상시킬 수 있다. 라이브니스 검사에 있어서, 컬러 영상에 나타난 특징들과 적외선 영상에 나타난 특징들은 상호 보완적인 역할을 할 수 있기 때문이다.
도 1을 참조하면, 라이브니스 검사를 수행하는 장치인 라이브니스 검사 장치는 컴퓨팅 장치(120)에 포함되어 동작할 수 있다. 컴퓨팅 장치(120)는 예를 들어, 스마트폰, 웨어러블 기기(wearable device), 태블릿 컴퓨터, 넷북, 랩탑, 데스크탑, PDA(personal digital assistant), 셋탑 박스, 가전 기기, 생체 도어락, 보안 장치 또는 차량 시동 장치일 수 있다.
일 실시예에 따르면, 사용자는 얼굴 인증 또는 홍채 인증을 통해 컴퓨팅 장치(120)에 대한 사용자 인증을 시도할 수 있다. 예를 들어, 사용자(110)가 컴퓨팅 장치(120)의 잠금 상태를 해제하고자 컴퓨팅 장치(120)에 얼굴 인증을 시도하는 경우, 컴퓨팅 장치(120)는 컬러 카메라(130)를 이용하여 사용자(110)의 얼굴 영상을 획득하고, 획득된 얼굴 영상을 분석하여 컴퓨팅 장치(120)의 잠금 상태를 해제할지 여부를 결정할 수 있다. 다른 예로, 사용자(110)가 컴퓨팅 장치(120)의 잠금 상태를 해제하고자 컴퓨팅 장치(120)에 홍채 인증을 시도하는 경우, 컴퓨팅 장치(120)는 적외선 광원(135)을 활성화시키고, 적외선 카메라(140)를 통해 획득된 사용자(110)의 홍채 영상을 분석하여 컴퓨팅 장치(120)의 잠금 상태를 해제할지 여부를 결정할 수 있다. 사용자 인증이 성공한 경우, 컴퓨팅 장치(120)는 잠금 상태를 해제하고, 사용자(110)의 액세스를 허용할 수 있다. 이와 반대로, 사용자 인증이 실패한 경우, 컴퓨팅 장치(120)는 계속적으로 잠금 상태로 동작할 수 있다.
위와 같은 사용자 인증 과정에서, 사용자 인증 결과가 결정되기 이전에 라이브니스 검사 장치에 의해 사용자 인증의 객체가 살아있는 객체인지 여부를 결정하는 라이브니스 검사가 수행될 수 있다. 일 실시예에 따르면, 라이브니스 검사 결과, 검사 대상이 살아있는 객체인 것으로 결정된 경우, 컴퓨팅 장치(120)는 사용자 인증의 성공 여부를 판단하는 과정을 수행할 수 있다. 이와 반대로, 검사 대상이 살아있지 않은 객체인 것으로 결정된 경우, 컴퓨팅 장치(120)는 사용자 인증의 성공 여부를 판단하는 단계로 넘어가지 않고, 계속적으로 잠금 상태로 동작할 수 있다.
위와 같은 라이브니스 검사 과정에서, 라이브니스 검사 장치는 사용자 인증의 종류와 관계 없이, 컬러 카메라(130)에 의해 획득된 컬러 영상과 적외선 카메라(140)에 의해 획득된 적외선 영상을 모두 이용하여 검사 대상의 라이브니스를 검사한다. 컬러 영상과 적외선 영상을 함께 이용함으로써, 라이브니스 검사에 있어서 검사 대상의 컬러, 반사, 질감 특성이 종합적으로 고려될 수 있다. 적외선 영상은 컬러 영상과 다르게 색상 분포 특성을 나타내지 못하기에, 컬러 영상을 통해 검사 대상의 컬러 특성 및 가시광선의 반사에 따른 질감 특성이 라이브니스 검사에 고려될 수 있다. 적외선 영상을 통해서는 검사 대상의 반사 특성 및 적외선의 반사에 따른 질감 특성이 라이브니스 검사에 반영될 수 있다. 적외선 카메라를 이용하여 획득된 적외선 영상에는 얼굴의 피부 특징이 컬러 영상과 다르게 나타난다.
예를 들어, 유효하지 않은 자가 얼굴 인증의 오인증을 유발하기 위하여 컴퓨팅 장치(120)에 얼굴이 나타난 컬러 사진을 제시하는 경우, 적외선 카메라(140)가 해당 컬러 사진을 촬영하여 획득된 적외선 영상은 적외선 카메라(140)가 직접 검사 대상을 촬영하여 획득된 적외선 영상과 차이가 날 것이다. 또한, 유효하지 않은 자가 홍채 인증의 오인증을 유발하기 위하여 컴퓨팅 장치(120)에 홍채가 나타난 적외선 사진을 제시하는 경우, 컬러 카메라(130)가 해당 적외선 사진을 촬영하여 획득된 컬러 영상은 컬러 카메라(130)가 직접 검사 대상을 촬영하여 획득된 컬러 영상과 차이가 날 것이다. 라이브니스 검사에 있어서 동일한 검사 대상을 촬영한 컬러 영상과 적외선 영상을 모두 이용함으로써, 위 설명된 차이에 기반하여 오인증의 시도가 효과적으로 걸러질 수 있다. 컬러 카메라(130)에 의해 획득된 컬러 영상을 통해 입력 대상이 실제 사람인지 아니면 오인증을 유발하기 위해 제시된 적외선 영상인지 여부가 효과적으로 판단될 수 있고, 적외선 카메라(140)에 의해 획득된 적외선 영상을 통해 입력 대상이 실제 사람인지 아니면 오인증을 유발하기 위해 제시된 컬러 영상인지 여부가 효과적으로 판단될 수 있다. 이와 같이, 컬러 영상과 적외선 영상을 함께 이용하여 라이브니스 검사를 수행함으로써 라이브니스 검사의 정확도가 개선될 수 있다.
라이브니스 검사 장치는 라이브니스 검사를 위해 라이브니스 검사 모델을 이용한다. 일 실시예에 따르면, 라이브니스 검사 모델은 입력 데이터에 기초하여 내부 파라미터들에 의해 계산된 값을 출력하는 뉴럴 네트워크일 수 있다. 적외선 영상과 컬러 영상을 복합적으로 고려하여 라이브니스 검사 결과를 도출하는 뉴럴 네트워크 기반의 라이브니스 검사 모델을 이용함으로써 라이브니스의 검출 성능과 정확성이 높아질 수 있다. 라이브니스 검사 모델의 내부 파라미터들은 라이브니스 검사 모델의 학습(training) 과정을 통해 결정될 수 있다. 예를 들어, 학습 과정에서는, 많은 수의 학습 데이터(training data)와 각 학습 데이터에 대응하는 라이브니스 검사 모델의 목적 값들(desired values)이 존재하고, 라이브니스 검사 모델에 특정한 학습 데이터가 입력되었을 때, 라이브니스 검사 모델이 해당 학습 데이터에 대응하는 목적 값을 출력하도록 라이브니스 검사 모델의 내부 파라미터들을 조정하는 과정이 수행된다. 이러한 과정이 각 학습 데이터들에 대해 수행됨에 따라 내부 파라미터들은 점차 바람직한 출력 값을 출력하도록 조정될 수 있다. 학습 과정에서 라이브니스 검사 모델은 컬러 특성, 반사 특성, 질감 특성 등의 측면에서 컬러 카메라에 의해 획득된 컬러 영상과 적외선 카메라에 의해 획득된 적외선 영상 간의 차이를 잘 구분하도록 학습된다.
다른 실시예에 따르면, 라이브니스 검사 모델은 뉴럴 네트워크가 아니라, 영상 데이터(예, 픽셀 값)로부터 특징 값을 추출하는 기능을 수행하는 모델일 수도 있다. 예를 들어, 라이브니스 검사 모델은 알려진 영상의 특징 추출 기법을 통해 검사 대상의 컬러 특징, 반사 특징 내지 질감 특징을 반영하는 특징 값을 추출할 수 있다.
이하에서는, 도면들을 참조하여 라이브니스 검사 장치가 컬러 영상 및 적외선 영상에 기반하여 검사 대상의 라이브니스를 검사하는 방법을 보다 상세히 설명한다.
도 2a는 일 실시예에 따른 라이브니스 검사 방법의 동작을 설명하기 위한 흐름도이다.
도 2a를 참조하면, 단계(210)에서 라이브니스 검사 장치는 컬러 영상과 적외선 영상을 수신한다. 컬러 영상과 적외선 영상은 서로 구별되어 컬러 값과 적외선 값을 따로 센싱하는 이미지 센서(또는, 카메라)들, 또는 컬러 값과 적외선 값을 함께 측정할 수 있는 단일의 이미지 센서에 의해 획득될 수 있다. 컬러 영상과 적외선 영상은 동시에 촬영되거나 또는 특정한 시간 간격을 가지고 촬영된 영상들일 수 있다.
일 실시예에서, 컬러 영상과 적외선 영상은 동일한 검사 대상(예, 사용자 인증을 시도한 객체)을 촬영한 영상들로서, 검사 대상의 관심 영역을 포함할 수 있다. 실시예에 따라, 라이브니스 검사를 위해 컬러 영상과 적외선 영상으로부터 동일 종류의 관심 영역(예, 얼굴 영역 또는 홍채 영역)이 검출되거나 또는 컬러 영상과 적외선 영상으로부터 각각 서로 다른 특성/종류의 관심 영역이 검출될 수 있다. 예를 들어, 라이브니스 검사를 위해, 컬러 영상으로부터는 전체 얼굴 영역이 추출되고, 적외선 영상으로부터는 부분 얼굴 영역이 검출된다거나 또는 컬러 영상으로부터는 얼굴 영역이 검출되고, 적외선 영상으로부터는 홍채 영역이 검출될 수 있다. 이하에서, 라이브니스 검사에 이용되는 컬러 영상은 해당 컬러 영상으로부터 검출된 관심 영역에 대응하는 영상이고, 라이브니스 검사에 이용되는 적외선 영상은 해당 적외선 영상으로부터 검출된 관심 영역에 대응하는 영상일 수 있다.
도면에는 도시되어 있지 않지만, 실시예에 따라 라이브니스 검사 장치는 수신한 컬러 영상 및 적외선 영상 중 하나 이상에 대해 영상 전처리를 수행할 수 있다. 영상 전처리 과정은 컬러 영상 및/또는 적외선 영상을 라이브니스 검사에 보다 적합한 형태로 처리하는 하나 이상의 과정을 포함할 수 있다. 예를 들어, 영상 전처리 과정은 영상의 크기를 조정하는 과정, 영상을 회전하는 과정, 영상에 포함된 노이즈를 제거하는 과정, 영상의 컨트라스트(contrast)를 증가시키는 과정, 영상에 포함된 블러(blur)를 제거하는 디블러링(deblurring) 과정, 영상에서 배경 영역(background region)을 제거하는 과정, 영상에 포함된 왜곡(distortion)을 보정하는 와핑(warping) 과정, 영상에서 특정 영역을 크롭핑(cropping)하는 과정 또는 영상을 이진화(binarization)하는 과정을 포함할 수 있다.
단계(220)에서, 라이브니스 검사 장치는 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득한다. 일 실시예에서, 라이브니스 검사 장치는 제1 라이브니스 검사 모델을 이용하여 컬러 영상에 대한 제1 라이브니스 검사 결과를 획득할 수 있다. 제1 라이브니스 검사 결과는 컬러 영상에 검사 대상의 라이브니스와 관련된 특징이 잘 나타나 있는지 여부를 판단한 정보를 포함한다. 제1 라이브니스 검사 모델은 제1 라이브니스 검사 모델에 입력된 정보에 기초하여 검사 대상의 라이브니스를 결정하기 위한 정보(예를 들어, 확률 값 또는 특징 값)를 제공하는 모델이다.
일 실시예에서, 제1 라이브니스 검사 모델은 컬러 영상을 입력으로 하는 뉴럴 네트워크 기반의 라이브니스 검사 모델일 수 있다. 예를 들어, 제1 라이브니스 검사 모델은 깊은 컨볼루션 뉴럴 네트워크(Deep Convolutional Neural Network; DCNN)에 기초할 수 있다. DCNN은 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하고, 각 레이어에 의해 수행되는 연산 과정을 통해 제1 라이브니스 검사 모델에 입력되는 영상 정보로부터 라이브니스의 판단을 위한 정보를 제공할 수 있다. 여기서, 영상 정보는 영상에 포함된 픽셀들의 픽셀 값(예를 들어, 컬러 값 및/또는 밝기 값)이다. 위 DCNN은 일 실시예에 불과하며, 제1 라이브니스 검사 모델은 DCNN 이외의 다른 구조의 뉴럴 네트워크에 기초할 수도 있다.
제1 라이브니스 검사 모델을 구성하는 파라미터들은 학습 데이터(training data)에 기초한 학습 과정을 통해 결정된 파라미터들일 수 있다. 학습 과정의 경우, 많은 수의 학습 데이터와 각 학습 데이터에 대응되는 바람직한 목적 값이 존재한다. 제1 라이브니스 검사 모델은 학습 데이터를 입력 받고, 파라미터들에 기초한 계산 과정을 통해 학습 데이터에 대응하는 결과 값을 출력한다. 출력된 결과 값과 목적 값 간의 차이로 인한 손실(loss)이 계산되고, 해당 손실이 줄어들도록 제1 라이브니스 검사 모델을 구성하는 파라미터들을 조정하는 것에 의해 제1 라이브니스 검사 모델이 학습될 수 있다. 많은 수의 학습 데이터 각각에 대해 이와 같은 과정을 반복적으로 수행함으로써 제1 라이브니스 검사 모델의 파라미터들은 점차 바람직한 방향으로 조정될 수 있다.
제1 라이브니스 검사 모델은 위 실시예와 같이 뉴럴 네트워크에 기반할 수 있으나, 실시예의 범위가 이에 한정되는 것으로 해석되면 안 된다. 예를 들어, 제1 라이브니스 검사 모델은 뉴럴 네트워크가 아니라 알려진 특징 추출 기법을 통해 제1 라이브니스 검사 모델에 입력된 컬러 영상으로부터 검사 대상의 컬러 특징, 반사 특징 또는 질감 특징을 반영하는 특징 값을 출력하는 모델일 수도 있다.
제1 라이브니스 검사 결과는 제1 라이브니스 검사 모델로부터 출력된 제1 출력 값에 기초하여 결정된 검사 대상의 라이브니스 여부(즉, 검사 대상이 살아있는 객체인지 여부)일 수 있다. 예를 들어, 제1 라이브니스 검사 결과는 검사 대상이 살아있는 객체임을 나타내기 위한 결과 값이거나 또는 검사 대상이 살아있지 않은 객체임을 나타내기 위한 결과 값 중 어느 하나일 수 있다. 다른 예에서, 제1 라이브니스 검사 결과는 제1 라이브니스 검사 모델로부터 출력된 제1 출력 값에 기초한 제1 스코어일 수도 있다. 예를 들어, 제1 스코어는 제1 출력 값과 동일하거나 또는 제1 출력 값을 요소로 하는 미리 정의된 계산식에 의해 계산된 값일 수 있다.
단계(230)에서, 라이브니스 검사 장치는 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득한다. 라이브니스 검사 장치는 적외선 영상을 입력으로 하는 뉴럴 네트워크 기반의 제2 라이브니스 검사 모델을 이용하여 제2 라이브니스 검사 결과를 획득할 수 있다. 제2 라이브니스 검사 결과는 적외선 영상에 검사 대상의 라이브니스와 관련된 특징이 잘 나타나 있는지 여부를 판단한 정보를 포함한다.
제1 라이브니스 검사 모델과 유사하게, 제2 라이브니스 검사 모델은 제2 라이브니스 검사 모델에 입력된 정보에 기초하여 검사 대상의 라이브니스를 결정하기 위한 정보(예를 들어, 확률 값 또는 특징 값)를 제공하는 모델이다. 제2 라이브니스 검사 모델도 깊은 컨볼루션 뉴럴 네트워크이거나 또는 깊은 컨볼루션 뉴럴 네트워크와 다른 구조를 가지는 뉴럴 네트워크일 수 있다. 또는, 제2 라이브니스 검사 모델은 뉴럴 네트워크가 아닌, 알려진 특징 추출 기법을 통해 제2 라이브니스 검사 모델에 입력된 적외선 영상으로부터 검사 대상의 컬러 특징, 반사 특징 또는 질감 특징을 반영하는 특징 값을 출력하는 모델일 수도 있다.
일 실시예에서, 제2 라이브니스 검사 결과는 제2 라이브니스 검사 모델로부터 출력된 제2 출력 값에 기초하여 결정된 검사 대상의 라이브니스 여부(즉, 검사 대상이 살아있는 객체인지 여부)일 수 있다. 예를 들어, 제2 라이브니스 검사 결과는 검사 대상이 살아있는 객체임을 나타내기 위한 결과 값이거나 또는 검사 대상이 살아있지 않은 객체임을 나타내기 위한 결과 값 중 어느 하나일 수 있다.
다른 실시예에서, 제2 라이브니스 검사 결과는 제2 라이브니스 검사 모델로부터 출력된 제2 출력 값에 기초한 제2 스코어일 수 있다. 예를 들어, 제2 스코어는 제2 출력 값과 동일하거나 또는 제2 출력 값을 요소로 하는 미리 정의된 계산식에 의해 계산된 값일 수 있다.
단계(240)에서, 라이브니스 검사 장치는 제1라이브니스 검사 결과 및 제2 라이브니스 검사 결과에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정한다.
일 실시예에서, 제1 라이브니스 검사 결과와 제2 라이브니스 검사 결과가 검사 대상이 살아있는 객체인지 여부를 나타내는 결과 값인 경우, 라이브니스 검사 장치는 제1 라이브니스 검사 결과와 제2 라이브니스 검사 결과 모두에서 검사 대상이 살아있는 객체인 것으로 결정되었을 때 검사 대상을 살아있는 객체로 최종 결정할 수 있다. 이와 다르게, 제1 라이브니스 검사 결과와 제2 라이브니스 검사 결과 중 어느 하나 이상에서 검사 대상이 살아있지 않은 객체인 것으로 결정된 경우, 라이브니스 검사 장치는 검사 대상이 살아있지 않은 객체인 것으로 최종 결정할 수 있다.
다른 실시예에서, 제1 라이브니스 검사 결과와 제2 라이브니스 검사 결과가 각각 제1 스코어와 제2 스코어인 경우, 라이브니스 검사 장치는 제1 스코어와 제2 스코어에 기초한 조합 값이 임계 값보다 큰 경우, 검사 대상을 살아있는 객체로 결정할 수 있다. 이와 다르게, 해당 조합 값이 임계 값보다 크지 않은 경우, 검사 대상은 살아있지 않은 객체인 것으로 결정될 수 있다. 여기서 조합 값은, 예를 들어 제1 스코어와 제2 스코어의 합, 평균 값 또는 가중 합 등에 의해 결정될 수 있으나, 실시예의 범위가 이에 한정되는 것은 아니며 다양한 방식에 의해 조합 값이 결정될 수 있다.
라이브니스 검사 장치는 라이브니스의 검사 결과에 응답하여 제어 동작을 수행할 수 있다. 일 실시예에서, 검사 대상이 살아있는 객체인 것으로 최종 결정된 경우, 라이브니스 검사 장치는 사용자 인증 절차의 실행을 요청하기 위한 제어 신호를 생성할 수 있다. 이와 반대로, 검사 대상이 살아있는 객체가 아닌 것으로 최종 결정된 경우, 라이브니스 검사 장치는 사용자 인증 과정의 실행을 요청하지 않고, 사용자의 액세스를 차단하기 위한 제어 신호를 생성할 수 있다.
도 2a에 도시된 실시예에 따르면, 라이브니스 검사를 위해 컬러 영상과 적외선 영상이 이용되는데, 컬러 영상과 적외선 영상에서 라이브니스 검사에 이용되는 각 관심 영역들은 검사 대상의 서로 동일하거나 서로 다른 검사 영역에 대응할 수 있다. 예를 들어, 관심 영역의 검사 영역이 서로 동일한 경우는, 컬러 영상과 적외선 영상에서 모두 얼굴 영역 또는 홍채 영역을 검출한 후 검출된 얼굴 영역 또는 홍채 영역에 기반하여 라이브니스 검사가 수행된다. 이와 다르게, 라이브니스 검사에 이용되는 관심 영역의 검사 영역이 서로 다를 수도 있는데, 이에 대해서는 도 2b를 참조하여 이하에서 상세히 설명한다.
도 2b는 일 실시예에 따른 라이브니스 검사 방법의 일례를 설명하기 위한 흐름도이다.
도 2b를 참조하면, 단계(252)에서 라이브니스 검사 장치는 얼굴이 나타난 컬러 영상을 수신한다. 단계(262)에서, 라이브니스 검사 장치는 컬러 영상에서 얼굴 영역을 포함하는 제1 관심 영역을 검출한다. 예를 들어, 라이브니스 검사 장치는 컬러 영상에서 Haar 기반의 캐스케이드 에이다부스트 분류기(Haar-based cascade adaboost classifier)를 이용하여 제1 관심 영역을 검출할 수 있다. 다른 예로, 라이브니스 검사 장치는 컬러 영상에서 얼굴의 랜드마크들(facial landmarks)을 검출하고, 검출된 얼굴의 랜드마크들의 위치에 기초하여 제1 관심 영역을 결정할 수도 있다.
단계(272)에서, 라이브니스 검사 장치는 제1 관심 영역에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득한다. 여기서, 제1 라이브니스 검사 결과를 획득하는 과정은, 제1 라이브니스 검사 모델에 제1 관심 영역의 영상 데이터가 입력되는 것 이외에는, 도 2a의 단계(220)의 제1 라이브니스 검사 결과를 획득하는 과정과 동일하며 자세한 설명은 생략한다.
단계(254)에서 라이브니스 검사 장치는 홍채가 나타난 적외선 영상을 수신한다. 단계(264)에서, 라이브니스 검사 장치는 적외선 영상에서 홍채 영역을 포함하는 제2 관심 영역을 검출한다. 라이브니스 검사 장치는 적외선 영상에서 얼굴의 랜드마크들을 검출하고, 검출된 얼굴의 랜드마크들에 기초하여 눈 영역을 검출할 수 있다. 라이브니스 검사 장치는 검출된 눈 영역에서 홍채 영역을 검출하고, 홍채 영역을 포함하는 제2 관심 영역을 설정할 수 있다.
단계(274)에서, 라이브니스 검사 장치는 제2 관심 영역에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득한다. 여기서, 제2 라이브니스 검사 결과를 획득하는 과정은, 제2 라이브니스 검사 모델에 제2 관심 영역의 영상 데이터가 입력되는 것 이외에는, 도 2a의 단계(230)의 제2 라이브니스 검사 결과를 획득하는 과정과 동일하며 자세한 설명은 생략한다.
단계(280)에서, 라이브니스 검사 장치는 제1 라이브니스 검사 결과 및 제2 라이브니스 검사 결과에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정한다. 이에 대해서는 도 2a의 단계(240)에 대한 설명이 그대로 적용될 수 있다.
도 2b의 실시예에서는, 제1 관심 영역과 제2 관심 영역이 각각 검사 대상의 서로 다른 검사 영역에 대응하는 일례(제1 관심 영역은 얼굴 영역이고, 제2 관심 영역은 홍채 영역인 경우)를 설명하였다. 다만, 실시예의 범위가 본 일례에 한정되는 것은 아니며, 컬러 영상과 적외선 영상의 각각에서 검출되는 관심 영역의 종류에는 제한이 없다. 예를 들어, 라이브니스 검사를 위해 컬러 영상에서 검출된 홍채 영역과 적외선 영상에서 검출된 얼굴 영역이 이용될 수도 있다. 또한, 라이브니스 검사를 위해 컬러 영상에서 검출된 전체 얼굴 영역과 적외선 영상에서 검출된 부분 얼굴 영역이 이용될 수도 있다.
도 3은 다른 실시예에 따른 라이브니스 검사 방법의 동작을 설명하기 위한 흐름도이다.
도 3을 참조하면, 단계(310)에서 라이브니스 검사 장치는 컬러 영상과 적외선 영상을 수신한다. 단계(310)에는 도 2a의 단계(210)에서 설명한 내용이 그대로 적용될 수 있으며, 자세한 설명은 생략한다.
단계(320)에서, 라이브니스 검사 장치는 컬러 영상 및 적외선 영상에 기초하여 검사 대상의 라이브니스 검사를 위한 검사 데이터를 생성한다. 일 실시예에서, 라이브니스 검사 장치는 컬러 영상과 적외선 영상을 결합시키는 것에 의해 검사 데이터를 생성할 수 있다. 예를 들어, 컬러 영상과 적외선 영상을 결합(concatenation)시키는 것에 의해 검사 데이터가 생성될 수 있다.
단계(330)에서, 라이브니스 검사 장치는 단계(320)에서 생성된 검사 데이터에 대해 라이브니스 검사를 수행하여 검사 대상이 살아있는 객체인지 여부를 결정한다. 라이브니스 검사 장치는 검사 데이터를 입력으로 하는 라이브니스 검사 모델의 출력 결과에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정할 수 있다. 일 실시예에서, 라이브니스 검사 모델은 검사 데이터를 입력으로 하고, 입력된 검사 데이터에 대응하는 결과 값을 출력하는 DCNN에 대응할 수 있다. 해당 DCNN은 내부 파라미터들에 기초하여 검사 데이터에 대응하는 특정한 결과 값을 출력하고, 출력된 결과 값에 기초하여 라이브니스 검사 결과를 판정하기 위한 스코어가 계산될 수 있다. 예를 들어, 스코어는 라이브니스 검사 모델로부터 출력된 결과 값과 동일하거나 해당 결과 값을 요소로 하는 미리 정의된 계산식에 의해 계산된 값일 수 있다. 라이브니스 검사 장치는 해당 스코어와 미리 설정된 임계 값 간의 비교 결과에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정한다. 예를 들어, 스코어가 임계 값보다 크면 임계 값보다 큰 경우, 검사 대상을 살아있는 객체로 결정할 수 있다. 이와 다르게, 해당 스코어가 임계 값보다 크지 않은 경우, 검사 대상은 살아있지 않은 객체인 것으로 결정될 수 있다. 본 실시예와 같이, 라이브니스 검사 모델은 DCNN일 수 있으나, 실시예의 범위가 이에 한정되는 것은 아니고, 라이브니스 검사 모델은 DCNN와는 다른 구조를 가지는 뉴럴 네트워크일 수 있다. 또는, 라이브니스 검사 모델은 뉴럴 네트워크가 아닌 알려진 영상의 특징 추출 기법을 통해 검사 대상의 컬러 특징, 반사 특징 내지 질감 특징을 반영하는 특징 값을 추출하는 모델일 수도 있다.
도 4는 또 다른 실시예에 따른 라이브니스 검사 방법의 동작을 설명하기 위한 흐름도이다. 도 4에 도시된 실시예는 도 2a의 실시예와 도 3의 실시예가 결합된 일례이다.
도 4를 참조하면, 단계(410)에서 라이브니스 검사 장치는 컬러 영상과 적외선 영상을 수신한다. 단계(410)은 도 2a의 단계(210)의 과정에 대한 설명이 그대로 적용될 수 있으며, 자세한 설명은 생략한다.
단계(420)에서, 라이브니스 검사 장치는 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득한다. 여기서, 제1 라이브니스 검사 결과를 획득하는 과정은, 도 2a의 단계(220)에서 제1 라이브니스 검사 결과를 획득하는 과정과 동일하며, 자세한 설명은 생략한다.
단계(430)에서, 라이브니스 검사 장치는 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득한다. 여기서, 제2 라이브니스 검사 결과를 획득하는 과정은, 도 2a의 단계(230)에서 제2 라이브니스 검사 결과를 획득하는 과정과 동일하며, 자세한 설명은 생략한다.
단계(440)에서, 라이브니스 검사 장치는 적외선 영상 및 컬러 영상에 기초한 검사 데이터에 대해 라이브니스 검사를 수행하여 제3 라이브니스 검사 결과를 획득한다. 단계(440)의 과정에는, 도 3의 단계(320)의 검사 데이터를 생성하는 과정에 대한 설명이 그대로 적용될 수 있다. 예를 들어, 라이브니스 검사 장치는 컬러 영상과 적외선 영상을 하나의 영상으로서 결합시키는 것에 의해 검사 데이터를 생성하고, 생성된 검사 데이터를 입력으로 하는 라이브니스 검사 모델을 이용하여 제3 라이브니스 검사 결과를 획득할 수 있다. 다른 예로, 라이브니스 검사 모델에 적외선 영상과 컬러 영상이 각각 입력되고, 라이브니스 검사 모델의 중간 레이어 단계에서 컬러 영상과 적외선 영상에 기반한 검사 데이터가 생성된 후, 라이브니스 검사 모델을 통해 검사 대상의 라이브니스를 판단하기 위한 스코어가 출력될 수 있다.
단계(450)에서, 라이브니스 검사 장치는 제1 라이브니스 검사 결과, 제2 라이브니스 검사 결과 및 제3 라이브니스 검사 결과에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정한다. 일 실시예에서, 라이브니스 검사 장치는 제1 라이브니스 검사 결과로부터 도출된 제1 스코어, 제2 라이브니스 검사 결과로부터 도출된 제2 스코어 및 제3 라이브니스 검사 결과로부터 도출된 제3 스코어에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정할 수 있다. 라이브니스 검사 장치는 제1 스코어, 제2 스코어 및 제3 스코어에 기초한 조합 값과 임계 값을 비교하여 조합 값이 임계 값보다 크면 검사 대상을 살아있는 객체로 결정하고, 조합 값이 임계 값 이하이면 검사 대상을 살아있지 않은 객체인 것으로 결정할 수 있다. 여기서 조합 값은, 예를 들어 제1 스코어, 제2 스코어와 제3 스코어의 합, 평균 값 또는 가중 합 등에 의해 결정될 수 있으나, 실시예의 범위가 이에 한정되는 것은 아니며 다양한 방식에 의해 조합 값이 결정될 수 있다.
다른 실시예에서, 라이브니스 검사 장치는 제1 라이브니스 검사 결과, 제2 라이브니스 검사 결과 및 제3 라이브니스 검사 결과 각각에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정하고, 해당 결정들 중 두 개 이상의 라이브니스 검사 결과에서 검사 대상이 살아있는 객체인 것으로 결정되면, 검사 대상이 최종적으로 살아있는 객체인 것으로 결정될 수 있다. 실시예에 따라, 위 결정들 중 한 개 이상 또는 세 개의 라이브니스 검사 결과에서 해당 검사 대상이 살아있는 객체인 것으로 결정되어야 최종적으로 검사 대상이 살아있는 객체인 것으로 결정되는 것도 가능하다.
도 5a 및 도 5b는 일 실시예에 따른 라이브니스 검사의 대상이 되는 컬러 영상과 적외선 영상을 획득하는 일례들을 설명하기 위한 도면들이다.
도 5a를 참조하면, 컬러 영상과 적외선 영상은 별개의 이미지 센서들(515, 535)을 통해 획득될 수 있다. 예를 들어, 사용자(510)가 사용자 인증을 위해 얼굴 또는 홍채를 촬영하고자 하는 경우, 컬러 이미지 센서(515)를 통해 사용자 인증을 위한 컬러 영상이 획득되고, 적외선 이미지 센서(535)를 통해 사용자 인증을 위한 적외선 영상이 획득된다. 적외선 영상은, IR(infrared rays) 광원(530)으로부터 방사된 적외선이 사용자(510)에 의해 반사된 후 적외선 이미지 센서(535)에 의해 그 반사된 적외선이 센싱됨으로써 획득될 수 있다. 일 실시예에서, 컬러 이미지 센서(515)는 컬러 이미지 센서(515)에 입사되는 적외선을 차단하기 위한 적외선 차단 필터(IR cut-off filer; 520)와 R(red), G(green) 및 B(blue)의 컬러 값을 센싱하기 위한 컬러 픽셀 어레이(525)를 포함할 수 있다. 적외선 이미지 센서(535)는 적외선 이미지 센서(535)에 입사되는 적외선을 통과시키는 적외선 패스 필터(540)와 적외선 값을 센싱하기 위한 적외선 픽셀 어레이(545)를 포함할 수 있다. 도면에는 일부의 컬러 픽셀 어레이(525)와 일부의 적외선 픽셀 어레이(545)가 도시되어 있다.
라이브니스 검사 장치(500)는 사용자(510)에 대한 라이브니스 검사가 필요한 경우, 컬러 이미지 센서(515)와 적외선 이미지 센서(535)로부터 각각 컬러 영상과 적외선 영상을 수신하고, 수신한 컬러 영상과 적외선 영상에 기초하여 라이브니스 검사를 수행한다.
도 5b를 참조하면, 컬러 영상과 적외선 영상은 단일의 이미지 센서(530)에 의해 획득될 수도 있다. 라이브니스 검사를 위해 검사 대상에 대한 컬러 영상과 적외선 영상이 필요한 경우, 라이브니스 검사 장치(580)는 IR 광원(530)을 활성화시키고, 통합 이미지 센서(535)에 의해 센싱된 이미지 정보를 수신한다. 일 실시예에서, 통합 이미지 센서(535)는 통합 이미지 센서(535)에 입사되는 적외선을 차단하는 적외선 차단 영역(555)과 해당 적외선을 통과시키는 적외선 패스 영역(560)을 포함하는 광학 필터와 컬러 값과 적외선 값을 센싱하기 위한 픽셀 어레이(570)를 포함할 수 있다. 도면에는 일부의 픽셀 어레이(570)만이 도시되어 있으며, 통합 이미지 센서(535)에는 픽셀 어레이(570)에 나타난 픽셀 구조가 반복적으로 배치된 픽셀 어레이를 포함할 수 있다.
통합 이미지 센서(535)는 이러한 픽셀 어레이(570)를 통해 컬러 값과 적외선 값을 함께 측정할 수 있다. 픽셀 어레이(570)는 R(red) 컬러 값을 측정하기 위한 제1 수광 소자, G(green) 컬러 값을 측정하기 위한 제2 수광 소자, B(blue) 컬러 값을 측정하기 위한 제3 수광 소자와 적외선 값을 측정하기 위한 제4 수광 소자를 포함할 수 있다. 라이브니스 검사 장치(580)는 통합 이미지 센서(535)에 의해 측정된 컬러 값과 적외선 값을 서로 분리시키고, 분리 결과에 기초하여 컬러 영상과 적외선 영상을 생성할 수 있다. 라이브니스 검사 장치(580)는 생성된 컬러 영상과 적외선 영상에 기초하여 라이브니스 검사를 수행한다.
도 6은 일 실시예에 따른 컬러 센서와 적외선 센서가 통합된 통합 이미지 센서의 픽셀 어레이를 도시하는 도면이다.
도 6을 참조하면, 컬러 영상과 적외선 영상을 함께 획득할 수 있는 통합 이미지 센서의 픽셀 어레이가 도시되어 있다. 여기서, 픽셀 어레이는 도 5의 픽셀 어레이(570)에 대응할 수 있다. 픽셀 어레이는 복수의 픽셀 단위(610)들을 포함할 수 있으며, 각 픽셀 단위(610)는 RGB 컬러 값을 센싱하기 위한 컬러 픽셀들(622, 624, 626)과 적외선 값을 센싱하기 위한 적외선 픽셀(630)을 포함할 수 있다. 픽셀 어레이는 이러한 픽셀 단위(610)가 반복적으로 배열된 형태를 가질 수 있다. 각 컬러 픽셀들(622, 624, 626)은 각 컬러 픽셀들(622, 624, 626)에 대응되는 컬러 값을 센싱하기 위한 수광 소자를 포함하고, 적외선 픽셀(630)은 적외선 값을 센싱하기 위한 수광 소자를 포함한다. 픽셀 단위(610)에 컬러 픽셀들(622, 624, 626)과 적외선 픽셀(630)이 배치되는 순서는 도면에 도시된 일례에 한정되지 아니하며, 다양한 변형이 가능하다. 이와 같은 통합 이미지 센서를 통해 컬러 영상과 적외선 영상이 획득되는 위치 또는 촬영 각도 간의 차이가 줄어들 수 있다.
도 7a 내지 도 7d는 서로 다른 실시예들에 따른 라이브니스 검사 방법을 설명하기 위한 도면들이다.
도 7a를 참조하면, 홍채 인증 과정에서 라이브니스 검사가 수행되는 일 실시예가 도시된다. 라이브니스 검사를 위해 홍채 영역이 나타난 컬러 영상(710)이 제1 라이브니스 검사 모델(720)에 입력되고, 홍채 영역이 촬영된 적외선 영상(715)이 제2 라이브니스 검사 모델(725)에 입력된다. 제1 라이브니스 검사 모델(720)과 제2 라이브니스 검사 모델(725)에 각각 컬러 영상(710)과 적외선 영상(715)이 입력되기 이전에 영상 크롭핑, 관심 영역 추출 및 영상 해상도 변환 등의 다양한 영상 전처리 과정이 수행될 수도 있다. 제1 라이브니스 검사 모델(720)은 컬러 영상(710)에 대응하는 제1 라이브니스 검사 결과를 출력할 수 있다. 제1 라이브니스 검사 모델(720)은, 예를 들어 입력된 컬러 영상(710)의 영상 데이터(예, 컬러 값 또는 휘도 값)를 기초로 뉴럴 네트워크의 내부 파라미터들에 의해 정해지는 계산 과정을 통해 컬러 영상(710)에 대응하는 제1 스코어를 출력할 수 있다. 제2 라이브니스 검사 모델(725)은 적외선 영상(715)에 대응하는 제2 라이브니스 검사 결과를 출력할 수 있다. 제2 라이브니스 검사 모델(725)은, 예를 들어 입력된 적외선 영상(720)의 영상 데이터(예, 적외선 값)를 기초로 뉴럴 네트워크의 내부 파라미터들에 의해 정해지는 계산 과정을 통해 적외선 영상(715)에 대응하는 제2 스코어를 출력할 수 있다.
라이브니스 검사 장치는 제1 라이브니스 검사 모델(720)로부터 출력된 제1 스코어와 제2 라이브니스 검사 모델(725)로부터 출력된 제2 스코어에 기초하여 라이브니스 검사 결과를 결정(730)한다. 일례로, 라이브니스 검사 장치는 제1 스코어와 제2 스코어가 각각 미리 정해진 임계 값보다 큰 경우 또는 제1 스코어와 제2 스코어의 조합 값이 임계 값보다 큰 경우, 검사 대상이 살아있는 객체인 것으로 결정할 수 있다. 제1 스코어와 제2 스코어에 기초하여 라이브니스 검사 결과를 결정하는 과정은 위 일례에 한정되지 아니하며, 다양한 방식으로 라이브니스 검사 결과가 결정될 수 있다.
도 7b를 참조하면, 얼굴 인증 과정에서 라이브니스 검사가 수행되는 일 실시예가 도시된다. 라이브니스 검사를 위해 얼굴 영역이 촬영된 컬러 영상(740)이 제1 라이브니스 검사 모델(750)에 입력되고, 얼굴 영역이 촬영된 적외선 영상(745)이 제2 라이브니스 검사 모델(755)에 입력된다. 도 7a에 도시된 실시예와 유사하게, 라이브니스 검사 장치는 제1 라이브니스 검사 모델(750)로부터 출력된 제1 스코어와 제2 라이브니스 검사 모델(755)로부터 출력된 제2 스코어에 기초하여 라이브니스 검사 결과를 결정(760)할 수 있다.
도 7c를 참조하면, 도 7a에 도시된 제1 라이브니스 검사 모델(720)과 제2 라이브니스 검사 모델(725)은 하나의 통합된 라이브니스 검사 모델(770)로 대체될 수 있다. 컬러 영상(710)과 적외선 영상(715)이 각각 개별적으로 라이브니스 검사 모델(770)에 입력되고, 라이브니스 검사 모델(770)의 내부 파라미터들에 기초한 계산 과정을 통해 라이브니스 검사 모델(770)로부터 스코어가 출력될 수 있다. 이 때, 컬러 영상(710)의 특징과 적외선 영상(715)의 특징은 라이브니스 검사 모델(770)의 중간 레이어 단계에서 융합되고, 융합된 결과에 기초하여 스코어가 계산될 수 있다. 라이브니스 검사 장치는 위 스코어에 기초하여 라이브니스 검사 결과를 결정(780)할 수 있다. 예를 들어, 스코어가 미리 정해진 기준을 만족하면 검사 대상이 살아있는 객체인 것으로 결정될 수 있다.
도 7d를 참조하면, 컬러 영상과 적외선 영상에서 라이브니스 검사를 위해 이용되는 관심 영역의 종류가 서로 다른 실시예로서, 컬러 영상(712)에서는 얼굴 영역이 이용되고, 적외선 영상(714)에서는 홍채 영역(또는 눈 영역)이 이용되는 일례가 도시되어 있다.
라이브니스 검사를 위해 컬러 영상(710)에서 얼굴 영역을 포함하는 제1 관심 영역(722)이 검출되고, 검출된 제1 관심 영역(722)은 제1 라이브니스 검사 모델(762)에 입력된다. 제1 라이브니스 검사 모델(762)은 내부 파라미터들에 기초한 계산 과정을 통해 제1 관심 영역(722)에 대응하는 제1 라이브니스 검사 결과를 출력할 수 있다. 또한, 라이브니스 검사를 위해 적외선 영상(714)에서 홍채 영역(또는 눈 영역)을 포함하는 제2 관심 영역(724)이 검출되고, 검출된 제2 관심 영역(724)은 제2 라이브니스 검사 모델(764)에 입력된다. 제2 라이브니스 검사 모델(764)은 내부 파라미터들에 기초한 계산 과정을 통해 제2 관심 영역(724)에 대응하는 제2 라이브니스 검사 결과를 출력할 수 있다. 라이브니스 검사 장치는 제1 라이브니스 검사 결과와 제2 라이브니스 검사 결과에 기초하여 최종적인 라이브니스 검사 결과를 결정(790)한다.
도 8은 다른 실시예에 따른 라이브니스 검사 방법의 일례를 설명하기 위한 도면이다.
도 8을 참조하면, 컬러 영상(710)과 적외선 영상(715)에 기초하여 라이브니스 검사를 위한 검사 데이터가 생성될 수 있다. 예를 들어, 컬러 영상(710)과 적외선 영상을 하나의 데이터로 결합(concatenation)시키는 것에 의해 검사 데이터가 생성될 수 있다. 생성된 검사 데이터는 라이브니스 검사 모델(810)에 입력되고, 라이브니스 검사 모델(810)의 내부 파라미터들에 기초한 계산 과정을 통해 라이브니스 검사 모델(810)로부터 검사 데이터에 대응하는 결과 값이 출력될 수 있다. 라이브니스 검사 장치는 해당 결과 값에 기초하여 검사 대상에 대한 라이브니스 검사 결과를 결정(940)할 수 있다. 예를 들어, 결과 값 또는 결과 값에 기초한 스코어가 미리 정해진 기준을 만족하면 검사 대상이 살아있는 객체인 것으로 결정될 수 있다.
도 9는 또 다른 실시예에 따른 라이브니스 검사 방법의 일례를 설명하기 위한 도면이다.
도 9를 참조하면, 도 7a에 도시된 실시예와 유사하게, 컬러 영상(710)과 적외선 영상(715)이 각각 제1 라이브니스 검사 모델(910) 및 제2 라이브니스 검사 모델(920)에 입력되고, 제1 라이브니스 검사 모델(910) 및 제2 라이브니스 검사 모델(920)로부터 각각 제1 라이브니스 검사 결과와 제2 라이브니스 검사 결과가 출력된다. 또한, 도 8에 도시된 실시예와 유사하게, 컬러 영상(710)과 적외선 영상(715)에 기초하여 라이브니스 검사를 위한 검사 데이터가 생성되고, 해당 검사 데이터가 제3 라이브니스 검사 모델(930)에 입력된 후 제3 라이브니스 검사 모델(930)로부터 제3 라이브니스 검사 결과가 출력된다.
라이브니스 검사 장치는 제1 라이브니스 검사 결과, 제2 라이브니스 검사 결과 및 제3 라이브니스 검사 결과에 기초하여 최종적인 라이브니스 검사 결과를 결정(940)한다. 일 실시예에서, 라이브니스 검사 장치는 제1 라이브니스 검사 결과로부터 도출된 제1 스코어, 제2 라이브니스 검사 결과로부터 도출된 제2 스코어 및 제3 라이브니스 검사 결과로부터 도출된 제3 스코어에 기초한 최종 스코어가 임계 값보다 크면 검사 대상이 살아있는 객체인 것으로 결정할 수 있다. 여기서, 최종 스코어는 미리 정의된 계산 방식에 의해 결정될 수 있으며, 계산 방식에는 제한이 없다. 예를 들어, 스코어들의 합산 또는 가중합에 의해 최종 스코어가 결정될 수 있다. 다른 실시예에서, 라이브니스 검사 장치는 제1 스코어, 제2 스코어 및 제3 스코어 중 적어도 두 개 이상이 미리 정의된 기준을 만족시키는지 여부에 따라 검사 대상에 대한 최종적인 라이브니스 검사 결과를 결정할 수도 있다.
또 다른 실시예에서, 라이브니스 검사 장치는 3 개의 라이브니스 검사 결과들 중 일부의 라이브니스 검사 결과만을 이용하여 최종적인 라이브니스 검사 결과를 결정할 수도 있다. 예를 들어, 라이브니스 검사 장치는 사용자 인증의 타입이 얼굴 인증인 경우, 제1 라이브니스 검사 결과와 제3 라이브니스 검사 결과만을 이용하여 최종적인 라이브니스 검사 결과를 결정하고, 사용자 인증의 타입이 홍채 인증인 경우, 제2 라이브니스 검사 결과와 제3 라이브니스 검사 결과만을 이용하여 최종적인 라이브니스 검사 결과를 결정할 수 있다.
도 10은 일 실시예에 따른 라이브니스 검사 장치의 구성을 도시하는 도면이다.
라이브니스 검사 장치(1000)는 동일한 검사 대상을 촬영한 컬러 영상과 적외선 영상에 기초하여 라이브니스 검사를 수행하고, 그 검사 결과를 제공할 수 있다. 라이브니스 검사 장치(1000)는 라이브니스 검사와 관련하여 본 명세서에 기술되거나 또는 도시된 하나 이상의 동작을 수행할 수 있다.
도 10을 참조하면, 라이브니스 검사 장치(1000)는 하나 이상의 프로세서(1010) 및 메모리(1020)를 포함할 수 있다. 메모리(1020)는 프로세서(1010)에 연결되고, 프로세서(1010)에 의해 실행가능한 인스트럭션들, 프로세서(1010)가 연산할 데이터 또는 프로세서(1010)에 의해 처리된 데이터를 저장할 수 있다. 메모리(1020)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
프로세서(1010)는 도 1 내지 도 9를 참조하여 설명된 하나 이상의 동작을 수행할 수 있다. 예를 들어, 프로세서(1010)는 이미지 센서에 의해 획득된 컬러 영상 및 적외선 영상에 기초하여 검사 대상의 라이브니스 검사를 수행하고, 라이브니스 검사의 결과를 출력할 수 있다.
일 실시예에서, 프로세서(1010)는 도 2a 내지 도 2b를 통해 설명한 라이브니스 검사 과정과 같이, 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득하고, 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득할 수 있다. 프로세서(1010)는 획득된 제1 라이브니스 검사 결과와 제2 라이브니스 검사 결과에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정할 수 있다. 일 실시예에서, 제1 라이브니스 검사 결과의 획득을 위해 컬러 영상을 입력으로 하는 뉴럴 네트워크 기반의 제1 라이브니스 검사 모델이 이용되고, 제2 라이브니스 검사 결과의 획득을 위해 적외선 영상을 입력으로 하는 뉴럴 네트워크 기반의 제2 라이브니스 검사 모델이 이용될 수 있다.
다른 실시예에서, 프로세서(1010)는 도 3을 통해 설명한 라이브니스 검사 과정과 같이, 컬러 영상과 적외선 영상에 기초하여 검사 대상의 라이브니스 검사를 위한 검사 데이터를 생성하고, 검사 데이터를 입력으로 하는 라이브니스 검사 모델의 출력 결과에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정할 수도 있다.
또 다른 실시예에서, 프로세서(1010)는 프로세서(1010)는 도 4를 통해 설명한 라이브니스 검사 과정과 같이, 위에서 설명한 제1 라이브니스 검사 결과 및 제2 라이브니스 검사 결과 이외에 컬러 영상 및 적외선 영상이 결합된 검사 데이터에 기초하여 라이브니스 검사를 수행하는 것에 의해 제3 라이브니스 검사 결과를 더 획득할 수 있다. 프로세서(1010)는 획득된 제1 라이브니스 검사 결과, 제2 라이브니스 검사 결과 및 제3 라이브니스 검사 결과에 기초하여 검사 대상이 살아있는 객체인지 여부를 결정할 수 있다.
검사 대상이 살아있는 객체인 것으로 결정된 경우, 라이브니스 검사 장치(1000)는 라이브니스 검사가 만족되었음을 나타내기 위한 알림 데이터를 출력할 수 있다. 이와 반대로, 검사 대상이 살아있지 않은 객체인 것으로 결정된 경우, 라이브니스 검사 장치(1000)는 라이브니스 검사가 만족되지 않았음을 나타내기 위한 알림 데이터를 출력할 수 있다.
도 11은 일 실시예에 따른 컴퓨팅 장치의 구성을 도시하는 도면이다.
도 11을 참조하면, 컴퓨팅 장치(1100)는 입력 영상에 나타난 검사 대상의 라이브니스 검사 및 사용자 인증을 수행할 수 있다. 컴퓨팅 장치(1100)는 도 1의 컴퓨팅 장치(120)에 대응할 수 있고, 도 10의 라이브니스 검사 장치(100)를 포함할 수 있다.
컴퓨팅 장치(1100)는 프로세서(1110), 메모리(1120), 이미지 센서(1130), 광원(1140), 저장 장치(1150), 입력 장치(1160), 출력 장치(1170) 및 네트워크 인터페이스(1180)를 포함할 수 있다. 프로세서(1110), 메모리(1120), 이미지 센서(1130), 광원(1140), 저장 장치(1150), 입력 장치(1160), 출력 장치(1170) 및 네트워크 인터페이스(1180)는 통신 버스(communication bus)를 통해 서로 통신할 수 있다.
프로세서(1110)는 컬러 영상 및 적외선 영상에 기초하여 라이브니스 검사를 수행하기 위한 기능 및 인스트럭션들을 실행한다. 예를 들어, 프로세서(1110)는 메모리(1120) 또는 저장 장치(1150)에 저장된 인스트럭션들을 처리할 수 있다. 프로세서(1110)는 도 1 내지 도 10을 통하여 전술한 하나 이상의 동작을 수행할 수 있다.
메모리(1120)는 라이브니스 검사를 수행하기 위한 정보를 저장한다. 메모리(1120)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다. 메모리(1120)는 프로세서(1110)에 의해 실행하기 위한 인스트럭션들과 라이브니스 검사의 수행에 필요한 정보를 저장할 수 있다.
이미지 센서(1130)는 라이브니스 검사의 검사 대상이 나타난 컬러 영상과 적외선 영상을 획득할 수 있다. 일 실시예에서, 이미지 센서(1130)는 도 5a에 도시된 것과 같이, 컬러 영상을 획득하기 위한 이미지 센서와 적외선 영상을 획득하기 위한 이미지 센서를 포함할 수 있다. 또는, 이미지 센서(1130)는 도 5b에 도시된 것과 같이, 컬러 영상과 적외선 영상을 함께 획득할 수 있는 통합된 이미지 센서일 수 있다. 이 경우, 이미지 센서(1130)는 컬러 영상의 컬러 값과 적외선 영상의 적외선 값을 함께 측정할 수 있고, R 컬러 값을 측정하기 위한 제1 수광 소자, G 컬러 값을 측정하기 위한 제2 수광 소자, B 컬러 값을 측정하기 위한 제3 수광 소자와 적외선 값을 측정하기 위한 제4 수광 소자를 포함할 수 있다.
광원(1140)은 프로세서(1110)의 제어에 의해 적외선을 방사할 수 있다. 광원(1140)으로부터 방사된 적외선은 검사 대상에 의해 반사되고, 반사된 적외선이 이미지 센서(1130)에 의해 센싱된다.
저장 장치(1150)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함한다. 일 실시예에 따르면, 저장 장치(1150)는 메모리(1120)보다 더 많은 양의 정보를 저장하고, 정보를 장기간 저장할 수 있다. 예를 들어, 저장 장치(1150)는 자기 하드 디스크, 광 디스크, 플래쉬 메모리, 전기적으로 프로그래밍가능한 메모리(EPROM), 플로피 디스크 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다.
입력 장치(1160)는 촉각, 비디오, 오디오 또는 터치 입력을 통해 사용자로부터 입력을 수신할 수 있다. 예를 들어, 입력 장치(1160)는 키보드, 마우스, 터치 스크린, 마이크로폰, 또는 사용자로부터 입력을 검출하고, 검출된 입력을 컴퓨팅 장치(1100)에 전달할 수 있는 임의의 다른 장치를 포함할 수 있다.
출력 장치(1170)는 시각적, 청각적 또는 촉각적인 채널을 통해 사용자에게 컴퓨팅 장치(1100)의 출력을 제공할 수 있다. 출력 장치(1170)는 예를 들어, 디스플레이, 터치 스크린, 스피커, 진동 발생 장치 또는 사용자에게 출력을 제공할 수 있는 임의의 다른 장치를 포함할 수 있다. 네트워크 인터페이스(1180)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (25)

  1. 검사 대상(test object)이 나타난 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득하는 단계;
    상기 검사 대상이 나타난 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득하는 단계; 및
    상기 제1 라이브니스 검사 결과 및 상기 제2 라이브니스 검사 결과에 기초하여 상기 검사 대상이 살아있는 객체(living object)인지 여부를 결정하는 단계
    를 포함하는 라이브니스 검사 방법.
  2. 제1항에 있어서,
    상기 제1 라이브니스 검사 결과를 획득하는 단계는,
    상기 컬러 영상을 입력으로 하는 뉴럴 네트워크 기반의 제1 라이브니스 검사 모델을 이용하여 상기 제1 라이브니스 검사 결과를 획득하는, 라이브니스 검사 방법.
  3. 제1 항에 있어서,
    상기 제2 라이브니스 검사 결과를 획득하는 단계는,
    상기 적외선 영상을 입력으로 하는 뉴럴 네트워크 기반의 제2 라이브니스 검사 모델을 이용하여 상기 제2 라이브니스 검사 결과를 획득하는, 라이브니스 검사 방법.
  4. 제1항에 있어서,
    상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계는,
    상기 제1 라이브니스 검사 결과 및 상기 제2 라이브니스 검사 결과 각각에 의해 상기 검사 대상이 상기 살아있는 객체로 결정된 경우, 상기 검사 대상을 상기 살아있는 객체로 결정하는, 라이브니스 검사 방법.
  5. 제1항에 있어서,
    상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계는,
    상기 제1 라이브니스 검사 결과로부터 도출된 제1 스코어와 상기 제2 라이브니스 검사 결과로부터 도출된 제2 스코어에 기초하여 상기 검사 대상이 상기 살아있는 객체인지 여부를 결정하는, 라이브니스 검사 방법.
  6. 제5항에 있어서,
    상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계는,
    상기 제1 스코어와 상기 제2 스코어에 기초한 조합 값이 임계 값보다 큰 경우, 상기 검사 대상을 상기 살아있는 객체로 결정하는, 라이브니스 검사 방법.
  7. 제1항에 있어서,
    컬러 값과 적외선 값을 함께 측정할 수 있는 이미지 센서를 이용하여 상기 컬러 영상 및 상기 적외선 영상을 획득하는 단계
    를 더 포함하는 라이브니스 검사 방법.
  8. 제7항에 있어서,
    상기 이미지 센서는,
    R(red) 컬러 값을 측정하기 위한 제1 수광 소자;
    G(green) 컬러 값을 측정하기 위한 제2 수광 소자;
    B(blue) 컬러 값을 측정하기 위한 제3 수광 소자; 및
    상기 적외선 값을 측정하기 위한 제4 수광 소자
    를 포함하는 라이브니스 검사 방법.
  9. 제1항에 있어서,
    상기 컬러 영상 및 상기 적외선 영상은,
    상기 검사 대상의 홍채 영역 및 상기 검사 대상의 얼굴 영역 중 적어도 하나를 포함하는 라이브니스 검사 방법.
  10. 제1항에 있어서,
    상기 제1 라이브니스 검사 결과를 획득하는 단계는,
    상기 컬러 영상에서 상기 검사 대상의 제1 관심 영역을 검출하는 단계; 및
    상기 검출된 제1 관심 영역에 기초하여 라이브니스 검사를 수행하는 것에 의해 상기 제1 라이브니스 검사 결과를 획득하는 단계를 포함하고,
    상기 제2 라이브니스 검사 결과를 획득하는 단계는,
    상기 적외선 영상에서 상기 검사 대상의 제2 관심 영역을 검출하는 단계; 및
    상기 검출된 제2 관심 영역에 기초하여 라이브니스 검사를 수행하는 것에 의해 상기 제2 라이브니스 검사 결과를 획득하는 단계를 포함하는, 라이브니스 검사 방법.
  11. 제10항에 있어서,
    상기 제1 관심 영역과 상기 제2 관심 영역은 각각 상기 검사 대상의 서로 다른 검사 영역에 대응하는, 라이브니스 검사 방법.
  12. 검사 대상이 나타난 컬러 영상 및 상기 검사 대상이 나타난 적외선 영상에 기초하여 상기 검사 대상의 라이브니스 검사를 위한 검사 데이터를 생성하는 단계; 및
    상기 검사 데이터를 입력으로 하는 라이브니스 검사 모델의 출력 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계
    를 포함하는 라이브니스 검사 방법.
  13. 제12항에 있어서,
    상기 검사 데이터를 생성하는 단계는,
    상기 컬러 영상과 상기 적외선 영상을 결합시키는 것에 의해 상기 검사 데이터를 생성하는, 라이브니스 검사 방법.
  14. 제12항에 있어서,
    상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계는,
    상기 라이브니스 검사 모델로부터 획득된 스코어와 미리 설정된 임계 값 간의 비교 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는, 라이브니스 검사 방법.
  15. 검사 대상이 나타난 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득하는 단계;
    상기 검사 대상이 나타난 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득하는 단계;
    상기 컬러 영상 및 상기 적외선 영상에 기초한 검사 데이터에 대해 라이브니스 검사를 수행하여 제3 라이브니스 검사 결과를 획득하는 단계; 및
    상기 제1 라이브니스 검사 결과, 상기 제2 라이브니스 검사 결과 및 상기 제3 라이브니스 검사 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계
    를 포함하는 라이브니스 검사 방법.
  16. 제15항에 있어서,
    상기 제3 라이브니스 검사 결과를 획득하는 단계는,
    상기 컬러 영상과 상기 적외선 영상을 하나의 영상으로서 결합시키는 것에 의해 검사 데이터를 생성하는 단계; 및
    상기 검사 데이터를 입력으로 하는 라이브니스 검사 모델을 이용하여 상기 제3 라이브니스 검사 결과를 획득하는 단계
    를 포함하는 라이브니스 검사 방법.
  17. 제16항에 있어서,
    상기 검사 대상이 살아있는 객체인지 여부를 결정하는 단계는,
    상기 제1 라이브니스 검사 결과로부터 도출된 제1 스코어, 상기 제2 라이브니스 검사 결과로부터 도출된 제2 스코어 및 상기 제3 라이브니스 검사 결과로부터 도출된 제3 스코어에 기초하여 상기 검사 대상이 상기 살아있는 객체인지 여부를 결정하는, 라이브니스 검사 방법.
  18. 제1항 내지 제17항 중 어느 하나의 항의 방법을 실행하기 위한 인스트럭션들을 저장하는 컴퓨터 판독 가능한 저장 매체.
  19. 검사 대상이 나타난 컬러 영상과 상기 검사 대상이 나타난 적외선 영상을 획득하는 적어도 하나의 이미지 센서; 및
    상기 컬러 영상 및 상기 적외선 영상에 기초하여 상기 검사 대상의 라이브니스 검사를 수행하는 프로세서를 포함하고, 상기 프로세서는,
    상기 컬러 영상에 대해 라이브니스 검사를 수행하여 제1 라이브니스 검사 결과를 획득하고,
    상기 적외선 영상에 대해 라이브니스 검사를 수행하여 제2 라이브니스 검사 결과를 획득하고,
    상기 제1 라이브니스 검사 결과 및 상기 제2 라이브니스 검사 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는, 라이브니스 검사 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 컬러 영상을 입력으로 하는 뉴럴 네트워크 기반의 제1 라이브니스 검사 모델을 이용하여 상기 제1 라이브니스 검사 결과를 획득하고,
    상기 적외선 영상을 입력으로 하는 뉴럴 네트워크 기반의 제2 라이브니스 검사 모델을 이용하여 상기 제2 라이브니스 검사 결과를 획득하는, 라이브니스 검사 장치.
  21. 제19항에 있어서,
    상기 프로세서는,
    상기 컬러 영상 및 상기 적외선 영상이 결합된 검사 데이터에 기초하여 라이브니스 검사를 수행하는 것에 의해 제3 라이브니스 검사 결과를 더 획득하고,
    상기 제1 라이브니스 검사 결과, 상기 제2 라이브니스 검사 결과 및 상기 제3 라이브니스 검사 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는, 라이브니스 검사 장치.
  22. 제19항에 있어서,
    상기 프로세서는,
    상기 컬러 영상에서 상기 검사 대상의 제1 관심 영역을 검출하고, 상기 검출된 제1 관심 영역에 기초하여 라이브니스 검사를 수행하는 것에 의해 상기 제1 라이브니스 검사 결과를 획득하고,
    상기 적외선 영상에서 상기 검사 대상의 제2 관심 영역을 검출하고, 상기 검출된 제2 관심 영역에 기초하여 라이브니스 검사를 수행하는 것에 의해 상기 제2 라이브니스 검사 결과를 획득하며,
    상기 제1 관심 영역과 상기 제2 관심 영역은 각각 상기 검사 대상의 서로 다른 검사 영역에 대응하는, 라이브니스 검사 방법.
  23. 제19항에 있어서,
    상기 적어도 하나의 이미지 센서는,
    상기 컬러 영상의 컬러 값과 상기 적외선 영상의 적외선 값을 함께 측정할 수 있는 이미지 센서인, 라이브니스 검사 장치.
  24. 제23항에 있어서,
    상기 적어도 하나의 이미지 센서는,
    R(red) 컬러 값을 측정하기 위한 제1 수광 소자;
    G(green) 컬러 값을 측정하기 위한 제2 수광 소자;
    B(blue) 컬러 값을 측정하기 위한 제3 수광 소자; 및
    상기 적외선 값을 측정하기 위한 제4 수광 소자
    를 포함하는 라이브니스 검사 장치.
  25. 검사 대상이 나타난 컬러 영상과 상기 검사 대상이 나타난 적외선 영상을 획득하는 적어도 하나의 이미지 센서; 및
    상기 컬러 영상 및 상기 적외선 영상에 기초하여 상기 검사 대상의 라이브니스 검사를 수행하는 프로세서를 포함하고, 상기 프로세서는,
    검사 대상이 나타난 컬러 영상 및 상기 검사 대상이 나타난 적외선 영상에 기초하여 상기 검사 대상의 라이브니스 검사를 위한 검사 데이터를 생성하고,
    상기 검사 데이터를 입력으로 하는 라이브니스 검사 모델의 출력 결과에 기초하여 상기 검사 대상이 살아있는 객체인지 여부를 결정하는, 라이브니스 검사 장치.
KR1020180007814A 2018-01-22 2018-01-22 라이브니스 검사 방법 및 장치 KR102466997B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180007814A KR102466997B1 (ko) 2018-01-22 2018-01-22 라이브니스 검사 방법 및 장치
CN201811276147.8A CN110069970A (zh) 2018-01-22 2018-10-30 活性测试方法和设备
US16/215,750 US11030470B2 (en) 2018-01-22 2018-12-11 Apparatus and method with liveness verification
EP19151612.9A EP3525133A3 (en) 2018-01-22 2019-01-14 Apparatus and method with liveness verification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180007814A KR102466997B1 (ko) 2018-01-22 2018-01-22 라이브니스 검사 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190089387A true KR20190089387A (ko) 2019-07-31
KR102466997B1 KR102466997B1 (ko) 2022-11-14

Family

ID=65023776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180007814A KR102466997B1 (ko) 2018-01-22 2018-01-22 라이브니스 검사 방법 및 장치

Country Status (4)

Country Link
US (1) US11030470B2 (ko)
EP (1) EP3525133A3 (ko)
KR (1) KR102466997B1 (ko)
CN (1) CN110069970A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102220677B1 (ko) * 2019-09-26 2021-03-02 주식회사 앤오픈 보안 카드를 이용한 사용자 인증 장치 및 사용자 인증 방법
WO2021060670A1 (ko) * 2019-09-26 2021-04-01 주식회사 앤오픈 보안 카드를 이용한 사용자 인증 장치 및 사용자 인증 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151828B2 (en) * 2018-05-17 2021-10-19 Johnson Controls Tyco IP Holdings LLP Frictionless building access control system with tailgate detection
CN111488756B (zh) * 2019-01-25 2023-10-03 杭州海康威视数字技术股份有限公司 基于面部识别的活体检测的方法、电子设备和存储介质
US11495041B2 (en) * 2019-03-29 2022-11-08 Jumio Corporation Biometric identification using composite hand images
CN110688967A (zh) * 2019-09-30 2020-01-14 上海依图信息技术有限公司 用于静态人脸活体检测的系统以及方法
KR20210074749A (ko) * 2019-12-12 2021-06-22 삼성전자주식회사 라이브니스 검사 방법 및 라이브니스 검사 장치
KR20210101049A (ko) * 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 객체 인식 방법
WO2022034371A1 (en) * 2020-08-10 2022-02-17 Quantum Integrity Sa Machine learning based system and method of detecting inauthentic content
KR20220082454A (ko) * 2020-12-10 2022-06-17 삼성전자주식회사 생체 정보의 도용 여부를 검출하는 방법 및 장치
US11636700B2 (en) 2021-05-21 2023-04-25 Ford Global Technologies, Llc Camera identification
US11967184B2 (en) * 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system
US11804060B1 (en) * 2021-07-26 2023-10-31 Amazon Technologies, Inc. System for multi-modal anomaly detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128510A (ko) * 2014-05-09 2015-11-18 삼성전자주식회사 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
KR20160040230A (ko) * 2013-08-02 2016-04-12 퀄컴 인코포레이티드 Rgb―nir 카메라 쌍을 사용하는 특징 식별

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000036310A (ko) 1999-12-28 2000-07-05 정훈 미국달러의 위조여부 판별장치 및 방법
KR100580630B1 (ko) 2003-11-19 2006-05-16 삼성전자주식회사 적외선을 이용한 사람 식별 장치 및 방법
CN201242756Y (zh) 2008-07-28 2009-05-20 汉王科技股份有限公司 一种人脸识别装置
US7915652B2 (en) 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
CN101814130A (zh) * 2009-02-19 2010-08-25 中国科学院自动化研究所 用摄像机阵列的虹膜识别装置和多模态生物特征识别方法
KR101035669B1 (ko) 2009-03-13 2011-05-19 (주)실리콘화일 위폐판별이 가능한 이미지센서 및 위폐 판별방법
KR101123834B1 (ko) 2009-05-22 2012-03-15 한국인식산업(주) 적외선 가변조명을 이용한 사진위조 판별방법 및 카메라 장치
CN101964056B (zh) * 2010-10-26 2012-06-27 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
KR101286454B1 (ko) 2012-02-29 2013-07-16 주식회사 슈프리마 눈 영상의 특성을 이용한 모조얼굴 식별장치 및 방법
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition
US8542879B1 (en) 2012-06-26 2013-09-24 Google Inc. Facial recognition
US20140071293A1 (en) 2012-09-12 2014-03-13 Google Inc. Method and device for authintication of live human faces using infra red images
US9679212B2 (en) * 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
US20160019421A1 (en) 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US20160019420A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US10152631B2 (en) 2014-08-08 2018-12-11 Fotonation Limited Optical system for an image acquisition device
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
US20160161332A1 (en) * 2014-12-09 2016-06-09 Stmicroelectronics (Research & Development) Limited Image sensor using pixels with combined rgb and ir sensing
CN107451510B (zh) * 2016-05-30 2023-07-21 北京旷视科技有限公司 活体检测方法和活体检测系统
US9886640B1 (en) * 2016-08-08 2018-02-06 International Business Machines Corporation Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor
US10157323B2 (en) * 2016-08-30 2018-12-18 Qualcomm Incorporated Device to provide a spoofing or no spoofing indication
CN106372601B (zh) * 2016-08-31 2020-12-22 上海依图信息技术有限公司 一种基于红外可见双目图像的活体检测方法及装置
CN107292285B (zh) * 2017-07-14 2020-01-14 Oppo广东移动通信有限公司 虹膜活体检测方法及相关产品
CN107451455A (zh) * 2017-07-29 2017-12-08 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN107590473B (zh) * 2017-09-19 2021-06-22 杭州登虹科技有限公司 一种人脸活体检测方法、介质和相关装置
US11216933B2 (en) * 2018-04-09 2022-01-04 Altria Client Services Llc Mobile multi-feature product authentication
US10990805B2 (en) * 2018-09-12 2021-04-27 Apple Inc. Hybrid mode illumination for facial recognition authentication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160040230A (ko) * 2013-08-02 2016-04-12 퀄컴 인코포레이티드 Rgb―nir 카메라 쌍을 사용하는 특징 식별
KR20150128510A (ko) * 2014-05-09 2015-11-18 삼성전자주식회사 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102220677B1 (ko) * 2019-09-26 2021-03-02 주식회사 앤오픈 보안 카드를 이용한 사용자 인증 장치 및 사용자 인증 방법
WO2021060670A1 (ko) * 2019-09-26 2021-04-01 주식회사 앤오픈 보안 카드를 이용한 사용자 인증 장치 및 사용자 인증 방법

Also Published As

Publication number Publication date
CN110069970A (zh) 2019-07-30
EP3525133A3 (en) 2019-11-06
EP3525133A2 (en) 2019-08-14
KR102466997B1 (ko) 2022-11-14
US11030470B2 (en) 2021-06-08
US20190228248A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
KR102466997B1 (ko) 라이브니스 검사 방법 및 장치
US12014571B2 (en) Method and apparatus with liveness verification
KR102387571B1 (ko) 라이브니스 검사 방법 및 장치
KR102455633B1 (ko) 라이브니스 검사 방법 및 장치
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
US20230274577A1 (en) Device and method with image matching
JP6242888B2 (ja) 顔検証のためのシステムおよび方法
US11294996B2 (en) Systems and methods for using machine learning for image-based spoof detection
JP7191061B2 (ja) ライブネス検査方法及び装置
KR102352345B1 (ko) 라이브니스 검사 방법 및 장치
JP5076563B2 (ja) 顔照合装置
US11227149B2 (en) Method and apparatus with liveness detection and object recognition
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
KR102570071B1 (ko) 라이브니스 검사 방법 및 장치, 얼굴 인증 방법 및 장치
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치
KR102665968B1 (ko) 블러 추정 방법 및 장치
KR20210128274A (ko) 라이브니스 검사 방법 및 장치
KR20200083188A (ko) 라이브니스 검출 방법 및 장치, 이를 이용한 객체 인식 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant