KR20190129826A - 생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체 - Google Patents

생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체 Download PDF

Info

Publication number
KR20190129826A
KR20190129826A KR1020197019442A KR20197019442A KR20190129826A KR 20190129826 A KR20190129826 A KR 20190129826A KR 1020197019442 A KR1020197019442 A KR 1020197019442A KR 20197019442 A KR20197019442 A KR 20197019442A KR 20190129826 A KR20190129826 A KR 20190129826A
Authority
KR
South Korea
Prior art keywords
information
sensor
keypoint
result
downsampling
Prior art date
Application number
KR1020197019442A
Other languages
English (en)
Inventor
카이 양
티안펭 바오
루이 장
리웨이 우
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20190129826A publication Critical patent/KR20190129826A/ko

Links

Images

Classifications

    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/00268—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Abstract

본 발명의 실시예는 생체 검측 방법 및 장치, 저장 매체 와 전자 기기에 관한 것이다. 상기 방법은, 제1 센서에 의해 감지 된 대상체의 깊이 정보와 제2 센서에 의해 감지 된 대상 이미지를 획득하는 단계; 상기 대상 이미지에 대하여 키포인트 검측을 수행하여 상기 대상체의 키포인트 정보를 획득하는 단계; 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 상기 대상체의 생체 검측 결과를 얻는 단계를 포함한다.

Description

생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체
본 출원은 출원번호가 201101444105.4이며, 출원일이 2018년 05월 11일인 중국 특허 출원에 기초하여 출원되었으며, 당해 중국 특허출원의 우선권을 주장하며, 당해 중국 특허출원의 전부 내용은 본 명세서에 전문을 인입하는 방식으로 본원에 인입된다
본 발명은 컴퓨터 비주얼 기술 분야에 관한 것으로, 특히, 생체 검측 방법 및 장치, 시스템, 전자 기기 및 저장 매체에 관한 것이다.
현재 얼굴 인식 기술은 안면 잠금 해제, 안면 인식 결제, 무인 슈퍼마켓 및 비디오 감시와 같은 장면에서 널리 사용되고 있다. 그러나, 얼굴 인식 기술은 얼굴의 실체 사진, 얼굴의 전자 사진 또는 얼굴을 포함하는 비디오등 형식의 가짜 얼굴에 의해 쉽게 공격받을 위험이 있다. 따라서 생체 검측은 얼굴 인식에 없어서는 안되는 부분이다.
이러한 관점에서, 본 발명의 실시예는 생체 검측 방법 및 장치를 제안한다.
본 발명의 일 실시예에 따른 생체 검측 방법은, 제1 센서에 의해 감지 된 대상체의 깊이 정보와 제2 센서에 의해 감지 된 대상 이미지를 획득하는 단계; 상기 대상 이미지에 대하여 키포인트 검측을 수행하여 상기 대상체의 키포인트 정보를 획득하는 단계; 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 상기 대상체의 생체 검측 결과를 얻는 단계를 포함한다.
일부 실시예에 의하면, 대상체는 인간의 얼굴이다.
일부 실시예에 의하면, 제2 센서는 이미지 센서이고, 예를 들어, 제2 센서는 RGB 센서 또는 근적외선 센서이다.
일부 실시예에 의하면, 제1 센서는 깊이 센서이고, 예를 들어, 제1 센서는 비행 시간 TOF 센서 또는 SLS이다.
일부 실시예에 의하면, 제1 센서 및 제2 센서는 예를 들어3D 카메라등과 같은 하나의 장치에 집적된다.
일부 실시예에 의하면, 상기 방법은 상기 대상 이미지에 대해 키포인트 검측을 수행하기 전에, 상기 제1 센서의 파라미터 및 상기 제2 센서의 파라미터에 따라, 상기 대상체의 깊이 정보와 상기 대상 이미지를 정렬하는 단계를 더 포함한다.
일부 실시예에 의하면, 상기 방법에 있어서, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 상기 대상체의 생체 검측 결과를 얻는 단계는,
상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하는 단계;
상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하는 단계;및
상기 제1 특징 정보와 상기 제2 특징에 기초하여 상기 대상체의 생체 검측 결과를 확정하는 단계를 포함한다.
일부 실시예에 의하면, 상기 방법에 있어서, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하는 단계는, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보를 제1 뉴럴 네트워크에 입력하여, 제1 특징 정보를 획득하는 단계를 포함하고,
상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하는 단계는, 상기 대상 이미지와 상기 키포인트 정보를 상기 제2 뉴럴 네트워크에 입력하여 제2 특징 정보를 획득하는 단계를 포함한다.
일부 실시예에 의하면, 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크는 동일한 네트워크 구조를 갖고 있다.
일부 실시예에 의하면, 상기 방법에 있어서, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하는 단계는, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 대하여 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻는 단계;상기 제1 컨볼루션 결과를 다운샘플링하여 제1 다운샘플링 결과를 얻는 단계;제1 다운샘플링 결과에 기초하여 제1 특징 정보를 획득하는 단계를 포함한다.
일부 실시예에 의하면, 상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하는 단계는, 상기 대상 이미지와 상기 대상체의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻는 단계; 상기 제2 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여 제2 다운샘플링 결과를 얻는 단계; 상기 제2 다운샘플링 결과에 기초하여 제2 특징 정보를 얻는 단계를 포함한다.
일부 실시예에 의하면, 상기 제1 특징 정보와 상기 제2 특징 정보에 기초하여 상기 대상체의 생체 검측 결과를 확정하는 단계는, 상기 제1 특징 정보와 상기 제2 특징 정보에 대해 퓨전처리를 수행하여, 제3 특징 정보를 얻고, 상기 제3 특징 정보에 따라 상기 대상체의 생체 검측 결과를 확정하는 단계를 포함한다.
일부 실시예에 의하면, 상기 제3 특징 정보에 따라 상기 생체 검측 결과를 확정하는 단계는, 상기 제3 특징 정보에 따라, 상기 대상체가 생체 인 확률을 획득하는 단계; 상기 대상체가 생체인 확률에 따라 상기 대상체의 생체 검측 결과를 확정하는 단계를 포함한다.
본 발명의 다른 실시 형태에 따른 생체 검측 장치는,
제1 센서에 의해 감지 된 대상체의 깊이 정보와 제2 센서에 의해 감지 된 대상 이미지를 획득하는 획득 모듈;
상기 대상 이미지에 대하여 키포인트 검측을 수행하여 상기 대상체의 키포인트 정보를 획득하는 검측 모듈;및
상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 상기 대상체의 생체 검측 결과를 얻는 확정 모듈;을 포함한다.
일부 실시예에 의하면, 대상체는 인간의 얼굴이다.
일부 실시예에 의하면, 제2 센서는 이미지 센서이고, 예를 들어, RGB 센서 또는 근적외선 센서이다.
일부 실시예에 의하면, 제1 센서는 깊이 센서이고, 예를 들어, 비행 시간 TOF 센서 또는 SLS이다.
일부 실시예에 의하면, 제1 센서 및 제2 센서는 3D 카메라등 하나의 장치에 집적된다.
일부 실시예에 의하면, 상기 장치는 상기 제1 센서의 파라미터 및 상기 제2 센서의 파라미터에 따라, 상기 대상체의 깊이 정보와 상기 대상 이미지를 정렬하는 정렬 모듈을 더 포함한다.
일부 실시예에 의하면, 상기 확정 모듈은, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하는 제1 확정 서브 모듈; 상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하는 제2 확정 서브 모듈; 및 상기 제1 특징 정보와 상기 제2 특징에 기초하여 상기 대상체의 생체 검측 결과를 확정하는 제3 확정 서브 모듈을 포함한다.
일부 실시예에 의하면, 상기 제1 확정 서브 모듈은, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보를 제1 뉴럴 네트워크에 입력하여, 제1 특징 정보를 획득하고,
상기 제2 확정 서브 모듈은, 상기 대상 이미지와 상기 키포인트 정보를 상기 제2 뉴럴 네트워크에 입력하여 제2 특징 정보를 획득하도록 구성된다.
일부 실시예에 의하면, 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크는 동일한 네트워크 구조를 갖는다.
일부 실시예에 의하면, 상기 제1 확정 서브 모듈은, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 대하여 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻는 제1컨볼루션유닛; 상기 제1 컨볼루션 결과를 다운샘플링하여 제1 다운샘플링 결과를 얻는 제1 다운샘플링유닛; 및 제1 다운샘플링 결과에 기초하여 제1 특징 정보를 획득하는 제1확정유닛를 포함한다.
일부 실시예에 의하면, 상기 제2 확정 서브 모듈은, 상기 대상 이미지와 상기 대상체의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻는 제2컨볼루션유닛; 상기 제2 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여 제2 다운샘플링 결과를 얻는 제2 다운샘플링유닛;및 상기 제2 다운샘플링 결과에 기초하여 제2 특징 정보를 얻는 제2 확정유닛를 포함한다.
일부 실시예에 의하면, 상기 제1 특징 정보와 상기 제2 특징 정보에 대해 퓨전처리를 수행하여, 제3 특징 정보를 얻는 완전연결유닛;및 상기 제3 특징 정보에 따라 상기 대상체의 생체 검측 결과를 확정하는 제3 확정유닛를 포함한다.
일부 실시예에 의하면, 상기 제3 확정 유닛은 상기 제3 특징 정보에 기초하여 상기 대상체가 생체 인 확률을 구하는 제1 확정 서브 유닛과, 상기 대상체가 생체인 확률에 따라 상기 대상체의 생체 검측 결과를 확정하는 제2 확정 서브 유닛을 포함한다.
본 발명의 실시예에 의해 제공되는 생체 검측 장치는, 상기 실시예 중 어느 하나의 생체 검측 방법을 실시하기 위한 것으로, 상술한 임이의 생체 검측 방법 중 어느 하나의 단계 및/또는 절차를 실행하는 모듈 및 유닛을 포함한다.
본 발명의 다른 실시 형태에 따르면, 생체 검측 장치는 컴퓨터 판독 가능 명령을 저장하도록 구성된 메모리; 및 상기 메모리에 저장된 컴퓨터 판독 가능 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 컴퓨터 판독 가능 명령들의 실행은 프로세서로 하여금 상기 방법을 수행하도록 한다.
본 발명의 다른 실시 형태에 따르면, 비 일시적 컴퓨터 판독 가능 저장 매체는 프로세서에 의해 실행될 때, 상기 방법을 구현하는 컴퓨터 프로그램 명령이 저장되어 있다.
본 발명의 다른 실시 형태에 따르면, 상기 생체 검측 장치, 제1 센서 및 제2 센서를 포함하는 생체 검측 시스템이 제공된다.
본 발명의 다른 실시 형태에 따르면, 상기비 일시적 컴퓨터 판독 가능 저장 매체, 상기 제1 센서 및 상기 제2 센서를 포함하는 생체 검측 시스템이 제공된다.
본 발명의 다른 실시 형태에 따르면, 상기 대상체의 깊이 정보를 검측하도록 구성된 제1 센서; 상기 대상체를 포함하는 대상 이미지를 획득하도록 구성된 제2 센서; 및 상기 제2 센서가 수집한 상기 대상체에 대하여 키포인트 검측을 수행하여 상기 대상체의 키포인트 정보를 획득하고, 상기 제1 센서가 검출한 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 상기 대상체의 생체 검측 결과를 얻도록 구성된 프로세서를 포함하는 전자 기기를 제공한다.
일부 실시예에 의하면, 제2 센서는 RGB 센서 또는 근적외선 센서이다.
일부 실시예에 의하면, 제1 센서는 비행 시간 TOF 센서 또는 SLS이다.
일부 실시예에 의하면, 프로세서는 또한, 제1 센서의 파라미터 및 제2 센서의 파라미터에 따라 대상체 및 대상체 이미지의 깊이 정보를 정렬하도록 구성된다.
본 발명의 일 실시예에 따르면, 상기 프로세서는, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하고, 상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하고, 상기 제1 특징 정보와 상기 제2 특징에 기초하여 상기 대상체의 생체 검측 결과를 확정한다.
일부 실시예에 의하면, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보를 제1 뉴럴 네트워크에 입력하여, 제1 특징 정보를 획득하고, 상기 대상 이미지와 상기 키포인트 정보를 상기 제2 뉴럴 네트워크에 입력하여 제2 특징 정보를 획득한다.
일부 실시예에 의하면, 프로세서는 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 대하여 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻고, 상기 제1 컨볼루션 결과를 다운샘플링하여 제1 다운샘플링 결과를 얻고, 제1 다운샘플링 결과에 기초하여 제1 특징 정보를 획득한다.
일부 실시예에 의하면, 프로세서는 상기 대상 이미지와 상기 대상체의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻고, 상기 제2 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여 제2 다운샘플링 결과를 얻고, 상기 제2 다운샘플링 결과에 기초하여 제2 특징 정보를 얻는다.
일부 실시예에 의하면, 프로세서는 상기 제1 특징 정보와 상기 제2 특징 정보에 대해 퓨전처리를 수행하여, 제3 특징 정보를 얻고, 상기 제3 특징 정보에 따라 상기 대상체의 생체 검측 결과를 확정한다.
일부 실시예에 의하면, 프로세서는 상기 제3 특징 정보에 기초하여 상기 대상체가 생체 일 확률을 구하고, 상기 대상체가 생체 일 확률에 따라 상기 대상체의 생체 검측 결과를 확정한다.
본 발명의 각 양태의 생체 검측 방법은, 대상체의 깊이 정보와 대상체 이미지를 결합하여 생체 검측을 수행함으로써, 대상체 이미지의 깊이 정보와 대상 이미지중 대상체의 키포인트 정보를 이용하여 생체 검측을 가능하게 함으로써, 생체검측의 정확성을 향상시킨다. 본 발명의 다른 특징 및 양상은 다음의 예시적인 실시예의 상세한 설명으로부터 명백해질 것이다.
명세서에 포함되어 있으며 명세서의 일부를 구성하는 도면은 명세서와 함께 본 공개의 예시적인 실시예, 특징 및 양태를 나타내며 본 발명의 원리를 설명하는 데 사용된다.
도 1은 본 발명의 실시예에 따른 생체 검측 방법을 나타내는 흐름도이다.
도 2는 본 발명의 실시예에 따른 생체 검측 방법의 흐름도를 도시 한 것이다.
도 3은 본 발명의 실시예에 따른 생체 검측 방법의 단계(S13)의 예시적인 흐름도이다.
도 4a는 본 발명의 일 실시예에 따른 사람의 얼굴에 적용된 생체 검측 장치의 블록도이다.
도 4b는 본 발명의 실시예에 따른, 도 4a의 데이터 전처리 모듈의 블록도를 도시한다.
도 4c는 본 발명의 실시예에 따른도 4a의 딥 뉴럴 네트워크 모듈의 블록도이다.
도 5는 본 발명의 실시예에 따른 생체 검측 방법중 단계(S131)의 흐름도를 도시 한 것이다.
도 6은 본 발명의 실시예에 따른 생체 검측 방법중 단계(S132)의 흐름도이다.
도 7은 본 발명의 실시예에 따른 생체 검측 방법중 단계(S133)의 예시적인 흐름도이다.
도 8은 본 발명의 실시예에 따른 생체 검측 방법중 단계(S1332)의 예시적인 흐름도이다.
도 9는 본 발명의 실시예에 따른 생체 검측 장치의 블록도이다.
도 10은 본 발명의 실시예에 따른 생체 검측 장치의 예시적인 블록도를 도시한다.
도 11은 본 발명의 실시예에 따른 생체 검측 장치(800)의 블록도이다.
본 발명의 다양한 예시적인 실시예, 특징 및 양상들을 도면을 참조하여 아래에서 상세하게 설명한다. 도면에서 동일한 참조 번호는 동일하거나 유사한 요소를 나타낸다. 실시예들의 다양한 양상들이 도면들에 도시되어 있지만, 도면들은 달리 지시되지 않는 한 반드시 비례적으로 도시되지는 않는다. "예시적"이라는 단어는 본 명세서에서 "예시, 실시예 또는 설명예"을 의미하기 위해 배타적으로 사용된다. 본 명세서에서 "예시적인"것으로 설명 된 임의의 실시예는 다른 실시예 보다 좋거나 또는 바람직한 것으로 해석 될 필요는 없다. 또한, 다수의 특정 세부 사항이 발명의 상세한 설명에 발명되어 있다. 당업자는 본 발명의 실시예가 몇몇 특정 세부 사항없이 실시될 수 있다는 것을 이해할 것이다. 일부 예들에서, 본발명의 취지를 더 명백히 하기 위하여 당업자에게 잘 알려진 방법, 수단, 컴포넌트 및 회로들은 상세히 설명되지 않는다.
도 1은 본 발명의 일 실시예에 따른 생체 검측 방법을 나타내는 흐름도이다. 당해 방법은 휴대폰, 태블릿 컴퓨터, 디지털 카메라 또는 액세스 제어 장치와 같은 얼굴 인식 기능을 갖는 단말 장치에 적용될 수 있다. 이 방법은 얼굴 잠금 해제, 얼굴 인식 결제, 무인 슈퍼마켓 및 비디오 감시와 같은 장면에 적용될 수 있다. 도 1에 도시 된 바와 같이, 상기 방법은 단계 S11 내지 단계 S13을 포함한다.
단계 S11에서, 제1 센서에 의해 감지 된 대상체의 깊이 정보 및 제2 센서에 의해 감지 된 대상 이미지를 획득한다.
일부 실시예에 의하면, 대상체은 인간의 얼굴이다. 일부 실시예에 의하면, 제1 센서는 3 D 센서이다. 예를 들어, 제1 센서는 ToF(Time of Flight) 센서, SLS, 쌍안 센서 또는 다른 타입의 깊이 센서일 수 있다. 3 D 센서에 의해 대상체의 깊이 정보를 획득함으로써, 고정밀도의 깊이 정보를 얻을 수 있다. 본 발명의 실시예는 대상체를 포함하는 깊이 정보를 이용하여 생체 검측를 수행하고, 대상체의 깊이 정보를 충분히 이용하여 생체 검측의 정확도를 향상시킬 수 있다. 예를 들어, 대상체가 인간의 얼굴 인 경우, 본 발명의 실시예는 인간의 얼굴을 포함하는 깊이 정보로 생체 검측을 수행함으로써, 인간 얼굴 데이트의 깊이 정보를 완전히 파악함으로써, 생체의 얼굴을 검측하는 정확도를 향상시킬 수있다.
비록 제1 센서가 ToF 센서, SLS 및 쌍안 센서로 상술되었지만, 당업자는 실시예가 이에 한정되지 않는다는 것을 이해할 수 있음을 알아야 한다. 당업자는 대상체의 깊이 정보가 제1 센서에 의해 감지 될 수 있는 한, 실제 응용장면의 요건 및/또는 개인 취향에 따라 제1 센서의 유형을 유연하게 선택할 수 있다.
본 실시예에 있어서, 대상체의 깊이 정보는 대상체의 깊이를 반영 할 수 있는 임이의 정보이며, 본 발명은 대상체의 깊이 정보의 구현에 대해여 구체적으로 한정하지 않는다. 일부 실시예에 의하면, 상기 대상체의 깊이 정보는 상기 대상체의 깊이 이미지일 수 있다. 다른 실시예에 의하면, 대상체의 깊이 정보는 대상체의 포인트 클라우드일 수 있다. 여기서, 대상체의 포인트 클라우드는 대상체의 각 점의 3 차원 좌표를 기록할 수 있다. 다른 실시예에 의하면, 대상체의 깊이 정보는 대상체의 다양한 지점의 깊이를 기록하는 테이블 또는 다른 유형의 파일일 수 있다.
일부 실시예에 의하면, 제2 센서는 RGB(Red: 적색, Green: 녹색, Blue: 청색) 센서 또는 근적외선 센서일 수 있다. 제2 센서가 RGB 센서 또는 다른 유형의 이미지 센서 인 경우, 제2 센서에 의해 감지 된 대상 이미지는 RGB 이미지이다. 제2 센서가 근적외선 센서 인 경우, 제2 센서에 의해 감지 된 대상 이미지는 근적외선 이미지이다. 근적외선 이미지는 스폿이 있는 근적외선 이미지 또는 스폿이 없는 근적외선 이미지 등일 수 있다. 제2 센서가 RGB 센서 및 근적외선 센서로 상술되었지만, 당업자는 본 발명 물의 실시예가 이에 한정되지 않는다는 것을 이해할 수 있음을 알아야 한다. 당업자는 제2센서에 의해 감지된 대상 이미지를 통해 대상체의 키포인트 정보를 획득할 수 있는 한, 실제 응용장면의 요건 및/또는 개인 취향에 따라 제2 센서의 유형을 유연하게 선택할 수 있다.
일부 실시예에 의하면, 깊이 정보 및 대상 이미지는 3D 카메라에 의해 획득되며, 3D 카메라는 이미지를 획득하기 위한 이미지 센서 및 깊이 정보를 획득하기 위한 깊이 센서를 포함한다. 예를 들어, 단말 장치는 본체에 설정된 3D 카메라를 통해 대상체의 3 차원 정보를 수집한다. 다른 실시예에 의하면, 깊이 정보와 대상 이미지는 다른 장치, 예를 들어 단말 장치로부터 송신 된 생체 검측 청구로부터 획득되고, 상기 생체 검측 청구는 깊이 정보와 대상 이미지를 포함한다.
단계 S12에서, 대상 이미지에 대하여 키포인트 검측을 수행하여 대상체의 키포인트 정보를 획득한다.
상기 대상체의 키포인트 정보는 상기 대상체의 키포인트의 위치 정보를 포함할 수 있다.
본발명의 일 실시예이 있어서, 대상체가 인간의 얼굴인 경우, 대상체의 기포인트는 눈 키포인트, 눈썹 키포인트, 코 키포인트, 입 키포인트 및 얼굴 윤곽 키포인트등 중 하나 또는 복수개의 키포인트를 포함할 수 있다. 본 실시예에 있어서, 눈 키포인트는 눈 컨투어 키포인트, 눈 코너 키포인트 및 동공 키포인트 중 하나 이상을 포함할 수 있다.
단계 S13에서, 대상체의 깊이 정보와 대상체의 키포인트 정보에 기초하여, 대상체의 생체 검측 결과가 얻어진다.
상기 대상체의 생체 검측 결과는 대상체가 생체 또는 대상체가 비생체일 수 있다, 예를 들어 대상체의 생체 검측 결과는 대상체가 생체인 인간의 얼굴이거나 비생체인 가짜 얼굴일 수 있다.
본 실시예에 있어서, 생체 깊이 정보와 상기 대상 이미지를 결합하여 생체 검측을 수행함으로써, 대상체의 깊이 정보와 대상 이미지중의 대상체의 키포인트 정보를 이용하여 생체 검측을 수행할 수 있게 되어, 생체 검측의 정확도를 향상시킬 수 있다.
도 2는 본 발명의 일 실시예에 따른 생체 검측 방법의 흐름도를 도시 한 것이다. 도 2에 도시 된 바와 같이, 상기 방법은 단계(S21 내지 S24)를 포함할 수 있다.
단계 S21에서, 제1 센서에 의해 감지 된 대상체의 깊이 정보 및 제2 센서에 의해 감지 된 대상 이미지를 획득한다. 단계 S21에 대해서는, 상기 단계 S11의 설명을 참조할 수 있다. 단계S22에서, 제1 센서의 파라미터 및 제2 센서의 파라미터에 따라 대상체의 깊이 정보 및 대상 이미지가 정렬된다.
일부 실시예에 의하면, 대상 이미지의 깊이 정보에 대해 변환 처리를 실시하여 변환 처리후의 깊이 정보와 대상 이미지가 정렬되도록 할 수 있다. 예를 들어, 대상체의 깊이 정보가 대상체의 깊이 이미지인 경우, 제1 센서의 파라미터 매트릭스 및 제2 센서의 파라미터 매트릭스에 따라, 제1 센서의 파라미터 매트릭스로 부터 제2 센서의 파라미터 매트릭스에 이르는 변환 매트릭스를 확정하고, 댕해 변환 매트릭스에 따라 대상체의 깊이 이메지를 변환한다.
다른 실시예에 의하면, 대상 이미지에 대하여 변환 처리를 수행하여, 변환 된 대상 이미지가 깊이 정보와 정렬되도록 할 수 있다. 예를 들어, 대상체의 깊이 정보가 대상체의 깊이 이미지인 경우, 제1 센서의 파라미터 매트릭스 및 제2 센서의 파라미터 매트릭스에 따라, 제2 센서의 파라미터 매트릭스로 부터 제1 센서의 파라미터 매트릭스에 이르는 변환 매트릭스를 확정하고, 댕해 변환 매트릭스에 따라 대상 이메지를 변환한다.
본 실시예에 의하면, 제1 센서의 파라미터는 제1 센서 내부 파라미터 및/또는 외부 파라미터를 포함할 수 있고, 제2 센서 파라미터는 제2 센서의 내부 파라미터 및/또는 외부 파라미터를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 대상체의 깊이 정보가 대상체의 깊이 이미지 인 경우, 대상체의 깊이 정보와 대상 이미지를 정렬시킴으로써 대상체의 깊이 이미지와 대상 이미지의 해당 부분이 두 도면에서의 위치를 일치하게 할 수 있다.
단계S23에서, 대상 이미지에 대하여 키포인트 검측을 수행하여 대상체의 키포인트 정보를 획득한다. 여기에서, 단계 S23은 단계 S12의 설명을 참조할 수 있다.
단계 S24에서, 대상체의 깊이 정보와 대상체의 키포인트 정보에 기초하여, 대상체의 생체 검측 결과를 얻는다. 여기서, 단계 S24는 단계 S13의 설명을 참조할 수 있다.
도 3은 본 발명의 실시예에 따른 생체 검측 방법의 단계(S13)의 예시적인 흐름도이다. 도 3에 도시 된 바와 같이, 단계 S13은 단계 S131 내지 S133을 포함할 수 있다.
단계 S131에서는, 대상체의 깊이 정보와 대상체의 키포인트 정보에 기초하여 제1 특징 정보를 획득한다.
일부 실시예에 있어서, 대상체의 깊이 정보와 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하는 단계는, 대상체의 깊이 정보와 대상체의 키포인트 정보를 제1 뉴럴 네트워크에 입력하여, 제1 특징 정보를 획득하는 단계를 포함한다. 이러한 실시예로서, 제1 뉴럴 네트워크는 컨볼루션층, 다운샘플링층, 및 전연결층을 포함할 수 있다. 예를 들어, 제1 뉴럴 네트워크는 1레벨의 컨볼루션층, 1레벨의 다운샘플링층 및 1 레벨의 전연결층을 포함할 수 있다. 당해 레벨의 컨볼루션층은 하나 이상의 컨볼루션층을 포함할 수 있고, 댕해 레벨의 다운샘플링층은 하나 이상의 다운샘플링층을 포함할 수 있으며, 당해 레벨의 전연결층은 하나 이상의 전연결층을 포함할 수 있다. 다른 예로서, 제1 뉴럴 네트워크는 복수 레벨 컨볼루션층, 복수 레벨 다운샘플링층, 및 1 레벨 전연결층을 포함할 수 있다. 여기서, 컨볼루션층의 각 레벨은 하나 이상의 컨볼루션층을 포함할 수 있고, 다운샘플링층의 각 레벨은 하나 이상의 다운샘플링층을 포함할 수 있고, 당해 레벨의 전연결층은 하나 이상의 전연결층을 포함할 수 있다. 여기서, 제i 번째 컨볼루션층은 제i 번째 다운샘플링층에 캐스캐이드되고, 제i 번째 다운샘플링층은 제 i + 1 차의 컨볼루션층에 캐스캐이드되며, 제n 레벨 다운샘플링층은 전연결층에 캐스케이드된다. i와 n은 모두 1 ≤ i ≤ n 인 양의 정수이고, n은 제1 뉴럴 네트워크에서의 컨볼루션층과 다운샘플링층의 레벨수를 나타낸다.
이 실시 형태의 다른 예로서, 제1 뉴럴 네트워크는 컨볼루션층, 다운샘플링층, 정규화층 및 전연결층을 포함할 수 있다. 예를 들어, 제1 뉴럴 네트워크는 1 레벨의 컨볼루션층, 하나의 정규화층, 1 레벨의 다운샘플링층 및 1 레벨의 전연결층을 포함할 수 있다. 당해 레벨의 컨볼루션층은 하나 이상의 컨볼루션층을 포함할 수 있고, 당해 레벨의 다운샘플링층은 하나 이상의 다운샘플링층을 포함할 수 있으며, 당해 레벨의 전연결층은 하나 이상의 전연결층을 포함할 수 있다.
다른 예로서, 제1 뉴럴 네트워크는 복수 레벨의 컨볼루션층, 복수의 정규화층, 및 복수 레벨의 다운샘플링층 및 1 레벨의 전연결층을 포함할 수 있다. 각 레벨의 컨볼루션층은 하나 이상의 컨볼루션층을 포함할 수 있으며, 각 레벨의 다운샘플링층은 한개 이상의 다운샘플링층을 포함할 수 있고, 당해 레벨의 전연결 층은 하나 이상의 전연결층을 포함할 수 있다. 여기서, 제i 레벨의 컨볼루션층은 제i 레벨의 정규화층에 캐스캐이드되고, 제i 레벨의 정규화층은제i 레벨의 다운샘플링층에 캐스캐이드되고, 제i 레벨의 다운샘플링층은 제i + 1 레벨의 컨볼루션층에 캐스캐이드되며, 제n 레벨의 다운샘플링층은 전연결층에 캐스케이드된다. 그중에서 i와 n은 모두 1 ≤ i ≤ n 인 양의 정수이고, n은 제1 뉴럴 네트워크에서의 컨볼루션층, 다운샘플링층 및 정규화층의 개수를 나타낸다.
단계 S132에서, 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득한다.
일부 실시예에 의하면, 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득는 단계는, 대상 이미지와 키포인트 정보를 제2 뉴럴 네트워크에 입력하여 제2 특징 정보를 획득하는 단계를 포함한다.
이러한 실시형태의 하나의 예로서, 제2 뉴럴 네트워크는 컨볼루션층, 다운샘플링층 및 전연결층을 포함할 수 있다.
예를 들어, 제2 뉴럴 네트워크는 1레벨의 컨볼루션층, 1레벨의 다운샘플링층 및 1 레벨의 전연결층을 포함할 수 있다. 그중에서 당해 레벨의 컨볼루션층은 하나 이상의 컨볼루션층을 포함 할 수 있고, 당해 레벨의 다운샘플링층은 하나 이상의 다운샘플링층을 포함 할 수 있으며, 당해 레벨의 전연결층은 하나 이상의 전연결층을 포함할 수 있다. 다른 예로서, 제2 뉴럴 네트워크는 복수 레벨의 컨볼루션층, 복수 레벨의 다운샘플링층 및 1 레벨의 전연결층을 포함할 수 있다. 여기서, 컨볼루션층의 각 레벨은 하나 이상의 컨볼루션층을 포함할 수 있고, 다운샘플링층의 각 레벨은 하나 이상의 다운샘플링층을 포함할 수 있고, 당해 레벨의 전연결층은 하나 이상의 전연결층을 포함할 수 있다. 여기서, 제j 레벨의 컨볼루션층은 제j 레벨의 다운샘플링층에 캐스케이드되며, 제j 레벨의 다운샘플링층은 j + 1 레벨의 컨볼루션층에 캐스케이딩된다. 제m 레벨의 다운샘플링층은 전연결층에 캐스케이드되며, 여기서 j 및 m은 1≤j≤m인 양의 정수이고, m은 제2 뉴럴 네트워크에서 컨볼루션층 및 다운샘플링층의 레벨수를 나타낸다.
다른 예로서, 제2 뉴럴 네트워크는 컨볼루션층, 정규화층, 다운샘플링층 및 전연결층을 포함할 수 있다. 예하면 제2 뉴럴 네트워크는 1레벨의 컨볼루션층, 하나의 정규화층, 1레벨의 다운샘플링층 및 1 레벨의 전연결층을 포함할 수 있다. 그중에서 당해 레벨의 컨볼루션층은 하나 이상의 컨볼루션층을 포함 할 수 있고, 당해 레벨의 다운샘플링층은 하나 이상의 다운샘플링층을 포함 할 수 있으며, 당해 레벨의 전연결층은 하나 이상의 전연결층을 포함할 수 있다. 다른 예로서, 제2 뉴럴 네트워크는 복수 레벨의 컨볼루션층, 복수개의 정규화층, 복수 레벨의 다운샘플링층 및 1 레벨의 전연결층을 포함할 수 있다. 여기서, 컨볼루션층의 각 레벨은 하나 이상의 컨볼루션층을 포함할 수 있고, 다운샘플링층의 각 레벨은 하나 이상의 다운샘플링층을 포함할 수 있고, 당해 레벨의 전연결층은 하나 이상의 전연결층을 포함할 수 있다. 여기서, 제j 레벨의 컨볼루션층은 제j번째 정규화층에 캐스케이드되며, 제j번째 정규화층은 제j 레벨의 다운샘플링층에 캐스케이드되며, 제j 레벨의 다운샘플링층은 j + 1 레벨의 컨볼루션층에 캐스케이딩된다. 제m 레벨의 다운샘플링층은 전연결층에 캐스케이드되며, 여기서 j 및 m은 1 ≤ j ≤m인 양의 정수이고, m은 제2 뉴럴 네트워크에서 컨볼루션층, 정규화층 및 다운샘플링층의 개수를 나타낸다.
일부 실시예들에서, 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크는 동일한 네트워크 구조를 갖는다.
단계 S133에서, 제1 특징 정보와 제2 특징 정보에 기초하여, 대상체의 생체 검측 결과를 확정한다.
본 발명의 실시예는 단계 S133 이전에 단계 S131 및 단계 S132가 수행되는 한, 단계 S131 및 S132의 시퀀스를 제한하지 않는다는 것을 알아야 한다. 예를 들어, 단계 S131가 먼저 수행될 수 있고 그 다음 단계 S132를 수행하거나, S132 단계가 먼저 수행될 수도 있으며, 또는 단계 S131 와 단계 S132를 동시에 실행할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 생체 검측 방법(S131)의 흐름도를 도시한 것이다. 도 5에 도시 된 바와 같이, 단계 S131은 단계 S1311 내지 S1313을 포함할 수 있다.
단계 S1311에서는, 대상체의 깊이 정보와 대상체의 키포인트 정보를 컨볼루션처리를 수행하여 제1 컨볼루션 결과를 얻는다.
단계 S1312에서, 제1 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여 제1 다운샘플링 결과를 획득한다.
일부 실시예에 의하면, 1 레벨 컨볼루션층과 1레벨 다운샘플링층을 이용하여 대상체의 깊이 정보와 대상체의 키포인트정보에 대하여 컨볼루션 처리 및 다운샘플링처리를 수행할 수 있다. 여기서, 당해 레벨의 컨볼루션층은 하나 이상의 컨볼루션층을 포함할 수 있고, 당해 레벨의 다운샘플링층은 하나 이상의 다운샘플링층을 포함할 수 있다.
다른 가능한 실시예에 의하면, 복수 레벨의 컨볼루션층과 복수 레벨의 다운샘플링층을 이용하여 대상체의 깊이 정보와 대상체의 키포인트 정보에 대하여 컨볼루션처리 및 다운샘플링처리를 수행할 수 있다. 여기서, 컨볼루션층의 각 레벨은 하나 이상의 컨볼루션층을 포함 할 수 있고, 다운샘플링층의 각 레벨은 하나 이상의 다운샘플링층을 포함할 수 있다.
일부 실시예에 의하면, 제1 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여 제1 다운샘플링 결과를 획득하는 단계는, 제1 컨볼루션 결과를 정규화하여 제1 정규화 결과를 획득하는 단계; 제1 정규화 결과에 대해 다운샘플링 처리를 수행하여, 제1 다운샘플링 결과를 얻는 단계를 포함한다.
단계 S1313에서, 제1 다운샘플링 결과에 기초하여, 제1 특징 정보를 획득한다.
일부 실시예들에서, 제1 다운샘플링 결과를 전연결층에 입력하여, 전연결층을 통해 제1 다운샘플링 결과에 대해 퓨전 처리(예를 들어, 전연결 연산)를 수행하여, 제1 특징 정보를 획득할 수 있다.
도 6은 본 발명의 일 실시예에 따른 생체 검측 방법중 단계(S132)의 예시적인 흐름도이다. 도 6에 도시 된 바와 같이, 단계 S132는 단계 S1321 내지 S1323을 포함할 수 있다.
단계 S1321에서, 대상 이미지 및 대상체의 키포인트 정보에 대해 컨볼루션 처리를 수행하여 제2 컨볼루션 결과를 획득한다.
단계 S1322에서, 제2 컨볼루션 결과에 대하여 다운샘플링 처리를 수행하여, 제2 다운샘플링 결과를 획득한다.
일부 실시예에 의하면, 대상체의 키포인트 정보와 대상 이미지는 1 레벨의 컨볼루션층 및 1 레벨의 다운샘플링층에 의해 콘볼루션 처리 및 다운샘플링 처리 될 수 있다. 1레벨의 컨볼루션층은 하나 이상의 컨볼루션층을 포함할 수 있고, 1레벨의 다운샘플링층은 하나 이상의 다운샘플링층을 포함할 수있다. 다른 가능한 실시예에서, 대상 이미지 및 대상체의 키포인트 정보는 복수 레벨 의 컨볼루션층 및 복수 레벨의 다운샘플링층에 의해 컨볼루션처리 및 다운샘플링처리 될 수 있다. 여기서, 컨볼루션층의 각 레벨은 하나 이상의 컨볼루션층을 포함할 수 있고, 다운샘플링층의 각 레벨은 하나 이상의 다운샘플링층을 포함할 수 있다. 일부 실시예에 의하면, 제2 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여, 제2 다운샘플링 결과를 획득하는 단계는, 제2 컨볼루션 결과를 정규화하여 제2 정규화 결과를 획득하는 단계; 제2 정규화 결과에 대해 다운샘플링 처리를 수행하여, 제2 다운샘플링 결과를 얻는 단계를 포함한다.
단계 S1323에서, 제2 다운샘플링 결과에 기초하여, 제2 특징 정보를 획득한다.
일부 실시예에 의하면, 제2 다운샘플링 결과를 전연결층에 입력하여, 전연결층을 통해 제2 다운샘플링 결과에 대해 퓨전 처리(예를 들어, 전연결 연산)를 수행하여, 제2 특징 정보를 획득할 수 있다.
도 7은 본 발명의 일 실시예에 따른 생체 검측 방법중의 단계(S133)의 예시적인 흐름도이다. 도 7에 도시 된 바와 같이, 단계 S133은 단계 S1331 및 단계 S1332를 포함할 수 있다.
단계S1331에서는, 제1 특징 정보와 제2 특징 정보를 퓨전 처리(예를 들면, 전연결 연산)하여 제3 특징 정보를 얻는다.
일부 실시예들에서, 제1 특징 정보와 제2 특징 정보에 대하여 연결 시키거나(예를 들어, 채널 중첩) 가산 처리를 수행하여, 제3 특징 정보를 얻을 수 있다. 일 실시예에 의하면, 전연결층을 통해 제1 특징 정보와 제2 특징 정보에 대해 전연결 연산을 수행하여 제3 특징 정보를 획득한다.
단계 S1332에서, 제3 특징 정보에 기초하여, 대상체의 생체 검측 결과를 확정한다.
도 8은 본 발명의 일 실시예에 따른 생체 검측 방법중 단계(S1332)의 예시적인 흐름도이다. 도 8에 도시 된 바와 같이, 단계 S1332는 단계 S13321 및 단계 S13322를 포함할 수 있다.
단계 S13321에서, 제3 특징 정보에 기초하여, 대상체가 생체일 확률을 얻는다.
일부 실시예에 있어서, 제3 특징 정보를 Softmax층에 입력하고, Softmax층을 통해 상기 대상체가 생체일 확률을 획득할 수 있다. 이러한 실시예중의 하나로서, Softmax 층은 2 개의 뉴런을 포함 할 수 있는데, 여기서 하나의 뉴런은 대상체가 생체인 확률을 나타내고, 다른 뉴런은 대상체가 비생체 일 확률을 나타낸다.
단계 S13322에서, 대상체가 생체 일 확률에 따라 대상체의 생체 검측 결과를 확정한다.
일부 실시예에 있어서, 대상체가 생체 일 확률에 따라 대상체의 생체 검측 결과를 확정하는 단계는, 대상체가 생체일 확률이 제1 임계값보다 클 경우, 대상체의 생체의 검측 결과는 대상체가 생체라고 확정되고; 대상체가 생체일 확률이 제1 임계값보다 작거나 같으면, 대상체의 생체 검측 결과는 비생체로 확정된다. 도 8에 도시 된 절차는 상기S1332과 같은 실시방식을 소개하였지만, 당업자는 본 발명의 실시예는 이에 한정되지 않아야 함을 이해할 것이다. 다른 가능한 실시예에 있어서, 제3특징 정보를 이용하여 대상체가 비생체일 확률을 얻고, 이를 이용하여 대상체의 생체 검측 결과를 확정할 수 있다. 당해 실시예어 있어서, 대상체가 비생체일 확률이 제2 임계값보다 클 경우, 대상체의 생체 검측 결과를 비생체로 확정하고, 대상체가 비생체일 확률이 제2 임계값 이하인 경우, 대상체의 생체 검측 결과는 생체로 확정된다.
본 실시예는 대상체의 깊이 정보와 대상 이미지를 결합하여 생체 검측을 수행하므로, 대상체의 깊이 정보와 대상 이미지중의 대상체의 키포인트정보를 이용하여 생체 검측이 가능하게 되어, 이로써 생체 검측의 정확도를 향상시킬 수 있으며, 계산 복잡도가 저하되고, 카메라가 약간 흔들리거나 진동할지라도 정확한 생체 검측 결과를 얻을 수 있다.
얼굴 인식 기술의 발전과 더불어, 얼굴 인식 정확도가 지문을 초월할 수 있기에 비디오 감시, 얼굴 잠금 해제, 얼굴 지불등 애플리케이션 등 다양한 장면에 널리 사용된다. 그러나 얼굴 인식은 해킹 당할 위험이 있으며, 생체 검측은 안면 인식 애플리케이션의 필수적인 부분이다.
외눈(하나의 눈) 생체 검측은 통상의 카메라로 촬상 한 이미지를 입력으로 하기에, 고해상도의 심리스 해킹 이미지을 통과시키기 쉽다는 결점이 있다. 쌍눈(한쌍의 눈) 생체 검측 기술은 입력으로서 2 대의 카메라(일반 RGB 카메라 또는 일반 근적외선 카메라)를 사용하며, 성능은 외눈 생체컴측보다 우수하다. 그러나, 쌍눈 매칭에 의한 얼굴의 깊이 분포 정보의 계산은 계산량이 많고 깊이 정보의 정확도가 낮으며, 카메라가 흔들림이나 진동 등의 경우, 카메라 파라미터가 변경되기 쉬워 계산이 실효하는 단점이 있다. 최근 몇 년 동안 예를들면 TOF(Time Of Flight) 센서, SLS, 쌍안 센서 등3D(3 Dimensions) 센서 기술이 도약으로 발전하여 사용자가 센서에서 직접적으로 고정밀도의 깊이 정보를 쉽게 얻을 수 있다. 본 발명의 실시예는 3D 데이터 및 근적외선 데이터 또는 RGB 컬러 모드 데이터를 입력으로 하고, 근적외선 이미지 또는 RGB 이미지를 사용하여 얼굴 키포인트 정보를 얻은 다음, 얼굴 3D 깊이 이미지, 근적외선 또는 RGB 이미지, 얼굴 키포인트 정보, 안각 특징, 동공특징등 중의 하나 또는 복수개를 퓨전하고, 딥 학습 모델을 사용하여 실제 얼굴과 해킹을 보다 효과적으로 구분할 수 있다.
도 4a는 본 발명의 일 실시예에 따른 사람의 얼굴에 적용된 생체 검측 장치의 개략적 인 블록도이다. 도 4a에 되시된 바와 같이, 생체 검측 장치는 입력 모듈(41), 데이터 전처리 모듈(42), 딥(deep) 뉴럴 네트워크 모듈(43)과 검측 결과 출력 모듈(44) 등을 포함한다.
입력 모듈(41)은 상이한 하드웨어 모듈의 데이터 입력에 적용되고, 입력 모듈의 데이터 입력 형식은 깊이 이미지, 근적외선 이미지, 스폿을 갖는 근적외선 이미지, RGB 이미지 등중의 하나 이상을 포함한다. 구체적인 조합 방식은 상이한 하드웨어 구성에 의해 확정된다.
데이터 전처리 모듈(42)은 입력 모듈에 의해 입력 된 데이터에 대해 전처리를 수행하여, 딥 뉴럴 네트워크에 적합한 데이터를 얻는다. 도 4b는 일 실시예에 따른 도 4a의 데이터 전처리 모듈(42)의 일종 실시양태의 예시적인 블록도를 도시하며, 여기서, 데이터 전처리 모듈의 입력은 깊이 센서에 의해 획득 된 깊이 이미지 및 이미지 센서에 의해 획득 된 이미지(순수 근적외선 이미지, 스폿을 갖는 적외선 이미지, RGB 이미지 등) 를 포함한다. 도 4b에 도시 된 예에서, 깊이 이미지(421) 및 근적외선 이미지(422)를 데이터 전처리 모듈(42)에 대한 입력으로서 사용한다. 가능한 일부 실시예에서, 데이터 전처리 모듈은 얼굴 정렬 교정(423) 및 얼굴 키포인트 검측(424)을 통해 입력 데이터를 처리한다. 여기서 얼굴 키포인트 검측은 얼굴 키포인트 모델을 사용하여 구현될 수 있다.
이미지 정렬 교정(423)에서, 깊이 이미지와 근적외선 이미지(또는 RGB 이미지)가 동기 정렬되어 있지 않을 경우, 카메라의 파라미터 매트릭스에 따라 입력된 깊이 이미지 및 근적외선 이미지를 정렬/교정하여 이미지 정렬을 수행 할 필요가 있다.
얼굴 키포인트 검측(424)에서, 얼굴 키포인트 모델에 근적외선 이미지(또는 RGB 이미지)를 입력하여 얼굴 키포인트 검측을 수행함으로써, 얼굴 키포인트 정보(425)를 획득한다.
데이터 전처리 모듈 출력은, 출력 포맷이 입력과 대응되며, 정렬 교정된 얼굴 깊이 이미지(입력된 깊이 이미지(421)에 대응)와 얼굴 근적외선 이미지(입력된 근적외선 이미지(422)에 대응)를 포함한다. 일부 실시예에 의하면, 딥 뉴럴 네트워크 모듈(43)은 2분류 모델이다. 예를 들어 진짜 인간의 얼굴에 대해서는 분류의 라벨이 0이고, 해킹의 얼굴에 대해서는 분류의 라벨이 1이다. 또 다른 예를 들면, 진짜 인간의 얼굴의 경우 분류 라벨은 1이고, 해킹의 얼굴의 경우 분류 라벨은 0이다. 도 4c는 본 발명의 실시예에 따른 도 4a의 딥 뉴럴 네트워크 모듈의 일 실시예의 블록도이다. 도 4c에 도시된 바와 같이, 딥 뉴럴 네트워크 모듈의 출력은, 데이터 전처리모듈을 통해 얻은 얼굴 깊이 이미지(431), 얼굴 근적외선 이미지(432)(또는 다른 형태의 2 차원 얼굴 이미지) 및 얼굴 키포인트 정보(433)를 포함한다. 일부 실시예에 의하면, 딥 뉴럴 네트워크 모듈의 출력은, 판별 점수, 즉 진짜 인간 또는 해킹으로 확정될 확률을 포함한다. 딥 뉴럴 네트워크의 출력은 하나의 이진값이며, 출력 점수를 기설정된 임계값과 비교하는데, 여기서 임계값의 설정은 정확도와 회상률(Recall Rate)에 따라 조정할수 있으며, 예를 들어, 딥 뉴럴 네트워크의 출력 점수가 임계값보다 큰 경우, 해킹으로 확정되고, 임계값보다 작으면 생체로 확정된다.
도 4c에 도시 된 예에서, 딥 뉴럴 네트워크는 복수 브랜치 모델이고, 브랜치의 수는 입력된 이미지의 수에 의해 확정된다. 도 4c는 얼굴 깊이 이미지와 얼굴 근적외선 이미지를 예로 들어 설명하면, 딥 뉴럴 네트워크는 2개의 부랜치를 포함하며, 각각의 브랜치는 복수의 컨볼루션층(434), 다운샘플링층(435) 및 전연결층(436)을 포함한다. 여기서, 얼굴 깊이 이미지(431) 및 얼굴 키포인트 정보(433)는 제1 브랜치에 입력되어 특징 추출 처리를 수행하고, 얼굴 근적외선 이미지(432) 및 얼굴 키포인트 정보(433)는 제2 브랜치에 입력되어 특징 추출 처리를 수행하고, 나중에 복수의 브랜치들에 의해 추출 된 특징들은 연결되어 함께 전연결층(437)에 입력되고, 최종적으로 Softmax 층(438)에 의해 처리되어 출력 결과를 얻는다. 출력층의 뉴런의 수는2이며, 각각 실제 사람 및 해킹의 확률을 나타낸다. 또한, 도 4c의 2개의 브랜치의 입력은 모두 얼굴 키포인트 정보를 포함하고, 전연결층(437)는 얼굴 키포인트 정보를 이용하여 2개의 브랜치의 전연결층(436)이 출력한 특징 정보를 하나로 퓨전한다. 제1 브랜치에서의 전연결층(436)의 출력은 제1 특징 정보이고, 제2 브랜치에서의 전연결층(436)의 출력은 제2 특징 정보라고 한다면, 전연결층(437)은 얼굴 키포인트 정보를 이용하여 전연결 연산을 통해 제1 특징 정보와 제2 특징 정보를 하나로 퓨전한다. 즉, 본 발명의 실시예에 의하면, 얼굴 키포인트 정보는 얼굴 깊이 이미지와 얼굴 근적외선 이미지를 퓨전시켜 최종 출력 결과를 얻는 데 사용된다.
검측 결과 출력 모듈(44)의 출력 방식은 다양하다. 일 예시에서, 실제 얼굴에 대해, 출력은 0으로 마크되고, 해킹 된 얼굴에 대해서는 출력이 1로 마크되지만, 본 발명의 실시예는 이에 제한되지 않는다.
본 발명의 실시예에 의해 제공된 기술적 해결책은 다음 특징들 중 적어도 하나를 갖는다:
1）일부 실시예에 의하면, 한편으로는 깊이 정보를 갖는 3D 센서와 근적외선 이미지, RGB 이미지 등과 같은 다른 보조 이미지를 결부시킨다, 즉, 얼굴 깊이 데이터의 배포를 위한 기반으로 다양한 새로운 3D 데이터를 사용하는 것이다. 한편, 제안 된 프레임은 다양한 3D 센서 입력 폼에 적용될 수 있는데, 예를 들면 TOF 카메라가 제공하는 3D 깊이 이미지 + 근적외선 이미지; 구조 광 카메라가 제공하는 3D 깊이 이미지+스팟 포함 근적외선 이미지; 3D 깊이 이미지+ RGB이미지; 3D 깊이 이미지 + 근적외선 이미지 + RGB이미지; 및 3D 깊이 이미지 및 근적외선 이미지 또는 RGB이미지를 포함한 기타 입력 폼을 포함한다. 하지만 종래에는 일반적인 카메라와 쌍안이 주로 사용되고 얼굴 데이터의 깊이 정보가 충분히 활용되지 못하여, 고화질 심리스(Seamless) 해킹으로 인해 쉽게 공격받을 수 있는데, 이에 비하여 본 발명의 실시예에 의하면는3D 센서에 의해 수집 된 얼굴 깊이 이미지는 평면 해킹 공격을 방지할 수 있다.
2）일부 실시예에 의하면, 3D 깊이 정보, 다른 근적외선 데이터 또는 RGB 데이터, 얼굴 키포인트 정보와 안각 및 동공 특징이 퓨전되어 딥 학습 모델의 훈련을 통해 실제 사람과 해킹을 구별한다. 종래의 검측 방법들에서는, 단일 데이터를 위주로 하고 있고, 복수 모달 데이터 간의 상호 관계 및 상보성을 이용하지 못하고 있다. 즉 종래의 쌍눈 깊이 계산 방법은 계산 복잡도가 높고 정밀도가 떨어지는 단점이 있다. 이에 반해 본 발명의 실시예는 현재의 3D 감지 기술을 효과적으로 활용하여 보다 정확한 3D 얼굴 데이터 분포를 얻을 수 있다.
3）일부 실시예에 의하면, 복수 브랜치 모델을 퓨전시켜, 복수 브랜치 모델은 복수 모드 데이터를 완전히 퓨전 할 수 있고, 다양한 데이터 형태를 겸용 가능하여, 딥 뉴럴 네트워크을 통해 실제 얼굴 정보 특징을 학습할 수 있다. 본 발명의 실시예는 얼굴 깊이 정보, 근적외선 얼굴 정보 또는 RGB이미지 얼굴 정보, 얼굴 키포인트정보와 안각, 눈, 동공 등 다차원 생물 특징 퓨전 기술을 적용하여 단일 기술의 해킹 리스크를 회피할 수 있다.
도 9는 본 발명의 일 실시예에 따른 생체 검측 장치의 블록도이다. 도 9에 도시 된 바와 같이, 본 장치는 제1 센서에 의해 감지 된 대상체의 깊이 정보와 제2 센서에 의해 감지 된 대상 이미지를 획득하는 획득 모듈(91), 대상 이미지에 대하여 키포인트 검측을 수행하여 대상체의 기포인트 정보를 획득하도록 구성된 검측 모듈(92) , 및 대상체의 깊이 정보와 대상체의 키포인트 정보를 기초로 하여 대상체의 생체 검측 결과를 얻도록 구성된 확정 모듈(93)을 포함한다. 일부 실시예에 의하면, 대상체는 인간의 얼굴이다. 일부 실시예에 의하면, 제2 센서는 RGB 센서 또는 근적외선 센서이다.
도 10은 본 발명의 실시예에 따른 생체 검측 장치의 예시적인 블록도를 도시한다. 도10에 도시된 바와 같이:
일부 실시예에 의하면, 상기 장치는 제1 센서의 파라미터 및 제2 센서의 파라미터에 기초하여 대상체의 깊이 정보와 대상 이미지를 정렬하도록 구성된 정렬 모듈(94)을 더 포함한다.
일부 실시예에 의하면, 상기 확정 모듈(93)은, 대상체의 깊이 정보와 대상체의 키포인트 정보에 기초하여 제1 특징 정보를 획득하는 제1 확정 서브 모듈(931)과, 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하는 제2 확정 서브 모듈(932), 및 제1 특징 정보와 제2 특징 정보를 기초로 대상체의 생체 검측 결과를 확정하는 제3 확정 서브 모듈(933)를 포함한다.
일부 실시예에 의하면, 제1 확정 서브 모듈(931)은 대상체의 깊이 정보와 대상체의 키포인트 정보를 제1 뉴럴 네트워크에 입력하여, 제1 특징 정보를 획득하고, 제2 확정 서브 모듈(932) 은 대상 이미지와 키포인트 정보를 제2 뉴럴 네트워크에 입력하여 제2 특징 정보를 획득한다. 일부 실시예들에서, 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크는 동일한 네트워크 구조를 갖는다.
일부 실시예에 의하면, 상기 제1 확정 서브 모듈(931)은상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 대하여 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻는 제1컨볼루션유닛; 상기 제1 컨볼루션 결과를 다운샘플링하여 제1 다운샘플링 결과를 얻는 제1 다운샘플링유닛; 및제1 다운샘플링 결과에 기초하여 제1 특징 정보를 획득하는 제1확정유닛을 포함한다.
일부 실시예에 의하면, 상기 제2 확정 서브 모듈(932)은 상기 대상 이미지와 상기 대상체의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻는 제2컨볼루션유닛; 상기 제2 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여 제2 다운샘플링 결과를 얻는 제2 다운샘플링유닛; 및 상기 제2 다운샘플링 결과에 기초하여 제2 특징 정보를 얻는 제2 확정유닛를 포함한다.
일부 실시예에 의하면, 상기 제3 확정 서브 모듈(933)은 상기 제1 특징 정보와 상기 제2 특징 정보에 대해 퓨전처리를 수행하여, 제3 특징 정보를 얻는 완전연결유닛;및 상기 제3 특징 정보에 따라 상기 대상체의 생체 검측 결과를 확정하는 제3 확정유닛를 포함한다.
일부 실시예에 의하면, 상기 제3 확정유닛은 상기 제3 특징 정보에 기초하여 상기 대상체가 생체 인 확률을 구하는 제1 확정 서브 유닛과, 상기 대상체가 생체인 확률에 따라 상기 대상체의 생체 검측 결과를 확정하는 제2 확정 서브 유닛을 포함한다. 본 발명의 실시예는 대상체의 깊이 정보와 대상 이미지를 결합하여 생체 검측을 수행함으로써 대상체의 깊이 정보와 대상 이미지의 대상체의 키포인트 정보를 이용하여 생체 검측을 가능하게 함으로써 생체 검측의 정확도를 향상시켜 비생체 이미지 공격을 방지한다.
도 11은 본 발명의 일 실시예에 따른 생체 검측 장치(800)의 블록도이다. 예를 들어, 장치(800)는 이동 전화, 컴퓨터, 디지털 방송 단말기, 메시징 장치, 게임 콘솔, 태블릿 장치, 의료 장치, 피트니스 장치, 개인 휴대 정보 단말기 등일 수 있다. 도 11을 참조하면, 장치(800)는 프로세싱 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력（I/ O）(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 등이 포함될 수 있다.
프로세싱 컴포넌트(802)는 통상적으로 디스플레이, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작등 장치(800)의 전체 동작을 제어한다. 프로세싱 컴포넌트(802)는 하나 이상의 프로세서(820)로 상술 한 방법의 전부 또는 일부 단계를 수행하기 위한 명령을 실행한다. 또한, 프로세싱 컴포넌트(802)는 그와 다른 컴포넌트 간의 인터랙션을 용이하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(802)는 멀티미디어 컴포넌트(808)와 프로세싱 컴포넌트(802) 간의 인터랙션을 용이하게 하는 멀티미디어 모듈을 포함할 수 있다.
메모리(804)는 장치(800)에서의 동작을 지원하기 위해 다양한 유형의 데이터를 저장하도록 구성된다. 그러한 데이터의 예는 장치(800)상에서 동작하는 임의의 애플리케이션 또는 방법의 명령, 연락처 데이터, 전화 번호부 데이터, 메시지, 이미지, 비디오 등을 포함한다. 메모리(804)는 임의의 유형의 휘발성 또는 비 휘발성 저장 장치 또는 그 조합으로 구현된다. 예를 들면 SRAM, EEPROM, EPROM, PROM, ROM 자기 메모리, 플래시 메모리, 디스크 또는 광 디스크 중 적어도 하나를 포함할 수 있다. 전원 컴포넌트(806)는 장치(800)의 다양한 컴포넌트에 전원을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원, 및 장치(800)에 대한 전원의 생성, 관리 및 분배와 관련된 다른 컴포넌트를 포함할 수 있다.
멀티미디어 컴포넌트(808)는 장치(800)와 사용자 사이의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 의하면, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 스크린은 터치 스크린으로서 구현되어 사용자로부터 입력 신호를 수신할 수 있다. 터치 패널은 터치 패널상의 터치, 슬라이드 및 제스처를 감지하기 위한 하나 이상의 터치 센서를 포함한다. 터치 센서는 터치 또는 슬라이딩 동작의 경계뿐만 아니라 터치 또는 슬라이드 동작과 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에 의하면, 멀티미디어 컴포넌트(808)는 전방 카메라 및/또는 후방 카메라를 포함한다. 장치(800)는 예컨대 비디오 모드 또는 촬영 모드등 작동 모드에 있을 때, 전방 카메라 및/또는 후방 카메라는 외부 멀티미디어 데이터를 수신할 수 있다. 각 전방 및 후방 카메라는 고정 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 가질 수 있다. 오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예컨대, 오디오 콤포넌트(810)는 마이크로폰(마이크)를 포함하는데 장치(800)이 예컨대 통화 모드, 녹음 모드, 음성 인식 모드와 같은 동작 모드에 처해 있을경우, 마이크는 외부 오디오 신호를 수신하도록 구성된다. 수신 된 오디오 신호는 메모리(804)에 진일보 저장되거나 통신 컴포넌트(816)를 통해 전송 될 수 있다. 일부 실시예에 의하면, 오디오 컴포넌트(810)는 또한 오디오 신호를 출력하기 위한 스피커를 포함한다. I / O인터페이스 모듈(812)는 프로세싱 컴포넌트(802)과 주변 인터페이스 모듈 사이의 인터페이스를 제공하고, 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등을 포함할 수 있다. 이러한 버튼에는 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼이 포함될 수 있지만 이에 한정되지는 않는다.
센서 컴포넌트(814)는 장치(800)에 다양한 양태의 상태 평가를 제공하기 위한 하나 이상의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 장치(800)의 개방 / 폐쇄 상태, 장치(800)의 디스플레이 및 키패드와 같은 구성 요소의 상대적 위치를 검측할 수 있고, 센서 컴포넌트(814)는 또한 장치(800) 또는 장치(800)의 하나의 구성 요소의 위치 변화, 장치(800)와 사용자의 접촉의 존재여부, 장치(800)의 방향 또는 가속 / 감속 및 장치(800)의 온도 변화를 검측할 수 있다. 센서컴포넌트(814)는 임의의 물리적 접촉없이 인근 물체의 존재를 검측하도록 구성된 근접 센서를 포함 할 수 있다. 센서 컴포넌트(814)는 또한 이미징 애플리케이션에 사용하기 위해 CMOS 또는 CCD 이미지 센서와 같은 광 센서를 포함할 수 있다. 일부 실시예에 의하면, 센서 컴포넌트(814)는 또한 가속 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함할 수 있다.
통신 컴포넌트(816)는 장치(800)와 다른 장치 간의 유선 또는 무선 통신을 용이하게 하도록 구성된다. 장치(800)는 WiFi, 2G 또는 3G, 또는 이들의 조합과 같은 통신 표준에 기초하여 무선 네트워크에 액세스할 수 있다. 예시적인 실시예에 의하면, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터 방송 신호 또는 방송 관련 정보를 수신한다. 예시적인 실시예에 의하면, 통신 컴포넌트(816)는 또한 단거리 통신을 용이하게 하는 근거리 통신(NFC) 모듈을 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(RFID) 기술, 적외선 데이터 연결(IrDA) 기술, 초 광대역(UWB) 기술, Bluetooth(BT) 기술 및 기타 기술을 기반으로 구현될 수 있다.
예시적인 실시예에 의하면, 장치(800)는 하나 이상의 앱전용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(DSPD), PLD, FPGA, 제어기, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 부품으로 구현할 수 있다. 예시적인 실시예에 의하면, 상기 방법을 수행하기 위해 장치(800)의 프로세서(820)에 의해 실행 가능한 컴퓨터 프로그램 명령들을 포함하는 메모리(804)와 같은 비 일시적 컴퓨터 판독 가능 저장 매체가 더 제공된다.
본 발명의 실시예는 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서로 하여금 본 발명의 다양한 양태를 구현하게 하는 컴퓨터 판독 가능 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 컴퓨터 판독 가능 저장 매체는 명령 실행 장치에 의해 사용 된 명령을 보유하고 저장할 수 있는 유형의 장치일 수 있다. 컴퓨터 판독 가능 저장 매체는, 예를 들어 전기 저장 장치, 자기 저장 장치, 광 저장 장치, 자기 기억 장치, 반도체 기억 장치, 또는 이들의 임의의 적절한 조합을 포함하며 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(비 한정적인 리스트)는 휴대용 컴퓨터 디스크, 하드 디스크, RAM(random access memory), ROM(read only memory), EPROM(erasable programmable read only memory) 플래시 메모리, SRAM, CD-ROM, DVD, 메모리 스틱, 플로피 디스크, 기계적 엔코딩 장치, 명령이 저장된 천공카드 또는 그루브의 천공 된 구조 및 이들의 적절한 조합 등이 될 수 있다. 본 명세서에서 사용 된 컴퓨터 판독 가능 저장 매체는 전파 또는 다른 자유롭게 전파하는 전자기파, 도파관 또는 다른 전송 매체(예를 들어, 광섬유 케이블을 통한 광 펄스)를 통해 전파하는 전자기파 또는 와이어를 통한 전자 신호 자체로 해석되어서는 안된다.
본 명세서에 설명 된 컴퓨터 판독 가능 프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 다양한 컴퓨팅/프로세싱 장치로 다운로드되거나 또는 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크와 같은 네트워크를 통해 외부 컴퓨터 또는 외부 저장 장치에 다운로드될 수 있다. 네트워크에는 구리 전송 케이블, 광섬유 전송 장치, 무선 전송 장치, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버가 포함될 수 있다. 각각의 컴퓨팅/프로세싱 장치의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령을 수신하고, 각 컴퓨팅/프로세싱 장치 내의 컴퓨터 판독 가능 저장 매체에 저장하기 위해 컴퓨터 판독 가능 프로그램 명령을 전송한다.
본 발명의 실시예의 동작을 수행하기위한 컴퓨터 프로그램 명령은 어셈블리 명령어, 명령어 세트 아키텍처(ISA) 명령어, 머신 명령, 머신 관련 명령, 마이크로 코드, 펌웨어 명령, 상태 셋팅 데이터 일 수 있거나, 객체 지향 프로그래밍 언어Smalltalk, C ++ 등은 물론 "C"언어 또는 유사한 프로그래밍 언어와 같은 통상적인 과정식 프로그래밍 언어등 중의 하나 이상의 언어를 포함하는 언어 조합으로 작성된 소스 코드 또는 객체 코드이다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터상에서 실행되거나, 또는 부분적으로 사용자의 컴퓨터상에서 실행되거나, 독립형 소프트웨어 패키지로서 실행되거나, 부분적으로 사용자의 컴퓨터상에서 부분적으로 원격 컴퓨터상에서 실행되거나, 또는 전체적으로 원격 컴퓨터 또는 서버상에서 실행될 수 있다. 원격 컴퓨터의 경우, 로컬 영역 네트워크(LAN) 또는 광역 통신망(WAN에) 포함하는 임의의 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나, 또는 외부의 컴퓨터에 연결된다(예를 들어, 인터넷 서비스 공급자를 사용하여 인터넷을 통해 연결). 일부 실시예에 의하면, 프로그램 가능 논리 회로, FPGA 또는 PLA와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 맞춤화 될 수 있다. 이러한 전자회로는 발명된 실시예들의 다양한 양상들을 구현하기 위해 컴퓨터 판독 가능 프로그램 명령들을 실행할 수 있다.
본 발명의 실시 형태의 양상은 본 명세서의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명된다. 흐름도 및/또는 블록도들의 각 블록, 및 각 흐름도 및/또는 각 블록도의 블록들의 조합은 컴퓨터 판독 가능 프로그램 명령들에 의해 구현 될 수 있다는 것을 이해해야 한다.
이러한 컴퓨터 판독 가능 프로그램 명령어들은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 제공되어, 이러한 명령어가 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 의해 실행될 경우, 흐름도 및/또는 블록도중의 하나 이상의 블록에 지정된 기능/동작을 구현할 수 있는 기기를 구성할 수 있다. 이러한 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 저장 매체에 저장되어, 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 다른 장치가 특정 방식으로 동작하도록 할 수 있기에, 이로서 명령을 저장하는 컴퓨터 판독 가능 매체는 흐름도 및/또는 블록도 중의 하나 이상의 블록에 열거 된 기능/동작의 다양한 측면을 구현하기 위한 명령을 포함하는 제품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치에 로딩되어, 일련의 조작 단계를 수행함으로써, 컴퓨터 구현과정을 이룩하여, 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치에서 실행되는 명령들은 흐름도 및/또는 블록도의 각 블록 중 하나 이상에 열거 된 기능/동작들을 구현하게 한다.
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 구조, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 규정된 로직 기능을 실행 가능한 하나 이상의 명령을 포함하는 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 나타낼수 있다. 일부 다른 교체가능한 실시예에서, 블록들에서 언급 된 기능들은 도면들에 예시 된 것과 다른 순서로 발생할 수도 있다. 예를 들어, 2 개의 연속적인 블록은 실질적으로 병렬로 실행될 수 있으며, 관련된 기능에 따라 때로는 역순으로 실행될 수 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도의 블록들의 조합은 지정된 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에서 구현될 수 있음에 유의해야 한다. 또는 전용 하드웨어와 컴퓨터 명령어를 조합하여 구현할 수도 있다.
이상, 본 발명의 실시예에 대해서 설명하였지만, 전술 한 설명은 본 발명을 예시하기위한 것일뿐 한정하는 것은 아니며, 발명된 실시예에 한정되는 것은 아니다. 본 발명의 범위와 사상을 벗어나지 않는 한 당업자에 있어서 수많은 수정 및 변경이 가능함은 명백할 것이다. 본 명세서에서 사용되는 용어의 선택은 본 발명의 원리, 실용적인 응용 또는 기술 개선을 가장 잘 해석하기 위한 것이다.

Claims (36)

  1. 생체 검측 방법으로서,
    제1 센서에 의해 감지 된 대상체의 깊이 정보와 제2 센서에 의해 감지 된 대상 이미지를 획득하는 단계; 상기 대상 이미지에 대하여 키포인트 검측을 수행하여 상기 대상체의 키포인트 정보를 획득하는 단계; 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 상기 대상체의 생체 검측 결과를 얻는 단계를 포함하는 생체 검측 방법.
  2. 제1항에 있어서,
    상기 대상체는 인간의 얼굴인 것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제2 센서는 RGB 센서 또는 근적외선 센서인 것을 특징으로 하는 방법.
  4. 제1항 내지 제3항 중 어느 한항에 있어서,
    상기 제1 센서는 비행 시간 TOF 센서 또는 SLS(structured light sensor)인 것을 특징으로 하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 대상 이미지에 대해 키포인트 검측을 수행하기 전에, 상기 제1 센서의 파라미터 및 상기 제2 센서의 파라미터에 따라, 상기 대상체의 깊이 정보와 상기 대상 이미지를 정렬하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 상기 대상체의 생체 검측 결과를 얻는 단계는,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하는 단계;
    상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하는 단계;
    상기 제1 특징 정보와 상기 제2 특징에 기초하여 상기 대상체의 생체 검측 결과를 확정하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하는 단계는,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보를 제1 뉴럴 네트워크에 입력하여, 제1 특징 정보를 획득하는 단계를 포함하고,
    상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하는 단계는,
    상기 대상 이미지와 상기 키포인트 정보를 상기 제2 뉴럴 네트워크에 입력하여 제2 특징 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하는 단계는,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 대하여 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻는 단계;
    상기 제1 컨볼루션 결과를 다운샘플링하여 제1 다운샘플링 결과를 얻는 단계;
    제1 다운샘플링 결과에 기초하여 제1 특징 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하는 단계는,
    상기 대상 이미지와 상기 대상체의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻는 단계;
    상기 제2 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여 제2 다운샘플링 결과를 얻는 단계;
    상기 제2 다운샘플링 결과에 기초하여 제2 특징 정보를 얻는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제6항 내지 제 9항 중 어느 한 항에 있어서,
    상기 제1 특징 정보와 상기 제2 특징 정보에 기초하여 상기 대상체의 생체 검측 결과를 확정하는 단계는,
    상기 제1 특징 정보와 상기 제2 특징 정보에 대해 퓨전처리를 수행하여, 제3 특징 정보를 얻고, 상기 제3 특징 정보에 따라 상기 대상체의 생체 검측 결과를 확정하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서,
    상기 제3 특징 정보에 따라 상기 생체 검측 결과를 확정하는 단계는,
    상기 제3 특징 정보에 따라, 상기 대상체가 생체 인 확률을 획득하는 단계;
    상기 대상체가 생체인 확률에 따라 상기 대상체의 생체 검측 결과를 확정하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 생체 검측 장치에 있어서,
    제1 센서에 의해 감지 된 대상체의 깊이 정보와 제2 센서에 의해 감지 된 대상 이미지를 획득하는 획득 모듈;
    상기 대상 이미지에 대하여 키포인트 검측을 수행하여 상기 대상체의 키포인트 정보를 획득하는 검측 모듈; 및
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 상기 대상체의 생체 검측 결과를 얻는 확정 모듈;을 포함하는 것을 특징으로 하는 생체 검측 장치.
  13. 제12항에 있어서,
    상기 대상체는 인간의 얼굴 인 것을 특징으로 하는 장치.
  14. 제12항 또는 제13항에 있어서,
    상기 제2 센서는 RGB 센서 또는 근적외선 센서 인 것을 특징으로 하는 장치.
  15. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 제1 센서는 비행 시간 TOF 센서 또는 SLS 인 것을 특징으로 하는 장치.
  16. 제12항 내지 제15항 중 어느 한 항에 있어서,
    상기 제1 센서의 파라미터 및 상기 제2 센서의 파라미터에 따라, 상기 대상체의 깊이 정보와 상기 대상 이미지를 정렬하는 정렬 모듈을 더 포함하는 것을 특징으로 하는 장치.
  17. 제12항 내지 제16항 중 어느 한 항에 있어서,
    상기 확정 모듈은,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하는 제1 확정 서브 모듈;
    상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하는 제2 확정 서브 모듈; 및
    상기 제1 특징 정보와 상기 제2 특징에 기초하여 상기 대상체의 생체 검측 결과를 확정하는 제3 확정 서브 모듈을 포함하는 것을 특징으로 하는 장치.
  18. 제17항에 있어서,
    상기 제1 확정 서브 모듈은, 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보를 제1 뉴럴 네트워크에 입력하여, 제1 특징 정보를 획득하고,
    상기 제2 확정 서브 모듈은, 상기 대상 이미지와 상기 키포인트 정보를 상기 제2 뉴럴 네트워크에 입력하여 제2 특징 정보를 획득하는 것을 특징으로 하는 장치.
  19. 제17항 또는 제18항에 있어서,
    상기 제1 확정 서브 모듈은,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 대하여 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻는 제1컨볼루션유닛;
    상기 제1 컨볼루션 결과를 다운샘플링하여 제1 다운샘플링 결과를 얻는 제1 다운샘플링유닛; 및
    제1 다운샘플링 결과에 기초하여 제1 특징 정보를 획득하는 제1확정유닛를 포함하는 것을 특징으로 하는 장치.
  20. 제17항 내지 제19항 중 어느 한 항에 있어서,
    상기 제2 확정 서브 모듈은,
    상기 대상 이미지와 상기 대상체의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻는 제2컨볼루션유닛;
    상기 제2 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여 제2 다운샘플링 결과를 얻는 제2 다운샘플링유닛;및
    상기 제2 다운샘플링 결과에 기초하여 제2 특징 정보를 얻는 제2 확정유닛를 포함하는 것을 특징으로 하는 장치.
  21. 제17항 내지 제20항 중 어느 한 항에 있어서,
    상기 제3 확정 서브 모듈은,
    상기 제1 특징 정보와 상기 제2 특징 정보에 대해 퓨전처리를 수행하여, 제3 특징 정보를 얻는 완전연결유닛; 및
    상기 제3 특징 정보에 따라 상기 대상체의 생체 검측 결과를 확정하는 제3 확정유닛를 포함하는 것을 특징으로 하는 장치.
  22. 제21항에있어서,
    상기 제3 확정 유닛는,
    상기 제3 특징 정보에 기초하여 상기 대상체가 생체 인 확률을 구하는 제1 확정 서브 유닛과, 상기 대상체가 생체인 확률에 따라 상기 대상체의 생체 검측 결과를 확정하는 제2 확정 서브 유닛을 포함하는 것을 특징으로 하는 장치.
  23. 생체 검측 장치에 있어서,
    컴퓨터 판독 가능 명령을 저장하도록 구성된 메모리; 및
    상기 메모리에 저장된 컴퓨터 판독 가능 명령을 실행하도록 구성된 프로세서를 포함하고,
    상기 컴퓨터 판독 가능 명령들의 실행은 프로세서로 하여금 제1항 내지 제11항 중 어느 한 항의 방법을 수행하도록 하는 것을 특징으로 하는 생체 검측 장치.
  24. 비 일시적 컴퓨터 판독 가능 저장 매체에 있어서.
    프로세서에 의해 실행될 때, 제1항 내지 제11항 중 어느 한 항의 방법을 구현하는 컴퓨터 프로그램 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체.
  25. 제23항에 기재된 생체 검측 장치, 제1 센서 및 제2 센서를 포함하는 생체 검측 시스템.
  26. 제24항의 비 일시적 컴퓨터 판독 가능 저장 매체, 제1 센서 및 제2 센서를 포함하는 생체 검측 시스템.
  27. 대상체의 깊이 정보를 검측하도록 구성된 제1 센서;
    상기 대상체를 포함하는 대상 이미지를 수집하도록 구성된 제2 센서; 및
    상기 제2 센서가 수집한 상기 대상체에 대하여 키포인트 검측을 수행하여 상기 대상체의 키포인트 정보를 획득하고, 상기 제1 센서가 검출한 상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 상기 대상체의 생체 검측 결과를 얻도록 구성된 프로세서를 포함하는 것을 특징으로 하는 전자 기기.
  28. 제27항에 있어서,
    상기 제2 센서는 RGB 센서 또는 근적외선 센서 인 것을 특징으로 하는 전자 기기.
  29. 제27항 또는 제28항에 있어서,
    상기 제1 센서는 비행 시간 TOF 센서 또는 SLS 인 것을 특징으로 하는 전자 기기.
  30. 제27항 내지 제29항 중 어느 한 항에 있어서,
    상기 프로세서는, 상기 제1 센서의 파라미터 및 상기 제2 센서의 파라미터에 기초하여 상기 대상체의 깊이 정보와 상기 대상 이미지를 정렬하는 것을 특징으로 하는 전자 기기.
  31. 제27항 내지 제30항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 기초하여, 제1 특징 정보를 획득하고, 상기 대상체의 키포인트 정보에 기초하여 제2 특징 정보를 획득하고, 상기 제1 특징 정보와 상기 제2 특징에 기초하여 상기 대상체의 생체 검측 결과를 확정하는 것을 특징으로 하는 전자 기기.
  32. 제31항에있어서,
    상기 프로세서는,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보를 제1 뉴럴 네트워크에 입력하여, 제1 특징 정보를 획득하고, 상기 대상 이미지와 상기 키포인트 정보를 상기 제2 뉴럴 네트워크에 입력하여 제2 특징 정보를 획득하는 것을 특징으로 하는 전자 기기.
  33. 제31항 또는 제32항에 있어서,
    상기 프로세서는,
    상기 대상체의 깊이 정보와 상기 대상체의 키포인트 정보에 대하여 컨볼루션 처리를 수행하여, 제1 컨볼루션 결과를 얻고, 상기 제1 컨볼루션 결과를 다운샘플링하여 제1 다운샘플링 결과를 얻고, 제1 다운샘플링 결과에 기초하여 제1 특징 정보를 획득하는 것을 특징으로 하는 전자 기기.
  34. 제31항 내지 제33항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 대상 이미지와 상기 대상체의 키포인트 정보에 대해 컨볼루션 처리를 수행하여, 제2 컨볼루션 결과를 얻고, 상기 제2 컨볼루션 결과에 대해 다운샘플링 처리를 수행하여 제2 다운샘플링 결과를 얻고, 상기 제2 다운샘플링 결과에 기초하여 제2 특징 정보를 얻는 것을 특징으로 하는 전자 기기.
  35. 제31항 내지 제34항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 제1 특징 정보와 상기 제2 특징 정보에 대해 퓨전처리를 수행하여, 제3 특징 정보를 얻고, 상기 제3 특징 정보에 따라 상기 대상체의 생체 검측 결과를 확정하는 것을 특징으로 하는 전자 기기.
  36. 제35항에 있어서,
    상기 프로세서는,
    상기 제3 특징 정보에 기초하여 상기 대상체가 생체 일 확률을 구하고,
    상기 대상체가 생체 일 확률에 따라 상기 대상체의 생체 검측 결과를 확정하는 것을 특징으로 하는 전자 기기.
KR1020197019442A 2018-05-10 2018-11-14 생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체 KR20190129826A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810444105.4 2018-05-10
CN201810444105.4A CN108764069B (zh) 2018-05-10 2018-05-10 活体检测方法及装置
PCT/CN2018/115499 WO2019214201A1 (zh) 2018-05-10 2018-11-14 活体检测方法及装置、系统、电子设备、存储介质

Publications (1)

Publication Number Publication Date
KR20190129826A true KR20190129826A (ko) 2019-11-20

Family

ID=64010059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197019442A KR20190129826A (ko) 2018-05-10 2018-11-14 생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체

Country Status (5)

Country Link
EP (1) EP3584745A1 (ko)
JP (1) JP6852150B2 (ko)
KR (1) KR20190129826A (ko)
CN (1) CN108764069B (ko)
WO (1) WO2019214201A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10930010B2 (en) 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium
CN108764069B (zh) * 2018-05-10 2022-01-14 北京市商汤科技开发有限公司 活体检测方法及装置
CN109784149B (zh) * 2018-12-06 2021-08-20 苏州飞搜科技有限公司 一种人体骨骼关键点的检测方法及系统
CN111368601B (zh) * 2018-12-26 2021-11-16 北京市商汤科技开发有限公司 活体检测方法和装置、电子设备和计算机可读存储介质
WO2020159437A1 (en) * 2019-01-29 2020-08-06 Agency For Science, Technology And Research Method and system for face liveness detection
CN111507131B (zh) * 2019-01-31 2023-09-19 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN111783501A (zh) * 2019-04-03 2020-10-16 北京地平线机器人技术研发有限公司 活体检测方法和装置以及相应的电子设备
CN110287900B (zh) * 2019-06-27 2023-08-01 深圳市商汤科技有限公司 验证方法和验证装置
CN110942032B (zh) * 2019-11-27 2022-07-15 深圳市商汤科技有限公司 活体检测方法及装置、存储介质
CN113052034A (zh) * 2021-03-15 2021-06-29 上海商汤智能科技有限公司 基于双目摄像头的活体检测方法及相关装置
CN113191189A (zh) * 2021-03-22 2021-07-30 深圳市百富智能新技术有限公司 人脸活体检测方法、终端设备及计算机可读存储介质
CN113128429A (zh) * 2021-04-24 2021-07-16 新疆爱华盈通信息技术有限公司 基于立体视觉的活体检测方法和相关设备
CN113361349B (zh) * 2021-05-25 2023-08-04 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备和存储介质
CN113486829B (zh) * 2021-07-15 2023-11-07 京东科技控股股份有限公司 人脸活体检测方法、装置、电子设备及存储介质
WO2023042895A1 (ja) * 2021-09-17 2023-03-23 京セラ株式会社 学習済みモデル生成方法、推論装置、及び学習済みモデル生成装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156680A (ja) * 2012-01-26 2013-08-15 Kumamoto Univ フェーストラッキング方法、フェーストラッカおよび車両
KR101444538B1 (ko) * 2012-10-26 2014-09-24 주식회사 에스원 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
JP6214334B2 (ja) * 2013-10-23 2017-10-18 日本放送協会 電子機器、判定方法及びプログラム
CN105956518A (zh) * 2016-04-21 2016-09-21 腾讯科技（深圳）有限公司 一种人脸识别方法、装置和系统
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
CN107451510B (zh) * 2016-05-30 2023-07-21 北京旷视科技有限公司 活体检测方法和活体检测系统
WO2018079031A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
CN107368778A (zh) * 2017-06-02 2017-11-21 深圳奥比中光科技有限公司 人脸表情的捕捉方法、装置及存储装置
CN107590430A (zh) * 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
CN108764069B (zh) * 2018-05-10 2022-01-14 北京市商汤科技开发有限公司 活体检测方法及装置

Also Published As

Publication number Publication date
JP2020522764A (ja) 2020-07-30
WO2019214201A1 (zh) 2019-11-14
JP6852150B2 (ja) 2021-03-31
EP3584745A4 (en) 2019-12-25
EP3584745A1 (en) 2019-12-25
CN108764069A (zh) 2018-11-06
CN108764069B (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
KR20190129826A (ko) 생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체
US10930010B2 (en) Method and apparatus for detecting living body, system, electronic device, and storage medium
US11532180B2 (en) Image processing method and device and storage medium
JP7026225B2 (ja) 生体検出方法、装置及びシステム、電子機器並びに記憶媒体
EP3523754B1 (en) Face liveness detection method and apparatus, and electronic device
JP7262659B2 (ja) 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
CN108197586B (zh) 脸部识别方法和装置
JP7066007B2 (ja) テキスト認識
WO2020134238A1 (zh) 活体检测方法、装置以及存储介质
CN110287671B (zh) 验证方法及装置、电子设备和存储介质
CN109934275B (zh) 图像处理方法及装置、电子设备和存储介质
US20210012091A1 (en) Method and apparatus for image processing, electronic device, and storage medium
AU2020309090A1 (en) Image processing methods and apparatuses, electronic devices, and storage media
CN111241887B (zh) 目标对象关键点识别方法及装置、电子设备和存储介质
US20210201478A1 (en) Image processing methods, electronic devices, and storage media
CN107977636B (zh) 人脸检测方法及装置、终端、存储介质
JP2020505705A (ja) 特徴画像を習得するための方法およびデバイスならびにユーザー認証方法
CN111626086A (zh) 活体检测方法、装置及系统、电子设备和存储介质
CN105426904A (zh) 照片处理方法、装置和设备
CN112597944A (zh) 关键点检测方法及装置、电子设备和存储介质
CN111507131A (zh) 活体检测方法及装置、电子设备和存储介质
CN110544335B (zh) 目标识别系统及方法、电子设备和存储介质
CN114677620A (zh) 对焦方法、电子设备和计算机可读介质
CN114565962A (zh) 人脸图像处理方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application