KR20200118076A - 생체 검출 방법 및 장치, 전자 기기 및 저장 매체 - Google Patents

생체 검출 방법 및 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR20200118076A
KR20200118076A KR1020207024614A KR20207024614A KR20200118076A KR 20200118076 A KR20200118076 A KR 20200118076A KR 1020207024614 A KR1020207024614 A KR 1020207024614A KR 20207024614 A KR20207024614 A KR 20207024614A KR 20200118076 A KR20200118076 A KR 20200118076A
Authority
KR
South Korea
Prior art keywords
image
processed
implant
probability
determining
Prior art date
Application number
KR1020207024614A
Other languages
English (en)
Inventor
구오웨이 양
징 샤오
준지에 얀
시아오강 왕
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20200118076A publication Critical patent/KR20200118076A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G06K9/00268—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 출원의 실시예는 생체 검출 방법 및 장치, 전자 기기 및 저장 매체를 개시하며, 여기서 생체 검출 방법은, 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하는 단계; 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계; 및 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하는 단계를 포함한다.

Description

생체 검출 방법 및 장치, 전자 기기 및 저장 매체
관련 출원의 상호 참조
본 출원은 출원 번호가 CN201910257350.9이고, 출원일이 2019년 04월 01일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 출원은 컴퓨터 비전 기술영역에 관한 것이며 비전 기술영역에 한정되지 않으며, 구체적으로 생체 검출 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.
얼굴 인식 기술은 얼굴 잠금 해제, 얼굴 지불, 신원 인증, 비디오 모니터링 등 시나리오에 널리 사용된다. 그러나, 얼굴 인식 시스템은 얼굴을 포함하는 사진 및 비디오, 마스크 등 보형물로 인해 쉽게 돌파할 위험이 있다. 얼굴 인식 시스템의 안전성을 보장하기 위해, 생체 검출 기술로 시스템에 입력한 얼굴의 진위를 확인할 필요가 있고, 즉 제출된 생물 특징이 살아 있는 개체으로부터 온 것인지 여부가 판단된다.
현재, 얼굴 움직임의 얼굴 인식 방법에 기반하여 단일 생체를 검출하는데 많은 시간이 필요하고, 얼굴 인식 시스템의 전체적인 효율을 감소시킨다. 단일 프레임 이미지에 기반한 인식과 검출 방법에서 일반적으로 멀티 카메라, 3D 구조광 기기와 같은 추가 하드웨어 시설을 도입하여, 배치 비용을 증가하고, 적응성도 감소시켜, 단일 프레임 이미지의 생체 검출 정확도를 어떻게 향상시킬 것인가는 본 분야에서 시급히 해결해야 할 기술적 문제이다.
본 출원의 실시예는 생체 검출 방법 및 장치, 전자 기기 및 저장 매체를 제공한다.
본 출원의 실시예의 제1 측면에서 제공한 생체 검출 방법은, 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하는 단계; 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계; 및 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하는 단계는, 뉴럴 네트워크를 사용하여 상기 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 출력하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 뉴럴 네트워크는 픽셀 레벨의 태그가 있는 샘플 데이터에 기반하여 훈련되어 획득된다.
하나의 실시형태에 있어서, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하는 단계는, 상기 복수 개의 픽셀 포인트의 위치 정보 및 상기 예측된 얼굴 영역에 기반하여, 상기 복수 개의 픽셀 포인트로부터 상기 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정하는 단계; 및 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정하는 단계; 및
상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정하는 단계; 및 상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는, 상기 적어도 두 개의 픽셀 포인트가 보형물에 대응하는 확률에 대해 평균 처리를 수행하여, 확률 평균값을 획득하는 단계; 및 상기 확률 평균값에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하는 단계는, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 보형물 영역을 결정하는 단계; 및 상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는, 상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 보형물 영역과 상기 예측된 얼굴 영역 사이의 중첩 영역을 결정하는 단계; 및 상기 중첩 영역이 상기 예측된 얼굴 영역에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 생체 검출 방법은, 상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트를 디스플레이하는 단계; 및, 상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트의 정보를 출력하여 디스플레이에 사용하는 단계 중 적어도 하나를 포함한다.
하나의 실시형태에 있어서, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계는, 상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하는 단계; 및 상기 키 포인트 예측 정보에 기반하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하기 전에, 상기 생체 검출 방법은, 상기 처리될 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지에서 얼굴 프레임 선택 영역을 획득하는 단계를 포함하며; 상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하는 단계는, 상기 얼굴 프레임 선택 영역의 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계는, 상기 처리될 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계를 포함한다.
하나의 실시형태에 있어서, 상기 처리될 이미지에 대해 처리를 수행하기 전에, 상기 생체 검출 방법은, 단안 카메라에 의해 수집된 상기 처리될 이미지를 획득하는 단계를 더 포함한다.
본 출원의 실시예의 제2 측면에서 제공한 생체 검출 장치는, 픽셀 예측 모듈, 얼굴 검출 모듈 및 분석 모듈을 포함하며, 상기 픽셀 예측 모듈은, 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하기 위한 것이며; 상기 얼굴 검출 모듈은, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하기 위한 것이며; 상기 분석 모듈은, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하기 위한 것이다.
본 출원의 실시예의 제3 측면에 따르면 프로세서 및 메모리를 포함하는 전자 기기를 제공하며, 상기 메모리는 컴퓨터 프로그램을 저장하기 위한 것이며, 상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행되도록 구성되며, 상기 프로세서는 본 출원의 실시예의 제1 측면에 따른 임의의 방법에서 설명한 부분 또는 전부 단계를 포함한다.
본 출원의 실시예의 제4 측면에 따르면 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 판독 가능 저장 매체는 컴퓨터 프로그램을 저장하고, 여기서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 본 출원의 실시예의 제1 측면의 임의의 방법에서 설명한 부분 또는 전부 단계를 실행하도록 한다.
본 출원의 실시예의 제5 측면에 따르면, 컴퓨터 프로그램 제품을 제공하고, 여기서, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램을 포함하며; 상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행되도록 구성되며, 상기 프로세서는 제1 측면에 따른 임의의 방법에서 설명한 부분 또는 전부 단계를 포함한다.
본 출원의 실시예에서, 처리될 이미지를 통해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득한 후, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득함으로써, 단일 프레임 이미지에 대한 생체 검출의 정확도를 향상시킬 수 있다.
본 명세서에 포함되고 본 명세서의 일부를 구성하는 도면은 본 발명과 일치하는 실시예를 도시하고, 본 명세서와 함께 본 발명의 기술방안을 설명하는데 사용된다.
도 1은 본 출원의 실시예에서 개시한 생체 검출 방법의 흐름 모식도이다.
도 2는 본 출원의 실시예에서 개시한 다른 생체 검출 방법의 흐름 모식도이다.
도 3은 본 출원의 실시예에서 개시한 뉴럴 네트워크 처리 과정의 모식도이다.
도 4는 본 출원의 실시예에서 개시한 생체 검출 방법의 구조 모식도이다.
도 5는 본 출원의 실시예에서 개시한 전자 기기의 구조 모식도이다.
아래에 본 출원의 실시예에서의 도면을 결합하여 본 출원의 실시예의 기술방안에 대해 상세하고 완전한 설명을 진행하고자 한다. 본 출원의 실시예에 기반하여, 본 분야의 통상의 기술자가 창조성 노동을 부여하지 않는 전제 하에서 얻은 다른 실시예는 전부 본 출원의 청구범위에 속한다.
본 출원에서의 용어 “및/또는”은 다만 연관 대상의 연관 관계를 설명하기 위한 것이며, 세 가지 관계가 존재할 수 있음을 의미하는데, 예를 들어, “A 및/또는 B”는, A가 단독적으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독적으로 존재하는 세 가지 경우를 의미한다. 또한, 예본문에서 용어“적어도 하나”는 복수 개의 어느 하나 또는 복수 개의 둘 이상의 임의의 조합을 의히하고, 예를 들어, A, B, C중 적어도 하나를 포함하고, A, B 및 C로 구성된 집합의 임의의 하나 또는 복수 개의 요소로 포함하도록 표현될 수 있다. 본 출원의 명세서, 청구 범위 및 상기 도면에서의 용어 “제1”, “제2” 등은 상이한 대상을 구별하기 위한 것이지, 특정 순서를 설명하기 위한 것은 아니다. 또한, 용어 “포함” 및 “갖는” 및 그것들의 임의의 변형은 비배타적인 포함을 포함하도록 의도된다. 예를 들어, 일련의 단계 또는 유닛이 포함된 과정, 방법, 시스템, 제품 또는 기기는 나열된 단계 또는 유닛에 한정되지 않으며, 선택적으로 나열되지 않은 단계 또는 유닛을 더 포함하거나, 선택적으로 이러한 과정, 방법, 제품 또는 기기에 고유한 다른 단계 또는 유닛을 더 포함한다.
본문에서 “실시예”에 대한 언급은, 실시예와 결합되어 설명된 특정 특징, 구조 또는 특성이 본 출원의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 명세서에서 각 위치에서 상기 문구의 출현은 반드시 동일한 실시예를 지칭하는 것은 아니며, 다른 실시예와 상호 배타적인 독립적이거나 대안적인 실시예도 아니다. 본 기술분야의 기술자는 본문에 설명된 실시예가 다른 실시예에 결합될 수 있음을 명백하고 암시적으로 이해한다.
본 출원의 실시예에 따른 생체 검출 장치는 생체 검출을 수행할 수 있는 장치일 수 있으며, 전자 기기일 수 있고, 상기 전자 기기는 단말 기기를 포함하며, 구체적인 구현에서, 상기 단말 기기는 터치 감지 표면(예를 들어, 터치 스크린 및 터치 패드 중 적어도 하나를 포함)을 갖는 휴대 전화, 랩톱 컴퓨터 또는 태블릿 컴퓨터와 같은 다른 휴대용 기기를 포함하지만, 이에 한정되지 않는다. 또한 이해해야 할 것은, 일부 실시예에서, 상기 기기는 휴대용 통신 기기가 아니라 터치 감지 표면(예를 들어, 터치 스크린 및 터치 패드 중 적어도 하나를 포함)을 갖는 데스크탑 컴퓨터이다.
본 출원의 실시예에서의 심층 학습의 개념은 인공 뉴럴 네트워크의 연구로부터 도출된다. 다중 히든 계층을 포함하는 다중 계층 감지기는 심층 학습 구조이다. 심층 학습은 낮은 계층 특징을 결합하여속성 카테고리 또는 특징을 표현하는 보다 추상적인 높은 계층을 형성하여, 데이터의 분산된 특징 표현을 발견한다.
심층 학습은 기계 학습에서 데이터에 대해 표현 학습을 수행하는 것을 기반으로 하는 방법이다. 관측값(예를 들어, 하나의 이미지)은 각각의 픽셀 포인트 강도 값의 벡터와 같은 다양한 형태로 표현될 수 있거나, 더 추상적으로 일련의 에지, 특정 모양을 갖는 영역 등으로 표현될 수 있다. 일부 특정된 표현 방법을 사용하면 예로부터 작업(예를 들어, 얼굴 인식 또는 표정 인식)을 쉽게 배울 수 있다. 심층 학습의 장점은 수동으로 획득한 특징을 비감독 또는 반감독 방식의 특징 학습 및 계층적 특징 추출 고효율 알고리즘으로 대체하는 것이다. 심층 학습은 기계 학습 연구에서의 새로운 분야이며, 그 동기는 인간 두뇌를 구축 및 시뮬레이션한 분석 학습의 뉴럴 네트워크이며, 이는 인간 두뇌의 메커니즘을 시뮬레이션하여 이미지, 사운드 및 텍스트와 같은 데이터를 해석한다.
기계 학습 방법과 마찬가지로, 심층 기계 학습 방법에도 감독 학습 방법과 비감독 학습 방법이 있다. 상이한 학습 프레임에서 구축된 학습 모델은 매우 다르다. 예를 들어, 컨볼루션 뉴럴 네트워크(Convolutional neural network, CNN)는 심층 감독 학습에서의 기계 학습 모델이라 하고, 심층 학습을 기반한 네트워크 구조 모델이라고도 하며, 컨볼루션 계산을 포함하고 심층 구조를 갖는 피드 포워드 뉴럴 네트워크(Feed forward Neural Networks)이며, 심층 학습의 대표적인 알고리즘 중의 하나이다. 심층 신뢰 신경망(Deep Belief Net, DBN)은 비감독 학습의 기계 학습 모델이다.
아래에 본 출원의 실시예를 상세하게 소개한다. 도 1을 참조하면, 도 1은 본 출원의 실시예에서 개시한 생체 검출 방법의 흐름 모식도이며, 도 1에 도시된 바와 같이, 상기 생체 검출 방법은 다음의 단계를 포함한다.
단계 101에 있어서, 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득한다. 생체 검출은 일부 신원 검증 시나리오에서 대상의 실제적인 생리 특성을 결정하는 방법으로서, 일반적으로 얼굴 인식 응용에서, 생체 검출은 눈의 깜박거림, 입 벌리기, 머리 흔들기, 머리 끄덕임 등 조합 동작을 통해, 얼굴 키 포인트 위치 결정 및 얼굴 추적 등 기술을 사용하여, 사용자가 실제 생체인 본인에 의한 조작인지를 검증하고, 사진, 얼굴 바뀜, 마스크, 가림 및 스크린 리메이크 등 흔히 보는 공격 수단으로부터 효과적으로 저항할 수 있으므로, 사기 행위를 식별하는데 도움이 되고, 사용자의 이익이 보장된다.
본 출원의 실시예에서, 상기 생체 검출 방법은 다양한 얼굴 응용을 필요로 하는 시나리오에 응용될 수 있다. 예를 들어, 상기 생체 검출 방법은 보안 분야에 응용될 수 있고, 보안 분야의 보안 기기가 보안을 위한 얼굴 검증을 수행하는 경우, 본 출원의 실시예에서 제공한 생체 검출 방법을 통해, 현재 수집된 이미지가 살아있는 사람을 위해 수집된 이미지인지 여부를 결정하는데 사용될 수 있다.
예를 들어, 보안 분야의 출입 통제 기기가 수집된 얼굴 이미지 또는 다른 수집 기기를 통해 얼굴 이미지를 수신한 후, 본 출원의 실시예에서 제공한 방법에 대해 생체 검출을 수행하며, 생체 검출을 통해, 실제 사람에 의해 현재 수집한 이미지가 실제 사람 생체에 대해 수집된 이미지인 것으로 결정되면, 얼굴 검증 및 홍채 검증 중 적어도 하나와 같은 다른 생물 특정 검증 기술과 결합하여 보안 검증을 수행하며, 한편으로, 생물 특정 결과의 정확성을 확보함으로써, 보안 분야의 안전성을 확보하며; 본 출원의 실시예에서 제공한 방법을 사용하여, 단일 이미지에 기반하여 픽셀 레벨의 보형물 검증을 수행함으로써, 생체 검증을 빠르게 완성하여, 검증 속도를 향상시켜, 시간 지연을 감소시킬 수 있다.
다시 예를 들어, 이동 단말 등 단말 기기는 지불할 때, 지불의 안정성을 확보하기 위해, 생물 특정을 결합하여 지불 검증을 수행할 수 있지만, 생물 특정 검증을 통과하기 위한 보형물의 사용을 감소하기 위해, 이동 단말 등은 본 출원의 실시예에서의 생체 검증을 수행하며, 상기 이동 단말은 이미지를 수집한 후, 스스로 본 출원의 생체 검출을 실행함으로써, 보형물 위조의 위험을 줄일 수 있으며; 다른 한편으로, 본 출원의 실시예에서 제공한 생체 검증 방법을 사용하여 생체 검증을 수행함으로써, 수집한 이미지가 적고 검증 속도가 빠른 특징을 가진다.
전술한 바와 같이, 얼굴 움직임의 이러한 생체 검출 방법에 기반하여 단일 검출에서 오랜 시간을 요구하므로, 얼굴 인식 시스템의 전체 효율을 감소시킨다.
생체 검출 방법의 실행 주체는 상기 생체 검출 장치일 수 있고, 예를 들어, 생체 검출 방법은 단말 기기 또는 서버 또는 다른 처리 기기에 의해 실행되 수 있으며, 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모마일 기기, 사용자 단말, 단말기, 휴대폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨이러블 기기 등일 수 있다. 일부 가능한 구현방식에 있어서, 상기 생체 검출 방법은 메모리에 저장된 컴퓨터 판독 가능 명령어를 호출함으로써 프로세서에 의해 구현될 수 있다
본 출원의 실시예는 주로 단일 프레임 이미지에 대한 생체 검출 기술적 문제를 해결할 수 있다. 여기서, 상기 처리될 이미지는 단일 프레임 이미지일 수 있고, 카메라가 수집한 이미지일 수도 있으며, 단말 기기의 카메라로 촬영한 사진, 또는 단말 기기의 카메라 촬영을 통해 촬영한 비디오에서의 단일 프레임 이미지 등일 수 있으며, 본 출원의 실시예는 처리될 이미지의 획득 방식 및 예의 구체적인 구현에 대해 한정하지 않는다.
본 출원의 실시예에서 제공한 단일 프레임 이미지가 정지된 화면이면, 연속적인 프레임의 애니메이션 효과는 TV 비디오와 같은 애니메이션 효과를 형성한다. 흔히 말하는 프레임 수는, 간단히 말하면, 1 초 동안에 전송된 이미지의 프레임 수이며, 그래픽 프로세서가 초당 여러 번 새로 고칠 수 있는 것으로 이해할 수 있고, 일반적으로 fps(Frames Per Second)로 표시한다. 높은 프레임 속도는 보다 부드럽고 더욱 생동한 애니메이션을 얻을 수 있다.
하나의 가능한 실시형태에서, 상기 처리될 이미지를 뉴렬 네트워크에 입력하여 처리를 수행하여, 상기 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 출력할 수 있다. 훈련된 뉴럴 네트워크에 기반하여 처리될 이미지에 대해 처리를 수행할 수 있고, 여기서, 상기 컨볼루션 뉴럴 네트워크는 임의의 엔드 투 엔드, 포인트 투 포인트의 컨볼루션 뉴럴 네트워크일 수 있고, 전체 감독의 시맨틱 세그먼테이션 네트워크를 포함하여 현재 존재하는 시맨틱 세그먼테이션 네트워크일 수 있다.
하나의 실시형태에 있어서, 픽셀 레벨 태그를 가진 샘플 데이터 훈련을 사용하여 상기 컨볼루션 뉴럴 네트워크를 훈련시킬수 있다. 훈련된 상기 컨볼루션 뉴럴 네트워크는 입력된 단일 프레임 이미지에서 픽셀 포인트별로 그가 속한 보형물의 확률을 예측할 수 있다.
일부 실시예에서, 샘플 데이터는, 제1 타입의 데이터 및 제2 타입의 데이터를 포함하고, 제1 타입의 데이터는 보형물의 샘플 데이터이고, 제2 타입의 데이터는 실제 사람이 촬영한 이미지의 비보형물 데이터이다. 이러한 샘플 데이터는 이미지 데이터이고, 이미지 데이터에서 각 픽셀에는 태그가 표시되며, 이러한 태그는 픽셀 레벨 태그이다.
여기서, 상기 복수 개의 픽셀 포인트는 처리될 이미지의 전부 또는 일부 픽셀 포인트일 수 있고, 본 출원의 실시예는 이를 한정하지 않는다. 본 출원의 실시예에서의 생체 검출 장치는 처리될 이미지에서의 픽셀 포인트를 인식하고, 상기 처리될 이미지에서의 복수 개의 필셀 포인트가 보형물에 대응하는 확률을 예측할 수 있다. 상기 처리될 이미지는 얼굴의 이미지를 포함할 수 있다.
일부 실시예에서, 생체 검출 장치의 입력은 상기 얼굴을 포함한 처리될 이미지일 수 있으며, 출력은 상기 처리될 이미지에서의 복수 개의 픽셀이 보형물에 대응하는 확률일 수 있으며, 상기 복수 개의 픽셀이 보형물에 대응하는 확률은 확률 매트릭스의 형태이고, 즉 상기 처리될 이미지의 픽셀을 획득할 수 있는 확률 매트릭스이며, 상기 확률 매트릭스는 상기 처리될 이미지에서의 복수 개의 픽셀이 보형물에 대응하는 확률을 지시할 수 있다. 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득한 후, 단계 102를 실행할 수 있다.
단계 102에 있어서, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정한다. 일부 실시예에서, 얼굴 인식 알고리즘을 통해, 이미지에서의 얼굴을 검출하고, 안면 키 포인트 특징에 대해 위치 결정한 후, 그 중의 주요한 얼굴 영역을 결정할 수 있다. 상기 얼굴 영역은 상기 처리될 이미지의 얼굴이 위치한 영역으로 이해할 수 있다.
본 출원의 실시예의 얼굴 키 포인트에 기반하여 상기 처리될 이미지의 예측된 얼굴 영역을 결정한다. 하나의 실시형태에 있어서, 상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득할 수 있으며; 상기 키 포인트 예측 정보에 기반하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정한다. 일부 실시예에서, 얼굴 키 포인트 검출을 통해 상기 처리될 이미지에서의 얼굴 키 포인트가 획득될 수 있고 볼록 껍질을 획득할 수 있으며, 이 볼록 껍질은 대체로 얼굴 영역으로 사용할 수 있다.
하나의 실수 벡터 공간(V)에서, 주어진 집합 X에 대해, X를 포함한 모든 볼록 집합의 교집합 S를 X의 볼록 껍질이라 지칭한다. X의 볼록 껍질은 X 내의 모든 포인트(X1,..Xn)의 볼록 조합으로 구성될 수 있다. 다시 말해서, 2 차원 평면 상의 포인트 집합이 주어지면, 볼록 껍질은 가장 바깥쪽의 포인트를 연결하여 형성된 볼록 다각형으로 이해될 수 있으며, 이는 포인트 집합의 모든 포인트를 포함하며, 처리될 이미지에서 프레임화된 얼굴 영역으로 나타낼 수 있다. 상기 얼굴 키 포인트 검출 알고리즘은 입력 평면 상의 여러 포인트를 입력하고, 여러 포인트의 볼록 껍질의 임의의 알고리즘을 출력하는 것일 수 있으며, 예컨대, 턴버클 알고리즘, 그레이엄(Graham) 스캔 알고리즘 및 자비스(Jarvis) 스텝 바이 스텝 알고리즘 등이며, OpenCV에서의 관련 알고리즘을 포함할 수도 있다.
공개 소스 컴퓨터 비전(OpenCV, Open Source Computer Vision)은 Linux, Windows, Android 및 Mac OS 운영체에서 실행될 수 있는 BSD 라이선스(Berkeley Software Distribution Licens)(오픈 소스)에서 공개한 크로스 플랫폼 컴퓨터 비전 라이브러리이다. 이는 경량급이고 고효율적이며, 일련의 C 함수 및 소수의 C++ 클래스로 구성되어 있는 동시에 Python, Ruby, MATLAB 등 언어에 대한 인터페이스를 제공하여, 이미지 처리 및 컴퓨터 비전 방면의 많은 일반적인 알고리즘을 구현할 수 있다.
일부 실시예에서, 상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득한하기 전에, 상기 생체 검출 방법은, 상기 검출된 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지의 얼굴 프레임 선택 영역을 획득하는 단계를 더 포함하며; 상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하는 단계는, 상기 얼굴 프레임 선택 영역의 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하는 단계를 포함할 수 있다.
일부 얼굴 키 포인트 검출 알고리즘에서, 얼굴의 외부 윤곽 및 기관을 결정할 필요가 있다. 본 출원의 실시예에서, 얼굴의 위치 결정은 높은 정확도를 가지므로, 상기 얼굴 키 포인트를 획득하기 전에, 얼굴 검출(높은 정확도를 요구하지만, 임의의 가능한 얼굴 검출 알고리즘은 모두 가능함)을 먼저 수행하여, 상기 얼굴의 프레임 선택 영역과 같은 얼굴의 윤곽 프레임 선택 영역을 획득할 수 있으므로, 상기 얼굴 프레임 선택 영역에 입력하여 얼굴 키 포인트 검출을 수행함으로써, 상기 키 포인트 예측 정보를 획득한 후, 예측된 얼굴 영역을 결정한다.
본 출원의 실시예에서 키 포인트의 개수에 대해 한정하지 않고, 얼굴의 윤곽을 마킹할 수만 있으면 된다.
일부 가능한 구현 방식에 있어서, 처리될 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지의 예측된 얼굴 영역을 획득할 수 있다.
일부 실시예에서, 얼굴 분할 방법에 기반하여 얼굴 검출을 수행하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정한다. 본 출원의 실시예에서, 얼굴 영역의 정확도에 대한 요구가 엄격하지 않으므로, 얼굴 영역을 대략적으로 결정할 수 있는 관련 알고리즘은 모두 예측된 얼굴 영역을 결정하는데 사용될 수 있으며, 본 출원의 실시예는 이를 한정하지 않는다.
처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하고, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정한 후, 단계 103을 실행할 수 있다. 단계 103에 있어서, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득한다.
상기 획득된 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 획득된 얼굴의 대략 위치(얼굴 예측 영역)에 기반하여 종합적인 분석을 수행하는 것에 기반하여, 처리될 이미지의 얼굴의 진실성을 판단한다. 여기서, 상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 확률 분포도를 생성할 수 있고, 상기 확률 분포도는 처리될 이미지에서 보형물에 대응하는 픽셀의 확률을 나타내는 이미지로 이해될 수 있으며, 이는 보다 직관적이고, 이에 기반하여, 상기 예측된 얼굴 영역을 결합하여, 상기 예측된 얼굴 영역의 픽셀 포인트가 보형물에 대응하는 확률을 결정함으로써, 생체 검출의 판단에 용이하다. 여기서, 기설정된 임계값에 따라 픽셀 포인트에 대해 판단을 수행한다.
하나의 가능한 실시형태에서, 상기 복수 개의 픽셀 포인트의 위치 정보 및 상기 예측된 얼굴 영역에 기반하여, 상기 복수 개의 픽셀 포인트로부터 상기 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정하며; 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정한다.
일부 실시예에서, 처리될 이미지에서의 픽셀 포인트의 위기는 결정될 수 있고, 생체 검출 장치는 각 픽셀 포인트의 위치 정보를 결정한 후, 상기 픽셀 포인트의 위치 정보 및 상기 예측된 얼굴 영역에 따라, 픽셀 포인트와 상기 예측된 얼굴 영역의 상대적인 위치를 판단하여, 상기 예측된 얼굴 영역 내의 픽셀 포인트를 추가로 결정하며, 즉 상기 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정할 수 있고, P로 표시할 수 있으며, 예측된 얼굴 영역의 픽셀 포인트 총 수일 수 있다. 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 생체 검출 결과를 판단할 수 있고, 이해할 수 있는 것은, 예측된 얼굴 영역 내의 픽셀 포인트에 대해, 보형물에 대응하는 확률이 높을수록, 확률이 높은 픽셀 포인트가 많으므로, 생체 검출 결과가 보형물일 가능성이 높으며, 바꾸어 말하면, 생체 검출 결과는 생체일 가능성이 더 높다.
더 나아가, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정하는 단계; 및 상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함한다.
일부 실시예에서, 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 획득하였고, 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정하였므로, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정할 수 있으며, 상기 보형물 픽셀 포인트는 보형물에 속하는 픽셀 포인트로 판단된 것으로 이해할 수 있다.
여기서, 보형물 픽셀 포인트의 판단은 확률 및 미리 설정된 임계값의 비교에 기반할 수 있다. 일반적으로, 보형물 픽셀 포인트가 예측된 얼굴 영역의 픽셀 포인트에서 차지하는 비율이 높을수록, 생체 검출이 보형물일 가능성이 크다.
일부 실시예에서, 상기 생체 검출 장치는 미리 설정된 임계값 λ1를 저장할 수 있고, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률이 미리 설정된 임계값 λ1보다 큰 픽셀 포인트 개수를 획득할 수 있으며, 즉 보형물 픽셀 포인트는 Q로 표시될 수 있다.
상기 보형물 픽셀 포인트를 결정한 후, 상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율 Q/P를 계산하여 획득할 수 있고, 상기 비율을 결정한 후, 상기 처리될 이미지의 생체 검출 결과를 결정할 수 있다.
일부 실시예에서, 상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는, 상기 비율이 제1 임계값보다 크거나 같은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 보형물인 것으로 결정한다.
다른 일부 실시예에서, 상기 비율이 상기 제1 임계값보다 작거나 같은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 생체인 것으로 결정한다.
일부 실시예에서, 상기 제1 임계값 λ2은 미리 설정될 수 있고, 상기 생체 검출 장치는 상기 제1 임계값 λ2을 저장할 수 있으며, 픽셀 분석별로 생체 검출을 판정하기 위한 것이고, 즉 상기 비율 Q/P 및 제1 임계값 λ2의 크기를 비교함으로써, 처리될 이미지에서의 얼굴이 보형물인지 여부가 분석된다. 일반적으로, 상기 비율 Q/P가 높을수록, 생체 검출 결과가 보형물일 가능성이 더 큰 것으로 나타낸다.
비율 Q/P가 제1 임계값 λ2보다 크거나 같으면, 상기 처리될 이미지의 생체 검출 결과가 보형물인 것으로 결정될 수 있으며; 비율 Q/P가 제1 임계값 λ2 보다 작으면, 상기 처리될 이미지의 생체 검출 결과가 생체인 것으로 결정될 수 있다.
본 출원의 실시예에서 픽셀 포인트에 대해 판단하는데 사용되는 각 임계값은 기설정되거나 실제 상황에 따라 결정될 수 있고, 수정 및 첨삭될 수 있으며, 본 출원의 실시예는 이를 한정하지 않는다.
하나의 가능한 실시형태에서, 상기 처리될 이미지의 생체 걸출 결과는 처리될 이미지에서의 얼굴이 생체인지 보형물인지를 포함하며, 상기 생체 검출 결과를 획득한 후, 상기 생체 검출 결과를 출력할 수 있다.
하나의 실시형태에 있어서, 상기 생체 검출 방법은, 상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트를 디스플레이하는 단계를 더 포함한다.
하나의 실시형태에 있어서, 상기 생체 검출 방법은, 상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트의 정보를 출력하여 디스플레이에 사용하는 단계를 더 포함한다.
일부 실시예에서, 생체 검출 장치는 생체 검출 결과에 대해 디스프레이를 수행할 수 있고, 상기 적어도 하나의 보형물 픽셀 포인트를 디스플레이할 수 있으며, 상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트의 정보를 출력할 수도 있으며, 상기 정보는 상기 보형물 픽셀 포인트를 디스플레이하기 위한 것이며, 즉 다른 단말 기기에 상기 정보를 전송하여 보형물의 픽셀을 디스플레이할 수도 있다. 디스플레이 또는 보형물 픽셀 포인트에 대한 마킹을 통해, 각 판단의 기반이 되는 이미지에서의 정확한 영역을 직관적으로 볼 수 있으므로, 검출 결과의 해석성이 향상된다.
당업자는, 구체적인 실시형태의 상기 방법에서, 각 단계가 작성되는 순서가 엄격한 실행 순서를 의미하지 않지만, 실시 과정에 대해 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내적 논리에 의해 결정된다는 것을 이해할 수 있다.
본 출원의 실시예에서, 처리될 이미지를 통해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정할 수 있으며, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득함으로써, 멀티 카메라, 3D 구조광 등 추가 하드웨어 시설이 필요하지 않으며, 하나의 단안 카메라만 있는 경우, 단일 프레임 이미지의 생체 검출에 대한 정확도를 크게 향상시켜, 적응성이 더 높아, 검출 비용을 줄일 수 있다.
도 2를 참조하면, 도 2는 본 출원의 실시예에서 개시한 다른 생체 검출 방법의 흐름 모식도이며, 도 2는 도 1에 기반하여 최적화하여 얻어진다. 본 출원의 실시예의 단계들을 수행하는 주체는 전술한 생체 검출 장치일 수 있다. 도 2에 도시된 바와 같이, 상기 생체 검출 방법은 다음의 단계를 포함한다. 단계 201에 있어서, 뉴럴 네트워크를 사용하여 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 출력한다.
훈련된 뉴럴 네트워크는 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 획득한다. 일부 실시예에서, 처리될 이미지의 이미지 사이즈 M×N를 획득할 수 있고, 뉴럴 네트워크에 기반하여 얼굴을 포함한 처리될 이미지에 대해 처리를 수행하여, M×N 차의 확률 매트릭스를 출력할 수 있으며, 상기 M×N 차의 확률 매트릭스 중의 요소는 상기 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 각각 지시할 수 있으며, 여기서, 상기 M 및 N은 1보다 큰 정수이다.
본 출원의 실시예에서의 이미지 사이즈의 길이 및 폭는 픽셀을 단위로 할 수 있고, 픽셀과 해상도 픽셀은 디지털 영상의 가장 기본적인 단위이며, 각 픽셀은 하나의 작은 포인트이고, 상이한 색상의 포인트(팩셀)가 모여서 하나의 이미지를 형성한다. 이미지 해상도는 많은 단말 기기가 선택할 수 있는 이미징 크기 및 사이즈이고, 단위는 dpi이다. 예를 들어, 흔히 보는 것은, 640 x 480, 1024 x 768, 1600 x 1200, 2048 x 1536이다. 이미징의 두 세트의 숫자에서, 전자는 그림의 폭이고, 후자는 이미지의 높이이며, 둘을 곱셈하여 얻은 것은 이미지의 픽셀이다.
본 출원의 실시예는 주로 단일 프레임 이미지에 대한 생체 검출 기술적 문제를 해결한다. 여기서, 상기 처리될 이미지는 단일 프레임 이미지일 수 있고, 카메라가 수집한 이미지일 수도 있으며, 예컨대, 단말 기기가 카메라로 촬영한 사진, 또는 단말 기기의 카메라에 의해 촬영된 비디오에서의 단일 프레임 이미지 등일 수 있다.
일부 실시예에서, 상기 처리될 이미지에 대해 처리를 수행하기 전에, 상기 생체 검출 방법은, 단안 카메라에 의해 수집된 상기 처리될 이미지를 획득하는 단계를 더 포함한다.
본 출원의 실시예는 처리될 이미지의 획득 방식 및 예의 구체적인 구현에 대해 한정하지 않는다.
본 출원의 실시예에서 제공한 단일 프레임 이미지가 하나의 정지된 화면이면, 연속적인 프레임의 애니메이션 효과는 TV 비디오와 같은 애니메이션 효과를 형성한다. 흔히 말하는 프레임 수는, 간단히 말하면, 1초 동안에 전송된 이미지의 프레임 수이며, 그래픽 프로세서가 초당 새로 고칠 수 있는 것으로 이해할 수 있고, 일반적으로 fps로 표시한다. 높은 프레임 속도는 보다 부드럽고 더욱 생동한 애니메이션을 얻을 수 있다.
본 출원의 실시예는 훈련된 뉴럴 네트워크에 기반하여 얼굴을 포함한 처리될 이미지에 대해 처리를 수행할 수 있고, 여기서, 상기 컨볼루션 뉴럴 네트워크는 임의의 엔드 투 엔드, 포인트 투 포인트의 컨볼루션 뉴럴 네트워크일 수 있고, 전체 감독의 시맨틱 세그먼테이션 네트워크를 포함하여 현재 존재하는 시맨틱 세그먼테이션 네트워크일 수 있다.
하나의 실시형태에 있어서, 픽셀 레벨 태그를 가진 샘플 데이터 훈련을 사용하여 상기 컨볼루션 뉴럴 네트워크를 훈련시킬수 있으며, 이미지 레벨 태그의 데이터를 사용하는 기존 방법과 비교하여, 동일한 정확도를 달성하는데 필요한 데이터양은 1 내지 2 개의 자릿수를 감소시킬 수 있다. 훈련된 컨볼루션 뉴럴 네트워크는 입력된 단일 프레임 이미지에서 픽셀 포인트별로 보형물에 대응하는 확률을 예측할 수 있다.
본 출원의 실시예의 생체 검출 방법의 실행 주체는 생체 검출 장치일 수 있고, 예를 들어, 단말 기기 또는 서버 또는 다른 처리 기기에 의해 실행되 수 있으며, 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말기, 휴대폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨이러블 기기 등일 수 있다. 일부 가능한 구현방식에 있어서, 상기 생체 검출 방법은 메모리에 저장된 컴퓨터 판독 가능 명령어를 호출함으로써 프로세서에 의해 구현될 수 있으며, 본 출원의 실시예는 이를 한정하지 않는다.
본 출원의 실시예에서 상기 생체 검출 장치는 처리될 이미지의 이미지 사이즈 M×N를 인식할 수 있고, 컨볼루션 뉴럴 네트워크를 통해 얼굴을 포함한 상기 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 각 픽셀이 보형물에 대응하는 확률을 예측하고, 대응하는 M×N 차 확률 매트릭스 형태로 출력할 수 있으며, 상기 M×N 차의 확률 매트릭스 중의 요소는 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 각각 나타낼 수 있는 것으로 이해할 수 있으며, 여기서, 상기 M 및 N은 1보다 큰 정수이다.
본 발멸의 실시예에서, 상기 컨볼루션 뉴럴 네트워크에 기반하여 확률 분포도를 더 생성할 수 있으며, 상기 확률 분포도는 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 나타낼 수 있는 것으로 이해할 수 있고, 비교적 직관적이며, 상체 검출의 판단에도 용이하다.
일부 실시예에서, 상기 컨볼루션 뉴럴 네트워크는 미니 배치 확률적 기울기 하강 알고리즘 및 학습률 저하 전략에 기반하여 훈련되어 획득할 수 있고, 네트워크 모델이 훈련 과정에서 수렴될 수 있도록 보장할 수만 있으면, 유사한 작용을 가진 최적화 알고리즘으로 대체할 수도 있으며, 본 출원의 실시예는 이를 한정하지 않는다.
기울기 하강(Gradient Descent)은 최소 제곱 문제(선형 및 비선형 모두 가능함)를 해결하는데 사용될 수 있는 반복적인 방법이다. 기계 학습 알고리즘의 모델 파라미터, 즉 제한되지 않은 최적화 문제를 해결할 때, 기울기 하강은 가장 일반적으로 사용되는 방법 중 하나이다. 손실 함수의 최소값을 풀때, 기울기 하강법을 통해 단계별로 반복적으로 해결하여, 최소 손실 함수 및 모델 파라미터 값을 획득할 수 있다. 기계 학습에서, 기본 기울기 하강법을 기반으로, 확률적 기울기 하강법(Stochastic Gradient Descent, SGD) 및 배치 기울기 하강법(Batch Gradient Descent, BGD)인 두 가지 기울기 하강법이 개발되었다.
본 출원의 실시예에서의 미니 배치 기울기 하강(Mini-Batch Gradient Descent, MBGD)은, 배치 기울기 하강 및 확률적 기울기 하강의 하나의 절충 방법이다. 그 방법은 “batch_size” 샘플을 사용하여 파라미터에 대해 업데이트하는 것이다. 상기 방법은 매트릭스 연산을 통해, 한 번에 하나의 배치에서 뉴럴 네트워크 파라미터를 최적화하고 단일 데이터보다 훨씬 느리지 않으며, 한 번에 하나의 배치를 사용하면 수렴에 필요한 반복 횟수를 크게 줄일 수 있으며, 동시에 수렴된 결과는 기울기 하강의 효과에 더 가깝게 할 수 있다.
학습률(Learning rate)은 감독 학습 및 심층 학습의 중요한 파라미터로서, 목표 함수가 로컬 최소값으로 수렴될 수 있는지 여부와 최소 수렴 시간을 결정한다. 적절한 학습률은 목표 함수가 적절한 시간에 로컬 최소값으로 수렴되게 할 수 있다.
하나의 실시형태에 있어서, 상기 학습률 저하 전략에 의해 조정될 수 있는 파라미터에는 0.005로 설정된 초기 학습률 및 0.9로 설정된 붕괴 다항식의 거듭 제곱이 있고; 기울기 하강 알고리즘에서0.5로 설정되는 조정 가능한 운동량 및 0.001로 설정되는 무게 감쇄 파라미터가 있다. 상기 파라미터는 실제 훈련 및 적용 상황에 따라 설정 및 수정될 수 있으며, 본 출원의 실시예는 훈련 과정의 파라미터의 구체적인 설정에 대해 한정하지 않는다.
단계 202에 있어서, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정한다.
여기서, 상기 단계 202는 도 1에 도시된 실시예의 단계 102의 구체적인 설명을 참조할 수 있으며, 여기서 더이상 설명하지 않는다.
예측된 얼굴 영역 및 상기 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 결정한 후 단계 203을 실행할 수 있다.
단계 203에 있어서, 상기 각 픽셀 포인트의 위치 정보 및 상기 예측된 얼굴 영역에 기반하여, 상기 각 필셀 포인트에서 상기 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정한다.
일부 실시예에서, 처리될 이미지에서의 픽셀 포인트의 위치가 결정될 수 있고, 생체 검출 장치는 각 픽셀 포인트의 위치 정보를 결정한 후, 상기 픽셀 포인트의 위치 정보 및 상기 예측된 얼굴 영역에 따라, 픽셀 포인트와 상기 예측된 얼굴 영역의 상대 위치를 판단하여, 상기 예측된 얼굴 영역 내의 픽셀 포인트를 추가로 결정할 수 있으며, 즉 상기 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정할 수 있으며, 그 개수는 P로 표시될 수 있으며, 예측된 얼굴 영역의 픽셀 포인트 총 수일 수 있다. 다음 단계 204를 실행할 수 있다.
단계 204에 있어서, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정한다.
일부 실시예에서, 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 획득하였고, 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정하였으므로, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정할 수 있으며, 상기 보형물 픽셀 포인트는 보형물에 속하는 픽셀 포인트로 판단된 것으로 이해할 수 있다.
여기서, 보형물 픽셀 포인트의 판단은 확률 및 미리 설정된 임계값의 비교에 기반할 수 있다. 상기 생체 검출 장치는 미리 설정된 임계값 λ1를 저장할 수 있고, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률이 미리 설정된 임계값 λ1 보다 큰 픽셀 포인트 개수를 획득할 수 있으며, 즉 보형물 픽셀 포인트는 Q로 표시될 수 있다.
상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정한 후, 단계 205를 실행할 수 있다.
단계 205에 있어서, 상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율을 결정한다. 더 나아가, 상기 보형물 픽셀 포인트를 결정한 후, 상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율 Q/P를 계산하여 획득할 수 있고, 즉 예측된 얼굴 영역에서 보형물 픽셀 포인트가 차지하는 비율이다. 상기 비율을 결정한 후, 단계 206 및 단계 207 중 적어도 하나를 실행할 수 있다.
단계 206에 있어서, 상기 비율이 제1 임계값보다 크거나 같은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 보형물인 것으로 결정한다. 본 출원의 실시예에서 상기 제1 임계값 λ2은 미리 설정될 수 있고, 상기 생체 검출 장치는 상기 제1 임계값 λ2을 저장할 수 있으며, 픽셀 분석별로 생체 검출을 판정하기 위한 것이고, 즉 상기 비율 Q/P는 제1 임계값 λ2 보다 큰 것인지 여부를 판단함으로써, 처리될 이미지의 얼굴이 보형물인지를 분석한다. 비율 Q/P가 제1 임계값 λ2 보다 크거나 같으면, 즉 예측된 얼굴 영역에서 보형물 픽셀 포인트로 판단되는 픽셀 포인트가 차지하는 비율이 높은 것을 나타내고, 상기 처리될 이미지의 생체 검출 결과가 보형물인 것으로 결정될 수 있으며, 상기 생체 검출 결과를 출력할 수 있다. 비율 Q/P가 제1 임계값 λ2 보다 작으면, 즉 예측된 얼굴 영역에서 보형물 픽셀 포인트로 판단되는 픽셀 포인트가 차지하는 비율이 낮은 것을 나타내고, 단계 207을 실행할 수 있으며, 즉 상기 처리될 이미지의 생체 검출 결과가 생체인 것으로 결정한다.
더 나아가, 상기 처리될 이미지의 얼굴이 보형물인 것으로 결정된 후, 경고 정보를 출력하거나 기설정된 단말 기기에 상기 경고 정보를 송신하여, 얼굴 인식 과정에서 보형물을 검출하도록 사용자에게 프롬프트하여, 얼굴 인식의 안정성을 보장할 수 있다.
단계 207에 있어서, 상기 비율이 상기 제1 임계값보다 작거나 같은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 생체인 것으로 결정한다.
다른 하나의 실시형태에 있어서, 상기 생체 검출 방법은,
상기 적어도 두 개의 픽셀 포인트가 보형물에 대응하는 확률에 대해 평균 처리를 수행하여, 확률 평균값을 획득하는 단계; 및
상기 확률 평균값에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 더 포함한다.
일부 실시예에서, 유사하게, 상기 적어도 두 개의 픽셀 포인트가 보형물에 대응하는 확률에 대해 평균 처리를 수행하여, 확률 평균값을 획득할 수 있으며, 즉 상기 예측된 얼굴 영역 내의 각 픽셀 포인트는 보형물의 확률 평균값 R에 속한다.
일부 실시예에서, 목표 임계값 λ3 은 상기 생체 검출 장치에 미리 설정되고 저장될 수 있어, 상기 확률 평균 값 R가 목표 임계값 λ3 보다 큰지 여부를 판단할 수 있어, 생체 검출의 판단을 수행한다. 상기 확률 평균 값 R가 목표 임계값 λ3 보다 크면, 상기 얼굴의 픽셀 포인트가 보형물에 속하는 확률이 비교적 높은 것을 나타내어, 상기 처리될 이미지의 생체 검출 결과가 보형물인 것으로 결정할 수 있으며; 상기 확률 평균 값 R가 목표 임계값 λ3 보다 크지 않으면, 상기 얼굴의 픽셀 포인트가 보형물에 속하는 확률이 낮은 것을 나타내어, 상기 처리될 이미지의 생체 검출 결과가 생체인 것으로 결정할 수 있다.
또 하나의 실시형태에 있어서, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하는 단계는, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 보형물 영역을 결정하는 단계; 및 상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함할 수 있다.
상기 보형물 영역은 처리될 이미지에서의 보형물에 대응하는 확률이 높은 픽셀 포인트들이 모이는 영역으로 이해될 수 있다. 일부 실시예에서, 제2 임계값 λ4 은 생체 검출 장치에 저장될 수 있고, 보형물에 대응하는 복수 개의 픽셀 포인트의 확률을 제2 임계값 λ4 과 비교하면, 상기 제2 임계값 λ4 보다 크거나 같은 픽셀 포인트가 위치한 영역이 보형물 영역인지를 결정할 수 있고, 더 나아가, 보형물 영역 및 예측된 얼굴 영역의 위치를 비교할 수 있으며, 주로 둘 사이의 중첩 상황을 비교할 수 있어, 생체 검출 결과를 결정할 수 있다.
일부 실시예에서, 상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 보형물 영역과 상기 예측된 얼굴 영역 사이의 중첩 영역을 결정하고; 상기 중첩 영역이 상기 예측된 얼굴 영역에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정할 수 있다.
상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치를 비교하여, 상기 보형물과 상기 예측된 얼굴 영영 사이의 중첩 영역을 결정할 수 있어, 상기 중첩 영역이 상기 예측된 얼굴 영역에서 차지하는 비율 n을 계산할 수 있고, 상기 중첩 영역의 면적이 상기 예측된 얼굴 영역의 면적에서 차지하는 비율일 수 있으며, 상기 비율 n을 통해 처리될 이미지의 생체 검출 결과를 결정할 수 있고, 일반적으로, 상기 비율 n이 클수록 검출 결과가 보형물일 가능성이 높아진다. 일부 실시예에서, 생체 검출 장치에는 제3 임계값 λ5 이 저장될 수 있고, 상기 비율 n을 제3 임계값 λ5 과 비교할 수 있으며, 상기 비율 n이 제3 임계값 λ5 보다 크거나 같으면, 상기 처리될 이미지의 생체 검출 결과가 보형물인 것으로 결정될 수 있으며, 상기 비율 n이 제3 임계값 λ5 보다 작으면, 상기 처리될 이미지의 생체 검출 결과가 생체인 것으로 결정할 수 있다.
본 출원의 실시예에서의 픽셀 포인트를 판단하는데 사용되는 각 임계값은 기설되거나 또는 실제 상황에 따라 결정될 수 있으며, 수정 및 첨삭될 수 있으며, 본 출원의 실시예는 이를 한정하지 않는다.
도 3에 도시된 뉴럴 네트워크 처리 과정 모식도를 참조할 수 있으며, 여기서, 이미지 A는 처리될 이미지이고, 구체적으로 얼굴을 포함한 이미지이며, 얼굴 인식을 수행하는 과정에서 생체 검출을 수행할 필요가 있으며, 과정 B는 본 출원의 실시예에서의 훈련된 뉴럴 네트워크를 이용하여 입력된 이미지 A에 대해 컨볼루션 처리를 수행하는 것을 나타내며, 여기서 백색 박스는 컨볼루션 계층에서 특징 추출 과정 동안 취해진 복수 개의 특징 맵으로 이해될 수 있으며, 뉴럴 네트워크의 처리 과정은 도 1 및 도 2에서의 관련 설명을 참조할 수 있으며, 여기서 더이상 설명하지 않으며; 뉴럴 네트워크를 통해 이미지 A에 대해 픽셀 포인트별 예측을 수행하여, 이미지 C를 출력할 수 있으며, 예측된 얼굴 영역, 및 결정된 이미지에서의 각 픽셀이 보형물에 대응하는 확률을 포함할 수 있으며, 즉 생체 검출 결과(보형물 또는 생체)를 획득할 수 있다. 생체 검출 결과가 보형물인 경우, 이미지 C에 도시된 예측된 얼굴 영역은 보형물 영역(이미지 C 중간 부분의 옅은 색 영역)이며, 여기에 포함된 확률 판단을 위한 픽셀은 상기 보형물 픽셀로 지칭될 수 있으며, 모퉁이의 검은 영역은 대략적으로 이미지 배경의 부분인 것으로 판단되며, 생체 검출에 대한 영향은 크지 않다. 상기 뉴럴 네트워크에 기반한 입력된 처리될 이미지의 처리에서, 출력 결과로부터 판단 근거의 이미지에서의 정확한 영역을 직관적으로 알 수도 있고, 생체 검출 결과는 더 잘 해석될 수 있다.
당업자는, 특정 실시형태의 상기 방법에서, 각 단계가 기록되는 순서가 엄격한 실행 순서를 의미하지 않지만, 실시 과정에 대해 임의의 한정을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내적 논리에 의해 결정된다는 것을 이해할 수 있다.
본 출원의 실시예는 얼굴 인식 시스템의 일부로 사용될 수 있으므로, 얼굴 인식 시스템 전체의 안전성을 보장하기 위해 시스템에 입력된 얼굴의 진실성을 판단한다. 일부 실시예에서, 모니터링 시스템 또는 출석 시스템 등 얼굴 인식 시나리오에 적용될 수 있으며, 이미지에서 얼굴이 보형물인지의 확률을 직접 예측하는 방법과 비교하면, 픽셀 기반 확률 분석은 생체 검출의 정확도를 향상시키며; 단안 카메라 및 단일 프레임 이미지의 검출에 적용되므로, 적응성이 높고, 멀티 카메라, 3D 구조광 등 하드웨어 기기를 사용한 생체 검출과 비교하여 비용을 줄이며; 픽셀 레벨 태그가 있는 샘플 데이터를 사용하여 컨볼루션 뉴럴 네트워크를 훈련시킴으로써, 이미지 레벨 태그의 데이터의 일반적인 사용에 비해, 동일한 정확도를 달성하기 위해 필요한 데이터양을 1 내지 2 개의 자릿수를 감소시킬 수 있으므로, 생체 검출 정확도를 향상시키는 전제 하에 훈련에 필요한 데이터양을 줄이고, 처리 효율을 향상시킨다.
본 출원의 실시예는 뉴럴 네트워크를 이용하여 처리될 이미지에 대해 처리를 수행함으로써, 상기 처리될 이미지에서 각 픽셀이 보형물에 대응하는 확률을 출력하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하며, 상기 각 픽셀의 위치 정보 및 상기 예측된 얼굴 영역에 기반하여, 상기 각 픽셀로부터 상기 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀을 결정한 후, 상기 적어도 두 개의 픽셀에서 각 픽셀이 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀에서의 적어도 하나의 보형물 픽셀을 결정하며, 다음, 상기 적어도 하나의 보형물 픽셀이 상기 적어도 두 개의 픽셀에서 차지하는 비율을 결정하여, 상기 비율이 제1 임계값보다 크거나 같은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 보형물이라고 결정하고, 상기 비율이 상기 제1 임계값보다 작으면, 상기 처리될 이미지의 생체 검출 결과가 생체라고 결정하며, 멀티 카메라, 3D 구조광 등 추가 하드웨어 시설이 필요하지 않으며, 하나의 단안 카메라만 있는 경우, 픽셀 포인트별의 예측을 통해, 단일 프레임 이미지의 생체 검출에 대한 정확도를 크게 향상시켜, 적응성이 더 높아, 검출 비용을 줄일 수 있다.
상기 설명은 주로 방법측으로부터 과정을 실행하는 관점에서 본 출원의 실시예의 방안을 소개한다. 이해할 수 있는 것은, 생체 검출 장치는 상기 기능을 구현하기 위해, 각 기능을 실행하는 상응한 하드웨어 구조 및 소프트웨어 모듈 중 적어도 하나를 포함한다. 본 분야의 기술자는 본 출원이 본문에서 개시된 실시예에 따라 설명된 각 예의 유닛 및 알고리즘 단계와 결합하여, 하드웨어 또는 하드웨어 및 컴퓨터 소프트웨어의 조합의 형태로 구현될 수 있다는 것을 쉽게 이해할 것이다. 어느 한 기능이 하드웨어에 의해 수행되는지 아니면 컴퓨터 소프트웨어에 의해 하드웨어를 구동하는 방식으로 수행되는지는, 기술 방안의 특정 애플리케이션과 설계 제약 조건에 따라 결정된다. 전문 기술자는 특정 애플리케이션에 대해 상이한 방법을 사용하여 서술된 기능을 구현할 수 있으나, 이러한 구현은 본 출원의 범위를 벗어나는 것으로 간주되어서는 안된다.
본 출원의 실시예는 상기 방법의 예에 따라, 생체 검출 기기에 대해 기능 유닛의 분할을 진행할 수 있으며, 예를 들어, 각 기능에 대응하여 각 기능 유닛을 분할할 수 있고, 두 개 또는 그 이상의 기능을 하나의 처리 유닛에 통합할 수도 있다. 상기 통합된 유닛은 하드웨어의 형태를 사용하여 구현될 수 있으며, 소프트웨어 기능 유닛의 형태를 사용하여 구현될 수도 있다. 설명해야 할 것은, 본 출원의 실시예에서 유닛에 대한 분할은 개략적인 것이며, 다만 논리적 기능 분할일 뿐이며, 실제 구현될 경우 다른 분할 방식이 있을 수도 있다.
도 4를 참조하면, 도 4는 본 출원의 실시예에서 개시한 생체 검출 방법의 구 모식도이다. 도 4에 도시된 바와 같이, 생체 검출 장치(300)는, 픽셀 예측 모듈(310), 얼굴 검출 모듈(320) 및 분석 모듈(330)을 포함하며, 상기 픽셀 예측 모듈(310)은 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하기 위한 것이고; 상기 얼굴 검출 모듈(320)은 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하기 위한 것이며; 상기 분석 모듈(330)은, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하기 위한 것이다.
일부 실시예에서, 상기 픽셀 예측 모듈(310)은, 상기 처리될 이미지를 컨볼루션 뉴럴 네트워크에 입력하여 처리를 수행함으로써, 상기 처리될 이미지에서의 각 픽셀 피인트가 보형물에 대응하는 확률을 획득하기 위한 것이다.
일부 실시예에서, 상기 뉴럴 네트워크는 픽셀 레벨의 태그가 있는 샘플 데이터에 기반하여 훈련되어 획득된다.
일부 실시예에서, 상기 분석 모듈(330)은 제1 유닛(331)및 제2 유닛(332)을 포함하고, 여기서, 상기 제1 유닛(331)은, 상기 복수 개의 픽셀 포인트의 위치 정보 및 상기 예측된 얼굴 영역에 기반하여, 상기 복수 개의 픽셀 포인트로부터 상기 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정하기 위한 것이고; 상기 제2 유닛(332)은, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것이다.
일부 실시예에서, 상기 제2 유닛(332)은, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정하고; 상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것이다.
하나의 실시형태에 있어서, 상기 제2 유닛(332)은, 상기 비율이 제1 임계값보다 크거나 같은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 보형물인 것으로 결정하는 것; 및, 상기 비율이 상기 제1 임계값보다 작은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 생체인 것으로 결정하는 것 중 적어도 하나를 수행하기 위한 것이다.
일부 실시예에서, 상기 제2 유닛(332)은, 상기 적어도 두 개의 픽셀 포인트가 보형물에 대응하는 확률에 대해 평균 처리를 수행하여, 확률 평균값을 획득하고; 상기 확률 평균값에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것이다.
하나의 실시형태에 있어서, 상기 분석 모듈(330)은, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 보형물 영역을 결정하며; 상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것이다.
일부 실시예에서, 상기 분석 모듈(330)은, 상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 보형물 영역과 상기 예측된 얼굴 영역 사이의 중첩 영역을 결정하고; 상기 중첩 영역이 상기 예측된 얼굴 영역에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것이다.
하나의 가능한 실시형태에서, 상기 생체 검출 장치(300)는, 상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트를 디스플레이하기 위한 디스플레이 모듈(340); 및 상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트의 정보를 출력하여 디스플레이에 사용하기 위한 전송 모듈(350) 중 적어도 하나를 더 포함한다.
일부 실시예에서, 상기 얼굴 검출 모듈(320)은, 상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하고; 상기 키 포인트 예측 정보에 기반하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하기 위한 것이다.
일부 실시예에서, 상기 얼굴 검출 모듈(320)은 또한, 상기 처리될 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지에서 얼굴 프레임 선택 영역을 획득하기 위한 것이며; 상기 얼굴 검출 모듈(320)은, 상기 얼굴 프레임 선택 영역의 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하기 위한 것이다.
하나의 실시형태에 있어서, 상기 얼굴 검출 모듈(320)은, 상기 처리될 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하기 위한 것이다.
하나의 실시형태에 있어서, 상기 생체 검출 장치(300)는 단안 카메라에 의해 수집된 상기 처리될 이미지를 획득하기 위한 이미지 획득 모듈(360)을 더 포함한다.
본 출원의 실시예에서의 생체 검출 장치(300)를 사용하여, 도 1 및 도 2 의 실시예에서의 생체 검출 방법을 구현할 수 있다.
도 4에 도시된 생체 검출 장치(300)를 실시하며, 생체 검출 장치(300)는 처리될 이미지를 통해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득할 수 있어, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하며, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득함으로써, 멀티 카메라, 3D 구조광 등 추가 하드웨어 시설이 필요하지 않으므로, 하나의 단안 카메라만 있는 경우, 단일 프레임 이미지의 생체 검출에 대한 정확도를 크게 향상시켜, 적응성이 더 높아, 검출 비용을 줄일 수 있다.
도 5를 참조하면, 도 5는 본 출원의 실시예에서 개시한 전자 기기의 구조 모식도이다. 도 5에 도시된 바와 같이, 상기 전자 기기(400)는 프로세서(401) 및 메모리(402)를 포함하고, 여기서, 전자 기기(400)는 버스(403)를 더 포함할 수 있으며, 프로세서(401) 및 메모리(402)는 버스(403)를 통해 서로 연결될 수 있으며, 버스(403)는 주변 구성 요소 상호 연결(Peripheral Component Interconnect, PCI) 버스 또는 확장 업계 표준 구조(Extended Industry Standard Architecture, EISA) 버스 등이다. 버스(403)는 어드레스 버스, 데이터 버스, 제어 버스 등으로 구분될 수 있다. 표현의 용이함을 위해, 도 4에서 다만 하나의 굵은 선으로 표시하였으나, 하나의 버스 또는 하나의 버스 타입만 있는 것은 아니다. 여기서, 전자 기기(400)는 입력 기기 및 출력 기기(404)를 더 포함할 수 있고, 입력 기기 및 출력 기기(404)는 액정 디스플레이 스크린과 같은 디스플레이 스크린을 포함할 수 있다. 메모리(402)는 컴퓨터 프로그램을 저장하기 위한 것이고; 프로세서(401)는 메모리(402)에 저장된 명령어를 호출함으로써 상기 도 1 및 도 2의 실시예에 언급된 부분 또는 전부 방법의 단계를 실행하기 위한 것이다.
도 5에 도시된 전자 기기(400)를 실시하며, 전자 기기(400)는 처리될 이미지를 통해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정할 수 있으며, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득함으로써, 멀티 카메라, 3D 구조광 등 추가 하드웨어 시설이 필요하지 않으므로, 하나의 단안 카메라만 있는 경우, 단일 프레임 이미지의 생체 검출에 대한 정확도를 크게 향상시켜, 적응성이 더 높아, 검출 비용을 줄일 수 있다.
본 출원의 실시예는 또한 컴퓨터 저장 매체를 제공하며, 여기서, 상기 컴퓨터 저장 매체는 컴퓨터 프로그램을 저장하기 위한 것이며, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 상기 방법의 실시예에 기재된 생체 검출 방법의 부분 또는 전부 단계를 실행하도록 한다.
본 출원의 실시예는 컴퓨터 프로그램 제품을 제공하며, 여기서, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램을 포함하며; 상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행되도록 구성되며, 상기 컴퓨터 프로그램은 상기 방법의 실시예에 기재된 임의의 생체 검출 방법의 부분 또는 전부 단계를 실행하도록 한다.
설명해야 할 것은, 전술한 각 방법 실시예에 대해, 간단한 설명을 위해, 이들 모두를 일련의 동작 조합으로 표현하였지만, 본 기술분야의 기술자는, 일부 단계들이 본 출원에 따라 다른 순서를 사용하거나 동시에 진행할 수 있으므로, 본 출원에서 설명된 동작 순서의 제한을 받지 않음을 잘 알고 있을 것이다. 다음, 본 기술분야의 기술자는, 명세서에서 설명된 실시예가 모두 바람직한 실시예에 속하며, 언급된 동작과 모듈은 본 출원에 반드시 필요한 것은 아니라는 것을 잘 알고 있을 것이다.
상기 실시예에서, 각 실시예의 설명은 각각의 중점을 가지며, 어떤 실시예에서 상세하게 설명하지 않은 부분에 대해서는, 다른 실시예의 관련 설명을 참조할 수 있다.
본 출원에서 제공하는 몇 가지 실시예에서 개시된 장치는, 다른 방식에 의해 구현될 수 있음을 이해해야 한다. 예를 들어, 전술한 장치 실시예는 다만 개략적인 것이며, 예를 들어, 상기 유닛의 분할은, 다만 논리적 기능 분할이며, 실제 구현 시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수 개의 유닛 또는 구성 요소가 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징이 무시되거나 실행되지 않을 수 있다. 또한, 기재 또는 논의된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛의 간접 커플링 또는 통신을 통해 연결될 수 있고, 전기적 또는 다른 형태일 수 있다.
상기 분리된 부품으로서 설명된 유닛(모듈)은 물리적으로 분리되거나 분리되지 않을수 있고, 유닛으로서 디스플레이된 구성 요소는 물리적 유닛일 수 있거나 아닐수도 있으며, 또는 한 장소에 있거나, 복수 개의 너트웨크 유닛에 분포될 수 있다. 실제 필요에 따라 그 중의 일부 또는 전부 유닛을 선택하여 본 실시예의 방안의 목적을 구현할 수 있다.
또한, 본 출원의 각 실시예에서 각 기능 유닛은 하나의 처리 유닛에 통합되거나 또는 각각의 유닛이 별도로 물리적으로 존재할 수도 있고, 둘 또는 둘 이상의 유닛이 하나의 유닛에 통합될 수도 있다. 상기 통합된 유닛은 하드웨어의 형태를 사용하여 구현될 수 있으며, 소프트웨어 기능 유닛의 형태를 사용하여 구현될 수도 있다.
상기 통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로 판매되거나 사용되는 경우 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 출원의 기술방안은 실질적으로 또는 선행기술에 기여하는 전부 또는 부분 상기 기술방안의 부분이 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 컴퓨터 기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등 일 수 있다)가 본 출원의 각 실시예의 방법의 전부 또는 일부 단계를 실행할 수 있도록 구성된 복수의 명령어를 포함하는 하나의 메모리에 저장된다. 而전술한 메모리는, USB 플래시 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 모바일 하드 디스크, 플로피 디스크 또는 광 디스크와 같은 프로그램 코드가 저장된 매체를 포함한다.
당업자는 상기 실시예의 방법의 전부 또는 부분 단계가 관련 하드웨어를 지시하기 위한 프로그램에 의해 완료될 수 있으며, 상기 프로그램은 컴퓨 판독 가능 메모리에 저장될 수 있으며, 메모리는 플래시 디스크, 판독 전용 메모리, 랜덤 액세스 메모리, 자기 디스크 또는 광 디스크를 포함한다.
본문에서는 구체적인 예를 적용하여 본 출원의 원리 및 실시형태를 기술하였고, 이상의 실시예의 설명은 다만 본 출원의 방법 및 이의 핵심 사상의 이해를 돕기 위해서만 사용되며; 동시에, 당업자는 본 출원의 사상에 따라 구체적인 실시형태 및 응용 범위에 변화가 있으며, 결론적으로, 본 명세서의 내용은 본 출원을 한정하는 것이 아니라는 것을 이해할 것이다.

Claims (31)

  1. 생체 검출 방법으로서,
    처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하는 단계;
    상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계; 및
    상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  2. 제1항에 있어서,
    상기 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하는 단계는,
    뉴럴 네트워크를 사용하여 상기 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 출력하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  3. 제2항에 있어서,
    상기 뉴럴 네트워크는 픽셀 레벨의 태그가 있는 샘플 데이터에 기반하여 훈련되어 획득되는 것을 특징으로 하는 생체 검출 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하는 단계는,
    상기 복수 개의 픽셀 포인트의 위치 정보 및 상기 예측된 얼굴 영역에 기반하여, 상기 복수 개의 픽셀 포인트로부터 상기 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정하는 단계; 및
    상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  5. 제4항에 있어서,
    상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는,
    상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정하는 단계; 및
    상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  6. 제5항에 있어서,
    상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는,
    상기 비율이 제1 임계값보다 크거나 같은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 보형물인 것으로 결정하는 단계; 및
    상기 비율이 상기 제1 임계값보다 작은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 생체인 것으로 결정하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 생체 검출 방법.
  7. 제4항에 있어서,
    상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는,
    상기 적어도 두 개의 픽셀 포인트가 보형물에 대응하는 확률에 대해 평균 처리를 수행하여, 확률 평균값을 획득하는 단계; 및
    상기 확률 평균값에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하는 단계는,
    상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 보형물 영역을 결정하는 단계; 및
    상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  9. 제8항에 있어서,
    상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계는,
    상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 보형물 영역과 상기 예측된 얼굴 영역 사이의 중첩 영역을 결정하는 단계; 및
    상기 중첩 영역이 상기 예측된 얼굴 영역에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  10. 제9항에 있어서,
    상기 생체 검출 방법은,
    상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트를 디스플레이하는 단계; 및
    상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트의 정보를 출력하여 디스플레이에 사용하는 단계 중 적어도 하나를 더 포함하는 것을 특징으로 하는 생체 검출 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계는,
    상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하는 단계; 및
    상기 키 포인트 예측 정보에 기반하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  12. 제11항에 있어서,
    상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득한하기 전에, 상기 생체 검출 방법은,
    상기 처리될 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지에서 얼굴 프레임 선택 영역을 획득하는 단계를 더 포함하며;
    상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하는 단계는,
    상기 얼굴 프레임 선택 영역의 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  13. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계는,
    상기 처리될 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 생체 검출 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 처리될 이미지에 대해 처리를 수행하기 전에, 상기 생체 검출 방법은,
    단안 카메라에 의해 수집된 상기 처리될 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 생체 검출 방법.
  15. 생체 검출 장치로서,
    픽셀 예측 모듈, 얼굴 검출 모듈 및 분석 모듈을 포함하며,
    상기 픽셀 예측 모듈은, 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률을 획득하기 위한 것이며;
    상기 얼굴 검출 모듈은, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하기 위한 것이며;
    상기 분석 모듈은, 상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률 및 상기 예측된 얼굴 영역에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 획득하기 위한 것임을 특징으로 하는 생체 검출 장치.
  16. 제15항에 있어서,
    상기 픽셀 예측 모듈은, 뉴럴 네트워크를 사용하여 상기 처리될 이미지에 대해 처리를 수행하여, 상기 처리될 이미지에서의 각 픽셀 포인트가 보형물에 대응하는 확률을 출력하기 위한 것임을 특징으로 하는 생체 검출 장치.
  17. 제16항에 있어서,
    상기 뉴럴 네트워크는 픽셀 레벨의 태그가 있는 샘플 데이터에 기반하여 훈련되어 획득되는 것을 특징으로 하는 생체 검출 장치.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 분석 모듈은 제1 유닛 및 제2 유닛을 포함하며,
    상기 제1 유닛은, 상기 복수 개의 픽셀 포인트의 위치 정보 및 상기 예측된 얼굴 영역에 기반하여, 상기 복수 개의 픽셀 포인트로부터 상기 예측된 얼굴 영역에 포함된 적어도 두 개의 픽셀 포인트를 결정하기 위한 것이고;
    상기 제2 유닛은, 상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
  19. 제18항에 있어서,
    상기 제2 유닛은,
    상기 적어도 두 개의 픽셀 포인트에서의 각 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 적어도 두 개의 픽셀 포인트에서의 적어도 하나의 보형물 픽셀 포인트를 결정하고;
    상기 적어도 하나의 보형물 픽셀 포인트가 상기 적어도 두 개의 픽셀 포인트에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
  20. 제19항에 있어서,
    상기 제2 유닛은,
    상기 비율이 제1 임계값보다 크거나 같은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 보형물인 것으로 결정되거나; 또는,
    상기 비율이 상기 제1 임계값보다 작은 것에 응답하여, 상기 처리될 이미지의 생체 검출 결과가 생체인 것으로 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
  21. 제18항에 있어서,
    상기 제2 유닛은,
    상기 적어도 두 개의 픽셀 포인트가 보형물에 대응하는 확률에 대해 평균 처리를 수행하여, 확률 평균값을 획득하고;
    상기 확률 평균값에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것임을 특징으로 한느 생체 검출 장치.
  22. 제15항 내지 제18항에 있어서,
    상기 분석 모듈은,
    상기 처리될 이미지에서의 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여, 상기 처리될 이미지의 보형물 영역을 결정하고;
    상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
  23. 제22항에 있어서,
    상기 분석 모듈은,
    상기 보형물 영역 및 상기 예측된 얼굴 영역의 위치에 기반하여, 상기 보형물 영역과 상기 예측된 얼굴 영역 사이의 중첩 영역을 결정하고;
    상기 중첩 영역이 상기 예측된 얼굴 영역에서 차지하는 비율에 기반하여, 상기 처리될 이미지의 생체 검출 결과를 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
  24. 제23항에 있어서,
    상기 생체 검출 장치는,
    상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트를 디스플레이하기 위한 디스플레이 모듈; 및
    상기 복수 개의 픽셀 포인트가 보형물에 대응하는 확률에 기반하여 결정된 적어도 하나의 보형물 픽셀 포인트의 정보를 출력하여 디스플레이에 사용하기 위한 전송 모듈 중 적어도 하나를 더 포함하는 것을 특징으로 하는 생체 검출 장치.
  25. 제15항 내지 제24항 중 어느 한 항에 있어서,
    상기 얼굴 검출 모듈은,
    상기 처리될 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하고;
    상기 키 포인트 예측 정보에 기반하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
  26. 제25항에 있어서,
    상기 얼굴 검출 모듈은 또한,
    상기 처리될 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지에서 얼굴 프레임 선택 영역을 획득하기 위한 것이며;
    상기 얼굴 검출 모듈은, 상기 얼굴 프레임 선택 영역의 이미지에 대해 얼굴 키 포인트 검출을 수행하여, 키 포인트 예측 정보를 획득하기 위한 것임을 특징으로 하는 생체 검출 장치.
  27. 제15항 내지 제24항 중 어느 한 항에 있어서,
    상기 얼굴 검출 모듈은,
    상기 처리될 이미지에 대해 얼굴 검출을 수행하여, 상기 처리될 이미지에서의 예측된 얼굴 영역을 결정하기 위한 것임을 특징으로 하는 생체 검출 장치.
  28. 제15항 내지 제27항 중 어느 한 항에 있어서,
    단안 카메라에 의해 수집된 상기 처리될 이미지를 획득하기 위한 이미지 획득 모듈을 더 포함하는 것을 특징으로 하는 생체 검출 장치.
  29. 전자 기기로서,
    프로세서 및 메모리를 포함하고, 상기 메모리는 컴퓨터 프로그램을 저장하기 위한 것이며, 상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행되도록 구성되며, 상기 프로세서는 제1항 내지 제14항 중 어느 한 항에 따른 방법을 실행하기 위한 것임을 특징으로 하는 전자 기기.
  30. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능 저장 매체는 컴퓨터 프로그램을 저장하기 위한 것이며, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 제1항 내지 제14항 중 어느 한 항에 따른 방법을 실행하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  31. 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램을 포함하며; 상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행되도록 구성되며, 상기 프로세서는 제1항 내지 제14항 중 어느 한 항에 따른 방법을 실행하기 위한 프로세서를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
KR1020207024614A 2019-04-01 2019-11-22 생체 검출 방법 및 장치, 전자 기기 및 저장 매체 KR20200118076A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910257350.9A CN111767760A (zh) 2019-04-01 2019-04-01 活体检测方法和装置、电子设备及存储介质
CN201910257350.9 2019-04-01
PCT/CN2019/120404 WO2020199611A1 (zh) 2019-04-01 2019-11-22 活体检测方法和装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
KR20200118076A true KR20200118076A (ko) 2020-10-14

Family

ID=72664509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024614A KR20200118076A (ko) 2019-04-01 2019-11-22 생체 검출 방법 및 장치, 전자 기기 및 저장 매체

Country Status (7)

Country Link
US (1) US20200380279A1 (ko)
JP (1) JP7165742B2 (ko)
KR (1) KR20200118076A (ko)
CN (1) CN111767760A (ko)
SG (1) SG11202008103YA (ko)
TW (1) TWI754887B (ko)
WO (1) WO2020199611A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019118089A1 (en) * 2017-12-11 2019-06-20 Analog Devices, Inc. Multi-modal far field user interfaces and vision-assisted audio processing
US11861480B2 (en) * 2018-08-21 2024-01-02 Siemens Mobility GmbH Orientation detection in overhead line insulators
US11670069B2 (en) * 2020-02-06 2023-06-06 ID R&D, Inc. System and method for face spoofing attack detection
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
JP7174803B2 (ja) * 2020-08-20 2022-11-17 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像処理方法、装置、電子機器及び記憶媒体
CN112651311A (zh) * 2020-12-15 2021-04-13 展讯通信(天津)有限公司 一种人脸识别方法和相关设备
CN112883902B (zh) * 2021-03-12 2023-01-24 百度在线网络技术（北京）有限公司 视频检测方法、装置、电子设备及存储介质
CN113705428A (zh) * 2021-08-26 2021-11-26 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备及计算机可读存储介质
CN113971841A (zh) * 2021-10-28 2022-01-25 北京市商汤科技开发有限公司 一种活体检测方法、装置、计算机设备及存储介质
CN114648814A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 人脸活体检测方法及模型的训练方法、装置、设备及介质
CN116363762A (zh) * 2022-12-23 2023-06-30 北京百度网讯科技有限公司 活体检测方法、深度学习模型的训练方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415137B2 (en) * 2002-12-13 2008-08-19 Canon Kabushiki Kaisha Image processing method, apparatus and storage medium
CN1306456C (zh) * 2002-12-13 2007-03-21 佳能株式会社 图像处理方法和装置
JP4812497B2 (ja) 2006-03-31 2011-11-09 セコム株式会社 生体照合システム
JP5402026B2 (ja) 2009-01-30 2014-01-29 株式会社ニコン 電子カメラおよび画像処理プログラム
JP6507046B2 (ja) 2015-06-26 2019-04-24 株式会社東芝 立体物検知装置及び立体物認証装置
CN105389554B (zh) * 2015-11-06 2019-05-17 北京汉王智远科技有限公司 基于人脸识别的活体判别方法和设备
EP3380859A4 (en) 2015-11-29 2019-07-31 Arterys Inc. AUTOMATED SEGMENTATION OF CARDIAC VOLUME
JP6932150B2 (ja) * 2016-06-30 2021-09-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 顔検出／認識システム用の方法及び装置
KR102387571B1 (ko) * 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
CN113095124B (zh) * 2017-06-07 2024-02-06 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
CN107220635A (zh) * 2017-06-21 2017-09-29 北京市威富安防科技有限公司 基于多造假方式的人脸活体检测方法
CN108280418A (zh) * 2017-12-12 2018-07-13 北京深醒科技有限公司 脸部图像的欺骗识别方法及装置
TWI632509B (zh) * 2017-12-29 2018-08-11 技嘉科技股份有限公司 人臉辨識裝置及方法、提升影像辨識率的方法、及電腦可讀儲存介質
CN108121977A (zh) * 2018-01-08 2018-06-05 深圳天珑无线科技有限公司 一种移动终端及其活体人脸识别方法和系统
CN108549854B (zh) * 2018-03-28 2019-04-30 中科博宏（北京）科技有限公司 一种人脸活体检测方法
CN108537193A (zh) * 2018-04-17 2018-09-14 厦门美图之家科技有限公司 一种人脸属性中的种族属性识别方法及移动终端
CN109035516A (zh) * 2018-07-25 2018-12-18 深圳市飞瑞斯科技有限公司 控制智能锁的方法、装置、设备及存储介质
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
US11657525B2 (en) * 2018-12-04 2023-05-23 Yoti Holding Limited Extracting information from images

Also Published As

Publication number Publication date
JP7165742B2 (ja) 2022-11-04
TWI754887B (zh) 2022-02-11
TW202038191A (zh) 2020-10-16
CN111767760A (zh) 2020-10-13
SG11202008103YA (en) 2020-11-27
JP2021520530A (ja) 2021-08-19
WO2020199611A1 (zh) 2020-10-08
US20200380279A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
KR20200118076A (ko) 생체 검출 방법 및 장치, 전자 기기 및 저장 매체
US11182592B2 (en) Target object recognition method and apparatus, storage medium, and electronic device
US10832069B2 (en) Living body detection method, electronic device and computer readable medium
US11915514B2 (en) Method and apparatus for detecting facial key points, computer device, and storage medium
US10318797B2 (en) Image processing apparatus and image processing method
CN111178183B (zh) 人脸检测方法及相关装置
KR102459221B1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
US11816880B2 (en) Face recognition method and apparatus, computer device, and storage medium
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN112135041B (zh) 一种人脸特效的处理方法及装置、存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN111626163B (zh) 一种人脸活体检测方法、装置及计算机设备
US20210390667A1 (en) Model generation
CN106778574A (zh) 用于人脸图像的检测方法和装置
CN111832561B (zh) 基于计算机视觉的字符序列识别方法、装置、设备和介质
CN109376618B (zh) 图像处理方法、装置及电子设备
US9349038B2 (en) Method and apparatus for estimating position of head, computer readable storage medium thereof
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN108875467B (zh) 活体检测的方法、装置及计算机存储介质
CN117441195A (zh) 纹理补全
EP4320585A1 (en) Bystander and attached object removal
CN117593510A (zh) 图像处理方法和电子设备
CN117037244A (zh) 人脸安全检测方法、装置、计算机设备和存储介质
KR20240043594A (ko) 객체 영역과 배경 영역을 분류하기 위한 전자 장치 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination