TWI714834B - 人臉活體檢測方法、裝置以及電子設備 - Google Patents

人臉活體檢測方法、裝置以及電子設備 Download PDF

Info

Publication number
TWI714834B
TWI714834B TW107107233A TW107107233A TWI714834B TW I714834 B TWI714834 B TW I714834B TW 107107233 A TW107107233 A TW 107107233A TW 107107233 A TW107107233 A TW 107107233A TW I714834 B TWI714834 B TW I714834B
Authority
TW
Taiwan
Prior art keywords
image
face
deep learning
learning model
global
Prior art date
Application number
TW107107233A
Other languages
English (en)
Other versions
TW201903652A (zh
Inventor
馬晨光
Original Assignee
開曼群島商創新先進技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開曼群島商創新先進技術有限公司 filed Critical 開曼群島商創新先進技術有限公司
Publication of TW201903652A publication Critical patent/TW201903652A/zh
Application granted granted Critical
Publication of TWI714834B publication Critical patent/TWI714834B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本發明揭示了一種人臉活體檢測方法、裝置以及電子設備。所述方法包括：根據人臉採集全域影像，訓練第一深度學習模型；以及，根據從所述人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型；根據訓練後的所述第一深度學習模型和所述第二深度學習模型，進行人臉活體檢測。利用本發明實施例，有利於提取更多的人臉活體影像特徵，訓練後的所述第一深度學習模型和所述第二深度學習模型聯合而言，相比於現有技術的模型對於人臉活體的特徵表達能力更好，進而有利於提高人臉活體檢測結果的準確性。

Description

人臉活體檢測方法、裝置以及電子設備
本發明關於電腦軟體技術領域，尤其關於一種人臉活體檢測方法、裝置以及電子設備。
人臉活體檢測技術用於判斷目前人臉識別的操作者是否為活體用戶，進而可以實現對屏幕重放攻擊、打印照片攻擊、三維建模攻擊等非活體攻擊進行攔截。 　　目前，人臉活體檢測技術可分為兩大類：第一類技術為主動式人臉活體檢測技術，這類技術要求用戶在進行人臉識別時根據指令，配合完成特定的活體動作，如眨眼、轉頭、張嘴等，從而活體檢測模組可以根據操作者是否準確地完成了活體動作，判定操作者是否是活體；第二類技術為被動式人臉活體檢測技術，這類技術不需要用戶配合完成活體動作，用戶體驗較好，但技術難度高，主要依賴輸入的單幀影像資訊或者其他設備傳感器資訊進行活體檢測。 　　在現有技術中，對於上述的被動式人臉活體檢測技術，通常使用活體與非活體的人臉採集影像對於單一的深度學習模型進行監督式訓練，然後使用訓練後的模型針對輸入的單幀影像進行人臉活體預測。 　　但是，這種技術方案嚴重依賴訓練資料的人臉非活體攻擊種類，同時受限於訓練資料不夠豐富的客觀條件，難以充分提取人臉活體影像特徵，從而使得其模型對於人臉活體的特徵表達能力不足，進而會降低人臉活體檢測結果的準確性。
本發明實施例提供一種人臉活體檢測方法、裝置以及電子設備，用以解決現有技術中的如下技術問題：基於單一的深度學習模型的技術方案難以充分提取人臉活體影像特徵，從而使得其模型對於人臉活體的特徵表達能力不足，進而會降低人臉活體檢測結果的準確性。 　　為解決上述技術問題，本發明實施例是這樣實現的： 　　本發明實施例提供的一種人臉活體檢測方法，包括： 　　根據人臉採集全域影像，訓練第一深度學習模型；以及， 　　根據從所述人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型； 　　根據訓練後的所述第一深度學習模型和所述第二深度學習模型，進行人臉活體檢測。 　　本發明實施例提供的一種人臉活體檢測裝置，包括： 　　訓練模組，根據人臉採集全域影像，訓練第一深度學習模型；以及， 　　根據從所述人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型； 　　檢測模組，根據訓練後的所述第一深度學習模型和所述第二深度學習模型，進行人臉活體檢測。 　　本發明實施例採用的上述至少一個技術方案能夠達到以下有益效果：有利於提取更多的人臉活體影像特徵，訓練後的所述第一深度學習模型和所述第二深度學習模型聯合而言，相比於現有技術的模型對於人臉活體的特徵表達能力更好，進而有利於提高人臉活體檢測結果的準確性，因此，可以部分或全部地解決現有技術中的問題。
本發明實施例提供一種人臉活體檢測方法、裝置以及電子設備。 　　為了使本技術領域的人員更好地理解本發明中的技術方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。 　　本發明的方案中的深度學習模型均是基於神經網路的，為了便於描述，先基於一個示例，結合圖1和圖2對本發明的方案的核心思想進行闡述： 　　在該示例下，本發明的方案可以分為模型訓練階段與活體檢測階段； 　　圖1為本發明的方案中包含的模型訓練階段的示例性流程示意圖，在模型訓練階段，使用人臉採集影像中的活體與非活體樣本(屬於訓練資料集)訓練兩種獨立的深度學習模型：第一深度學習模型、第二深度學習模型；其中，第一深度學習模型的輸入影像是採集的人臉採集全域影像，第二深度學習模型的輸入影像可以是在該人臉採集全域影像中裁剪的人臉區域部分影像，第一深度學習模型與第二深度學習模型可以採用不同的深度學習網路結構(亦即，模型所基於的神經網路的結構)，不同的網路結構對於不同的影像特徵可以具有不同的敏感性；使用活體與非活體訓練資料集，基於深度學習方法，對第一深度學習模型和第二深度學習模型訓練完畢； 　　圖2為本發明的方案中包含活體檢測階段的示例性流程示意圖，在活體檢測階段，採集用戶刷臉影像作為該用戶的人臉採集全域影像，並輸入第一深度學習模型，得到預測得分PA；同時，在該用戶刷臉影像上執行人臉檢測，根據檢測結果從該用戶刷臉影像中裁剪出人臉區域部分影像輸入第二深度學習模型，得到預測得分PB；然後，比如可以透過將PA+PB的預測得分結果同設定好的閾值(比如，閾值可以為1)進行對比，進行聯合決策確定針對該用戶刷臉影像的人臉活體檢測結果。 　　基於上面的核心思想，下面對本發明的方案進行詳細說明。 　　圖3為本發明實施例提供的一種人臉活體檢測方法的流程示意圖。從程式角度而言，該流程的執行主體可以是伺服器上或者終端上的程式，比如，身份認證程式、電子商務應用等。從設備角度而言，該流程的執行主體包括但不限於可作為伺服器或者終端的以下至少一種設備：門禁設備、個人電腦、中型電腦、電腦集群、手機、平板電腦、智慧型穿戴式設備、車機、銷售終端(Point Of Sale，POS)機等。 　　圖3中的流程可以包括以下步驟： 　　S301：根據人臉採集全域影像，訓練第一深度學習模型。 　　在本發明實施例中，訓練第一深度學習模型所使用的人臉採集全域影像可以有多個樣本，在這多個樣本中，有的樣本是活體採集影像，透過對人臉活體進行拍攝而採集得到，可以作為正樣本，有的樣本是非活體採集影像，透過對諸如人臉圖片、人臉模型等非活體進行拍攝而採集得到，可以作為負樣本。 　　在本發明實施例中，第一深度學習模型是分類模型，人臉採集全域影像作為該分類模型的輸入，經過模型處理後，至少可以將人臉採集全域影像分類至活體採集影像類別或者非活體採集影像類別。訓練第一深度學習模型的目的在於：提高第一深度學習模型的分類準確性。 　　S302：根據從所述人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型。 　　在本發明實施例中，一般地，人臉採集全域影像除了包含整個人臉區域以外，往往還包含一些無關區域，無關區域比如可以是背景區域、人體除人臉以外的區域等。而人臉區域部分影像可以不包含無關區域，而是只包含至少部分人臉區域，比如，整個人臉區域，或者眼部區域，或者鼻部區域等。第二深度學習模型可以有一個或者多個，每個第二深度學習模型可以分別對應於一類人臉區域。 　　圖4為本發明實施例提供一種人臉採集全域影像和人臉區域部分影像的對比示意圖。 　　在圖4中，(a)為人臉採集全域影像，為了便於理解，在(a)中用虛線對人臉區域部分進行了標記，對(a)相應地進行裁剪可以得到如(b)所示的人臉區域部分影像。 　　另外，在人臉區域部分影像為只包含部分人臉區域的影像的情況下，人臉採集全域影像也可以是包含整個人臉區域且基本不包含無關區域的影像。 　　在本發明實施例中，訓練第二深度學習模型所使用的人臉區域部分影像也可以有多個樣本，在這多個樣本中，有的樣本是活體採集影像，可以作為正樣本，有的樣本是非活體採集影像，可以作為負樣本。 　　在本發明實施例中，第二深度學習模型也是分類模型，人臉區域部分影像作為該分類模型的輸入，經過模型處理後，至少可以將人臉區域部分影像分類至活體採集影像類別或者非活體採集影像類別。訓練第二深度學習模型的目的在於：提高第二深度學習模型的分類準確性。 　　人臉區域部分影像除了可以從人臉採集全域影像裁剪得到以外，也可以不依賴於人臉採集全域影像而專門採集得到的。 　　在本發明實施例中，第一深度學習模型與第二深度學習模型在被訓練前可以是不同的模型，也可以是相同的模型。 　　本發明對步驟S301和S302的執行順序並不做限定，可以同時並行執行，也可以先後執行等。 　　S303：根據訓練後的所述第一深度學習模型和所述第二深度學習模型，進行人臉活體檢測。 　　圖3中的各步驟的執行主體可以是同一設備或同一程式，也可以是不同設備或不同程式。比如，步驟S301~S303的執行主體均為設備1；又比如，步驟S301~S302的執行主體為設備1，步驟S303的執行主體為設備2；等等。 　　透過圖3的方法，有利於提取更多的人臉活體影像特徵，訓練後的所述第一深度學習模型和所述第二深度學習模型聯合而言，相比於現有技術的模型對於人臉活體的特徵表達能力更好，進而有利於提高人臉活體檢測結果的準確性，因此，可以部分或全部 地解決現有技術中的問題。 　　基於圖3的方法，本發明實施例還提供了該方法的一些具體實施方案，以及擴展方案，下面進行說明。 　　在本發明實施例中，為了便於實現第一深度學習模型與第二深度學習模型對影像特徵的敏感性差異，第一深度學習模型與第二深度學習模型優選地可以採用不同的深度學習網路結構。 　　兩種深度學習模型的網路結構不同具體可以指：這兩種深度學習模型的一個或多個網路結構參數不同，其中，網路結構參數比如可以包括：隱變量層數、隱變量層類型、神經元節點數、輸入層節點數、輸出層節點數等。 　　當然，對於一些特定的深度學習模型也可能有相應的特定參數。比如，對於目前在影像領域應用廣泛的基於卷積神經網路的深度學習模型，卷積單元的卷積核大小也屬於這種深度學習模型特定的網路結構參數。 　　對於本發明的方案，一般地，所述不同的深度學習網路結構的以下至少一種參數不同：隱變量層數、隱變量層類型、神經元節點數、卷積單元的卷積核大小等。 　　在本發明實施例中，為了提高模型訓練效率和模型訓練可靠性，可以採用有監督式的訓練方式進行模型訓練。 　　例如，在監督式的訓練方式下，對於步驟S301，所述人臉採集全域影像具有第一標籤，所述第一標籤表明其對應的人臉採集全域影像是活體採集影像還是非活體採集影像； 　　所述根據人臉採集全域影像，訓練第一深度學習模型，具體可以包括：將人臉採集全域影像輸入第一深度學習模型，所述第一深度學習模型提取所述人臉採集全域影像的特徵，並根據提取的特徵，預測所述人臉採集全域影像是活體採集影像還是非活體採集影像；根據預測結果和所述人臉採集全域影像的所述第一標籤，對所述第一深度學習模型進行調整。一般地，當預測結果與第一標籤不符時，對第一深度學習模型進行調整，以使調整後的第一深度學習模型能夠重新預測得到與第一標籤相符的預測結果。 　　其中，第一深度學習模型在訓練過程中提取的特徵較佳地可以包括人臉採集全域影像的影像結構性特徵，比如，人臉採集全域影像中包含的屏幕照片邊緣、人臉畸變等特徵。 　　又例如，類似地，在監督式的訓練方式下，對於步驟S302，所述人臉區域部分影像具有第二標籤，所述第二標籤表明其對應的人臉區域部分影像是活體採集影像還是非活體採集影像； 　　所述根據從所述人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型，具體可以包括：獲取從所述人臉採集全域影像中裁剪的人臉區域部分影像；將所述獲取的人臉區域部分影像輸入第二深度學習模型，所述第二深度學習模型提取所述人臉區域部分影像的特徵，並根據提取的特徵，預測所述人臉區域部分影像是活體採集影像還是非活體採集影像；根據預測結果和所述人臉區域部分影像的所述第二標籤，對所述第二深度學習模型進行調整。一般地，當預測結果與第二標籤不符時，對第二深度學習模型進行調整，以使調整後的第二深度學習模型能夠重新預測得到與第二標籤相符的預測結果。 　　其中，第二深度學習模型在訓練過程中提取的特徵較佳地可以包括人臉區域部分影像的影像材質性特徵，比如，人臉區域部分影像中包含的模糊、紋理、顏色失真等特徵。 　　在上面的兩個例子中，第一深度學習模型與第二深度學習模型對不同的影像特徵具有不同的敏感性，第一深度學習模型對於影像結構性特徵更敏感，第二深度學習模型對於影像材質性特徵更敏感。對於人臉影像而言，影像結構性特徵是相對全域和概括的特徵，影像材質性特徵是相對局部和細化的特徵。 　　如此，聯合訓練後的第一深度學習模型和第二深度學習模型，可以對人臉影像進行更有層次和更豐富的特徵提取，進而也可以有利於聯合決策得到更準確的人臉活體檢測結果。 　　在本發明實施例中，透過使對應的訓練資料集不同和/或對應的深度學習網路結構不同，可能實現第一深度學習模型與第二深度學習模型對不同的影像特徵的不同的敏感性。 　　例如，若第一深度學習模型與第二深度學習模型基於卷積神經網路；第一深度學習模型所基於的卷積神經網路的卷積單元的卷積核可以較大，以便於第一深度學習模型提取人臉採集全域影像的影像結構性特徵；相對地，第二深度學習模型所基於的卷積神經網路的卷積單元的卷積核可以較小，以便於第二深度學習模型提取人臉區域部分影像的影像材質性特徵。因此，在該例的情況下，第一深度學習模型所基於的卷積神經網路的卷積單元的卷積核大於第二深度學習模型所基於的卷積神經網路的卷積單元的卷積核。 　　需要說明的是，卷積核大小僅是一種可影響所述敏感性的參數示例，其他的網路結構參數也可能影響所述敏感性。 　　在本發明實施例中，對於步驟S303，可以透過聯合訓練後的第一深度學習模型和第二深度學習模型進行決策，進行人臉活體檢測。決策的具體方式可以有多種：比如，分別用第一深度學習模型和第二深度學習模型進行單獨決策，再綜合各單獨決策結果以確定最終決策結果；再比如，可以先用第一深度學習模型和第二深度學習模型其中之一進行單獨決策，當單獨決策結果符合一定條件時，可以直接作為最終決策結果，否則，再結合剩下的另一模型綜合地進行決策，得到最終決策結果；等等。 　　若採用上一段中列舉的第一種方式，舉例如下： 　　例如，對於步驟S303，所述根據訓練後的所述第一深度學習模型和所述第二深度學習模型，進行人臉活體檢測，具體可以包括：獲取為進行人臉活體檢測採集的人臉採集全域影像(通常即為：用戶刷臉影像)；將所述採集的人臉採集全域影像輸入訓練後的所述第一深度學習模型進行處理，得到對應的第一預測資料；以及，獲取從所述採集的人臉採集全域影像中裁剪的人臉區域部分影像，並輸入訓練後的所述第二深度學習模型進行處理，得到對應的第二預測資料；透過根據所述第一預測資料和所述第二預測資料進行聯合決策，得到針對所述用戶刷臉影像的人臉活體檢測結果。 　　第一預測資料比如可以是上述的預測得分PA，第二預測資料比如可以是上述的預測得分PB。當然，預測得分只是第一預測資料、第二預測資料的一種表現形式示例，還可以有其他的表現形式，比如，機率值、布林型值等。 　　上面為本發明實施例提供的一種人臉活體檢測方法，基於同樣的發明思路，本發明實施例還提供了對應的裝置，如圖5所示。 　　圖5為本發明實施例提供的對應於圖3的一種人臉活體檢測裝置的結構示意圖，該裝置可以位於圖3中流程的執行主體上，包括： 　　訓練模組501，根據人臉採集全域影像，訓練第一深度學習模型；以及， 　　根據從所述人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型； 　　檢測模組502，根據訓練後的所述第一深度學習模型和所述第二深度學習模型，進行人臉活體檢測。 　　可選地，所述第一深度學習模型與所述第二深度學習模型採用不同的深度學習網路結構。 　　可選地，所述不同的深度學習網路結構的以下至少一種參數不同：隱變量層數、隱變量層類型、神經元節點數、卷積單元的卷積核大小。 　　可選地，所述人臉採集全域影像具有第一標籤，所述第一標籤表明其對應的人臉採集全域影像是活體採集影像還是非活體採集影像； 　　所述訓練模組501根據人臉採集全域影像，訓練第一深度學習模型，具體包括： 　　所述訓練模組501將人臉採集全域影像輸入第一深度學習模型，該第一深度學習模型根據所述人臉採集全域影像的影像結構性特徵，預測所述人臉採集全域影像是活體採集影像還是非活體採集影像； 　　根據預測結果和所述人臉採集全域影像的所述第一標籤，對所述第一深度學習模型進行調整。 　　可選地，所述人臉區域部分影像具有第二標籤，所述第二標籤表明其對應的人臉區域部分影像是活體採集影像還是非活體採集影像； 　　所述訓練模組501根據從所述人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型，具體包括： 　　所述訓練模組501獲取從所述人臉採集全域影像中裁剪的人臉區域部分影像；將所述獲取的人臉區域部分影像輸入第二深度學習模型，該第二深度學習模型根據所述人臉區域部分影像的影像材質性特徵，預測所述人臉區域部分影像是活體採集影像還是非活體採集影像； 　　根據預測結果和所述人臉區域部分影像的所述第二標籤，對所述第二深度學習模型進行調整。 　　可選地，所述第一深度學習模型與所述第二深度學習模型基於卷積神經網路； 　　所述第一深度學習模型所基於的卷積神經網路的卷積單元的卷積核大於所述第二深度學習模型所基於的卷積神經網路的卷積單元的卷積核，以便於所述第一深度學習模型提取所述人臉採集全域影像的影像結構性特徵，以及以便於所述第二深度學習模型提取所述人臉區域部分影像的影像材質性特徵。 　　可選地，所述檢測模組502根據訓練後的所述第一深度學習模型和所述第二深度學習模型，進行人臉活體檢測，具體包括： 　　所述檢測模組502獲取為進行人臉活體檢測採集的人臉採集全域影像； 　　將所述採集的人臉採集全域影像輸入訓練後的所述第一深度學習模型進行處理，得到對應的第一預測資料；以及， 　　獲取從所述採集的人臉採集全域影像中裁剪到人臉區域部分影像，並輸入訓練後的所述第二深度學習模型進行處理，得到對應的第二預測資料； 　　透過根據所述第一預測資料和所述第二預測資料進行聯合決策，確定針對所述用戶刷臉影像的人臉活體檢測結果。 　　基於同樣的發明思路，本發明實施例還提供了對應的一種電子設備，包括： 　　至少一個處理器；以及， 　　與所述至少一個處理器通訊連接的記憶體；其中， 　　所述記憶體儲存有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠： 　　根據人臉採集全域影像，訓練第一深度學習模型；以及， 　　根據從所述人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型； 　　根據訓練後的所述第一深度學習模型和所述第二深度學習模型，進行人臉活體檢測。 　　基於同樣的發明思路，本發明實施例還提供了對應的一種非易失性電腦儲存媒體，儲存有電腦可執行指令，所述電腦可執行指令設置為： 　　根據人臉採集全域影像，訓練第一深度學習模型；以及， 　　根據從所述人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型； 　　根據訓練後的所述第一深度學習模型和所述第二深度學習模型，進行人臉活體檢測。 　　本說明書中的各個實施例均採用遞進的方式來描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於裝置、電子設備、非易失性電腦儲存媒體實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。 　　本發明實施例提供的裝置、電子設備、非易失性電腦儲存媒體與方法是對應的，因此，裝置、電子設備、非易失性電腦儲存媒體也具有與對應方法類似的有益技術效果，由於上面已經對方法的有益技術效果進行了詳細說明，因此，這裡不再贅述對應裝置、電子設備、非易失性電腦儲存媒體的有益技術效果。 　　在20世紀90年代，對於一個技術的改進可以很明顯地區分是硬體上的改進(例如，對二極體、電晶體、開關等電路結構的改進)還是軟體上的改進(對於方法流程的改進)。然而，隨著技術的發展，當今的很多方法流程的改進已經可以視為硬體電路結構的直接改進。設計人員幾乎都透過將改進的方法流程編程到硬體電路中來得到相應的硬體電路結構。因此，不能說一個方法流程的改進就不能用硬體實體模組來實現。例如，可編程邏輯裝置(Programmable Logic Device, PLD)(例如現場可編程閘陣列(Field Programmable Gate Array，FPGA))就是這樣一種積體電路，其邏輯功能由用戶對裝置編程來確定。由設計人員自行編程來把一個數位系統“整合”在一片PLD上，而不需要請晶片製造廠商來設計和製作專用的積體電路晶片。而且，如今，取代手工地製作積體電路晶片，這種編程也多半改用“邏輯編譯器(logic compiler)”軟體來實現，它與程式開發撰寫時所用的軟體編譯器相類似，而要編譯之前的原始代碼也得用特定的程式語言來撰寫，此稱之為硬體描述語言(Hardware Description Language，HDL)，而HDL也並非僅有一種，而是有許多種，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)與Verilog。本領域技術人員也應該清楚，只需要將方法流程用上述幾種硬體描述語言稍作邏輯編程並編程到積體電路中，就可以很容易得到實現該邏輯方法流程的硬體電路。 　　控制器可以按任何適當的方式實現，例如，控制器可以採取例如微處理器或處理器以及儲存可由該(微)處理器執行的電腦可讀程式代碼(例如軟體或韌體)的電腦可讀媒體、邏輯閘、開關、專用積體電路(Application Specific Integrated Circuit，ASIC)、可編程邏輯控制器和嵌入式微控制器的形式，控制器的例子包括但不限於以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，記憶體控制器還可以被實現為記憶體的控制邏輯的一部分。本領域技術人員也知道，除了以純電腦可讀程式代碼方式實現控制器以外，完全可以透過將方法步驟進行邏輯編程來使得控制器以邏輯閘、開關、專用積體電路、可編程邏輯控制器和嵌入式微控制器等的形式來實現相同功能。因此這種控制器可以被認為是一種硬體部件，而對其內包括的用於實現各種功能的裝置也可以視為硬體部件內的結構。或者甚至，可以將用於實現各種功能的裝置視為既可以是實現方法的軟體模組又可以是硬體部件內的結構。 　　上述實施例闡明的系統、裝置、模組或單元，具體可以由電腦晶片或實體來實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦。具體地，電腦例如可以為個人電腦、膝上型電腦、蜂窩電話、相機電話、智慧型電話、個人數位助理、媒體播放器、導航設備、電子郵件設備、遊戲控制台、平板電腦、穿戴式設備或者這些設備中的任何設備的組合。 　　為了描述的方便，描述以上裝置時以功能分為各種單元分別描述。當然，在實施本發明時可以把各單元的功能在同一個或多個軟體和/或硬體中實現。 　　本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式代碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。 　　本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可編程資料處理設備的處理器以產生一個機器，使得透過電腦或其他可編程資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。 　　這些電腦程式指令也可被儲存在能引導電腦或其他可編程資料處理設備以特定方式操作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。 　　這些電腦程式指令也可被裝載到電腦或其他可編程資料處理設備上，使得在電腦或其他可編程設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可編程設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。 　　在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和內部記憶體。 　　內部記憶體可能包括電腦可讀媒體中的非永久性記憶體，隨機存取記憶體(RAM)和/或非易失性內部記憶體等形式，如唯讀記憶體(ROM)或閃存(flash RAM)。內部記憶體是電腦可讀媒體的示例。 　　電腦可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括，但不限於相變內部記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可編程唯讀記憶體(EEPROM)、快閃記憶體或其他內部記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被計算設備訪問的資訊。按照本文中的界定，電腦可讀媒體不包括暫態性電腦可讀媒體(transitory media)，如調變的資料信號和載波。 　　還需要說明的是，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。 　　本發明可以在由電腦執行的電腦可執行指令的一般上下文中描述，例如程式模組。一般地，程式模組包括執行特定任務或實現特定抽象資料類型的例程、程式、對象、組件、資料結構等等。也可以在分散式計算環境中實踐本發明，在這些分散式計算環境中，由透過通訊網路而被連接的遠程處理設備來執行任務。在分散式計算環境中，程式模組可以位於包括儲存設備在內的本地和遠程電腦儲存媒體中。 　　本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於系統實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。 　　以上所述僅為本發明的實施例而已，並不用於限制本發明。對於本領域技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原理之內所作的任何修改、等同替換、改進等，均應包含在本發明的申請專利範圍之內。
S301、S302、S303‧‧‧方法步驟501‧‧‧訓練模組502‧‧‧檢測模組
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。 　　圖1為本發明的方案中包含的模型訓練階段的示例性流程示意圖； 　　圖2為本發明的方案中包含活體檢測階段的示例性流程示意圖； 　　圖3為本發明實施例提供的一種人臉活體檢測方法的流程示意圖； 　　圖4為本發明實施例提供一種人臉採集全域影像和人臉區域部分影像的對比示意圖； 　　圖5為本發明實施例提供的對應於圖3的一種人臉活體檢測裝置的結構示意圖。

Claims (15)

  1. 一種人臉活體檢測方法，包括：根據人臉採集全域影像，藉由對多個全域影像進行監督式的訓練來訓練第一深度學習模型，其中，該全域影像包括藉由拍攝活體人臉所採集並標記為正樣本的活體人臉影像，以及藉由拍攝人臉圖片或人臉模型的非活體人臉影像所採集並標記為負樣本的非活體人臉影像，該人臉採集全域影像包括人臉區域和背景區域，該第一深度學習模型是分類模型，提取該人臉採集全域影像的結構性特徵，並將人臉採集全域影像分類至活體採集影像類別或者非活體採集影像類別，其中，該結構性特徵包括至少以下任一種：屏幕照片邊緣以及人臉畸變；根據從該人臉採集全域影像中裁剪的人臉區域部分影像，藉由對多個裁剪的人臉區域部分影像進行監督式的訓練來訓練第二深度學習模型，其中，該第二深度學習模型包括分別與該人臉區域的鼻部對應的鼻部深度學習模型和與眼部對應的眼部深度學習模型，該人臉區域部分影像包括人臉區域但不包括背景區域，該第二深度學習模型是分類模型，提取該人臉區域部分影像的影像材質性特徵，並將該人臉區域部分影像分類至活體採集影像類別或者非活體採集影像類別，其中，該影像材質性特徵包括至少以下任一種：模糊、絞理及顏色失真；以及根據訓練後的該第一深度學習模型對第一全域影像進 行人臉活體檢測以獲得第一預測得分，以及使用多個訓練後的該第二深度學習模型獲取第二預測得分，包括：獲取採集的第一全域影像用於人臉活體檢測；將該第一全域影像輸入訓練後的該第一深度學習模型中進行處理以獲得該第一預測得分；獲取從該第一全域影像裁剪的多個提取的人臉影像，該提取的人臉影像包括眼部影像區域影像和鼻部影像區域影像，並將該提取的人臉影像輸入到訓練後的包括該眼部深度學習模型和該鼻部深度學習模型的該第二深度學習模型中進行處理，以獲得第二預測得分；基於該第一預測得分和該第二預測得分，產生預測得分結果；以及比較該預測得分結果與閾值，以確定該第一全域影像是活體影像還是非活體影像。
  2. 如申請專利範圍第1項所述的方法，該第一深度學習模型與該第二深度學習模型採用不同的深度學習網路結構。
  3. 如申請專利範圍第2項所述的方法，該不同的深度學習網路結構的以下至少一種參數不同：隱變量層數、隱變量層類型、神經元節點數、卷積單元的卷積核大小。
  4. 如申請專利範圍第1項所述的方法，該人臉採集全域影像具有第一標籤，該第一標籤表明其對應的人臉採集全域影像是活體採集影像還是非活體採集影像；該根據人臉採集全域影像，訓練第一深度學習模型，具體包括：將人臉採集全域影像輸入第一深度學習模型，該第一深度學習模型根據該人臉採集全域影像的影像結構性特徵，預測該人臉採集全域影像是活體採集影像還是非活體採集影像；以及根據預測結果和該人臉採集全域影像的該第一標籤，對該第一深度學習模型進行調整。
  5. 如申請專利範圍第1項所述的方法，該人臉區域部分影像具有第二標籤，該第二標籤表明其對應的人臉區域部分影像是活體採集影像還是非活體採集影像；該根據從該人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型，具體包括：獲取從該人臉採集全域影像中裁剪的人臉區域部分影像；將該獲取的人臉區域部分影像輸入第二深度學習模型，該第二深度學習模型根據該人臉區域部分影像的影像材質性特徵，預測該人臉區域部分影像是活體採集影像還是非活體採集影像；以及根據預測結果和該人臉區域部分影像的該第二標籤， 對該第二深度學習模型進行調整。
  6. 如申請專利範圍第1項所述的方法，該第一深度學習模型與該第二深度學習模型基於卷積神經網路；以及該第一深度學習模型所基於的卷積神經網路的卷積單元的卷積核大於該第二深度學習模型所基於的卷積神經網路的卷積單元的卷積核。
  7. 如申請專利範圍第1項所述的方法，該根據訓練後的該第一深度學習模型和該第二深度學習模型，進行人臉活體檢測，具體包括：獲取為進行人臉活體檢測採集的人臉採集全域影像；將該採集的人臉採集全域影像輸入訓練後的該第一深度學習模型進行處理，得到對應的第一預測資料；獲取從該採集的人臉採集全域影像中裁剪的人臉區域部分影像，並輸入訓練後的該第二深度學習模型進行處理，得到對應的第二預測資料；以及透過根據該第一預測資料和該第二預測資料進行聯合決策，得到針對該用戶刷臉影像的人臉活體檢測結果。
  8. 一種人臉活體檢測裝置，包括：訓練模組，根據人臉採集全域影像，藉由對多個全域影像進行監督式的訓練訓練第一深度學習模型，以及，根據從該人臉採集全域影像中裁剪的人臉區域部分影像，藉 由對多個裁剪的人臉區域部分影像進行監督式的訓練來訓練第二深度學習模型；以及檢測模組，根據訓練後的該第一深度學習模型對第一全域影像進行人臉活體檢測，以獲得第一預測得分，以及使用多個訓練後的該第二深度學習模型獲取第二預測得分，包括：獲取採集的第一全域影像用於人臉活體檢測；將該第一全域影像輸入訓練後的該第一深度學習模型中進行處理以獲得該第一預測得分；獲取從該第一全域影像裁剪的多個提取的人臉影像，該提取的人臉影像包括眼部影像區域影像和鼻部影像區域影像，並將該提取的人臉影像輸入到訓練後的包括該眼部深度學習模型和該鼻部深度學習模型的該第二深度學習模型中進行處理，以獲得第二預測得分；基於該第一預測得分和該第二預測得分，產生預測得分結果；以及比較該預測得分結果與閾值，以確定該第一全域影像是活體影像還是非活體影像，其中，該全域影像包括藉由拍攝活體人臉所採集並標記為正樣本的活體人臉影像，以及藉由拍攝人臉圖片或人臉模型的非活體人臉影像所採集並標記為負樣本的非活體人臉影像，該人臉採集全域影像包括人臉區域和背景區域，該第一深度學習模型是分類模型，提取該人臉採集全 域影像的結構性特徵，並將人臉採集全域影像分類至活體採集影像類別或者非活體採集影像類別，且其中，該第二深度學習模型包括分別與該人臉區域的鼻部對應的鼻部深度學習模型和與眼部對應的眼部深度學習模型，該人臉區域部分影像包括人臉區域但不包括背景區域，該第二深度學習模型是分類模型，提取該人臉區域部分影像的影像材質性特徵，並將該人臉區域部分影像分類至活體採集影像類別或者非活體採集影像類別，且其中，該結構性特徵包括至少以下任一種：屏幕照片邊緣以及人臉畸變，且該影像材質性特徵包括至少以下任一種：模糊、絞理及顏色失真。
  9. 如申請專利範圍第8項所述的裝置，該第一深度學習模型與該第二深度學習模型採用不同的深度學習網路結構。
  10. 如申請專利範圍第9項所述的裝置，該不同的深度學習網路結構的以下至少一種參數不同：隱變量層數、隱變量層類型、神經元節點數、卷積單元的卷積核大小。
  11. 如申請專利範圍第8項所述的裝置，該人臉採集全域影像具有第一標籤，該第一標籤表明其對應的人臉採集全域影像是活體採集影像還是非活體採集影像；該訓練模組根據人臉採集全域影像，訓練第一深度學 習模型，具體包括：該訓練模組將人臉採集全域影像輸入第一深度學習模型，該第一深度學習模型根據該人臉採集全域影像的影像結構性特徵，預測該人臉採集全域影像是活體採集影像還是非活體採集影像；以及根據預測結果和該人臉採集全域影像的該第一標籤，對該第一深度學習模型進行調整。
  12. 如申請專利範圍第8項所述的裝置，該人臉區域部分影像具有第二標籤，該第二標籤表明其對應的人臉區域部分影像是活體採集影像還是非活體採集影像；該訓練模組根據從該人臉採集全域影像中裁剪的人臉區域部分影像，訓練第二深度學習模型，具體包括：該訓練模組獲取從該人臉採集全域影像中裁剪的人臉區域部分影像；將該獲取的人臉區域部分影像輸入第二深度學習模型，該第二深度學習模型根據該人臉區域部分影像的影像材質性特徵，預測該人臉區域部分影像是活體採集影像還是非活體採集影像；以及根據預測結果和該人臉區域部分影像的該第二標籤，對該第二深度學習模型進行調整。
  13. 如申請專利範圍第8項所述的裝置，該第一深度學習模型與該第二深度學習模型係基於卷積神經網路；以及 該第一深度學習模型所基於的卷積神經網路的卷積單元的卷積核大於該第二深度學習模型所基於的卷積神經網路的卷積單元的卷積核。
  14. 如申請專利範圍第8項所述的裝置，該檢測模組根據訓練後的該第一深度學習模型和該第二深度學習模型，進行人臉活體檢測，具體包括：該檢測模組獲取為進行人臉活體檢測採集的人臉採集全域影像；將該採集的人臉採集全域影像輸入訓練後的該第一深度學習模型進行處理，得到對應的第一預測資料；獲取從該採集的人臉採集全域影像中裁剪到人臉區域部分影像，並輸入訓練後的該第二深度學習模型進行處理，得到對應的第二預測資料；以及透過根據該第一預測資料和該第二預測資料進行聯合決策，得到針對該用戶刷臉影像的人臉活體檢測結果。
  15. 一種電子設備，包括：至少一個處理器；以及，與該至少一個處理器通訊連接的記憶體，其中，該記憶體儲存有可被該至少一個處理器執行的指令，該指令被該至少一個處理器執行，以使該至少一個處理器能夠：根據人臉採集全域影像，藉由對多個全域影像進行監 督式的訓練來訓練第一深度學習模型，其中，該全域影像包括藉由拍攝活體人臉所採集並標記為正樣本的活體人臉影像，以及藉由拍攝人臉圖片或人臉模型的非活體人臉影像所採集並標記為負樣本的非活體人臉影像，該人臉採集全域影像包括人臉區域和背景區域，該第一深度學習模型是分類模型，提取該人臉採集全域影像的結構性特徵，並將人臉採集全域影像分類至活體採集影像類別或者非活體採集影像類別，其中，該結構性特徵包括至少以下任一種：屏幕照片邊緣以及人臉畸變；根據從該人臉採集全域影像中裁剪的人臉區域部分影像，藉由對多個裁剪的人臉區域部分影像進行監督式的訓練來訓練第二深度學習模型，其中，該第二深度學習模型包括分別與該人臉區域的鼻部對應的鼻部深度學習模型和與眼部對應的眼部深度學習模型，該人臉區域部分影像包括人臉區域但不包括背景區域，該第二深度學習模型是分類模型，提取該人臉區域部分影像的影像材質性特徵，並將該人臉區域部分影像分類至活體採集影像類別或者非活體採集影像類別，其中，該影像材質性特徵包括至少以下任一種：模糊、絞理及顏色失真；以及根據訓練後的該第一深度學習模型對第一全域影像進行人臉活體檢測以獲得第一預測得分，以及使用多個訓練後的該第二深度學習模型獲取第二預測得分，包括：獲取採集的第一全域影像用於人臉活體檢測；將該第一全域影像輸入訓練後的該第一深度學習 模型中進行處理以獲得該第一預測得分；獲取從該第一全域影像裁剪的多個提取的人臉影像，該提取的人臉影像包括眼部影像區域影像和鼻部影像區域影像，並將該提取的人臉影像輸入到訓練後的包括該眼部深度學習模型和該鼻部深度學習模型的該第二深度學習模型中進行處理，以獲得第二預測得分；基於該第一預測得分和該第二預測得分，產生預測得分結果；以及比較該預測得分結果與閾值，以確定該第一全域影像是活體影像還是非活體影像。
TW107107233A 2017-06-07 2018-03-05 人臉活體檢測方法、裝置以及電子設備 TWI714834B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710421333.5 2017-06-07
CN201710421333.5A CN107358157B (zh) 2017-06-07 2017-06-07 一种人脸活体检测方法、装置以及电子设备
??201710421333.5 2017-06-07

Publications (2)

Publication Number Publication Date
TW201903652A TW201903652A (zh) 2019-01-16
TWI714834B true TWI714834B (zh) 2021-01-01

Family

ID=60272274

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107107233A TWI714834B (zh) 2017-06-07 2018-03-05 人臉活體檢測方法、裝置以及電子設備

Country Status (18)

Country Link
US (1) US10671870B2 (zh)
EP (2) EP3872699B1 (zh)
JP (1) JP6732317B2 (zh)
KR (1) KR102142232B1 (zh)
CN (2) CN107358157B (zh)
AU (2) AU2018280235B2 (zh)
BR (1) BR112019009219A2 (zh)
CA (1) CA3043230C (zh)
ES (1) ES2878374T3 (zh)
MX (1) MX2019005352A (zh)
MY (1) MY196557A (zh)
PH (1) PH12019501009A1 (zh)
PL (1) PL3523754T3 (zh)
RU (1) RU2714096C1 (zh)
SG (1) SG10202005728SA (zh)
TW (1) TWI714834B (zh)
WO (1) WO2018226990A1 (zh)
ZA (1) ZA201902833B (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860837B2 (en) * 2015-07-20 2020-12-08 University Of Maryland, College Park Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
CN107358157B (zh) * 2017-06-07 2020-10-02 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
US10375050B2 (en) 2017-10-10 2019-08-06 Truepic Inc. Methods for authenticating photographic image data
US10516830B2 (en) * 2017-10-11 2019-12-24 Adobe Inc. Guided image composition on mobile devices
US10497122B2 (en) 2017-10-11 2019-12-03 Adobe Inc. Image crop suggestion and evaluation using deep-learning
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置
CN108280418A (zh) * 2017-12-12 2018-07-13 北京深醒科技有限公司 脸部图像的欺骗识别方法及装置
KR102455633B1 (ko) 2017-12-21 2022-10-17 삼성전자주식회사 라이브니스 검사 방법 및 장치
CN108205708A (zh) * 2018-01-02 2018-06-26 安徽大学 一种新型可扩展的深度学习系统及数据识别方法
CN110298212B (zh) * 2018-03-21 2023-04-07 腾讯科技（深圳）有限公司 模型训练方法、情绪识别方法、表情显示方法及相关设备
US11030486B2 (en) 2018-04-20 2021-06-08 XNOR.ai, Inc. Image classification through label progression
CN108805024B (zh) * 2018-04-28 2020-11-24 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110502961B (zh) * 2018-05-16 2022-10-21 腾讯科技（深圳）有限公司 一种面部图像检测方法及装置
CN110728147B (zh) * 2018-06-28 2023-04-28 阿里巴巴集团控股有限公司 一种模型训练方法及命名实体识别方法
US11741568B2 (en) 2018-06-29 2023-08-29 Baidu Usa Llc Systems and methods for low-power, real-time object detection
CN108985228A (zh) * 2018-07-16 2018-12-11 百度在线网络技术（北京）有限公司 应用于终端设备的信息生成方法和装置
CN109034059B (zh) * 2018-07-25 2023-06-06 深圳市中悦科技有限公司 静默式人脸活体检测方法、装置、存储介质及处理器
US10699150B2 (en) * 2018-10-23 2020-06-30 Polarr, Inc. Machine guided photo and video composition
CN109460733A (zh) * 2018-11-08 2019-03-12 北京智慧眼科技股份有限公司 基于单摄像头的人脸识别活体检测方法及系统、存储介质
CN109657557A (zh) * 2018-11-22 2019-04-19 珠海研果科技有限公司 一种基于深度学习的球面图像人脸检测方法及系统
CN109784148A (zh) * 2018-12-06 2019-05-21 北京飞搜科技有限公司 活体检测方法及装置
CN109800648B (zh) * 2018-12-18 2021-09-28 北京英索科技发展有限公司 基于人脸关键点校正的人脸检测识别方法及装置
CN111382612A (zh) * 2018-12-28 2020-07-07 北京市商汤科技开发有限公司 动物面部检测方法及装置
CN109753938B (zh) * 2019-01-10 2021-11-05 京东方科技集团股份有限公司 图像识别方法和设备及应用、神经网络的训练方法
US11403884B2 (en) * 2019-01-16 2022-08-02 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing face ID sensing
CN109961006A (zh) * 2019-01-30 2019-07-02 东华大学 一种低像素多目标人脸检测和关键点定位方法以及对齐方法
CN111507131B (zh) * 2019-01-31 2023-09-19 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN111723626B (zh) * 2019-03-22 2024-05-07 北京地平线机器人技术研发有限公司 用于活体检测的方法、装置和电子设备
CN111767760A (zh) * 2019-04-01 2020-10-13 北京市商汤科技开发有限公司 活体检测方法和装置、电子设备及存储介质
CN110348385B (zh) * 2019-07-12 2023-07-07 深圳小阳软件有限公司 活体人脸识别方法和装置
EP4022474A2 (en) 2019-08-29 2022-07-06 PXL Vision AG Id verification with a mobile device
CN110569826B (zh) * 2019-09-18 2022-05-24 深圳市捷顺科技实业股份有限公司 一种人脸识别方法、装置、设备及介质
CN110728215A (zh) * 2019-09-26 2020-01-24 杭州艾芯智能科技有限公司 基于红外图像的人脸活体检测方法、装置
CN110838109A (zh) * 2019-11-04 2020-02-25 上海眼控科技股份有限公司 一种三角架识别方法、装置、移动终端及存储介质
CN113642466B (zh) * 2019-11-27 2022-11-01 马上消费金融股份有限公司 活体检测和模型训练方法、设备及介质
CN110942033B (zh) * 2019-11-28 2023-05-26 重庆中星微人工智能芯片技术有限公司 用于推送信息的方法、装置、电子设备和计算机介质
CN111062019A (zh) * 2019-12-13 2020-04-24 支付宝(杭州)信息技术有限公司 用户攻击检测方法、装置、电子设备
KR102307671B1 (ko) * 2020-01-02 2021-10-01 주식회사 블루프린트랩 얼굴 인증을 수행하기 위한 방법
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111241989B (zh) * 2020-01-08 2023-06-13 腾讯科技（深圳）有限公司 图像识别方法及装置、电子设备
CN111274879B (zh) * 2020-01-10 2023-04-25 北京百度网讯科技有限公司 检测活体检验模型可靠性的方法以及装置
US11037284B1 (en) * 2020-01-14 2021-06-15 Truepic Inc. Systems and methods for detecting image recapture
US11670069B2 (en) 2020-02-06 2023-06-06 ID R&D, Inc. System and method for face spoofing attack detection
CN111291685B (zh) * 2020-02-10 2023-06-02 支付宝实验室(新加坡)有限公司 人脸检测模型的训练方法及装置
CN111339933A (zh) * 2020-02-25 2020-06-26 北京国网富达科技发展有限责任公司 基于深度学习的变电站安全监控方法及装置
CN113496442A (zh) * 2020-03-19 2021-10-12 荷盛崧钜智财顾问股份有限公司 图表征产生系统,图表征产生方法与其图表征智能模块
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
CN111768286B (zh) * 2020-05-14 2024-02-20 北京旷视科技有限公司 风险预测方法、装置、设备及存储介质
CN111340014B (zh) * 2020-05-22 2020-11-17 支付宝(杭州)信息技术有限公司 活体检测方法、装置、设备和存储介质
CN111814574B (zh) * 2020-06-12 2023-09-15 浙江大学 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质
US11694480B2 (en) * 2020-07-27 2023-07-04 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
CN112085701A (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
US11947626B2 (en) * 2020-11-10 2024-04-02 Nec Corporation Face recognition from unseen domains via learning of semantic features
CN112580454B (zh) * 2020-12-08 2024-03-26 上海明略人工智能(集团)有限公司 基于图片材质分割标记的人脸防伪方法及系统
CN112257685A (zh) * 2020-12-08 2021-01-22 成都新希望金融信息有限公司 人脸翻拍识别方法、装置、电子设备及存储介质
CN112434647A (zh) * 2020-12-09 2021-03-02 浙江光珀智能科技有限公司 一种人脸活体检测方法
CN112597885A (zh) * 2020-12-22 2021-04-02 北京华捷艾米科技有限公司 人脸活体检测方法、装置、电子设备及计算机存储介质
CN112613471B (zh) * 2020-12-31 2023-08-01 中移（杭州）信息技术有限公司 人脸活体检测方法、装置及计算机可读存储介质
CN112926559B (zh) * 2021-05-12 2021-07-30 支付宝(杭州)信息技术有限公司 人脸图像处理方法及装置
RU2758966C1 (ru) * 2021-05-13 2021-11-03 Общество с ограниченной ответственностью "ВижнЛабс" Способ определения подлинности лица по маскам сегментации
CN113657154A (zh) * 2021-07-08 2021-11-16 浙江大华技术股份有限公司 活体检测方法、装置、电子装置和存储介质
CN113361487A (zh) * 2021-07-09 2021-09-07 无锡时代天使医疗器械科技有限公司 异物检测方法、装置、设备及计算机可读存储介质
CN113483851B (zh) * 2021-07-13 2023-05-16 天津万峰环保科技有限公司 路面积水监测设备和方法
CN113610071B (zh) * 2021-10-11 2021-12-24 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN114140851B (zh) * 2021-12-01 2023-08-11 北京百度网讯科技有限公司 图像检测方法和用于训练图像检测模型的方法
KR20240041716A (ko) * 2022-09-23 2024-04-01 삼성전자주식회사 모바일 장치 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201403547A (zh) * 2012-06-29 2014-01-16 Secom Co Ltd 對象檢出裝置、對象檢出方法及對象檢出用電腦程式
TW201629851A (zh) * 2015-01-12 2016-08-16 芋頭科技(杭州)有限公司 一種影像識別系統及方法
CN106599772A (zh) * 2016-10-31 2017-04-26 北京旷视科技有限公司 活体验证方法和装置及身份认证方法和装置
CN106778525A (zh) * 2016-11-25 2017-05-31 北京旷视科技有限公司 身份认证方法和装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6959109B2 (en) * 2002-06-20 2005-10-25 Identix Incorporated System and method for pose-angle estimation
US20080260212A1 (en) * 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity
CN100514353C (zh) 2007-11-26 2009-07-15 清华大学 一种基于人脸生理性运动的活体检测方法及系统
JP2010035048A (ja) 2008-07-30 2010-02-12 Fujifilm Corp 撮像装置及び撮像方法
US8675926B2 (en) 2010-06-08 2014-03-18 Microsoft Corporation Distinguishing live faces from flat surfaces
US8437513B1 (en) * 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
CN104166835A (zh) 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
CN103440479B (zh) 2013-08-29 2016-12-28 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
KR102257897B1 (ko) 2014-05-09 2021-05-28 삼성전자주식회사 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
US9396537B2 (en) * 2014-09-09 2016-07-19 EyeVerify, Inc. Systems and methods for liveness analysis
CN105117695B (zh) 2015-08-18 2017-11-24 北京旷视科技有限公司 活体检测设备和活体检测方法
CN105740779B (zh) * 2016-01-25 2020-11-13 北京眼神智能科技有限公司 人脸活体检测的方法和装置
CN105740780B (zh) * 2016-01-25 2020-07-28 北京眼神智能科技有限公司 人脸活体检测的方法和装置
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
CN106203373B (zh) * 2016-07-19 2019-04-16 中山大学 一种基于深度视觉词袋模型的人脸活体检测方法
US10289822B2 (en) * 2016-07-22 2019-05-14 Nec Corporation Liveness detection for antispoof face recognition
US11003988B2 (en) * 2016-11-23 2021-05-11 General Electric Company Hardware system design improvement using deep learning algorithms
CN106709458A (zh) * 2016-12-27 2017-05-24 深圳市捷顺科技实业股份有限公司 一种人脸活体检测方法及装置
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
KR102387571B1 (ko) * 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치
CN107358157B (zh) * 2017-06-07 2020-10-02 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
CN107480725A (zh) * 2017-08-23 2017-12-15 京东方科技集团股份有限公司 基于深度学习的图像识别方法、装置和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201403547A (zh) * 2012-06-29 2014-01-16 Secom Co Ltd 對象檢出裝置、對象檢出方法及對象檢出用電腦程式
TW201629851A (zh) * 2015-01-12 2016-08-16 芋頭科技(杭州)有限公司 一種影像識別系統及方法
CN106599772A (zh) * 2016-10-31 2017-04-26 北京旷视科技有限公司 活体验证方法和装置及身份认证方法和装置
CN106778525A (zh) * 2016-11-25 2017-05-31 北京旷视科技有限公司 身份认证方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
David Menotti等7人，" Deep Representations for Iris, Face, and Fingerprint Spoofing Attack Detection"，2014/10，https://www.researchgate.net/publication/266676858_Deep_Representations_for_Iris_Face_and_Fingerprint_Spoofing_Attack_Detection/download
Jianwei Yang等3人，" Learn Convolutional Neural Network for Face Anti-Spoofing"，2014/8/26，https://www.researchgate.net/publication/265089659_Learn_Convolutional_Neural_Network_for_Face_Anti-Spoofing/download
Jianwei Yang等3人，" Learn Convolutional Neural Network for Face Anti-Spoofing"，2014/8/26，https://www.researchgate.net/publication/265089659_Learn_Convolutional_Neural_Network_for_Face_Anti-Spoofing/download David Menotti等7人，" Deep Representations for Iris, Face, and Fingerprint Spoofing Attack Detection"，2014/10，https://www.researchgate.net/publication/266676858_Deep_Representations_for_Iris_Face_and_Fingerprint_Spoofing_Attack_Detection/download *

Also Published As

Publication number Publication date
JP2020504360A (ja) 2020-02-06
KR20190072563A (ko) 2019-06-25
CN107358157A (zh) 2017-11-17
CA3043230C (en) 2020-06-23
CN113095124A (zh) 2021-07-09
ZA201902833B (en) 2021-08-25
US10671870B2 (en) 2020-06-02
AU2018280235A1 (en) 2019-05-23
TW201903652A (zh) 2019-01-16
EP3872699A1 (en) 2021-09-01
BR112019009219A2 (pt) 2019-08-13
CN113095124B (zh) 2024-02-06
MX2019005352A (es) 2019-08-05
EP3523754B1 (en) 2021-04-14
PL3523754T3 (pl) 2021-10-04
EP3872699B1 (en) 2023-11-15
MY196557A (en) 2023-04-19
AU2020201662B2 (en) 2020-04-16
PH12019501009A1 (en) 2019-12-02
CN107358157B (zh) 2020-10-02
ES2878374T3 (es) 2021-11-18
RU2714096C1 (ru) 2020-02-11
AU2020201662A1 (en) 2020-03-26
SG10202005728SA (en) 2020-07-29
JP6732317B2 (ja) 2020-07-29
US20180357501A1 (en) 2018-12-13
AU2018280235B2 (en) 2020-01-23
KR102142232B1 (ko) 2020-08-07
WO2018226990A1 (en) 2018-12-13
CA3043230A1 (en) 2018-12-13
EP3523754A1 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
TWI714834B (zh) 人臉活體檢測方法、裝置以及電子設備
CN112800997B (zh) 一种活体检测方法、装置及设备
TWI753271B (zh) 資源轉移方法、裝置及系統
CN106874826A (zh) 人脸关键点跟踪方法和装置
Loke et al. Indian sign language converter system using an android app
CN106169075A (zh) 身份验证方法及装置
WO2023284182A1 (en) Training method for recognizing moving target, method and device for recognizing moving target
WO2021135639A1 (zh) 活体检测方法及装置
CN111753583A (zh) 一种识别方法及装置
CN111597966B (zh) 一种表情图像识别方法、装置及系统
Krishnakumari et al. Automatic Facial Expression Recognition Employing CNN-Inception and the ResNet 50
CN113196279A (zh) 一种面部属性的识别方法及电子设备
Singla et al. Age and gender detection using Deep Learning
CN115311723A (zh) 活体检测方法、装置及计算机可读存储介质
Charan et al. Facial Detection and Anonymization for Privacy Protection from Social Networking Sites (SNS)
OA19067A (en) Face liveness detection method and apparatus, and electronic device.
Zamir et al. Detection and Recognition from Images and Videos Based On CNN and Raspberry Pi. Computation 2022, 10, 148
CN117576790A (zh) 一种生物攻击检测方法、装置及设备
Sarkar Partial Face Detection and Illumination Estimation
Wei et al. Multiple granularity fused mobile forensics algorithm
CN117576245A (zh) 一种图像的风格转换方法、装置、电子设备及存储介质
CN116740826A (zh) 一种生物检测中的风险确定方法、装置及设备
CN115331315A (zh) 活体检测方法和活体检测装置
CN113642356A (zh) 一种眼皮运动分析方法及系统
Xu et al. Learning a Saliency Map for Fixation Prediction