TWI766201B - 活體檢測方法、裝置以及儲存介質 - Google Patents

活體檢測方法、裝置以及儲存介質 Download PDF

Info

Publication number
TWI766201B
TWI766201B TW108139802A TW108139802A TWI766201B TW I766201 B TWI766201 B TW I766201B TW 108139802 A TW108139802 A TW 108139802A TW 108139802 A TW108139802 A TW 108139802A TW I766201 B TWI766201 B TW I766201B
Authority
TW
Taiwan
Prior art keywords
image
target area
living body
feature data
body detection
Prior art date
Application number
TW108139802A
Other languages
English (en)
Other versions
TW202026948A (zh
Inventor
張瑞
楊武魁
楊凱
梁明陽
郭曉陽
吳立威
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202026948A publication Critical patent/TW202026948A/zh
Application granted granted Critical
Publication of TWI766201B publication Critical patent/TWI766201B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)

Abstract

本公開實施例公開了一種活體檢測方法、裝置和電腦可讀儲存介質，該方法包括：獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像；對所述第一圖像和所述第二圖像進行雙目匹配處理，得到所述第一圖像和所述第二圖像的視差資訊；根據所述視差資訊，得到活體檢測結果。

Description

活體檢測方法、裝置以及儲存介質
本公開關於電腦視覺領域，尤其關於活體檢測方法、裝置以及儲存介質。
人臉防偽是資訊安全、防偽技術領域的重要問題。人臉防偽中一項重要研究方向即為活體檢測，活體檢測是指利用電腦視覺技術，判定在攝影頭前的人臉圖像是否來自真實的人。目前，基於雙目攝影頭的活體檢測已經成功應用在了許多場景中，這些場景所覆蓋的範圍非常大，其環境因素包含背景、光照、距離、動作等多個因素，這就導致了活體檢測算法在性能的提升上難度非常大。亟需尋求一種解決方案提升活體演算法精度。
本公開提供一種活體檢測方法、裝置以及儲存介質。
第一方面，公開了一種活體檢測方法，包括：獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及 獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像；對所述第一圖像和所述第二圖像進行雙目匹配處理，得到所述第一圖像和所述第二圖像的視差資訊；根據所述視差資訊，得到活體檢測結果。
第二方面，公開了另一種活體檢測方法，所述方法包括：獲取雙目攝影頭的第一圖像感測器採集到的第一圖像以及所述雙目攝影頭的第二圖像感測器採集到的第二圖像；通過活體檢測神經網路對所述第一圖像和所述第二圖像進行活體檢測處理，得到活體檢測結果，其中，所述活體檢測神經網路是基於樣本圖像對的視差資訊訓練得到的。
第三方面，公開了另一種活體檢測方法，所述方法包括：從雙目攝影頭的第一圖像感測器採集到的第一圖像中獲取目標對象的第一目標區域圖像，以及從所述雙目攝影頭的第二圖像感測器採集到的第二圖像中獲取所述目標對象的第二目標區域圖像；將所述第一目標區域圖像和所述第二目標區域圖像輸入到活體檢測神經網路中進行活體檢測處理，得到活體檢測結果，其中，所述活體檢測神經網路是基於樣本圖像對的視差資訊訓練得到的。
第四方面，公開了一種活體檢測裝置，所述裝置包括：獲取模組，用於獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像；雙目匹配模組，用於對所述第一圖像和所述第二圖像進行雙目匹配處理，得到所述第一圖像和 所述第二圖像的視差資訊；活體檢測模組，用於根據所述視差資訊，得到活體檢測結果。
第五方面，公開了另一種活體檢測裝置，所述裝置包括：獲取模組，用於獲取雙目攝影頭的第一圖像感測器採集到的第一圖像以及所述雙目攝影頭的第二圖像感測器採集到的第二圖像；活體檢測模組，用於通過活體檢測神經網路對所述第一圖像和所述第二圖像進行活體檢測處理，得到活體檢測結果，其中，所述活體檢測神經網路是基於樣本圖像對的視差資訊訓練得到的。
第六方面，公開了一種活體檢測裝置，包括處理器和記憶體，其中，所述記憶體用於儲存電腦程式代碼，所述處理器被配置用於調用所述電腦程式代碼，執行如上述第一或第二或第三方面或第一或第二或第三方面的任意可能的實現方式中的方法。
第七方面，公開了一種電腦可讀儲存介質，所述電腦儲存介質儲存有電腦可讀指令，所述指令被處理器調用時，所述處理器執行如上述第一方面或第一方面的任意可能的實現方式中的方法。
第八方面，公開了一種電腦程式產品，包括電腦指令，對所述電腦指令的調用使得電腦裝置執行上述第一方面或第一方面的任意可能的實現方式中的方法。
在本公開實施例中，獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像；對所述第一圖像和所述第 二圖像進行雙目匹配處理，得到所述第一圖像和所述第二圖像的視差資訊；根據所述視差資訊，得到活體檢測結果。在活體檢測方法中加入雙目匹配演算法中所預測得到的視差資訊，能夠提升活體檢測精度。
10:活體檢測裝置
100:獲取模組
111:第一目標檢測模組
112:第一關鍵點檢測模組
113:第一獲取模組
121:第二目標檢測模組
122:第二關鍵點檢測模組
123:第二獲取模組
110:活體檢測設備
1101:處理器
1102:輸入單元
1103:輸出單元
1104:記憶體
1105:通信單元
1106:匯流排
1107:圖像採集器
200:雙目匹配模組
201:特徵提取模組
211:第一特徵提取子模組
221:均一化模組
222:第二特徵提取子模組
202:匹配代價確定子模組
203:雙目匹配子模組
300:活體檢測模組
301:活體檢測子模組
311:第一特徵提取模組
312:第一特徵融合模組
313:第一活體檢測子模組
321:訓練模組
3211:第三特徵融合模組
3212:網路損失確定模組
3213:網路調整模組
322:第二活體檢測子模組
3221:第二特徵融合模組
3222:第三活體檢測子模組
400:一致性確定模組
500:校正處理模組
600:活體檢測模組
圖1是本公開實施例提供的活體檢測的系統構架示意圖；圖2是本公開實施例提供的活體檢測方法的流程示意圖；圖3是本公開實施例提供的目標檢測示意圖；圖4是本公開實施例提供的跨模態特徵提取的流程示意圖；圖5是本公開實施例提供的跨模態特徵提取的另一流程示意圖；圖6是本公開實施例提供的雙目匹配神經網路的示意圖；圖7是本公開實施例提供的活體檢測方法的另一流程示意圖；圖8是本公開實施例提供的活體檢測方法的另一流程示意圖；圖9是本公開實施例提供的活體檢測方法的另一流程示意圖； 圖10是本公開實施例提供的活體檢測方法的另一流程示意圖；圖11是本公開實施例提供的活體檢測方法裝置的結構示意圖；圖12是本公開實施例提供的活體檢測方法裝置的另一結構示意圖；圖13是本公開實施例提供的活體檢測方法裝置的另一結構示意圖；圖14是本公開實施例提供的活體檢測裝置的另一結構示意圖。
下面將結合本公開實施例中的附圖，對本公開實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例。基於本公開中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本公開保護的範圍。
還應當理解，在此本公開說明書中所使用的術語僅僅是出於描述特定實施例的目的而並不意在限制本公開。
還應當進一步理解，在本公開說明書和所附申請專利範圍中使用的術語“和/或”是指相關聯列出的項中 的一個或多個的任何組合以及所有可能組合，並且包括這些組合。
具體實現中，本公開實施例中描述的技術方案可由手機、臺式電腦、膝上電腦、可穿戴設備等具備影像處理功能的終端設備或伺服器或其他類型的電子設備實現，此處不作限定。為了便於理解，下文將活體檢測方法的執行主體稱為活體檢測裝置。
本公開實施例提供一種活體檢測方法，包括：獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像；對所述第一圖像和所述第二圖像進行雙目匹配處理，得到所述第一圖像和所述第二圖像的視差資訊；根據所述視差資訊，得到活體檢測結果。
本公開實施例還提供相應的活體檢測裝置和電腦可讀儲存介質。以下分別進行詳細描述。
參閱圖1，圖1是本公開實施例提供的技術方案的應用系統示例的構架示意圖。如圖1所示，活體檢測系統可以包括一個或多個伺服器以及多個終端設備，其中：伺服器與終端設備可以通過互聯網進行通信。具體地，終端設備設置有跨模態雙目攝影頭，終端設備通過雙目攝影頭採集圖像對或者視頻序列，並向伺服器發送採集到的圖像對或者從視頻序列中選幀得到的圖像對，或者也可以對圖像對進行進一步處理，例如特徵提取等，並將處理結果發送至伺服器。伺服器接收到終端設備發送的圖像對或者圖像對的 處理結果之後，可以基於接收到的資訊進行活體檢測，並將活體檢測結果或基於活體檢測結果得到的操作指令發送到終端設備。
伺服器可以包括但不限於後臺伺服器、組件伺服器、活體檢測系統伺服器或活體檢測軟體伺服器等，伺服器將活體檢測結果發送到終端。終端設備可以安裝並運行有相關的用戶端(Client)(例如活體檢測用戶端等)。用戶端(Client)是指與伺服器相對應並為使用者提供本機服務的程式。這裡，該本機服務可包括但不限於：上傳圖像，提供資料獲取介面、活體檢測結果顯示介面等等。
例如，用戶端可包括：本地運行的應用程式、運行於網路流覽器上的功能(又稱為Web App)等。對於用戶端，伺服器上需要運行有相應的伺服器端程式來提供相應的跨模態影像處理、跨模態圖像特徵提取、跨模態雙目匹配、基於跨模態雙目匹配的活體檢測等一種或多種功能。
本公開實施例中的終端設備可以包括但不限於任何一種基於智慧作業系統的電子產品，其可與使用者通過鍵盤、虛擬鍵盤、觸控板、觸控式螢幕以及聲控設備等輸入裝置來進行人機交互，諸如智慧手機、平板電腦、個人電腦等。其中，智慧作業系統包括但不限於任何通過向移動設備提供各種移動應用來豐富設備功能的作業系統，諸如安卓(Android)、iOSTM、Windows Phone等。
需要說明的是，本公開實施例應用的活體檢測系統的構架不限於圖1所示的例子。
下面結合圖2對本公開實施例提供的活體檢測方法進行描述。
本公開實施例提供的活體檢測方法，可以應用於各種終端設備中。所述終端設備可包括：用於安防的安防設備，用於票務檢測的票務設備、用於支付的支付設備、用於門禁的門禁設備等。
例如，在無人安檢口可設置有安防設備，通過本公開實施例提供的活體檢測方法的實現，可以使得有許可權通過安檢口的人員通過，減少無許可權人員拿著有許可權人員的照片通過安檢的現象。
再例如，進行刷臉等方式進行票務檢測時，通過活體檢測減少逃票現象。
在支付時，手機或者POS終端等可以通過活體檢測減少盜刷現象。
在另一些實施例中，本公開實施例提供的活體檢測方法，還可以應用於伺服器中。該伺服器可為雲平臺或應用平臺內的伺服器。例如，雙目攝影頭採集到第一圖像及第二圖像之後，將其傳輸到伺服器，伺服器執行本公開實施例提供的活體檢測方法得到活體檢測結果，然後將該活體檢測結果返回到終端設備。如此，終端設備可以基於該活體檢測結果作為執行預定操作的驗證結果。例如，安防設備從伺服器接收到活體檢測結果之後，根據活體檢測結果表示的活體驗證是否通過，進行票務操作、支付操作和/或閘禁操作等。
S100、獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像。
雙目攝影頭包括兩個攝影頭，即第一圖像感測器和第二圖像感測器。其中，在一些實施例中，第一圖像感測器和第二圖像感測器可以是相同類型的感測器，即第一圖像感測器和第二圖像感測器是同模態的圖像感測器，雙目攝影頭是同模態雙目攝影頭。在一些實施例中，第一圖像感測器和第二圖像感測器也可以是不同類型的圖像感測器，即第一圖像感測器和第二圖像感測器為跨模態的圖像感測器，雙目攝影頭是跨模態雙目攝影頭，本申請實施例對此不做限定。跨模態的所述第一圖像感測器和所述第二圖像感測器可為：生成圖像的原理或機制不同。例如，第一圖像感測器可為可見光圖像感測器，能夠基於可見形成圖像；第二圖像感測器為非可見光圖像感測器，例如，紅外圖像感測器和紫外圖像感測器。不同模態的第一圖像感測器和第二圖像感測器，能夠採集到不同層面的特徵，從而可以提供更多用於活體驗證的特徵。
在一種可能的實現方式中，可以預先對雙目攝影頭中的第一圖像感測器和第二圖像感測器進行標定。對雙目攝影頭的標定方法可以是傳統相機標定法、主動視覺相機標定法、相機自標定法，等等，此處對標定的具體實現不作限定。
在一種可能的實現方式中，第一圖像感測器和所述第二圖像感測器包括以下中的一種：可見光感測器、近紅外感測器、雙通感測器等等。其中，可見光圖像感測器為利用可見光照射物體形成圖像的圖像感測器。近紅外圖像感測器為利用近紅外線照射物體形成圖像的圖像感測器。雙通圖像感測器為利用雙通道(包括R通道)成像原理形成圖像的圖像感測器。雙目攝影頭中的兩個圖像感測器可以是相同類型的圖像感測器，也可以是不同類型的圖像感測器。例如，雙目攝影頭A的兩個圖像感測器分別為近紅外圖像感測器和雙通圖像感測器，再例如，雙目攝影頭B的兩個圖像感測器分別為可見光圖像感測器和近紅外圖像感測器，再例如，雙目攝影頭C的兩個攝影頭分別為可見光圖像感測器和雙通圖像感測器，等等，本公開實施例中的圖像感測器也可以為其他類型的圖像感測器，可以根據實際應用需求，選擇雙目攝影頭中兩個圖像感測器的類型，本公開實施例對此不做限定。
在本公開實施例中，第一圖像和第二圖像是通過雙目攝影頭採集到的，其中，可以利用第一圖像感測器和第二圖像感測器拍攝得到一對靜態的圖像。也可以利用第一圖像感測器和第二圖像感測器拍攝得到連續的視頻流，再從拍攝得到的視頻流中選取一對或多對圖像幀，相應地，第一圖像和第二圖像可以為靜態圖像或者視頻幀圖像，本公開實施例對此不做限定。
在一些實施例中，第一圖像和第二圖像分別為左視圖和右視圖，或者第一圖像和第二圖像分別為右視圖和左視圖，或者第一圖像和第二圖像為雙目攝影頭採集到的其他類型的圖像，本公開實施例對此不做限定。
在本公開實施例中，S100可以具有多種可能的實現方式。例如，活體檢測裝置上設置有雙目攝影頭，活體檢測裝置通過雙目攝影頭進行圖像採集，通過雙目攝影頭進行圖像採集，得到包括第一圖像和第二圖像的圖像對，或者，也可以通過圖像採集得到視頻序列，此時，可以對視頻序列進行選幀操作，得到包括第一圖像和第二圖像的圖像對，本公開實施例對此不做限定。
在另一些可能的實現方式中，活體檢測裝置獲取圖像庫中儲存的第一圖像和第二圖像，其中，圖像庫可以設置在活體檢測裝置上或其他設備上，本公開實施例對此不做限定。
在另一些可能的實現方式中，活體檢測裝置接收其他設備發送的第一圖像和第二圖像，在一個例子中，活體檢測裝置接收設置有雙目攝影頭的終端設備發送的第一圖像和第二圖像，其中，在一些實施例中，終端設備可以向活體檢測裝置(例如伺服器)發送包括第一圖像和第二圖像的圖像對，或者發送包括第一圖像和第二圖像的視頻序列，此時，活體檢測裝置對接收到的視頻序列進行選幀得到包括第一圖像和第二圖像的圖像對，或者，終端設備可以向活體檢測裝置發送第一圖像的特徵資料和第二圖像的特徵資 料，相應地，活體檢測裝置接收終端設備發送的第一圖像的特徵資料和第二圖像的特徵資料，並基於接收到的特徵資料進行活體檢測，其中，在一些實施例中，終端設備發送的資訊可以攜帶在活體檢測請求或鳥瞰圖生成請求或其他類型的消息中，本公開實施例對此不做限定。
S200、基於所述第一圖像和所述第二圖像，得到所述第一圖像和所述第二圖像的視差資訊。
所述視差資訊可包括但不限於：指示所述第一圖像和所述第二圖像採集視角差異的資訊。
在一些實施例中，分別對所述第一圖像和所述第二圖像進行特徵提取，得到第一特徵資料和第二特徵資料，並基於所述第一特徵資料和所述第二特徵資料，得到所述第一圖像和所述第二圖像的視差資訊。
在一些實施例中，從第一圖像中獲取第一目標區域圖像，並從第二圖像中獲取第二目標區域圖像，然後，基於第一目標區域圖像和第二目標區域圖像，得到第一圖像和第二圖像的視差資訊。
在一些實施例中，可以直接對第一圖像和第二圖像進行特徵提取，例如，將第一圖像和第二輸入到神經網路中進行特徵提取處理。在另一些實施例中，也可以對第一圖像和第二圖像中的一部分進行特徵提取，例如，分別從第一圖像和第二圖像中獲取第一目標區域圖像和第二目標區域圖像，並對第一目標區域圖像和第二目標區域圖像進行特徵提取。在一個例子中，將第一目標區域圖像和第二目標區 域圖像輸入到神經網路進行特徵提取，得到上述第一特徵資料和第二特徵資料，但本公開實施例對此不做限定。
在本公開實施例中，可以通過多種方式獲取目標區域圖像。在一些實施例中，對第一圖像進行目標檢測，得到第一目標區域，並基於第一目標區域從第一圖像中截取第一目標區域圖像電子設備可以利用圖像識別等技術，在第一圖像中檢測目標對象；也可以將第一圖像輸入神經網路中進行目標對象檢測，本公開實施例對此不做限定。
請參閱圖3，圖3是本公開實施例提供的目標檢測的一個示例的示意圖，其中假設目標對象為人臉，如圖3所示，對第一圖像和第二圖像分別進行目標檢測後得到第一目標區域和第二目標區域，即圖3所示的矩形框，然後可以從第一圖像中截取第一目標區域的圖像，得到第一目標區域圖像，並從第二圖像中截取第二目標區域的圖像，得到第二目標區域圖像。
在另一個例子中，在對第一圖像進行目標對象的檢測得到目標對象所在的第一區域之後，將第一區域放大預設倍數，得到第一目標區域，並從第一圖像中截取第一目標區域的圖像。
在另一些可選示例中，可以對第一圖像進行關鍵點檢測，得到目標對象的第一關鍵點資訊，並基於目標對象的第一關鍵點資訊，從第一圖像中截取第一目標區域圖像。
在另一些可選示例中，對所述第一圖像進行目標檢測，得到所述目標對象的第一候選區域；對所述第一候選區域的圖像進行關鍵點檢測，得到目標對象的第一關鍵點資訊；基於所述目標對象的第一關鍵點資訊，從所述第一圖像中截取所述第一目標區域圖像。
在一些實施例中，可以基於目標對象的第一關鍵點資訊，得到目標對象在第一圖像中所在的第一目標區域，並基於第一目標區域進行圖像截取。
在一些實施例中，該第一關鍵點資訊可以包括目標對象的多個關鍵點的位置等資訊，可以基於目標對象的第一關鍵點資訊，得到包含所述目標對象的區域，即第一目標區域，其中，該第一目標區域可以為矩形或者類似人臉輪廓的橢圓形。在一些例子中，第一目標區域是包含完整的目標對象的最小區域，或者是基於包含目標對象的最小區域得到的，例如，第一目標區域是通過對包含完整人臉的最小矩形進行放大得到的，但本公開實施例對此不做限定。基於關鍵點資訊能夠得到目標對象所在區域的更精確位置，從而提高活體檢測的精度。
在一些實施例中，也可以對第二圖像進行類似處理，為了簡潔，這裡不再贅述。
在本公開實施例中，目標對象可以包括各種類型的物體或物體的一部分，例如人臉、道路、機動車、行人、動物等等，本公開實施例對此不做限定。
在本公開實施例中，目標區域圖像為圖像中目標對象所在區域的圖像。在一些實施例中，目標對象為人臉，相應地，第一目標區域圖像和第二目標區域圖像為面部區域圖像，但本公開實施例不限於此。
在一些實施例中，第一目標區域圖像和第二目標區域圖像具有相同的大小，例如，利用相同大小的矩形框分別對第一圖像和第二圖像進行圖像截取，但本公開實施例對此不做限定。
在一個例子中，假設目標對象為人臉，對第一圖像進行人臉檢測，得到人臉區域位置，例如得到人臉區域的矩形框座標；然後對上述人臉檢測得到的人臉區域的圖像進行人臉關鍵點檢測，得到人臉的多個關鍵點在圖像中的位置資訊，例如106個關鍵點的座標；基於人臉的多個關鍵點的位置資訊進行人臉區域分割，即利用圖像中的人臉關鍵點座標，確定圖像中包含人臉的最小矩形，並將該矩形人臉區域作為最後的人臉區域。在一些實施例中，可以在兩幅圖像中截取相同大小的兩個人臉圖像。
在另一些實施例中，活體檢測裝置從其他裝置處獲取第一目標區域和第二目標區域圖像，並基於第一目標區域圖像和第二目標區域圖像，得到視差資訊。
在本公開實施例中採用的特徵提取演算法可以是尺度不變特徵變換、加速穩健特徵、方向梯度長條圖、高斯函數的差分等等，相應地，提取的特徵資料可以包括局部二值模式特徵、稀疏編碼長條圖特徵、顏色特徵、全域特徵、 區域特徵、細節特徵等一種或多種，此處對特徵提取的具體實現不做限定。
在一些實施例中，可以利用不同的特徵提取演算法對第一目標區域圖像和第二目標區域圖像進行特徵提取處理，例如，若選擇尺度不變特徵變換對所述第一目標區域圖像進行特徵提取，那麼選擇其他的特徵提取演算法，如：加速穩健特徵、方向梯度長條圖、高斯函數的差分等等對所述第二目標區域圖像進行特徵提取。
在一些實施例中，也可以對第一目標區域圖像和/或第二目標區域圖像進行預處理，以使得第一目標區域圖像和第二目標區域圖像具有統一的分佈，然後利用相同的特徵提取演算法對第一目標區域圖像和第二目標區域圖像進行特徵提取處理，本公開實施例對此不做限定。
在一些實施例中，通過訓練好的雙目匹配神經網路分別對第一目標區域圖像和第二目標區域圖像進行特徵提取，例如卷積神經網路、循環神經網路等等，本公開實施例對神經網路的類型和具體實現不做限定。本公開實施例提供的一個神經網路示例中，神經網路包括輸入層、隱含層和輸出層，其中，隱含層可以有n層，n為大於1的正整數。隱含層中的某幾層可以用來特徵提取，隱含層中的某一層的啟動值可以表示提取的特徵。
在一些實施例中，分別利用雙目匹配神經網路中的不同子網路對第一目標區域圖像和第二目標區域圖像進行特徵提取處理。在如圖4所示的例子中，利用雙目匹配 神經網路中的第一特徵提取子網路對所述第一目標區域圖像進行特徵提取，得到第一特徵資料，並利用所述雙目匹配神經網路中的第二特徵提取子網路對所述第二目標區域圖像進行特徵提取，得到第二特徵資料。第一特徵提取子網路和第二特徵提取子網路的權值不共用，這樣，能夠使得第一特徵提取子網路和第二特徵提取子網路在訓練過程中分別學習對應模態圖像的特性，與通過權值共用的神經網路對第一目標區域圖像和第二目標區域圖像進行特徵提取相比，有利於實現提取到的特徵對於圖像語義的正確表達，從而提高影像處理性能。
在一些實施例中，第一特徵提取子網路和第二特徵提取子網路可以具有相同的結構，但具有不同的網路參數，例如，第一特徵提取子網路和第二特徵提取子網路具有相同的網路參數，例如，包含的網路層數和網路層結構相同，但是一個或多個網路層的參數不同。在一些實施例中，第一特徵提取子網路和第二特徵提取子網路也可以具有不同的結構，例如包含的網路層結構和/或網路層數不同，但本公開實施例對此不做限定。
在一些實施例中，為了使得第一特徵提取子網路和第二特徵提取子網路分別將第一目標區域圖像和第二目標區域影像對應到相同的特徵空間，可以在雙目匹配神經網路的訓練過程中引入特徵調整損失，以使得兩個圖像中的匹配圖元點的特徵資料相似，例特徵向量相似。例如，假設左視圖為NIR圖且右視圖為RGB圖。可以通過以下方式確 定特徵調整損失：基於標注資訊系或者預測視差將右視圖特徵轉換到左視角，並基於轉換後的特徵和左視圖特徵之間的距離，例如L1距離，得到特徵調整損失，但本公開實施例不限於此。
在一些實施例中，使用同一特徵提取網路對第一目標區域圖像和第二目標區域圖像進行特徵提取。例如，如圖5所示的例子所示，將所述第一目標區域圖像和所述第二目標區域圖像分別進行歸一化處理，以使得歸一化處理後的第一目標區域圖像和歸一化處理後的第二目標區域圖像具有統一的分佈，然後，利用雙目匹配神經網路中的特徵提取子網路對歸一化處理後的所述第一目標區域圖像進行特徵提取，得到第一特徵資料，並利用所述特徵提取子網路對歸一化處理後的所述第二目標區域圖像進行特徵提取，得到第二特徵資料。
在一些實施例中，上述歸一化處理可以通過實例歸一化(instance norm，IN)或批歸一化實現，以使得歸一化處理後的第一目標區域圖像和第二目標區域圖像的分佈盡可能統一。在一個例子中，可以對第一目標區域圖像和第二目標區域圖像進行以下歸一化處理：
Figure 108139802-A0305-02-0020-1
其中，x ncwh 表示輸入圖像，Y ncwh 表示歸一化處理後的輸入圖像，n表示一次性輸入圖像的個數，c表示圖像的通道數，如RGB圖像的通道數就為3，w，h分別表示圖像的寬和高，μ ncwh 為輸入圖像的均值，
Figure 108139802-A0305-02-0020-2
為輸入圖像 的標準方差。這樣，通過上述歸一化處理之後，可以利用權值共用的特徵提取子網路(即同一特徵提取子網路)對第一目標區域圖像和第二目標區域圖像進行特徵提取，從而降低網路複雜度。
在本公開實施例中，神經網路可以包括深度神經網路(Deep Neural Network,DNN)、卷積神經網路(Convolutional Neural Network,CNN)、循環神經網路(Recurrent Neural Network,RNN)等，本公開實施例在此不一一列舉。
還需要說明的是，神經網路可以是活體檢測裝置在本地訓練得到的，也可以是影像處理裝置調用的協力廠商訓練好的網路模型，等等，此處不作限定。
應理解，上文以對第一目標區域圖像和第二目標區域圖像分別進行特徵提取，得到第一特徵資料和第二特徵資料為例進行描述，在一些實施例中，也可以採用類似的方式對第一圖像和第二圖像分別進行特徵提取，得到第一特徵資料和第二特徵資料，為了簡潔，這裡不再贅述。
在一些實施例中，在得到第一特徵資料和第二特徵資料之後，確定所述第一特徵資料和所述第二特徵資料之間的匹配代價(cost volume)；基於所述匹配代價，得到所述視差資訊。
第一目標區域圖像和第二目標區域圖像是對應的圖像，進行雙目匹配的兩幅圖像拍攝物體或者景物是一樣的，只是這兩幅圖像是用兩個跨模態的攝影頭拍攝的，所以 對兩幅圖像提取的特徵都是表示同樣一個物體或者一個景物的，基於第一特徵資料和第二特徵資料進行匹配計算，得到視差。
在一些實施例中，通過計算各個視差程度的關聯圖來構建匹配代價。
在一些實施例中，假設第一圖像和第二圖像之間的視差有N個可能的數值，可以基於該N個可能的數值中的每種可能的數值確定匹配代價，並將得到的匹配代價中的最小值所對應的視差值作為視差資訊。
本公開實施例中，還可以通過其他方式確定匹配代價，本公開實施例對此不做限定。
在得到匹配代價之後，可以通過多種方式確定視差資訊。在一些實施例中，對所述匹配代價進行特徵提取處理，得到第三特徵資料；基於所述第三特徵資料，得到所述視差資訊。
在一種可能的實現方式中，將所述匹配代價輸入到視差預測神經網路進行處理，得到視差資訊。
在一些實施例中，基於匹配代價以及第一特徵資料和第二特徵資料中的至少一項，確定視差資訊。
在一些實施例中，第一圖像感測器為近紅外攝影頭或者雙通攝影頭，相應地，基於匹配代價和所述第一特徵資料，確定視差資訊。
在一些實施例中，將匹配代價以及第一特徵資料和第二特徵資料中的至少一項進行融合處理，得到融合資 料，並基於融合資料，確定視差資訊。其中，這裡的融合處理可以是按通道的連接或者其他方式的融合，本公開實施例對此不做限定。
在一些實施例中，將匹配代價以及第一特徵資料和第二特徵資料中的至少一項輸入到視差預測網路中進行處理，得到視差資訊。
在一些實施例中，將融合資料登錄到視差預測網路中進行處理，得到視差資訊。
在一些實施例中，對基於所述匹配代價得到的第k-1級融合特徵資料進行特徵提取，得到第k級特徵資料，其中，所述第k-1級融合特徵資料是通過對基於所述匹配代價得到的第1級特徵資料到第k-1級特徵資料進行融合處理得到的，k為大於1的整數；將基於所述匹配代價得到的第1級特徵資料至所述第k級特徵資料進行融合處理，得到第k級融合特徵資料；基於所述第k級融合特徵資料，得到第三特徵資料。
在一些實施例中，第1級特徵資料是通過對匹配代價進行特徵提取得到的，或者是通過對融合資料進行匹配處理得到的，或者是通過對匹配代價進行特徵提取得到的特徵資料和對第一特徵資料和第二特徵資料中的至少一項進行特徵提取得到的特徵資料進行融合處理得到的，等等，本公開實施例對此不做限定。
第2級特徵資料是通過對第1級特徵資料進行特徵提取得到的，第3級特徵資料是通過對第2級融合特徵 資料進行特徵提取得到的，其中，第2級融合特徵資料是通過對第1級特徵資料和第2級特徵資料進行融合處理得到的。以此類推，第k級特徵資料是通過對第k-1級融合特徵資料進行特徵提取得到的，其中，第k-1級融合特徵資料是通過對第1級特徵資料、......、第k-1級特徵資料進行融合處理得到的。
參照圖6，圖6是本公開實施例提供的雙目匹配神經網路的示意圖，其中，在圖6所示的例子中，假設左視圖為近紅外圖像，右視圖為RGB等類型的彩色圖，該雙目匹配神經網路的輸入為第一圖像和第二圖像，即左視圖和右視圖。其中，Ir表示右視圖，例如原始的右視圖或預處理後的右視圖，Il表示左視圖，即原始的左視圖或預處理後的左視圖，其中，該預處理例如可以包括尺寸調整、亮度調整、旋轉、校正處理等一種或多種，本公開實施例對此不做限定。
如圖6所示，該雙目匹配神經網路包括四部分：特徵提取部分(或稱為編碼器)、匹配代價計算部分、堆積改進部分和視差回歸部分，其中，特徵提取部分包括兩個特徵提取子網路FL和FR，分別對左視圖和右視圖進行特徵提取，得到左視圖特徵資料和右視圖特徵資料，其中，FL和FR具有不同的權重值。
然後，基於左視圖特徵資料和右視圖特徵資料，得到匹配代價，並將匹配代價和左視圖特徵資料進行連接，得到連接特徵，並基於連接特徵，得到初始特徵圖C0。 其中，在圖6所示的例子中，通過四個卷積層依次對連接特徵進行處理，得到C0，但本公開實施例對此不做限定。
C0被輸入到堆積改進網路進行處理，得到改進特徵圖C1、C2和C3。對於每個階段，將所有的低級特徵圖連接後輸入到U1,2,3網路進行處理。在一些實施例中，U1,2,3網路可以是深度為2的類UNet網路，輸入特徵首先被編碼到1/4大小，然後對其上採樣，得到具有原始尺寸的特徵圖，其中，可以通過連接編碼特徵圖和反卷積特徵圖，得到上採樣特徵圖，但本公開實施例對此不做限定。
最後，將C3輸入到視差回歸子網路，得到預測視差。
在神經網路的訓練階段，C1、C2和C3分別用於得到預測視差
Figure 108139802-A0305-02-0025-3
，
Figure 108139802-A0305-02-0025-4
和
Figure 108139802-A0305-02-0025-5
，並基於預測視差
Figure 108139802-A0305-02-0025-6
，
Figure 108139802-A0305-02-0025-7
和
Figure 108139802-A0305-02-0025-9
得到視差回歸損失。
在一些實施例中，可以基於視差回歸損失和特徵調整損失，得到網路損失，並基於網路損失，調整雙目匹配神經網路的網路參數。其中，在一些實施例中，視差回歸損失和特徵調整損失可以具有不同的權重，但本公開實施例對此不做限定。
應理解，上述例子是為了是本領域技術人員更好地理解本公開實施例的技術方案，並不構成對本公開實施例提供的技術方案的限定。
S300、根據所述視差資訊，得到活體檢測結果。
在一些例子中，可以在實際進行活體檢測的應用過程中，基於視差資訊，得到活體檢測結果。在另一些例子中，活體檢測方法通過神經網路實現，此時，可以基於樣本圖像對的視差資訊訓練神經網路，並利用訓練好的神經網路進行活體檢測，得到活體檢測結果，本公開實施例對此不做限定。
在一些實施例中，根據所述第一目標區域圖像、所述第二目標區域圖像及所述視差資訊，得到活體檢測結果。例如，將第一目標區域圖像、第二目標區域圖像和視差資訊輸入到活體檢測神經網路中進行處理，得到活體檢測結果。或者，基於其他活體檢測算法對第一目標區域圖像、第二目標區域圖像和視差資訊進行處理，得到活體檢測結果。
在一些實施例中，對所述視差資訊進行特徵提取，得到第三活體特徵資料，並基於所述第三活體特徵資料，得到活體檢測結果。
在一些實施例中，對所述第三活體特徵資料以及從所述第一目標區域圖像提取的第一活體特徵資料和/或從所述第二目標區域圖像提取的第二活體特徵資料進行融合處理，得到第一融合特徵資料，並基於所述第一融合特徵資料，得到活體檢測結果。
在一些實施例中，可以將第一活體特徵資料和/或第二活體特徵資料與第三活體特徵資料進行連接。在一些實施例中，可以將第一活體特徵資料和/或第二活體特徵資 料與第三活體特徵資料按通道疊加，得到第一融合特徵資料。或者，第一活體特徵資料和/或第二活體特徵資料與第三活體特徵資料具有相同的維度，可以將第一活體特徵資料和/或第二活體特徵資料與第三活體特徵資料進行逐元素相加，得到第一融合特徵資料，等等，本公開實施例對融合處理的方式不做限定。
在一些實施例中，對所述第一目標區域圖像和所述第二目標區域圖像分別進行特徵提取，得到第一活體特徵資料和第二活體特徵資料，並對所述第三活體特徵資料、所述第一活體特徵資料以及所述第二活體特徵資料進行融合處理，得到第一融合特徵資料。
在一些例子中，將第一目標區域圖像、第二目標區域圖像和視差資訊輸入到包括三個並列網路分支的活體檢測神經網路中，活體檢測神經網路分別對輸入的第一目標區域圖像、第二目標區域圖像和視差資訊進行特徵提取處理，得到活體特徵資料，並連接三個分支得到的活體特徵資料，得到融合特徵資料，然後通過分類器對融合特徵資料的處理，得到活體檢測結果。
在一些實施例中，活體檢測神經網路分別檢測第一目標區域圖像、第二目標區域圖像和視差資訊中是否包含偽造資訊，若三者中任意一項包含偽造資訊，確定包括第一圖像和第二圖像的圖像對未通過活體檢測；而若三者中都沒有包含偽造資訊，則確定包括第一圖像和第二圖像的圖像對通過活體檢測。這樣，通過使用第一目標區域圖像、第二 目標區域圖像結合視差資訊來進行活體檢測，使得活體檢測神經網路能夠獲得的人臉資訊更為豐富，活體檢測精度更高。
在一些實施例中，上述第一活體特徵資料和第二活體特徵資料分別是對第一圖像和第二圖像進行特徵提取得到的，其實現與上文描述類似，為了簡潔，這裡不再贅述。
在另一些實施例中，將所述視差資訊作為監督，訓練活體檢測神經網路，並利用訓練後的活體檢測神經網路進行活體檢測，得到活體檢測結果。
在一些例子中，可以通過以下方式訓練活體檢測神經網路：通過所述活體檢測神經網路對第一目標區域圖像和第二目標區域圖像分別進行特徵提取，得到第一活體特徵資料和第二活體特徵資料，並對提取到的第一活體特徵資料和第二活體特徵資料進行融合處理，得到第三融合特徵資料；基於所述第三融合特徵資料和所述視差資訊，確定網路損失；基於所述網路損失，調整所述活體檢測神經網路的參數。
在一些實施例中，通過活體檢測神經網路中的特徵提取子網路分別對第一目標區域圖像和第二目標區域圖像進行特徵提取，例如，通過活體檢測神經網路中的第一卷積神經網路模組對第一目標區域圖像進行特徵提取得到第一特徵圖，通過活體檢測神經網路中的第二卷積神經網路模組對第二目標區域圖像進行特徵提取得到第二特徵圖，將 第一特徵圖和第二特徵圖進行融合處理得到第三特徵圖；並對第一目標區域圖像和第二目標區域圖像進行雙目匹配得到視差圖，基於第三特徵圖和視差圖，確定活體檢測神經網路的網路損失；根據所述網路損失，調整第一卷積神經網路模組和第二卷積神經網路模組中的至少一個模組的參數。
此時，第一圖像和第二圖像是訓練集中包含的樣本圖像對中的樣本圖像，通過訓練集中包括的多個樣本圖像對，訓練活體檢測神經網路，得到訓練後的活體檢測神經網路，其中，訓練後的活體檢測神經網路與訓練前的活體檢測神經網路可以具有相同的網路架構、不同的網路參數，或者網路架構也有所調整，本公開實施例對此不做限定。
在一些實施例中，也可以基於第一圖像、第二圖像和視差資訊，訓練活體檢測神經網路，其具體實現可以參照上文對基於第一目標區域圖像、第二目標區域圖像和視差資訊訓練活體檢測神經網路的描述，為了簡潔，這裡不再贅述。
在一些實施例中，在通過上述方式訓練活體檢測神經網路之後，通過訓練後的活體檢測神經網路對待檢測圖像對包括的第三圖像和第圖像分別進行特徵提取，並對提取到的特徵資料進行融合處理，得到第二融合特徵資料；通過所述訓練後的活體檢測神經網路對所述第二融合特徵資料進行處理，得到活體檢測結果。
在一些實施例中，通過所述訓練後的活體檢測神經網路對待檢測圖像對對應的第三目標區域圖像和第四 目標區域圖像分別進行特徵提取，並對提取到的特徵資料進行融合處理，得到第二融合特徵資料；通過所述訓練得到的活體檢測神經網路對所述第二融合特徵資料進行處理，得到活體檢測結果。
其中，第三目標區域和第四目標區域圖像是從對待檢測圖像對包括的第三圖像和第四圖像中獲取的，具體處理過程可以參見上文描述，為了簡潔，這裡不再贅述。
在一些實施例中，基於第一圖像、第二圖像以及上述視差資訊，得到活體檢測結果。其中，在一些實施例中，可以基於相同的兩幅圖像分別進行雙目匹配和活體檢測，例如，基於第一圖像和第二圖像分別進行雙目匹配和活體檢測，再例如，基於第一目標區域圖像和第二目標區域圖像分別進行雙目匹配和活體檢測，但本公開實施例對此不做限定。
在一些實施例中，活體檢測神經網路採用與上述雙目匹配神經網路類似的雙支路模型提取左右兩幅圖像的特徵圖，但本公開實施例對此不做限定。
在本公開實施例中，將視差作為監督信號提供給活體檢測神經網路，通過視差監督活體檢測神經網路提取的特徵資料，使得提取到的特徵資料學習到視差資訊，從而提升活體檢測神經網路的活體檢測精度。而在活體檢測神經網路的應用過程中，無需再進行視差資訊的獲取，因此在提升活體網路精度的同時，不會增加原網路結構的大小，不會降低活體檢測效率。
此處需要說明的是，在此實施方式中，S100、S200由開發人員或者生產商來執行，為了訓練活體檢測神經網路，開發人員或者生產商也可以在開發或生產的過程中也可以執行S300，此處不做限定。
在一些實施例中，在得到活體檢測結果之後，還可以輸出提示資訊。例如，如果確定活體檢測結果為通過活體檢測，則輸出通過活體檢測的提示資訊，而如果活體檢測結果為未通過活體檢測，則繼續對其他圖像對進行活體檢測，直到處理的圖像對的數量達到一定數量閾值或者進行活體檢測的總時間達到一定時間閾值，此時，如果還未檢測到通過活體檢測的圖像對，則輸出未通過活體檢測的提示資訊。在一些實施例中，輸出的提示資訊可以為文字、振動、語音播報或預設的提示音、或圖像，比如未通過活體檢測的提示音為“滴”三聲，通過活體檢測的提示音為“滴”一聲，等等，此處不作限定。
請參見圖7，圖7是本公開實施例提供的活體檢測方法的另一流程示意圖，在得到第一目標區域和第二目標區域之後，還包括以下步驟。
S400、確定所述第一圖像中的第一目標區域和所述第二圖像中的第二目標區域是否一致。
其中，這裡的目標區域可以是通過對第一圖像或第二圖像進行目標檢測和/或關鍵點檢測得到的，本公開實施例對此不做限定。
S401、在確定所述第一目標區域和所述第二目標區域一致的情況下，基於第一目標區域從所述第一圖像中截取第一目標區域圖像，基於第二目標區域從所述第二圖像中第二目標區域圖像。
在一些實施例中，當雙目攝影頭的拍攝範圍內包括多個被拍攝對象時，第一圖像和第二圖像中可以同時包括多個被拍攝對象的圖像。在對第一圖像和第二圖像進行目標檢測時，可能在第一圖像中檢測出被拍攝對象A，即第一目標區域為被拍攝對象A所在的圖像區域，而在第二圖像中檢測出被拍攝對象B，即第二目標區域為被拍攝對象B所在的圖像區域，基於上述的第一目標區域和第二目標區域進行後續的活體檢測步驟，將無法得到準確的活體檢測結果。
可以通過檢測第一目標區域和第二目標區域的一致性，排除第一目標區域和第二目標區域不是同一個被拍攝對象的情況。可以利用圖像識別技術，分別提取第一目標區域的圖像和第二目標區域的圖像中的特徵，並將提取到的兩個特徵進行比較，以檢測第一目標區域和第二目標區域的一致性。也可以利用將第一目標區域的圖像和第二目標區域的圖像與預設資料進行比較，以檢測第一目標區域和第二目標區域的一致性。此處不做限定。
在本公開實施例中，通過確定第一目標區域和第二目標區域的一致性，可以保證目標對象的活體檢測結果的準確性。
S201、基於所述第一目標區域圖像和所述第二目標區域圖像，得到所述第一圖像和所述第二圖像的視差資訊。
請參閱圖8，圖8是本公開實施例提供的活體檢測方法的另一流程示意圖。
S500、在確定所述第一目標區域和所述第二目標區域不一致的情況下，基於所述第一目標區域，得到校正處理後的所述第二目標區域。
S501、基於所述第一目標區域從所述第一圖像中截取第一目標區域圖像，基於校正處理後的所述第二目標區域從所述第二圖像中截取第二目標區域圖像。
第一目標區域與第二目標區域不一致，可能導致後續的目標對象的活體檢測結果不準確的問題，當所述第一目標區域和所述第二目標區域不一致時，可以基於第一目標區域得到校正處理後的第二目標區域，校正處理後的第二目標區域與第一目標區域一致。例如，可以根據第一目標區域中的目標對象，對第二圖像重新進行目標對象的檢測和/或關鍵點檢測，得到第二目標區域。
在一些實施例中，校正處理後的所述第二目標區域和第一目標區域一致。根據所述第一目標區域和校正處理後的所述第二目標區域，可以得到更為準確的視差資訊和活體檢測結果。
在一些實施例中，所述活體檢測方法中，基於所述第一目標區域，得到校正處理後的所述第二目標區域， 包括：在所述第二圖像中確定所述第一目標區域的對應區域。將所述對應區域確定為所述校正處理後的所述第二目標區域。
S201、基於所述第一目標區域圖像和所述第二目標區域圖像，得到所述第一圖像和所述第二圖像的視差資訊。
在一些實施例中，可以基於第一圖像感測器和第二圖像感測器的參數，對第二目標區域進行校正，或者基於其他方式對第二目標區域進行校正，本公開實施例對此不做限定。
在一些實施例中，所述方法還包括：確定包含所述第一圖像和所述第二圖像的圖像對是否滿足選幀條件；在確定包含所述第一圖像和所述第二圖像的圖像對滿足選幀條件的情況下，對第一圖像和第二圖像執行上述活體檢測流程。
在一些實施例中，可以分別對第一圖像和第二圖像分別進行選幀條件的判斷，並結合對第一圖像和第二圖像的判斷結果，確定包含所述第一圖像和所述第二圖像的圖像對的判斷結果。在另一些實施例中，也可以僅對第一圖像或第二圖像進行選幀條件的判斷，並基於對第一圖像或第二圖像的判斷結果，確定包含所述第一圖像和所述第二圖像的圖像對的判斷結果，本公開實施例對此不做限定。
在一些實施例中，所述選幀條件包括以下條件中的一項或任意組合： 第一圖像和/或第二圖像均檢測到所述目標對象；第一圖像中檢測到的目標對象位於所述第一圖像的設定區域和/或所述第二圖像中檢測到的目標對象位於所述第二圖像的設定區域；所述第一圖像和/或所述第二圖像中檢測到的目標對象的完整度滿足預設條件；所述第一圖像中檢測到的目標對象在所述第一圖像中所占的比例大於比例閾值和/或所述第二圖像中檢測到的目標對象在所述第二圖像中所占的比例大於所述比例閾值；第一圖像和/或第二圖像的清晰度大於清晰度閾值；第一圖像和/或第二圖像的曝光度大於曝光度閾值。
在一些實施例中，還可以基於其他因素進行選幀，本公開實施例對此不做限定。
在一些實施例中，所述方法還包括：在包含所述第一圖像和所述第二圖像的圖像對不滿足選幀條件的情況下，確定視頻流中的下一個圖像對是否滿足選幀條件；在達到預設時間段或預設數量的圖像對且在所述視頻流中未找到滿足選幀條件的圖像對的情況下，將所述視頻流確定為偽造視頻流。
在一些實施例中，通過選幀操作從視頻流中選取至少一對圖像作為待檢測圖像，該待檢測圖像要求選取雙目攝影頭同時拍攝的一對圖像且圖像品質較高，並檢測該至少一對待檢測圖像中是否存在偽造資訊。其中圖像品質可以通過目標的完整性、人臉朝向、清晰度、光線亮度等一種或多種因素衡量，根據預設好的準則，從整段待檢測視頻中， 選取出指標最好的一對或幾對圖像，或是從不同交互模組中各選擇一對或幾對圖像，本公開實施例對此不做限定。
在一個例子中，請參見圖9，圖9是本公開實施例提供的活體檢測方法的另一流程示意圖。在獲取跨模態雙目攝影頭拍攝的圖像後，在左右兩幅圖像中分別檢測人臉區域，若至少一幅圖像中檢測不到人臉，則繼續選幀進行人臉檢測，若超過限定時長人格無法同時在左右兩幅圖像中檢測到人臉區域，則可直接判定為偽造人臉或輸出“檢測超時”字樣；若同時能檢測到人臉區域，則繼續進行上述基於跨模態雙目匹配的活體檢測流程。
在一些實施例中，所述方法還包括：對所述第一圖像和所述第二圖像中的至少一個圖像進行預處理，並對預處理後的第一圖像和第二圖像執行上述活體檢測流程。
在一些實施例中，所述預處理包含下列中的一種或任意組合：圖像類型調整、尺寸調整、z分數標準化處理、亮度調整，或者包括其他處理。
在一些實施例中，若第一圖像和第二圖像的類型不同，可以統一輸入介面檔案類型為圖片類型檔。
請參閱圖10，圖10是本公開實施例提供的活體檢測方法的另一流程示意圖，如圖10所示，所述活體檢測方法包括：
S100、具體和前面S100中敘述的相同，此處不再贅述。
S600、通過活體檢測神經網路對所述第一圖像和所述第二圖像進行活體檢測處理，得到活體檢測結果，其中，所 述活體檢測神經網路是基於樣本圖像對的視差資訊訓練得到的。
在一種可能的實現方式中，所述將所述第一圖像和所述第二圖像輸入到活體檢測神經網路中進行活體檢測處理，得到活體檢測結果，包括：通過所述活體檢測神經網路從所述第一圖像中獲取目標對象的第一目標區域圖像，以及從所述第二圖像中獲取所述目標對象的第二目標區域圖像；基於所述第一目標區域圖像和所述第二目標區域圖像，通過所述活體檢測神經網路得到活體檢測結果。
在一種可能的實現方式中，所述通過活體檢測神經網路對所述第一圖像和所述第二圖像進行活體檢測處理，得到活體檢測結果，包括：從所述第一圖像中獲取目標對象的第一目標區域圖像，以及從所述第二圖像中獲取所述目標對象的第二目標區域圖像；將所述第一目標區域圖像和所述第二目標區域圖像輸入到活體檢測神經網路中進行活體檢測處理，得到活體檢測結果。
本公開實施例可以獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像；對所述第一圖像和所述第二圖像進行雙目匹配處理，得到所述第一圖像和所述第二圖像的視差資訊；根據所述視差資訊，得到活體檢測結果。在活體檢測方法中加入雙目匹配演算法中所預測得到的視差資訊，能夠提升活體檢測精度。活體檢測通過檢測人臉圖像中是否包含偽造資訊，從而判斷出檢測的目標對象是否是假 臉。訓練好的活體檢測神經網路可以學習到視差資訊中包含的偽造資訊，可以提高活體檢測的精度。
為了便於更好地實施本公開實施例的上述方案，本公開還對應提供了一種活體檢測裝置，下面結合附圖來進行詳細說明。
如圖11示出的本公開實施例提供的活體檢測裝置的結構示意圖，活體檢測裝置可以包括：獲取模組100、雙目匹配模組200和活體檢測模組300，其中，獲取模組100，用於獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像；雙目匹配模組200，用於對所述第一圖像和所述第二圖像進行雙目匹配處理，得到所述第一圖像和所述第二圖像的視差資訊；活體檢測模組300，用於根據所述視差資訊，得到活體檢測結果。
如圖12示出的本公開實施例提供的活體檢測裝置的結構示意圖，活體檢測裝置還可以包括：一致性確定模組400和校正處理模組500，其中，一致性確定模組400，用於確定所述第一目標區域和所述第二目標區域是否一致；校正處理模組500，用於在確定所述第一目標區域和所述第二目標區域不一致的情況下，基於所述第一目標區域，得到校正處理後的所述第二目標區域；在一些實施例中，獲取模組100，可以包括：第一目標檢測模組111，用於對所述第一圖像進行目標檢測，得到所述目標對象對應的第一候選區域圖像；第一關鍵點檢測模組112，用於對所述第一候 選區域圖像進行關鍵點檢測，得到第一關鍵點資訊；第一獲取模組113，用於基於所述第一關鍵點資訊，從所述第一圖像中截取所述目標對象的第一目標區域圖像。
在一些實施例中，獲取模組100，可以包括：第二目標檢測模組121，用於對所述第二圖像進行目標檢測，得到所述目標對象對應的第二候選區域圖像；第二關鍵點檢測模組122，用於對所述第二候選區域圖像進行關鍵點檢測，得到第二關鍵點資訊；第二獲取模組123，用於基於所述第二關鍵點資訊，從所述第二圖像中截取所述目標對象的第二目標區域圖像。
在一些實施例中，雙目匹配模組200，包括：特徵提取模組201，用於對所述第一目標區域圖像進行特徵提取處理，得到第一特徵資料，並對所述第二目標區域圖像進行特徵提取處理，得到第二特徵資料；匹配代價確定子模組202，用於基於所述第一特徵資料和所述第二特徵資料，得到所述視差資訊。
特徵提取模組201，可以包括：第一特徵提取子模組211，用於利用雙目匹配神經網路中的第一特徵提取子網路對所述第一目標區域圖像進行特徵提取，得到第一特徵資料，並利用所述雙目匹配神經網路中的第二特徵提取子網路對所述第二目標區域圖像進行特徵提取，得到第二特徵資料。
在一些實施例中，特徵提取模組201，可以包括：歸一化模組221，用於對所述第一目標區域圖像和所述 第二目標區域圖像分別進行歸一化處理，以使得歸一化處理後的所述第一目標區域圖像和歸一化處理後的所述第二目標區域圖像具有統一的分佈；第二特徵提取子模組222，用於利用雙目匹配神經網路中的特徵提取子網路對歸一化處理後的所述第一圖像進行特徵提取，得到第一特徵資料，並利用所述特徵提取子網路對歸一化處理後的所述第二圖像進行特徵提取，得到第二特徵資料。
在一些實施例中，活體檢測模組300，包括：活體檢測子模組301，用於根據從所述第一圖像中獲取的第一目標區域圖像、從所述第二圖像中獲取的第二目標區域圖像及所述視差資訊，得到活體檢測結果。
活體檢測子模組301，可以包括：第一特徵提取模組311，用於對所述視差資訊進行特徵提取，得到第三活體特徵資料；第一特徵融合模組312，用於對從所述第一目標區域圖像中提取的第一活體特徵資料、從所述第二目標區域圖像中提取的第二活體特徵資料和所述第三活體特徵資料進行融合處理，得到第一融合特徵資料；第一活體檢測子模組313，用於基於所述第一融合特徵資料，得到活體檢測結果。
在一些實施例中，活體檢測子模組301，可以包括：訓練模組321，用於將所述視差資訊作為監督，訓練活體檢測神經網路；第二活體檢測子模組322，用於利用訓練後的所述活體檢測神經網路進行活體檢測，得到活體檢測結果。
第二活體檢測子模組322，可以包括：第二特徵融合模組3221，用於通過所述訓練後的所述活體檢測神經網路對待檢測圖像對包括的第三圖像和第四圖像分別進行特徵提取，並對提取到的特徵資料進行融合處理，得到第二融合特徵資料；第三活體檢測子模組3222，用於通過所述訓練後的所述活體檢測神經網路對所述第二融合特徵資料進行處理，得到活體檢測結果。
在一些實施例中，訓練模組321，可以包括：第三特徵融合模組3211，用於通過所述活體檢測神經網路對從所述第一目標區域圖像中提取的第一活體特徵資料和從所述第二目標區域圖像中提取的第二活體特徵資料進行融合處理，得到第三融合特徵資料；網路損失確定模組3212，用於基於所述第三融合特徵資料和所述視差資訊，確定網路損失；網路調整模組3213，用於基於所述網路損失，調整所述活體檢測神經網路的參數。
如圖13示出的本公開實施例提供的活體檢測裝置的結構示意圖，活體檢測裝置還可以包括：獲取模組100和活體檢測模組600，其中：活體檢測模組600，用於通過活體檢測神經網路對所述第一圖像和所述第二圖像進行活體檢測處理，得到活體檢測結果，其中，所述活體檢測神經網路是基於樣本圖像對得到的視差資訊訓練得到的。
所述活體檢測模組600，用於將所述第一圖像和所述第二圖像輸入到活體檢測神經網路中進行活體檢測 處理，得到活體檢測結果，其中，所述第一圖像和所述第二圖像為人臉圖像。
所述裝置，還包括：雙目匹配模組，還用於從所述第一圖像中獲取目標對象的第一目標區域圖像，以及從所述第二圖像中獲取所述目標對象的第二目標區域圖像；所述活體檢測模組600，用於將所述第一目標區域圖像和所述第二目標區域圖像輸入所述活體檢測神經網路進行活體檢測處理，得到活體檢測結果。
所述裝置還包括：第三特徵融合模組，用於通過所述活體檢測神經網路對從所述第一圖像中提取的第一活體特徵資料和從所述第二圖像中提取的第二活體特徵資料進行融合處理，得到第三融合特徵資料；網路損失確定模組，用於基於所述第三融合特徵資料和所述視差資訊，確定網路損失；活體檢測模組600，用於基於所述網路損失，調整所述活體檢測神經網路的參數。需要說明的是，本公開實施例中的活體檢測裝置10為上述圖2至圖10實施例中的活體檢測裝置，該活體檢測裝置10中各單元的功能可對應參考上述各方法實施例中圖2至圖10實施例的具體實現方式，這裡不再贅述。
為了便於更好地實施本公開實施例的上述方案，本公開還對應提供了一種活體檢測設備，下面結合附圖來進行詳細說明。
如圖14示出的本公開實施例提供的活體檢測設備的結構示意圖，活體檢測設備110可以包括處理器1101、輸入單元1102、輸出單元1103、記憶體1104和通信單元1105、匯流排1106和圖像採集器1107，處理器1101、輸入單元1102、輸出單元1103、記憶體1104和通信單元1105可以通過匯流排1106相互連接，圖像採集器1107和使用者介面模組連接。記憶體1104可以是高速RAM記憶體，也可以是非易失性的記憶體(non-volatile memory)，例如至少一個磁碟記憶體。記憶體1104可選的還可以是至少一個位於遠離前述處理器1101的儲存系統。記憶體1104用於儲存應用程式碼，可以包括作業系統、網路通信模組、使用者介面模組以及活體檢測程式，通信單元1105用於與外部單元進行資訊交互，圖像採集器1107採集到的圖像通過記憶體1104中使用者介面模組上傳到記憶體1104中；處理器1101被配置用於調用所述程式碼，執行以下步驟。
通過圖像採集器1107採集到的圖像通過記憶體1104中使用者介面模組上傳到記憶體1104中，處理器1101再通過匯流排1106獲取該圖像，所述圖像包括雙目攝影設備的第一攝影頭採集得到的第一圖像，第二攝影頭採集得到的第二圖像，所述第一攝影頭和所述第二攝影頭能捕捉 的光波長不同；需要說明是的所述雙目攝影設備屬於圖像採集器1107。
通過處理器1101對所述第一圖像進行特徵提取得到第一特徵，對所述第二圖像進行特徵提取得到第二特徵。
通過處理器1101對所述第一特徵和所述第二特徵進行雙目匹配得到視差資訊。
通過處理器1101將所述第一目標區域圖像、所述第二目標區域圖像及所述視差資訊共同作為活體檢測方法的輸入進行活體檢測，並得到活體檢測判斷結果。
通過輸出單元1103輸出活體檢測判斷結果。
需要說明的是，本公開實施例中的活體檢測設備110為上述圖2至圖10實施例中的活體檢測設備，具體可對應參考上述各方法實施例中圖2至圖10實施例的具體實現方式，這裡不再贅述。
以下結合具體示例詳細說明本公開實施例提供的活體檢測方法。
在一個示例中，獲取的包含人臉的圖片或視頻由跨模態的雙目攝影頭拍攝採集。跨模態的雙目攝影頭包含一個可見光攝影頭和一個紅外攝影頭。其中，利用雙目攝影頭中的紅外攝影頭無法獲取螢幕翻拍人臉圖像資訊特點，能夠在後續檢測流程中直接防止偽造資訊的干擾。利用該雙目攝影頭現場拍攝獲取多張圖像。若採集的圖像對中包含的圖像的檔案類型不同，則轉換為相同類型的圖像。針對視頻還 需要通過選幀操作得到一對或多對圖像幀，然後儲存選幀得到的圖像等待下一步操作。選幀操作用於從視頻中選取至少一對圖像(一對圖像包含兩個圖像)作為待檢測圖像，該待檢測圖像為雙目攝影頭同時拍攝的兩個圖像，且圖像品質滿足品質條件。例如，選擇的圖像的清晰度達到清晰度閾值。可選地，圖像品質可以通過以下一項或多項標準衡量：目標對象在圖像是否完整，如雙目攝影頭拍攝的兩張圖像中人臉是否被完整包括進圖像內、圖片清晰度較高等等。以上選擇可以通過設定好的檢測方式自動檢測人臉朝向、清晰度、光線亮度等指標，根據預設好的準則，從整段待檢測視頻中，選取出指標最好的一對或幾對圖像，或是從不同交互模組中各選擇一對或幾對圖像。
在該示例中，對於通過選幀操作等後得到的圖像，還可以進行以下幾項操作中的至少一項：人臉檢測，從跨模態的雙目攝影頭獲取的左右兩幅圖像中分別檢測出人臉區域位置，並返回人臉區域的矩形框座標；若至少一幅圖像中檢測不到人臉，則繼續選幀進行人臉檢測，若超過限定時長仍然無法同時在左右兩幅圖像中檢測到人臉區域，則可直接判定為偽造人臉或輸出檢測超時的提示。若同時能檢測到人臉區域，則繼續進行後續流程；人臉關鍵點檢測，從上述人臉檢測獲取的左右兩幅人臉圖像中分別提取人臉的106個關鍵點的座標；人臉區域分割，利用左右兩組人臉關鍵點的座標確定包含左右兩個人臉的最小矩形，將該矩形人臉區域作為最後的 人臉區域，在左右兩幅圖像中截取相同位置且相同大小的兩個人臉圖像；對截取的相同大小的兩張圖像進行活體檢測。
下面結合一個具體示例詳細說明活體檢測的流程。
將獲取的兩張人臉區域圖像作為檢測的輸入且分別記為I1，I2，獲取輸入圖像的視差D。將D與I1，I2結合進行雙目活體檢測，其中，結合方案可以有直接結合和間接結合兩種方式。
在直接結合方式中，將視差D作為活體檢測網路的一個單獨分支或單獨通道輸入活體檢測網路中，這樣，三張包含不同人臉資訊的圖像共同輸入給深度神經網路進行活體檢測。例如，將活體檢測神經網路分為三個支路，分別對左、右、視差人臉區域進行特徵建模，在分別提取到各部分的特徵後，將三個特徵向量連接，並將連接後的特徵向量輸入統一的防偽檢測判別器，得到兩幅圖像結合視差資訊的特徵中是否存在偽造資訊的結果。若三者中有任意一項檢測出偽造資訊，則判定待檢測圖片中包含偽造資訊，輸出未通過人臉防偽檢測；否則，輸出通過人臉防偽檢測。
在間接結合方式中，將視差D作為訓練過程中的監督信號提供給活體檢測網路。通過視差D監督活體網路提取的人臉特徵，強制使提取到的人臉特徵學習到視差D中包含的人臉視差資訊，利用包含了視差資訊的特徵進行活體檢測判斷，提升活體檢測精度。例如，採用雙支路模型提取 左右兩幅圖像的特徵圖，在將該兩個特徵圖進行連接後，輸入雙目匹配得到的視差圖D作為監督信號，同時學習該監督信號的特徵，使該特徵圖通過大量資料的訓練獲得融合了左右人臉圖像及視差圖的特徵，將該特徵圖輸入防偽檢測判別器，得到是否存在偽造資訊的結果。而在活體檢測網路的應用過程中，仍可以輸入兩張人臉區域圖像而無需額外輸入視差，在提升活體網路精度的同時，不會增加原網路結構的大小，不增加網路執行時間。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過電腦程式來指令相關的硬體來完成，所述的程式可儲存於一電腦可讀取儲存介質中，該程式在執行時，可包括如上述各方法的實施例的流程。其中，所述的儲存介質可為U盤、磁碟、光碟、唯讀儲存記憶體(Read-Only Memory，ROM)或隨機儲存記憶體(Random Access Memory，RAM)等。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是(但不限於)電儲存裝置、磁儲存裝置、光儲存裝置、電磁儲存裝置、半導體儲存裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯 讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部儲存裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括對象導向的程式設計語言─諸如Smalltalk、C++等，以及常規的過程式程式設計語言─諸 如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路一包括局域網(LAN)或廣域網路(WAN)一連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備 以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上所揭露的僅為本公開較佳實施例而已，當然不能以此來限定本公開之權利範圍，因此依本公開申請專利範圍所作的等同變化，仍屬本公開所涵蓋的範圍。
圖2代表圖為流程圖，無元件符號說明。

Claims (23)

  1. 一種活體檢測方法，包括：獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像；對所述第一圖像和所述第二圖像進行雙目匹配處理，得到所述第一圖像和所述第二圖像的視差資訊；包括：從所述第一圖像中獲取目標對象的第一目標區域圖像，以及從所述第二圖像中獲取所述目標對象的第二目標區域圖像；基於所述第一目標區域圖像和所述第二目標區域圖像，得到所述第一圖像和所述第二圖像的視差資訊；根據所述視差資訊，得到活體檢測結果；所述根據所述視差資訊，得到活體檢測結果，包括：將所述視差資訊作為監督，訓練活體檢測神經網路；利用訓練後的所述活體檢測神經網路進行活體檢測，得到活體檢測結果；其中，所述將所述視差資訊作為監督，訓練活體檢測神經網路，包括：通過所述活體檢測神經網路對從所述第一目標區域圖像中提取的第一活體特徵資料和從所述第二目標區域圖像中提取的第二活體特徵資料進行融合處理，得到第三融合特徵資料；基於所述第三融合特徵資料和所述視差資訊，確定網路損失； 基於所述網路損失，調整所述活體檢測神經網路的參數。
  2. 根據請求項1所述的方法，其中，包括：所述第一圖像和所述第二圖像具有不同的模態。
  3. 根據請求項1或2所述的方法，其中，所述從所述第一圖像中獲取目標對象的第一目標區域圖像，包括：對所述第一圖像進行關鍵點檢測，得到所述目標對象的第一關鍵點資訊；基於所述目標對象的第一關鍵點資訊，從所述第一圖像中截取所述目標對象的第一目標區域圖像。
  4. 根據請求項1或2所述的方法，其中，所述基於所述第一目標區域圖像和所述第二目標區域圖像，得到所述第一圖像和所述第二圖像的視差資訊，包括：對所述第一目標區域圖像進行特徵提取處理，得到第一特徵資料，並對所述第二目標區域圖像進行特徵提取處理，得到第二特徵資料；基於所述第一特徵資料和所述第二特徵資料，得到所述視差資訊。
  5. 根據請求項4所述的方法，其中，所述對所述第一目標區域圖像進行特徵提取處理，得到第一特徵資料，並對所述第二目標區域圖像進行特徵提取處理，得到第二特徵資料，包括：利用雙目匹配神經網路中的第一特徵提取子網路對所述第一目標區域圖像進行特徵提取，得到第一特徵資料， 並利用所述雙目匹配神經網路中的第二特徵提取子網路對所述第二目標區域圖像進行特徵提取，得到第二特徵資料。
  6. 根據請求項4所述的方法，其中，所述對所述第一目標區域圖像進行特徵提取處理，得到第一特徵資料，並對所述第二目標區域圖像進行特徵提取處理，得到第二特徵資料，包括：對所述第一目標區域圖像和所述第二目標區域圖像分別進行歸一化處理，以使得歸一化處理後的所述第一目標區域圖像和歸一化處理後的所述第二目標區域圖像具有統一的分佈；利用雙目匹配神經網路中的特徵提取子網路對歸一化處理後的所述第一目標區域圖像進行特徵提取，得到第一特徵資料，並利用所述特徵提取子網路對歸一化處理後的所述第二目標區域圖像進行特徵提取，得到第二特徵資料。
  7. 根據請求項1所述的方法，其中，所述利用訓練後的所述活體檢測神經網路進行活體檢測，得到活體檢測結果，包括：通過所述訓練後的所述活體檢測神經網路對待檢測圖像對包括的第三圖像和第四圖像分別進行特徵提取，並對提取到的特徵資料進行融合處理，得到第二融合特徵資料；通過所述訓練後的所述活體檢測神經網路對所述第二融合特徵資料進行處理，得到活體檢測結果。
  8. 根據請求項1或2所述的方法，其中，所述第一圖像感測器或所述第二圖像感測器包括以下中的一種：可見光感測器、近紅外感測器、雙通感測器。
  9. 根據請求項1或2所述的方法，其中，所述目標對象為人臉。
  10. 一種活體檢測方法，包括：獲取雙目攝影頭的第一圖像感測器採集到的第一圖像以及所述雙目攝影頭的第二圖像感測器採集到的第二圖像；通過活體檢測神經網路對所述第一圖像和所述第二圖像進行活體檢測處理，得到活體檢測結果，其中，所述活體檢測神經網路是基於樣本圖像對的視差資訊訓練得到的；其中，所述活體檢測神經網路的訓練，包括：通過所述活體檢測神經網路對從所述第一圖像中提取的第一活體特徵資料和從所述第二圖像中提取的第二活體特徵資料進行融合處理，得到第三融合特徵資料；基於所述第三融合特徵資料和所述視差資訊，確定網路損失；基於所述網路損失，調整所述活體檢測神經網路的參數。
  11. 根據請求項10所述的方法，其中，所述通過活體檢測神經網路對所述第一圖像和所述第二圖像進行活體檢測處理，得到活體檢測結果，包括： 將所述第一圖像和所述第二圖像輸入到活體檢測神經網路中進行活體檢測處理，得到活體檢測結果，其中，所述第一圖像和所述第二圖像為人臉圖像。
  12. 根據請求項10所述的方法，其中，所述方法還包括：從所述第一圖像中獲取目標對象的第一目標區域圖像，以及從所述第二圖像中獲取所述目標對象的第二目標區域圖像；所述通過活體檢測神經網路對所述第一圖像和所述第二圖像進行活體檢測處理，得到活體檢測結果，包括：將所述第一目標區域圖像和所述第二目標區域圖像輸入所述活體檢測神經網路進行活體檢測處理，得到活體檢測結果。
  13. 一種活體檢測方法，包括：獲取雙目攝影頭的第一圖像感測器採集到的第一圖像，以及獲取所述雙目攝影頭的第二圖像感測器採集到的第二圖像；對所述第一圖像和所述第二圖像進行雙目匹配處理，得到所述第一圖像和所述第二圖像的視差資訊；根據所述視差資訊，得到活體檢測結果；所述根據所述視差資訊，得到活體檢測結果，包括：根據從所述第一圖像中獲取的第一目標區域圖像、從所述第二圖像中獲取的第二目標區域圖像及所述視差資訊，得到活體檢測結果； 其中，所述根據從所述第一圖像中獲取的第一目標區域圖像、從所述第二圖像中獲取的第二目標區域圖像及所述視差資訊，得到活體檢測結果，包括：對所述視差資訊進行特徵提取，得到第三活體特徵資料；對從所述第一目標區域圖像中提取的第一活體特徵資料、從所述第二目標區域圖像中提取的第二活體特徵資料和所述第三活體特徵資料進行融合處理，得到第一融合特徵資料；基於所述第一融合特徵資料，得到活體檢測結果。
  14. 根據請求項13所述的方法，其中：所述第一圖像和所述第二圖像具有不同的模態。
  15. 根據請求項13或14所述的方法，其中，所述對所述第一圖像和所述第二圖像進行雙目匹配處理，得到所述第一圖像和所述第二圖像的視差資訊，包括：從所述第一圖像中獲取目標對象的第一目標區域圖像，以及從所述第二圖像中獲取所述目標對象的第二目標區域圖像；基於所述第一目標區域圖像和所述第二目標區域圖像，得到所述第一圖像和所述第二圖像的視差資訊。
  16. 根據請求項15所述的方法，其中，所述從所述第一圖像中獲取目標對象的第一目標區域圖像，包括：對所述第一圖像進行關鍵點檢測，得到所述目標對象的第一關鍵點資訊； 基於所述目標對象的第一關鍵點資訊，從所述第一圖像中截取所述目標對象的第一目標區域圖像。
  17. 根據請求項15所述的方法，其中，所述基於所述第一目標區域圖像和所述第二目標區域圖像，得到所述第一圖像和所述第二圖像的視差資訊，包括：對所述第一目標區域圖像進行特徵提取處理，得到第一特徵資料，並對所述第二目標區域圖像進行特徵提取處理，得到第二特徵資料；基於所述第一特徵資料和所述第二特徵資料，得到所述視差資訊。
  18. 根據請求項17所述的方法，其中，所述對所述第一目標區域圖像進行特徵提取處理，得到第一特徵資料，並對所述第二目標區域圖像進行特徵提取處理，得到第二特徵資料，包括：利用雙目匹配神經網路中的第一特徵提取子網路對所述第一目標區域圖像進行特徵提取，得到第一特徵資料，並利用所述雙目匹配神經網路中的第二特徵提取子網路對所述第二目標區域圖像進行特徵提取，得到第二特徵資料。
  19. 根據請求項17所述的方法，其中，所述對所述第一目標區域圖像進行特徵提取處理，得到第一特徵資料，並對所述第二目標區域圖像進行特徵提取處理，得到第二特徵資料，包括：對所述第一目標區域圖像和所述第二目標區域圖像分別進行歸一化處理，以使得歸一化處理後的所述第一目標 區域圖像和歸一化處理後的所述第二目標區域圖像具有統一的分佈；利用雙目匹配神經網路中的特徵提取子網路對歸一化處理後的所述第一目標區域圖像進行特徵提取，得到第一特徵資料，並利用所述特徵提取子網路對歸一化處理後的所述第二目標區域圖像進行特徵提取，得到第二特徵資料。
  20. 根據請求項13或14所述的方法，其中，所述第一圖像感測器或所述第二圖像感測器包括以下中的一種：可見光感測器、近紅外感測器、雙通感測器。
  21. 根據請求項15所述的方法，其中，所述目標對象為人臉。
  22. 一種活體檢測裝置，包括處理器和記憶體，其中，所述記憶體用於儲存電腦程式代碼，所述處理器被配置用於調用所述電腦程式代碼，執行如請求項1至9或10至12任一項或請求項13至21任一項所述的方法。
  23. 一種電腦可讀儲存介質，其中，所述電腦可讀儲存介質儲存有電腦可讀指令，所述指令被處理器調用時，所述處理器執行如請求項1至9或10至12任一項或請求項13至21任一項所述的方法。
TW108139802A 2018-12-29 2019-11-01 活體檢測方法、裝置以及儲存介質 TWI766201B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811654149.6A CN111444744A (zh) 2018-12-29 2018-12-29 活体检测方法、装置以及存储介质
CN201811654149.6 2018-12-29

Publications (2)

Publication Number Publication Date
TW202026948A TW202026948A (zh) 2020-07-16
TWI766201B true TWI766201B (zh) 2022-06-01

Family

ID=71129591

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108139802A TWI766201B (zh) 2018-12-29 2019-11-01 活體檢測方法、裝置以及儲存介質

Country Status (6)

Country Link
US (1) US11393256B2 (zh)
JP (1) JP7096355B2 (zh)
CN (1) CN111444744A (zh)
SG (1) SG11202009691TA (zh)
TW (1) TWI766201B (zh)
WO (1) WO2020134238A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383256B (zh) * 2018-12-29 2024-05-17 北京市商汤科技开发有限公司 图像处理方法、电子设备及计算机可读存储介质
CN111104846B (zh) * 2019-10-16 2022-08-30 平安科技（深圳）有限公司 数据检测方法、装置、计算机设备和存储介质
CN112784953A (zh) * 2019-11-07 2021-05-11 佳能株式会社 对象识别模型的训练方法及装置
CN111260711B (zh) * 2020-01-10 2021-08-10 大连理工大学 一种弱监督可信代价传播的视差估计方法
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
KR20220028928A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 부분 영상 기반의 영상 처리 방법 및 장치
CN112200057B (zh) * 2020-09-30 2023-10-31 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113052035B (zh) * 2021-03-15 2024-07-12 上海商汤智能科技有限公司 活体检测方法、装置、电子设备及存储介质
CN113158877A (zh) * 2021-04-16 2021-07-23 上海云从企业发展有限公司 成像偏差分析及活体检测方法、装置及计算机存储介质
CN113822238A (zh) * 2021-11-22 2021-12-21 深圳佑驾创新科技有限公司 活体检测方法及其模组、设备
TWI807851B (zh) * 2022-06-08 2023-07-01 中華電信股份有限公司 一種領域泛化之人臉防偽的特徵解析系統、方法及其電腦可讀媒介
CN115115836B (zh) * 2022-06-29 2023-06-13 抖音视界有限公司 图像识别方法、装置、存储介质以及电子设备
CN118447071A (zh) * 2023-12-29 2024-08-06 荣耀终端有限公司 图像处理方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200707310A (en) * 2005-08-08 2007-02-16 Chunghwa Telecom Co Ltd Facial recognition method based on recognition of facial features
CN104766063A (zh) * 2015-04-08 2015-07-08 宁波大学 一种活体人脸识别方法
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
US20170061251A1 (en) * 2015-08-28 2017-03-02 Beijing Kuangshi Technology Co., Ltd. Liveness detection method, liveness detection system, and liveness detection device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003178306A (ja) * 2001-12-12 2003-06-27 Toshiba Corp 個人認証装置および個人認証方法
JP3954484B2 (ja) 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
JP6507046B2 (ja) 2015-06-26 2019-04-24 株式会社東芝 立体物検知装置及び立体物認証装置
CN106407914B (zh) * 2016-08-31 2019-12-10 北京旷视科技有限公司 用于检测人脸的方法、装置和远程柜员机系统
US10372974B2 (en) * 2017-01-11 2019-08-06 Microsoft Technology Licensing, Llc 3D imaging recognition by stereo matching of RGB and infrared images
KR102172200B1 (ko) * 2017-04-22 2020-10-30 고려대학교 산학협력단 라이브니스를 검증하는 모바일 장치 및 방법
CN107403168B (zh) * 2017-08-07 2020-08-11 青岛有锁智能科技有限公司 一种面部识别系统
CN108764091B (zh) * 2018-05-18 2020-11-17 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN108961327B (zh) * 2018-05-22 2021-03-30 深圳市商汤科技有限公司 一种单目深度估计方法及其装置、设备和存储介质
CN108921041A (zh) * 2018-06-06 2018-11-30 深圳神目信息技术有限公司 一种基于rgb和ir双目摄像头的活体检测方法及装置
EP3674973A1 (en) * 2018-12-28 2020-07-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection and object recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200707310A (en) * 2005-08-08 2007-02-16 Chunghwa Telecom Co Ltd Facial recognition method based on recognition of facial features
CN104766063A (zh) * 2015-04-08 2015-07-08 宁波大学 一种活体人脸识别方法
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
US20170061251A1 (en) * 2015-08-28 2017-03-02 Beijing Kuangshi Technology Co., Ltd. Liveness detection method, liveness detection system, and liveness detection device

Also Published As

Publication number Publication date
US20210027081A1 (en) 2021-01-28
CN111444744A (zh) 2020-07-24
WO2020134238A1 (zh) 2020-07-02
US11393256B2 (en) 2022-07-19
SG11202009691TA (en) 2020-10-29
JP2021516831A (ja) 2021-07-08
TW202026948A (zh) 2020-07-16
JP7096355B2 (ja) 2022-07-05

Similar Documents

Publication Publication Date Title
TWI766201B (zh) 活體檢測方法、裝置以及儲存介質
US10956714B2 (en) Method and apparatus for detecting living body, electronic device, and storage medium
JP6844038B2 (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
KR102142232B1 (ko) 얼굴 라이브니스 검출 방법 및 장치, 그리고 전자 디바이스
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
WO2022161286A1 (zh) 图像检测方法、模型训练方法、设备、介质及程序产品
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
JP6629513B2 (ja) ライブネス検査方法と装置、及び映像処理方法と装置
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
WO2021031523A1 (zh) 证件识别方法及装置
US11227149B2 (en) Method and apparatus with liveness detection and object recognition
US10277806B2 (en) Automatic image composition
CN112052830B (zh) 人脸检测的方法、装置和计算机存储介质
JP2021517303A (ja) 閾値ベースのマッチングによる遠隔ユーザの身元確認
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN112052832A (zh) 人脸检测的方法、装置和计算机存储介质
CN110991412A (zh) 人脸识别的方法、装置、存储介质及电子设备
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN111382654B (zh) 图像处理方法和装置以及存储介质
US11087121B2 (en) High accuracy and volume facial recognition on mobile platforms
Zhang et al. Light field salient object detection via hybrid priors
Shigeki et al. Directional characteristics evaluation of silhouette-based gait recognition
Tang et al. C-14: assured timestamps for drone videos
CN117576245B (zh) 一种图像的风格转换方法、装置、电子设备及存储介质