TWI686774B - 人臉活體檢測方法和裝置 - Google Patents

人臉活體檢測方法和裝置 Download PDF

Info

Publication number
TWI686774B
TWI686774B TW104128407A TW104128407A TWI686774B TW I686774 B TWI686774 B TW I686774B TW 104128407 A TW104128407 A TW 104128407A TW 104128407 A TW104128407 A TW 104128407A TW I686774 B TWI686774 B TW I686774B
Authority
TW
Taiwan
Prior art keywords
video
image sequence
lens
frame images
frame
Prior art date
Application number
TW104128407A
Other languages
English (en)
Other versions
TW201627917A (zh
Inventor
李鵬
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201627917A publication Critical patent/TW201627917A/zh
Application granted granted Critical
Publication of TWI686774B publication Critical patent/TWI686774B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Abstract

本發明涉及資料處理領域，特別是涉及一種人臉活體檢測方法和裝置。該方法包括：獲取待處理的視訊圖像序列，對待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定視訊圖像序列是否存在鏡頭變化，獲得第一判斷結果。當第一判斷結果表示視訊圖像序列存在鏡頭變化時，確定人臉活體檢測不通過。本發明提供的方法和裝置，通過視訊鏡頭邊界檢測處理有效區分了真實人臉與虛假照片、視訊，有效地防範了人臉活體檢測系統可能受到的照片、視訊攻擊，提高了檢測的準確性和安全性。

Description

人臉活體檢測方法和裝置
本發明涉及資料處理技術領域，特別是涉及一種人臉活體檢測方法和裝置。
人臉識別技術作為一種有效的身份認證與識別技術，由於其具有方便易用、使用者友好性、非接觸式等特點，目前得到了廣泛的應用。然而，人臉識別系統也容易受到一些非法使用者的攻擊，如何提高人臉識別系統的安全性成為一個廣泛關注的問題。
對人臉識別系統的攻擊，主要有3類：照片攻擊、視訊攻擊和3D模型攻擊。非法分子或者假冒使用者在獲得合法使用者的照片或視訊後，使用合法使用者的照片或視訊作為偽造的人臉試圖欺騙系統。為了區分真實人臉以及照片、視訊，防範人臉識別系統可能遭受的攻擊，現有技術主要存在3種檢測方法：(1)通過圖像分類的方法區分真實人臉成像與照片或視訊再次成像；(2)通過視訊跟蹤技術確定真實人臉，而不是靜態的照片或3D模型；(3)通過使用者交互技術來讓使用者隨機做一些動作， 再利用電腦視覺技術判斷使用者動作是否正確，從而確定採集的是人臉活體，而不是偽造的照片、視訊或者3D模型。
發明人在實現本發明的過程中發現，通過圖像分類的方法精度不高，錯判率較高，安全性較低；視訊跟蹤技術來進行人臉檢測雖然精度很高，但計算量很大，很難在不同的終端設備上均做到即時處理；第三種方案處理速度較快，可以在不同的終端設備上做到即時處理，但由於其精度相對受限，不能防範一些刻意的攻擊。因此，極需一種人臉活體檢測方法，可以防範一些刻意的攻擊，提高人臉活體檢測系統的安全性。
為解決上述技術問題，本發明公開了一種人臉活體檢測方法和裝置，可以透過視訊鏡頭邊界檢測提高人臉活體檢測的準確性和安全性。
技術方案如下：根據本發明實施例的第一方面，公開了一種人臉活體檢測方法，包括：獲取待處理的視訊圖像序列；對待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定視訊圖像序列是否存在鏡頭變化，獲得第一判斷結果；當第一判斷結果表示視訊圖像序列存在鏡頭變化時， 確定人臉活體檢測不通過。
根據本發明實施例的第二方面，公開了一種人臉活體檢測裝置，包括：獲取單元，用於獲取待處理的視訊圖像序列；第一檢測單元，用於對待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定視訊圖像序列是否存在鏡頭變化，獲得第一判斷結果；確定單元，用於當第一判斷結果表示視訊圖像序列存在鏡頭變化時，確定人臉活體檢測不通過。
本發明實施例的一個方面能夠達到的有益效果為：本發明透過對待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定視訊圖像序列是否存在鏡頭變化，當確定視訊圖像序列存在鏡頭變化時，則確定人臉活體檢測系統受到了攻擊或欺騙，確定人臉活體檢測不通過。本發明提供的方法透過視訊鏡頭邊界檢測處理有效區分了真實人臉與虛假照片和視訊，有效地防範了人臉活體檢測系統可能受到的照片、視訊攻擊，提高了檢測的準確性和安全性。
S101~S103‧‧‧步驟
S201~S211‧‧‧步驟
300‧‧‧裝置
301‧‧‧獲取單元
302‧‧‧第一檢測單元
303‧‧‧確定單元
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明中記載的一些實施例，對於本領域具有通常知識者來說，在不付出創造性勞動的前提下，還可以根據這些圖 式獲得其他的圖式。
圖1為本發明實施例提供的一種人臉活體檢測方法流程示意圖；圖2為本發明實施例提供的另一種人臉活體檢測方法流程示意圖；圖3為本發明實施例提供的一種人臉活體檢測裝置示意圖。
本發明公開了一種人臉活體檢測方法和裝置，可以透過視訊鏡頭邊界檢測提高人臉活體檢測的準確性和安全性。
為了使本技術領域的人員更好地理解本發明中的技術方案，下面將結合本發明實施例中的圖式，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域具有通常知識者在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。
本發明提供的方法可以應用於人臉識別檢測裝置中，人臉識別檢測裝置可以應用於各種電子設備中，電子設備可以是現有的、正在研發的或將來研發的任何電子設備，包括但不限於：現有的、正在研發的或將來研發的、桌上型電腦、筆記型電腦、移動終端(包括智慧型手機、非智 慧型手機、各種平板電腦)等。電子設備可以具有圖像採集單元，例如視訊攝影機。當然，也可以是人臉識別檢測裝置包含圖像採集單元。圖像採集單元用於採集視訊圖像序列。
參見圖1，為本發明實施例提供的一種人臉活體檢測方法流程示意圖，所示方法可以包括以下步驟：
S101，獲取待處理的視訊圖像序列。
人臉活體檢測裝置通過圖像採集單元，例如視訊攝影機採集視訊圖像，該圖像可以為一系列的視訊圖框。圖像採集單元可以是人臉活體檢測裝置內置的，也可以是外部設備配備的。
S102，對待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化，獲得第一判斷結果。
如果採集的視訊圖像序列是真實人臉形成的圖像，一般而言，是不會存在明顯的鏡頭變化的。當受到外來使用者的攻擊時，例如虛假使用者利用合法使用者的真實照片在鏡頭前晃動、扭曲、折疊來偽造使用者執行的動作以試圖欺騙或攻擊人臉活體檢測裝置時，這時採集的視訊圖像序列就可能存在鏡頭變化。因此，本發明實施例具體實現時，通過對待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化，從而確定是否受到攻擊或欺騙。
具體實現時，對待處理的視訊圖像序列執行視訊鏡頭 邊界檢測處理以確定視訊圖像序列是否存在鏡頭變化可以包括：對該待處理的視訊圖像序列執行視訊鏡頭邊界切變檢測處理以確定該視訊圖像序列是否存在鏡頭變化；和/或對該待處理的視訊圖像序列執行視訊鏡頭邊界漸變檢測處理以確定該視訊圖像序列是否存在鏡頭變化。
其中，視訊鏡頭邊界切變是指鏡頭的快速切換，往往在前後兩個視訊圖框中完成鏡頭變化。
視訊鏡頭邊界漸變是指逐漸緩慢的鏡頭變換，通常是一個視訊序列逐漸變化的過程。
視訊鏡頭邊界切變檢測和視訊鏡頭邊界漸變檢測均可以通過比較兩個視訊圖框圖元變化的劇烈程度來確定是否存在鏡頭變化。具體實現時，視訊鏡頭邊界檢測處理通常可以包括以下3個步驟：
S102A，在設定的圖像特徵提取空間中，對視訊圖像序列進行圖像特徵提取，獲得圖像特徵向量。
具體的，在進行圖像特徵提取時可以考慮不同的圖像特徵空間。設定的圖像特徵空間可以包括下述中的任意一者：單個圖元特徵提取空間、區塊特徵提取空間或者整圖框圖像特徵提取空間。各特徵提取空間各有優點，可以根據需要選用不同的圖像特徵空間。
在選定圖像特徵提取空間後，對於單個圖元特徵提取空間，則是逐個圖元的提取圖像特徵；對於區塊特徵提取空間而言，則是以劃定的矩形塊為單位提取圖像特徵；對 於整圖框圖像特徵提取空間而言，則是以整個圖框圖像為單位進行圖像特徵提取。
提取圖像特徵的方式可以是靈活多樣的，在本發明具體實現時，圖像特徵提取可以包括下述中的至少一者：
(1)在選定的顏色空間中，獲得視訊圖像序列中一個或多個視訊圖框的圖元灰度統計量或者圖元顏色統計量，將獲得的各圖元灰度統計量或者圖元顏色統計量組成圖像特徵向量。
其中，顏色空間可以是紅、綠、藍(RGB)顏色空間，還可以是HSV(英文為Hue,Saturation,Value，對應中文為色調，飽和度，亮度)顏色空間，當然還可以選定其他顏色空間，在此不進行限定。
具體實現時，為了消除光照變化的影響，在適當的顏色空間上選擇多個統計量，統計量可以是最大值、最小值或者中值等。利用獲得的各圖元灰度統計量或者圖元顏色統計量組成圖像特徵向量。
(2)獲得視訊圖像序列中一個或多個視訊圖框的灰度長條圖或者顏色長條圖。
對於鏡頭的邊界，相鄰圖像圖框的長條圖變化較大；而對於同一鏡頭內部的兩個相鄰圖框，其長條圖變化較小。儘管有些圖框的內容完全不同卻具有相似的長條圖，這種情況發生的概率非常小。因此，可以利用灰度長條圖或者顏色長條圖來進行視訊鏡頭邊界檢測。長條圖一般用於描述顏色的分佈情況，相似的圖片其灰度或顏色長條圖 較相似；而發生邊界變化的兩圖框圖像，其灰度或顏色長條圖則差別較大。提取視訊圖框的灰度長條圖或者顏色長條圖的方式可以參照現有技術存在的方法。
(3)獲得視訊圖像序列中一個或多個視訊圖框的圖像邊緣特徵。
具體實現時，圖像邊緣往往是圖元發生較大變化的點組成的，因此可以利用鏡頭切換出邊緣的不同模式特徵檢測鏡頭邊界，提取邊緣特徵的方法可以包括Canny、Sobel等方法。
(4)利用壓縮域將原始圖像轉換到其他特徵空間，獲得對應的圖像特徵向量。
具體實現時，利用壓縮域表達圖像的內在特徵，以區分鏡頭邊界與非邊界的不同模式。其中，壓縮域可以包括例如小波變化等方式，在此不進行限定，只要能夠更好地區分圖像特徵的方法均可以適用。
需要說明的是，以上圖像特徵提取的方法僅為示例性說明，可以單獨使用，也可以組合使用。當然，本領域技術人員在不付出創造性勞動下獲取的其他實現方式均屬於本發明的保護範圍。
S102B1，利用確定的兩圖框圖像的圖像特徵向量，計算得到兩圖框圖像的相似度；兩圖框圖像的相似度用於確定兩圖框圖像的內容連續性。
在確定了提取的圖像特徵及特徵空間後，就可以針對視訊中的任一圖框圖像提取出特徵向量。然後通過相似度 計算，度量連續圖框之間的內容連續性。其中，兩圖框圖像的相似度的計算方法可以是多種多樣的，可以基於提取的兩圖框圖像的圖像特徵向量而得到。下面，以兩圖框圖像的相似度基於兩圖框圖像的圖框差而得到為例進行說明。本領域技術人員可以理解的是，還可以採用其他方法計算兩圖框圖像的相似度，例如，通過計算兩圖框圖像的圖像特徵向量的比值的方法來衡量相似度，比值越接近1，相似度越高。當然，此為示例性說明，不視為對本申請的限制。本領域技術人員在不付出創造性勞動下獲得的其他實現方式均屬於本發明的保護範圍。
在一種可能的實現方式中，令f(i)代表第i圖框的圖像特徵向量，f(j)代表第j圖框的圖像特徵向量，則用下式表示相鄰圖框間的圖框差D(i,j)：D(i,j)=|f(j)-f(i)| (1)
其中，j=i+n(n
Figure 104128407-A0202-12-0009-5
1)，i
Figure 104128407-A0202-12-0009-6
1。
在計算連續性時，一般使j=i+1，則視訊中任意兩個相鄰圖框都會被處理，但是為了提高處理速度，減小處理量，有的方法會使j=i+n(n>1)。其中，n的取值範圍可以根據經驗或者需要設定，使得相隔n圖框的兩圖框之間的變化既能夠被捕捉到，同時又可以使得計算量減小，提高處理速度。
需要說明的是，通常情況下，圖框差越大，相似度越低；圖框差越小，相似度越大。一般地，如果兩圖框圖像處於同一鏡頭內，則相似度較大；如果兩圖框圖像處於鏡 頭邊界處，則兩圖框間的相似度較小。其中，相似度可以基於圖框差而得到。具體的實現方式可以是多樣的，兩圖框圖像的圖框差和兩圖框圖像的相似度之間呈反比關係，只要使二者滿足一定的比例關係即可。例如，可以將得到的圖框差D(i,j)的倒數作為相似度S(i,j)的值，當然，這只是示例性說明，具體實現時，還可以基於線性比例關係、採用其他計算方法利用圖框差得到相似度，在此不進行限定。
在另外一種可能的實現方式中，也可以直接通過計算兩圖框圖像的圖框差來確定兩圖框圖像的內容連續性。則有：
S102B2：利用確定的兩圖框圖像的圖像特徵向量，計算得到兩圖框圖像的圖框差；兩圖框圖像的圖框差用於確定兩圖框圖像的內容連續性。
其中，兩圖框圖像的圖框差的計算方式可以利用公式(1)所示方法進行。其中，兩圖框圖像可以是任意相鄰的兩圖框圖像，也可以是相隔n圖框的圖像。其中，n的取值範圍可以根據經驗或者需要設定，使得相隔n圖框的兩圖框圖像之間的變化既能夠被捕捉到，同時又可以使得計算量減小，提高處理速度。
對應地，當在S102B1利用相似度來衡量兩圖框圖像是否連續時，則可以利用相似度來確定視訊圖像序列是否存在鏡頭變化，則有：
S102C1，根據計算得到的兩圖框圖像的相似度確定兩 圖框圖像內容不連續時，確定該視訊圖像序列存在鏡頭變化。
需要說明的是，對於視訊鏡頭切變檢測處理和視訊鏡頭漸變檢測處理而言，S102C1具有不同的實現方式。
在一種可能的實現方式中，當視訊鏡頭邊界檢測處理包括視訊鏡頭切變檢測處理時，根據計算得到的兩圖框圖像的相似度確定兩圖框圖像內容不連續時，確定視訊圖像序列存在鏡頭變化包括：當兩圖框圖像的相似度小於第一預定閾值時，則確定兩圖框圖像存在切變，視訊圖像序列存在鏡頭變化。
具體實現時，可以定義以下分類函數：
Figure 104128407-A0202-12-0011-1
其中，T為第一預定閾值，S(i,j)表示相似度或者連續性值，L表示分類結果，如果S(i,j)大於T，則相似度較高，屬於同一鏡頭內部的相鄰圖框，反之則屬於鏡頭變化。其中，S(i,j)可以通過公式(1)中的D(i,j)得到。具體的獲取方式在此不進行限定，例如，將得到的圖框差D(i,j)的倒數作為相似度S(i,j)的值。
在另外一種可能的實現方式中，當視訊鏡頭邊界檢測處理包括視訊鏡頭切變檢測處理時，根據計算得到的兩圖框圖像的相似度確定兩圖框圖像內容不連續時，確定視訊圖像序列存在鏡頭變化包括：基於近鄰算法(英文為k-Nearest Neighbor，英文縮寫為KNN)分類器、決策樹或者支援向量機(英文為Support Vector Machine，英文縮 寫為SVM)對兩圖框圖像的相似度進行判定，當判定結果表示兩圖框圖像存在切變時，確定視訊圖像序列存在鏡頭變化。具體實現時，鏡頭邊界檢測可以看作是模式識別中的分類問題，很多判別式分類演算法可以被應用於此問題，包括但不限於KNN，決策樹、支援相量機(SVM)等。具體實現時，可以將獲取的圖像特徵向量輸入上述機器學習模型中，則會得到相應的判定結果。
在另一種可能的實現方式中，當視訊鏡頭邊界檢測處理包括視訊鏡頭漸變檢測處理時，根據計算得到的兩圖框圖像的相似度確定兩圖框圖像內容不連續時，確定視訊圖像序列存在鏡頭變化包括：當確定兩圖框圖像的相似度大於第三預定閾值且小於第四預定閾值時，獲取兩圖框圖像的後續圖像圖框；計算後續圖像圖框兩兩圖像圖框之間的相似度，直到兩兩圖像圖框之間的相似度大於第四預定閾值為止；計算獲得的各圖像圖框的累積相似度，當累積相似度小於第五預定閾值時，確定視訊圖像序列存在漸變，視訊圖像序列存在鏡頭變化。其中，各圖像圖框為從兩圖框圖像的第一圖框開始直到兩兩圖像圖框間的相似度大於第四預定閾值為止而得到的各圖像圖框。各圖像圖框的累積相似度具體可以是各圖像圖框兩兩圖像圖框之間的相似度的和值。
其中，第三預定閾值、第四預定閾值、第五預定閾值可以根據經驗或需要設定。相似度的計算方式可以與執行 切變檢測時的方式相同。
在另外一種可能的實現方式中，對應S102B2利用圖框差衡量兩圖框圖像內容不連續的方式，則有S102C2：
S102C2：根據計算得到的兩圖框圖像的圖框差確定兩圖框圖像內容不連續時，確定視訊圖像序列存在鏡頭變化。
在一種可能的實現方式中，當視訊鏡頭邊界檢測處理包括視訊鏡頭切變檢測處理時，根據計算得到的兩圖框圖像的圖框差確定兩圖框圖像內容不連續時，確定視訊圖像序列存在鏡頭變化包括： 當兩圖框圖像的圖框差大於第二預定閾值時，則確定兩圖框圖像存在切變，視訊圖像序列存在鏡頭變化。
在另外一種可能的實現方式中，當視訊鏡頭邊界檢測處理包括視訊鏡頭切變檢測處理時，根據計算得到的兩圖框圖像的圖框差確定兩圖框圖像內容不連續時，確定視訊圖像序列存在鏡頭變化包括： 基於近鄰算法(KNN)分類器、決策樹或者支援向量機(SVM)對兩圖框圖像的圖框差進行判定，當判定結果表示兩圖框圖像存在切變時，確定視訊圖像序列存在鏡頭變化。
需要說明的是，上述判斷視訊鏡頭存在漸變的方式還可以通過圖框差的計算而得到。
在又一種可能的實現方式中，當視訊鏡頭邊界檢測處理包括視訊鏡頭漸變檢測處理時，根據計算得到的兩圖框 圖像的圖框差確定兩圖框圖像內容不連續時，確定視訊圖像序列存在鏡頭變化包括：當確定兩圖框圖像的圖框差大於第六預定閾值且小於第七預定閾值時，獲取兩圖框圖像的後續圖像圖框；計算後續圖像圖框兩兩圖像圖框之間的圖框差，直到兩兩圖像圖框之間的圖框差小於第六預定閾值為止；計算獲得的各圖框差的和值，當和值大於第七預定閾值時，確定視訊圖像序列存在漸變，視訊圖像序列存在鏡頭變化。
其中，兩圖框圖像的圖框差可以通過兩圖框圖像的圖像特徵向量得到。具體可以採用公式(1)所示方法。
具體地，對於漸變檢測，可以使用雙閾值比較法進行。該方法設定兩個閾值第七預定閾值T h (較大的閾值)和第六預定閾值T 1 (較小的閾值)，當前後兩圖框差超過T h 時，判定為突變，這裡T h 的作用類似上述公式(2)中的T。如果前後兩圖框差沒有超過T h 卻超過了T 1 ，就判定為可能的漸變起始圖框，繼續檢查其後各圖框，如果仍超過T 1 ，就把圖框差累積起來，直至前後兩圖框差小於T 1 ，此時若累加圖框差超過了T h ，判定為漸變終結圖框，如果沒有超過T h ，就認為由其他原因造成，而不是漸變。
需要說明的是，以上方法僅為示例性說明，不視為對本發明的限制，還可以採用其他方法進行視訊鏡頭邊界檢測，例如基於背景建模的方法等。
S103，當第一判斷結果表示視訊圖像序列存在鏡頭變 化時，確定人臉活體檢測不通過。
當判斷視訊圖像序列存在鏡頭變化時，則認為人臉活體檢測不通過。
進一步的，在一種可能的實現方式中，上述方法還包括：基於人臉特徵點定位進行人臉活體檢測，獲得第二判斷結果；當第二判斷結果表示符合人臉活體檢測條件且第一判斷結果表示視訊圖像序列不存在鏡頭變化時，確定人臉活體檢測通過。
具體實現時，基於人臉特徵點定位進行人臉活體檢測，獲得第二判斷結果包括：獲取待處理的視訊圖像序列，檢測視訊圖像序列中是否有人臉出現；如果有，獲得人臉的大小和位置資訊；根據獲取的人臉大小和位置資訊對檢測到的人臉進行面部關鍵點定位；檢測採集到的使用者動作是否符合預設的條件，獲得第二判斷結果。當第二判斷結果表示使用者動作符合預設的條件時，確定檢測到人臉活體；當第二判斷結果表示使用者動作不符合預設的條件時，確定未檢測到人臉活體。其中，預設的條件可以是使用者動作是否為與隨機提示資訊相符的動作，和/或，使用者動作的個數是否符合預設數量。
在這一實施例中，透過對待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定視訊圖像序列是否存在鏡頭變化，當確定視訊圖像序列存在鏡頭變化時，則確定人臉 活體檢測系統受到了攻擊或欺騙，確定人臉活體檢測不通過。本發明提供的方法透過視訊鏡頭邊界檢測處理有效區分了真實人臉與虛假照片和視訊，有效地防範了人臉活體檢測系統可能受到的照片、視訊攻擊，提高了檢測的準確性和安全性。
參見圖2，為本發明實施例提供的另一種人臉活體檢測方法流程示意圖。
在圖2所示的方法中，結合了基於人臉特徵點定位和視訊鏡頭邊界檢測進行人臉活體檢測，有效的提高了攻擊防範的成功率，並且計算效率也在可接受的範圍內，適用範圍廣泛，不僅適用於桌上型電腦(PC)等處理能力強的設備，而且對於手機等終端設備也能很好適應。
下述方法需要使用者使用視訊攝影機來配合進行，整個過程在系統判斷為“成功”或“失敗”退出後，是持續進行的，流程圖中以視訊圖框輸入開始，然後分為兩條主線進行處理，分別代表基於人臉特徵點定位和使用者交互的技術和視訊鏡頭邊界檢測技術兩種方法。其中，S201至S205為執行視訊鏡頭邊界檢測的處理流程，S206至S210為基於人臉特徵點定位進行人臉活體檢測的處理流程。為提高處理效率，這兩個流程可以並行地執行，從而獲得更準確的判斷結果。當然，也可以先執行視訊鏡頭邊界檢測處理流程，確定不存在鏡頭變化後，再進行基於人臉特徵點定位的人臉活體檢測處理流程。當然，也可以先執行基於人臉特徵點定位的人臉活體檢測處理，確定符合人臉活 體檢測通過條件後，再判斷是否存在鏡頭變化。具體的實現方式可以是非常靈活的，可以根據需要調整。
S201，獲得待處理的視訊圖框。
S202，系統啟動，裝載視訊鏡頭切換模型。
在這一步驟中，初始化視訊鏡頭邊界檢測子系統的參數，並將視訊鏡頭切換模型裝載到記憶體中。
S203，執行視訊鏡頭邊界切變檢測處理。
具體的實現可以參照圖1所示實施例中介紹的方法執行。
S204，執行視訊鏡頭邊界漸變檢測處理。
具體的實現可以參照圖1所示實施例中介紹的方法執行。
其中，S203和S204之間沒有必然的先後執行順序，可以顛倒地執行，也可以並行地執行。
S205，根據視訊鏡頭邊界切變檢測處理結果和視訊鏡頭邊界漸變檢測處理結果確定是否存在鏡頭變化。
當根據視訊鏡頭邊界切變檢測處理結果和視訊鏡頭邊界漸變檢測處理結果確定存在鏡頭切變或者鏡頭漸變中的任意一者，則確定存在鏡頭變化。
如果確定存在鏡頭變化，確定人臉活體檢測不通過，退出系統。
如果確定不存在鏡頭變化，進入S211。
S206，系統啟動，裝載人臉特徵點檢測模型。
具體實現時，首先初始化基於人臉特徵點定位和使用 者交互子系統的參數，並將人臉特徵點模型檔載入到記憶體中。
S207，檢測視訊圖框中是否有人臉出現，若有，則返回人臉的大小和位置。具體實現時，可以採用基於Haar特徵的Adaboost分類器來作為人臉檢測器。
S208，執行人臉特徵點檢測。
具體實現時，檢測人臉中關鍵點的位置，這些關鍵點的資訊可以用於後續的動作檢測。關鍵點的個數可以根據實際需要來選定，例如可以僅使用雙眼、鼻尖、嘴角5個點，也可以使用佈滿全臉的68個點。人臉特徵點檢測的演算法可選的使用監督下降演算法(英文為Supervised Decent Method，英文縮寫為SDM)，此演算法是一種對人臉局部特徵描述與關鍵點位置之間的關係使用機器學習的演算法進行優化回歸的方法。需要說明的是，人臉特徵點檢測方法還可以選用其他的方法，如基於主動外觀模型(英文為Active Appearance Model，英文縮寫為AAM)的方法，基於隨機森林回歸(英文全稱為Random Forest Regression)的方法和基於可變部件模型(英文為Deformable Part Model，英文縮寫為DPM)的方法。本發明對此不進行限定，還可以根據實際需要選取其他人臉特徵點檢測的機器學習方法，通過構建人臉特徵點的模型，用訓練資料學習這些模型的參數，在實際預測中透過這些模型來定位人臉特徵點的位置。
S209，執行動作檢測。
動作包括但不限於搖頭、點頭、張嘴、閉眼等可以用臉部變化表達的動作。具體的，是透過規則和機器學習演算法根據前後相鄰的若干視訊圖框的人臉特徵點位置資訊估計動作變化。這裡的規則是透過資料人為的確定的動作變化的準則，而機器學習演算法則是透過大量標定的人臉特徵點數據與臉部動作的對應關係，去學習對應的機器學習模型，從而在新的人臉特徵點資料登錄時，可以透過此模型判別對應的臉部動作。
S210，判斷使用者根據隨機提示所做出的動作數目是否大於3。若否，則進入下一個動作提示；若是，且使用者都配合完成且檢測成功，則進入下一步判斷。
S211，當確定基於人臉特徵點定位進行人臉活體檢測成功且確定不存在鏡頭變化時，確定人臉活體檢測通過。
在這一實施例中，在基於人臉特徵點定位進行人臉活體檢測確定存在人臉時，還進一步通透過視訊鏡頭邊界檢測確定是否存在鏡頭變化，當不存在鏡頭變化時亦檢測到人臉時，才確定檢測通過。不符合人臉活體檢測通過條件或者判斷視訊序列存在鏡頭變化任意一者發生時，均認為檢測不通過。由此，結合了基於人臉特徵點定位的人臉活體檢測和鏡頭邊界檢測的優點，既提高了人臉活體檢測的準確度，又提高了系統的安全性，取得了更好的效果。
參見圖3，為本發明實施例提供的一種人臉活體檢測裝置示意圖。
一種人臉活體檢測裝置300，裝置300包括：
獲取單元301，用於獲取待處理的視訊圖像序列。
第一檢測單元302，用於對待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定視訊圖像序列是否存在鏡頭變化，獲得第一判斷結果。
確定單元303，用於當第一判斷結果表示視訊圖像序列存在鏡頭變化時，確定人臉活體檢測不通過。
進一步的，第一檢測單元包括：特徵提取單元，用於在設定的圖像特徵提取空間中，對視訊圖像序列進行圖像特徵提取，獲得圖像特徵向量；相似度或者圖框差計算單元，用於利用確定的兩圖框圖像的圖像特徵向量，計算得到兩圖框圖像的相似度或者圖框差；兩圖框圖像的相似度或者圖框差用於確定兩圖框圖像的內容連續性；判斷單元，用於根據計算得到的兩圖框圖像的相似度或者圖框差確定兩圖框圖像內容不連續時，確定視訊圖像序列存在鏡頭變化。
進一步的，特徵提取單元設定的圖像特徵提取空間包括下述中的任意一者：單個圖元特徵提取空間、區塊特徵提取空間或者整個圖框特徵提取空間。
進一步的，特徵提取單元包括下述中的至少一個子單元：顏色統計子單元，用於在選定的顏色空間中，獲得視訊圖像序列中一個或多個視訊圖框的圖元灰度統計量或者圖元顏色統計量，將獲得的各圖元灰度統計量或者圖元顏 色統計量組成圖像特徵向量；顏色長條圖獲得子單元，用於獲得視訊圖像序列中一個或多個視訊圖框的灰度長條圖或者顏色長條圖；邊緣特徵獲得子單元，用於獲得視訊圖像序列中一個或多個視訊圖框的圖像邊緣特徵；壓縮域子單元，用於利用壓縮域將原始圖像轉換到其他特徵空間，獲得對應的圖像特徵向量。
進一步的，確定的兩圖框圖像為第i圖框圖像與第j圖框圖像，其中j=i+n(n
Figure 104128407-A0202-12-0021-7
1)，i
Figure 104128407-A0202-12-0021-8
1。
進一步的，第一檢測單元具體用於執行視訊鏡頭切變檢測處理單元和/或視訊鏡頭漸變檢測處理單元。
進一步的，當第一檢測單元具體用於執行視訊鏡頭切變檢測處理時，判斷單元具體用於：當兩圖框圖像的相似度小於第一預定閾值時，則確定兩圖框圖像存在切變，視訊圖像序列存在鏡頭變化；或者，當兩圖框圖像的圖框差大於第二預定閾值時，則確定兩圖框圖像存在切變，視訊圖像序列存在鏡頭變化。
進一步的，當第一檢測單元具體用於執行視訊鏡頭切變檢測處理時，判斷單元具體用於：基於近鄰算法(KNN)分類器、決策樹或者支援向量機(SVM)對該兩圖框圖像的相似度或者圖框差進行判定，當該判定結果表示兩圖框圖像存在切變時，確定視訊圖像序列存在鏡頭變化。
進一步的，當第一檢測單元具體用於視訊鏡頭漸變檢測處理時，判斷單元具體用於：當確定兩圖框圖像的相似度大於第三預定閾值且小於第四預定閾值時，獲取兩圖框圖像的後續圖像圖框；計算後續圖像圖框兩兩圖像圖框之間的相似度，直到兩兩圖像圖框之間相似度大於第四預定閾值為止；計算獲得的各圖像圖框的累積相似度，當累積相似度小於第五預定閾值時，確定視訊圖像序列存在漸變，視訊圖像序列存在鏡頭變化。
當第一檢測單元具體用於視訊鏡頭漸變檢測處理時，判斷單元具體用於：當確定兩圖框圖像的圖框差大於第六預定閾值且小於第七預定閾值時，獲取該兩圖框圖像的後續圖像圖框；計算後續圖像圖框兩兩圖像圖框之間的圖框差，直到兩兩圖像圖框之間的圖框差小於第六預定閾值為止；計算獲得的各圖框差的和值，當和值大於第七預定閾值時，確定視訊圖像序列存在漸變，視訊圖像序列存在鏡頭變化。
進一步的，裝置還包括：第二檢測單元，用於基於人臉特徵點定位進行人臉活體檢測，獲得第二判斷結果；確定單元還用於當第二判斷結果表示符合人臉活體檢測條件且第一判斷結果表示視訊圖像序列不存在鏡頭變化時，確定人臉活體檢測通過。
上述各單元的功能可對應於圖1至圖2詳細描述的上 述方法的處理步驟，於此不再贅述。需要說明的是，由於對方法實施例進行詳細的闡述，對裝置實施例的描述較為簡單，本領域技術人員可以理解的是，可以參照方法實施例構造本發明的裝置實施例。本領域技術人員在不付出創造性勞動下獲取的其他實現方式均屬於本發明的保護範圍。
本領域技術人員可以理解的是，以上對方法和裝置實施例進行了示例性說明，以上不視為對本發明的限制，本領域技術人員在不付出創造性勞動下獲得的其他實現方式均屬於本發明的保護範圍。
需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的要素，並不排除在包括該要素的過程、方法、物品或者設備中還存在另外的相同要素。本發明可以在由電腦執行的電腦可執行指令的一般上下文中描述，例如程式模組。一般地，程式模組包括執行特定任務或實現特定抽象資料類型的常式、程式、物件、元件、資料結構等等。也 可以在分散式運算環境中實踐本發明，在這些分散式運算環境中，由通過通訊網路而被連接的遠端處理設備來執行任務。在分散式運算環境中，程式模組可以位於包括存放裝置在內的本地和遠端電腦儲存介質中。
本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於裝置實施例而言，由於其基本相似於方法實施例，所以描述得比較簡單，相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。本領域具有通常知識者在不付出創造性勞動的情況下，即可以理解並實施。以上所述僅是本發明的具體實施方式，應當指出，對於本技術領域具有通常知識者來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。

Claims (17)

  1. 一種人臉活體檢測方法，包括：獲取待處理的視訊圖像序列；對該待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化，以便獲得判斷該視訊圖像序列是否存在鏡頭變化的第一判斷結果；當該第一判斷結果表示該視訊圖像序列存在鏡頭變化時，確定人臉活體檢測不通過，其中，該對該待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化包括：在設定的圖像特徵提取空間中，對該視訊圖像序列進行圖像特徵提取，以獲得圖像特徵向量；利用確定的兩圖框圖像的圖像特徵向量，計算得到該兩圖框圖像的相似度或者圖框差，以確定該視訊圖像序列是否存在鏡頭變化；當該兩圖框圖像的相似度小於第一預定閾值時，則確定兩圖框圖像存在切變，該視訊圖像序列存在鏡頭變化；或者，當該兩圖框圖像的圖框差大於第二預定閾值時，則確定兩圖框圖像存在切變，該視訊圖像序列存在鏡頭變化。
  2. 根據申請專利範圍第1項的方法，其中，該圖像特徵提取空間包括下述中的任意一者：單個圖元特徵提取空間、區塊特徵提取空間或者整圖框圖像特徵提取空間。
  3. 根據申請專利範圍第1項的方法，其中，該對該視訊圖像序列進行圖像特徵提取，獲得圖像特徵向量包括下述中的至少一者：在選定的顏色空間中，獲得該視訊圖像序列中一個或多個視訊圖框的圖元灰度統計量或者圖元顏色統計量，將獲得的各圖元灰度統計量或者圖元顏色統計量組成圖像特徵向量；獲得該視訊圖像序列中一個或多個視訊圖框的灰度長條圖或者顏色長條圖；獲得該視訊圖像序列中一個或多個視訊圖框的圖像邊緣特徵；利用壓縮域將原始圖像轉換到其他特徵空間，獲得對應的圖像特徵向量。
  4. 根據申請專利範圍第1項的方法，其中，該確定的兩圖框圖像為第i圖框圖像與第j圖框圖像，其中j=i+n(n
    Figure 104128407-A0305-02-0029-1
    1)，i
    Figure 104128407-A0305-02-0029-2
    1。
  5. 根據申請專利範圍第1項的方法，其中，該視訊鏡頭邊界檢測處理包括視訊鏡頭切變檢測處理和/或視訊鏡頭漸變檢測處理。
  6. 根據申請專利範圍第1或5項的方法，其中，當該視訊鏡頭邊界檢測處理包括視訊鏡頭切變檢測處理時，該計算得到該兩圖框圖像的相似度或者圖框差，以確定該視訊圖像序列是否存在鏡頭變化包括：基於近鄰算法(KNN)分類器、決策樹或者支援向量 機(SVM)對該兩圖框圖像的相似度或者圖框差進行判定，當該判定結果表示兩圖框圖像存在切變時，確定該視訊圖像序列存在鏡頭變化。
  7. 根據申請專利範圍第1項的方法，其中，該方法還包括：基於人臉特徵點定位進行人臉活體檢測，獲得第二判斷結果；當該第二判斷結果表示符合人臉活體檢測條件且該第一判斷結果表示該視訊圖像序列不存在鏡頭變化時，確定人臉活體檢測通過。
  8. 一種人臉活體檢測方法，包括：獲取待處理的視訊圖像序列；對該待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化，以便獲得判斷該視訊圖像序列是否存在鏡頭變化的第一判斷結果；當該第一判斷結果表示該視訊圖像序列存在鏡頭變化時，確定人臉活體檢測不通過，其中，該對該待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化包括：在設定的圖像特徵提取空間中，對該視訊圖像序列進行圖像特徵提取，以獲得圖像特徵向量；利用確定的兩圖框圖像的圖像特徵向量，計算得到該兩圖框圖像的相似度或者圖框差；該兩圖框圖像的相似度 或者圖框差用於確定該兩圖框圖像的內容連續性；根據計算得到的該兩圖框圖像的相似度或者圖框差確定該兩圖框圖像內容不連續時，確定該視訊圖像序列存在鏡頭變化，其中，當該視訊鏡頭邊界檢測處理包括視訊鏡頭漸變檢測處理時，該根據計算得到的兩圖框圖像的相似度確定兩圖框圖像內容不連續時，確定該視訊圖像序列存在鏡頭變化包括：當確定兩圖框圖像的相似度大於第三預定閾值且小於第四預定閾值時，獲取該兩圖框圖像的後續圖像圖框；計算該後續圖像圖框兩兩圖像圖框之間的相似度，直到該兩兩圖像圖框之間的相似度大於第四預定閾值為止；計算獲得的各圖像圖框的累積相似度，當該累積相似度小於第五預定閾值時，確定該視訊圖像序列存在漸變，該視訊圖像序列存在鏡頭變化。
  9. 一種人臉活體檢測方法，包括：獲取待處理的視訊圖像序列；對該待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化，以便獲得判斷該視訊圖像序列是否存在鏡頭變化的第一判斷結果；當該第一判斷結果表示該視訊圖像序列存在鏡頭變化時，確定人臉活體檢測不通過，其中，該對該待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化包 括：在設定的圖像特徵提取空間中，對該視訊圖像序列進行圖像特徵提取，以獲得圖像特徵向量；利用確定的兩圖框圖像的圖像特徵向量，計算得到該兩圖框圖像的相似度或者圖框差；該兩圖框圖像的相似度或者圖框差用於確定該兩圖框圖像的內容連續性；根據計算得到的該兩圖框圖像的相似度或者圖框差確定該兩圖框圖像內容不連續時，確定該視訊圖像序列存在鏡頭變化，其中，當該視訊鏡頭邊界檢測處理包括視訊鏡頭漸變檢測處理時，該根據計算得到的兩圖框圖像的圖框差確定兩圖框圖像內容不連續時，確定該視訊圖像序列存在鏡頭變化包括：當確定兩圖框圖像的圖框差大於第六預定閾值且小於第七預定閾值時，獲取該兩圖框圖像的後續圖像圖框；計算該後續圖像圖框兩兩圖像圖框之間的圖框差，直到該兩兩圖像圖框之間的圖框差小於第六預定閾值為止；計算獲得的各圖框差的和值，當該和值大於第七預定閾值時，確定該視訊圖像序列存在漸變，該視訊圖像序列存在鏡頭變化。
  10. 一種人臉活體檢測裝置，包括：獲取單元，用於獲取待處理的視訊圖像序列；第一檢測單元，用於對該待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡 頭變化，以便獲得判斷該視訊圖像序列是否存在鏡頭變化的第一判斷結果；確定單元，用於當該第一判斷結果表示該視訊圖像序列存在鏡頭變化時，確定人臉活體檢測不通過，其中，該第一檢測單元包括：特徵提取單元，用於在設定的圖像特徵提取空間中，對該視訊圖像序列進行圖像特徵提取，獲得圖像特徵向量；相似度或者圖框差計算單元，用於利用確定的兩圖框圖像的圖像特徵向量，計算得到該兩圖框圖像的相似度或者圖框差；判斷單元，用於根據計算得到的兩圖框圖像的相似度或者圖框差，確定該視訊圖像序列是否存在鏡頭變化，當該兩圖框圖像的相似度小於第一預定閾值時，則確定兩圖框圖像存在切變，該視訊圖像序列存在鏡頭變化；或者，當該兩圖框圖像的圖框差大於第二預定閾值時，則確定兩圖框圖像存在切變，該視訊圖像序列存在鏡頭變化。
  11. 根據申請專利範圍第10項的裝置，其中，特徵提取單元設定的該圖像特徵提取空間包括下述中的任意一者：單個圖元特徵提取空間、區塊特徵提取空間或者整圖框圖像特徵提取空間。
  12. 根據申請專利範圍第10項的裝置，其中，該特徵提取單元包括下述中的至少一個子單元： 顏色統計子單元，用於在選定的顏色空間中，獲得該視訊圖像序列中一個或多個視訊圖框的圖元灰度統計量或者圖元顏色統計量，將獲得的各圖元灰度統計量或者圖元顏色統計量組成圖像特徵向量；顏色長條圖獲得子單元，用於獲得該視訊圖像序列中一個或多個視訊圖框的灰度長條圖或者顏色長條圖；邊緣特徵獲得子單元，用於獲得該視訊圖像序列中一個或多個視訊圖框的圖像邊緣特徵；壓縮域子單元，用於利用壓縮域將原始圖像轉換到其他特徵空間，獲得對應的圖像特徵向量。
  13. 根據申請專利範圍第10項的裝置，其中，該第一檢測單元具體用於執行視訊鏡頭切變檢測處理單元和/或視訊鏡頭漸變檢測處理單元。
  14. 根據申請專利範圍第10項的裝置，其中，當該第一檢測單元具體用於執行視訊鏡頭切變檢測處理時，該判斷單元具體用於：基於近鄰算法(KNN)分類器、決策樹或者支援向量機(SVM)對該兩圖框圖像的相似度或者圖框差進行判定，當該判定結果表示兩圖框圖像存在切變時，確定該視訊圖像序列存在鏡頭變化。
  15. 根據申請專利範圍第10項的裝置，其中，該裝置還包括：第二檢測單元，用於基於人臉特徵點定位進行人臉活體檢測，獲得第二判斷結果； 該確定單元還用於當該第二判斷結果表示符合人臉活體檢測條件且該第一判斷結果表示該視訊圖像序列不存在鏡頭變化時，確定人臉活體檢測通過。
  16. 一種人臉活體檢測裝置，包括：獲取單元，用於獲取待處理的視訊圖像序列；第一檢測單元，用於對該待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化，以便獲得判斷該視訊圖像序列是否存在鏡頭變化的第一判斷結果；確定單元，用於當該第一判斷結果表示該視訊圖像序列存在鏡頭變化時，確定人臉活體檢測不通過，其中，該第一檢測單元包括：特徵提取單元，用於在設定的圖像特徵提取空間中，對該視訊圖像序列進行圖像特徵提取，獲得圖像特徵向量；相似度或者圖框差計算單元，用於利用確定的兩圖框圖像的圖像特徵向量，計算得到該兩圖框圖像的相似度或者圖框差；該兩圖框圖像的相似度或者圖框差用於確定該兩圖框圖像的內容連續性；判斷單元，用於根據計算得到的兩圖框圖像的相似度或者圖框差確定兩圖框圖像內容不連續時，確定該視訊圖像序列存在鏡頭變化，其中，當該第一檢測單元具體用於視訊鏡頭漸變檢測處理時，該判斷單元具體用於： 當確定兩圖框圖像的相似度大於第三預定閾值且小於第四預定閾值時，獲取該兩圖框圖像的後續圖像圖框；計算該後續圖像圖框兩兩圖像圖框之間的相似度，直到該兩兩圖像圖框之間的相似度大於第四預定閾值為止；計算獲得的各圖像圖框的累積相似度，當該累積相似度小於第五預定閾值時，確定該視訊圖像序列存在漸變，該視訊圖像序列存在鏡頭變化。
  17. 一種人臉活體檢測裝置，包括：獲取單元，用於獲取待處理的視訊圖像序列；第一檢測單元，用於對該待處理的視訊圖像序列執行視訊鏡頭邊界檢測處理以確定該視訊圖像序列是否存在鏡頭變化，以便獲得判斷該視訊圖像序列是否存在鏡頭變化的第一判斷結果；確定單元，用於當該第一判斷結果表示該視訊圖像序列存在鏡頭變化時，確定人臉活體檢測不通過，其中，該第一檢測單元包括：特徵提取單元，用於在設定的圖像特徵提取空間中，對該視訊圖像序列進行圖像特徵提取，獲得圖像特徵向量；相似度或者圖框差計算單元，用於利用確定的兩圖框圖像的圖像特徵向量，計算得到該兩圖框圖像的相似度或者圖框差；該兩圖框圖像的相似度或者圖框差用於確定該兩圖框圖像的內容連續性；判斷單元，用於根據計算得到的兩圖框圖像的相似度或者圖框差確定兩圖框圖像內容不連續時，確定該視訊圖 像序列存在鏡頭變化，其中，當該第一檢測單元具體用於視訊鏡頭漸變檢測處理時，該判斷單元具體用於：當確定兩圖框圖像的圖框差大於第六預定閾值且小於第七預定閾值時，獲取該兩圖框圖像的後續圖像圖框；計算該後續圖像圖框兩兩圖像圖框之間的圖框差，直到該兩兩圖像圖框之間的圖框差小於第六預定閾值為止；計算獲得的各圖框差的和值，當該和值大於第七預定閾值時，確定該視訊圖像序列存在漸變，該視訊圖像序列存在鏡頭變化。
TW104128407A 2015-01-26 2015-08-28 人臉活體檢測方法和裝置 TWI686774B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510038591.6 2015-01-26
CN201510038591.6A CN105893920B (zh) 2015-01-26 2015-01-26 一种人脸活体检测方法和装置

Publications (2)

Publication Number Publication Date
TW201627917A TW201627917A (zh) 2016-08-01
TWI686774B true TWI686774B (zh) 2020-03-01

Family

ID=56434140

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104128407A TWI686774B (zh) 2015-01-26 2015-08-28 人臉活體檢測方法和裝置

Country Status (8)

Country Link
US (1) US9824280B2 (zh)
EP (1) EP3251056A4 (zh)
JP (1) JP2018508875A (zh)
KR (2) KR102122348B1 (zh)
CN (1) CN105893920B (zh)
SG (1) SG11201706036WA (zh)
TW (1) TWI686774B (zh)
WO (1) WO2016123008A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766618B (zh) * 2020-06-30 2022-06-01 大陸商北京市商湯科技開發有限公司 關鍵點檢測方法、電子設備及電腦可讀儲存介質

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010083238A1 (en) * 2009-01-13 2010-07-22 Futurewei Technologies, Inc. Method and system for image processing to classify an object in an image
JP6632288B2 (ja) * 2014-12-12 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
EP3232368A1 (en) * 2016-04-14 2017-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Determining facial parameters
US10289822B2 (en) * 2016-07-22 2019-05-14 Nec Corporation Liveness detection for antispoof face recognition
CN106778518B (zh) * 2016-11-24 2021-01-08 汉王科技股份有限公司 一种人脸活体检测方法及装置
CN108121943B (zh) * 2016-11-30 2022-05-06 阿里巴巴集团控股有限公司 基于图片的判别方法及装置和计算设备
US10726244B2 (en) * 2016-12-07 2020-07-28 Samsung Electronics Co., Ltd. Method and apparatus detecting a target
TWI731919B (zh) * 2017-01-19 2021-07-01 香港商斑馬智行網絡（香港）有限公司 圖像識別方法與裝置及度量學習方法與裝置
CN106874876A (zh) * 2017-02-20 2017-06-20 深圳市科漫达智能管理科技有限公司 一种人脸活体检测方法及装置
CN106961576A (zh) * 2017-03-10 2017-07-18 盛视科技股份有限公司 视频防尾随方法、装置及系统
US10515199B2 (en) * 2017-04-19 2019-12-24 Qualcomm Incorporated Systems and methods for facial authentication
CN107463875A (zh) * 2017-07-03 2017-12-12 金讯系统管理有限公司 一种判断人员身份的方法和装置
CN107424266A (zh) * 2017-07-25 2017-12-01 上海青橙实业有限公司 人脸识别解锁的方法和装置
CN107992842B (zh) * 2017-12-13 2020-08-11 深圳励飞科技有限公司 活体检测方法、计算机装置及计算机可读存储介质
CN107992845A (zh) * 2017-12-14 2018-05-04 广东工业大学 一种面部识别辨伪方法及装置、计算机设备
JP6986685B2 (ja) * 2018-03-12 2021-12-22 パナソニックＩｐマネジメント株式会社 情報処理装置
CN108734570A (zh) * 2018-05-22 2018-11-02 深圳壹账通智能科技有限公司 一种风险预测方法、存储介质和服务器
CN108764126B (zh) * 2018-05-25 2021-09-07 郑州目盼智能科技有限公司 一种嵌入式活体人脸跟踪系统
CN109359548B (zh) * 2018-09-19 2022-07-08 深圳市商汤科技有限公司 多人脸识别监控方法及装置、电子设备及存储介质
CN109492550B (zh) * 2018-10-25 2023-06-06 腾讯科技（深圳）有限公司 活体检测方法、装置及应用活体检测方法的相关系统
CN109543577A (zh) * 2018-11-09 2019-03-29 上海物联网有限公司 一种基于面部表情特征的疲劳驾驶检测预警方法
CN111191484A (zh) * 2018-11-14 2020-05-22 普天信息技术有限公司 视频图像中人物说话的识别方法和装置
CN111222380B (zh) * 2018-11-27 2023-11-03 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置、及其识别模型训练方法
CN111294644B (zh) * 2018-12-07 2021-06-25 腾讯科技（深圳）有限公司 视频拼接方法、装置、电子设备及计算机可读存储介质
CN109871834A (zh) * 2019-03-20 2019-06-11 北京字节跳动网络技术有限公司 信息处理方法和装置
JP7268725B2 (ja) * 2019-04-19 2023-05-08 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN111988600A (zh) * 2019-05-23 2020-11-24 武汉Tcl集团工业研究院有限公司 一种视频镜头切换的检测方法、装置及终端设备
CN110708568B (zh) * 2019-10-30 2021-12-10 北京奇艺世纪科技有限公司 一种视频内容突变检测方法及装置
CN113033582B (zh) * 2019-12-09 2023-09-26 杭州海康威视数字技术股份有限公司 模型训练方法、特征提取方法及装置
KR20210089038A (ko) 2020-01-07 2021-07-15 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102245349B1 (ko) * 2020-02-11 2021-04-28 한국과학기술원 비디오로부터의 색상 스키마 추출 방법 및 장치
CN111401315B (zh) * 2020-04-10 2023-08-22 浙江大华技术股份有限公司 基于视频的人脸识别方法、识别装置及存储装置
CN111611873A (zh) * 2020-04-28 2020-09-01 平安科技（深圳）有限公司 人脸替换检测方法及装置、电子设备、计算机存储介质
CN111652875B (zh) * 2020-06-05 2023-05-05 西安电子科技大学 一种视频伪造检测方法、系统、存储介质、视频监控终端
CN111767845B (zh) * 2020-06-29 2024-03-05 京东科技控股股份有限公司 证件识别方法及装置
CN112016482B (zh) * 2020-08-31 2022-10-25 成都新潮传媒集团有限公司 一种判别虚假人脸的方法、装置及计算机设备
CN112036386A (zh) * 2020-11-05 2020-12-04 中科创达软件股份有限公司 Tee环境下使用相机相近帧进行活体检测的方法及装置
CN112508773B (zh) * 2020-11-20 2024-02-09 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112287909B (zh) * 2020-12-24 2021-09-07 四川新网银行股份有限公司 一种随机生成检测点和交互要素的双随机活体检测方法
CN112613459B (zh) * 2020-12-30 2022-07-15 深圳艾摩米智能科技有限公司 一种人脸敏感区域检测方法
CN112749686B (zh) * 2021-01-29 2021-10-29 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备及存储介质
CN115035015A (zh) * 2021-02-23 2022-09-09 京东方科技集团股份有限公司 图片处理方法、装置、计算机设备及存储介质
WO2022265321A1 (en) 2021-06-15 2022-12-22 Samsung Electronics Co., Ltd. Methods and systems for low light media enhancement
EP4248657A4 (en) * 2021-06-15 2024-01-03 Samsung Electronics Co Ltd METHODS AND SYSTEMS FOR Amplifying LOW LIGHT MEDIA
CN113469085B (zh) * 2021-07-08 2023-08-04 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN115935433B (zh) * 2023-01-09 2023-05-26 北京匠数科技有限公司 屏幕实时隐私保护方法和装置
CN116582282B (zh) * 2023-07-13 2023-09-19 深圳市美力高集团有限公司 一种车载录像防篡改加密存储方法
CN116939171B (zh) * 2023-09-19 2024-03-26 南方电网数字电网研究院有限公司 输电线路监控方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI299471B (en) * 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
TW201201115A (en) * 2010-06-17 2012-01-01 Inst Information Industry Facial expression recognition systems and methods and computer program products thereof
CN102332093A (zh) * 2011-09-19 2012-01-25 汉王科技股份有限公司 一种掌纹和人脸融合识别的身份认证方法及装置
US20130015946A1 (en) * 2011-07-12 2013-01-17 Microsoft Corporation Using facial data for device authentication or subject identification
CN103514439A (zh) * 2012-06-26 2014-01-15 谷歌公司 面部识别

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US7274822B2 (en) 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
KR20050041761A (ko) * 2003-10-31 2005-05-04 학교법인 정석학원 샷 전환 프레임 검출방법
JP4619927B2 (ja) * 2005-11-01 2011-01-26 富士フイルム株式会社 顔検出方法および装置並びにプログラム
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
KR100886557B1 (ko) * 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
KR101423916B1 (ko) 2007-12-03 2014-07-29 삼성전자주식회사 복수의 얼굴 인식 방법 및 장치
US8705810B2 (en) * 2007-12-28 2014-04-22 Intel Corporation Detecting and indexing characters of videos by NCuts and page ranking
US20090290791A1 (en) 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
US8213689B2 (en) * 2008-07-14 2012-07-03 Google Inc. Method and system for automated annotation of persons in video content
US8325999B2 (en) 2009-06-08 2012-12-04 Microsoft Corporation Assisted face recognition tagging
KR101365789B1 (ko) 2010-05-26 2014-02-20 닛본 덴끼 가부시끼가이샤 얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체
US8494231B2 (en) * 2010-11-01 2013-07-23 Microsoft Corporation Face recognition in video content
TWI488128B (zh) 2012-03-07 2015-06-11 Altek Corp 人臉辨識系統及其人臉辨識方法
CN102750526A (zh) * 2012-06-25 2012-10-24 黑龙江科技学院 基于人脸图像的身份验证识别方法
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition
US9003196B2 (en) 2013-05-13 2015-04-07 Hoyos Labs Corp. System and method for authorizing access to access-controlled environments
US10169644B2 (en) * 2013-10-24 2019-01-01 Blue Line Security Solutions Llc Human facial detection and recognition system
US9176987B1 (en) * 2014-08-26 2015-11-03 TCL Research America Inc. Automatic face annotation method and system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI299471B (en) * 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
TW201201115A (en) * 2010-06-17 2012-01-01 Inst Information Industry Facial expression recognition systems and methods and computer program products thereof
US20130015946A1 (en) * 2011-07-12 2013-01-17 Microsoft Corporation Using facial data for device authentication or subject identification
CN102332093A (zh) * 2011-09-19 2012-01-25 汉王科技股份有限公司 一种掌纹和人脸融合识别的身份认证方法及装置
CN103514439A (zh) * 2012-06-26 2014-01-15 谷歌公司 面部识别

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766618B (zh) * 2020-06-30 2022-06-01 大陸商北京市商湯科技開發有限公司 關鍵點檢測方法、電子設備及電腦可讀儲存介質

Also Published As

Publication number Publication date
KR20200057099A (ko) 2020-05-25
EP3251056A1 (en) 2017-12-06
KR20170109007A (ko) 2017-09-27
WO2016123008A1 (en) 2016-08-04
SG11201706036WA (en) 2017-08-30
CN105893920A (zh) 2016-08-24
EP3251056A4 (en) 2018-01-31
CN105893920B (zh) 2019-12-27
US9824280B2 (en) 2017-11-21
KR102122348B1 (ko) 2020-06-15
JP2018508875A (ja) 2018-03-29
TW201627917A (zh) 2016-08-01
US20160217338A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
TWI686774B (zh) 人臉活體檢測方法和裝置
US10726244B2 (en) Method and apparatus detecting a target
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
US20190333241A1 (en) People flow analysis apparatus, people flow analysis system, people flow analysis method, and non-transitory computer readable medium
US9104914B1 (en) Object detection with false positive filtering
US8750573B2 (en) Hand gesture detection
WO2015149534A1 (zh) 基于Gabor二值模式的人脸识别方法及装置
WO2016084072A1 (en) Anti-spoofing system and methods useful in conjunction therewith
US11676390B2 (en) Machine-learning model, methods and systems for removal of unwanted people from photographs
CN111626163B (zh) 一种人脸活体检测方法、装置及计算机设备
WO2011156143A2 (en) Distinguishing live faces from flat surfaces
CN112052831A (zh) 人脸检测的方法、装置和计算机存储介质
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN113012383B (zh) 火灾检测报警方法、相关系统、相关设备及存储介质
US11315360B2 (en) Live facial recognition system and method
Rehman et al. Enhancing deep discriminative feature maps via perturbation for face presentation attack detection
Alshaikhli et al. Face-Fake-Net: The Deep Learning Method for Image Face Anti-Spoofing Detection: Paper ID 45
WO2018113206A1 (zh) 一种图像处理方法及终端
KR101681233B1 (ko) 저 에너지/해상도 가지는 얼굴 검출 방법 및 장치
Lin et al. Face detection based on skin color segmentation and SVM classification
CN108875467B (zh) 活体检测的方法、装置及计算机存储介质
JP5777389B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
WO2023105635A1 (ja) 判定装置、判定方法、および判定プログラム
CN110084135B (zh) 人脸识别方法、装置、计算机设备及存储介质
Goswami et al. Face detection using color based segmentation and edge detection