TW202407645A - 一種基於光流分析的人臉操控檢測方法及其檢測裝置 - Google Patents

一種基於光流分析的人臉操控檢測方法及其檢測裝置 Download PDF

Info

Publication number
TW202407645A
TW202407645A TW111148885A TW111148885A TW202407645A TW 202407645 A TW202407645 A TW 202407645A TW 111148885 A TW111148885 A TW 111148885A TW 111148885 A TW111148885 A TW 111148885A TW 202407645 A TW202407645 A TW 202407645A
Authority
TW
Taiwan
Prior art keywords
face
optical flow
frame
flow analysis
face area
Prior art date
Application number
TW111148885A
Other languages
English (en)
Other versions
TWI824892B (zh
Inventor
費志軍
邱雪濤
邢文繼
Original Assignee
大陸商中國銀聯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商中國銀聯股份有限公司 filed Critical 大陸商中國銀聯股份有限公司
Application granted granted Critical
Publication of TWI824892B publication Critical patent/TWI824892B/zh
Publication of TW202407645A publication Critical patent/TW202407645A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

一種基於光流分析的人臉操控檢測方法和人臉操控檢測裝置。該裝置包含：人臉採集模組，用於採集人臉影片；光流分析模組，用於選取所述人臉影片中的多個相鄰幀，並結合以下的人臉檢測模組檢測出的人臉區域，針對所述多個相鄰幀，對於檢測出的人臉區域之外區域的光流分布和圖元變化進行統計分析，根據所述統計分析結果判斷所述人臉影片是否存在被操控的可能性；以及人臉檢測模組，用於檢測光流分析模組選取的多個連續幀的圖像中的人臉區域。根據本發明，能夠有效檢測採用影像處理軟體或深度網路生成的面部操控影片，從而降低人臉識別系統使用的風險性。

Description

一種基於光流分析的人臉操控檢測方法及其檢測裝置
本發明明涉及電腦技術，具體地涉及一種基於光流分析的人臉操控檢測方法及其檢測裝置。
目前，人臉操控已經成為攻擊人臉識別系統的一種主要方法，之前曾經流行的人工智慧(artificial intelligence，簡稱AI)變臉特效就是基於人臉操控技術完成的，其對人臉識別相關的金融安全危害較大。另一方面，由於無法對基於人臉操控所偽造的人臉影片進行檢測也導致了人臉識別的推廣受到影響。而且，隨著人臉操控技術的不斷發展，未來會對基於人臉識別的支付應用產生較大危害。
因此，本發明的目的，即在提供一種能夠有效檢測採用影像處理軟體(photoshop，以下簡稱PS)或深度網路生成的面部操控影片的基於光流分析的人臉操控檢測方法及其檢測裝置。
於是，本發明基於光流分析的人臉操控檢測方法，包含以下步驟：人臉採集步驟，採集人臉影片，選取所述人臉影片中的能夠用於人臉識別的多個相鄰幀；光流分布檢測步驟，在所述多個相鄰幀之中利用盧卡斯-卡納德光流法檢測相鄰的第一幀和第二幀的光流向量集合；人臉檢測步驟，對於所述第一幀和所述第二幀分別檢測出第一人臉區域和第二人臉區域；以及圖元變化判斷步驟，基於所述第一幀和所述第二幀的光流向量集合，獲得所述第一幀的所述第一人臉區域之外的第一非人臉區域和所述第二幀的所述第二人臉區域之外的第二非人臉區域的光流向量集合，計算所述第一幀的所述第一人臉區域之外的第一非人臉區域和所述第二幀的所述第二人臉區域之外的第二非人臉區域的光流向量集合中非零向量占比P v，若非零向量占比P v大於預先設定的閾值，則判斷為人臉影片存在被操控的可能性。
在一些實施態樣中，其中，在所述非零向量占比P v大於預先設定的閾值的情況下還包含以下步驟：圖元處理步驟，對於所述第一幀和所述第二幀執行圖元逆映射；圖元比對步驟，比對所述第一幀的所述第一非人臉區域和所述第二幀的所述第二非人臉區域中的圖元是否相同，若判斷結果為兩者不相同，則異常幀數量增加1；以及判斷步驟，當所述異常幀數量大於預先設定的閾值的情況下，則確認人臉影片存在被操控的可能性。
在一些實施態樣中，其中，在所述光流分布檢測步驟中，採用盧卡斯-卡納德光流法計算N個相鄰幀中的第一幀和第二幀的光流向量集合V={v(x,y)}，其中，(x,y)為圖像中的圖元位置，其中，N為自然數。
在一些實施態樣中，其中，在所述人臉檢測步驟中，分別檢測所述第一幀和所述第二幀中的所述第一人臉區域和所述第二人臉區域，將所述第一人臉區域和所述第二人臉區域分別記為F i和F i+1。
在一些實施態樣中，其中，設置所述預先設定的閾值為a，其中，0＜a＜1。
在一些實施態樣中，其中，將a設定為在0＜a＜1的範圍內更靠近0的值。
在一些實施態樣中，其中，所述圖元比對步驟包含：將所述第一幀的所述第一非人臉區域和所述第二幀的所述第二非人臉區域進行圖元值比對，並統計兩幀中圖元值相同的圖元占比值s；判斷所述圖元占比值s是否滿足預先設定的規定範圍，若判斷結果為不滿足所述預先設定的規定範圍，則返回所述人臉採集步驟，若判斷結果為滿足預先設定的規定範圍，則異常幀數量增加1。
在一些實施態樣中，其中，所述預先設定的規定範圍為s=1。
在一些實施態樣中，其中，所述預先設定的規定範圍為s＜b，其中，0＜b＜1。
在一些實施態樣中，其中，設定為s為在0＜b＜1的範圍內更靠近1的值。
在一些實施態樣中，其中，在所述判斷步驟中，當所述異常幀數量大於預先設定的閾值的情況下，發出告警資訊。
本發明的另一目的在於提供一種基於光流分析的人臉操控檢測裝置，其能克服上述現有技術的至少一缺點。
於是，本發明所提供的一種基於光流分析的人臉操控檢測裝置包含人臉採集模組、人臉檢測模組、以及光流分析模組。該人臉採集模組採集人臉影片，選取所述人臉影片中的能夠用於進行人臉識別的多個相鄰幀。該人臉檢測模組對於所述多個相鄰幀中相鄰的第一幀和所述第二幀分別檢測出第一人臉區域和第二人臉區域。該光流分析模組利用盧卡斯-卡納德光流法檢測所述第一幀和所述第二幀的光流向量集合，基於所述第一幀和所述第二幀的光流向量集合，獲得所述第一幀的所述第一人臉區域之外的第一非人臉區域和所述第二幀的所述第二人臉區域之外的第二非人臉區域的光流向量集合，計算所述第一幀的所述第一人臉區域之外的第一非人臉區域和所述第二幀的所述第二人臉區域之外的第二非人臉區域的光流向量集合中非零向量占比P v，若非零向量占比P v大於預先設定的閾值，則判斷為人臉影片存在被操控的可能性。
在一些實施態樣中，其中，所述光流分析模組進一步對於所述第一幀和所述第二幀執行圖元逆映射，並且比對所述第一幀的所述第一非人臉區域和所述第二幀的所述第二非人臉區域中的圖元是否相同，若判斷結果為兩者不相同，則異常幀數量增加1，當所述異常幀數量大於預先設定的閾值的情況下，則確認人臉影片存在被操控的可能性。
在一些實施態樣中，該基於光流分析的人臉操控檢測裝置還包含人臉識別模組，用於從所述人臉採集模組採集的人臉影片中識別人臉特徵並完成人臉比對。
在一些實施態樣中，其中，在所述光流分析模組中，採用盧卡斯-卡納德光流法計算N個相鄰幀中的第一幀和第二幀的光流向量集合V={v(x,y)}，其中，(x,y)為圖像中的圖元位置，其中，N為自然數。
在一些實施態樣中，其中，在所述人臉檢測模組中，分別檢測所述第一幀和所述第二幀中的所述第一人臉區域和所述第二人臉區域，將所述第一人臉區域和所述第二人臉區域分別記為F i和F i+1。
在一些實施態樣中，其中，設置所述預先設定的閾值為a，其中，0＜a＜1。
在一些實施態樣中，其中，將a設定為在0＜a＜1的範圍內更靠近0的值。
在一些實施態樣中，其中，在所述光流分析模組中，將所述第一幀的所述第一非人臉區域和所述第二幀的所述第二非人臉區域進行圖元值比對，並統計兩幀中圖元值相同的圖元占比值s，判斷所述圖元占比值s是否滿足預先設定的規定範圍，若判斷結果為不滿足所述預先設定的規定範圍，則返回所述人臉採集模組，若判斷結果為滿足預先設定的規定範圍，則異常幀數量增加1。
在一些實施態樣中，其中，所述預先設定的規定範圍為s=1。
在一些實施態樣中，其中，所述預先設定的規定範圍為s＜b，其中，0＜b＜1。
在一些實施態樣中，其中，設定為s為在0＜b＜1的範圍內更靠近1的值。
本發明的另一目的在於提供一種電腦可讀媒體，其能克服上述現有技術的至少一缺點。
於是，本發明所提供的一種電腦可讀媒體，其上儲存有電腦程式，其中，該電腦程式被處理器執行時實現所述的基於光流分析的人臉操控檢測方法。
本發明的另一目的在於提供一種電腦設備，其能克服上述現有技術的至少一缺點。
於是，本發明所提供的一種電腦設備，包含儲存模組、處理器以及儲存在儲存模組上並可在處理器上運行的電腦程式，其中，所述處理器執行所述電腦程式時實現所述的基於光流分析的人臉操控檢測方法。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。若未特別定義，則本專利說明書中所述的「電連接」是泛指多個電子設備/裝置/元件之間透過導電材料彼此相連而實現的「有線電連接」，以及透過無線通訊技術進行單/雙向無線信號傳輸的「無線電連接」。另一方面，本專利說明書中所述的「電連接」也泛指多個電子設備/裝置/元件之間彼此直接相連而形成的「直接電連接」，以及多個電子設備/裝置/元件之間還透過其他電子設備/裝置/元件彼此間接相連而形成的「間接電連接」。
下面介紹的是本發明的多個實施例中的一些，旨在提供對本發明的基本瞭解。並不旨在確認本發明的關鍵或決定性的要素或限定所要保護的範圍。
出於簡潔和說明性目的，本文主要參考其示範實施例來描述本發明的原理。但是，本領域技術人員將容易地認識到，相同的原理可等效地應用於所有類型的基於光流分析的人臉操控檢測方法及其檢測裝置，並且可以在其中實施這些相同的原理，以及任何此類變化不背離本專利申請的真實精神和範圍。
而且，在下文描述中，參考了圖式，這些圖式圖示特定的示範實施例。在不背離本發明的精神和範圍的前提下可以對這些實施例進行電、機械、邏輯和結構上的更改。此外，雖然本發明的特徵是結合若干實施/實施例的僅其中之一來公開的，但是如針對任何給定或可識別的功能可能是期望和/或有利的，可以將此特徵與其他實施/實施例的一個或多個其他特徵進行組合。因此，下文描述不應視為在限制意義上的，並且本發明的範圍由所附請求項及其等效物來定義。
諸如“具備”和“包含”之類的用語表示除了具有在說明書和請求項中有直接和明確表述的單元（模組）和步驟以外，本發明的技術方案也不排除具有未被直接或明確表述的其它單元（模組）和步驟的情形。
在說明本發明的了本發明的基於光流分析的人臉操控檢測方法及其檢測裝置之前，先對於人臉操控以及盧卡斯-卡納德光流法的原理進行介紹。
人臉操控介紹：人臉操控就是通過一張個人的面部圖像，通過深度網路或其它方法生成出目標人的進行各種面部動作的動態影片。圖1是表示對於人臉圖像進行操控而生成的效果圖。圖1左側為原始的人臉圖像，右側為自動生成的面部動作影片幀。人臉操控技術很容易破解基於執行配合的人臉識別系統。
臉操控攻擊實例：圖2是表示人臉操控攻擊的示意圖。在圖2中，左側為攻擊者，右側為被攻擊對象。當攻擊者拿到被攻擊者的單張面部圖片後，可以通過合成軟體製作出被攻擊者的動態影片，從而在人臉識別系統進行活體檢測時配合執行活檢動作，如張嘴、眨眼等，最終騙過人臉檢測系統，實現攻擊目的。
LK光流法：LK光流法，即盧卡斯-卡納德(Lucas–Kanade，以下簡稱LK)光流法是一種兩幀差分的光流估計演算法。一般而言，LK光流用於特徵點的跟蹤，即前一幀中的關鍵圖元到當前幀所對應的位置，LK光流會有一些假設：（1）灰度不變假設：即真實世界的一個確定的點，反應到圖元級別，其灰度是不變的；（2）微擾不變假設：即時間的微小擾動不會引起圖元的劇烈變化；（3）空間一致假設：相同表面相鄰的點具有相似的運動，圖元級別時他們也比較接近。
基於（1）和（2）的兩個假設，便有如下約束方程： ，其中， 是指在z時刻，座標（x,y）的灰度值。對約束方程做一階泰勒展開可得： ，其中，R是高階餘項，視為0易得： ，兩邊除以 得到： ，其中， 和 為圖元點沿x和y方向的速度（位移對時間的導數）簡寫成： ，化作矩陣形式： 利用（3）的假設，可以假設在一個 的視窗內，光流是一個恆定的值，即： ，…， ，利用最小平方法可以直接得到解。
在本發明中，基於上述LK光流法，提出一種利用它實現的人臉操控檢測裝置以及人臉操控檢測方法。
圖3是表示本發明的基於光流分析的人臉操控檢測裝置的結構方塊圖。如圖3所示，本發明的基於光流分析的人臉操控檢測裝置包含：人臉採集模組100，用於採集人臉資料，其中，包含人臉影片；光流分析模組200，用於選取人臉影片中的多個連續幀，結合以下的人臉檢測模組300檢測出的人臉區域的位置資訊，針對所述相鄰幀的人臉區域之外的光流分布和圖元變化情況進行統計，根據統計結果判定人臉影片是否為偽造；人臉檢測模組300，用於檢測光流分析模組200選取的多個連續幀的圖像中人臉區域的位置資訊；以及人臉識別模組400，用於從所述人臉採集模組100採集的人臉影片中識別人臉特徵並完成人臉比對。
以下，參考第一實施例和第二實施例對於本發明的人臉操控檢測裝置的各個組成模組的具體功能以及本發明的基於光流分析的人臉操控檢測方法進行說明。
圖4是表示本發明的第一實施例的基於光流分析的人臉操控檢測方法的流程示意圖。參考圖4，對於本發明的第一實施例的基於光流分析的人臉操控檢測方法以及基於光流分析的人臉操控檢測裝置的各個模組所實現的具體功能進行說明。如圖4所示，本發明的第一實施方式的基於光流分析的人臉操控檢測方法包含以下步驟：S1：人臉採集模組100採集人臉資料，包含人臉影片，選取人臉影片中包含人臉識別過程的N個相鄰幀；S2：光流分析模組200採用LK光流法計算選取的N個相鄰幀中的第i幀（Z i）和第i+1幀（Z i+1）的光流向量集合V={v(x,y)}，其中，(x,y)為圖像中的圖元位置；S3：人臉檢測模組300檢測第i幀（Z i）和第i+1幀（Z i+1）中的人臉區域的位置資訊，分別記為F i和F i+1；S4：光流分析模組200統計第i幀圖像中人臉區域之外的光流向量集合 （即，在光流向量集合V中去除掉F i和F i+1所覆蓋的人臉區域之後的向量集合），並計算V i中非零向量占比P v；S5：光流分析模組200判斷是否若0＜P v＜a（a為設定閾值，0＜a＜1，由於正常拍攝影片中除人臉區域外只有少部分圖元會發生明顯移動，因此，a一般選取較小的值），若0＜P v＜a，則i=i+1執行步驟S2，若P v＞=a，則執行步驟S6；S6：異常幀數量q=q+1；S7：光流分析模組200判斷異常幀數量q是否符合要求，若不符合要求，則執行步驟S8，若符合要求則執行步驟S9，具體地，若判斷異常幀數量q＞k（k為異常幀數告警閾值，k＜N），則說明影片中多幀出現異常，存在偽造可能，則執行步驟S8，否則，則說明影片正常，則繼續執行步驟S9；S8：光流分析模組200發出告警資訊；以及S9：由人臉識別模組400完成後續的人臉比對過程並回饋比對結果。
在第一實施例的基礎上，為了更準確地對於偽造可能進行判斷，提出了第二實施例，第二實施例主要是在第一實施例的基礎上增加了圖元逆映射和圖元值比對。
圖5是表示本發明的第二實施例的基於光流分析的人臉操控檢測方法的流程示意圖。結合圖5對於本發明的第二實施方式的基於光流分析的人臉操控檢測方法以及基於光流分析的人臉操控檢測裝置的各個模組所實現的具體功能進行說明。如圖5所示，本發明的第二實施例的基於光流分析的人臉操控檢測方法包含以下步驟：S1：人臉採集模組100採集人臉資料，包含人臉影片，選取人臉影片中包含人臉識別過程的N個相鄰幀；S2：光流分析模組200採用LK光流法計算選取的N個相鄰幀中的第i幀（Z i）和第i+1幀（Z i+1）的光流向量集合V={v(x,y)}，其中，(x,y)為圖像中的圖元位置；S3：人臉檢測模組300檢測第i幀（Z i）和第i+1幀（Z i+1）中的人臉區域的位置資訊，分別記為F i和F i+1；S4：光流分析模組200統計第i幀圖像中人臉區域之外的光流向量集合 （即，在光流向量集合V中去除掉F i和F i+1所覆蓋的人臉區域之後的向量集合），並計算V i中非零向量占比P v；S5：光流分析模組200判斷是否若0＜P v＜a（a為設定閾值，0＜a＜1，由於正常拍攝影片中除人臉區域外只有少部分圖元會發生明顯移動，因此，a一般選取較小的值），若0＜P v＜a，則i=i+1執行步驟S2，若P v＞=a，則執行步驟S6；S6：若P v＞=a，則執行圖元逆映射Z i+1=Z i+1（x-vx，y-vy），所謂圖元逆映射是指，把移動後的圖元回退到移動前的位置，這裡進行圖元逆映射是因為，若P v＞=a，則表示圖元發生了明顯移動，可以認為目標影片有偽造可能。例如，其中可能之一是因為圖像中的背景部分可能被整體平移了，此時根據光流分析的結果無法判斷背景是否是通過PS操作等進行了平移，因此，在第二實施例中，為了更準確地對於偽造可能進行判斷，進一步地將移動後的圖元逆向映射到移動前的位置；S7：光流分析模組200將Z i和Z i+1中的非人臉區域進行圖元值比對，並統計兩幀圖像中圖元值相同的占比s，判斷是否s=1，若判斷為s=1說明兩幀圖像背景完全相同，則繼續步驟S8，否則返回步驟S2，若判斷為S≠1，則繼續判斷是否s＜b，若s＜b（b設定閾值，0＜b＜1，由於P v=0說明兩幀圖像大部分圖元應該一樣，所以b取接近1的值），則繼續步驟S8，否則返回步驟S2；S8：則異常幀數量q=q+1；S9：光流分析模組200判斷異常幀數量q是否符合要求，若不符合要求，則執行步驟S10，若符合要求則執行步驟S11，具體地，若判異常幀數量q＞k（k為異常幀數告警閾值，k＜N），則說明影片中多幀出現異常，存在偽造可能，則執行步驟S10，否則，則說明影片正常，則繼續執行步驟S11；S10：光流分析模組200發出告警資訊；以及S11：由人臉識別模組400完成後續的人臉比對過程並回饋比對結果。
本發明的基於光流分析的人臉操控檢測方法及其檢測裝置，通過選取影片中的多個連續幀，針對相鄰幀中人臉區域之外的光流分布和圖元變化情況進行統計，根據統計結果判定影片是否存在被操控偽造的可能性。
在本發明中，通過對人臉影片的光流分布進行統計分析能夠有效檢測採用PS或深度網路生成的面部操控影片，從而降低人臉識別系統使用的風險性。
以上例子主要說明了本發明的基於光流分析的人臉操控檢測方法及其檢測裝置。儘管只對其中一些本發明的具體實施方式進行了描述，但是本領域普通技術人員應當瞭解，本發明可以在不偏離其主旨與範圍內以許多其他的形式實施。因此，所展示的例子與實施方式被視為示意性的而非限制性的，在不脫離如所附各請求項所定義的本發明精神及範圍的情況下，本發明可能涵蓋各種的修改與替換。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
100:人臉採集模組 200:光流分析模組 300:人臉檢測模組 400:人臉識別模組 S1~S11:步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是表示對於人臉圖像進行操控而生成的效果圖； 圖2是表示人臉操控攻擊的示意圖； 圖3是表示本發明基於光流分析的人臉操控檢測裝置的結構方塊圖； 圖4是表示本發明的第一實施例的基於光流分析的人臉操控檢測方法的流程示意圖；及 圖5是表示本發明的第二實施例的基於光流分析的人臉操控檢測方法的流程示意圖。
S1~S9:步驟

Claims (24)

  1. 一種基於光流分析的人臉操控檢測方法，包含以下步驟： 人臉採集步驟，採集人臉影片，選取所述人臉影片中的能夠用於人臉識別的多個相鄰幀； 光流分布檢測步驟，在所述多個相鄰幀之中利用盧卡斯-卡納德光流法檢測相鄰的第一幀和第二幀的光流向量集合； 人臉檢測步驟，對於所述第一幀和所述第二幀分別檢測出第一人臉區域和第二人臉區域；以及 圖元變化判斷步驟，基於所述第一幀和所述第二幀的光流向量集合，獲得所述第一幀的所述第一人臉區域之外的第一非人臉區域和所述第二幀的所述第二人臉區域之外的第二非人臉區域的光流向量集合，計算所述第一幀的所述第一人臉區域之外的第一非人臉區域和所述第二幀的所述第二人臉區域之外的第二非人臉區域的光流向量集合中非零向量占比P v，若非零向量占比P v大於預先設定的閾值，則判斷為人臉影片存在被操控的可能性。
  2. 如請求項1所述的基於光流分析的人臉操控檢測方法，其中，在所述非零向量占比P v大於預先設定的閾值的情況下還包含含以下步驟： 圖元處理步驟，對於所述第一幀和所述第二幀執行圖元逆映射； 圖元比對步驟，比對所述第一幀的所述第一非人臉區域和所述第二幀的所述第二非人臉區域中的圖元是否相同，若判斷結果為兩者不相同，則異常幀數量增加1；以及 判斷步驟，當所述異常幀數量大於預先設定的閾值的情況下，則確認人臉影片存在被操控的可能性。
  3. 如請求項1或2所述的基於光流分析的人臉操控檢測方法，其中，在所述光流分布檢測步驟中，採用盧卡斯-卡納德光流法計算N個相鄰幀中的第一幀和第二幀的光流向量集合V={v(x,y)}，其中，(x,y)為圖像中的圖元位置，其中，N為自然數。
  4. 如請求項1或2所述的基於光流分析的人臉操控檢測方法，其中，在所述人臉檢測步驟中，分別檢測所述第一幀和所述第二幀中的所述第一人臉區域和所述第二人臉區域，將所述第一人臉區域和所述第二人臉區域分別記為F i和F i+1。
  5. 如請求項3所述的基於光流分析的人臉操控檢測方法，其中，設置所述預先設定的閾值為a，其中，0＜a＜1。
  6. 如請求項5所述的基於光流分析的人臉操控檢測方法，其中，將a設定為在0＜a＜1的範圍內更靠近0的值。
  7. 如請求項4所述的基於光流分析的人臉操控檢測方法，其中，所述圖元比對步驟包含： 將所述第一幀的所述第一非人臉區域和所述第二幀的所述第二非人臉區域進行圖元值比對，並統計兩幀中圖元值相同的圖元占比值s； 判斷所述圖元占比值s是否滿足預先設定的規定範圍，若判斷結果為不滿足所述預先設定的規定範圍，則返回所述人臉採集步驟，若判斷結果為滿足預先設定的規定範圍，則異常幀數量增加1。
  8. 如請求項7所述的基於光流分析的人臉操控檢測方法，其中，所述預先設定的規定範圍為s=1。
  9. 如請求項8所述的基於光流分析的人臉操控檢測方法，其中，所述預先設定的規定範圍為s＜b，其中，0＜b＜1。
  10. 如請求項8所述的基於光流分析的人臉操控檢測方法，其中，設定為s為在0＜b＜1的範圍內更靠近1的值。
  11. 如請求項1所述的基於光流分析的人臉操控檢測方法，其中，在所述判斷步驟中，當所述異常幀數量大於預先設定的閾值的情況下，發出告警資訊。
  12. 一種基於光流分析的人臉操控檢測裝置，包含： 人臉採集模組，採集人臉影片，選取所述人臉影片中的能夠用於進行人臉識別的多個相鄰幀； 人臉檢測模組，對於所述多個相鄰幀中相鄰的第一幀和所述第二幀分別檢測出第一人臉區域和第二人臉區域；以及 光流分析模組，利用盧卡斯-卡納德光流法檢測所述第一幀和所述第二幀的光流向量集合，基於所述第一幀和所述第二幀的光流向量集合，獲得所述第一幀的所述第一人臉區域之外的第一非人臉區域和所述第二幀的所述第二人臉區域之外的第二非人臉區域的光流向量集合，計算所述第一幀的所述第一人臉區域之外的第一非人臉區域和所述第二幀的所述第二人臉區域之外的第二非人臉區域的光流向量集合中非零向量占比P v，若非零向量占比P v大於預先設定的閾值，則判斷為人臉影片存在被操控的可能性。
  13. 如請求項12所述的基於光流分析的人臉操控檢測裝置，其中，所述光流分析模組進一步對於所述第一幀和所述第二幀執行圖元逆映射，並且比對所述第一幀的所述第一非人臉區域和所述第二幀的所述第二非人臉區域中的圖元是否相同，若判斷結果為兩者不相同，則異常幀數量增加1，當所述異常幀數量大於預先設定的閾值的情況下，則確認人臉影片存在被操控的可能性。
  14. 如請求項12或13所述的基於光流分析的人臉操控檢測裝置，還包含： 人臉識別模組，用於從所述人臉採集模組採集的人臉影片中識別人臉特徵並完成人臉比對。
  15. 如請求項12或13所述的基於光流分析的人臉操控檢測裝置，其中，在所述光流分析模組中，採用盧卡斯-卡納德光流法計算N個相鄰幀中的第一幀和第二幀的光流向量集合V={v(x,y)}，其中，(x,y)為圖像中的圖元位置，其中，N為自然數。
  16. 如請求項12或13所述的基於光流分析的人臉操控檢測裝置，其中，在所述人臉檢測模組中，分別檢測所述第一幀和所述第二幀中的所述第一人臉區域和所述第二人臉區域，將所述第一人臉區域和所述第二人臉區域分別記為F i和F i+1。
  17. 如請求項16所述的基於光流分析的人臉操控檢測裝置，其中，設置所述預先設定的閾值為a，其中，0＜a＜1。
  18. 如請求項17所述的基於光流分析的人臉操控檢測裝置，其中，將a設定為在0＜a＜1的範圍內更靠近0的值。
  19. 如請求項15所述的基於光流分析的人臉操控檢測裝置，其中，在所述光流分析模組中，將所述第一幀的所述第一非人臉區域和所述第二幀的所述第二非人臉區域進行圖元值比對，並統計兩幀中圖元值相同的圖元占比值s，判斷所述圖元占比值s是否滿足預先設定的規定範圍，若判斷結果為不滿足所述預先設定的規定範圍，則返回所述人臉採集模組，若判斷結果為滿足預先設定的規定範圍，則異常幀數量增加1。
  20. 如請求項19所述的基於光流分析的人臉操控檢測裝置，其中，所述預先設定的規定範圍為s=1。
  21. 如請求項20所述的基於光流分析的人臉操控檢測裝置，其中，所述預先設定的規定範圍為s＜b，其中，0＜b＜1。
  22. 如請求項21所述的基於光流分析的人臉操控檢測裝置，其中，設定為s為在0＜b＜1的範圍內更靠近1的值。
  23. 一種電腦可讀媒體，其上儲存有電腦程式，其中，該電腦程式被處理器執行時實現請求項1~11任意一項所述的基於光流分析的人臉操控檢測方法。
  24. 一種電腦設備，包含儲存模組、處理器以及儲存在儲存模組上並可在處理器上運行的電腦程式，其中，所述處理器執行所述電腦程式時實現請求項1~11任意一項所述的基於光流分析的人臉操控檢測方法。
TW111148885A 2022-08-03 2022-12-20 一種基於光流分析的人臉操控檢測方法及其檢測裝置 TWI824892B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210929784.0A CN115719461A (zh) 2022-08-03 2022-08-03 一种基于光流分析的人脸操控检测方法及其检测装置
CN202210929784.0 2022-08-03

Publications (2)

Publication Number Publication Date
TWI824892B TWI824892B (zh) 2023-12-01
TW202407645A true TW202407645A (zh) 2024-02-16

Family

ID=85253915

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111148885A TWI824892B (zh) 2022-08-03 2022-12-20 一種基於光流分析的人臉操控檢測方法及其檢測裝置

Country Status (3)

Country Link
CN (1) CN115719461A (zh)
TW (1) TWI824892B (zh)
WO (1) WO2024027052A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105308618B (zh) * 2013-06-27 2020-04-03 英特尔公司 借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别
US10990808B2 (en) * 2016-02-09 2021-04-27 Aware, Inc. Face liveness detection using background/foreground motion analysis
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
TWI733420B (zh) * 2020-04-22 2021-07-11 國立中央大學 動作辨識系統
CN111611873A (zh) * 2020-04-28 2020-09-01 平安科技（深圳）有限公司 人脸替换检测方法及装置、电子设备、计算机存储介质
CN111985427A (zh) * 2020-08-25 2020-11-24 深圳前海微众银行股份有限公司 活体检测方法、设备及可读存储介质
CN112488018A (zh) * 2020-12-09 2021-03-12 巽腾(广东)科技有限公司 双目活体检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN115719461A (zh) 2023-02-28
WO2024027052A1 (zh) 2024-02-08
TWI824892B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN109740419B (zh) 一种基于Attention-LSTM网络的视频行为识别方法
Zhang et al. Fast and robust occluded face detection in ATM surveillance
CN108416250A (zh) 人数统计方法及装置
TW201627917A (zh) 人臉活體檢測方法和裝置
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN112861671B (zh) 一种对深度伪造人脸图像和视频的鉴别方法
CN106650617A (zh) 一种基于概率潜在语义分析的行人异常识别方法
CN112561951B (zh) 一种基于帧差绝对误差和sad的运动和亮度检测方法
JP7282216B2 (ja) 単眼スチルカメラのビデオにおけるレイヤードモーションの表現と抽出
CN113298047B (zh) 基于时空关联图像的3d形态和姿态估计方法和装置
Huang et al. Deepfake mnist+: a deepfake facial animation dataset
Li et al. Noise doesn't lie: towards universal detection of deep inpainting
Savitha et al. Motion detection in video surviellance: A systematic survey
CN109299702B (zh) 一种基于深度时空图的人体行为识别方法及系统
Prati et al. Comparative evaluation of moving shadow detection algorithms
TWI824892B (zh) 一種基於光流分析的人臉操控檢測方法及其檢測裝置
CN117435049A (zh) 一种利用耳道内的视频识别动作的方法
Wang et al. Real time abnormal crowd behavior detection based on adjacent flow location estimation
JP4750758B2 (ja) 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体
CN115311723A (zh) 活体检测方法、装置及计算机可读存储介质
CN113627383A (zh) 一种用于全景智能安防的行人徘徊重识别方法
CN114120391A (zh) 一种多姿态人脸识别系统及其方法
Zhong et al. Confidence-based color modeling for online video segmentation
Sánchez et al. Video tracking improvement using context-based information
CN111191524A (zh) 运动人群计数方法