WO2024027052A1 - 一种基于光流分析的人脸操控检测方法及其检测装置 - Google Patents

一种基于光流分析的人脸操控检测方法及其检测装置 Download PDF

Info

Publication number
WO2024027052A1
WO2024027052A1 PCT/CN2022/135388 CN2022135388W WO2024027052A1 WO 2024027052 A1 WO2024027052 A1 WO 2024027052A1 CN 2022135388 W CN2022135388 W CN 2022135388W WO 2024027052 A1 WO2024027052 A1 WO 2024027052A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
optical flow
frame
flow analysis
face area
Prior art date
Application number
PCT/CN2022/135388
Other languages
English (en)
French (fr)
Inventor
费志军
邱雪涛
邢文继
高鹏飞
杨燕明
Original Assignee
中国银联股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国银联股份有限公司 filed Critical 中国银联股份有限公司
Publication of WO2024027052A1 publication Critical patent/WO2024027052A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the invention relates to computer technology, and in particular to a face manipulation detection method and a detection device based on optical flow analysis.
  • face manipulation has become a major method of attacking face recognition systems.
  • the previously popular AI face-changing special effects were completed based on face manipulation technology, which is more harmful to financial security related to face recognition.
  • face manipulation technology which is more harmful to financial security related to face recognition.
  • the inability to detect forged face videos based on face manipulation has also affected the promotion of face recognition.
  • payment applications based on face recognition will be greatly harmed in the future.
  • the present invention aims to propose a face manipulation detection method and a detection device based on optical flow analysis that can effectively detect facial manipulation videos generated by PS or deep network.
  • the face collection step is to collect a face video and select multiple adjacent frames in the face video that can be used for face recognition;
  • Optical flow distribution detection step using the LK optical flow method to detect the optical flow vector set of the adjacent first frame and the second frame among the multiple adjacent frames;
  • a face detection step detecting a first face area and a second face area respectively for the first frame and the second frame;
  • the step of determining pixel changes is to obtain the first non-face area outside the first face area of the first frame and the third area based on the optical flow vector set of the first frame and the second frame.
  • the set of optical flow vectors of the second non-face area outside the second face area of the two frames calculate the sum of the first non-face area outside the first face area of the first frame and
  • the non-zero vector proportion Pv in the optical flow vector set of the second non-face area outside the second face area of the second frame is determined to be a human if the non-zero vector proportion Pv is greater than the preset threshold. Face videos have the potential to be manipulated.
  • the pixel comparison step is to compare whether the pixels in the first non-face area of the first frame and the second non-face area of the second frame are the same. If the judgment result is that the two are not the same , then the number of abnormal frames increases by 1; and
  • the judgment step when the number of abnormal frames is greater than a preset threshold, it is confirmed that there is a possibility that the face video has been manipulated.
  • the first face area and the second face area in the first frame and the second frame are respectively detected, and the first person is The face area and the second face area are denoted as Fi and Fi+1 respectively.
  • the preset threshold is set to a, where 0 ⁇ a ⁇ 1.
  • a is set to a value closer to 0 in the range 0 ⁇ a ⁇ 1.
  • the pixel comparison step includes:
  • the preset specified range is s ⁇ b, where 0 ⁇ b ⁇ 1.
  • a face collection module collects a face video and selects multiple adjacent frames in the face video that can be used for face recognition;
  • a face detection module detecting a first face area and a second face area respectively for the adjacent first frame and the second frame in the plurality of adjacent frames
  • the optical flow analysis module uses the LK optical flow method to detect the optical flow vector set of the first frame and the second frame, and obtains the optical flow vector set of the first frame and the second frame based on the optical flow vector set of the first frame and the second frame.
  • the optical flow vector set of the first non-face area outside the first face area of one frame and the second non-face area outside the second face area of the second frame is calculated.
  • Non-zero vector proportion Pv is greater than the preset threshold, it is determined that the face video has the possibility of being manipulated.
  • the optical flow analysis module further performs pixel inverse mapping on the first frame and the second frame, and compares the first non-face area of the first frame and the second Whether the pixels in the second non-face area of the frame are the same. If the judgment result is that the two are not the same, then the number of abnormal frames is increased by 1. When the number of abnormal frames is greater than the preset threshold, then confirm There is a possibility that facial videos may be manipulated.
  • a face recognition module is used to identify facial features from the face videos collected by the face collection module and complete face comparison.
  • the first face area and the second face area in the first frame and the second frame are respectively detected, and the first person is The face area and the second face area are denoted as Fi and Fi+1 respectively.
  • the preset threshold is set to a, where 0 ⁇ a ⁇ 1.
  • a is set to a value closer to 0 in the range 0 ⁇ a ⁇ 1.
  • the optical flow analysis module compare the pixel values of the first non-face area of the first frame and the second non-face area of the second frame, and Count the pixel proportion values s with the same pixel value in the two frames, and determine whether the pixel proportion value s meets the preset specified range. If the judgment result is that it does not meet the preset specified range, return the face Collection module, if the judgment result is that it meets the preset specified range, the number of abnormal frames will be increased by 1.
  • the preset specified range is s ⁇ b, where 0 ⁇ b ⁇ 1.
  • a computer-readable medium has a computer program stored thereon, which is characterized in that when the computer program is executed by a processor, the face manipulation detection method based on optical flow analysis is implemented.
  • a computer device in one aspect of the present invention includes a storage module, a processor, and a computer program stored on the storage module and executable on the processor. It is characterized in that when the processor executes the computer program, it implements the method based on Face manipulation detection method based on optical flow analysis.
  • Figure 1 is a diagram showing the effect generated by manipulating a face image.
  • Figure 2 is a schematic diagram showing a face manipulation attack.
  • FIG. 3 is a structural block diagram showing the face manipulation detection device based on optical flow analysis of the present invention.
  • FIG. 4 is a schematic flowchart showing a face manipulation detection method based on optical flow analysis according to the first embodiment of the present invention.
  • FIG. 5 is a schematic flowchart showing a face manipulation detection method based on optical flow analysis according to the second embodiment of the present invention.
  • Words such as “having” and “comprising” mean that in addition to having units (modules) and steps that are directly and explicitly stated in the description and claims, the technical solution of the present invention does not exclude having units (modules) and steps that are not directly or explicitly stated. The situation of other units (modules) and steps expressed.
  • Face manipulation is to use a personal facial image to generate dynamic videos of the target person performing various facial movements through deep networks or other methods.
  • Figure 1 is a diagram showing the effect generated by manipulating a face image.
  • Figure 1 The left side of Figure 1 is the original face image, and the right side is the automatically generated facial action video frame. Face manipulation technology can easily defeat face recognition systems based on execution coordination.
  • Figure 2 is a schematic diagram showing a face manipulation attack.
  • the attacker is on the left and the target is on the right.
  • the attacker obtains a single facial picture of the attacked person, he can use the synthesis software to create a dynamic video of the attacked person, so that when the face recognition system performs liveness detection, it can perform biopsy actions, such as opening the mouth, blinking, etc., and finally Deceive the face detection system to achieve the purpose of attack.
  • the LK optical flow method also known as the Lucas–Kanade optical flow method, is a two-frame differential optical flow estimation algorithm.
  • LK optical flow is used for tracking feature points, that is, the position corresponding to the key pixel in the previous frame to the current frame. LK optical flow has some assumptions:
  • Grayscale invariance assumption that is, a certain point in the real world, reflected to the pixel level, has an unchanged grayscale
  • I(x, y, z) refers to the gray value of coordinates (x, y) at time z.
  • R is the higher-order remainder, which can be easily obtained as 0:
  • the optical flow is a constant value, that is:
  • the solution can be obtained directly using least squares.
  • FIG. 3 is a structural block diagram showing the face manipulation detection device based on optical flow analysis of the present invention.
  • the face manipulation detection device based on optical flow analysis of the present invention includes:
  • the face collection module 100 is used to collect face data, including face video;
  • the optical flow analysis module 200 is used to select multiple consecutive frames in the face video, and combine the following position information of the face area detected by the face detection module 300 to target the areas outside the face area of the adjacent frames.
  • the optical flow distribution and pixel changes are statistically calculated, and based on the statistical results, it is determined whether the face video is fake;
  • the face detection module 300 is used to detect the position information of the face area in the images of multiple consecutive frames selected by the optical flow analysis module 200;
  • the face recognition module 400 is used to identify facial features from the face videos collected by the face collection module 100 and complete face comparison.
  • FIG. 4 is a schematic flowchart showing a face manipulation detection method based on optical flow analysis according to the first embodiment of the present invention.
  • the face manipulation detection method based on optical flow analysis includes the following steps:
  • the face collection module 100 collects face data, including face video, and selects N adjacent frames in the face video that include the face recognition process;
  • the face detection module 300 detects the position information of the face area in the i-th frame (Zi) and i+1-th frame (Zi+1), which are recorded as Fi and Fi+1 respectively;
  • the optical flow analysis module 200 counts the set of optical flow vectors outside the face area in the i-th frame image. (That is, the vector set after removing the face area covered by Fi and Fi+1 from the optical flow vector set V), and calculate the non-zero vector proportion Pv in Vi;
  • step S7 The optical flow analysis module 200 determines whether the number of abnormal frames q meets the requirements. If it does not meet the requirements, perform step S8. If it meets the requirements, perform step S9. Specifically, if it determines that the number of abnormal frames q>k (k is the abnormal frame (k ⁇ N), it means that there are abnormalities in multiple frames in the video, and there is a possibility of forgery, then step S8 is executed; otherwise, it means that the video is normal, and then step S9 is continued;
  • the optical flow analysis module 200 sends alarm information
  • the face recognition module 400 completes the subsequent face comparison process and feeds back the comparison results.
  • the second embodiment mainly adds pixel inverse mapping and pixel value comparison based on the first embodiment. .
  • FIG. 5 is a schematic flowchart showing a face manipulation detection method based on optical flow analysis according to the second embodiment of the present invention.
  • the face manipulation detection method based on optical flow analysis includes the following steps:
  • the face collection module 100 collects face data, including face video, and selects N adjacent frames in the face video that include the face recognition process;
  • the face detection module 300 detects the position information of the face area in the i-th frame (Zi) and i+1-th frame (Zi+1), which are recorded as Fi and Fi+1 respectively;
  • the optical flow analysis module 200 counts the set of optical flow vectors outside the face area in the i-th frame image. (That is, the vector set after removing the face area covered by Fi and Fi+1 from the optical flow vector set V), and calculate the non-zero vector proportion Pv in Vi;
  • one of the possibilities is that the background part in the image may have been translated as a whole. At this time, it cannot be judged based on the results of optical flow analysis whether the background has been translated through PS operations, etc. Therefore, in the second embodiment, in order to More accurately determine the possibility of forgery, and further reversely map the moved pixels to their pre-moved positions;
  • step S9 The optical flow analysis module 200 determines whether the number of abnormal frames q meets the requirements. If it does not meet the requirements, execute step S10. If it meets the requirements, execute step S11. Specifically, if it determines that the number of abnormal frames q>k (k is the abnormal frame (k ⁇ N), it means that multiple frames in the video are abnormal and there is a possibility of forgery, then step S10 is executed; otherwise, it means that the video is normal, and then step S11 is continued;
  • the optical flow analysis module 200 sends alarm information
  • the face recognition module 400 completes the subsequent face comparison process and feeds back the comparison results.
  • the face manipulation detection method and its detection device based on optical flow analysis of the present invention by selecting multiple consecutive frames in the video, perform statistics on the optical flow distribution and pixel changes outside the face area in adjacent frames. According to The statistical results determine whether the video has the possibility of being manipulated or forged.
  • facial manipulation videos generated using PS or deep networks can be effectively detected by statistically analyzing the optical flow distribution of face videos, thereby reducing the risk of using the face recognition system.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

一种基于光流分析的人脸操控检测方法和基于光流分析的人脸操控检测装置。该装置包括：人脸采集模块，用于采集人脸视频；光流分析模块，用于选取人脸视频中的多个相邻帧，并结合人脸检测模块检测出的人脸区域，针对多个相邻帧，对于检测出的人脸区域之外区域的光流分布和像素变化进行统计分析，根据统计分析结果判断人脸视频是否存在被操控的可能性；以及人脸检测模块，用于检测光流分析模块选取的多个连续帧的图像中的人脸区域。能够有效检测采用PS或深度网络生成的面部操控视频，从而降低人脸识别系统使用的风险性。

Description

一种基于光流分析的人脸操控检测方法及其检测装置
本申请对提交于2022年8月3日并且发明名称为“一种基于光流分析的人脸操控检测方法及其检测装置”的中国专利申请202210929784.0要求优先权，该中国专利申请的全部公开通过引用并入本文。
技术领域
本发明涉及计算机技术，具体地涉及一种基于光流分析的人脸操控检测方法及其检测装置。
背景技术
目前，人脸操控已经成为攻击人脸识别系统的一种主要方法，之前曾经流行的AI变脸特效就是基于人脸操控技术完成的，其对人脸识别相关的金融安全危害较大。另一方面，由于无法对基于人脸操控所伪造的人脸视频进行检测也导致了人脸识别的推广受到影响。而且，随着人脸操控技术的不断发展，未来会对基于人脸识别的支付应用产生较大危害。
发明内容
鉴于上述问题，本发明旨在提出一种能够有效检测采用PS或深度网络生成的面部操控视频的基于光流分析的人脸操控检测方法及其检测装置。
本发明一方面的基于光流分析的人脸操控检测方法，其特征在于，包括以下步骤：
人脸采集步骤，采集人脸视频，选取所述人脸视频中的能够用于人脸识别的多个相邻帧；
光流分布检测步骤，在所述多个相邻帧之中利用LK光流法检测相邻的第一帧和第二帧的光流向量集合；
人脸检测步骤，对于所述第一帧和所述第二帧分别检测出第一人脸区域和第二人脸区域；
像素变化判断步骤，基于所述第一帧和所述第二帧的光流向量集合，获得所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二 帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合，计算所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合中非零向量占比Pv，若非零向量占比Pv大于预先设定的阈值，则判断为人脸视频存在被操控的可能性。
可选地，在所述非零向量占比Pv大于预先设定的阈值的情况下进一步包括以下步骤：
像素处理步骤，对于所述第一帧和所述第二帧执行像素逆映射；
像素比对步骤，比对所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域中的像素是否相同，若判断结果为两者不相同，则异常帧数量增加1；以及
判断步骤，当所述异常帧数量大于预先设定的阈值的情况下，则确认人脸视频存在被操控的可能性。
可选地，在所述光流分布检测步骤中，采用LK光流法计算N个相邻帧中的第一帧和第的第二帧的光流向量集合V＝{v(x,y)}，其中，(x,y)为图像中的像素位置，其中，N为自然数。
可选地，在所述人脸检测步骤中，分别检测所述第一帧和所述第二帧中的所述第一人脸区域和所述第二人脸区域，将所述第一人脸区域和所述第二人脸区域分别记为Fi和Fi+1。
可选地，设置所述预先设定的阈值为a，其中，0<a<1。
可选地，将a设定为在0<a<1的范围内更靠近0的值。
可选地，所述像素比对步骤包括：
将所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域进行像素值比对，并统计两帧中像素值相同的像素占比值s；
判断所述像素占比值s是否满足预先设定的规定范围，若判断结果为不满足所述预先设定的规定范围，则返回所述人脸采集步骤，若判断结果为满足预先设定的规定范围，则异常帧数量增加1。
可选地，所述预先设定的规定范围为s＝1。
可选地，所述预先设定的规定范围为s<b，其中，0<b<1。
可选地，设定为s为在0<b<1的范围内更靠近1的值。
可选地，在所述判断步骤中，当所述异常帧数量大于预先设定的阈值的情况下，发出告警信息。
本发明一方面的基于光流分析的人脸操控检测装置，其特征在于，包括：
人脸采集模块，采集人脸视频，选取所述人脸视频中的能够用于进行人脸识别的多个相邻帧；
人脸检测模块，对于所述多个相邻帧中相邻的第一帧和所述第二帧分别检测出第一人脸区域和第二人脸区域；
光流分析模块，利用LK光流法检测所述第一帧和所述第二帧的光流向量集合，基于所述第一帧和所述第二帧的光流向量集合，获得所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合，计算所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合中非零向量占比Pv，若非零向量占比Pv大于预先设定的阈值，则判断为人脸视频存在被操控的可能性。
可选地，所述光流分析模块进一步对于所述第一帧和所述第二帧执行像素逆映射，并且比对所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域中的像素是否相同，若判断结果为两者不相同，则异常帧数量增加1，当所述异常帧数量大于预先设定的阈值的情况下，则确认人脸视频存在被操控的可能性。
可选地，进一步包括：
人脸识别模块，用于从所述人脸采集模块采集的人脸视频中识别人脸特征并完成人脸比对。
可选地，在所述光流分析模块中，采用LK光流法计算N个相邻帧中的第一帧和第的第二帧的光流向量集合V＝{v(x,y)}，其中，(x,y)为图像中的像素位置，其中，N为自然数。
可选地，在所述人脸检测模块中，分别检测所述第一帧和所述第二帧中的所述第一人脸区域和所述第二人脸区域，将所述第一人脸区域和所述 第二人脸区域分别记为Fi和Fi+1。
可选地，设置所述预先设定的阈值为a，其中，0<a<1。
可选地，将a设定为在0<a<1的范围内更靠近0的值。
可选地，在所述光流分析模块中，将所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域进行像素值比对，并统计两帧中像素值相同的像素占比值s，判断所述像素占比值s是否满足预先设定的规定范围，若判断结果为不满足所述预先设定的规定范围，则返回所述人脸采集模块，若判断结果为满足预先设定的规定范围，则异常帧数量增加1。
可选地，所述预先设定的规定范围为s＝1。
可选地，所述预先设定的规定范围为s<b，其中，0<b<1。
可选地，设定为s为在0<b<1的范围内更靠近1的值。
本发明一方面的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现所述的基于光流分析的人脸操控检测方法。
本发明一方面的计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的基于光流分析的人脸操控检测方法。
附图说明
图1是表示对于人脸图像进行操控而生成的效果图。
图2是表示人脸操控攻击的示意图。
图3是表示本发明的基于光流分析的人脸操控检测装置的结构框图。
图4是表示本发明的第一实施方式的基于光流分析的人脸操控检测方法的流程示意图。
图5是表示本发明的第二实施方式的基于光流分析的人脸操控检测方法的流程示意图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到，相同的原理可等效地应用于所有类型的基于光流分析的人脸操控检测方法及其检测装置，并且可以在其中实施这些相同的原理，以及任何此类变化不背离本专利申请的真实精神和范围。
而且，在下文描述中，参考了附图，这些附图图示特定的示范实施例。在不背离本发明的精神和范围的前提下可以对这些实施例进行电、机械、逻辑和结构上的更改。此外，虽然本发明的特征是结合若干实施/实施例的仅其中之一来公开的，但是如针对任何给定或可识别的功能可能是期望和/或有利的，可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。因此，下文描述不应视为在限制意义上的，并且本发明的范围由所附权利要求及其等效物来定义。
诸如“具备”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元(模块)和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元(模块)和步骤的情形。
在说明本发明的了本发明的基于光流分析的人脸操控检测方法及其检测装置之前，先对于人脸操控以及LK光流法的原理进行介绍。
1.人脸操控介绍
人脸操控就是通过一张个人的面部图像，通过深度网络或其它方法生成出目标人的进行各种面部动作的动态视频。
图1是表示对于人脸图像进行操控而生成的效果图。
图1左侧为原始的人脸图像，右侧为自动生成的面部动作视频帧。人脸操控技术很容易破解基于执行配合的人脸识别系统。
2.脸操控攻击实例
图2是表示人脸操控攻击的示意图。
在图2中，左侧为攻击者，右侧为被攻击对象。当攻击者拿到被攻击者的单张面部图片后，可以通过合成软件制作出被攻击者的动态视频，从而在人脸识别系统进行活体检测时配合执行活检动作，如张嘴、眨眼等，最终骗过人脸检测系统，实现攻击目的。
3.LK光流法
LK光流法，即Lucas–Kanade光流法是一种两帧差分的光流估计算法。
一般而言，LK光流用于特征点的跟踪，即前一帧中的关键像素到当前帧所对应的位置，LK光流会有一些假设：
(1)灰度不变假设：即真实世界的一个确定的点，反应到像素级别，其灰度是不变的；
(2)微扰不变假设：即时间的微小扰动不会引起像素的剧烈变化；
(3)空间一致假设：相同表面相邻的点具有相似的运动，像素级别时他们也比较接近。
基于(1)和(2)的两个假设，便有如下约束方程：
I(x，y，z)＝I(x+δx，y+δy，z+δz)
其中，I(x，y，z)是指在z时刻，坐标(x,y)的灰度值。
对约束方程做一阶泰勒展开可得：
Figure PCTCN2022135388-appb-000001
其中，R是高阶余项，视为0易得：
Figure PCTCN2022135388-appb-000002
两边除以δz，得到：
Figure PCTCN2022135388-appb-000003
其中，
Figure PCTCN2022135388-appb-000004
和
Figure PCTCN2022135388-appb-000005
为像素点沿x和y方向的速度(位移对时间的导数)简写成：
I xv x+I yv y+I z＝0
化作矩阵形式：
Figure PCTCN2022135388-appb-000006
利用(3)的假设，可以假设在一个m×m的窗口内，光流是一个恒定的值，即：
Figure PCTCN2022135388-appb-000007
利用最小二乘可以直接得到解。
在本发明中，基于上述LK光流法，提出一种利用它实现的人脸操控检测装置以及人脸操控检测方法。
图3是表示本发明的基于光流分析的人脸操控检测装置的结构框图。
如图3所示，本发明的基于光流分析的人脸操控检测装置包括：
人脸采集模块100，用于采集人脸数据，其中，包括人脸视频；
光流分析模块200，用于选取人脸视频中的多个连续帧，结合以下的人脸检测模块300检测出的人脸区域的位置信息，针对所述相邻帧的人脸区域之外的光流分布和像素变化情况进行统计，根据统计结果判定人脸视频是否为伪造；
人脸检测模块300，用于检测光流分析模块200选取的多个连续帧的图像中人脸区域的位置信息；以及
人脸识别模块400，用于从所述人脸采集模块100采集的人脸视频中识别人脸特征并完成人脸比对。
以下，参考第一实施方式和第二实施方式对于本发明的人脸操控检测装置的各个组成模块的具体功能以及本发明的基于光流分析的人脸操控检测方法进行说明。
图4是表示本发明的第一实施方式的基于光流分析的人脸操控检测方法的流程示意图。
参考图4，对于本发明的第一实施方式的基于光流分析的人脸操控检测方法以及基于光流分析的人脸操控检测装置的各个模块所实现的具体功能进行说明。
如图4所示，本发明的第一实施方式的基于光流分析的人脸操控检测方法包括以下步骤：
S1：人脸采集模块100采集人脸数据，包括人脸视频，选取人脸视频中包含人脸识别过程的N个相邻帧；
S2：光流分析模块200采用LK光流法计算选取的N个相邻帧中的第i帧(Zi)和第i+1帧(Zi+1)的光流向量集合V＝{v(x,y)}，其中，(x,y)为图像中的像素位置；
S3：人脸检测模块300检测第i帧(Zi)和第i+1帧(Zi+1)中的人脸区域的位置信息，分别记为Fi和Fi+1；
S4：光流分析模块200统计第i帧图像中人脸区域之外的光流向量集合
Figure PCTCN2022135388-appb-000008
(即，在光流向量集合V中去除掉Fi和Fi+1所覆盖的人脸区域之后的向量集合)，并计算Vi中非零向量占比Pv；
S5：光流分析模块200判断是否若0<Pv<a(a为设定阈值0<a<1，由于正常拍摄视频中除人脸区域外只有少部分像素会发生明显移动，因此，a一般选取较小的值)，若0<Pv<a，则i＝i+1执行步骤S2，若Pv>＝a，则执行步骤S6；
S6：异常帧数量q＝q+1；
S7：光流分析模块200判断异常帧数量q是否符合要求，若不符合要求，则执行步骤S8，若符合要求则执行步骤S9，具体地，若判异常帧数量q>k(k为异常帧数告警阈值，k<N)，则说明视频中多帧出现异常，存在伪造可能，则执行步骤S8，否则，则说明视频正常，则继续执行步骤S9；
S8：光流分析模块200发出告警信息；以及
S9：由人脸识别模块400完成后续的人脸比对过程并反馈比对结果。
在第一实施方式的基础上，为了更准确地对于伪造可能进行判断，提出了第二实施方式，第二实施方式主要是在第一实施方式的基础上增加了像素逆映射和像素值比对。
图5是表示本发明的第二实施方式的基于光流分析的人脸操控检测方法的流程示意图。
结合图5对于本发明的第二实施方式的基于光流分析的人脸操控检测方法以及基于光流分析的人脸操控检测装置的各个模块所实现的具体功能进行说明。
如图5所示，本发明的第二实施方式的基于光流分析的人脸操控检测方法包括以下步骤：
S1：人脸采集模块100采集人脸数据，包括人脸视频，选取人脸视频中包含人脸识别过程的N个相邻帧；
S2：光流分析模块200采用LK光流法计算选取的N个相邻帧中的第i帧(Zi)和第i+1帧(Zi+1)的光流向量集合V＝{v(x,y)}，其中，(x,y)为图像中的像素位置；
S3：人脸检测模块300检测第i帧(Zi)和第i+1帧(Zi+1)中的人脸区域的位置信息，分别记为Fi和Fi+1；
S4：光流分析模块200统计第i帧图像中人脸区域之外的光流向量集合
Figure PCTCN2022135388-appb-000009
(即，在光流向量集合V中去除掉Fi和Fi+1所覆盖的人脸区域之后的向量集合)，并计算Vi中非零向量占比Pv；
S5：光流分析模块200判断是否若0<Pv<a(a为设定阈值0<a<1，由于正常拍摄视频中除人脸区域外只有少部分像素会发生明显移动，因此，a一般选取较小的值)，若0<Pv<a，则i＝i+1执行步骤S2，若Pv>＝a，则执行步骤S6；
S6：若Pv>＝a，则执行像素逆映射Zi+1＝Zi+1(x-vx，y-vy)，所谓像素逆映射是指，把移动后的像素回退到移动前的位置，这里进行像素逆映射是因为，若Pv>＝a，则表示像素发生了明显移动，可以认为目标视频有伪造可能。
例如，其中可能之一是因为图像中的背景部分可能被整体平移了，此时根据光流分析的结果无法判断背景是否是通过PS操作等进行了平移，因此，在第二实施方式中，为了更准确地对于伪造可能进行判断，进一步地将移动后的像素逆向映射到移动前的位置；
S7：光流分析模块200将Zi和Zi+1中的非人脸区域进行像素值比对，并统计两帧图像中像素值相同的占比s，判断是否s＝1，若判断为s＝1说明两帧图像背景完全相同，则继续步骤S8，否则返回步骤S2，若判断为S≠1，则继续判断是否s<b，若s<b(b设定阈值0<b<1，由于Pv＝0说明两帧图像大部分像素应该一样，所以b取接近1的值)，则继续步骤S8，否则返回步骤S2；
S8：则异常帧数量q＝q+1；
S9：光流分析模块200判断异常帧数量q是否符合要求，若不符合要求，则执行步骤S10，若符合要求则执行步骤S11，具体地，若判异常帧数量q>k(k为异常帧数告警阈值，k<N)，则说明视频中多帧出现异常，存在伪造可能，则执行步骤S10，否则，则说明视频正常，则继续执行步骤S11；
S10：光流分析模块200发出告警信息；以及
S11：由人脸识别模块400完成后续的人脸比对过程并反馈比对结果。
本发明的基于光流分析的人脸操控检测方法及其检测装置，通过选取视频中的多个连续帧，针对相邻帧中人脸区域之外的光流分布和像素变化情况进行统计，根据统计结果判定视频是否存在被操控伪造的可能性。
在本发明中，通过对人脸视频的光流分布进行统计分析能够有效检测采用PS或深度网络生成的面部操控视频，从而降低人脸识别系统使用的风险性。
以上例子主要说明了本发明的基于光流分析的人脸操控检测方法及其检测装置。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (24)

  1. 一种基于光流分析的人脸操控检测方法，其特征在于，包括以下步骤：
    人脸采集步骤，采集人脸视频，选取所述人脸视频中的能够用于人脸识别的多个相邻帧；
    光流分布检测步骤，在所述多个相邻帧之中利用LK光流法检测相邻的第一帧和第二帧的光流向量集合；
    人脸检测步骤，对于所述第一帧和所述第二帧分别检测出第一人脸区域和第二人脸区域；以及
    像素变化判断步骤，基于所述第一帧和所述第二帧的光流向量集合，获得所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合，计算所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合中非零向量占比Pv，若非零向量占比Pv大于预先设定的阈值，则判断为人脸视频存在被操控的可能性。
  2. 如权利要求1所述的基于光流分析的人脸操控检测方法，其特征在于，
    在所述非零向量占比Pv大于预先设定的阈值的情况下进一步包括以下步骤：
    像素处理步骤，对于所述第一帧和所述第二帧执行像素逆映射；
    像素比对步骤，比对所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域中的像素是否相同，若判断结果为两者不相同，则异常帧数量增加1；以及
    判断步骤，当所述异常帧数量大于预先设定的阈值的情况下，则确认人脸视频存在被操控的可能性。
  3. 如权利要求1或2所述的基于光流分析的人脸操控检测方法，其特征在于，
    在所述光流分布检测步骤中，采用LK光流法计算N个相邻帧中的第一帧和第的第二帧的光流向量集合V＝{v(x,y)}，其中，(x,y)为图像中的像素位置，其中，N为自然数。
  4. 如权利要求1或2所述的基于光流分析的人脸操控检测方法，其特征在于，
    在所述人脸检测步骤中，分别检测所述第一帧和所述第二帧中的所述第一人脸区域和所述第二人脸区域，将所述第一人脸区域和所述第二人脸区域分别记为Fi和Fi+1。
  5. 如权利要求3所述的基于光流分析的人脸操控检测方法，其特征在于，
    设置所述预先设定的阈值为a，其中，0<a<1。
  6. 如权利要求5所述的基于光流分析的人脸操控检测方法，其特征在于，
    将a设定为在0<a<1的范围内更靠近0的值。
  7. 如权利要求4所述的基于光流分析的人脸操控检测方法，其特征在于，
    所述像素比对步骤包括：
    将所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域进行像素值比对，并统计两帧中像素值相同的像素占比值s；
    判断所述像素占比值s是否满足预先设定的规定范围，若判断结果为不满足所述预先设定的规定范围，则返回所述人脸采集步骤，若判断结果为满足预先设定的规定范围，则异常帧数量增加1。
  8. 如权利要求7所述的基于光流分析的人脸操控检测方法，其 特征在于，
    所述预先设定的规定范围为s＝1。
  9. 如权利要求8所述的基于光流分析的人脸操控检测方法，其特征在于，
    所述预先设定的规定范围为s<b，其中，0<b<1。
  10. 如权利要求8所述的基于光流分析的人脸操控检测方法，其特征在于，
    设定为s为在0<b<1的范围内更靠近1的值。
  11. 如权利要求1所述的基于光流分析的人脸操控检测方法，其特征在于，
    在所述判断步骤中，当所述异常帧数量大于预先设定的阈值的情况下，发出告警信息。
  12. 一种基于光流分析的人脸操控检测装置，其特征在于，包括：
    人脸采集模块，采集人脸视频，选取所述人脸视频中的能够用于进行人脸识别的多个相邻帧；
    人脸检测模块，对于所述多个相邻帧中相邻的第一帧和所述第二帧分别检测出第一人脸区域和第二人脸区域；以及
    光流分析模块，利用LK光流法检测所述第一帧和所述第二帧的光流向量集合，基于所述第一帧和所述第二帧的光流向量集合，获得所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合，计算所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合中非零向量占比Pv，若非零向量占比Pv大于预先设定的阈值，则判断为人脸视频存在被操控的可能性。
  13. 如权利要求12所述的基于光流分析的人脸操控检测装置，其特征在于，
    所述光流分析模块进一步对于所述第一帧和所述第二帧执行像素逆映射，并且比对所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域中的像素是否相同，若判断结果为两者不相同，则异常帧数量增加1，当所述异常帧数量大于预先设定的阈值的情况下，则确认人脸视频存在被操控的可能性。
  14. 如权利要求12或13所述的基于光流分析的人脸操控检测装置，其特征在于，进一步包括：
    人脸识别模块，用于从所述人脸采集模块采集的人脸视频中识别人脸特征并完成人脸比对。
  15. 如权利要求12或13所述的基于光流分析的人脸操控检测装置，其特征在于，
    在所述光流分析模块中，采用LK光流法计算N个相邻帧中的第一帧和第的第二帧的光流向量集合V＝{v(x,y)}，其中，(x,y)为图像中的像素位置，其中，N为自然数。
  16. 如权利要求12或13所述的基于光流分析的人脸操控检测装置，其特征在于，
    在所述人脸检测模块中，分别检测所述第一帧和所述第二帧中的所述第一人脸区域和所述第二人脸区域，将所述第一人脸区域和所述第二人脸区域分别记为Fi和Fi+1。
  17. 如权利要求16所述的基于光流分析的人脸操控检测装置，其特征在于，
    设置所述预先设定的阈值为a，其中，0<a<1。
  18. 如权利要求17所述的基于光流分析的人脸操控检测装置，其特征在于，
    将a设定为在0<a<1的范围内更靠近0的值。
  19. 如权利要求15所述的基于光流分析的人脸操控检测装置，其特征在于，
    在所述光流分析模块中，将所述第一帧的所述第一非人脸区域 和所述第二帧的所述第二非人脸区域进行像素值比对，并统计两帧中像素值相同的像素占比值s，判断所述像素占比值s是否满足预先设定的规定范围，若判断结果为不满足所述预先设定的规定范围，则返回所述人脸采集模块，若判断结果为满足预先设定的规定范围，则异常帧数量增加1。
  20. 如权利要求19所述的基于光流分析的人脸操控检测装置，其特征在于，
    所述预先设定的规定范围为s＝1。
  21. 如权利要求20所述的基于光流分析的人脸操控检测装置，其特征在于，
    所述预先设定的规定范围为s<b，其中，0<b<1。
  22. 如权利要求21所述的基于光流分析的人脸操控检测装置，其特征在于，
    设定为s为在0<b<1的范围内更靠近1的值。
  23. 一种计算机可读介质，其上存储有计算机程序，其特征在于，
    该计算机程序被处理器执行时实现权利要求1～11任意一项所述的基于光流分析的人脸操控检测方法。
  24. 一种计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，
    所述处理器执行所述计算机程序时实现权利要求1～11任意一项所述的基于光流分析的人脸操控检测方法。
PCT/CN2022/135388 2022-08-03 2022-11-30 一种基于光流分析的人脸操控检测方法及其检测装置 WO2024027052A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210929784.0A CN115719461A (zh) 2022-08-03 2022-08-03 一种基于光流分析的人脸操控检测方法及其检测装置
CN202210929784.0 2022-08-03

Publications (1)

Publication Number Publication Date
WO2024027052A1 true WO2024027052A1 (zh) 2024-02-08

Family

ID=85253915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/135388 WO2024027052A1 (zh) 2022-08-03 2022-11-30 一种基于光流分析的人脸操控检测方法及其检测装置

Country Status (3)

Country Link
CN (1) CN115719461A (zh)
TW (1) TWI824892B (zh)
WO (1) WO2024027052A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
US20190026544A1 (en) * 2016-02-09 2019-01-24 Aware, Inc. Face liveness detection using background/foreground motion analysis
CN112488018A (zh) * 2020-12-09 2021-03-12 巽腾(广东)科技有限公司 双目活体检测方法、装置、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105308618B (zh) * 2013-06-27 2020-04-03 英特尔公司 借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别
TWI733420B (zh) * 2020-04-22 2021-07-11 國立中央大學 動作辨識系統
CN111611873A (zh) * 2020-04-28 2020-09-01 平安科技（深圳）有限公司 人脸替换检测方法及装置、电子设备、计算机存储介质
CN111985427A (zh) * 2020-08-25 2020-11-24 深圳前海微众银行股份有限公司 活体检测方法、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190026544A1 (en) * 2016-02-09 2019-01-24 Aware, Inc. Face liveness detection using background/foreground motion analysis
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
CN112488018A (zh) * 2020-12-09 2021-03-12 巽腾(广东)科技有限公司 双目活体检测方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KONG YUEPING; LIU CHU; ZHU XUDONG: "Faceanti-spoofing Method Using the Optical Flow Features of Back Ground", XI'AN DIANZI KE JI DAXUE XUEBAO - JOURNAL OF XIADIAN UNIVERSITY, XI'AN DIANZI KE JI DAXUE, XI'AN,, CN, vol. 48, no. 5, 31 October 2021 (2021-10-31), CN , pages 86 - 91, 99, XP009552335, ISSN: 1001-2400 *

Also Published As

Publication number Publication date
CN115719461A (zh) 2023-02-28
TW202407645A (zh) 2024-02-16
TWI824892B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
Zhang et al. Fast and robust occluded face detection in ATM surveillance
CN105893920B (zh) 一种人脸活体检测方法和装置
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
JP2010057105A (ja) オブジェクトの３次元追跡方法およびシステム
WO2024027052A1 (zh) 一种基于光流分析的人脸操控检测方法及其检测装置
CN116798100A (zh) 人脸视频的检测方法和装置
Colombari et al. Background initialization in cluttered sequences
US20230084980A1 (en) System for detecting face liveliness in an image
Zaidan et al. A novel hybrid module of skin detector using grouping histogram technique for Bayesian method and segment adjacent-nested technique for neural network
Gottumukkal et al. Real time face detection from color video stream based on PCA method
Ji et al. Fast and efficient integration of human upper-body detection and orientation estimation in RGB-D video
Wu et al. Accelerating face detection by using depth information
CN110852203B (zh) 一种基于视频特征学习的多要素可疑人员识别方法
Chen et al. People tracking in the multi-camera surveillance system
Gul et al. A machine learning approach to detect occluded faces in unconstrained crowd scene
CN112800941A (zh) 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统
CN111461041A (zh) 一种基于生成对抗网络的多因素联合判别异常行人方法
Zhong et al. Confidence-based color modeling for online video segmentation
Paul et al. Extraction of facial feature points using cumulative distribution function by varying single threshold group
Sánchez et al. Video tracking improvement using context-based information
Ongkittikul et al. Two hand tracking using colour statistical model with the K-means embedded particle filter for hand gesture recognition
JP7374401B1 (ja) 人物相関判定装置、人物相関判定方法および人物相関判定プログラム
Tang et al. ATM intelligent surveillance based on omni-directional vision
WO2022208669A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953840

Country of ref document: EP

Kind code of ref document: A1