WO2023279557A1 - 基于眨眼同步及双目移动检测的伪造视频检验方法及系统 - Google Patents

基于眨眼同步及双目移动检测的伪造视频检验方法及系统 Download PDF

Info

Publication number
WO2023279557A1
WO2023279557A1 PCT/CN2021/122345 CN2021122345W WO2023279557A1 WO 2023279557 A1 WO2023279557 A1 WO 2023279557A1 CN 2021122345 W CN2021122345 W CN 2021122345W WO 2023279557 A1 WO2023279557 A1 WO 2023279557A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
blink
binocular
module
sequence
Prior art date
Application number
PCT/CN2021/122345
Other languages
English (en)
French (fr)
Inventor
王中元
王闻捷
韩镇
邹勤
Original Assignee
武汉大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 武汉大学 filed Critical 武汉大学
Publication of WO2023279557A1 publication Critical patent/WO2023279557A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • the invention belongs to the technical field of artificial intelligence security, and relates to a deep fake video inspection method and system, in particular to a fake video inspection method and system based on blink synchronization and binocular movement detection.
  • Deep Fake refers to the use of machine learning models to merge and superimpose pictures or videos on the source pictures or videos, and use neural network technology to carry out large-scale learning, and stitch individual voices, facial expressions, and body movements into false content.
  • This technology can digitally process sound, image or video to imitate a specific person, and as the number of training samples input into the neural network continues to increase, the data and images generated by training will become more and more realistic, resulting in many fake videos and audios Content makes it difficult to distinguish the authenticity of information.
  • the present invention provides a method and system for checking fake videos based on blink synchronization and binocular movement detection based on the blink detection algorithm of the LRCN model and the classifier of the convolutional neural network.
  • the technical scheme adopted in the method of the present invention is: a kind of fake video recognition method based on blink synchronization and binocular movement detection, comprising the following steps:
  • Step 1 Perform data preprocessing on the video data to be tested to obtain eye sequence data
  • Step 2 blink detection
  • Step 3 Based on the results of step 2, calculate the consistency of the binocular rotation angle, and calculate the left and right eye movement information through the eye sequence data to obtain the consistency of the binocular rotation angle;
  • Step 4 fake video detection
  • the technical solution adopted by the system of the present invention is: a fake video inspection system based on blink synchronization and binocular movement detection, including the following modules:
  • Module 1 for performing data preprocessing on the video data to be tested, and obtaining eye sequence data
  • Module 3 is used to calculate the consistency of binocular rotation angles based on the results of module 2, and calculate the left and right eye movement information respectively through the eye sequence data to obtain the consistency of binocular rotation angles;
  • the present invention utilizes the inconsistency generated when forging video eye movements to carry out video identification work, including the asynchronous blinking of the left and right eyes, and the inconsistency of glance orientation.
  • the synchronization of binocular movement is a subconscious behavior of human long-term evolution, which is difficult to imitate, and it is difficult for deep forgery technology to realistically generate such subtle behaviors in a short period of time. Therefore, the identification algorithm has the characteristics of high credibility.
  • Fig. 1 is a schematic diagram of the method of the embodiment of the present invention.
  • Fig. 2 is a schematic diagram of eye gaze direction calculation according to an embodiment of the present invention.
  • Fig. 3 is the schematic diagram of the LRCN neural network model of the embodiment of the present invention.
  • Fig. 4 is the schematic diagram of two classification models of the embodiment of the present invention.
  • Fig. 5 is a schematic diagram of the experimental results of the blink state detection of the left and right eyes according to the embodiment of the present invention, the upper figure is a fake human face, and the lower figure is a real human face;
  • Fig. 6 is a statistical histogram of the blink state sequence of the left and right eyes according to an embodiment of the present invention, the abscissa represents the cosine similarity, and the ordinate represents the number of samples; the left image is a fake human face, and the right image is a real human face.
  • a kind of fake video recognition method based on eye blink synchronization and binocular movement detection comprises the following steps:
  • a kind of fake video identification method based on eye blink synchronization and binocular movement detection comprises the following steps:
  • Step 1 Perform data preprocessing on the video data to be tested to obtain eye sequence data
  • Step 1.1 Detect the face area in each frame of the video, and extract facial feature points, including eye, nose, and mouth positions.
  • facial feature points including eye, nose, and mouth positions.
  • the faces are aligned through facial feature points, so that the aligned faces are located in the center of the image and eye level is maintained;
  • Step 1.2 Extract two rectangular areas from the aligned face area, so that they respectively contain the feature points of the left eye and the right eye, and then enlarge the rectangle by 1.25 times in the horizontal direction and 1.75 times in the vertical direction, so that the eye area is always included in the clipping region.
  • the eye regions identified for each frame are combined in time sequence to generate an eye sequence for the input video.
  • Step 2 blink detection
  • LRCN neural network model Based on the LRCN neural network model, train a blink detection network with a recognition accuracy reaching the preset value from the eye sequence; use the blink detection network to perform blink recognition on the preprocessed eye sequence, obtain blink data, and output the eye sequence. Probability of eye closure; where 0 indicates that the eye is fully opened, and 1 indicates that the eye is fully closed.
  • the LRCN neural network model of the present embodiment includes a feature extraction module, a sequence learning module and a state prediction module;
  • the feature extraction module is composed of a series convolutional layer, a pooling layer and a fully connected layer;
  • the sequence learning module is composed of a long-short-term memory network, which is trained using a gradient descent method over time;
  • the state prediction module includes a fully connected layer; the output of the feature extraction module enters the sequence learning module, and its output is output after passing through the state prediction module.
  • Step 3 Based on the results of step 2, calculate the consistency of the binocular rotation angle, and calculate the left and right eye movement information through the eye sequence data to obtain the consistency of the binocular rotation angle;
  • Step 3.1 Further extract eyelid, iris and pupil position feature points from the eye sequence, calculate the ROI areas of the left and right eyes respectively based on these feature points, calculate the gradient g i for each pixel x i in the ROI area, and then Calculate the normalized vector d i of g i ; then the estimated center point c of the eyeball is:
  • N is the number of continuous observation frames
  • g i represents the gradient of pixel x i
  • c * represents the optimized value of c
  • Step 3.2 Use and denote the gaze directions of two consecutive frames, respectively.
  • ⁇ i the eye rotation angle between frame i and frame i-1 as ⁇ i , which can be expressed as:
  • N is the number of continuous observation frames, are the mean values of the corresponding variables.
  • Binocular angle consistency describes whether the left eye and the right eye rotate at the same angle when saccades. The same rotation angle of the left and right eyes is natural for real videos, but it is difficult to be imitated in fake videos.
  • the eye C BAS in the real video will be larger than that in the fake video, and when the value range is greater than 0.8, it can be judged as strong consistency.
  • Step 4 fake video detection
  • the binary classification model based on the convolutional neural network of the present embodiment includes several convolutional networks connected in series, the convolutional network is composed of a convolutional layer and a pooling layer; the output of the convolutional network is fully connected Output after layer processing.
  • Step 4.1 Construct a binary classification model based on convolutional neural network, and use Inception network structure to increase model performance;
  • Step 4.2 Combining blink probability with binocular rotation consistency to form a new set of features, the features are used as input to the model and trained using cross-entropy loss.
  • FIG. 5 is the experimental result of the blink state detection of the left and right eyes in this embodiment.
  • the upper figure is a fake human face
  • the lower figure is a real human face. It can be seen that the blink state sequences of the left and right eyes of real faces are more consistent.
  • the forged face in the above picture is blurred, which shows that the method of the present invention has strong robustness to image quality loss.
  • Fig. 6 is the statistical histogram of the blinking state sequence of the left and right eyes and its fitted distribution in the embodiment, the abscissa represents the cosine similarity, and the ordinate represents the number of samples.
  • the left picture is a fake face
  • the right picture is a real face. It can be seen that the fake face is close to the normal distribution and distributed in the low value range of cosine similarity, while the real face is close to the gamma distribution and distributed in the high value range.
  • the cosine similarity can measure the consistency of two sequences, indicating that the method of the present invention can accurately judge fake human faces according to the consistency of blinking.
  • the above test proves that the present invention has the dual characteristics of high reliability of identification results and robustness to the weakening of forensic clues caused by image damage.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于眨眼同步及双目移动检测的伪造视频检验方法及系统，包括视频预处理、眨眼检测、双目转动角度一致性计算、伪造检测等模块；本发明根据深度伪造视频左右眼的眨眼不同步、扫视方位不一致的特性，分析双目眨眼及眼部移动时的差异，进行伪造人脸视频检测。本发明具有鉴别结果可信度高、对图像折损导致的取证线索弱化鲁棒的双重特点。

Description

基于眨眼同步及双目移动检测的伪造视频检验方法及系统 技术领域
本发明属于人工智能安全技术领域，涉及一种深度伪造视频检验方法及系统，具体涉及一种基于眨眼同步及双目移动检测的伪造视频检验方法及系统。
背景技术
深度伪造(DeepFake)指利用机器学习模型，将图片或视频合并叠加到源图片或视频上，借助神经网络技术进行大样本学习，将个人的声音、面部表情及身体动作拼接合成虚假内容的人工智能技术。这种技术能对声音、图像或视频进行数字处理以模仿某特定人物，并且随着输入神经网络的训练样本量不断增加，训练生成的数据和图像会越来越逼真，产生众多虚假视频和音频内容，使辨别信息真伪变得困难。
国内外对检测深度伪造人脸的研究既有传统机器学习方法，也有深度学习方法。2018年，Darius Afchar等采用了深度学习的方法对DeepFake、Face2Face等软件生成的伪造人脸进行了检测。2019年6月，美国南加州大学和加州大学伯克利分校的研究人员合作研发出新AI工具，可识别出DeepFake虚假视频，其识别准确率达到92％。该工具可通过训练确定每个人讲话或做表情时面部各器官的特定细节动作，而虚假视频则没有这些细节。研究人员还计划通过识别人声的独特节奏和特征，来进一步提高AI识别假视频的成功率。2020年，微软亚洲研究院和北京大学联合提出了FaceShifter和FaceX-Ray，前者是一种高保真、能够感知遮挡的AI“换脸工具”，后者则是针对伪造人脸图像的通用检测工具，取得业界领先的性能的同时，所需数据量也少得多。
然而，取证线索弱化是AI发展带来的必然挑战。采用先进AI技术操纵的视频图像的伪造痕迹本身就很微弱，加上视频图像的压缩、缩放、格式转换等后处理，进一步弱化了取证线索。因此，应发展对视频图像折损稳健的检测算法。
发明内容
为了解决上述技术问题，本发明基于LRCN模型的眨眼检测算法及卷积神经网络的分类器，提供了一种基于眨眼同步及双目移动检测的伪造视频检验方法及系统。
本发明的方法所采用的技术方案是：一种基于眨眼同步及双目移动检测的伪 造视频识别方法，包括以下步骤：
步骤1：针对待检验的视频数据进行数据预处理，获取眼部序列数据；
步骤2：眨眼检测；
基于LRCN神经网络模型，从眼部序列中训练一个识别精度达到预设值的眨眼检测网络；利用眨眼检测网络，对预处理的眼部序列进行眨眼动作识别，获取眨眼数据，并输出眼部此时闭合的概率；
步骤3：针对步骤2的结果，计算双目转动角度一致性，通过眼部序列数据分别计算左右眼移动信息，获取双目转动角度的一致性；
步骤4：伪造视频检测；
训练一个基于卷积神经网络二分类模型，以步骤2中获取的眨眼数据及步骤3中获取的双目转动角度的一致性数据作为输入，进行深度伪造视频的检测。
本发明的系统所采用的技术方案是：一种基于眨眼同步及双目移动检测的伪造视频检验系统，包括以下模块：
模块1，用于针对待检验的视频数据进行数据预处理，获取眼部序列数据；
模块2，用于眨眼检测；
基于LRCN神经网络模型，从眼部序列中训练一个识别精度达到预设值的眨眼检测网络；利用眨眼检测网络，对预处理的眼部序列进行眨眼动作识别，获取眨眼数据，并输出眼部此时闭合的概率；
模块3，用于针对模块2的结果，计算双目转动角度一致性，通过眼部序列数据分别计算左右眼移动信息，获取双目转动角度的一致性；
模块4，用于伪造视频检测；
训练一个基于卷积神经网络二分类模型，以模块2中获取的眨眼数据及模块3中获取的双目转动角度的一致性数据作为输入，进行深度伪造视频的检测。
本发明的优点和积极效果：
(1)本发明利用伪造视频眼部运动时产生的不一致性进行视频鉴伪工作，包括左右眼的眨眼不同步、扫视方位不一致。双目运动的同步性是人类长期进化的下意识行为，难以模仿，而且深度伪造技术短期内难以逼真生成这类细微行为，因此，鉴别算法具有高可信特点。
(2)本发明利用的眨眼及眼球转动特征线索，对视频图像的压缩、缩放等 造成的折损效应不敏感，因而对伪造痕迹弱化的抵抗力强。
附图说明
图1为本发明实施例的方法原理图。
图2为本发明实施例的眼部注视方向计算示意图；
图3为本发明实施例的LRCN神经网络模型示意图；
图4为本发明实施例二分类模型示意图；
图5为本发明实施例的左右眼的眨眼状态检测实验结果示意图，上图是伪造人脸，下图是真实人脸；
图6为本发明实施例的左右眼的眨眼状态序列的统计直方图，横坐标代表余弦相似度，纵坐标代表样本数；左图是伪造人脸，右图是真实人脸。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于眨眼同步及双目移动检测的伪造视频识别方法，包括以下步骤：
请见图1，本发明提供的一种基于眨眼同步及双目移动检测的伪造视频识别方法，包括以下步骤：
步骤1：针对待检验的视频数据进行数据预处理，获取眼部序列数据；
步骤1.1：在视频的每一帧中检测人脸区域，提取面部特征点，包括眼睛、鼻子和嘴巴位置。为避免视频帧间头部移动和面部朝向改变对面部分析造成干扰，通过面部特征点将面部对齐，使得对齐后的人脸位于图像中心、保持眼部水平；
步骤1.2：从对齐的面部区域中提取出两个矩形区域，使其分别包含左眼和右眼特征点，然后将矩形在水平方向上放大1.25倍，垂直方向上放大1.75倍，使得眼睛区域始终包含在裁剪区域中。将每帧所识别的眼部区域按时序组合，生成输入视频的眼部序列。
步骤2：眨眼检测；
基于LRCN神经网络模型，从眼部序列中训练一个识别精度达到预设值的眨眼检测网络；利用眨眼检测网络，对预处理的眼部序列进行眨眼动作识别，获 取眨眼数据，并输出眼部此时闭合的概率；其中，0表示眼部完全展开，1表示眼部完全闭合。
请见图3，本实施例的LRCN神经网络模型，包括特征提取模块、序列学习模块和状态预测模块；所述特征提取模块由串联的卷积层、池化层及全连接层组成；所述序列学习模块由长短期记忆网络组成，使用随时间梯度下降方法进行训练；所述状态预测模块包括全连接层；所述特征提取模块的输出进入序列学习模块，其输出经过状态预测模块后输出。
步骤3：针对步骤2的结果，计算双目转动角度一致性，通过眼部序列数据分别计算左右眼移动信息，获取双目转动角度的一致性；
通过眼部序列数据分别计算左右眼移动信息，获取双目转动角度的一致性；
步骤3.1：从眼部序列中进一步提取眼睑、虹膜和瞳孔位置特征点，依据这些特征点，分别计算出左右眼的ROI区域，对ROI区域中每个像素点x i计算其梯度g i，进而计算出g i的归一化向量d i；则眼球的预估中心点c为：
Figure PCTCN2021122345-appb-000001
Figure PCTCN2021122345-appb-000002
其中，N为连续观测帧的数目，g i表示像素点x i的梯度，c *表示c的优化值；
眼睛的注视方向可以表示为眼球中心到瞳孔的向量g＝(g x,g y,g z)，g x、g y、g z分别表示眼球坐标系中X轴、Y轴和Z轴的分量，如图2所示：
步骤3.2：用
Figure PCTCN2021122345-appb-000003
和
Figure PCTCN2021122345-appb-000004
分别表示连续两帧注视方向。定义i帧与i-1帧之间的眼部的转动角为θ i，可表示为：
Figure PCTCN2021122345-appb-000005
用
Figure PCTCN2021122345-appb-000006
表示左眼的转动角，
Figure PCTCN2021122345-appb-000007
表示右眼的转动角，则双目转动角度的一致性C BAS可以表示为：
Figure PCTCN2021122345-appb-000008
N为连续观测帧的数目，
Figure PCTCN2021122345-appb-000009
分别是对应变量的均值。双目转动角度一致性描述了左眼与右眼扫视时是否以相同的角度转动。左右眼的转动角度相一致对于真实视频是天然成立的，但在伪造视频中却很难被仿造。真实视频中的眼部C BAS会大于伪造视频，当取值范围大于0.8时可判定为强一致。
步骤4：伪造视频检测；
训练一个基于卷积神经网络二分类模型，以步骤2中获取的眨眼数据及步骤3中获取的双目转动角度的一致性数据作为输入，进行深度伪造视频的检测。
请见图4，本实施例的基于卷积神经网络二分类模型，包括若干串联的卷积网络，所述卷积网络由卷积层和池化层组成；所述卷积网络输出通过全连接层处理后输出。
步骤4.1：构建基于卷积神经网络的二分类模型，采用Inception网络结构增加模型性能；
步骤4.2：将眨眼概率与双目转动一致性相结合，组成一组新特征，将特征作为模型的输入，使用交叉熵损失训练。
请见图5，为本实施例的左右眼的眨眼状态检测实验结果，上图是伪造人脸，下图是真实人脸。可以看出，真实人脸的左右眼的眨眼状态序列更一致。而且上图的伪造人脸被模糊处理了，这表明本发明方法对图像的质量折损有较强的鲁棒性。
请见图6，为实施例的左右眼的眨眼状态序列的统计直方图及其拟合分布，横坐标代表余弦相似度，纵坐标代表样本数。左图是伪造人脸，右图是真实人脸，可以看出，伪造人脸接近正态分布、分布在余弦相似度低值区间，而真实人脸接近伽马分布、分布在高值区间。余弦相似度可以衡量两个序列的一致性，表明本发明方法能够根据眨眼一致性准确地判断伪造人脸。
上述试验证明了本发明具有鉴别结果可信度高、对图像折损导致的取证线索弱化鲁棒的双重特点。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

  1. 一种基于眨眼同步及双目移动检测的伪造视频检验方法，其特征在于，包括以下步骤：
    步骤1：针对待检验的视频数据进行数据预处理，获取眼部序列数据；
    步骤2：眨眼检测；
    基于LRCN神经网络模型，从眼部序列中训练一个识别精度达到预设值的眨眼检测网络；利用眨眼检测网络，对预处理的眼部序列进行眨眼动作识别，获取眨眼数据，并输出眼部此时闭合的概率；
    步骤3：针对步骤2的结果，计算双目转动角度一致性，通过眼部序列数据分别计算左右眼移动信息，获取双目转动角度的一致性；
    步骤4：伪造视频检测；
    训练一个基于卷积神经网络二分类模型，以步骤2中获取的眨眼数据及步骤3中获取的双目转动角度的一致性数据作为输入，进行深度伪造视频的检测。
  2. 根据权利要求1所述的基于眨眼同步及双目移动检测的伪造视频检验方法，其特征在于，步骤1的具体实现包括以下子步骤：
    步骤1.1：在视频的每一帧中检测人脸区域，提取面部特征点，包括眼睛、鼻子和嘴巴位置；通过面部特征点将面部对齐，使得对齐后的人脸位于图像中心、保持眼部水平；
    步骤1.2：从对齐的面部区域中提取出两个矩形区域，使其分别包含左眼和右眼特征点，将每帧所识别的眼部区域按时序组合，生成输入视频的眼部序列。
  3. 根据权利要求2所述的基于眨眼同步及双目移动检测的伪造视频检验方法，其特征在于：步骤1.2中，将矩形区域在水平方向上和垂直方向上放大，使得眼睛区域始终包含在裁剪区域中。
  4. 根据权利要求1所述的基于眨眼同步及双目移动检测的伪造视频检验方法，其特征在于：步骤2的所述LRCN神经网络模型，包括特征提取模块、序列学习模块和状态预测模块；所述特征提取模块由串联的卷积层、池化层及全连接层组成；所述序列学习模块由长短期记忆网络组成，使用随时间梯度下降方法进行训练；所述状态预测模块包括全连接层；所述特征提取模块的输出进入序列学习模块，其输出经过状态预测模块后输出。
  5. 根据权利要求1所述的基于眨眼同步及双目移动检测的伪造视频检验方法，其特征在于，步骤3的具体实现包括以下子步骤：
    步骤3.1：从眼部序列中进一步提取眼睑、虹膜和瞳孔位置特征点，依据这些特征点，分别计算出左右眼的ROI区域，对ROI区域中每个像素点x i计算其梯度g i，进而计算出g i的归一化向量d i；则眼球的预估中心点c为：
    Figure PCTCN2021122345-appb-100001
    Figure PCTCN2021122345-appb-100002
    其中，N为连续观测帧的数目，g i表示像素点x i的梯度，c *表示c的优化值；
    眼睛的注视方向表示为眼球中心到瞳孔的向量g＝(g x,g y,g z)，g x、g y、g z分别表示眼球坐标系中X轴、Y轴和Z轴的分量；
    步骤3.2：用
    Figure PCTCN2021122345-appb-100003
    和
    Figure PCTCN2021122345-appb-100004
    分别表示连续两帧注视方向；定义i帧与i-1帧之间的眼部的转动角为θ i，为：
    Figure PCTCN2021122345-appb-100005
    用
    Figure PCTCN2021122345-appb-100006
    表示左眼的转动角，
    Figure PCTCN2021122345-appb-100007
    表示右眼的转动角，则双目转动角度的一致性C BAS为：
    Figure PCTCN2021122345-appb-100008
    其中，
    Figure PCTCN2021122345-appb-100009
    分别是对应变量的均值。
  6. 根据权利要求1-5任一项所述的基于眨眼同步及双目移动检测的伪造视频检验方法，其特征在于：步骤4的所述基于卷积神经网络二分类模型，包括若干串联的卷积网络，所述卷积网络由卷积层和池化层组成；所述卷积网络输出通过全连接层处理后输出。
  7. 一种基于眨眼同步及双目移动检测的伪造视频检验系统，其特征在于，包括以下模块：
    模块1，用于针对待检验的视频数据进行数据预处理，获取眼部序列数据；
    模块2，用于眨眼检测；
    基于LRCN神经网络模型，从眼部序列中训练一个识别精度达到预设值的眨眼检测网络；利用眨眼检测网络，对预处理的眼部序列进行眨眼动作识别，获取眨眼数据，并输出眼部此时闭合的概率；
    模块3，用于针对模块2的结果，计算双目转动角度一致性，通过眼部序列数据分别计算左右眼移动信息，获取双目转动角度的一致性；
    模块4，用于伪造视频检测；
    训练一个基于卷积神经网络二分类模型，以模块2中获取的眨眼数据及模块3中获取的双目转动角度的一致性数据作为输入，进行深度伪造视频的检测。
PCT/CN2021/122345 2021-07-09 2021-09-30 基于眨眼同步及双目移动检测的伪造视频检验方法及系统 WO2023279557A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110776187.4 2021-07-09
CN202110776187.4A CN113627256B (zh) 2021-07-09 2021-07-09 基于眨眼同步及双目移动检测的伪造视频检验方法及系统

Publications (1)

Publication Number Publication Date
WO2023279557A1 true WO2023279557A1 (zh) 2023-01-12

Family

ID=78379570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/122345 WO2023279557A1 (zh) 2021-07-09 2021-09-30 基于眨眼同步及双目移动检测的伪造视频检验方法及系统

Country Status (2)

Country Link
CN (1) CN113627256B (zh)
WO (1) WO2023279557A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114267080B (zh) * 2021-12-30 2023-03-24 淮阴工学院 一种基于角度变化的无差别眨眼识别方法
CN114863545B (zh) * 2022-07-05 2022-10-21 之江实验室 基于DeepLabCut的自动眨眼检测方法和装置
CN117690061B (zh) * 2023-12-27 2024-05-17 中邮消费金融有限公司 深度伪造视频检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
CN107111743A (zh) * 2014-11-13 2017-08-29 英特尔公司 使用渐进式眼睑跟踪的生命活性检测
US20180349682A1 (en) * 2017-05-31 2018-12-06 Facebook, Inc. Face liveness detection
CN110826440A (zh) * 2019-10-28 2020-02-21 华南理工大学 一种基于眼动特征的换脸视频篡改检测方法及系统
CN111539389A (zh) * 2020-06-22 2020-08-14 腾讯科技（深圳）有限公司 人脸防伪识别方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016076912A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Spoofing detection in image biometrics
CN109522798A (zh) * 2018-10-16 2019-03-26 平安科技（深圳）有限公司 基于活体识别的视频防伪方法、系统、装置及可存储介质
CN109262656B (zh) * 2018-10-31 2019-05-28 山东科技大学 一种基于机器视觉的动物机器人刺激参数测定系统和方法
CN112434611B (zh) * 2020-11-25 2023-04-07 中山大学 基于眼部运动细微特征的早期疲劳检测方法及系统
CN112861671B (zh) * 2021-01-27 2022-10-21 电子科技大学 一种对深度伪造人脸图像和视频的鉴别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
CN107111743A (zh) * 2014-11-13 2017-08-29 英特尔公司 使用渐进式眼睑跟踪的生命活性检测
US20180349682A1 (en) * 2017-05-31 2018-12-06 Facebook, Inc. Face liveness detection
CN110826440A (zh) * 2019-10-28 2020-02-21 华南理工大学 一种基于眼动特征的换脸视频篡改检测方法及系统
CN111539389A (zh) * 2020-06-22 2020-08-14 腾讯科技（深圳）有限公司 人脸防伪识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI YUEZUN; CHANG MING-CHING; LYU SIWEI: "In Ictu Oculi: Exposing AI Created Fake Videos by Detecting Eye Blinking", 2018 IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY (WIFS), IEEE, 11 December 2018 (2018-12-11), pages 1 - 7, XP033511102, DOI: 10.1109/WIFS.2018.8630787 *

Also Published As

Publication number Publication date
CN113627256B (zh) 2023-08-18
CN113627256A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
WO2023279557A1 (zh) 基于眨眼同步及双目移动检测的伪造视频检验方法及系统
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
Rössler et al. Faceforensics: A large-scale video dataset for forgery detection in human faces
CN107403142B (zh) 一种微表情的检测方法
CN110222668B (zh) 基于生成对抗网络的多姿态面部表情识别方法
CN111652827B (zh) 一种基于生成对抗网络的正面人脸合成方法及系统
CN107346422B (zh) 一种基于眨眼检测的活体人脸识别方法
Fung et al. Deepfakeucl: Deepfake detection via unsupervised contrastive learning
CN107798318A (zh) 一种机器人识别面部快乐微表情的方法及其装置
CN104951773A (zh) 一种实时人脸识别监视系统
CN108182409A (zh) 活体检测方法、装置、设备及存储介质
CN109543526A (zh) 基于深度差异性特征的真假面瘫识别系统
CN110175501A (zh) 基于人脸识别的多人场景专注度识别方法
Cornejo et al. Emotion recognition from occluded facial expressions using weber local descriptor
CN107480586B (zh) 基于人脸特征点位移的生物识别照片仿冒攻击检测方法
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN112541422A (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN111860394A (zh) 一种基于姿态估计和动作检测的动作活体识别方法
CN111860078A (zh) 人脸静默活体检测方法、装置、可读存储介质及设备
CN113920568A (zh) 基于视频图像的人脸和人体姿态情绪识别方法
CN107862298B (zh) 一种基于红外摄像装置下眨眼的活体检测方法
CN113887386A (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN113076916A (zh) 基于几何特征加权融合的动态人脸表情识别方法及系统
Hu et al. A large-scale database for less cooperative iris recognition
Wu et al. Ggvit: Multistream vision transformer network in face2face facial reenactment detection

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE