WO2021134871A1 - 基于局部二值模式和深度学习的合成人脸图像取证方法 - Google Patents

基于局部二值模式和深度学习的合成人脸图像取证方法 Download PDF

Info

Publication number
WO2021134871A1
WO2021134871A1 PCT/CN2020/076553 CN2020076553W WO2021134871A1 WO 2021134871 A1 WO2021134871 A1 WO 2021134871A1 CN 2020076553 W CN2020076553 W CN 2020076553W WO 2021134871 A1 WO2021134871 A1 WO 2021134871A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
training
face
lbp
neural network
Prior art date
Application number
PCT/CN2020/076553
Other languages
English (en)
French (fr)
Inventor
梁丕树
夏群兵
杨高波
熊小芳
Original Assignee
深圳市爱协生科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市爱协生科技有限公司 filed Critical 深圳市爱协生科技有限公司
Publication of WO2021134871A1 publication Critical patent/WO2021134871A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the invention belongs to the technical field of machine learning and image forensics, and specifically relates to a synthetic face image forensics method based on local binary mode and deep learning.
  • the main purpose of the present invention is to provide a synthetic face image forensics method based on local binary mode and deep learning.
  • the embodiment of the present invention provides a synthetic face image forensics method based on local binary mode and deep learning, and the method is:
  • the model includes a facial image feature extraction module and a feature classification module.
  • the evaluation score is obtained according to the logistic regression in the classification module, and the loss function and data label are used. Update the network parameters in the feature extraction module with the evaluation score;
  • the neural network is trained through the training set and the test set to obtain a training model, and the training model is used to detect whether the input face image is a real natural face or a synthetic face.
  • the image library is divided into three parts: training set, validation set, and test set.
  • the image data set is divided into two parts, one part is used as a test sample set, and the other part is used as an image database; One part is taken as the training sample set, and the other part is the validation set; each sample includes an image and the corresponding category label.
  • the LBP operator mode and the sampling radius are determined according to the extracted local binary mode LBP features of the face image, specifically: the LBP operator adopts the LBP of the mean mode, and the sampling radius is 1, that is, in the The 8 points in the 3 ⁇ 3 neighborhood of the pixel point can produce an 8-bit unsigned number, that is, the LBP value of the point is obtained, and this value is used to reflect the texture information of the area.
  • the construction of the face forensic convolutional neural network model is specifically: the neural network is composed of a convolutional layer, a pooling layer, and a fully connected layer; the convolutional layer is composed of a 3 ⁇ 3 convolution kernel, The depthwise separable convolution structure is composed of a depthwise separable convolution and a 1 ⁇ 1 convolution kernel.
  • the convolution layer adopts the activation function as the ReLu function, and the pooling adopts the maximum pooling.
  • the network parameters w, the bias b, and the activation function are ReLU, then the evaluation score S of the face image passing through the network:
  • s is the feature vector of each hidden layer
  • ⁇ (x) is the ReLU activation function
  • the convolutional neural network adopts the cross-entropy loss function as the network loss function to estimate the predicted value of the target image Deviation from its label T;
  • the parameters of the neural network are updated using the stochastic gradient descent algorithm SGD.
  • the training model is obtained by training the neural network through the training set and the test set, specifically: when training the model, the training set image is processed by the LBP operator, and the obtained LBP map is sent to the network in batches for forward propagation , And then use the backpropagation algorithm to adjust the network weights for the loss calculated by the network, learn the parameters of the convolutional network, and obtain the training model after a certain number of iterations.
  • the present invention first performs LBP feature extraction on the input image, reduces the feature dimension sent to the neural network, and constructs a lightweight convolutional neural network to reduce network training complexity.
  • the invention provides a universal synthetic face forensics method, which can quickly and efficiently detect synthetic face images that are common at the present stage.
  • Figure 1 is a schematic diagram of the overall flow of the present invention
  • Figure 2 is a schematic diagram of the LBP atlas of the human face of the present invention.
  • Figure 3 is a schematic diagram of a convolutional neural network model
  • Figure 4 is a schematic diagram of the loss value during the training process
  • Figure 5 is a schematic diagram of the test results of various synthetic human faces under the training model.
  • the embodiment of the present invention provides a synthetic face image forensics method based on local binary mode and deep learning, as shown in Figures 1-6, the method is implemented by the following steps:
  • the real natural face image data set used in the implementation of the present invention is the publicly available CelebA-HQ high-definition face data set.
  • the data set contains more than 200K celebrity images.
  • the synthetic face image data uses a variety of techniques to generate faces. Specifically, the publicly trained StarGAN, PGGAN, StyleGAN and other image generation models are used to generate 10,000 synthetic false faces.
  • the synthetic face data set also contains The face generated by the computer graphics technology Face2Face.
  • the synthetic face is derived from the public FaceForensics data set. We randomly selected 10,000 as the Face2Face synthetic face image library. Unify the size of all images to 256 ⁇ 256.
  • the real face image data set contains 10,000 celebrity images, which are positive samples.
  • the synthetic face image data set contains fake faces based on 4 types of technologies, StarGAN, PGGAN, StyleGAN, and Face2Face. Each type of synthetic face is 10,000, and a total of 40,000 synthetic faces are negative samples.
  • the data set is divided at a ratio of 8:1:1, 8/10 is used as the training set, 1/10 is used as the verification set, and the remaining 1/10 is used as the test set.
  • the integer value of the bit There are 256 types of LBP codes generated in this way. After adopting the LBP equivalent mode, the original 256 types of LBP codes are reduced to 59 types, and the dimensionality of the feature vector is less.
  • the local_binary_pattern function in the python language skimage library is directly called to convert the face image into a binary map.
  • Figure 2 shows an example of the extracted LBP map.
  • the LBP used is an effective texture description operator, which measures and extracts the local texture information of the image, and is invariant to illumination. It performs very well in image analysis, face recognition and other fields; the LBP operator is composed of it and its neighborhood Pixel value comparison
  • (h c , v c ) are the coordinates of the center pixel
  • p is the p-th pixel in the neighborhood
  • i p is the gray value of the neighborhood pixel
  • i c is the gray value of the center pixel
  • u(x) Is a symbolic function.
  • the present invention adopts the LBP of the equivalent pattern to reduce the dimensionality of the pattern type of the original LBP operator.
  • "Equivalent mode” means that if the cyclic binary number corresponding to a certain LBP has at most two transitions from 0 to 1 or from 1 to 0, the binary corresponding to the LBP is called an equivalent mode class.
  • Such as 00000000 (0 jumps), 00000111 (only one jump from 0 to 1), 10001111 (first jump from 1 to 0, then from 0 to 1, a total of two jumps) are equivalent modes class. All the modes except the equivalent mode class are classified into another class, which is called the mixed mode class.
  • the types of binary codes in this mode are greatly reduced without losing any information.
  • the number of mode binary codes is reduced from the original 2P types to P(P-1)+2 types, where P represents the number of sampling points in the neighborhood set.
  • the network parameters w, the bias b, and the activation function are ReLU, then the evaluation score S of the face image passing through the network:
  • s is the feature vector of each hidden layer
  • ⁇ (x) is the ReLU activation function
  • Figure 3 is the constructed convolutional network model. It can be seen that the model contains two common convolutional layers on the backbone, four depth-separable convolutional layers, and the first three depth-separable convolutional layers are all connected behind. There is a maximum pooling layer, a global average pooling layer is connected behind the last convolutional layer with separable depth, and a fully connected layer. The size of the convolution kernel on the backbone and the size of the maximum pooling layer are both 3 ⁇ 3. After each convolution layer, the batch normalization BatchNorm operation is performed, and the output is normalized to a Gaussian distribution of N(0,1), which improves the model’s performance Robustness speeds up the convergence speed of the network. And use the ReLU activation function to perform non-linear mapping.
  • the purpose of the present invention is to build a lightweight neural network to extract features and classification.
  • the built model adopts depthwise separable convolution to greatly reduce network parameters and shorten training time.
  • 1 ⁇ is used next to the network backbone.
  • the convolution kernel directly transfers the features extracted from the low layer to the deep layer. This design enhances the multiplexing of features, and the error signal can be transmitted to the shallow layer more directly during training, thereby accelerating the convergence speed of the network.
  • the stochastic gradient descent algorithm SGD updates the parameters of the neural network, the learning rate Learning_Rate is 0.001, the Batch_Size is set to 16, and the training takes 40 cycles.
  • the CNN model is trained using the pytorch environment installed on the Ubuntu system.
  • the training images are sent to the network in batches for forward propagation, and then the loss calculated by the network is used to adjust the weight of the network using the backpropagation algorithm, and the parameters of the convolutional network are learned.
  • the training is obtained Synthetic face forensics model.
  • the training loss values of four different types of synthetic faces are shown in FIG. 4. Save the trained model, and then load it directly to detect whether the input face image is a real natural face or a synthetic face.

Abstract

本发明公开了一种基于局部二值模式和深度学习的合成人脸图像取证方法，采集真实人脸图像和合成人脸图像并且进行标注，创建人脸图像取证样本图库，并将图像库划分成训练集，验证集，测试集三个部分；根据提取的人脸图像的局部二值模式LBP特征确定LBP算子模式及采样半径；构建人脸取证卷积神经网络模型、及设置卷积神经网络训练超参数，模型包括人脸图像特征提取模块和特征分类模块，根据分类模块中的逻辑回归得到评价分数，根据损失函数及数据标签与评价分数更新特征提取模块中的网络参数；通过训练集和测试集训练神经网络获得训练模型，所述训练模型检测输入人脸图像是真实自然人脸还是合成人脸。本发明能快速高效的检测现阶段常见的合成人脸图像。

Description

基于局部二值模式和深度学习的合成人脸图像取证方法 技术领域
本发明属于机器学习和图像取证技术领域，具体涉及一种基于局部二值模式和深度学习的合成人脸图像取证方法。
背景技术
近年来，计算机视觉技术，深度学习技术的快速发展使得人脸图像的编辑和合成变得越来越容易，在丰富人们娱乐生活的同时，媒体上充斥着的大量虚假合成人脸也给公众带来了信任危机。一旦虚假的人脸图像被恶意使用，如制造假新闻误导公众，利用合成人脸进行身份识别，或在法庭上作为伪证，歪曲事实等，会导致严重的后果。然而现在合成技术的进步使得合成图像越来越逼真，人们依赖肉眼已经无法准确判断一张图像的真伪了。因此自动识别人脸图像的真伪模型的研究受到了研究人员的关注。
尽管目前一些研究人员针对某种特定技术的合成人脸，提出了一些解决方案，比如对于Face2Face人脸合成技术，一些研究人员提出小波变换统计矩特征或是SRM残差特征来描述自然真实图像和合成图像之间的差异，但是检测结果不太稳定，且在多媒体中图像常以压缩后形式传输，对于压缩后的图像，基于这些特征方案的检测性能下降明显；又如对于现在流行的GAN人脸生成技术，研究人员利用真实自然人脸和生成人脸在RGB、HSV、YCbCr三种颜色空间上的颜色不匹配特点，提取共生矩阵作为特征来区分这两种人脸，或者利用一些目标识别神经网络像Resnet,Xception等来区分真实人脸和虚假人脸。但是这些方法中传统图像统计矩特征只能针对特定图像合成技术手段生成的图像进行检测，一般的神经网络模型庞大，网络结构复杂，训练难度大且训练时间长。这些方法都难以满足合成人脸取证所需的通用性及高效性特点。因此寻找一种简单，高效，准确，通用的合成人脸取证模型具有重要的现实意义。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于局部二值模式和深度学习的合成人脸图像取证方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种基于局部二值模式和深度学习的合成人脸图像取证方法，该方法为：
采集真实人脸图像和合成人脸图像并且进行标注，创建人脸图像取证样本图库，并将图像库划分成训练集，验证集，测试集三个部分；
根据提取的人脸图像的局部二值模式LBP特征确定LBP算子模式及采样半径；
构建人脸取证卷积神经网络模型、及设置卷积神经网络训练超参数，模型包括人脸图像特征提取模块和特征分类模块，根据分类模块中的逻辑回归得到评价分数，根据损失函数及数据标签与评价分数更新特征提取模块中的网络参数；
通过训练集和测试集训练神经网络获得训练模型，通过所述训练模型检测输入人脸图像是真实自然人脸还是合成人脸。
上述方案中，所述将图库划分成训练集，验证集，测试集三个部分，具体为：将图像数据集分成两部分，一部分作为测试样本集，另一部分作为图像数据库；从所述图像数据库中取出一部分作为训练样本集，一部分为验证集；每个样本均包括一张图像及对应的类别标签。
上述方案中，所述根据提取的人脸图像的局部二值模式LBP特征确定LBP算子模式及采样半径，具体为：所述LBP算子采用均值模式的LBP，采样半径为1，即在该像素点3×3邻域内的8个点可产生8bit的无符号数，即得到该点的LBP值，并用这个值来反映该区域的纹理信息。
上述方案中，所述构建人脸取证卷积神经网络模型，具体为：所述神经网络由卷积层、池化层、全连接层组成；所述卷积层由3×3卷积核，深度可分离卷积结构depthwise separable convolution，以及1×1卷积核构成，所述卷 积层采用激活函数为ReLu函数，所述池化采用最大池化。
上述方案中，所述人脸取证卷积神经网络模型中，网络参数w，偏置b，激活函数为ReLU，则通过网络的人脸图像的评价分数S：
S＝σ(w T*s+b)
            (3)σ(x)＝max(0,x)
            (4)
其中，s为每层隐含层入的特征向量，σ(x)为ReLU激活函数。
上述方案中，所述卷积神经网络采用为交叉熵损失函数为网络损失函数来估计目标图像预测值
Figure PCTCN2020076553-appb-000001
和其标签T的偏差；
Figure PCTCN2020076553-appb-000002
单次训练结束后根据损失函数，利用随机梯度下降算法SGD更新神经网络的参数。
上述方案中，所述通过训练集和测试集训练神经网络获得训练模型，具体为：训练模型时，将训练集图像进行LBP算子处理，得到的LBP图谱分批送入网络，进行前向传播，然后将经过该网络计算后得到的损失用反向传播算法调整网络权重，学习卷积网络参数，迭代一定次数后得到训练模型。
与现有技术相比，本发明对输入图像先进行LBP特征提取，减小送入神经网络的特征维度，并构建一种轻量级的卷积神经网络，减小网络训练复杂度。本发明提供了一种通用的合成人脸取证方法，能快速高效的检测现阶段常见的合成人脸图像。
附图说明
图1为本发明整体流程示意图；
图2为本发明人脸LBP图谱示意图；
图3为卷积神经网络模型示意图；
图4为训练过程损失值示意图；
图5为各种不同合成人脸在训练模型下测试结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于局部二值模式和深度学习的合成人脸图像取证方法，如图1-6所示，该方法通过以下步骤实现：
S1：收集并划分数据集
具体地，本发明实施采用的真实自然人脸图像数据集为公开的CelebA-HQ高清人脸数据集，该数据集包含拥有超过200K名人图像，我们随机选取了10000张用于构建真实人脸数据集。合成人脸图像数据采用了多种技术生成人脸，具体的，分别利用公开的训练好的StarGAN,PGGAN，StyleGAN等图像生成模型各生成10000张合成虚假人脸，另外合成人脸数据集还包含计算机图形学技术Face2Face生成的人脸，该合成人脸源于公开的FaceForensics数据集，我们随机选取了10000张作为Face2Face合成人脸图像库。将所有的图像大小统一为256×256。
总体上真实人脸图像数据集包含10000张名人图像，为正样本。
合成人脸图像数据集包含基于4类技术的虚假人脸，StarGAN，PGGAN，StyleGAN，和Face2Face，每类合成人脸各10000张，共40000张合成人脸，为负样本。
具体实施时，数据集以8:1:1比例划分，8/10作为训练集，1/10作为验证集，余下1/10作为测试集。
S2：提取人脸图像的局部二值模式LBP特征
具体地，本发明实施采用的采样半径为1，即p＝8，表示在计算某个像素LBP值的时候，会用到邻域的8个像素，并且最后得到的LBP值也会编码为8比特的整数值。这样产生的LBP码有256种，采用LBP等价模式后，LBP码由原始的256种减少为59种，特征向量的维数更少。实施时直接调用python语 言skimage库中的local_binary_pattern函数将人脸图像转化为二进制图谱，附图2给出了提取的LBP图谱示例。
采用的LBP是一种有效的纹理描述算子，度量和提取图像局部的纹理信息，对光照具有不变性，在图像分析，人脸识别等领域表现十分优异；LBP算子由它和它邻域像素值比较得出
Figure PCTCN2020076553-appb-000003
Figure PCTCN2020076553-appb-000004
其中，(h c,v c)为中心像素的坐标，p为邻域的第p个像素，i p为邻域像素的灰度值，i c为中心像素的灰度值，u(x)为符号函数。对于半径为R的圆形区域内含有P个采样点的LBP算子将会产生2^P种模式。
在实际图像中，绝大多数LBP模式的二进制码最多只包含两次从1到0或从0到1的跳变。本发明采用等价模式的LBP来对原始LBP算子的模式种类进行降维。“等价模式”指如果某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000(0次跳变)，00000111(只含一次从0到1的跳变)，10001111(先由1跳到0，再由0跳到1，共两次跳变)都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类。这种模式的二进制码种类大大减少，而不会丢失任何信息。模式二进制码数量由原来的2P种减少为P(P-1)+2种，其中P表示邻域集内的采样点数。
S3：构建人脸取证卷积神经网络模型
具体地，人脸取证卷积神经网络模型中，网络参数w，偏置b，激活函数为ReLU，则通过网络的人脸图像的评价分数S：
S＝σ(w T*s+b)       (3)
σ(x)＝max(0,x)       (4)
其中，s为每层隐含层入的特征向量，σ(x)为ReLU激活函数。
附图3为构建的卷积网络模型，可以看到模型包含主干上有两个普通的卷积层，四个深度可分离的卷积层，前三个深度可分离的卷积层后面均连接着一个最大池化层，最后一个深度可分离的卷积层后面连接着一个全局平均池化层，另外还有一个全连接层。主干上卷积核尺寸和最大池化层尺寸均为3×3，每个卷积层后进行批归一化BatchNorm操作，输出归一化为N(0,1)的高斯分布，提高模型的鲁棒性，加快网络的收敛速度。并且利用ReLU激活函数进行非线性映射。
另外支干上有三个1×1卷积层；其中卷积层特征图数量依次为16，32，64，128，256。网络最后用一个Dense层将提取到的256维向量映射为2个分数值，模型最终的结果将判为分数值高的那一类。模型各层结构配置分别如表1所示。
在本发明目的是构建一个轻量级的神经网络来提取特征和分类，构建的模型中采用深度可分离卷积depthwise separable convolution可大量减少网络参数，缩短训练时间，同时在网络主干旁边使用1×1卷积核直接将低层提取的特征传输到深层。该设计增强了特征的复用，训练时误差信号可以更直接地传输到浅层，从而加快了网络的收敛速度。
S4：设置网络的训练的超参数
具体地，采用Cross Entropy Loss作为损失函数，随机梯度下降算法SGD更新神经网络的参数，学习率Learning_Rate为0.001，Batch_Size设为16，训练40个周期。
S5：训练神经网络模型
具体地，利用安装在Ubuntu系统上的pytorch环境训练CNN模型。训练模型时，将训练图像分批送入网络，进行前向传播，然后将经过该网络计算后得到的损失用反向传播算法调整网络权重，学习卷积网络参数，迭代一定次数后得到训练后的合成人脸取证模型。本实例对四种不同类型的合成人脸训练的损失值如附图4所示。将训练好的模型保存，之后可以直接加载检测输入人脸图像是真实自然人脸还是合成人脸。
S6：评估训练模型对各种合成人脸的检测性能
评估模型性能时，先将真实自然人脸和四种合成人脸图像进行LBP处理，形成LBP图谱，然后分别以1：1比例送入训练好的模型中，来验证模型对于各种合成人脸图像的检测性能。性能的评估采用检测准确率和模型参数量两个参数，性能评估结果图如附图5。
表1
Layer Configuration Output(Channels,Rows,Cols)
CONV1 c＝16,k＝3,s＝2,p＝0 (16,127,127)
CONV2 c＝32,k＝3,s＝2,p＝0 (32,63,63)
1*1CONV1 c＝64,k＝1,s＝2,p＝1 (64,32,32)
Depthwise CONV1 c＝32,k＝3,s＝1,p＝1 (32,63,63)
Pointwise CONV1 c＝64,k＝1,s＝1,p＝0 (64,63,63)
Maxpool1 k＝3,s＝2,p＝1 (64,32,32)
1*1CONV2 c＝128,k＝1,s＝4,p＝0 (128,16,16)
Depthwise CONV2 c＝64,k＝3,s＝1,p＝1 (64,32,32)
Pointwise CONV2 c＝128,k＝1,s＝1,p＝0 (128,32,32)
Maxpool2 k＝3,s＝2,p＝1 (128,16,16)
1*1CONV3 c＝256,k＝1,s＝8,p＝1 (256,8,8)
Depthwise CONV3 c＝128,k＝3,s＝1,p＝1 (128,16,16)
Pointwise CONV3 c＝256,k＝1,s＝1,p＝0 (256,16,16)
Maxpool3 k＝3,s＝2,p＝1 (256,8,8)
Depthwise CONV4 c＝256,k＝3,s＝1,p＝1 (256,8,8)
Pointwise CONV4 c＝512,k＝1,s＝1,p＝0 (256,8,8)
Global Averagepool (1,1) (512,1,1)
Dense L＝2 (2,1,1)
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

  1. 一种基于局部二值模式和深度学习的合成人脸图像取证方法，其特征在于，该方法为：
    采集真实人脸图像和合成人脸图像并且进行标注，创建人脸图像取证样本图库，并将图像库划分成训练集，验证集，测试集三个部分；
    根据提取的人脸图像的局部二值模式LBP特征确定LBP算子模式及采样半径；
    构建人脸取证卷积神经网络模型、及设置卷积神经网络训练超参数，模型包括人脸图像特征提取模块和特征分类模块，根据分类模块中的逻辑回归得到评价分数，根据损失函数及数据标签与评价分数更新特征提取模块中的网络参数；
    通过训练集和测试集训练神经网络获得训练模型，通过所述训练模型检测输入人脸图像是真实自然人脸还是合成人脸。
  2. 根据权利要求1所述的基于局部二值模式和深度学习的合成人脸图像取证方法，其特征在于：所述将图库划分成训练集，验证集，测试集三个部分，具体为：将图像数据集分成两部分，一部分作为测试样本集，另一部分作为图像数据库；从所述图像数据库中取出一部分作为训练样本集，一部分为验证集；每个样本均包括一张图像及对应的类别标签。
  3. 根据权利要求1或2所述的基于局部二值模式和深度学习的合成人脸图像取证方法，其特征在于：所述根据提取的人脸图像的局部二值模式LBP特征确定LBP算子模式及采样半径，具体为：所述LBP算子采用均值模式的LBP，采样半径为1，即在该像素点3×3邻域内的8个点可产生8bit的无符号数，即得到该点的LBP值，并用这个值来反映该区域的纹理信息。
  4. 根据权利要求3所述的基于局部二值模式和深度学习的合成人脸图像取证方法，其特征在于：所述构建人脸取证卷积神经网络模型，具体为：所述神经网络由卷积层、池化层、全连接层组成；所述卷积层由3×3卷积核，深度可分离卷积结构depthwise separable convolution，以及1×1卷积核构成，所 述卷积层采用激活函数为ReLu函数，所述池化采用最大池化。
  5. 根据权利要求4所述的基于局部二值模式和深度学习的合成人脸图像取证方法，其特征在于：所述人脸取证卷积神经网络模型中，网络参数w，偏置b，激活函数为ReLU，则通过网络的人脸图像的评价分数S：
    S＝σ(w T*s+b)
    (3)
    σ(x)＝max(0,x)
    (4)
    其中，s为每层隐含层入的特征向量，σ(x)为ReLU激活函数。
  6. 根据权利要求5所述的基于局部二值模式和深度学习的合成人脸图像取证方法，其特征在于：所述卷积神经网络采用为交叉熵损失函数为网络损失函数来估计目标图像预测值
    Figure PCTCN2020076553-appb-100001
    和其标签T的偏差；
    Figure PCTCN2020076553-appb-100002
    单次训练结束后根据损失函数，利用随机梯度下降算法SGD更新神经网络的参数。
  7. 根据权利要求6所述的基于局部二值模式和深度学习的合成人脸图像取证方法，其特征在于：所述通过训练集和测试集训练神经网络获得训练模型，具体为：训练模型时，将训练集图像进行LBP算子处理，得到的LBP图谱分批送入网络，进行前向传播，然后将经过该网络计算后得到的损失用反向传播算法调整网络权重，学习卷积网络参数，迭代一定次数后得到训练模型。
PCT/CN2020/076553 2019-12-30 2020-02-25 基于局部二值模式和深度学习的合成人脸图像取证方法 WO2021134871A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911396339.7A CN111222434A (zh) 2019-12-30 2019-12-30 基于局部二值模式和深度学习的合成人脸图像取证方法
CN201911396339.7 2019-12-30

Publications (1)

Publication Number Publication Date
WO2021134871A1 true WO2021134871A1 (zh) 2021-07-08

Family

ID=70829218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/076553 WO2021134871A1 (zh) 2019-12-30 2020-02-25 基于局部二值模式和深度学习的合成人脸图像取证方法

Country Status (2)

Country Link
CN (1) CN111222434A (zh)
WO (1) WO2021134871A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569667A (zh) * 2021-07-09 2021-10-29 武汉理工大学 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN113705580A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法
CN113705397A (zh) * 2021-08-16 2021-11-26 南京信息工程大学 基于双流cnn结构融合prnu的gan生成人脸检测方法
CN113763327A (zh) * 2021-08-10 2021-12-07 上海电力大学 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法
CN113762205A (zh) * 2021-09-17 2021-12-07 深圳市爱协生科技有限公司 人脸图像操作痕迹检测方法、计算机设备及可读存储介质
CN113792482A (zh) * 2021-09-06 2021-12-14 浙江大学 一种用于模拟生物膜在多孔介质中生长的方法
CN114169385A (zh) * 2021-09-28 2022-03-11 北京工业大学 基于混合数据增强的mswi过程燃烧状态识别方法
CN114267069A (zh) * 2021-12-25 2022-04-01 福州大学 基于数据泛化与特征增强的人脸检测方法
CN114563203A (zh) * 2022-03-11 2022-05-31 中国煤炭科工集团太原研究院有限公司 一种模拟井下低能见度环境的方法
CN114663986A (zh) * 2022-03-31 2022-06-24 华南理工大学 一种基于双解耦生成和半监督学习的活体检测方法及系统
CN114694220A (zh) * 2022-03-25 2022-07-01 上海大学 一种基于Swin Transformer的双流人脸伪造检测方法
CN114742774A (zh) * 2022-03-30 2022-07-12 福州大学 融合局部和全局特征的无参考图像质量评价方法及系统
CN114786057A (zh) * 2022-03-29 2022-07-22 广州埋堆堆科技有限公司 一种基于深度学习及表情包数据集的视频弹幕生成系统
CN114863536A (zh) * 2022-05-25 2022-08-05 中新国际联合研究院 一种基于复合特征空间的生成人脸检测方法
CN115588166A (zh) * 2022-11-10 2023-01-10 新乡市诚德能源科技装备有限公司 一种防泄漏船用lng燃料罐
CN115690747A (zh) * 2022-12-30 2023-02-03 天津所托瑞安汽车科技有限公司 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN116628660A (zh) * 2023-05-26 2023-08-22 杭州电子科技大学 基于深度神经网络编码的个人化人脸生物密钥生成方法
CN117611923A (zh) * 2024-01-08 2024-02-27 北京锐融天下科技股份有限公司 一种身份证件真伪识别方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862030B (zh) * 2020-07-15 2024-02-09 北京百度网讯科技有限公司 一种人脸合成图检测方法、装置、电子设备及存储介质
CN112163511B (zh) * 2020-09-25 2022-03-29 天津大学 一种图像真伪鉴别方法
CN112101328A (zh) * 2020-11-19 2020-12-18 四川新网银行股份有限公司 一种深度学习中识别并处理标签噪声的方法
CN112580507A (zh) * 2020-12-18 2021-03-30 合肥高维数据技术有限公司 一种基于图像矩矫正的深度学习文本字符检测方法
CN113807237B (zh) * 2021-09-15 2022-11-08 河南星环众志信息科技有限公司 活体检测模型的训练、活体检测方法、计算机设备及介质
CN114463601B (zh) * 2022-04-12 2022-08-05 北京云恒科技研究院有限公司 一种基于大数据的目标识别的数据处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
CN108427921A (zh) * 2018-02-28 2018-08-21 辽宁科技大学 一种基于卷积神经网络的人脸识别方法
CN108985200A (zh) * 2018-07-02 2018-12-11 中国科学院半导体研究所 一种基于终端设备的非配合式的活体检测算法
CN110414437A (zh) * 2019-07-30 2019-11-05 上海交通大学 基于卷积神经网络模型融合篡改人脸检测分析方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927531B (zh) * 2014-05-13 2017-04-05 江苏科技大学 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法
CN104376311A (zh) * 2014-12-08 2015-02-25 广西大学 一种基于核贝叶斯压缩感知的人脸识别方法
CN107122744B (zh) * 2017-04-28 2020-11-10 武汉神目信息技术有限公司 一种基于人脸识别的活体检测系统及方法
CN107967463B (zh) * 2017-12-12 2021-04-02 武汉科技大学 一种基于合成图像和深度学习的虚拟人脸识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
CN108427921A (zh) * 2018-02-28 2018-08-21 辽宁科技大学 一种基于卷积神经网络的人脸识别方法
CN108985200A (zh) * 2018-07-02 2018-12-11 中国科学院半导体研究所 一种基于终端设备的非配合式的活体检测算法
CN110414437A (zh) * 2019-07-30 2019-11-05 上海交通大学 基于卷积神经网络模型融合篡改人脸检测分析方法和系统

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569667B (zh) * 2021-07-09 2024-03-08 武汉理工大学 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN113569667A (zh) * 2021-07-09 2021-10-29 武汉理工大学 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN113763327A (zh) * 2021-08-10 2021-12-07 上海电力大学 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法
CN113763327B (zh) * 2021-08-10 2023-11-24 上海电力大学 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法
CN113705397A (zh) * 2021-08-16 2021-11-26 南京信息工程大学 基于双流cnn结构融合prnu的gan生成人脸检测方法
CN113705580A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法
CN113792482A (zh) * 2021-09-06 2021-12-14 浙江大学 一种用于模拟生物膜在多孔介质中生长的方法
CN113792482B (zh) * 2021-09-06 2023-10-20 浙江大学 一种用于模拟生物膜在多孔介质中生长的方法
CN113762205A (zh) * 2021-09-17 2021-12-07 深圳市爱协生科技有限公司 人脸图像操作痕迹检测方法、计算机设备及可读存储介质
CN114169385A (zh) * 2021-09-28 2022-03-11 北京工业大学 基于混合数据增强的mswi过程燃烧状态识别方法
CN114169385B (zh) * 2021-09-28 2024-04-09 北京工业大学 基于混合数据增强的mswi过程燃烧状态识别方法
CN114267069A (zh) * 2021-12-25 2022-04-01 福州大学 基于数据泛化与特征增强的人脸检测方法
CN114563203A (zh) * 2022-03-11 2022-05-31 中国煤炭科工集团太原研究院有限公司 一种模拟井下低能见度环境的方法
CN114563203B (zh) * 2022-03-11 2023-08-15 中国煤炭科工集团太原研究院有限公司 一种模拟井下低能见度环境的方法
CN114694220A (zh) * 2022-03-25 2022-07-01 上海大学 一种基于Swin Transformer的双流人脸伪造检测方法
CN114786057A (zh) * 2022-03-29 2022-07-22 广州埋堆堆科技有限公司 一种基于深度学习及表情包数据集的视频弹幕生成系统
CN114742774A (zh) * 2022-03-30 2022-07-12 福州大学 融合局部和全局特征的无参考图像质量评价方法及系统
CN114663986A (zh) * 2022-03-31 2022-06-24 华南理工大学 一种基于双解耦生成和半监督学习的活体检测方法及系统
CN114863536A (zh) * 2022-05-25 2022-08-05 中新国际联合研究院 一种基于复合特征空间的生成人脸检测方法
CN115588166B (zh) * 2022-11-10 2023-02-17 新乡市诚德能源科技装备有限公司 一种防泄漏船用lng燃料罐
CN115588166A (zh) * 2022-11-10 2023-01-10 新乡市诚德能源科技装备有限公司 一种防泄漏船用lng燃料罐
CN115690747A (zh) * 2022-12-30 2023-02-03 天津所托瑞安汽车科技有限公司 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN116628660A (zh) * 2023-05-26 2023-08-22 杭州电子科技大学 基于深度神经网络编码的个人化人脸生物密钥生成方法
CN116628660B (zh) * 2023-05-26 2024-01-30 杭州电子科技大学 基于深度神经网络编码的个人化人脸生物密钥生成方法
CN117611923A (zh) * 2024-01-08 2024-02-27 北京锐融天下科技股份有限公司 一种身份证件真伪识别方法及系统

Also Published As

Publication number Publication date
CN111222434A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN110598029B (zh) 基于注意力转移机制的细粒度图像分类方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN103955702B (zh) 基于深度rbf网络的sar图像地物分类方法
CN108256482B (zh) 一种基于卷积神经网络进行分布学习的人脸年龄估计方法
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN108846835A (zh) 基于深度可分离卷积网络的图像变化检测方法
CN110851645A (zh) 一种基于深度度量学习下相似性保持的图像检索方法
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN110866134B (zh) 一种面向图像检索的分布一致性保持度量学习方法
CN106022254A (zh) 图像识别技术
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN112784921A (zh) 任务注意力引导的小样本图像互补学习分类算法
CN108052959A (zh) 一种提高深度学习图片识别算法鲁棒性的方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
CN114842343A (zh) 一种基于ViT的航空图像识别方法
CN113628297A (zh) 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统
CN110659680B (zh) 一种基于多尺度卷积的图像patch匹配方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20909224

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20909224

Country of ref document: EP

Kind code of ref document: A1