WO2020134409A1 - 一种跨域人脸识别算法、存储介质及处理器 - Google Patents

一种跨域人脸识别算法、存储介质及处理器 Download PDF

Info

Publication number
WO2020134409A1
WO2020134409A1 PCT/CN2019/112514 CN2019112514W WO2020134409A1 WO 2020134409 A1 WO2020134409 A1 WO 2020134409A1 CN 2019112514 W CN2019112514 W CN 2019112514W WO 2020134409 A1 WO2020134409 A1 WO 2020134409A1
Authority
WO
WIPO (PCT)
Prior art keywords
cross
face recognition
neural network
recognition algorithm
loss
Prior art date
Application number
PCT/CN2019/112514
Other languages
English (en)
French (fr)
Inventor
刘若鹏
栾琳
赵盟盟
Original Assignee
深圳光启空间技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳光启空间技术有限公司 filed Critical 深圳光启空间技术有限公司
Publication of WO2020134409A1 publication Critical patent/WO2020134409A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • the invention relates to the technical field of face recognition algorithms, in particular to a cross-domain face recognition algorithm, storage medium and processor.
  • Face recognition is a kind of biometrics recognition technology based on human facial feature information.
  • a series of related technologies that use cameras or cameras to collect images or video streams containing human faces, and automatically detect and track human faces in the images, and then perform face recognition on the detected faces, usually also called portrait recognition and facial recognition .
  • FaceNet is a general face recognition system that uses deep convolutional neural network (CNN) learning to map images to Euclidean space.
  • CNN deep convolutional neural network
  • the spatial distance is directly related to the similarity of pictures: different images of the same person have a small spatial distance, and images of different people have a large distance in space, which can be used for face verification, recognition and clustering.
  • the face photos extracted from the video taken by the surveillance camera have very complex changes in lighting, angle, resolution, and expression. This makes the image to be recognized and the training sample image have statistically different distribution characteristics. That is, cross-domain identification.
  • cross-domain recognition the use of traditional recognition algorithms such as Facenet is not very effective, with low recognition accuracy and low recognition efficiency.
  • the technical problem to be solved by the present invention is to provide a cross-domain face recognition algorithm, storage medium and processor, which can improve the network structure of the original Facenet algorithm, calculate the MMD values of different domains at the highest level of the feature dimension, and add them Synthetic loss function. Because the improved algorithm eliminates the difference in statistical distribution between domains, it achieves the effect of cross-domain face recognition.
  • an embodiment of the present invention provides a cross-domain face recognition algorithm, a cross-domain face recognition algorithm, including: building a Facenet neural network; in the highest dimension layer of the Facenet neural network feature vector Add the average pooling layer and the Faltten layer to transform the feature vector into a single-channel one-dimensional vector; use the single-channel one-dimensional vector to calculate the maximum mean difference loss; add the maximum mean difference loss to the loss function of the Facenet neural network, and participate in the reverse Differentiate the propagation and gradient.
  • the adding of the average pooling layer and the Faltten layer to the highest dimension layer of the Featurenet of the Facenet neural network includes:
  • two channels of data are taken at the highest dimension of the feature vector of the Facenet neural network to calculate the maximum mean difference loss.
  • the calculation of the maximum mean difference loss using a single-channel one-dimensional vector includes: according to a fixed arrangement in the data stream, taking two channels of data at the last layer of the network and calculating the triplet loss.
  • adding the maximum mean difference loss to the loss function of the Facenet neural network includes: calculating the partial derivative of the loss function for each network parameter, and calculating the gradient value of the loss function to the parameter according to the derivation chain rule.
  • the building of the Facenet neural network includes: splitting the original Facenet neural network input into two inputs, respectively corresponding to image sets in different domains.
  • the gradient value of the parameter is derived according to the loss function, and the parameter value is updated so that the loss function converges to the global optimum along the negative gradient direction.
  • the cross-domain face recognition refers to: a face image to be recognized and a face image of a training sample have a statistically significant distribution characteristic.
  • the two inputs are used for training classification effects and eliminating inter-domain differences, respectively.
  • an embodiment of the present invention provides a storage medium that includes a stored program, where the above-mentioned cross-domain face recognition algorithm is executed when the program runs.
  • an embodiment of the present invention provides a processor for running a program, where the cross-domain face recognition algorithm described above is executed when the program runs.
  • the above technical solution has the following advantages: the network structure of the original Facenet algorithm is improved, MMD values of different domains are calculated at the highest level of the feature dimension, and added to the composite loss function. Since the improved algorithm eliminates the difference in statistical distribution between domains, it achieves the effect of cross-domain face recognition.
  • Figure 1 is a schematic diagram of the structure of the Facenet neural network in the prior art.
  • FIG. 2 is a schematic structural diagram of a cross-domain face recognition algorithm module of the present invention.
  • FIG. 3 is a flowchart of the cross-domain face recognition algorithm of the present invention.
  • FIG. 4 is a schematic structural diagram of the module E in FIG. 3.
  • FIG. 5 is a schematic diagram of the calculation process of the maximum difference mean in FIG. 3.
  • FIG. 6 is a schematic diagram of the loss function module in FIG. 3.
  • FIG. 1 is a schematic diagram of the structure of the Facenet neural network in the prior art. Facenet neural network structure, the input module passes module A, module B-1, module B-2, module C-1, module C-2, module D, and then passes through the Siftmax layer, and then performs Triplet-Loss calculation.
  • FIG. 2 is a schematic structural diagram of a cross-domain face recognition algorithm module of the present invention.
  • this embodiment adds an MMD module and a synthetic loss function module.
  • S10 is a neural network module
  • S20 is a maximum difference mean module
  • S30 is a loss function module.
  • Modules A to E are feature extraction network modules. Among them, module A is a conventional feature extraction network; modules B-1, C-1 and D draw on Inception-Resnet ideas to reduce the amount of parameter calculations while ensuring nonlinear convolution complexity; modules B-2 and C-2 are Reduction Layer, used to increase the degree of network nonlinearity.
  • FIG. 3 is a flowchart of the cross-domain face recognition algorithm of the present invention.
  • a cross-domain face recognition algorithm includes: building a Facenet neural network; adding an average pooling layer and a Faltten layer at the highest dimensional layer of the feature vector of the Facenet neural network to transform the feature vector into a single-channel one-dimensional Vector; use the single-channel one-dimensional vector to calculate the maximum mean difference loss; add the maximum mean difference loss to the loss function of the Facenet neural network, and jointly participate in back propagation and gradient derivation.
  • Adding the average pooling layer and the Faltten layer to the highest dimensional layer of the Facenet neural network feature vector includes: according to the fixed arrangement in the data stream, two channels of data are taken at the highest dimension of the Facenet neural network feature vector to calculate the maximum mean difference loss.
  • Calculating the maximum mean difference loss using a single-channel one-dimensional vector includes: according to the fixed arrangement in the data stream, take two channels of data at the last layer of the network and calculate the triplet loss.
  • Add the maximum mean difference loss to the loss function of Facenet neural network, and participate in back propagation and gradient derivation together include:
  • the construction of Facenet neural network includes: splitting the original Facenet neural network input into two inputs, corresponding to different domains Set of images.
  • the feature extraction network of this example can convert the input face image into a feature vector for classification, and the input image pixels are 160*160, and the output feature vector dimension is 512 dimensions.
  • the output of the D module is the largest feature dimension in the whole network, which is 1792 dimensions. Therefore, the output of the D network is divided into two channels, one enters the E network, and the other enters the maximum difference (Maximum Mean Discrepancy (MMD) network is used to solve the problem of cross-domain distribution.
  • MMD Maximum Mean Discrepancy
  • FIG. 4 is a schematic structural diagram of the module E in FIG. 3.
  • Module E includes an input layer, an average pooling layer, a Dropout layer, a triplet loss layer, and an output layer. Together with modules A-D, it constitutes a feature extraction module.
  • FIG. 5 is a schematic diagram of the calculation process of the maximum difference mean in FIG. 3.
  • Maximum Mean Discrepancy is a distance function used in statistics to measure two different but related distributions.
  • the feature vector of domain X and the feature vector of domain Y form the mean value of the largest difference, and then through the calculation of the cross-domain distribution loss function, the difference of different domains is finally eliminated to solve the problem of cross-domain recognition.
  • This embodiment innovatively adds the maximum difference mean calculation after the D module to calculate the distribution difference of images in different domains. Through the neural network gradient descent and back propagation process, the differences in different domains are finally eliminated to solve the cross-domain identification problem.
  • the synthetic loss function is composed of two parts: triplet loss (Triplet-loss) and maximum difference mean loss (MMD-Loss), which are from the E module and the MMD module respectively, and their functions are respectively It is to train the classification effect and eliminate the difference between domains.
  • triplet loss Triplet-loss
  • MMD-Loss maximum difference mean loss
  • the triplet loss from the domain X and the triplet loss from the domain Y, together with the maximum difference mean loss (MMD-Loss) form a combined loss function. To achieve the effect of eliminating differences between domains.
  • An embodiment of the present invention further provides a storage medium, the storage medium includes a stored program, wherein the above-mentioned face attribute recognition method flow is executed when the above program runs.
  • the above storage medium may be set to store program code for performing the following face attribute recognition method flow:
  • the above storage medium may include, but is not limited to: a U disk, a read-only memory (Read-Only Memory, referred to as ROM), random access memory (Random Access Memory (referred to as RAM), mobile hard disk, magnetic disk or optical disk and other media that can store program code.
  • ROM read-only memory
  • RAM random access memory
  • mobile hard disk magnetic disk or optical disk and other media that can store program code.
  • the network structure of the original Facenet algorithm is improved, the MMD values of different domains are calculated at the highest level of the feature dimension, and added to the composite loss function. Because the improved algorithm eliminates the difference in statistical distribution between domains, it achieves the effect of cross-domain face recognition.
  • An embodiment of the present invention further provides a processor, which is used to run a program, wherein the program executes the steps in the face attribute recognition method described above when the program is run.
  • the above program is used to perform the following steps:
  • the network structure of the original Facenet algorithm is improved, and the MMD values of different domains are calculated at the highest level of the feature dimension, and added to the composite loss function. Because the improved algorithm eliminates the difference in statistical distribution between domains, it achieves the effect of cross-domain face recognition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种跨域人脸识别算法、存储介质及处理器。所述跨域人脸识别算法方法包括：搭建Facenet神经网络；在Facenet神经网络特征向量最高维层处加入平均池化层和Faltten层，将特征向量变为单通道一维向量；用单通道一维向量计算最大均值差异损失；将最大均值差异损失加入Facenet神经网络的损失函数中，共同参与反向传播和梯度求导。将原Facenet算法的网络结构进行改进，在特征维度最高层处计算不同域MMD值，将其加入合成损失函数中。由于改进后的算法消除了域间统计分布差异，达到了跨域人脸识别的效果。

Description

一种跨域人脸识别算法、存储介质及处理器 技术领域
本发明涉及人脸识别算法技术领域，尤其涉及一种跨域人脸识别算法、存储介质及处理器。
 背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
现有人脸识别算法大多可以解决单域人脸识别（即待识别图像和训练样本图像具有相同的统计分布特性）问题，Florian Schroff等人提出的Facenet算法是目前效果较好的单域人脸识别算法。
FaceNet为一个通用人脸识别系统，采用深度卷积神经网络（CNN）学习将图像映射到欧式空间。空间距离直接和图片相似度相关：同一个人的不同图像在空间距离很小，不同人的图像在空间中有较大的距离，可以用于人脸验证、识别和聚类。
 技术问题
在实际应用场景下，监控摄像头拍摄视频中提取出的人脸照片具有十分复杂的光照、角度、分辨率和表情等变化因素，这使得待识别图像与训练样本图像具有差异巨大的统计分布特性，即跨域识别问题。对于跨域识别，使用Facenet等传统的识别算法并不能取的很好效果，识别准确率低，识别效率低。
 技术解决方案
本发明所要解决的技术问题是提供一种跨域人脸识别算法、存储介质及处理器，能够将原Facenet算法的网络结构进行改进，在特征维度最高层处计算不同域MMD值，将其加入合成损失函数中。由于改进后的算法消除了域间统计分布差异，达到了跨域人脸识别的效果。
为解决上述技术问题，一方面，本发明一实施例提供了一种跨域人脸识别算法，一种跨域人脸识别算法，包括：搭建Facenet神经网络；在Facenet神经网络特征向量最高维层处加入平均池化层和Faltten层，将特征向量变为单通道一维向量；用单通道一维向量计算最大均值差异损失；将最大均值差异损失加入Facenet神经网络的损失函数中，共同参与反向传播和梯度求导。
优选地，所述在Facenet神经网络特征向量最高维层处加入平均池化层和Faltten层包括：
根据数据流中固定的排列方式，在Facenet神经网络特征向量最高维处分别取出两路数据，计算最大均值差异损失。
优选地，所述用单通道一维向量计算最大均值差异损失包括：根据数据流中固定的排列方式，在网络最后层分别取出两路数据，各自计算三元组损失。
优选地，所述将最大均值差异损失加入Facenet神经网络的损失函数中，包括：将损失函数对每一个网络参数求偏导数，根据求导链式法则计算出损失函数对参数的梯度值。
优选地，所述搭建Facenet神经网络包括：将原Facenet神经网络输入拆分为两路输入，分别对应不同域的图像集。
优选地，根据损失函数对参数的梯度求导结果，更新参数取值，使得损失函数沿着负梯度方向收敛至全局最优。
优选地，所述跨域人脸识别指的是：待识别人脸图像与训练样本人脸图像具有差异巨大的统计分布特性。
优选地，所述两路输入分别用于训练分类效果和消除域间差异。
另一方面，本发明一实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述的跨域人脸识别算法。
另一方面，本发明一实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的跨域人脸识别算法。
 有益效果
与现有技术相比，上述技术方案具有以下优点：将原Facenet算法的网络结构进行改进，在特征维度最高层处计算不同域MMD值，将其加入合成损失函数中。由于改进后的算法消除了域间统计分布差异，因此达到了跨域人脸识别的效果。
 附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是现有技术中Facenet神经网络结构示意图。
图2是本发明跨域人脸识别算法模块结构示意图。
图3是本发明跨域人脸识别算法流程图。
图4是图3中的模块E结构示意图。
图5是图3中的最大差异均值计算过程示意图。
图6是图3中的损失函数模块示意图。
 本发明的实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一、
图1是现有技术中Facenet神经网络结构示意图。Facenet神经网络结构，输入模块经过模块A、模块B-1、模块B-2、模块C-1、模块C-2、模块D、再经过Siftmax层，再进行Triplet-Loss计算。
图2是本发明跨域人脸识别算法模块结构示意图。如图2所示，在图1现有Facenet神经网络基础上，该实施例加入MMD模块和合成损失函数模块。S10为神经网络模块，S20为最大差异均值模块，S30为损失函数模块。模块A至模块E为特征提取网络模块。其中模块A是常规特征提取网络；模块B-1、C-1和D借鉴Inception-Resnet思想，在保证非线性卷积复杂度的同时降低参数计算量；模块B-2和C-2为Reduction层，用于增加网络非线性程度。
图3是本发明跨域人脸识别算法流程图。如图3所示，一种跨域人脸识别算法，包括：搭建Facenet神经网络；在Facenet神经网络特征向量最高维层处加入平均池化层和Faltten层，将特征向量变为单通道一维向量；用单通道一维向量计算最大均值差异损失；将最大均值差异损失加入Facenet神经网络的损失函数中，共同参与反向传播和梯度求导。
在Facenet神经网络特征向量最高维层处加入平均池化层和Faltten层包括：根据数据流中固定的排列方式，在Facenet神经网络特征向量最高维处分别取出两路数据，计算最大均值差异损失。
用单通道一维向量计算最大均值差异损失包括：根据数据流中固定的排列方式，在网络最后层分别取出两路数据，各自计算三元组损失。
将最大均值差异损失加入Facenet神经网络的损失函数中，共同参与反向传播和梯度求导包括：所述搭建Facenet神经网络包括：将原Facenet神经网络输入拆分为两路输入，分别对应不同域的图像集。
该实例的特征提取网络可将输入人脸图像转化为用于分类的特征向量，且输入图像像素为160*160，输出特征向量维度为512维。其中，D模块输出处为全网络中特征维数最大处，为1792维，因此将D网络的输出分为两路，一路进入E网络，另一路进入最大差异均值（Maximum Mean Discrepancy，MMD）网络用于解决跨域分布问题。
图4是图3中的模块E结构示意图。模块E包括输入层、平均池化层、Dropout层、三元组损失（Triplet-loss）层，输出层。它与模块A-D共同构成特征提取模块。
图5是图3中的最大差异均值计算过程示意图。最大差异均值（Maximum Mean Discrepancy，MMD）是统计学中用来度量两个不同但相关的分布的距离函数。 域X特征向量和域Y的特征向量，形成最大差异均值，再通过计算跨域分布损失函数，最终消除不同域的差别，解决跨域识别问题。该实施例创新性地在D模块后加入最大差异均值计算，以计算不同域图像的分布差异，通过神经网络梯度下降和反向传播过程，最终消除不同域的差别，解决跨域识别问题。
图6是图3中的损失函数模块示意图。如图6所示，该实施例中，合成损失函数由两部分组成：三元组损失（Triplet-loss）和最大差异均值损失（MMD-Loss），分别来自E模块和MMD模块，其作用分别是训练分类效果和消除域间差异。如图6所示，来自域X的三元组损失和域Y的三元组损失，连同最大差异均值损失（MMD-Loss）三者一起形成合并损失函数，合并损失函数在通过反向传播，达到消除域间差异的效果。
实施例二
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述的人脸属性识别方法流程。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下人脸属性识别方法流程的程序代码：
S11、搭建Facenet神经网络；
S12、在Facenet神经网络特征向量最高维层处加入平均池化层和Faltten层，将特征向量变为单通道一维向量；
S13、用单通道一维向量计算最大均值差异损失；
S14、将最大均值差异损失加入Facenet神经网络的损失函数中，共同参与反向传播和梯度求导。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由此可见，通过采用本发明存储介质，将原Facenet算法的网络结构进行改进，在特征维度最高层处计算不同域MMD值，将其加入合成损失函数中。由于改进后的算法消除了域间统计分布差异，达到了跨域人脸识别的效果。
实施例三
本发明的实施例还提供了一种处理器，该处理器用于运行程序，其中，该程序运行时执行上述的人脸属性识别方法中的步骤。
可选地，在本实施例中，上述程序用于执行以下步骤：
S11、搭建Facenet神经网络；
S12、在Facenet神经网络特征向量最高维层处加入平均池化层和Faltten层，将特征向量变为单通道一维向量；
S13、用单通道一维向量计算最大均值差异损失；
S14、将最大均值差异损失加入Facenet神经网络的损失函数中，共同参与反向传播和梯度求导。
可选地，本实施例中的具体示例可以参考上述实施例及具体实施时所描述的示例，本实施例在此不再赘述。
由此可见，通过采用本发明处理器，将原Facenet算法的网络结构进行改进，在特征维度最高层处计算不同域MMD值，将其加入合成损失函数中。由于改进后的算法消除了域间统计分布差异，达到了跨域人脸识别的效果。
 工业实用性
由上述说明可知，使用根据本发明的跨域人脸识别算法、存储介质及处理器，在传统Facenet识别算法的基础上，在神经网络特定位置加入统计分布损失函数，并改进数据流方式，达到跨域识别效果。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

  1. 一种跨域人脸识别算法，其特征在于，包括：
    搭建Facenet神经网络；
    在Facenet神经网络特征向量最高维层处加入平均池化层和Faltten层，将特征向量变为单通道一维向量；
    用单通道一维向量计算最大均值差异损失；
    将最大均值差异损失加入Facenet神经网络的损失函数中，共同参与反向传播和梯度求导。
  2. 根据权利要求1所述的跨域人脸识别算法，其特征在于，所述在Facenet神经网络特征向量最高维层处加入平均池化层和Faltten层包括：
    根据数据流中固定的排列方式，在Facenet神经网络特征向量最高维处分别取出两路数据，计算最大均值差异损失。
  3. 根据权利要求1所述的跨域人脸识别算法，其特征在于，所述用单通道一维向量计算最大均值差异损失包括：
    根据数据流中固定的排列方式，在网络最后层分别取出两路数据，各自计算三元组损失。
  4. 根据权利要求1所述的跨域人脸识别算法，其特征在于，所述将最大均值差异损失加入Facenet神经网络的损失函数中，包括：
    将损失函数对每一个网络参数求偏导数，根据求导链式法则计算出损失函数对参数的梯度值。
  5. 根据权利要求1所述的跨域人脸识别算法，其特征在于，所述搭建Facenet神经网络包括：
    将原Facenet神经网络输入拆分为两路输入，分别对应不同域的图像集。
  6. 根据权利要求4所述的跨域人脸识别算法，其特征在于，还包括：
    根据损失函数对参数的梯度求导结果，更新参数取值，使得损失函数沿着负梯度方向收敛至全局最优。
  7. 根据权利要求1所述的跨域人脸识别算法，其特征在于，所述跨域人脸识别指的是：待识别人脸图像与训练样本人脸图像具有差异巨大的统计分布特性。
  8. 根据权利要求5所述的跨域人脸识别算法，其特征在于，所述两路输入分别用于训练分类效果和消除域间差异。
  9. 一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至8中任一项所述的跨域人脸识别算法。
  10. 一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任一项所述的跨域人脸识别算法。
PCT/CN2019/112514 2018-12-28 2019-10-22 一种跨域人脸识别算法、存储介质及处理器 WO2020134409A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811620088.1 2018-12-28
CN201811620088.1A CN111382602B (zh) 2018-12-28 2018-12-28 一种跨域人脸识别算法、存储介质及处理器

Publications (1)

Publication Number Publication Date
WO2020134409A1 true WO2020134409A1 (zh) 2020-07-02

Family

ID=71129676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/112514 WO2020134409A1 (zh) 2018-12-28 2019-10-22 一种跨域人脸识别算法、存储介质及处理器

Country Status (2)

Country Link
CN (1) CN111382602B (zh)
WO (1) WO2020134409A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507995A (zh) * 2021-02-05 2021-03-16 成都东方天呈智能科技有限公司 一种跨模型人脸特征向量的转换系统及方法
CN112633265A (zh) * 2021-03-11 2021-04-09 耕宇牧星(北京)空间科技有限公司 针对基于深度学习目标旋转框检测的池化方法和系统
CN114926877A (zh) * 2022-05-10 2022-08-19 西北工业大学 一种基于对比域差异的跨域人脸表情识别方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554013B (zh) * 2021-09-22 2022-03-29 华南理工大学 跨场景识别模型训练方法、跨场景道路识别方法以及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220337A (zh) * 2017-05-25 2017-09-29 北京大学 一种基于混合迁移网络的跨媒体检索方法
CN107330383A (zh) * 2017-06-18 2017-11-07 天津大学 一种基于深度卷积神经网络的人脸识别方法
CN107818345A (zh) * 2017-10-25 2018-03-20 中山大学 一种基于数据转换之间保持最大依赖关系的域自适应降维方法
CN107895177A (zh) * 2017-11-17 2018-04-10 南京邮电大学 一种保持图像分类稀疏结构的迁移分类学习方法
CN108898218A (zh) * 2018-05-24 2018-11-27 阿里巴巴集团控股有限公司 一种神经网络模型的训练方法、装置、及计算机设备
CN109034186A (zh) * 2018-06-11 2018-12-18 东北大学秦皇岛分校 建立da-rbm分类器模型的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049307B2 (en) * 2016-04-04 2018-08-14 International Business Machines Corporation Visual object recognition
US10467529B2 (en) * 2016-06-08 2019-11-05 Adobe Inc. Convolutional neural network joint training
US10460153B2 (en) * 2016-11-15 2019-10-29 Futurewei Technologies, Inc. Automatic identity detection
CN106897390B (zh) * 2017-01-24 2019-10-15 北京大学 基于深度度量学习的目标精确检索方法
JP6738296B2 (ja) * 2017-03-23 2020-08-12 株式会社日立製作所 畳込みニューラルネットワークによる処理方法、畳込みニューラルネットワークの学習方法、および畳込みニューラルネットワークを備える処理装置
CN107784296A (zh) * 2017-11-21 2018-03-09 中山大学 一种低分辨率图像的人脸识别方法
CN107895160A (zh) * 2017-12-21 2018-04-10 曙光信息产业(北京)有限公司 人脸检测与识别装置及方法
CN108280426B (zh) * 2018-01-23 2022-02-25 山东极视角科技有限公司 基于迁移学习的暗光源表情识别方法及装置
CN108647583B (zh) * 2018-04-19 2022-02-22 浙江大承机器人科技有限公司 一种基于多目标学习的人脸识别算法训练方法
CN108446689B (zh) * 2018-05-30 2022-02-15 南京开为网络科技有限公司 一种人脸识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220337A (zh) * 2017-05-25 2017-09-29 北京大学 一种基于混合迁移网络的跨媒体检索方法
CN107330383A (zh) * 2017-06-18 2017-11-07 天津大学 一种基于深度卷积神经网络的人脸识别方法
CN107818345A (zh) * 2017-10-25 2018-03-20 中山大学 一种基于数据转换之间保持最大依赖关系的域自适应降维方法
CN107895177A (zh) * 2017-11-17 2018-04-10 南京邮电大学 一种保持图像分类稀疏结构的迁移分类学习方法
CN108898218A (zh) * 2018-05-24 2018-11-27 阿里巴巴集团控股有限公司 一种神经网络模型的训练方法、装置、及计算机设备
CN109034186A (zh) * 2018-06-11 2018-12-18 东北大学秦皇岛分校 建立da-rbm分类器模型的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507995A (zh) * 2021-02-05 2021-03-16 成都东方天呈智能科技有限公司 一种跨模型人脸特征向量的转换系统及方法
CN112633265A (zh) * 2021-03-11 2021-04-09 耕宇牧星(北京)空间科技有限公司 针对基于深度学习目标旋转框检测的池化方法和系统
CN114926877A (zh) * 2022-05-10 2022-08-19 西北工业大学 一种基于对比域差异的跨域人脸表情识别方法
CN114926877B (zh) * 2022-05-10 2024-02-20 西北工业大学 一种基于对比域差异的跨域人脸表情识别方法

Also Published As

Publication number Publication date
CN111382602B (zh) 2024-08-02
CN111382602A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
WO2020134409A1 (zh) 一种跨域人脸识别算法、存储介质及处理器
Xie et al. Multicolumn networks for face recognition
CN109598268B (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
Guo et al. Fast background subtraction based on a multilayer codebook model for moving object detection
WO2019010950A1 (zh) 用于图像或视频中行人重识别的深度判别网络模型方法
CN107358195B (zh) 基于重建误差的非特定异常事件检测及定位方法、计算机
WO2021077785A1 (zh) 一种基于行人重识别驱动定位调整的行人搜索方法
WO2020001083A1 (zh) 一种基于特征复用的人脸识别方法
CN103400145A (zh) 基于线索神经网络的语音-视觉融合情感识别方法
CN114973112B (zh) 一种基于对抗学习网络的尺度自适应密集人群计数方法
Chen et al. A real-time multi-task single shot face detector
Tan et al. A multiple object tracking algorithm based on YOLO detection
CN112836566A (zh) 针对边缘设备的多任务神经网络人脸关键点检测方法
CN115131405A (zh) 一种基于多模态信息的发言人跟踪方法及系统
WO2020114119A1 (zh) 一种跨域网络训练及图像识别方法
WO2023019699A1 (zh) 一种基于3d人脸模型的俯角人脸识别方法及系统
CN111753671A (zh) 一种现实场景的人群计数方法
Rao et al. Extreme feature regions detection and accurate quality assessment for point-cloud 3D reconstruction
CN113239866B (zh) 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN108924385B (zh) 一种基于宽度学习的视频去抖动方法
CN113763474B (zh) 一种基于场景几何约束的室内单目深度估算方法
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置
CN108564053A (zh) 基于FaceNet的多摄像头动态人脸识别系统与方法
CN108268533A (zh) 一种用于图像检索的图像特征匹配方法
Shamsi et al. Group affect prediction using emotion heatmaps and scene information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19905699

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.10.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19905699

Country of ref document: EP

Kind code of ref document: A1