WO2019229524A2 - 神经网络计算方法和系统及相应的双神经网络实现 - Google Patents

Abstract

提出了一种神经网络计算方法、系统及相应双网络实现。所述计算方法，包括：获取神经网络计算的输入，所述输入包括两个或以上类别的特征；基于第一类别神经网络提取所述输入针对所述第一类别的第一特征;基于第二类别参考神经网络提取所述输入针对所述第二类别的第二参考特征；将所述第二参考特征引入所述第一特征以去除所述第一特征中第二特征的影响；以及基于叠加了所述第二参考特征的所述第一特征完成针对所述第一特征的神经网络分类计算。本发明通过在将经由神经网络求取的特征向量送入分类器之前，与相关参考特征向量相叠加来去除相关特征对目标特征的分布影响，由此提升分类准确率。

Description

神经网络计算方法和系统及相应的双神经网络实现

技术领域

本发明涉及深度学习领域，尤其涉及一种神经网络计算方法和系统及 相应的双神经网络实现。 背景技术

基于人工神经网络 (ANN, Artificial Neural Network) , 尤其是卷积神 经网络 (CNN, Convolutional Neural Network) 的方法在很多应用中都取 得了极大的成功。 在计算机视觉领域， 特别是针对图像分类问题， CNN的 引入使得图像分类的精度大幅提高。

例如， 利用 CNN的深度学习在人脸识别上的应用非常成功， 在很多 数据集上都取得了历史新高， 但是依然存在着可解释性等问题。 由于目标 函数上的改进对于人脸识别准确率的提升效果越来越不明显， 如何进一步 缩小类内距成为了亟待解决的问题。 发明内容

为了解决上述至少一个问题， 本发明提出了一种神经网络计算方案， 其通过在将经由神经网络求取的特征向量送入分类器之前， 与相关参考特 征向量相叠加来去除相关特征对目标特征的分布影响， 由此提升分类准确 率。

根据本发明的一个方面， 提出了一种神经网络计算方法， 包括： 获取 神经网络计算的输入， 所述输入包括两个或以上类别的特征； 基于第一类 别神经网络提取所述输入针对所述第一类别的第一特征；基于第二类别参 考神经网络提取所述输入针对所述第二类别的第二参考特征；将所述第二 参考特征引入所述第一特征以去除所述第一特征中第二特征的影响； 以及 基于叠加了所述第二参考特征的所述第一特征完成针对所述第一特征的 神经网络分类计算。 由此， 可以通过参考特征的引入来去除其他特征对目标特征的影响, 从而提升目标特征的分类准确性。

该方法还可以包括：基于第二类别神经网络提取所述输入针对所述第 二类别的第二特征；基于第一类别参考神经网络提取所述输入针对所述第 一类别的第一参考特征；将所述第一参考特征引入所述第二特征以去除所 述第二特征中第一特征的影响； 以及基于叠加了所述第一参考特征的所述 第二特征完成针对所述第二特征的神经网络分类计算。 由此提供一种更为 准确的目标联合的双任务分类计算。

第二参考特征可以是不包含第一类别特征信息的第二特征，和 /或，第 一参考特征可以是不包含第二类别特征信息的第一特征。从而进一步提升 参考特征的纯粹性。

第二类别参考神经网络可以是所述第二类别神经网络的旁支神经网 络，和 /或，第一类别参考神经网络可以是所述第一类别神经网络的旁支神 经网络。 由此， 通过引入旁支网络， 提升网络效率并降低网络布置成本。 该旁支神经网络的权重和偏置是基于针对第一和第二特征进行对抗的目 标函数训练得到的。 优选地， 对抗的目标函数通过插入梯度反向层实现。 由此， 去除其他特征对参考特征的影响。

在一个实现中， 输入可以是图像， 第一类别神经网络是人脸识别神经 网络， 所述第一特征是人脸特征， 所述第二类别神经网络是人脸属性识别 神经网络， 并且所述第二特征是人脸属性特征。

第二类别可以包括所述两个或以上类别的特征中去除所述第一类别 的其他多个类别， 以适应包含三种或以上相关特征互相影响类内分布的情 况。

优选地，基于第二类别参考神经网络提取所述输入针对所述第二类别 的第二参考特征可以包括：基于多个第二类别参考神经网络提取多个第二 参考特征；并且将所述第二参考特征引入所述第一特征以去除所述第一特 征中第二特征的影响可以包括：分别将多个第二参考特征引入所述第一特 征以去除所述第一特征中每个第二特征的影响。

基于第二类别参考神经网络提取所述输入针对所述第二类别的第二 参考特征也可以包括：基于融合了所述其他多个类别的单个第二类别参考 神经网络提取融合了所述其他多个类别特征的第二参考特征。

优选地，基于叠加了所述第二参考特征的所述第一特征完成针对所述 第一特征的神经网络计算包括：将叠加了所述第二参考特征的所述第一特 征送入所述第一类别神经网络的分类器以获取分类结果。

根据本发明的另一个方面， 提供了一种神经网络计算系统， 包括： 第 一类别神经网络， 用于从输入中提取针对第一类别的第一特征； 第二类别 参考神经网络， 用于从所述输入中提取针对第二类别的第二参考特征， 其 中， 所述第一类别神经网络还包括叠加模块， 所述叠加模块将所述第二参 考特征引入所述第一特征以去除所述第一特征中第二特征的影响，并且所 述第一类别神经网络基于叠加了所述第二参考特征的所述第一特征完成 针对所述第一特征的神经网络分类计算。

该系统还可以包括： 第二类别神经网络， 用于从输入中提取针对第二 类别的第二特征； 第一类别参考神经网络， 用于从所述输入中提取针对第 一类别的第一参考特征， 其中， 所述第二类别神经网络还包括叠加模块, 所述叠加模块将所述第一参考特征引入所述第二特征以去除所述第二特 征中第一特征的影响，并且所述第二类别神经网络基于叠加了所述第一参 考特征的所述第二特征完成针对所述第二特征的神经网络分类计算。

所述第一类别参考神经网络可以是所述第一类别神经网络的旁支神 经网络，并且所述第二类别参考神经网络可以是所述第二类别神经网络的 旁支神经网络。该旁支神经网络的权重和偏置可以是基于针对第一和第二 特征进行对抗的目标函数训练得到的，并且其得到的参考特征是不包含其 他类别特征信息的特征。

优选地， 输入可以是图像， 所述第一类别神经网络是人脸识别神经网 络， 所述第一特征是人脸特征， 并且， 所述第二类别神经网络是人脸属性 识别神经网络， 所述第二特征是人脸属性特征。

第二类别可以包括所述两个或以上类别的特征中去除所述第一类别 的其他多个类别， 并且其中： 所述第二类别参考神经网络是各自基于所述 其他多个类别中的一个类别的多个第二类别参考神经网络，和 /或基于其他 多个类别的单个第二类别参考神经网络。

根据本发明的又一个方面， 提供了一种用于联合计算的双神经网络, 包括： 作为一个主干神经网络的人脸识别神经网络， 用于从输入图像中提 取针人脸特征； 作为另一个主干神经网络的人脸属性识别神经网络， 用于 从所述输入图像中提取针人脸属性特征；作为所述人脸识别神经网络的旁 支网络的人脸识别参考神经网络，从所述输入图像中提取出不包含人脸属 性信息的人脸参考特征；作为所述人脸属性识别神经网络的旁支网络的人 脸属性识别参考神经网络，从所述输入图像中提取出不包含人脸信息的人 脸属性参考特征， 其中， 所述人脸识别神经网络包括叠加模块， 所述叠加 模块将所述人脸属性参考特征引入所述人脸特征以去除所述人脸特征中 人脸属性特征的影响，并且所述人脸识别神经网络基于叠加了所述人脸属 性参考特征的所述人脸特征完成针对所述人脸特征的神经网络计算。

旁支神经网络和所述主干神经网络共用大部分在前网络结构，并且基 于针对人脸和人脸属性特征进行对抗的目标函数训练得到的权重和偏置 参数来求取所述参考特征。

根据本发明的一个方面， 提供了一种计算设备， 包括： 处理器； 以及 存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时, 使所述处理器执行如上任一项所述的神经网络计算方法。

根据本发明的又一个方面， 提供了一种非暂时性机器可读存储介质, 其上存储有可执行代码， 当所述可执行代码被电子设备的处理器执行时, 使所述处理器执行如上任一项所述的神经网络计算方法。

本发明的神经网络计算方案及其双网络实现在将经由神经网络求取 的特征向量送入分类器之前， 通过与相关参考特征向量相叠加来去除相关 特征对目标特征的分布影响， 由此提升分类准确率。 进一步地， 通过两个 网络的交叉对抗学习， 降低两网络各自提取特征的类内距， 使得与主任务 无关的信息更少， 从而提升相关任务， 例如人脸识别和人脸属性识别任务 的准确率。 附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的 上述以及其它目的、 特征和优势将变得更加明显， 其中， 在本公开示例性 实施方式中， 相同的参考标号通常代表相同部件。 图 1示出了典型的 CNN各层组成例。

图 2示出了根据本发明一个实施例的神经网络计算方法的流程示意 图。

图 3 示出了根据本发明的神经网络计算方法的优选子方案的相关步 骤。

图 4示出了根据本发明一个实施例的神经网络计算系统的示意图。 图 5示出了特征空间内进行特征叠加的一个例子。

图 6示出了根据本发明另一个实施例的神经网络计算系统的示意图。 图 7示出了根据本发明一个实施例的双神经网络实现的示意图。

图 8示出了根据本发明一实施例可用于实现上述神经网络计算方法的 数据处理的计算设备的结构示意图。 具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显 示了本公开的优选实施方式， 然而应该理解， 可以以各种形式实现本公开 而不应被这里阐述的实施方式所限制。 相反， 提供这些实施方式是为了使 本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的 技术人员。

传统的人脸识别采取特征工程的方法，人工设计图像特征对人脸图片 进行分类， 这种方法工程量大且适应性差。 深度学习方法自 2012年起逐 渐成为计算机视觉领域的主流方法， 以卷积神经网络为代表的深度人工神 经网络在图像分类、 检测、 跟踪和分割等任务上都取得了远超传统方法的 效果。 神经网络能够自动提取对任务有效的特征， 因此深度学习方法规避 了复杂的特征工程。 深度学习作为可微分编程的重要组成部分， 已经成为 整个人工智能领域最为流行的方法。人脸识别是计算机视觉最先应用到工 业界的领域， 通过深度神经网络提取人脸特征， 再将提取到的人脸特征与 数据库中的人脸做相似性比对，判断该人脸是数据库中的哪一个或者不在 数据库中， 从而完成人脸识别的任务。

虽然深度学习在人脸识别上的应用非常成功，在很多数据集上都取得 了历史新高， 但是依然存在着可解释性等问题。 在目标函数上的改进对于 人脸识别准确率的提升效果越来越不明显，如何进一步缩小类内距成为了 亟待解决的问题。 本发明的发明人注意到， 人脸的各种不同属性都会影响 人脸识别的准确率。 因此， 本发明将人脸识别与人脸属性识别结合， 通过 引入互相对抗的目标函数提取出经过蒸馏的深度人脸特征和人脸属性特 征， 解决同一人脸因为属性原因类内距过大的问题， 能够同时提高两个任 务的准确率。 另外， 本发明的原理同样适用于输入内相关特征相互影响的 其他应用场景。

为了更清楚的阐明本发明的技术方案， 首先对神经网络基本原理加以 说明。 本申请的数据压缩方案适用于各种人工神经网络， 包括深度神经网 络（DNN）、循环神经网络（RNN）与卷积神经网络（CNN）。以下以 CNN 为例进行说明。

CNN基本概念

CNN在广泛的例如视觉相关任务中都达到最先进的性能。 如下将基 于 CNN图像分类算法， 对 CNN的基础知识加以介绍。

如图 1所示， 典型的 CNN由一系列有序运行的层组成。

CNN神经网络由输入层、 输出层和多个隐藏层串联组成。 CNN的第 一层读取输入值， 例如输入图像， 并输出一系列的激活值。 下面的层读取 由上一层产生的激活值，并输出新的激活值。最后一个分类器（classifier） 输出该输入图像可能属于的每一类别的概率。

这些层大致可分为带权重的层 （如卷积层、 全连接层、 批量归一化层 等） 和不带权重的层 （如池化层、 ReLU层、 Softmax层等） 。 在这其中， CONV层 （卷积层） 以一系列特征图作为输入， 并以卷积内核卷积获得输 出激活值。池化层通常与 CONV层相连，用于输出每个特征图中的每个分 区 （sub area） 的最大值或平均值， 由此通过亚采样降低计算量， 同时保持 某种程度的位移、 尺度和形变不变性。 一个 CNN中可以包括卷积层和池 化层之间的多个交替， 由此逐步降低空间分辨率并增加特征映射的数量。 随后可以连接至至少一个全连接层， 通过应用于输入特征向量上的线性变 换， 得到包括多个特征值的一维向量输出。

总体来说， 带权重的层的操作可以表示为：

Y=WX+b , 其中 W为权重值， b为偏移量， X为输入激活值， Y为输出激活值。

不带权重的层的操作可以表示为：

Y=f (X) ,

其中 f (X)为非线性函数。

在此， “权重” (weights) 指代隐藏层中的参数， 是通过训练过程习得 的数值， 并且在推理时保持不变； 激活值指代从输入层开始， 每一层的输 出由输入值和权重值通过运算得到， 在各层之间传递的数值， 也称为特征 值。 与权重值不同， 激活值的分布会根据输入数据样本而动态变化。

在使用 CNN进行推理 (例如， 图像分类) 之前， 首先需要对 CNN进 行训练。 通过训练数据的大量导入， 确定神经网络模型各层的参数， 例如 权重和偏移量。 CNN的训练主要是在大型服务器上实现。对于嵌入式平台, 例如包括 FPGA的 SoC平台,则专注于加速和实现 CNN的推理计算过程。

CNN的训练过程，在网络模型已经确定的情况下，是找出该模型所需 的权重和偏移以使得网络的输出 y(x)能够拟合所有的训练输入 x的过程。 为了量化这个目标， 通常需要定义一个目标函数 (也称为代价函数， 或损 失函数) 。 为了找到一系列能让代价尽可能小的权重和偏差， 通常可以采 用梯度下降算法来实现这一目的。

虽然目标函数的不断优化能够在早期大幅提升神经网络的推理准确 性， 但由于类内距的固有问题， 单从目标函数上进行改进对神经网络的分 类和识别准确率的提升效果越来越不明显。

所谓类内距 (也称为类内距离) 是分类器中被分为同一个类别的样本 在特征空间内所对应的点的距离。 例如， 在人脸识别中， 将输入最后一层 全连接层的激活值作为特征， 将最后一层全连接层的权值归一化， 则归一 化后的权值代表该类特征的中心。 同一个人的不同图像输入经训练的人脸 识别神经网络后提取出的特征点， 虽然通常能够聚集在该类特征中心的周 围， 但由于人脸各种不同属性的影响， 各特征点的分布距离类特征中心仍 有一定距离。 对于图片数较少的类， 由于该类的特征中心与相邻类特征中 心的夹角更小， 因此该类的特征空间也更小， 其被分类器分错的概率也随 之变大。

显然，上述由类内距过大导致的识别准确率问题并不能通过改进目标 函数简单解决。 有鉴于此， 本发明提出了一种新的神经网络计算方案， 其 能够通过 P牵低提取的目标特征中其他无关特征的影响， 使得所得目标特征 更接近于其所述类别的类特征中心， 由此提升神经网络的分类准确性。

图 2示出了根据本发明一个实施例的神经网络计算方法的流程示意 图。

在步骤 S210 ,获取神经网络计算的输入，所述输入包括两个或以上类 别的特征。 上述特征可以是相关特征， 换句话说， 上述特征具有对彼此的 特征提取产生的关联性。 在一个实施例中， 输入可以是用于神经网络推理 计算的图像， 例如包含人脸的图像。 图像中包括人脸特征， 也包括人脸属 性特征。 在此， 人脸特征指的是进行人脸识别所需的特征， 例如五官关键 点特征等。 人脸属性特征则指的是进行性别、 年龄、 姿态和表情等属性识 别所需的特征。 图像中还可以包括其他相关特征， 例如拍摄角度特征和光 照条件特征。

在步骤 S220 ,基于第一类别神经网络提取所述输入针对所述第一类别 的第一特征。 在一个实施例中， 第一类别神经网络可以是人脸识别神经网 络， 第一特征可以是人脸特征， 例如， 五官关键点特征。

在步骤 S230 ,基于第二类别参考神经网络提取所述输入针对所述第二 类别的第二参考特征。 在一个实施例中， 第二类别可以是涉及人脸属性。 因此，可以基于用于参考的人脸属性识别神经网络从输入的图像中提取用 于参考的人脸属性特征。

在步骤 S240 ,将所述第二参考特征引入所述第一特征以去除所述第一 特征中第二特征的影响。随后在步骤 S250 ,基于叠加了所述第二参考特征 的所述第一特征完成针对所述第一特征的神经网络分类计算。 具体地， 可 以将叠加了所述第二参考特征的所述第一特征送入所述第一类别神经网 络的分类器以获取分类结果。

在一个实施例中， 在步骤 S240中， 可以将步骤 S220中提取的人脸特 征向量与 S230中提取的人脸属性参考特征向量相叠加。 所得的结果向量 是在一定程度上去除了人脸属性影响的人脸特征向量。 随后， 所得的结果 向量可以在步骤 S250送入人脸识别神经网络的分类器， 以获得更为准确 的分类结果。 基于本发明的神经网络计算方法，可以在提取的目标特征向量被送入 神经网络最后的分类器之前， 叠加上相关参考特征向量， 以去除相关特征 对目标特征向量位置的影响。 使得所得的结果向量更加接近类特征中心, 从而提升分类任务的准确性。

在一个实施例中， 第一类别的相关特征也可以反过来用于提升第二类 别的分类任务准确性。 图 3示出了根据本发明的神经网络计算方法的优选 子方案的相关步骤。

在步骤 S310 ,基于第二类别神经网络提取所述输入针对所述第二类别 的第二特征。 与图 2的描述相应地， 在一个实施例中， 该第二类别神经网 络可以是人脸属性识别神经网络， 提取的第二特征可以是诸如年龄、 表情 等的人脸属性特征。

在步骤 S320 ,基于第一类别参考神经网络提取输入针对所述第一类别 的第一参考特征。 一个实施例中， 第一类别可以是涉及人脸识别。 因此, 可以基于用于参考的人脸识别神经网络从输入的图像中提取用于参考的 人脸特征。

随后，在步骤 S330 ,将所述第一参考特征引入所述第二特征以去除所 述第二特征中第一特征的影响。在步骤 S340 ,基于叠加了所述第一参考特 征的所述第二特征完成针对所述第二特征的神经网络分类计算。

在一个实施例中， 在步骤 S330中， 可以将步骤 S310中提取的人脸属 性特征向量与 S320中提取的人脸参考特征向量相叠加。 所得的结果向量 是在一定程度上去除了人脸影响的人脸属性特征向量。 随后， 所得的结果 向量可以在步骤 S340送入人脸属性识别神经网络的分类器， 以获得更为 准确的分类结果。

在此， 第二参考特征可以是不包含第一类别特征信息的第二特征。 相 应地， 第一参考特征也是不包含第二类别特征信息的第一特征。 例如， 人 脸参考特征可以是去除了人脸属性特征信息影响的人脸特征， 即， 无法识 别出任何人脸属性的人脸特征。人脸属性参考特征可以是去除了人脸特征 影响的人脸属性特征， 即无法识别出任何人脸特征的人脸属性特征。

上述参考特征可以使用上述参考神经网络获取。上述参考神经网络可 以是主干神经网络的旁支网络。 在一个实施例中， 第二类别参考神经网络 是第二类别神经网络的旁支神经网络，和 /或第一类别参考神经网络是第一 类别神经网络的旁支神经网络。旁支神经网络的权重和偏置是基于针对第 一和第二特征进行对抗的目标函数训练得到的。 优选地， 该对抗的目标函 数可以通过插入梯度反向层以去除其他特征的影响来实现。应该理解的是, 用于去除其他特征影响的对抗目标还是还可以通过其他本领域技术人员 已知的方式实现。

应该理解的是，图 3的步骤 S310〜 S340可以结合在图 2所示输入获取 步骤 S210之后的任何位置， 或者与步骤 S220〜 S250并行或交互进行， 只 要上述步骤的进行不影响彼此间参考特征的去除即可。 另外， 应该理解的 是， 本发明对于特征信息和参考特征信息的获取次序没有规定， 例如， 步 骤 S230可以与 S220同时或是在其之前发生，步骤 S320可以与 S310同时 或是在其之前发生。

与图 2和图 3所示神经网络计算方法相对应的，本发明还包括神经网 络计算系统。 图 4示出了根据本发明一个实施例的神经网络计算系统的示 意图。

如图 4所示，神经网络计算系统 400包括第一类别神经网络 410和第 二类别参考神经网络 420。 第一类别神经网络 410可以用于从输入中提取 针对第一类别的第一特征， 例如， 从输入图像中提取人脸特征。 第二类别 参考神经网络 420则可用于从所述输入中提取针对第二类别的第二参考特 征， 例如， 从相同的输入图像中提取人脸属性参考特征。 该第一类别神经 网络 410还包括叠加模块 411 , 后者将所述第二参考特征引入所述第一特 征以去除所述第一特征中第二特征的影响，并且第一类别神经网络 410基 于叠加了所述第二参考特征的所述第一特征完成针对所述第一特征的神 经网络分类计算。 例如， 人脸识别神经网络在将提取出的人脸特征向量送 入分类器之前，先与人脸属性识别参考网络中提取中的人脸属性参考特征 向量相加， 以去除人脸属性对人脸特征的影响， 并将所得的结果向量送入 人脸识别神经网络的分类器中进行分类， 由此确保更为准确的分类结果。

图 5示出了特征空间内进行特征叠加的一个例子。 如图所示， 获取的 人脸特征向量 1在叠加了人脸属性参考特征向量 2之后的得到结果向量 3 更接近于该人脸所在类别的类特征中心 4 , 由此在后续的分类过程中， 更 不容易被错分至其他类别。

相应地， 图 6示出了根据本发明另一个实施例的神经网络计算系统的 示意图。除了与图 4所示相对应的第一类别神经网络 610和第二类别参考 神经网络 620之外，还包括第二类别神经网络 630和第一类别参考神经网 络 640。

第二类别神经网络 630用于从输入中提取针对第二类别的第二特征, 例如， 人脸属性识别神经网络从相同的输入图像中提取出人脸属性特征。 第一类别参考神经网络 640则可用于从输入中提取针对第一类别的第一参 考特征，例如，提取出人脸识别参考特征。同样地，第二类别神经网络 630 还包括叠加模块 631 , 后者将第一参考特征引入第二特征以去除第二特征 中第一特征的影响，并且第二类别神经网络 630基于叠加了第一参考特征 的第二特征完成针对第二特征的神经网络分类计算。

换句话说， 虽然本发明的原理可以应用于如图 2和图 4所示的单网络 叠加单参考网络的情况中，但是更适用于包括两个主干网络并叠加两个相 应的旁支参考网络的情况。 在本发明中， 参考网络可以是与主干网络相关 联的网络， 参考网络可以与主干网络共用大部分网络结构， 而仅在尾端有 所不同。 在一个实施例中， 可以通过对主干网络末端分出的旁支网络 （作 为参考网络）进行对抗函数训练来获取用于去除另一主干网络中本主干网 络特征影响的参考特征。

在一个实施例中， 主干网络和参考网络可以共用一个特征提取网络。 例如，第一类别神经网络和第一类别参考神经网络可以获取相同的第一特 征向量， 随后该第一特征向量被送入作为旁支的第一类别参考神经网络并 通过例如对抗目标函数去除其他特征影响以得到第一参考特征向量。相应 地，第二类别神经网络和第二类别参考神经网络可以获取相同的第二特征 向量， 随后该第二特征向量被送入作为旁支的第二类别参考神经网络并通 过例如对抗目标函数去除其他特征影响以得到第二参考特征向量。第二参 考特征向量随后与在前得到的第一特征向量相叠加以得到结果第一特征 向量，该向量被送入第一类别神经网络的分类器以实现更为准确的分类结 果。 相应地， 第一参考特征向量随后与在前得到的第二特征向量相叠加以 得到结果第二特征向量，该向量被送入第二类别神经网络的分类器以实现 更为准确的分类结果。

换句话说， 本发明能够以很小的代价实现对抗目标的联合学习。 针对 主干网络， 仅需添加一个向量叠加步骤， 而旁支网络则可通过去除已获取 的主干网络特征中的其他关联特征而简单实现。

图 7示出了根据本发明一个实施例的双神经网络的示意图。 图中的双 神经网络 700通过对抗目标联合学习人脸识别与人脸属性识别两个任务的 方法。该网络 700基本结构为双人工神经网络和神经网络间交叉信息传递。 双神经网络的主干分别作为人脸识别与人脸属性识别的主干网络 710和 730。 网络间的交叉作为人脸识别与人脸属性识别两个任务信息传递的渠 道， 即参考网络 720和 740。 对于网络的交叉部分， 由对抗的目标函数进 行监督学习， 即人脸属性识别网络传递至人脸识别网络的信息不是从主干 网络直接获取的人脸属性信息， 而是不包含人脸识别信息， 即无法分出人 脸的人脸属性参考信息。 相应地， 人脸识别网络传递至人脸属性识别网络 的信息也不是从主干网络直接获取的人脸信息，而是不包含人脸属性信息, 即无法识别人脸属性的人脸参考信息。

如图所示，参考网络 720和 740可以与主干网络共用大部分的网络结 构。 例如， 参考网络可以直接获取主干网络所提取的特征， 并经由对抗目 标函数去除特征中其他特征的影响， 以获取用于送入另一主干网络的参考 特征。

在对双网络系统进行训练时， 两个主干神经网络可以分别使人脸识别 与人脸属性识别的分类目标函数作为监督信号。对于同一人脸的两张图片, 因为人脸属性的不同使得人脸识别网络主干部分提取出的深度特征存在 差距，在理想情况下同一人脸的不同照片经过人脸识别网络应当提取出相 同的特征， 特征之间的差异在很大程度上是人脸属性差异造成的， 通过从 人脸属性识别网络引入信息可以学习出特征之间的差异与人脸属性特征 的映射关系， 因此可以在人脸识别网络提取出的特征上叠加经过转化的来 自人脸属性识别网络提取的特征。 对于同样的人脸属性的不同照片， 人脸 属性网络提取的特征之间的差异在很大程度上是因为两张图片不是同一 个人， 因此可以从人脸识别网络引入信息学习出特征之间的差异与人脸特 征的映射关系。 由此， 主干网络各自包括叠加模块 711和 731 , 用于将从 该主干网络获取的特征与来自另一旁支网络的参考特征相叠加， 以尽量去 除其他相关类别对当前类别特征判断的影响。

由此， 通过两个网络的交叉对抗学习， 使得两个网络提取出的特征的 类内距更小， 与主任务无关的信息更少， 从而提高人脸识别和人脸属性识 别的准确率。

以上结合图 2-7描述了输入数据具有两个相关类别， 例如一个第一类 别和一个第二类别特征的情况下。 应该理解的是， 本发明的神经网络计算 方案还适用于具有多个第二类别特征的场合。 换句话说， 第二类别包括所 述两个或以上类别的特征中去除所述第一类别的其他多个类别。 例如， 在 输入人脸图像中， 除了具有人脸识别、 人脸属性特征之外， 还包括例如光 照和拍摄角度特征等。 在将人脸特征看作第一类别时， 可以将人脸属性特 征、 光照特征和拍摄角度特征看作是多个第二类别。

由此， 上述多个第二特征对第一特征的影响， 可以通过多个第二参考 神经网络引入多个参考特征来去除， 也可以通过并入上述众多第二特征的 单个参考神经网络来去除， 本发明对此不做限定。 在引入多个参考特征的 情况下，本发明的原理还适用于三网络甚至更多神经网络的对抗目标联合 学习方案。

因此， 在一个实施例中， 基于第二类别参考神经网络提取所述输入针 对所述第二类别的第二参考特征可以包括：基于多个第二类别参考神经网 络提取多个第二参考特征；并且将所述第二参考特征引入所述第一特征以 去除所述第一特征中第二特征的影响包括：分别将多个第二参考特征引入 所述第一特征以去除所述第一特征中每个第二特征的影响。

在另一个实施例中，基于第二类别参考神经网络提取所述输入针对所 述第二类别的第二参考特征可以包括：基于融合了所述其他多个类别的单 个第二类别参考神经网络提取融合了所述其他多个类别特征的第二参考 特征。

相应地，第二类别参考神经网络可以是各自基于所述其他多个类别中 的一个类别的多个第二类别参考神经网络，也可以是基于其他多个类别的 单个第二类别参考神经网络。

图 8示出了根据本发明一个实施例可用于实现上述神经网络计算方法 的数据处理的计算设备的结构示意图。

参见图 8 , 计算设备 800包括存储器 810和处理器 820。

处理器 820可以是一个多核的处理器， 也可以包含多个处理器。 在一 些实施例中，处理器 820可以包含一个通用的主处理器以及一个或多个特 殊的协处理器，例如图形处理器（GPU）、数字信号处理器（DSP）等等。 在一些实施例中， 处理器 820可以使用定制的电路实现， 例如特定用途集 成电路 （ASIC） 或者现场可编程逻辑门阵列 （FPGA） 。

存储器 810可以包括各种类型的存储单元， 例如系统内存、 只读存储 器 （ROM） , 和永久存储装置。 其中， ROM可以存储处理器 820或者计 算机的第二模块需要的静态数据或者指令。永久存储装置可以是可读写的 存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令 和数据的非易失性存储设备。 在一些实施方式中， 永久性存储装置采用大 容量存储装置 （例如磁或光盘、 闪存） 作为永久存储装置。 另外一些实施 方式中， 永久性存储装置可以是可移除的存储设备 （例如软盘、 光驱） 。 系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随 机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令 和数据。 此外， 存储器 810可以包括任意计算机可读存储媒介的组合， 包 括各种类型的半导体存储芯片 （DRAM, SRAM, SDRAM, 闪存， 可编程 只读存储器），磁盘和 /或光盘也可以采用。在一些实施方式中，存储器 1010 可以包括可读和 /或写的可移除的存储设备， 例如激光唱片 （CD） 、 只读 数字多功能光盘 （例如 DVD-ROM, 双层 DVD-ROM） 、 只读蓝光光盘、 超密度光盘、 闪存卡 （例如 SD卡、 min SD卡、 Micro-SD卡等等） 、 磁性 软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间 电子信号。

存储器 810上存储有可处理代码，当可处理代码被处理器 820处理时, 可以使处理器 820执行上文述及的神经网络计算方法。

上文中已经参考附图详细描述了根据本发明的神经网络计算方案和 双神经网络实现。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序 产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中 限定的上述各步骤的计算机程序代码指令。

或者， 本发明还可以实施为一种非暂时性机器可读存储介质 （或计算 机可读存储介质、 或机器可读存储介质） ， 其上存储有可执行代码 （或计 算机程序、 或计算机指令代码） ， 当所述可执行代码 （或计算机程序、 或 计算机指令代码）被电子设备（或计算设备、服务器等）的处理器执行时， 使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还应理解的是，结合这里的公开所描述的各种示例性 逻辑块、 模块、 电路和算法步骤可以被实现为电子硬件、 计算机软件或两 者的组合。

另外， 文中的 "第一 " 和 "第二" 仅仅用于对不同的并列类别加以区 别， 而非暗示两者之间的先后或重要关系。 例如， 在本发明的例子中， 第 一类别神经网络也可以是人脸属性识别神经网络，第二类别神经网络可以 是人脸识别神经网络。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方 法的可能实现的体系架构、 功能和操作。 在这点上， 流程图或框图中的每 个方框可以代表一个模块、 程序段或代码的一部分， 所述模块、 程序段或 代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也 应当注意， 在有些作为替换的实现中， 方框中所标记的功能也可以以不同 于附图中所标记的顺序发生。 例如， 两个连续的方框实际上可以基本并行 地执行， 它们有时也可以按相反的顺序执行， 这依所涉及的功能而定。 也 要注意的是， 框图和 /或流程图中的每个方框、 以及框图和 /或流程图中的 方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实 现， 或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例， 上述说明是示例性的， 并非穷尽 性的， 并且也不限于所披露的各实施例。 在不偏离所说明的各实施例的范 围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更 都是显而易见的。 本文中所用术语的选择， 旨在最好地解释各实施例的原 理、 实际应用或对市场中的技术的改进， 或者使本技术领域的其它普通技 术人员能理解本文披露的各实施例。

Claims

权 利 要 求 书

1 . 一种神经网络计算方法， 包括：

获取神经网络计算的输入， 所述输入包括两个或以上类别的特征； 基于第一类别神经网络提取所述输入针对所述第一类别的第一特征; 基于第二类别参考神经网络提取所述输入针对所述第二类别的第二 参考特征；

将所述第二参考特征引入所述第一特征以去除所述第一特征中第二 特征的影响； 以及

基于叠加了所述第二参考特征的所述第一特征完成针对所述第一特 征的神经网络分类计算。

2. 如权利要求 1所述的方法， 还包括：

基于第二类别神经网络提取所述输入针对所述第二类别的第二特征; 基于第一类别参考神经网络提取所述输入针对所述第一类别的第一 参考特征；

将所述第一参考特征引入所述第二特征以去除所述第二特征中第一 特征的影响； 以及

基于叠加了所述第一参考特征的所述第二特征完成针对所述第二特 征的神经网络分类计算。

3 . 如权利要求 1或 2所述的方法， 其中， 所述第二参考特征是不包 含第一类别特征信息的第二特征， 和 /或，

所述第一参考特征是不包含第二类别特征信息的第一特征。

4. 如权利要求 3所述的方法， 其中， 所述第二类别参考神经网络是 所述第二类别神经网络的旁支神经网络， 和 /或，

所述第一类别参考神经网络是所述第一类别神经网络的旁支神经网 络。

5 . 如权利要求 4所述的方法， 其中， 所述旁支神经网络的权重和偏 置是基于针对第一和第二特征进行对抗的目标函数训练得到的。

6. 如权利要求 5所述的方法， 其中， 所述对抗的目标函数通过插入 梯度反向层实现。

7. 如权利要求 1或 2所述的方法， 其中， 所述输入是图像， 所述第 一类别神经网络是人脸识别神经网络， 所述第一特征是人脸特征， 所述第 二类别神经网络是人脸属性识别神经网络，并且所述第二特征是人脸属性 特征。

8. 如权利要求 1所述的方法， 其中， 所述第二类别包括所述两个或 以上类别的特征中去除所述第一类别的其他多个类别。

9. 如权利要求 8所述的方法， 其中， 基于第二类别参考神经网络提 取所述输入针对所述第二类别的第二参考特征包括：

基于多个第二类别参考神经网络提取多个第二参考特征； 并且 将所述第二参考特征引入所述第一特征以去除所述第一特征中第二 特征的影响包括：

分别将多个第二参考特征引入所述第一特征以去除所述第一特征中 每个第二特征的影响。

10. 如权利要求 8所述的方法， 其中， 基于第二类别参考神经网络提 取所述输入针对所述第二类别的第二参考特征包括：

基于融合了所述其他多个类别的单个第二类别参考神经网络提取融 合了所述其他多个类别特征的第二参考特征。

11 . 如权利要求 1所述的方法， 其中， 基于叠加了所述第二参考特征 的所述第一特征完成针对所述第一特征的神经网络计算包括：

将叠加了所述第二参考特征的所述第一特征送入所述第一类别神经 网络的分类器以获取分类结果。

12. —种神经网络计算系统， 包括：

第一类别神经网络， 用于从输入中提取针对第一类别的第一特征； 第二类别参考神经网络，用于从所述输入中提取针对第二类别的第二 参考特征，

其中， 所述第一类别神经网络还包括叠加模块， 所述叠加模块将所述 第二参考特征引入所述第一特征以去除所述第一特征中第二特征的影响, 并且所述第一类别神经网络基于叠加了所述第二参考特征的所述第一特 征完成针对所述第一特征的神经网络分类计算。

13 . 如权利要求 12所述的系统， 还包括：

第二类别神经网络， 用于从输入中提取针对第二类别的第二特征； 第一类别参考神经网络，用于从所述输入中提取针对第一类别的第一 参考特征，

其中， 所述第二类别神经网络还包括叠加模块， 所述叠加模块将所述 第一参考特征引入所述第二特征以去除所述第二特征中第一特征的影响, 并且所述第二类别神经网络基于叠加了所述第一参考特征的所述第二特 征完成针对所述第二特征的神经网络分类计算。

14. 如权利要求 13所述的系统， 其中， 所述第一类别参考神经网络 是所述第一类别神经网络的旁支神经网络， 并且

所述第二类别参考神经网络是所述第二类别神经网络的旁支神经网 络。

15 . 如权利要求 14所述的系统， 其中， 所述旁支神经网络的权重和 偏置是基于针对第一和第二特征进行对抗的目标函数训练得到的，并且所 述旁支神经网络得到的参考特征是不包含其他类别特征信息的特征。

16.如权利要求 13所述的系统，其中，所述输入是图像，所述第一类 别神经网络是人脸识别神经网络， 所述第一特征是人脸特征， 并且， 所述第二类别神经网络是人脸属性识别神经网络，所述第二特征是人 脸属性特征。

17. 如权利要求 13所述的系统， 其中， 所述第二类别包括所述两个 或以上类别的特征中去除所述第一类别的其他多个类别， 并且其中：

所述第二类别参考神经网络是各自基于所述其他多个类别中的一个 类别的多个第二类别参考神经网络， 和 /或

所述第二类别参考神经网络是基于其他多个类别的单个第二类别参 考神经网络。

18. 一种用于联合计算的双神经网络， 包括：

作为一个主干神经网络的人脸识别神经网络，用于从输入图像中提取 针人脸特征；

作为另一个主干神经网络的人脸属性识别神经网络，用于从所述输入 图像中提取针人脸属性特征；

作为所述人脸识别神经网络的旁支网络的人脸识别参考神经网络，从 所述输入图像中提取出不包含人脸属性信息的人脸参考特征；

作为所述人脸属性识别神经网络的旁支网络的人脸属性识别参考神 经网络， 从所述输入图像中提取出不包含人脸信息的人脸属性参考特征, 其中， 所述人脸识别神经网络包括叠加模块， 所述叠加模块将所述人 脸属性参考特征引入所述人脸特征以去除所述人脸特征中人脸属性特征 的影响，并且所述人脸识别神经网络基于叠加了所述人脸属性参考特征的 所述人脸特征完成针对所述人脸特征的神经网络计算。

19. 如权利要求 18所述的双神经网络， 所述旁支神经网络和所述主 干神经网络共用大部分在前网络结构，并且基于针对人脸和人脸属性特征 进行对抗的目标函数训练得到的权重和偏置参数来求取所述参考特征。

20. 一种计算设备， 包括： 处理器； 以及

存储器， 其上存储有可执行代码， 当所述可执行代码被所述处理器执 行时， 使所述处理器执行如权利要求 i-ii中任一项所述的方法。

21. 一种非暂时性机器可读存储介质， 其上存储有可执行代码， 当所 述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求 1-11中任一项所述的方法。