WO2020118708A1 - 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质 - Google Patents

基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质 Download PDF

Info

Publication number
WO2020118708A1
WO2020118708A1 PCT/CN2018/121289 CN2018121289W WO2020118708A1 WO 2020118708 A1 WO2020118708 A1 WO 2020118708A1 CN 2018121289 W CN2018121289 W CN 2018121289W WO 2020118708 A1 WO2020118708 A1 WO 2020118708A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
module
iterations
training sample
base image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/121289
Other languages
English (en)
French (fr)
Inventor
陈文胜
陈海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to PCT/CN2018/121289 priority Critical patent/WO2020118708A1/zh
Publication of WO2020118708A1 publication Critical patent/WO2020118708A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • the present invention relates to the field of data processing technology, and in particular, to a face recognition method, system, and storage medium based on semi-negative matrix factorization of E auxiliary functions.
  • biometrics using personal physiological and behavioral characteristics for personal identification has become one of the most active research areas.
  • biometrics using personal physiological and behavioral characteristics for personal identification has become one of the most active research areas.
  • one of the most easily accepted technologies is facial recognition technology, which is because compared with other biometrics technologies, facial recognition is non-invasive, non-mandatory, and non-contact. And concurrency.
  • Face recognition technology consists of two stages.
  • the first stage is feature extraction, which is to extract face feature information in the face image. This stage directly determines the quality of face recognition technology; the second stage is identity authentication.
  • Personal identification based on the extracted feature information.
  • Principal component analysis (PCA) and singular value decomposition (SVD) are more classic feature extraction methods, but the feature vectors proposed by these two methods usually contain negative elements, so these methods do not have the original sample is non-negative data Rationality and interpretability.
  • Non-negative matrix factorization is a feature extraction method for processing non-negative data. It is widely used, such as hyperspectral data processing and face image recognition.
  • the NMF algorithm has a non-negative limitation on the extracted features during the decomposition of the original sample non-negative data matrix, that is, all components after decomposition are non-negative, so non-negative sparse features can be extracted.
  • the essence of the NMF algorithm is to approximately decompose the non-negative matrix X into the product of the base image matrix W and the coefficient matrix H, that is, X ⁇ WH, and both W and H are non-negative matrices.
  • each column of the matrix X can be represented as a non-negative linear combination of the vectors of the columns of the matrix W, which is also consistent with the construction basis of the NMF algorithm-the perception of the whole is composed of the perception of the parts that make up the whole (pure additive) .
  • NMF requires that the original samples are non-negative data, which limits the application of the algorithm to a certain extent.
  • technologies have proposed many algorithms for deforming NMF, such as semi-negative matrix factorization (Semi-NMF) and convex nonnegative matrix factorization (Convex-NMF). These two algorithms can be used for both non-negative data and other data.
  • Si-NMF semi-negative matrix factorization
  • Convex-NMF convex nonnegative matrix factorization
  • the auxiliary function is a commonly used tool to prove the convergence of the algorithm, and its definition and properties are as follows:
  • Definition 1 For any matrix H and H (t) , if the condition is met
  • G(H,H (t) ) is called an auxiliary function of function f(H).
  • Semi-Negative Matrix Factorization does not limit the sign of the sample matrix, thereby expanding the application range of NMF.
  • matrix factorization X ⁇ WH the optimization problem that Semi-NMF needs to solve is:
  • Convex non-negative matrix factorization Convex-NMF
  • Convex-NMF The main idea of Convex-NMF is to restrict the columns in the base image matrix to be a convex combination of the columns in the original sample matrix.
  • the optimization problem that Convex-NMF needs to solve is:
  • NMF non-negative matrix factorization algorithm
  • the invention provides a face recognition method based on semi-negative matrix factorization of E auxiliary function, which includes a training step, and the training step includes the following steps:
  • the first step convert the training sample image into a training sample matrix X, set the error threshold ⁇ , the maximum number of iterations I max , and enter the training sample matrix X, the error threshold ⁇ and the maximum number of iterations I max
  • the second step initialize the base image matrix W and coefficient matrix H;
  • the fourth step update the base image matrix W and coefficient matrix H according to formula (6);
  • the sixth step determine whether the objective function F(W,H) ⁇ or the number of iterations n reaches the maximum number of iterations I max , if it is, then output the base image matrix W and the coefficient matrix H, otherwise perform the fourth step;
  • W represents the base image matrix
  • H represents the coefficient matrix
  • X represents the training sample matrix
  • the face recognition method further includes performing a recognition step after the training step, the recognition step including:
  • Step 9 Calculate the distance between the feature vector h y of the face image to be recognized and the average feature vector m j of each class. If the distance between h y and m j is the smallest, then classify the face image y to be recognized into class P;
  • Step 10 Output category P.
  • the invention also provides a face recognition system based on the semi-negative matrix factorization of the E auxiliary function, which includes a training module, and the training module includes:
  • Input module used to convert the training sample image into the training sample matrix X, set the error threshold ⁇ , the maximum number of iterations I max , and input the training sample matrix X, the error threshold ⁇ and the maximum number of iterations I max ;
  • Initialization module used to initialize the base image matrix W and coefficient matrix H;
  • Update module used to update the base image matrix W and coefficient matrix H according to formula (6);
  • Judgment module judge whether the objective function F(W,H) ⁇ or the number of iterations n reaches the maximum number of iterations I max , if it is, then output the base image matrix W and coefficient matrix H, otherwise execute the update module;
  • W represents the base image matrix
  • H represents the coefficient matrix
  • X represents the training sample matrix
  • the face recognition system further includes a recognition module executed after the training module, the recognition module includes:
  • Distance calculation module Calculate the distance between the feature vector h y of the face image to be recognized and the average feature vector m j of each class. If the distance between h y and m j is the smallest, then classify the face image y to be recognized into category P;
  • Output module used to output category P.
  • the invention also discloses a computer-readable storage medium which stores a computer program which is configured to implement the steps of the method described in the claims when called by a processor.
  • the face recognition method of the present invention has the advantages of high recognition performance and low computational complexity. Through the experimental comparison with related algorithms in the public face database, the results show that the method developed by this patent has certain Superiority.
  • Figure 3 is the method and related algorithms (Convex-NMF and Semi-NMF) proposed by the present invention
  • FIG. 4 is a comparison diagram of the convergence curves of the method of the present invention and the Semi-NMF algorithm, where FSNMF represents the method of the present invention.
  • the present invention first proposes a new concept of the E auxiliary function of the objective function, and accordingly proposes a new basic theory and framework for constructing auxiliary functions, which greatly expands the selection range of auxiliary functions and also flexibly constructs auxiliary functions for us
  • auxiliary functions greatly expands the selection range of auxiliary functions and also flexibly constructs auxiliary functions for us
  • FSNMF fast semi-negative matrix factorization
  • Non-negative matrix factorization Non-negative Matrix Factorization, NMF
  • NMF non-negative sample matrix Approximate decomposition into the product of two non-negative matrices, namely:
  • the base image matrix and the coefficient matrix, respectively.
  • the loss function is usually defined based on the F-norm, written as:
  • the main objectives of the present invention are:
  • E(H,H (t) ) is called an E auxiliary function of function f(H).
  • Theorem 1 gives a theoretical framework and method for constructing new auxiliary functions based on E auxiliary functions, which greatly expands the selection range of auxiliary functions, and also flexibly constructs auxiliary functions for us to design new high-performance non-negative feature algorithms Provides a powerful tool.
  • FSNMF fast semi-negative matrix factorization algorithm
  • question (3) has evolved into two sub-problems, namely:
  • Is -tr ((W T W) - HH T) is an auxiliary function.
  • G(H,H (t) ) is an auxiliary function of f 2 (H).
  • the updated iteration formula can be directly derived from the auxiliary function.
  • the formula derived from the auxiliary function G(H, H (t) ) here does not satisfy non-negativity, so we need to use the E auxiliary function to reconstruct a new auxiliary function.
  • Theorem 4 Define the functions G(H,H (t) ) and E(H,H (t) ) as follows:
  • function G(H,H (t) ) is an auxiliary function of function f 2 (H)
  • function E(H,H (t) ) is function f 2 (H)
  • the updated iterative formula (6) proposed in this patent not only greatly improves the convergence speed and calculation speed, but also has a better recognition effect.
  • the present invention provides a face recognition method based on semi-negative matrix factorization of E auxiliary function, which includes a training step, and the training step includes the following steps:
  • the first step transform the training sample image into a training sample matrix X, set the error threshold ⁇ , the maximum number of iterations I max , and input the training sample matrix X, the error threshold ⁇ and the maximum number of iterations I max ;
  • the second step initialize the base image matrix W and coefficient matrix H;
  • the fourth step update the base image matrix W and coefficient matrix H according to formula (6);
  • the sixth step determine whether the objective function F(W,H) ⁇ or the number of iterations n reaches the maximum number of iterations I max , if it is, then output the base image matrix W and the coefficient matrix H, otherwise perform the fourth step;
  • W represents the base image matrix
  • H represents the coefficient matrix
  • X represents the training sample matrix
  • T represents the transpose of the matrix
  • the face recognition method further includes performing a recognition step after the training step.
  • the recognition step includes:
  • Step 9 Calculate the distance between the feature vector h y of the face image to be recognized and the average feature vector m j of each class. If the distance between h y and m j is the smallest, then classify the face image y to be recognized into class P;
  • Step 10 Output category P.
  • the output category P indicates that the face image y to be recognized is recognized as the Pth personal face category, so after the category P is output, face recognition is completed.
  • the invention also provides a face recognition system based on semi-negative matrix factorization of E auxiliary function, which includes a training module, and the training module includes:
  • Input module used to convert the training sample image into the training sample matrix X, set the error threshold ⁇ , the maximum number of iterations I max , and input the training sample matrix X, the error threshold ⁇ and the maximum number of iterations I max ;
  • Initialization module used to initialize the base image matrix W and coefficient matrix H;
  • Update module used to update the base image matrix W and coefficient matrix H according to formula (6);
  • Judgment module judge whether the objective function F(W,H) ⁇ or the number of iterations n reaches the maximum number of iterations I max , if it is, then output the base image matrix W and coefficient matrix H, otherwise execute the update module;
  • W represents the base image matrix
  • H represents the coefficient matrix
  • X represents the training sample matrix
  • T represents the transpose of the matrix
  • the face recognition system also includes a recognition module that is executed after the training module.
  • the recognition module includes:
  • Distance calculation module Calculate the distance between the feature vector h y of the face image to be recognized and the average feature vector m j of each class. If the distance between h y and m j is the smallest, then classify the face image y to be recognized into category P;
  • Output module used to output category P.
  • the invention also discloses a computer-readable storage medium which stores a computer program which is configured to implement the steps of the method described in the claims when called by a processor.
  • Table 1 compares the recognition rate (%) of the method proposed in this patent (Our Method) with convex non-negative matrix factorization (Convex-NMF) and semi-non-negative matrix factorization (Semi-NMF) on the ORL face database
  • Table 2 compares the recognition speed (seconds) of the method proposed in this patent (Our Method) with convex non-negative matrix factorization (Convex-NMF) and semi-non-negative matrix factorization (Semi-NMF) on the ORL face database
  • the present invention allows the input matrix to contain negative numbers, expanding the application range of NMF.
  • the face recognition method of the present invention has the advantages of high recognition performance and low computational complexity.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种基于E辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质，该人脸识别方法包括第一步骤：将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵X、误差阈值ε和最大迭代次数I max；第二步骤：对基图像矩阵W和系数矩阵H进行初始化；第四步骤：根据公式(6)更新基图像矩阵W和系数矩阵H；第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤。其有益效果是：该人脸识别方法具有高识别性能与低计算复杂度的优势，通过在公开的人脸数据库中与相关算法进行实验比较，结果表明该方法具有一定的优越性。

Description

基于E辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质 技术领域
本发明涉及数据处理技术领域，尤其涉及基于E辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质。
背景技术
随着信息化时代的到来，利用人体固有的生理特征和行为特征进行个人身份鉴定的生物识别技术成为了一个最活跃的研究领域之一。在生物识别技术的众多分支中，最容易被人们接受的一个技术是人脸识别技术，这是由于相对于其他生物识别技术而言，人脸识别具有无侵害性、非强制性、非接触性和并发性。
人脸识别技术包含两个阶段，第一阶段是特征提取，也就是提取人脸图像中的人脸特征信息，这一阶段直接决定了人脸识别技术的好坏；第二阶段是身份鉴定，根据提取出的特征信息进行个人身份鉴定。主成分分析(PCA)与奇异值分解(SVD)都是较为经典的特征提取方法，但是这两种方法提出的特征向量通常含有负元素，因此在原始样本为非负数据下，这些方法不具有合理性与可解释性。非负矩阵分解(NMF)是一种处理非负数据的特征提取方法，它的应用非常广泛，比如高光谱数据处理、人脸图像识别等。NMF算法在原始样本非负数据矩阵分解过程中，对提取的特征具有非负性限制，即分解后的所有分量都是非负的，因而可以提取非负的稀疏特征。NMF算法的实质也就是将非负矩阵X近似分解为基图像矩阵W和系数矩阵H的乘积，即X≈WH，且W和H都是非负矩阵。这样矩阵X的每一列就可以表示成矩阵W列向量的非负线性组合，这也符合NMF算法的构造依据——对整体的感知是由对组成整体的部分的感知构成的(纯加性)。
然而，NMF需要原始样本为非负数据，这在一定程度上限制了该算法的应用范围。为了扩大NMF的适用范围，近年来，学者们提出了许多对NMF变形的算法，例如，半非负矩阵分解(Semi-NMF)和凸非负矩阵分解(Convex-NMF)。这两种算法既能用于非负数据，又能用于其他数据。但是，由于它们允许原始样本中含有负数，故证明其迭代公式的收敛性变成了一个十分复杂问题。同时，现有的Semi-NMF迭代方法存在收敛速度较慢、算法识别率较低等问题。
1.辅助函数(Auxiliary Function)
辅助函数是证明算法收敛性的一种常用工具，其定义与性质如下：
定义1：对于任意的矩阵H和H (t)，若满足条件
G(H,H (t))≥f(H)，且G(H (t),H (t))＝f(H (t))
则称G(H,H (t))为函数f(H)的一个辅助函数。
引理1：如果G(H,H (t))是f(H)的一个辅助函数，那么f(H)在如下的更新法则下是单调不增的，
Figure PCTCN2018121289-appb-000001
2.半非负矩阵分解(Semi-NMF)
半非负矩阵分解(Semi-NMF)不对样本矩阵的符号做限制，从而扩大的NMF的应用范围。对于矩阵分解X≈WH来说，Semi-NMF需要解决的最优化问题为：
Figure PCTCN2018121289-appb-000002
其更新迭代公式为：
Figure PCTCN2018121289-appb-000003
其中
Figure PCTCN2018121289-appb-000004
3.凸非负矩阵分解(Convex-NMF)
凸非负矩阵分解(Convex-NMF)的主要思想是限制基图像矩阵中的列是原样本矩阵中的列的一个凸组合。对于矩阵分解X≈XWH来说，Convex-NMF需要解决的最优化问题为：
Figure PCTCN2018121289-appb-000005
其更新迭代公式为：
Figure PCTCN2018121289-appb-000006
Figure PCTCN2018121289-appb-000007
从上面Semi-NMF和Convex-NMF迭代公式可以看出，其中均出现了开算术平方根，这大大增加了算法的计算复杂度，降低了算法的计算效率。
综上：
1、非负矩阵分解算法(NMF)的应用范围较窄，仅适用于非负数据。
2、传统半非负矩阵分解算法(Semi-NMF)虽然扩大了非负矩阵分解算法的应用范围，但是其效果和收敛速度仍需提高。
发明内容
本发明提供了一种基于E辅助函数的半非负矩阵分解的人脸识别方法，包括训练步骤，所述训练步骤包括如下步骤：
第一步骤：将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵X、误差阈值ε和最大迭代次数I max
第二步骤：对基图像矩阵W和系数矩阵H进行初始化；
第三步骤：设置迭代次数n＝0；
第四步骤：根据公式(6)更新基图像矩阵W和系数矩阵H；
第五步骤：使n＝n+1；
第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤；
在第四步骤中，公式(6)如下：
W←XH T(HH T) -1
Figure PCTCN2018121289-appb-000008
在公式(6)中，W表示基图像矩阵，H表示系数矩阵，X表示训练样本矩阵。
作为本发明的进一步改进：该人脸识别方法还包括在训练步骤之后再执行识别步骤，所述识别步骤包括：
第七步骤：计算训练样本中每类的平均特征向量m j(j＝1,…,c)；
第八步骤:输入待识别人脸图像y，计算其特征向量h y＝W -1y；
第九步骤:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
第十步骤：输出类别P。
本发明还提供了一种基于E辅助函数的半非负矩阵分解的人脸识别系统，包括训练模块，所述训练模块包括：
输入模块：用于将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵X、误差阈值ε和最大迭代次数I max；
初始化模块：用于对基图像矩阵W和系数矩阵H进行初始化；
赋值模块：用于设置迭代次数n＝0；
更新模块：用于根据公式(6)更新基图像矩阵W和系数矩阵H；
计数模块：使n＝n+1；
判断模块：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行更新模块；
在更新模块中，公式(6)如下：
W←XH T(HH T) -1
Figure PCTCN2018121289-appb-000009
在公式(6)中，W表示基图像矩阵，H表示系数矩阵，X表示训练样本矩阵。
作为本发明的进一步改进：该人脸识别系统还包括在训练模块之后再执行识别模块，所述识别模块包括：
平均特征向量计算模块：用于计算训练样本中每类的平均特征向量m j(j＝1,…,c)；
特征向量计算模块:用于输入待识别人脸图像y，计算其特征向量h y＝W -1y；
距离计算模块:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
输出模块：用于输出类别P。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求中所述的方法的步骤。
本发明的有益效果是：本发明的人脸识别方法具有高识别性能与低计算复杂度的优势，通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本专利开发的方法具有一定的优越性。
附图说明
图1是本发明的算法构造过程流程图；
图2是本发明的方法流程图；
图3是本发明提出的方法与相关算法(Convex-NMF和Semi-NMF)
在ORL人脸数据库上的识别率比较图，其中FSNMF表示本发明方法；
图4是本发明方法与Semi-NMF算法的收敛曲线比较图，其中FSNMF表示本发明方法。
具体实施方式
本发明首次提出了目标函数的E辅助函数的新概念，并据此提出了一种新的构造辅助函数的基本理论和框架，这大大扩充了辅助函数的选择范围，也为我们灵活构造辅助函数来设计新的高性能非负特征算法提供了强有力工具。根据本发明提出的E辅助函数的方法，我们构造了一种新的辅助函数，据此推导出了一种新的快速半非负矩阵分解(FSNMF)算法。由 辅助函数的性质可知，本发明得到的FSNMF算法是收敛的。实验结果表明，本发明提出的FSNMF迭代方法与其他基于NMF的算法相比具有更好的识别率和更快的收敛速度。同时，本发明提出的E辅助函数方法还适用于开发其他生物特征识别迭代算法，以及证明算法的收敛性。
一.关键词解释：
1.符号说明：
X      矩阵
X T     X的转置
|X|    对矩阵X的每个元素取绝对值
X ij    矩阵X的第ij个元素
x j     矩阵X的第j列
Figure PCTCN2018121289-appb-000010
  矩阵A与B中对应元素的积
Figure PCTCN2018121289-appb-000011
    矩阵A与B中对应元素的商
A d     矩阵A中每个元素的d次幂
2.非负矩阵分解(Non-negative Matrix Factorization，NMF)
NMF的基本思想是将一个非负样本矩阵
Figure PCTCN2018121289-appb-000012
近似分解为两个非负矩阵的乘积，即：
X≈WH,
其中，
Figure PCTCN2018121289-appb-000013
和
Figure PCTCN2018121289-appb-000014
分别被称为基图像矩阵和系数矩阵。并且，通过构建损失函数度量X与WH之间的逼近程度,通常损失函数是基于F-范数被定义的，写为：
F(W,H)＝||X-WH|| 2       (1)
这里||·||表示F-范数。
3.半非负矩阵分解(Semi-Non-negative Matrix Factorization，Semi-NMF)
Semi-NMF不对样本矩阵的符号做限制，从而扩大的NMF的应用范围。对于样本矩阵
Figure PCTCN2018121289-appb-000015
考虑分解：
X≈WH,
其中，
Figure PCTCN2018121289-appb-000016
和
Figure PCTCN2018121289-appb-000017
即Semi-NMF仅限制系数矩阵非负。
二.具体技术方案：
1.本发明的主要目的有：
(1).拓展了NMF的应用范围，使其对含有负数的数据仍然有效；
(2).提出了E辅助函数的新概念，据此给出了一种构造新的辅助函数的基本理论框架和方法。
(3).根据提出的E辅助函数方法，开发出了一种新的具有高识别性能与低计算复杂度的快速半非负矩阵分解(FSNMF)人脸识别算法。
2.技术方案：
(1)E辅助函数的定义及性质:
对于许多目标函数来说，构造合适辅助函数十分困难。例如，传统半非负矩阵分解算法中构造的辅助函数极为复杂，且得到的迭代公式的收敛速度较慢。为了克服这些不足，本专利首次提出了E辅助函数的概念，并基于E辅助函数得到了一种新的具有高识别性能与低计算复杂度的快速半非负矩阵分解(FSNMF)人脸识别算法。E辅助函数的定义与性质如下:
定义2：对于任意的矩阵H和H (t)，若E(H,H (t))满足条件
E(H,H (t))≥0，且E(H (t),H (t))＝0
则称E(H,H (t))为函数f(H)的一个E辅助函数。
定理1：若函数G(H,H (t))是函数f(H)的一个辅助函数，若函数E(H,H (t))是函数f(H)的一个E-辅助函数。则有：
Figure PCTCN2018121289-appb-000018
仍是f(H)的一个辅助函数，其中λ≥0。
证明：由辅助函数及E辅助函数的定义，我们有：
Figure PCTCN2018121289-appb-000019
Figure PCTCN2018121289-appb-000020
故可知
Figure PCTCN2018121289-appb-000021
仍是f(H)的一个辅助函数。
定理1给出了一种基于E辅助函数来构造新的辅助函数的理论框架和方法，这大大扩充了辅助函数的选择范围，也为我们灵活构造辅助函数来设计新的高性能非负特征算法提供了强有力工具。
(2)新FSNMF的提出：
目标函数的构建
对于样本矩阵
Figure PCTCN2018121289-appb-000022
考虑Semi-NMF：
X≈WH
其中，
Figure PCTCN2018121289-appb-000023
和
Figure PCTCN2018121289-appb-000024
得到快速半非负矩阵分解算法(FSNMF)的目标函数为：
F(W,H)＝||X-WH|| 2                               (3)
为了求解目标函数(3)中的两个未知矩阵W和H，我们将目标函数转化为两个子目标函数，分别为：
f 1(W)＝||X-WH|| 2,其中H固定
f 2(H)＝||X-WH|| 2,其中W固定
则，问题(3)也演变成了两个子问题，分别为：
min f 1(W)                       (4)
min f 2(H)s.t.H≥0                  (5)
对基图像矩阵W的学习
固定H,由于f 1(W)是凸的，同时对W的符号没有限制，故可知其极值点就是最优解。计算梯度并令其为0，有：
Figure PCTCN2018121289-appb-000025
可解得W的闭形式解：
W＝XH T(HH T) -1
对系数矩阵H的学习
固定W，我们先构造目标函数f 2(H)的一个辅助函数G(H,H (t))。将目标函数f 2(H)展开为：
f 2(H)＝tr(X TX)-2tr(H T(W TX) +-H T(W TX) -)+tr((W TW) +-(W TW) -)HH T 对于等式右边最后两项，我们有：
引理2：函数
Figure PCTCN2018121289-appb-000026
是tr((W TW) +HH T)的一个辅助函数。
引理3：函数
Figure PCTCN2018121289-appb-000027
是-tr((W TW) -HH T)的一个辅助函数。
由以上两个引理，我们可以得到定理2。
定理2：函数
Figure PCTCN2018121289-appb-000028
是f 2(H)的一个辅助函数。
证明：由引理2和引理3可知，
Figure PCTCN2018121289-appb-000029
是tr((W TW) +HH T)的辅助函数，
Figure PCTCN2018121289-appb-000030
是-tr((W TW) -HH T)的辅助函数。
故有G(H,H (t))是f 2(H)的一个辅助函数。
通常，更新迭代公式可直接由辅助函数推出。但这里由辅助函数G(H，H (t))推出的公式并不满足非负性，故我们需要借助E辅助函数来重新构造一个新的辅助函数。
定理3：函数
Figure PCTCN2018121289-appb-000031
是f 2(H)的一个E辅助函数。
证明：显然，
E(H,H (t))≥0，且E(H (t),H (t))＝0
故可知E(H,H (t))仍是f 2(H)的一个E辅助函数。
定理4：定义函数G(H,H (t))和E(H,H (t))如下：
Figure PCTCN2018121289-appb-000032
Figure PCTCN2018121289-appb-000033
则
Figure PCTCN2018121289-appb-000034
是f 2(H)的一个辅助函数。
证明：由定理2和定理3可知：函数G(H,H (t))是函数f 2(H)的一个辅助函数， 且函数E(H,H (t))是函数f 2(H)的一个E辅助函数。结合定理1，我们取λ＝1，可直接推出
Figure PCTCN2018121289-appb-000035
仍是f 2(H)的一个辅助函数。
根据定义1与引理1，我们可知函数
Figure PCTCN2018121289-appb-000036
是函数f 2(H)的一个上限，且
Figure PCTCN2018121289-appb-000037
为了得到
Figure PCTCN2018121289-appb-000038
的最小值，我们求解它的导数并令其为0，有
Figure PCTCN2018121289-appb-000039
由此式可解得H的更新迭代公式:
Figure PCTCN2018121289-appb-000040
通过简单的推导，可以证明该迭代公式也满足KKT条件。
综上所述，本专利提出的FSNMF的更新迭代公式为：
Figure PCTCN2018121289-appb-000041
相较于传统的Semi-NMF的迭代公式(2)，本专利提出的的更新迭代公式(6)不仅在收敛速度和计算速度上有着较大的提高，同时有一个更好的识别效果。
综上：
如图2所示，本发明提供了一种基于E辅助函数的半非负矩阵分解的人脸识别方法，包括训练步骤，所述训练步骤包括如下步骤：
第一步骤：将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵X、误差阈值ε和最大迭代次数I max；
第二步骤：对基图像矩阵W和系数矩阵H进行初始化；
第三步骤：设置迭代次数n＝0；
第四步骤：根据公式(6)更新基图像矩阵W和系数矩阵H；
第五步骤：使n＝n+1；
第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤；
在第四步骤中，公式(6)如下：
W←XH T(HH T) -1
Figure PCTCN2018121289-appb-000042
在公式(6)中，W表示基图像矩阵，H表示系数矩阵，X表示训练样本矩阵，T表示矩阵的转置。
该人脸识别方法还包括在训练步骤之后再执行识别步骤，所述识别步骤包括：
第七步骤：计算训练样本中每类的平均特征向量m j(j＝1,…,c)，j表示第j类，C表示一共C个不同的人脸类别；
第八步骤:输入待识别人脸图像y，计算其特征向量h y＝W -1y，W表示基图像矩阵；
第九步骤:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
第十步骤：输出类别P。
输出类别P，表示待识别人脸图像y被识别为第P个人脸类别，所以输出类别P后，人脸识别就完成了。
本发明还提供了一种基于E辅助函数的半非负矩阵分解的人脸识别系统，包括训练模块，所述训练模块包括：
输入模块：用于将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵X、误差阈值ε和最大迭代次数I max；
初始化模块：用于对基图像矩阵W和系数矩阵H进行初始化；
赋值模块：用于设置迭代次数n＝0；
更新模块：用于根据公式(6)更新基图像矩阵W和系数矩阵H；
计数模块：使n＝n+1；
判断模块：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行更新模块；
在更新模块中，公式(6)如下：
W←XH T(HH T) -1
Figure PCTCN2018121289-appb-000043
在公式(6)中，W表示基图像矩阵，H表示系数矩阵，X表示训练样本矩阵，T表示矩阵的转置。
该人脸识别系统还包括在训练模块之后再执行识别模块，所述识别模块包括：
平均特征向量计算模块：用于计算训练样本中每类的平均特征向量m j(j＝1,…,c)，j表示第j类，C表示一共C个不同的人脸类别；
特征向量计算模块:用于输入待识别人脸图像y，计算其特征向量h y＝W -1y，W表示基图像矩阵；
距离计算模块:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
输出模块：用于输出类别P。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求中所述的方法的步骤。
表1是本专利提出的方法(Our Method)与凸非负矩阵分解(Convex-NMF)和半非负矩阵分解(Semi-NMF)在ORL人脸数据库上的识别率(％)比较
(TN表示每一类的训练样本数)
TN 3 4 5 6 7 8 9
Convex-NMF 72.21 76.79 83.70 85.75 87.17 88.50 88.50
Semi-NMF 75.93 80.92 85.85 86.00 89.00 90.13 89.00
Our Method 78.29 82.92 88.05 88.56 91.83 91.63 91.75
表2是本专利提出的方法(Our Method)与凸非负矩阵分解(Convex-NMF)和半非负矩阵分解(Semi-NMF)在ORL人脸数据库上的识别速度(秒s)比较
(TN表示每一类的训练样本数)
TN 3 4 5 6 7 8 9
Convex-NMF 0.49 0.76 1.18 1.53 1.70 2.39 2.72
Semi-NMF 0.53 0.63 0.95 1.08 1.09 1.24 1.38
Our Method 0.46 0.56 0.88 0.89 0.90 1.09 1.21
本发明的有益效果：
1.本发明允许输入矩阵含有负数，扩大了NMF的应用范围。
2.本专利提出了E辅助函数的新概念，据此给出了一种构造新的辅助函数的基本理论框架和方法。
3.本发明的人脸识别方法具有高识别性能与低计算复杂度的优势。
4.通过构造新的E辅助函数得到了识别效果更好，收敛速度更快迭代公式。
5.本专利所提出的算法的收敛性，不仅通过利用辅助函数在理论上进行了证明，而且在实验中也得到了验证，我们的算法具有较高的收敛性。
6.通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本专利开发的方法具有一定的优越性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

  1. 一种基于E辅助函数的半非负矩阵分解的人脸识别方法，其特征在于，包括训练步骤，所述训练步骤包括如下步骤：
    第一步骤：将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵X、误差阈值ε和最大迭代次数I max；
    第二步骤：对基图像矩阵W和系数矩阵H进行初始化；
    第三步骤：设置迭代次数n＝0；
    第四步骤：根据公式(6)更新基图像矩阵W和系数矩阵H；
    第五步骤：使n＝n+1；
    第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤；在第四步骤中，公式(6)如下：
    W←XH T(HH T) -1
    Figure PCTCN2018121289-appb-100001
    在公式(6)中，W表示基图像矩阵，H表示系数矩阵，X表示训练样本矩阵，T表示矩阵的转置。
  2. 根据权利要求1所述的人脸识别方法，其特征在于，该人脸识别方法还包括在训练步骤之后再执行识别步骤，所述识别步骤包括：
    第七步骤：计算训练样本中每类的平均特征向量m j(j＝1,…,c)，j表示第j类，C表示一共C个不同的人脸类别；
    第八步骤:输入待识别人脸图像y，计算其特征向量h y＝W -1y，W表示基图像矩阵；
    第九步骤:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
    第十步骤：输出类别P，从而完成人脸识别。
  3. 一种基于E辅助函数的半非负矩阵分解的人脸识别系统，其特征在于，包括训练模块，所述训练模块包括：
    输入模块：用于将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵X、误差阈值ε和最大迭代次数I max；
    初始化模块：用于对基图像矩阵W和系数矩阵H进行初始化；
    赋值模块：用于设置迭代次数n＝0；
    更新模块：用于根据公式(6)更新基图像矩阵W和系数矩阵H；
    计数模块：使n＝n+1；
    判断模块：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行更新模块；在更新模块中，公式(6)如下：
    W←XH T(HH T) -1
    Figure PCTCN2018121289-appb-100002
    在公式(6)中，W表示基图像矩阵，H表示系数矩阵，X表示训练样本矩阵，T表示矩阵的转置。
  4. 根据权利要求3所述的人脸识别系统，其特征在于，该人脸识别系统还包括在训练模块之后再执行识别模块，所述识别模块包括：
    平均特征向量计算模块：用于计算训练样本中每类的平均特征向量m j(j＝1,…,c)，j表示第j类，C表示一共C个不同的人脸类别；
    特征向量计算模块:用于输入待识别人脸图像y，计算其特征向量h y＝W -1yh y＝W -1y，W表示基图像矩阵；
    距离计算模块:计算待识别人脸图像的特征向量h y到每类的平均特征向量 m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；输出模块：用于输出类别P，从而完成人脸识别。
  5. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-2中任一项所述的方法的步骤。
PCT/CN2018/121289 2018-12-14 2018-12-14 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质 Ceased WO2020118708A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/121289 WO2020118708A1 (zh) 2018-12-14 2018-12-14 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/121289 WO2020118708A1 (zh) 2018-12-14 2018-12-14 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质

Publications (1)

Publication Number Publication Date
WO2020118708A1 true WO2020118708A1 (zh) 2020-06-18

Family

ID=71075289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/121289 Ceased WO2020118708A1 (zh) 2018-12-14 2018-12-14 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质

Country Status (1)

Country Link
WO (1) WO2020118708A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112043269A (zh) * 2020-09-27 2020-12-08 中国科学技术大学 一种手势动作过程中肌肉空间激活模式提取和识别方法
CN112102194A (zh) * 2020-09-15 2020-12-18 北京金山云网络技术有限公司 一种人脸修复模型训练方法及装置
CN113378664A (zh) * 2021-05-26 2021-09-10 辽宁工程技术大学 基于半非负矩阵分解的高光谱图像变化检测方法和系统
CN114118094A (zh) * 2021-11-12 2022-03-01 国网天津市电力公司 一种基于非负矩阵分解的语义社团发现方法
CN116883226A (zh) * 2023-07-21 2023-10-13 中国国土勘测规划院 基于nmf分解的dem零水印方法、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366182A (zh) * 2013-07-05 2013-10-23 西安电子科技大学 基于全监督非负矩阵分解的人脸识别方法
CN104463084A (zh) * 2013-09-24 2015-03-25 江南大学 一种基于非负矩阵分解的离线手写签名识别
CN106897685A (zh) * 2017-02-17 2017-06-27 深圳大学 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统
WO2017166933A1 (zh) * 2016-03-30 2017-10-05 深圳大学 一种基于核机器学习的非负矩阵分解人脸识别方法及系统
CN107480636A (zh) * 2017-08-15 2017-12-15 深圳大学 基于核非负矩阵分解的人脸识别方法、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366182A (zh) * 2013-07-05 2013-10-23 西安电子科技大学 基于全监督非负矩阵分解的人脸识别方法
CN104463084A (zh) * 2013-09-24 2015-03-25 江南大学 一种基于非负矩阵分解的离线手写签名识别
WO2017166933A1 (zh) * 2016-03-30 2017-10-05 深圳大学 一种基于核机器学习的非负矩阵分解人脸识别方法及系统
CN106897685A (zh) * 2017-02-17 2017-06-27 深圳大学 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统
CN107480636A (zh) * 2017-08-15 2017-12-15 深圳大学 基于核非负矩阵分解的人脸识别方法、系统及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102194A (zh) * 2020-09-15 2020-12-18 北京金山云网络技术有限公司 一种人脸修复模型训练方法及装置
CN112043269A (zh) * 2020-09-27 2020-12-08 中国科学技术大学 一种手势动作过程中肌肉空间激活模式提取和识别方法
CN112043269B (zh) * 2020-09-27 2021-10-19 中国科学技术大学 一种手势动作过程中肌肉空间激活模式提取和识别方法
CN113378664A (zh) * 2021-05-26 2021-09-10 辽宁工程技术大学 基于半非负矩阵分解的高光谱图像变化检测方法和系统
CN114118094A (zh) * 2021-11-12 2022-03-01 国网天津市电力公司 一种基于非负矩阵分解的语义社团发现方法
CN114118094B (zh) * 2021-11-12 2024-05-24 国网天津市电力公司 一种基于非负矩阵分解的语义社团发现方法
CN116883226A (zh) * 2023-07-21 2023-10-13 中国国土勘测规划院 基于nmf分解的dem零水印方法、装置及介质
CN116883226B (zh) * 2023-07-21 2024-01-02 中国国土勘测规划院 Dem零水印嵌入与提取方法、装置及介质

Similar Documents

Publication Publication Date Title
CN109508697B (zh) 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质
WO2020118708A1 (zh) 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质
Arora et al. Stochastic optimization for PCA and PLS
WO2020010602A1 (zh) 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质
Chakraborty et al. Statistics on the Stiefel manifold: Theory and applications
Samworth et al. Independent component analysis via nonparametric maximum likelihood estimation
CN109063698B (zh) 一种非负特征提取及人脸识别应用方法、系统及存储介质
WO2021003637A1 (zh) 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质
WO2018149133A1 (zh) 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统
CN110070028B (zh) 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质
CN107480636B (zh) 基于核非负矩阵分解的人脸识别方法、系统及存储介质
CN105678260B (zh) 一种基于稀疏保持距离度量的人脸识别方法
CN109657611B (zh) 一种用于人脸识别的自适应图正则化非负矩阵分解方法
CN109002794B (zh) 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质
CN110147782A (zh) 一种基于投影字典对学习的人脸识别方法及装置
Li et al. Unsupervised active learning via subspace learning
Chen et al. A Lie group approach to Riemannian batch normalization
CN109815440B (zh) 联合图优化和投影学习的维数约简方法
CN110263815A (zh) 基于块对角表示和视图一致性的多视图子空间聚类方法
CN101877065B (zh) 小样本条件下的人脸图像非线性鉴别特征抽取和识别方法
CN102982342B (zh) 基于拉格朗日对偶的半正定谱聚类方法
CN105975940A (zh) 一种基于稀疏双向二维局部判别投影的掌纹图像识别方法
CN104361337A (zh) 计算和存储空间受限下的稀疏核主成分分析方法
WO2020211015A1 (zh) 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质
CN112001231A (zh) 加权多任务稀疏表示的三维人脸识别方法、系统及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18942970

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 04.10.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18942970

Country of ref document: EP

Kind code of ref document: A1