WO2020211015A1 - 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质 - Google Patents

基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质 Download PDF

Info

Publication number
WO2020211015A1
WO2020211015A1 PCT/CN2019/083064 CN2019083064W WO2020211015A1 WO 2020211015 A1 WO2020211015 A1 WO 2020211015A1 CN 2019083064 W CN2019083064 W CN 2019083064W WO 2020211015 A1 WO2020211015 A1 WO 2020211015A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
module
iterations
face image
recognition
Prior art date
Application number
PCT/CN2019/083064
Other languages
English (en)
French (fr)
Inventor
陈文胜
陈海涛
Original Assignee
深圳大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳大学 filed Critical 深圳大学
Priority to PCT/CN2019/083064 priority Critical patent/WO2020211015A1/zh
Publication of WO2020211015A1 publication Critical patent/WO2020211015A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • the present invention relates to the technical field of data processing, in particular a method, system and storage medium for non-negative feature representation and recognition of face images based on a conjugate gradient method.
  • biometric technology that uses the inherent physiological and behavioral characteristics of the human body for personal identification has become one of the most active research fields.
  • face recognition technology the one that is most easily accepted by people is face recognition technology. This is because face recognition is non-invasive, non-compulsory, and non-contact compared to other biometric technologies. And concurrency.
  • Face recognition technology consists of two stages.
  • the first stage is feature extraction, that is, the extraction of facial feature information in face images. This stage directly determines the quality of face recognition technology; the second stage is identity authentication. Perform personal identification based on the extracted characteristic information.
  • Principal component analysis (PCA) and singular value decomposition (SVD) are relatively classic feature extraction methods, but the feature vectors proposed by these two methods usually contain negative elements, so when the original sample is non-negative data, these methods do not have Reasonability and interpretability.
  • Non-negative matrix factorization is a feature extraction method for processing non-negative data. It has a wide range of applications, such as hyperspectral data processing and face image recognition.
  • the NMF algorithm has non-negativity restrictions on the extracted features, that is, all components after decomposition are non-negative, so non-negative sparse features can be extracted.
  • the essence of the NMF algorithm is to approximately decompose the non-negative matrix V into the product of the base image matrix W and the coefficient matrix H, that is, V ⁇ WH, and both W and H are non-negative matrices.
  • each column of matrix V can be expressed as a non-negative linear combination of matrix W column vectors, which is also in line with the construction basis of the NMF algorithm-the perception of the whole is constituted by the perception of the parts that make up the whole (pure additive) .
  • the traditional NMF algorithm is implemented based on the gradient descent method, resulting in a slower convergence speed.
  • some scholars proposed to use the conjugate gradient method instead of the gradient descent method to optimize the objective function of the non-negative matrix factorization.
  • the conjugate gradient method is difficult to guarantee that the result after decomposition is non-negative.
  • some researchers have proposed to use the projection gradient method to directly change the negative numbers in the result to 0. This largely changes the nature of the conjugate gradient method itself.
  • the multiplicative iterative algorithm is one of the most commonly used methods, which has the advantages of easy implementation and excellent results.
  • the algorithm block diagram is as follows:
  • Non-negative matrix factorization based on projection nonlinear conjugate gradient method (PNCG-NMF)
  • AccMU-NMF traditional non-negative matrix factorization
  • AccMU-NMF non-negative matrix factorization
  • PNCG-NMF non-negative matrix factorization
  • the present invention provides a non-negative feature representation and recognition method of a face image based on a conjugate gradient method, which includes a training step, and the training step includes the following steps:
  • the first step Convert the training sample image into a training sample matrix V, set the error threshold ⁇ , the maximum number of iterations I max , and input the training sample matrix V, the error threshold ⁇ and the maximum number of iterations I max
  • the second step initialize the base image matrix W and the coefficient matrix H;
  • the fourth step update the base image matrix W and the coefficient matrix H according to formula (7);
  • the sixth step judge whether the objective function F(W,H) ⁇ or the number of iterations n reaches the maximum number of iterations I max , if yes, output the base image matrix W and the coefficient matrix H, otherwise, perform the fourth step;
  • ⁇ represents the step size
  • P H k-1 and P W k-1 are the search directions of H and W k-1 steps, respectively
  • W k and H k represent the k-th steps of W and H Iteration value
  • ⁇ is a given small positive number
  • W represents the base image matrix
  • H represents the coefficient matrix
  • the method for expressing and recognizing non-negative features of a face image further includes performing a recognition step after the training step, and the recognition step includes:
  • the ninth step Calculate the distance from the feature vector h y of the face image to be recognized to the average feature vector m j of each category. If the distance between h y and m j is the smallest, the face image y to be recognized is classified into the P- th category;
  • the tenth step output category P to complete face recognition.
  • the present invention also provides a face image non-negative feature representation and recognition device based on the conjugate gradient method, which includes a training module, and the training module includes:
  • Input module used to convert training sample images into training sample matrix V, set error threshold ⁇ , maximum iteration number I max , and input training sample matrix V, error threshold ⁇ and maximum iteration number I max ;
  • Initialization module used to initialize the base image matrix W and coefficient matrix H;
  • Update module used to update the base image matrix W and the coefficient matrix H according to formula (6);
  • Judgment module judge whether the objective function F(W,H) ⁇ or the number of iterations n reaches the maximum number of iterations I max , if yes, output the base image matrix W and the coefficient matrix H, otherwise execute the update module;
  • ⁇ represents the step size
  • P H k-1 and P W k-1 are the search directions of H and W k-1 steps, respectively
  • W k and H k represent the k-th steps of W and H Iteration value
  • ⁇ is a given small positive number
  • W represents the base image matrix
  • H represents the coefficient matrix
  • the device for expressing and recognizing non-negative features of a face image further includes a recognition module after the training module, and the recognition module includes:
  • Distance calculation module Calculate the distance from the feature vector h y of the face image to be recognized to the average feature vector m j of each category. If the distance between h y and m j is the smallest, the face image y to be recognized is classified into the P- th category;
  • Output module used to output category P to complete face recognition.
  • the present invention also discloses a computer-readable storage medium storing a computer program, and the computer program is configured to implement the steps of the method of the present invention when called by a processor.
  • the present invention also discloses a face image non-negative feature representation and recognition system based on the conjugate gradient method, including: a memory, a processor, and a computer program stored on the memory, the computer program being configured by the The steps of the method of the present invention are implemented when the processor is called.
  • the present invention uses the conjugate gradient method instead of the gradient descent method to solve the non-negative matrix factorization, which speeds up the convergence speed;
  • the non-negative matrix factorization algorithm constructed by the invention can obtain relatively sparse data on the face database.
  • the base image is compared with related algorithms in a public face database. The result shows that the method developed by the present invention has certain advantages.
  • FIG. 1 is a flowchart of the algorithm construction process of the present invention
  • Figure 2 is a flow chart of the method of the present invention
  • Figure 3 is the method and related algorithms of the present invention (MU-NMF, AccMU-NMF and PNCG-NMF)
  • Figure 4 is a comparison diagram of the recognition rate of the method of the present invention and related algorithms (MU-NMF, AccMU-NMF, PNCG-NMF) on the Yale face database.
  • the present invention mainly meets the requirement of non-negativity by limiting the step length in the iterative update formula. This not only preserves the properties of the conjugate gradient method itself, but also enables the decomposition to have a faster convergence rate. We theoretically proved the convergence of the algorithm through an ingenious method, and verified the effectiveness of the algorithm through experiments. Experiments on public face data show that our algorithm has a better face recognition effect.
  • the main objectives of the present invention are:
  • a new conjugate gradient algorithm is proposed to replace the gradient descent method as an optimization algorithm for non-negative matrix factorization, which guarantees non-negativity by limiting the step size of each update.
  • Non-negative matrix factorization Non-negative Matrix Factorization, NMF
  • NMF non-negative sample matrix
  • the loss function is usually defined based on the F-norm, as:
  • the conjugate gradient method is one of the most useful methods for solving large linear equations. It only needs to use the first derivative information and overcomes the shortcomings of slow convergence of the gradient descent method.
  • the algorithm block diagram is as follows:
  • This is a linear symmetric positive definite equation system, so it can be solved by the conjugate gradient algorithm.
  • the update rules for the search direction p k are as follows:
  • Theorem 1 Fix W, take And ⁇ k satisfies ⁇ k ⁇ (-g k )>0, then the objective function F(h) is monotonous and non-increasing under the iterative formula (4) of h.
  • ⁇ represents the step size
  • P H k-1 and P W k-1 are the search directions of the k-1th step of H and W, respectively. Similar to Theorem 1, it can be proved that the objective function does not increase monotonically under the iteration of W. Therefore, our non-negative matrix factorization iterative formula (7) based on conjugate gradient is convergent.
  • an efficient non-negative matrix factorization algorithm is obtained by using the knowledge of conjugate gradient, and the ingenious method is used to prove the convergence of the algorithm of the present invention, which theoretically guarantees the rationality of the algorithm.
  • the present invention provides a non-negative feature representation and recognition method of a face image based on a conjugate gradient method, including a training step, and the training step includes the following steps:
  • the first step transform the training sample image into a training sample matrix V, set the error threshold ⁇ , the maximum number of iterations I max , and input the training sample matrix V, the error threshold ⁇ and the maximum number of iterations I max ;
  • the second step initialize the base image matrix W and the coefficient matrix H;
  • the fourth step update the base image matrix W and the coefficient matrix H according to formula (7);
  • the sixth step judge whether the objective function F(W,H) ⁇ or the number of iterations n reaches the maximum number of iterations I max , if yes, output the base image matrix W and the coefficient matrix H, otherwise, perform the fourth step;
  • ⁇ represents the step size
  • P H k-1 and P W k-1 are the search directions of H and W k-1 steps, respectively
  • W k and H k represent the k-th steps of W and H Iteration value
  • ⁇ is a given small positive number
  • W represents the base image matrix
  • H represents the coefficient matrix
  • the method for expressing and identifying non-negative features of a face image further includes performing a recognition step after the training step, and the recognition step includes:
  • the ninth step Calculate the distance from the feature vector h y of the face image to be recognized to the average feature vector m j of each category. If the distance between h y and m j is the smallest, the face image y to be recognized is classified into the P- th category;
  • the tenth step output category P to complete face recognition.
  • the output category P indicates that the face image y to be recognized is recognized as the P-th face category, so after the category P is output, the face recognition is completed.
  • the present invention also provides a face image non-negative feature representation and recognition device based on the conjugate gradient method, which includes a training module, and the training module includes:
  • Input module used to convert training sample images into training sample matrix V, set error threshold ⁇ , maximum iteration number I max , and input training sample matrix V, error threshold ⁇ and maximum iteration number I max ;
  • Initialization module used to initialize the base image matrix W and coefficient matrix H;
  • Update module used to update the base image matrix W and coefficient matrix H according to formula (7);
  • Judgment module judge whether the objective function F(W,H) ⁇ or the number of iterations n reaches the maximum number of iterations I max , if yes, output the base image matrix W and the coefficient matrix H, otherwise execute the update module;
  • ⁇ represents the step size
  • P H k-1 and P W k-1 are the search directions of H and W k-1 steps, respectively
  • W k and H k represent the k-th steps of W and H Iteration value
  • ⁇ is a given small positive number
  • W represents the base image matrix
  • H represents the coefficient matrix
  • the device for expressing and recognizing non-negative features of a face image further includes a recognition module after the training module, and the recognition module includes:
  • Distance calculation module Calculate the distance from the feature vector h y of the face image to be recognized to the average feature vector m j of each category. If the distance between h y and m j is the smallest, the face image y to be recognized is classified into the P- th category;
  • Output module used to output category P to complete face recognition.
  • the present invention also discloses a computer-readable storage medium storing a computer program, and the computer program is configured to implement the steps of the method of the present invention when called by a processor.
  • the present invention also discloses a face image non-negative feature representation and recognition system based on the conjugate gradient method, including: a memory, a processor, and a computer program stored on the memory, the computer program being configured by the The steps of the method of the present invention are implemented when the processor is called.
  • the non-negative matrix factorization algorithm constructed by the present invention can obtain a relatively sparse base image on the face database.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

一种基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质，该人脸图像非负特征表示与识别方法包括第一步骤：将训练样本图像转化为训练样本矩阵，设置误差阈值、最大迭代次数，并输入训练样本矩阵、误差阈值和最大迭代次数；第二步骤：对基图像矩阵和系数矩阵进行初始化；第三步骤：设置迭代次数n=0；第四步骤：根据公式（7）更新基图像矩阵和系数矩阵；第五步骤：使n=n+1；第六步骤：判断目标函数或迭代次数n是否达到最大迭代次数，如果是，那么输出基图像矩阵和系数矩阵，否则执行第四步骤。通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本方法具有一定的优越性。

Description

基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质 技术领域
本发明涉及数据处理技术领域，尤其基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质。
背景技术
随着信息化时代的到来，利用人体固有的生理特征和行为特征进行个人身份鉴定的生物识别技术成为了一个最活跃的研究领域之一。在生物识别技术的众多分支中，最容易被人们接受的一个技术是人脸识别技术，这是由于相对于其他生物识别技术而言，人脸识别具有无侵害性、非强制性、非接触性和并发性。
人脸识别技术包含两个阶段，第一阶段是特征提取，也就是提取人脸图像中的人脸特征信息，这一阶段直接决定了人脸识别技术的好坏；第二阶段是身份鉴定，根据提取出的特征信息进行个人身份鉴定。主成分分析(PCA)与奇异值分解(SVD)都是较为经典的特征提取方法，但是这两种方法提出的特征向量通常含有负元素，因此在原始样本为非负数据下，这些方法不具有合理性与可解释性。非负矩阵分解(NMF)是一种处理非负数据的特征提取方法，它的应用非常广泛，比如高光谱数据处理、人脸图像识别等。NMF算法在原始样本非负数据矩阵分解过程中，对提取的特征具有非负性限制，即分解后的所有分量都是非负的，因而可以提取非负的稀疏特征。NMF算法的实质也就是将非负矩阵V近似分解为基图像矩阵W和系数矩阵H的乘积，即V≈WH，且W和H都是非负矩阵。这样矩阵V的每一列就可以表示成矩阵W列向量的非负线性组合，这也符合NMF算法的构造依据——对整体的感知是由对组成整体的部分的感知构成的(纯加性)。传统的NMF算法是基于梯度下降法实现的，导致其收敛速度较慢。为了加快NMF算法的收敛速度，有学者提出用共轭梯度法来代替梯度下降法，来优化非负矩阵分解的目标函数。但是，共轭梯度法难以保证分解后的结果具有非负性。为了解决这一问题，有学者提出用投影梯度法直接将结果中出现的负数直接变为0。这样做很大程度上改变了共轭梯度法本身的性质。
相关的技术方案：
1.基于乘性迭代算法的非负矩阵分解(MU-NMF)
在非负矩阵分解中，乘性迭代算法是最常用的方法之一,具有易于实现，效果优良等优点。其算法框图如下：
Figure PCTCN2019083064-appb-000001
2.基于加速乘性迭代算法的非负矩阵分解(AccMU-NMF)
为了提高计算效率，避免重复计算，有学者提出了一种加速乘性迭代算法。
其算法框图如下：
Figure PCTCN2019083064-appb-000002
Figure PCTCN2019083064-appb-000003
3.基于投影非线性共轭梯度法的非负矩阵分解(PNCG-NMF)
无论是乘性迭代算法，还是加速乘性迭代算法，它们都是基于梯度下 降法实现的，会出现一个收敛速度较慢的问题。故有学者提出了基于投影非线性共轭梯度法的非负矩阵分解，其算法框图如下：
Figure PCTCN2019083064-appb-000004
Figure PCTCN2019083064-appb-000005
相关技术的缺点：
1、传统的基于乘性迭代算法的非负矩阵分解(AccMU-NMF)和基于加速乘性迭代算法的非负矩阵分解(AccMU-NMF)都是基于梯度下降法构建的，导致其收敛速度较慢。
2、基于投影非线性共轭梯度法的非负矩阵分解(PNCG-NMF)用到了矩阵的克罗内克积，这大大增加了算法的计算量。
发明内容
本发明提供了一种基于共轭梯度法的人脸图像非负特征表示与识别方法，包括训练步骤，所述训练步骤包括如下步骤：
第一步骤：将训练样本图像转化为训练样本矩阵V，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵V、误差阈值ε和最大迭代次数I max
第二步骤：对基图像矩阵W和系数矩阵H进行初始化；
第三步骤：设置迭代次数n＝0；
第四步骤：根据公式(7)更新基图像矩阵W和系数矩阵H；
第五步骤：使n＝n+1；
第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤；
在第四步骤中，公式(7)如下：
Figure PCTCN2019083064-appb-000006
Figure PCTCN2019083064-appb-000007
在公式(7)中，θ表示步长，P H k-1和P W k-1分别是H和W第k-1步的搜索方向，W k和H k表示W和H的第k次迭代值，ε为给定的较小正数，W表示基图像矩阵，H表示系数矩阵。
作为本发明的进一步改进：该人脸图像非负特征表示与识别方法还包括在训练步骤之后再执行识别步骤，所述识别步骤包括：
第七步骤：计算训练样本中每类的平均特征向量m j(j＝1,…,c)，C为不同人脸类别数，j为第j类的标记数；
第八步骤:输入待识别人脸图像y，计算其特征向量h y＝W +y,其中W +为W的Moore-Penrose逆；
第九步骤:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
第十步骤：输出类别P，从而完成人脸识别。
本发明还提供了一种基于共轭梯度法的人脸图像非负特征表示与识别装置，包括训练模块，所述训练模块包括：
输入模块：用于将训练样本图像转化为训练样本矩阵V，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵V、误差阈值ε和最大迭代次数I max；
初始化模块：用于对基图像矩阵W和系数矩阵H进行初始化；
赋值模块：用于设置迭代次数n＝0；
更新模块：用于根据公式(6)更新基图像矩阵W和系数矩阵H；
计数模块：使n＝n+1；
判断模块：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行更新模块；
在更新模块中，公式(7)如下：
Figure PCTCN2019083064-appb-000008
Figure PCTCN2019083064-appb-000009
在公式(7)中，θ表示步长，P H k-1和P W k-1分别是H和W第k-1步的搜索方向，W k和H k表示W和H的第k次迭代值，ε为给定的较小正数，W表示基图像矩阵，H表示系数矩阵。
作为本发明的进一步改进：该人脸图像非负特征表示与识别装置还包括在训练模块之后再执行识别模块，所述识别模块包括：
平均特征向量计算模块：用于计算训练样本中每类的平均特征向量m j(j＝1,…,c)，j为第j类的标记数，c为不同的人脸类别数；
特征向量计算模块:用于输入待识别人脸图像y，计算其特征向量h y＝W +y,其中W +为W的Moore-Penrose逆，W表示基图像矩阵；
距离计算模块:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
输出模块：用于输出类别P，从而完成人脸识别。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的方法的步骤。
本发明还公开了一种基于共轭梯度法的人脸图像非负特征表示与识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。
本发明的有益效果是：本发明通过利用共轭梯度法替代梯度下降法去求解非负矩阵分解，加快了收敛速度；本发明构建的非负矩阵分解算法在人脸数据库上能得到较为稀疏的基图像，通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本发明开发的方法具有一定的优越性。
附图说明
图1是本发明的算法构造过程流程图；
图2是本发明的方法流程图；
图3是本发明的方法与相关算法(MU-NMF,AccMU-NMF和PNCG-NMF)
的收敛速率比较图；
图4是本发明方法与相关算法(MU-NMF,AccMU-NMF,PNCG-NMF)在Yale人脸数据库上的识别率比较图。
具体实施方式
本发明主要通过对迭代更新公式中步长的限制，从而满足非负性的要求。这样做既保留了共轭梯度法本身的性质，同时使分解有一个较快的收敛速度。我们通过一个巧妙的方法从理论上证明了算法的收敛性，并通过实验验证了算法的有效性。在公开的人脸数据上的实验表明，我们的算法具有更好的人脸识别效果。
本发明的主要目的有：
1.提出了一种新的共轭梯度算法来代替梯度下降法作为非负矩阵分解的优化算法，通过限制每次更新的步长来保证非负性。
2.基于共轭梯度算法，开发出了一种新的具有高识别性能与收敛速度的人脸识别方法。
一.关键词解释：
1.符号说明
X      矩阵
a,b    向量
a·b   向量a与b的内积
X ij    矩阵X的第ij个元素
X T     X的转置
Figure PCTCN2019083064-appb-000010
 矩阵A与B的克罗内克积
A⊙B   矩阵A与B中对应元素的积
Figure PCTCN2019083064-appb-000011
    矩阵A与B中对应元素的商
A d     矩阵A的第d次迭代
2.非负矩阵分解(Non-negative Matrix Factorization，NMF)
NMF的基本思想是将一个非负样本矩阵
Figure PCTCN2019083064-appb-000012
近似分解为两个非负矩阵的乘积，即：
V≈WH,
其中，
Figure PCTCN2019083064-appb-000013
和
Figure PCTCN2019083064-appb-000014
分别被称为基图像矩阵和系数矩阵。并且，通过构建损失函数度量V与WH之间的逼近程度,通常损失函数是基于F-范数被定义的，为：
F(W,H)＝||V-WH|| 2.                     (1)
这里||·||表示F-范数。
3.共轭梯度法(Conjugate Gradient)
共轭梯度法是解大型线性方程组最有用的方法之一，它仅需利用一阶导数信息，克服了梯度下降法收敛慢的缺点。考虑求解线性对称正定方程组Ax＝b，其算法框图如下：
Figure PCTCN2019083064-appb-000015
Figure PCTCN2019083064-appb-000016
二.具体技术方案：
1.基于共轭梯度算法的非负矩阵分解(CG-NMF)
目标函数的构建
考虑非负向量v，固定非负矩阵W，则目标函数可写为：
Figure PCTCN2019083064-appb-000017
求该目标函数的极小值等价于求W TWh-W Tv＝0的解。这是一个线性对称正定方程组，故可以用共轭梯度算法来求解。
我们先初始化h 0，计算残量p 0＝W Tv-W TWh。
下面，我们推导h的迭代公式：
Figure PCTCN2019083064-appb-000018
这里θ∈[0,1]，ε≥0。由于p k中可能含有负数，故我们把它分成两个部分：
Figure PCTCN2019083064-appb-000019
为保证非负性，我们令θh k-α k((p k) -+ε)＝0，则有
Figure PCTCN2019083064-appb-000020
将
Figure PCTCN2019083064-appb-000021
带入h的迭代公式(3)，化解可得：
Figure PCTCN2019083064-appb-000022
搜索方向p k的更新规则如下：
p k+1＝-g k+1+b kp k      (5)
这里-g k+1＝-(W TWh k-W Tv)表示负梯度，
Figure PCTCN2019083064-appb-000023
为保证沿搜索方向，目标函数的值是下降的，我们要求搜索方向p k与负梯度方向-g k的內积p k·(-g k)大于0，即它们的夹角小于90度。
接下来，我们将证明算法的收敛性。为此，首先记
Figure PCTCN2019083064-appb-000024
则由h的迭代公式(4)可以看出h k+1-h k＝θη k，即η k是h k的搜索方向。对于收敛性我们有如下定理：
定理1：固定W，取
Figure PCTCN2019083064-appb-000025
且η k满足η k·(-g k)＞0，则目标函数F(h)在h的迭代公式(4)下是单调非增的。
证明：令Δh＝h k+1-h k＝θη k，由泰勒公式可得：
Figure PCTCN2019083064-appb-000026
移项可得
Figure PCTCN2019083064-appb-000027
又由于
Figure PCTCN2019083064-appb-000028
这里由于η k·(-g k)＞0，可知
Figure PCTCN2019083064-appb-000029
是一个正数。将θ的值带入(6),可得F(h k+1)-F(h k)≤0。故可知目标函数F(h)在迭代公式(4)下是非增的。
综上，我们可得对于非负矩阵分解V＝WH，通过共轭梯度算法求得的迭代公式如下：
Figure PCTCN2019083064-appb-000030
其中，θ表示步长，P H k-1和P W k-1分别是H和W第k-1步的搜索方向。类似定理1，可证目标函数在W的迭代下也是单调不增的。故我们的基于共轭梯度的非负矩阵分解迭代公式(7)是收敛的。
下面是基于共轭梯度算法的非负矩阵分解的算法框图：
Figure PCTCN2019083064-appb-000031
Figure PCTCN2019083064-appb-000032
综上,利用共轭梯度相关知识得到了一种高效的非负矩阵分解算法,运用巧妙的方法证明了本发明算法的收敛性，从理论上保证了算法的合理性。
如图2所示，本发明提供了一种基于共轭梯度法的人脸图像非负特征表示与识别方法，包括训练步骤，所述训练步骤包括如下步骤：
第一步骤：将训练样本图像转化为训练样本矩阵V，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵V、误差阈值ε和最大迭代次数I max；
第二步骤：对基图像矩阵W和系数矩阵H进行初始化；
第三步骤：设置迭代次数n＝0；
第四步骤：根据公式(7)更新基图像矩阵W和系数矩阵H；
第五步骤：使n＝n+1；
第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代 次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤；
在第四步骤中，公式(7)如下：
Figure PCTCN2019083064-appb-000033
Figure PCTCN2019083064-appb-000034
在公式(7)中，θ表示步长，P H k-1和P W k-1分别是H和W第k-1步的搜索方向，W k和H k表示W和H的第k次迭代值，ε为给定的较小正数，W表示基图像矩阵，H表示系数矩阵。
该人脸图像非负特征表示与识别方法还包括在训练步骤之后再执行识别步骤，所述识别步骤包括：
第七步骤：计算训练样本中每类的平均特征向量m j(j＝1,…,c)，j为第j类的标记数，c为不同人脸类别数；
第八步骤:输入待识别人脸图像y，计算其特征向量h y＝W +y,其中W +为W的Moore-Penrose逆，，W表示基图像矩阵；
第九步骤:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
第十步骤：输出类别P，从而完成人脸识别。
输出类别P，表示待识别人脸图像y被识别为第P个人脸类别，所以输出类别P后，人脸识别就完成了。
本发明还提供了一种基于共轭梯度法的人脸图像非负特征表示与识别装置，包括训练模块，所述训练模块包括：
输入模块：用于将训练样本图像转化为训练样本矩阵V，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵V、误差阈值ε和最大迭代次数I max；
初始化模块：用于对基图像矩阵W和系数矩阵H进行初始化；
赋值模块：用于设置迭代次数n＝0；
更新模块：用于根据公式(7)更新基图像矩阵W和系数矩阵H；
计数模块：使n＝n+1；
判断模块：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行更新模块；
在更新模块中，公式(7)如下：
Figure PCTCN2019083064-appb-000035
Figure PCTCN2019083064-appb-000036
在公式(7)中，θ表示步长，P H k-1和P W k-1分别是H和W第k-1步的搜索方向，W k和H k表示W和H的第k次迭代值，ε为给定的较小正数，W表示基图像矩阵，H表示系数矩阵。
该人脸图像非负特征表示与识别装置还包括在训练模块之后再执行识别模块，所述识别模块包括：
平均特征向量计算模块：用于计算训练样本中每类的平均特征向量m j(j＝1,…,c)，j为第j类的标记数，c为不同的人脸类别数；
特征向量计算模块:用于输入待识别人脸图像y，计算其特征向量h y＝W +y,其中W +为W的Moore-Penrose逆，W表示基图像矩阵；
距离计算模块:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
输出模块：用于输出类别P，从而完成人脸识别。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的方法的步骤。
本发明还公开了一种基于共轭梯度法的人脸图像非负特征表示与识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。
我们随机生成了40行30列的非负矩阵，使用基于乘性迭代算法的非负矩阵分解(MU-NMF)，基于加速乘性迭代算法的非负矩阵分解(AccMU-NMF)，基于投影非线性共轭梯度法的非负矩阵分解(PNCG-NMF)和本发明基于共轭梯度法的人脸图像非负特征表示与识别方法(CG-NMF)对其进行分解。这四种算法的收敛速度如图3所示。在公开的数据库上的实验表明，本发明具有更好的识别率，如图4所示。同时，我们将本发明基于共轭梯度法的人脸图像非负特征表示与识别方法(CG-NMF)应用于CBCL数据库中，得到了十分稀疏的基图像。
本发明的有益效果：
1.通过利用共轭梯度法替代梯度下降法去求解非负矩阵分解，加快了收敛速度。
2.本发明所提出的方法的收敛性，不仅在理论上进行了证明，而且在实验中也得到了验证，本发明的方法具有较高的收敛性。
3.通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本发明开发的方法具有一定的优越性。
4.本发明构建的非负矩阵分解算法在人脸数据库上能得到较为稀疏的基图像。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

  1. 一种基于共轭梯度法的人脸图像非负特征表示与识别方法，其特征在于，包括训练步骤，所述训练步骤包括如下步骤：
    第一步骤：将训练样本图像转化为训练样本矩阵V，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵V、误差阈值ε和最大迭代次数I max；
    第二步骤：对基图像矩阵W和系数矩阵H进行初始化；
    第三步骤：设置迭代次数n＝0；
    第四步骤：根据公式(7)更新基图像矩阵W和系数矩阵H；
    第五步骤：使n＝n+1；
    第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤；在第四步骤中，公式(7)如下：
    Figure PCTCN2019083064-appb-100001
    Figure PCTCN2019083064-appb-100002
    在公式(7)中，θ表示步长，P H k-1和P W k-1分别是H和W第k-1步的搜索方向，W k和H k表示W和H的第k次迭代值，ε为给定的较小正数，W表示基图像矩阵，H表示系数矩阵。
  2. 根据权利要求1所述的人脸图像非负特征表示与识别方法，其特征在于，该人脸图像非负特征表示与识别方法还包括在训练步骤之后再执行识别步骤，所述识别步骤包括：
    第七步骤：计算训练样本中每类的平均特征向量m j(j＝1,…,c)，c为不同人脸类别数，j为第j类的标记数；
    第八步骤:输入待识别人脸图像y，计算其特征向量h y＝W +y,其中W +为W的Moore-Penrose逆，W表示基图像矩阵；
    第九步骤:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；
    第十步骤：输出类别P，从而完成人脸识别。
  3. 一种基于共轭梯度法的人脸图像非负特征表示与识别装置，其特征在于，包括训练模块，所述训练模块包括：
    输入模块：用于将训练样本图像转化为训练样本矩阵V，设置误差阈值ε、最大迭代次数I max，并输入训练样本矩阵V、误差阈值ε和最大迭代次数I max；
    初始化模块：用于对基图像矩阵W和系数矩阵H进行初始化；
    赋值模块：用于设置迭代次数n＝0；
    更新模块：用于根据公式(6)更新基图像矩阵W和系数矩阵H；
    计数模块：使n＝n+1；
    判断模块：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数I max，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行更新模块；在更新模块中，公式(7)如下：
    Figure PCTCN2019083064-appb-100003
    Figure PCTCN2019083064-appb-100004
    在公式(7)中，θ表示步长，P H k-1和P W k-1分别是H和W第k-1步的搜索方向，W k和H k表示W和H的第k次迭代值，ε为给定的较小正数，W表示基图像矩阵，H表示系数矩阵。
  4. 根据权利要求3所述的人脸图像非负特征表示与识别装置，其特征在于，该人脸图像非负特征表示与识别装置还包括在训练模块之后再执行识别模 块，所述识别模块包括：
    平均特征向量计算模块：用于计算训练样本中每类的平均特征向量m j(j＝1,…,c)，c为不同的人脸类别数，j为第j类的标记数；
    特征向量计算模块:用于输入待识别人脸图像y，计算其特征向量h y＝W +y,其中W +为W的Moore-Penrose逆，W表示基图像矩阵；
    距离计算模块:计算待识别人脸图像的特征向量h y到每类的平均特征向量m j的距离，若h y与m j的距离最小，则将待识别人脸图像y归于第P类；输出模块：用于输出类别P，从而完成人脸识别。
  5. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-2中任一项所述的方法的步骤。
  6. 一种基于共轭梯度法的人脸图像非负特征表示与识别系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-2中任一项所述的方法的步骤。
PCT/CN2019/083064 2019-04-17 2019-04-17 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质 WO2020211015A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/083064 WO2020211015A1 (zh) 2019-04-17 2019-04-17 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/083064 WO2020211015A1 (zh) 2019-04-17 2019-04-17 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质

Publications (1)

Publication Number Publication Date
WO2020211015A1 true WO2020211015A1 (zh) 2020-10-22

Family

ID=72836788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/083064 WO2020211015A1 (zh) 2019-04-17 2019-04-17 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质

Country Status (1)

Country Link
WO (1) WO2020211015A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416324A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 用于检测活体的方法和装置
US20180307901A1 (en) * 2016-03-30 2018-10-25 Shenzhen University Non-negative matrix factorization face recognition method and system based on kernel machine learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307901A1 (en) * 2016-03-30 2018-10-25 Shenzhen University Non-negative matrix factorization face recognition method and system based on kernel machine learning
CN108416324A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 用于检测活体的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI, CHUNZHI: "Hyper-Spectral Unmixing Algorithms Based on An Anti-Noise Model", CHINA DOCTORAL DISSERTATIONS ELECTRONIC JOURNALS NETWORK, 15 June 2015 (2015-06-15), DOI: 20200106105119Y *
ZHANG, WEI: "Research on New Methods of Nonnegative Matrix Factorization", CHINESE MASTER'S THESES FULL-TEXT ELECTRONIC JOURNALS NETWORK, 15 December 2013 (2013-12-15), DOI: 20200106104916Y *

Similar Documents

Publication Publication Date Title
Gao et al. Tensor-SVD based graph learning for multi-view subspace clustering
Chen et al. Efficient approximation of deep relu networks for functions on low dimensional manifolds
Wang et al. $\ell _ {2, p} $-Norm based PCA for image recognition
Liu et al. $ p $-Laplacian regularization for scene recognition
Chen et al. Graph regularized restricted Boltzmann machine
Yang et al. ℓ 0-sparse subspace clustering
CN110070028B (zh) 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质
WO2018149133A1 (zh) 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统
Wang et al. Subspace distance analysis with application to adaptive Bayesian algorithm for face recognition
Shen et al. Non-negative matrix factorization clustering on multiple manifolds
WO2020082315A2 (zh) 一种非负特征提取及人脸识别应用方法、系统及存储介质
Lai et al. Sparse approximation to the eigensubspace for discrimination
Chen et al. Sparse embedded dictionary learning on face recognition
WO2020010602A1 (zh) 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质
WO2020118708A1 (zh) 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质
CN109508697B (zh) 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质
Zhang et al. Flexible auto-weighted local-coordinate concept factorization: A robust framework for unsupervised clustering
WO2020211611A1 (zh) 用于语言处理的循环神经网络中隐状态的生成方法和装置
WO2021003637A1 (zh) 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质
Song et al. Efficient robust conditional random fields
Zhang et al. Efficient orthogonal non-negative matrix factorization over Stiefel manifold
Ji et al. Angular-similarity-preserving binary signatures for linear subspaces
Li et al. Randomized approximate class-specific kernel spectral regression analysis for large-scale face verification
WO2020211015A1 (zh) 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质
Ziyaden et al. Long-context transformers: A survey

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925243

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21/01/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19925243

Country of ref document: EP

Kind code of ref document: A1