WO2019033261A1 - 基于核非负矩阵分解的人脸识别方法、系统及存储介质 - Google Patents
基于核非负矩阵分解的人脸识别方法、系统及存储介质 Download PDFInfo
- Publication number
- WO2019033261A1 WO2019033261A1 PCT/CN2017/097485 CN2017097485W WO2019033261A1 WO 2019033261 A1 WO2019033261 A1 WO 2019033261A1 CN 2017097485 W CN2017097485 W CN 2017097485W WO 2019033261 A1 WO2019033261 A1 WO 2019033261A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- negative matrix
- kernel
- face recognition
- inner product
- matrix factorization
- Prior art date
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006870 function Effects 0.000 claims description 89
- 238000012360 testing method Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract 1
- 230000036544 posture Effects 0.000 abstract 1
- 238000013507 mapping Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000011478 gradient descent method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Definitions
- the invention belongs to the technical field of face recognition, and relates to a face recognition method, system and storage medium based on nuclear non-negative matrix factorization.
- Face recognition technology is convenient, reliable and safe. It is a generally accepted biometric method and plays a very important role in national security, social economy, family entertainment and other fields.
- NMF Non-negative Matrix Factorization
- Each column vector of the matrix X can be seen as a weighted sum of all column vectors (referred to as base images) in the matrix W, and the weighting coefficients are elements of the corresponding column vectors in the matrix H.
- the base image is some localized features of the face, such as eyes, eyebrows, nose, ears, mouth, etc., and the face image is represented as a weighted combination of these local features. This is consistent with the concept of partial composition. It can be seen that the NMF algorithm is a linear feature extraction method. However, in face recognition, face images are affected by many factors, such as expressions, gestures, illumination, and obscuration. The distribution of face image data is very complicated and often nonlinear.
- the nuclear method is usually used to solve this problem.
- the basic idea of the kernel method is to map linearly indivisible raw sample data to a high-dimensional regenerative kernel Hilbert space (RKHS) through a nonlinear mapping and make the data linearly separable in this space.
- RKHS regenerative kernel Hilbert space
- the non-negative matrix factorization algorithm can also be extended to RKHS using the kernel method to obtain the kernel non-negative matrix factorization algorithm (KNMF), which can solve the nonlinear problem in face recognition.
- KNMF kernel non-negative matrix factorization algorithm
- the basic idea of the KNMF algorithm is to map the non-negative matrix X into the high-dimensional kernel space F through the nonlinear mapping ⁇ , so that the mapped training sample matrix ⁇ (X) can be approximated into the product of two matrices, ie ⁇ (X). ) ⁇ ⁇ (W) H, where W and H are non-negative matrices, referred to as the original image matrix and the coefficient matrix, respectively.
- Experimental results show that the performance of KNMF algorithm is better than NMF algorithm in face recognition.
- KNMF polynomial kernel non-negative matrix factorization
- PKNMF quadratic polynomial kernel non-negative matrix factorization
- PNMF quadratic polynomial kernel non-negative matrix factorization
- PNMF uses the quadratic polynomial kernel function
- PNMF uses the general polynomial kernel function.
- the polynomial kernel function can only be an integer power.
- the Gram matrix generated by the fractional power polynomial function does not necessarily have a semi-positive property, that is, it cannot be guaranteed to be a kernel function.
- KPCA kernel principal component analysis
- the polynomial kernel requires that its number must be an integer, which limits the flexibility of power parameter selection, thus affecting the performance of non-negative matrix decomposition based on polynomial kernel.
- the PKNMF algorithm can not prove the convergence of the algorithm theoretically. The PNMF algorithm only proves its convergence under strong conditions, so the convergence of the polynomial kernel function KNMF algorithm is difficult to guarantee.
- NMF Non-negative matrix factorization
- Polynomial kernel non-negative matrix factorization is a nonlinear face recognition method, but it needs to converge under strong conditions, and the convergence speed is slow.
- the power exponent parameter of a polynomial kernel function can only be an integer. When the power exponent parameter is a fraction, there is no guarantee that it is still a kernel function.
- PNMF quadratic polynomial kernel non-negative matrix factorization
- the main object of the present invention is to provide a face recognition method and system based on nuclear non-negative matrix factorization which can effectively process face image data, has no limitation on power exponential parameters, has fast convergence speed and superior recognition performance. And storage media.
- the present invention provides a face recognition method based on nuclear non-negative matrix factorization, which includes the following steps:
- a fractional-order inner product kernel non-negative matrix factorization algorithm is obtained by combining the fractional inner product kernel function and the kernel non-negative matrix factor;
- Face recognition is performed by the fractional-order inner product kernel non-negative matrix factorization algorithm.
- the method for identifying a face based on nuclear non-negative matrix factorization further includes:
- fractional inner product kernel function is a fractional power inner product kernel function.
- the step of performing face recognition by the fractional-order inner product kernel non-negative matrix factorization algorithm comprises:
- Step 1 represent the sample image as a non-negative column vector, and combine the training sample vectors into a matrix X;
- Step 2 giving the feature number r, the maximum number of iterations I max , the error threshold ⁇ , the initial matrix W and H;
- Step 3 Using the update iteration criterion, update the matrices W and H by means of cross iteration;
- Step 4 If the loss function F(W, H) ⁇ ⁇ or the number of iterations reaches I max , the iteration is ended, and the base image matrix W and the coefficient matrix H are output; otherwise, step 3 is performed.
- the step of performing face recognition by the fractional-order inner product kernel non-negative matrix factorization algorithm comprises:
- Step 5 For the test sample y, calculate its characteristic coefficient h y ;
- Step 7 If Then the test sample y is judged to belong to the p-th class.
- the method for identifying a face based on nuclear non-negative matrix factorization further includes:
- the present invention also provides a face recognition system based on nuclear non-negative matrix factorization, comprising: a memory, a processor, and a computer program stored on the memory, the computer program being configured to be implemented by the processor The steps of the method described.
- the invention further provides a computer readable storage medium storing a computer program configured to implement the steps of the method as described above when invoked by a processor.
- the fractional inner product kernel non-negative matrix factorization algorithm is obtained, which effectively overcomes the changes of posture and illumination in face recognition.
- FIG. 4 are schematic diagrams showing the comparison of the convergence of the algorithm and related algorithm (PNMF, PKNMF) proposed by the present invention
- FIG. 5 is a comparison diagram of the recognition rate of the algorithm and related algorithm (KPCA, PNMF, PKNMF) proposed by the present invention on the FERET face database.
- NMF Non-negative Matrix Factorization
- NMF non-negative sample matrix Approximate decomposition into the product of two non-negative matrices, namely:
- ⁇ be the input space
- k( ⁇ , ⁇ ) is a symmetric function defined on ⁇
- k is the kernel function if and only if it is for any finite data set
- the following Gram matrix K is always semi-positive
- KNMF Kernel Non-negative Matrix Factorization
- KNMF maps the non-negative sample matrix X into a high-dimensional space through a nonlinear mapping ⁇ , so that the mapped sample matrix can be approximated as a non-negative linear combination of the mapped original image, ie ⁇ (X).
- W and H are non-negative matrices, respectively called the original image matrix and the coefficient matrix.
- the present invention constructs a kernel function with no restriction on power exponential parameters, and proposes a new fractional-order kernel non-negative matrix according to the kernel function. Decomposition method. By constructing the auxiliary function of the objective function, the convergence of the algorithm is proved theoretically. The experimental results show that the algorithm has a fast convergence speed and superior recognition performance.
- the present invention provides a face recognition method based on kernel non-negative matrix factorization, which includes the following steps:
- fractional inner product kernel function having an infinite power exponential parameter
- the fractional inner product kernel function is a fractional power inner product kernel function.
- the face recognition method based on nuclear non-negative matrix factorization further includes:
- the step of performing face recognition by the fractional-order inner product kernel non-negative matrix factorization algorithm includes:
- Step 1 represent the sample image as a non-negative column vector, and combine the training sample vectors into a matrix X;
- Step 2 giving the feature number r, the maximum number of iterations I max , the error threshold ⁇ , the initial matrix W and H;
- Step 3 Using the update iteration criterion, update the matrices W and H by means of cross iteration;
- Step 4 If the loss function F(W, H) ⁇ ⁇ or the number of iterations reaches I max , the iteration is ended, and the base image matrix W and the coefficient matrix H are output; otherwise, step 3 is performed.
- the step of performing face recognition by the fractional-order inner product kernel non-negative matrix factorization algorithm comprises:
- Step 5 For the test sample y, calculate its characteristic coefficient h y ;
- Step 7 If Then the test sample y is judged to belong to the p-th class.
- the face recognition method based on nuclear non-negative matrix factorization further includes:
- NNF non-negative matrix factorization algorithm
- KNMF kernel-based non-negative matrix factorization algorithm
- NMF Non-negative matrix factorization algorithm
- NMF non-negative sample matrix composed of n m-pixel face images.
- the NMF algorithm measures the degree of approximation between X and WH by constructing a loss function.
- the loss function based on the Euclidean distance is defined as:
- the NMF algorithm can be transformed into an optimization problem as follows:
- KNMF Kernel-based non-negative matrix factorization algorithm
- K XX ⁇ (X) T ⁇ (X)
- K XW ⁇ (X) T ⁇ (W)
- K WW ⁇ (W) T ⁇ (W).
- Non-negative matrix factorization algorithm based on polynomial kernel PNMF and PKNMF
- PNMF polynomial kernel non-negative matrix factorization algorithm
- B is a diagonal matrix whose diagonal elements are
- the gradient descent method is used to solve the optimization problem (2).
- the update iteration formula of W and H is introduced as follows:
- the solution to the optimization problem (2) can be obtained by updating the W and H by cross-iterative method using the update iteration formula.
- NMF Non-negative matrix factorization
- Polynomial kernel non-negative matrix factorization is a nonlinear face recognition method, but it needs to converge under strong conditions, and the convergence speed is slow.
- the power exponent parameter of a polynomial kernel function can only be an integer. When the power exponent parameter is a fraction, there is no guarantee that it is still a kernel function.
- PNMF quadratic polynomial kernel non-negative matrix factorization
- the invention constructs a kernel function and provides a new face recognition algorithm based on kernel non-negative matrix factorization.
- the main problems solved are:
- the power exponent parameter of a polynomial kernel function can only be a positive integer. When the power parameter is a fraction, it cannot be guaranteed to be a kernel function.
- k is a kernel function.
- y, z ⁇ , d ⁇ R + . y d and z d represent the d power of each element in the vector y, z, respectively.
- k(y, z) is a kernel function.
- question (2) also evolved into two sub-optimization problems, namely:
- the coefficient matrix H is solved by the gradient descent method, which has:
- ⁇ 1 is a step size matrix
- I the gradient of f 1 (H) with respect to H, which can be calculated:
- step size matrix is chosen here:
- Theorem 2 The fixed matrix W, the objective function f 1 (H) is monotonically non-increasing, and the coefficient matrix H in the sub-problem (4) is updated in the following iterative manner:
- the nonlinear generalized exponential gradient descent method using the gradient descent method has:
- ⁇ 2 (w k ) is a step column vector
- the selection step size is:
- Theorem 3 The fixed matrix H, the objective function f 2 (W) is monotonically non-increasing, and the base image matrix W in the sub-problem (5) is updated in the following iterative manner:
- the third formula is normalization, that is, the matrix S is to ensure that the column sum of each column in W is 1.
- theorem 3 is mainly proved, and the proof of theorem 2 is similar to theorem 3.
- G(W, W (t) ) is a helper function of f 2 (W).
- ⁇ (y) in the kernel space For a test sample y, it is mapped to the ⁇ (y) in the kernel space by the nonlinear mapping ⁇ , which can be linearly represented by the column vector of the matrix ⁇ (W) in the kernel space as:
- h y K(w i , y).
- Step 1 Represent the sample image as a non-negative column vector and combine the training sample vectors into a matrix X.
- Step 2 Give the feature number r, the maximum number of iterations I max , the error threshold ⁇ , the initial matrix W and H.
- Step 3 Update the matrices W and H by cross-iterative method using the update iteration criterion (9).
- Step 4 If the loss function F(W, H) ⁇ ⁇ or the number of iterations reaches I max , the iterative output base image matrix W and the coefficient matrix H are ended; otherwise, Step 3.
- Step 5 For the test sample y, calculate its characteristic coefficient h y .
- FIG. 1 is a flowchart of an algorithm testing phase of the present invention
- FIG. 2 is a flowchart of an algorithm training phase of the present invention.
- the present invention has the following technical effects:
- fractional inner product kernel non-negative matrix factorization (FPKNMF) algorithm is obtained, which effectively overcomes the changes of posture and illumination in face recognition.
- FIG. 3 is a schematic diagram of the convergence of the algorithm (Our Method) under different fractional power parameters
- FIG. 4 is a schematic diagram of the convergence of the correlation algorithm (PNMF, PKNMF).
- the FPKNMF algorithm proposed by the present invention has good convergence, and its convergence speed is much faster than the PNMF algorithm and the PKNMF algorithm, wherein the PNMF convergence is the slowest.
- FIG. 5 is a comparison diagram of the recognition rate of the algorithm (Our Method) and related algorithms (KPCA, PNMF, PKNMF) proposed by the present invention on the FERET face database;
- the present invention constructs a more flexible and simple fractional power inner product kernel function, and its power exponent can be not only an integer but also a fraction, which has good regulation for the exponential power parameter.
- the invention proposes a new fractional-order inner product kernel non-negative matrix factorization algorithm with good convergence performance and recognition performance, and theoretically proves its convergence, which ensures the reliability of the algorithm.
- the present invention also provides a face recognition system based on nuclear non-negative matrix factorization, comprising: A memory, a processor, and a computer program stored on the memory, the computer program being configured to implement the steps of the method as described above when invoked by the processor, and details are not described herein.
- the present invention also provides a computer readable storage medium storing a computer program configured to implement the steps of the method as described above when invoked by a processor, and details are not described herein. .
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
Abstract
一种基于核非负矩阵分解的人脸识别方法、系统及存储介质，所述方法包括：构造分数阶内积核函数，所述分数阶内积核函数对幂指数参数无限制；通过分数阶内积核函数和核非负矩阵分解的组合，得到分数阶内积核非负矩阵分解算法；通过分数阶内积核非负矩阵分解算法进行人脸识别。所述方法克服了多项式核函数的幂参数只能为整数的问题，使幂参数的选取更加灵活，有效克服了人脸识别中姿势和光照的变化，具有很快的收敛速度和优越的识别性能。
Description
本发明属于人脸识别技术领域，涉及一种基于核非负矩阵分解的人脸识别方法、系统及存储介质。
随着社会信息化和网络化的快速发展，人脸识别已经成为模式识别与图像处理领域最热门的研究主题之一，也是图像分析与机器视觉的最成功的应用之一。人脸识别技术具有便捷性、可靠性和安全性，是人们比较普遍接受的生物识别方法，且在国家安全、社会经济、家庭娱乐等领域都发挥着非常重要的作用。
在人脸识别技术的快速发展中，有许多人脸识别算法被相继提出，具有代表性的有主成分分析(PCA)、线性判别分析(LDA)、局部保持投影(LPP)、非负矩阵分解(NMF)等。这几种算法都是线性方法，其中NMF算法与其他算法的根本区别是它能保证矩阵元素的非负性。NMF算法的目的是将一个高维的非负矩阵X近似分解为两个低秩的非负矩阵W和H，即X≈WH，其中矩阵W被称为基图像矩阵，矩阵H被称为系数(特征)矩阵。矩阵X的每一列向量都可以看作为对矩阵W中的所有列向量(称为基图像)的加权和，加权系数为矩阵H中对应列向量的元素。如果矩阵X的每一列代表一张人脸图像，那么基图像是人脸的一些局部化特征，比如说眼睛、眉毛、鼻子、耳朵、嘴巴等，人脸图像就表示为这些局部特征的加权组合，这与局部构成整体的概念是相符合的。可以看出，NMF算法是一个线性特征提取方法。但是，在人脸识别中人脸图像会受到很多因素的影响，例如表情、姿势、光照、遮蔽物，人脸图像数据的分布是非常复杂的，往往是非线性的。所以，当用这些线性的方法来处理非线性分布的人脸图像数据时，很难取得比较理想的效果。通常利用核方法解决这一问题。核方法的基本思想是通过某个非线性映射将线性不可分的原始样本数据映射到一个高维的再生核希尔伯特空间(RKHS)，并使数据在此空间中变成线性可分的。然而，在此过程中存在两个问题，一是很难求得此非线性映射的显示表达式；二是RKHS的维数通常很高，甚至可能是
无穷维的。但通常在RKHS中只需要计算非线性映射像之间的内积，如果要直接计算它非常困难的，这时可以利用核技巧来避开这个障碍，用核函数表示该内积，这样就不需要知道非线性映射的解析式和高维核空间的维数。非负矩阵分解算法也可以利用核方法推广到RKHS中得到核非负矩阵分解算法(KNMF)，从而可以解决人脸识别中的非线性问题。KNMF算法的基本思想是通过非线性映射φ将非负矩阵X映射到高维核空间F中，使得映射后的训练样本矩阵φ(X)可以近似分解为两个矩阵的乘积,即φ(X)≈φ(W)H，其中W和H为非负矩阵，分别称原像矩阵和系数矩阵。实验结果表明在人脸识别中KNMF算法的性能要优于NMF算法。
较为经典的KNMF算法有多项式核非负矩阵分解算法(PNMF)和二次多项式核非负矩阵分解算法(PKNMF)，它们都是基于多项式核函数在多项式核空间中被提出的。其中，PKNMF利用的是二次多项式核函数，PNMF利用的是一般多项式核函数。但是多项式核函数只能为整数次幂的，因分数次幂多项式函数生成的Gram矩阵不一定具有半正定性，即不能保证它是一个核函数。然而，有研究表明在人脸识别中基于分数次幂多项式函数模型的核主成分分析(KPCA)算法的性能要优于基于整数次幂的KPCA算法。因此，多项式核要求其次数必须是整数，这限制了对幂参数选取的灵活性，从而影响了基于多项式核的非负矩阵分解的性能。另外，PKNMF算法不能从理论上证明该算法的收敛性，PNMF算法只在很强的条件下证明其收敛性，所以多项式核函数KNMF算法的收敛性难以保证。
由此可知，现有的几种人脸识别算法存在以下缺陷：
1、非负矩阵分解算法(NMF)在人脸识别中是一种经典的线性方法，但它往往不能有效处理由于人脸图像中姿势和光照的变化而呈非线性分布的人脸图像数据。
2、多项式核非负矩阵分解(PNMF)是一种非线性人脸识别方法，但其需要在很强的条件下才收敛，且收敛速度较慢。此外，多项式核函数的幂指数参数只能为整数，当幂指数参数为分数时不能保证它仍是一个核函数。
3、二次多项式核非负矩阵分解(PKNMF)也是一种非线性方法，但不能从理论上证明其迭代算法的收敛性，另外其幂指数是固定的(d＝2)，无法对幂参数进行调节，即它的参数可调控性较差。
发明内容
本发明的主要目的在于提供一种可有效处理人脸图像数据、对幂指数参数没有限制、具有很快的收敛速度和较优越的识别性能的基于核非负矩阵分解的人脸识别方法、系统及存储介质。
为了达到上述目的，本发明提出一种基于核非负矩阵分解的人脸识别方法，包括以下步骤：
构造分数阶内积核函数，所述分数阶内积核函数对幂指数参数无限制；
通过所述分数阶内积核函数和核非负矩阵分解的组合，得到分数阶内积核非负矩阵分解算法；
通过所述分数阶内积核非负矩阵分解算法进行人脸识别。
其中，所述基于核非负矩阵分解的人脸识别方法还包括：
构造目标函数的辅助函数；
利用所述辅助函数证明了所述分数阶内积核非负矩阵分解算法的收敛性。
其中，所述分数阶内积核函数为分数次幂内积核函数。
其中，在训练阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：
步骤1：将样本图像表示为非负列向量，并将训练样本向量组合成矩阵X；
步骤2：给出特征数r、最大迭代次数Imax、误差阈值ε、初始矩阵W和H；
步骤3：利用更新迭代准则，通过交叉迭代的方法更新矩阵W和H；
步骤4：如果损失函数F(W,H)≤ε或者迭代次数达到Imax，则结束迭代，输出基图像矩阵W和系数矩阵H；否则，执行步骤3。
其中，在测试阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：
步骤5：对于测试样本y，计算其特征系数hy；
步骤6：根据系数矩阵H，计算每类的特征系数中心mi(i＝1,…,c)；
步骤7：若
则判决测试样本y属于第p类。
其中，所述基于核非负矩阵分解的人脸识别方法还包括：
比较所述分数阶内积核非负矩阵分解算法相对其它相关算法在预设人脸数据库上的识别率。
本发明还提出一种基于核非负矩阵分解的人脸识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现如上所述的方法的步骤。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现如上所述的方法的步骤。
本发明的有益效果：
1、通过构造了一种更简单的分数阶内积核函数，克服了多项式核函数的幂参数只能为整数的问题，使幂参数的选取更加灵活。
2、通过分数內积核函数和核非负矩阵分解的组合，得到了分数内积核非负矩阵分解算法，有效的克服了人脸识别中姿势和光照的变化。
3、通过利用辅助函数能够证明本发明提出的分数阶内积核非负矩阵分解算法的收敛性，从理论上保证了算法的可靠性。实验也验证了本发明提出的算法具有很快的收敛速度。
4、通过在公开的人脸数据库中进行实验并与其它相关算法进行比较，验证了本发明开发的算法的优越性。
图1为本发明算法测试阶段流程图；
图2为本发明算法训练阶段流程图；
图3和图4为本发明提出的算法与相关算法(PNMF，PKNMF)的收敛性的比较示意图；
图5为本发明提出的算法与相关算法(KPCA，PNMF，PKNMF)在FERET人脸数据库上的识别率比较图。
为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述。
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
术语解释
1、非负矩阵分解(Non-negative Matrix Factorization，NMF)
NMF的基本思想是将一个非负样本矩阵
近似分解为两个非负矩阵的乘积，即：
X≈WH,
其中，
和
分别被称为基图像矩阵和系数(特征)矩阵。
核函数(Kernel Function)
令χ为输入空间，k(·,·)是定义在χ×χ上的对称函数，则k是核函数当且仅当对于任意有限数据集
如下Gram矩阵K总是半正定的，
2、核非负矩阵分解(Kernel Non-negative Matrix Factorization，KNMF)
KNMF的基本思想是通过一个非线性映射φ将非负样本矩阵X映射到高维空间中，使映射后的样本矩阵可近似的表示成映射后原像的非负线性组合，即φ(X)可近似分解成被映射的基图像矩阵φ(W)和系数矩阵H的乘积，即
φ(X)≈φ(W)H,
其中W和H都是非负矩阵，分别称原像矩阵和系数矩阵。
为了克服在人脸识别中基于多项式核的非负矩阵分解算法缺点，本发明构造了一个对幂指数参数没有限制的核函数，并根据此核函数提出了一种新的分数阶核非负矩阵分解方法。通过构造目标函数的辅助函数，从理论上证明了该算法的收敛性；并且从实验上说明了该算法具有很快的收敛速度和较优越的识别性能。
具体地，如图1所示，本发明提出一种基于核非负矩阵分解的人脸识别方法，包括以下步骤：
S1，构造分数阶内积核函数，所述分数阶内积核函数对幂指数参数无限
制；其中，所述分数阶内积核函数为分数次幂内积核函数。
S2，通过所述分数阶内积核函数和核非负矩阵分解的组合，得到分数阶内积核非负矩阵分解算法；
S3，通过所述分数阶内积核非负矩阵分解算法进行人脸识别。
进一步地，所述基于核非负矩阵分解的人脸识别方法还包括：
S4，构造目标函数的辅助函数；
S5，利用所述辅助函数证明了所述分数阶内积核非负矩阵分解算法的收敛性。
在训练阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：
步骤1：将样本图像表示为非负列向量，并将训练样本向量组合成矩阵X；
步骤2：给出特征数r、最大迭代次数Imax、误差阈值ε、初始矩阵W和H；
步骤3：利用更新迭代准则，通过交叉迭代的方法更新矩阵W和H；
步骤4：如果损失函数F(W,H)≤ε或者迭代次数达到Imax，则结束迭代，输出基图像矩阵W和系数矩阵H；否则，执行步骤3。
在测试阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：
步骤5：对于测试样本y，计算其特征系数hy；
步骤6：根据系数矩阵H，计算每类的特征系数中心mi(i＝1,…,c)；
步骤7：若
则判决测试样本y属于第p类。
进一步地，所述基于核非负矩阵分解的人脸识别方法还包括：
比较所述分数阶内积核非负矩阵分解算法相对其它相关算法在预设人脸数据库上的识别率。
以下对本发明实施例方案进行详细阐述：
首先介绍非负矩阵分解算法(NMF)、基于核的非负矩阵分解算法(KNMF)：
1.非负矩阵分解算法(NMF)
设
是由n张m个像素的人脸图像构成的一个非负样本矩阵，NMF的基本思想是将其近似表示为两个非负矩阵的乘积，即：
X≈WH,
其中，
是由基图像wi(i＝1,…,r)组成的基图像矩阵，
是由特征系数hj(j＝1,…,n)组成的系数矩阵。NMF算法通过构建损失函数度量X与WH之间的逼近程度,基于欧式距离的损失函数被定义为：
为了求解矩阵W和H，NMF算法可转化为求如下优化问题：
利用梯度下降法可得到W和H的更新迭代公式为：
其中，符号
和
分别表示两个同阶矩阵相同位置元素之间的乘法和除法。
2.基于核的非负矩阵分解算法(KNMF)
KNMF的基本思想是通过一个非线性映射φ将线性不可分的非负样本矩阵X映射到某高维空间F中，使被映射后的样本在F中线性可分，KNMF近似分解矩阵φ(X)＝[φ(x1),φ(x2),…,φ(xn)]为系数矩阵H和被映射的基图像矩阵φ(W)＝[φ(w1),φ(w2),…,φ(wr)]的乘积，即
φ(X)≈φ(W)H,
其中W和H都是非负矩阵。KNMF的损失函数被定义为：
由于空间F的维数可能很高，甚至有可能是无限维的，因此直接计算φ(y)Tφ(z)通常是很困难的。为了克服该障碍，可以利用核技巧，即使用核函数表示两个被映射后的样本的内积：
k(y,z)＝<φ(y),φ(z)>＝φ(y)Tφ(z),
其中y,z属于样本空间。这样，KNMF的损失函数就可转化为：
其中KXX＝φ(X)Tφ(X)、KXW＝φ(X)Tφ(W)、KWW＝φ(W)Tφ(W)。
KNMF需要解决的优化问题为：
基于多项式核的非负矩阵分解算法(PNMF和PKNMF)
多项式核被定义为：k(y,z)＝(yTz)d，其中d∈N+为多项式次数。
多项式核非负矩阵分解算法(PNMF)是根据多项式核求解优化问题(2)，得到W和H的更新迭代公式为：
其中
B是一个对角矩阵，其对角元素为
二次多项式核非负矩阵分解算法(PKNMF)是根据多项式核的幂参数d＝2时，利用梯度下降法求解优化问题(2)，推出W和H的更新迭代公式为:
利用更新迭代公式通过交叉迭代的方式更新W和H便可得到优化问题(2)的解。
现有的相关技术缺点在于：
1、非负矩阵分解算法(NMF)在人脸识别中是一种经典的线性方法，但它往往不能有效处理由于人脸图像中姿势和光照的变化而呈非线性分布的人脸图像数据。
2、多项式核非负矩阵分解(PNMF)是一种非线性人脸识别方法，但其需要在很强的条件下才收敛，且收敛速度较慢。此外，多项式核函数的幂指数参数只能为整数，当幂指数参数为分数时不能保证它仍是一个核函数。
3、二次多项式核非负矩阵分解(PKNMF)也是一种非线性方法，但不能从理论上证明其迭代算法的收敛性，另外其幂指数是固定的(d＝2)，无法对幂参数进行调节，即它的参数可调控性较差。
本发明构造了一种核函数并提供了一种新的基于核非负矩阵分解的人脸识别算法。主要解决的问题有：
幂指数参数问题：多项式核函数的幂指数参数只能为正整数，当幂参数为分数时不能保证其仍是一个核函数。
收敛性问题：目前存在的核非负矩阵分解算法大多数都存在收敛速度较慢的问题或者缺少严格的收敛性证明。
本发明具体方案如下：
1、一种新的分数阶核函数的构造
定理1：若函数k被定义在χ×χ空间上，它的解析式为：
那么，k是一个核函数。其中y,z∈χ，d∈R+。yd、zd分别表示向量y、z中每个元素的d次幂。
证明：由函数k的解析式可以很明显的看出，k(y,z)＝k(z,y)，k是一个对称函数。
设
为任意的有限数据集，矩阵Y＝[y1,y2,…,yn]，则Gram矩阵KYY＝(Yd)TYd，其中
且对于任意的α∈Rn，有
αTKYYα＝αT(Yd)TYdα＝||Ydα||2≥0
则，Gram矩阵具有半正定性。因此，k(y,z)是一个核函数。
我们将这个核函数称为分数次幂内积核函数(FPK)。
2、新FPKNMF的提出
为了利用新构造的分数次幂内积核函数求解问题(2)中的两个未知非负矩阵W和H，我们将损失函数转化为两个目标函数，分别为：
f1(H)＝Fφ(W,H),其中W固定，
f2(W)＝Fφ(W,H),其中H固定.(3)
则，问题(2)也演变成了两个子优化问题，分别为：
minf1(H)s.t.H≥0，(4)
minf2(W)s.t.W≥0.(5)
2.1对特征矩阵H的学习
对于子问题(4)，采用梯度下降法对系数矩阵H进行求解，有：
其中ρ1是步长矩阵，
是f1(H)关于H的梯度，可以计算得：
为了保证H的非负性，在此选择步长矩阵为：
将选择的步长矩阵ρ1代入(6)式可以得到H的更新迭代公式，且有以下定理2。
定理2：固定矩阵W，目标函数f1(H)是单调非增的，当子问题(4)中的系数矩阵H按以下迭代方式更新：
2.2对基图像矩阵W的学习
对于子问题(5)，固定矩阵H，对基图像矩阵W进行学习。令
目标函数f2(W)可转化为：
利用梯度下降法的非线性推广指数梯度下降法，有：
其中ρ2(wk)是一个步长列向量，
是f2(W)关于φ(wk)的梯度，
为了保证wk与φ(wk)的非负性，选择步长为：
将ρ2(wk)与
代入公式(7)中，可得到φ(wk)的更新迭代公式为：
则由
可得到wk的更新迭代公式为：
将其写成矩阵形式可得到W的更新迭代公式(8)，且有以下定理3。
定理3：固定矩阵H，目标函数f2(W)是单调非增的，当子问题(5)中的基图像矩阵W按以下迭代方式更新：
其中Xd、W(t)d代表矩阵X、W(t)中的每个元素的d次幂，()1/d代表矩阵中的每个元素的1/d次幂。
综上所述，通过定理1和定理2，可以得到本发明提出的分数次幂内积核非负矩阵分解(FPKNMF)的更新迭代公式，为：
其中第3个公式为标准化，即矩阵S是保证W中每列的列和为1。
3、收敛性证明
在本发明中主要证明定理3，定理2的证明与定理3相似。
定义1：对于任意的矩阵W和W(t)，若不等式G(W,W(t))≥f(W)恒成立，且G(W(t),W(t))＝f(W(t))，则称G(W,W(t))为函数f(W)的一个辅助函数。
引理1：如果G(W,W(t))是f(W)的一个辅助函数，那么f(W)在如下的更新法则下是单调不增的，
定理4：若G(W,W(t))定义为
那么，它是目标函数f2(W)的一个辅助函数。
证明：由公式(1)、(3)和构建的FPK核函数有：
则，
可以很明显的看出，当W＝W(t)时，G(W(t),W(t))＝f2(W(t))。又因为，
可得，G(W,W(t))-f2(W)≥0。综上所述，G(W,W(t))是f2(W)的辅助函数。
设矩阵W的第k列wk未知，其他列都是已知的，对辅助函数G(W,W(t))关于wk求导，可得，
为了求得G(W,W(t))的最小值，令其导数为0，有：
至此，定理3得证，这表明在更新迭代公式(8)下，目标函数f2(W)是单调非增的。
4.特征提取
对于一个测试样本y，通过非线性映射φ将其映射到核空间中为φ(y)，可以被核空间中矩阵φ(W)的列向量线性表出，为：
φ(y)＝φ(W)hy，
其中hy为测试样本y在核空间的系数特征向量。利用核技巧，上式可以变换为：
其中KWy为一个列向量(KWy)i＝K(wi,y)。对于向量hy的求解，有以下两种
方法：
方法一：利用矩阵KWW的广义逆，则
方法二：将其转化为非负矩阵分解问题，保持KWy＝KWWhy中的KWy和KWW不变，根据非负矩阵分解法的更新迭代公式更新hy：
综上所述，本发明的人脸识别算法具体步骤如下：
训练阶段：
Step 1:将样本图像表示为非负列向量，并将训练样本向量组合成矩阵X.
Step 2:给出特征数r、最大迭代次数Imax、误差阈值ε、初始矩阵W和H.
Step 3:利用更新迭代准则(9)，通过交叉迭代的方法更新矩阵W和H.
Step 4:如果损失函数F(W,H)≤ε或者迭代次数达到Imax，就结束迭代输出基图像矩阵W和系数矩阵H；否则，执行Step 3.
测试阶段：
Step 5:对于测试样本y，计算其特征系数hy.
Step 6:根据系数矩阵H，计算每类的特征系数中心mi(i＝1,…,c).
Step 7:若p＝argimin||hy-mi||F，则认为测试样本y属于第p类.
本发明的人脸识别算法的流程图如图1及图2所示：图1为本发明算法测试阶段流程图；图2为本发明算法训练阶段流程图。
相比现有技术，本发明具有如下技术效果：
1、通过构造了一种更简单的分数阶内积核函数，克服了多项式核函数的幂参数只能为整数的问题，使幂参数的选取更加灵活。
2、通过分数內积核函数和核非负矩阵分解的组合，得到了分数内积核非负矩阵分解(FPKNMF)算法，有效的克服了人脸识别中姿势和光照的变化。
3、通过利用辅助函数能够证明本发明提出的分数阶内积核非负矩阵分解算法的收敛性，从理论上保证了算法的可靠性。实验也验证了本发明提出的算法具有很快的收敛速度。
4、通过在公开的人脸数据库中进行实验并与相关算法进行比较，验证了本发明开发的算法的优越性。
实验效果
收敛性的比较
如图3及图4所示，图3为本发明提出的算法(Our Method)在不同分数阶幂参数下的收敛性示意图，图4是相关算法(PNMF，PKNMF)的收敛性示意图。
由图3及图4可以看出，本发明提出的FPKNMF算法具有很好的收敛性，其收敛速度比PNMF算法和PKNMF算法快很多，其中PNMF收敛最慢。
识别性能的比较
表1本发明提出的算法(Our Method)与相关算法(KPCA，PNMF，PKNMF)在FERET人脸数据库上的识别率(％)比较(TN表示每一类的训练样本数)
| TN | 2 | 3 | 4 | 5 |
| KPCA | 37.21 | 41.31 | 44.17 | 45.08 |
| PNMF | 50.48 | 54.72 | 59.08 | 60.83 |
| PKNMF | 54.25 | 63.83 | 68.46 | 71.33 |
| Our Method | 71.06 | 78.25 | 81.96 | 84.75 |
如图5所示，图5为本发明提出的算法(Our Method)与相关算法(KPCA，PNMF，PKNMF)在FERET人脸数据库上的识别率比较图；
本实验是在公开的FERET数据库中进行的，由表1和图5可以很明显的看出，本发明提出的FPKNMF算法的识别性能要优于KPCA、PNMF和PKNMF。
相比现有技术，本发明构造了一种更加灵活简单的分数阶幂内积核函数，其幂指数不仅可以是整数，还可以是分数，这对于指数幂参数具有很好的调控性。
本发明提出了一种新的具有很好收敛性能和识别性能的分数阶内积核非负矩阵分解算法，而且从理论上证明了其收敛性，这保证了算法的可靠性。
此外，本发明还提出一种基于核非负矩阵分解的人脸识别系统，包括：
存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现如上所述的方法的步骤，在此不再赘述。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现如上所述方法的步骤，在此不再赘述。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
- 一种基于核非负矩阵分解的人脸识别方法，其特征在于，包括以下步骤：构造分数阶内积核函数，所述分数阶内积核函数对幂指数参数无限制；通过所述分数阶内积核函数和核非负矩阵分解的组合，得到分数阶内积核非负矩阵分解算法；通过所述分数阶内积核非负矩阵分解算法进行人脸识别。
- 根据权利要求1所述的基于核非负矩阵分解的人脸识别方法，其特征在于，所述基于核非负矩阵分解的人脸识别方法还包括：构造目标函数的辅助函数；利用所述辅助函数从理论上证明了所述分数阶内积核非负矩阵分解算法的收敛性。
- 根据权利要求1所述的基于核非负矩阵分解的人脸识别方法，其特征在于，所述分数阶内积核函数为分数次幂内积核函数。
- 根据权利要求3所述的基于核非负矩阵分解的人脸识别方法，其特征在于，在训练阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：步骤1：将样本图像表示为非负列向量，并将训练样本向量组合成矩阵X；步骤2：给出特征数r、最大迭代次数Imax、误差阈值ε、初始矩阵W和H；步骤3：利用更新迭代准则，通过交叉迭代的方法更新矩阵W和H；步骤4：如果损失函数F(W,H)≤ε或者迭代次数达到Imax，则结束迭代，输出基图像矩阵W和系数矩阵H；否则，执行步骤3。
- 根据权利要求4所述的基于核非负矩阵分解的人脸识别方法，其特征在于，在测试阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：步骤5：对于测试样本y，计算其特征系数hy；步骤6：根据系数矩阵H，计算每类的特征系数中心mi(i＝1,…,c)；步骤7：若则判决测试样本y属于第p类。
- 根据权利要求1-5中任一项所述的基于核非负矩阵分解的人脸识别方法，其特征在于，所述基于核非负矩阵分解的人脸识别方法还包括：比较所述分数阶内积核非负矩阵分解算法相对其它相关算法在预设人脸数据库上的识别率。
- 一种基于核非负矩阵分解的人脸识别系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-6中任一项所述的方法的步骤。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/097485 WO2019033261A1 (zh) | 2017-08-15 | 2017-08-15 | 基于核非负矩阵分解的人脸识别方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/097485 WO2019033261A1 (zh) | 2017-08-15 | 2017-08-15 | 基于核非负矩阵分解的人脸识别方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019033261A1 true WO2019033261A1 (zh) | 2019-02-21 |
Family
ID=65361691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2017/097485 WO2019033261A1 (zh) | 2017-08-15 | 2017-08-15 | 基于核非负矩阵分解的人脸识别方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2019033261A1 (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739555A (zh) * | 2009-12-01 | 2010-06-16 | 北京中星微电子有限公司 | 假脸检测方法及系统、假脸模型训练方法及系统 |
| US20120041906A1 (en) * | 2010-08-11 | 2012-02-16 | Huh Seung-Il | Supervised Nonnegative Matrix Factorization |
| CN105893954A (zh) * | 2016-03-30 | 2016-08-24 | 深圳大学 | 一种基于核机器学习的非负矩阵分解人脸识别方法及系统 |
| CN106897685A (zh) * | 2017-02-17 | 2017-06-27 | 深圳大学 | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 |
-
2017
- 2017-08-15 WO PCT/CN2017/097485 patent/WO2019033261A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739555A (zh) * | 2009-12-01 | 2010-06-16 | 北京中星微电子有限公司 | 假脸检测方法及系统、假脸模型训练方法及系统 |
| US20120041906A1 (en) * | 2010-08-11 | 2012-02-16 | Huh Seung-Il | Supervised Nonnegative Matrix Factorization |
| CN105893954A (zh) * | 2016-03-30 | 2016-08-24 | 深圳大学 | 一种基于核机器学习的非负矩阵分解人脸识别方法及系统 |
| CN106897685A (zh) * | 2017-02-17 | 2017-06-27 | 深圳大学 | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yi et al. | Joint graph optimization and projection learning for dimensionality reduction | |
| CN107480636B (zh) | 基于核非负矩阵分解的人脸识别方法、系统及存储介质 | |
| Wang et al. | Multiple graph regularized nonnegative matrix factorization | |
| He et al. | Robust principal component analysis based on maximum correntropy criterion | |
| US20200027012A1 (en) | Systems and methods for bayesian optimization using non-linear mapping of input | |
| WO2018149133A1 (zh) | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 | |
| Wang et al. | Parametric local metric learning for nearest neighbor classification | |
| Jain et al. | Simultaneous unsupervised learning of disparate clusterings | |
| Fang et al. | Locality and similarity preserving embedding for feature selection | |
| Wu et al. | Multi-feature kernel discriminant dictionary learning for face recognition | |
| Wu et al. | Manifold kernel sparse representation of symmetric positive-definite matrices and its applications | |
| Peng et al. | Space–frequency domain based joint dictionary learning and collaborative representation for face recognition | |
| WO2021003637A1 (zh) | 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质 | |
| Cheng et al. | A novel low-rank hypergraph feature selection for multi-view classification | |
| WO2024022082A1 (zh) | 信息分类的方法、装置、设备和介质 | |
| Zhao et al. | Soft label based linear discriminant analysis for image recognition and retrieval | |
| CN109978064A (zh) | 基于图像集的李群字典学习分类方法 | |
| Shen et al. | Another robust NMF: Rethinking the hyperbolic tangent function and locality constraint | |
| Müller et al. | Orthogonal wasserstein gans | |
| CN109657693B (zh) | 一种基于相关熵和迁移学习的分类方法 | |
| CN109815440B (zh) | 联合图优化和投影学习的维数约简方法 | |
| CN108009570A (zh) | 一种基于核正负标签传播的数据分类方法及系统 | |
| Alquier et al. | Transductive versions of the LASSO and the Dantzig Selector | |
| Theodorakopoulos et al. | Local manifold distance based on neighborhood graph reordering | |
| WO2019033261A1 (zh) | 基于核非负矩阵分解的人脸识别方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17922030 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25/09/2020) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17922030 Country of ref document: EP Kind code of ref document: A1 |