WO2022267956A1 - 基于矩阵分解和多划分对齐的多视图聚类方法及系统 - Google Patents

基于矩阵分解和多划分对齐的多视图聚类方法及系统 Download PDF

Info

Publication number
WO2022267956A1
WO2022267956A1 PCT/CN2022/098951 CN2022098951W WO2022267956A1 WO 2022267956 A1 WO2022267956 A1 WO 2022267956A1 CN 2022098951 W CN2022098951 W CN 2022098951W WO 2022267956 A1 WO2022267956 A1 WO 2022267956A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
view
partition
clustering
expressed
Prior art date
Application number
PCT/CN2022/098951
Other languages
English (en)
French (fr)
Inventor
朱信忠
徐慧英
李苗苗
涂文轩
张晨
李洪波
殷建平
赵建民
Original Assignee
浙江师范大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浙江师范大学 filed Critical 浙江师范大学
Priority to US18/275,814 priority Critical patent/US20240111829A1/en
Publication of WO2022267956A1 publication Critical patent/WO2022267956A1/zh
Priority to ZA2023/10985A priority patent/ZA202310985B/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present application relates to the technical field of unsupervised clustering, in particular to a multi-view clustering method and system based on matrix decomposition and multi-partition alignment.
  • Multi-view data refers to the same batch of samples from different sources, or a large amount of data described by different attributes. For example, an item can be represented by a picture and a short text description; a person can be identified from the face, voice, fingerprint, and pupil. Based on a large amount of unlabeled multi-view data, multi-view clustering has been developed and attracted great attention. Existing multi-view clustering algorithms can be further classified into four categories based on model-based differences: co-training, multi-kernel learning, graph clustering, and subspace clustering. For the above four methods, the basic idea of early fusion can be used for view fusion. The main idea of early fusion is to fuse the feature representations or graph structures of multiple views into a common representation or a common graph structure.
  • graph-based clustering methods construct sample similarity under each view, and then fuse these graphs through a random walk strategy.
  • Multi-kernel learning methods fuse multiple base kernels through linear or nonlinear combinations to obtain the best clustering kernel.
  • the purpose of subspace clustering is to find a suitable low-dimensional representation or structure for each view, and then fuse them into a common representation or structure containing rich information for clustering.
  • the method is to fuse the clustering results of a single view, also known as decision-level fusion. Late fusion can be divided into ensemble learning and collaborative training.
  • the input of the ensemble clustering algorithm is the clustering results corresponding to multiple views.
  • the clustering result is obtained by defining the distance between the final clustering result and the input clustering result as a common loss function.
  • the focus of collaborative training is how to obtain better clustering results in collaborative training. Multiple clustering results are obtained by spectral embedding for each view, and the obtained clustering results are used to influence the original representations of other views.
  • late fusion is applied to multi-core k-means clustering, which reduces the complexity and time cost of the algorithm.
  • NMF is widely used for clustering because of its ability to handle basic representations that capture different viewpoints. Some works reduce redundancy among different view representations by defining diversity. Furthermore, both cross-entropy cost function and neighbor information are introduced to guide the learning process. Although NMF can solve high-dimensional problems very well. But it seems to be powerless in capturing the internal structure of the data, so subsequent work has achieved the purpose of preserving the local geometric structure of the data space by adding graph regularization terms and popular regularization terms. In order to reduce the influence of outliers, the norm of manifold regularization must be introduced in the work. With the development of research, the information extracted by single-layer NMF clustering often cannot meet our needs for data information mining.
  • a deep semi-NMF model is proposed in the prior art to explore complex hierarchical information with implicit low-level hidden properties. Influenced by deep semi-NMF, the model DMVC learns the common low-dimensional representation that contains deep information through the guidance of the original data structure. Recently, a method for multi-view clustering via deep NMF methods has also been proposed to automatically learn the optimal weights for each view.
  • the purpose of this application is to provide a multi-view clustering method and system based on matrix decomposition and multi-partition alignment to address the shortcomings of the prior art.
  • Multi-view clustering methods based on matrix factorization and multi-partition alignment including:
  • step S4 construct the objective function corresponding to the partition matrix after unity, expressed as:
  • ⁇ (v) represents the weight for the vth view
  • X (v) represents the feature matrix of the vth view
  • ⁇ represents a balance coefficient of division learning and fusion learning
  • W (v) and H respectively represent the basic partition matrix, column alignment matrix, and partition matrix after consistent fusion of the vth view
  • ⁇ (v) represents the weight of the basic partition corresponding to the vth view in the later fusion process
  • H T Represents the transpose of H
  • W (v)T represents the transpose of W (v) .
  • step S5 an alternate optimization method is used to optimize the constructed objective function, specifically including:
  • f T [f 1 ,f 2 ,...,f V ], represents the collection of traces of different view similarity matrices; Denotes the trace of the similarity matrix for the vth view.
  • steps A1, A2, A3, A4, and A5 all further include: obtaining optimized results through SVD decomposition.
  • step A4 also includes:
  • ⁇ u (ZHW) represents a function about Z, H, W, which is used as the numerator of the formula
  • ⁇ l (ZHW) represents a function about Z, H, W, which is used as the denominator of the formula.
  • step A6 also includes:
  • R (v) denotes the reconstruction loss for the vth view.
  • step A7 also includes:
  • f denotes the collection of traces of different view similarity matrices.
  • a multi-view clustering system based on matrix decomposition and multi-partition alignment including:
  • Obtaining module used for obtaining clustering tasks and target data samples
  • the decomposition module is used to decompose the multi-view data corresponding to the obtained clustering task and the target data sample through a multi-layer matrix to obtain the basic division matrix of each view;
  • the fusion module is used to fuse and align the obtained basic partition matrices of each view by column transformation, so as to obtain a partition matrix after consistent fusion;
  • An optimization module is used to optimize the constructed objective function by an alternate optimization method to obtain an optimized unified partition matrix
  • the clustering module is used to perform spectral clustering on the obtained optimized unified partition matrix to obtain the final clustering result.
  • ⁇ (v) represents the weight for the vth view
  • X (v) represents the feature matrix of the vth view
  • ⁇ represents the balance coefficient of division learning and fusion learning
  • W (v) and H respectively represent the basic partition matrix, column alignment matrix, and partition matrix after consistent fusion of the vth view
  • ⁇ (v) represents the weight of the basic partition corresponding to the vth view in the later fusion process
  • H T Represents the transpose of H
  • W (v)T represents the transpose of W (v) .
  • an alternate optimization method is used to optimize the constructed objective function, specifically including:
  • f T [f 1 ,f 2 ,...,f V ], represents the reconstruction loss of the vth view; Denotes the trace of the similarity matrix for the vth view.
  • this application proposes a novel traditional clustering method based on deep matrix factorization and partition alignment, which includes the optimization objective of the basic partition learning module and the multi-partition fusion module.
  • a large number of ablation experiments can show that the multi-partition fusion module added in this application can help better fusion of information between views and as the number of layers increases, more abundant information can be obtained.
  • Experimental results on six public datasets demonstrate that the performance of our application outperforms that of existing methods.
  • FIG. 1 is a flowchart of a multi-view clustering method based on matrix decomposition and multi-partition alignment provided in Embodiment 1;
  • Fig. 2 is a schematic diagram of the MVC-DMF-MPA framework provided by Embodiment 1.
  • the purpose of this application is to solve the problem that the current traditional clustering method based on matrix decomposition only considers the common information between views and ignores the specific information of the view, resulting in insufficient representation learning and possible noise in the early fusion, resulting in inaccurate learning results
  • a multi-view clustering method and system based on matrix decomposition and multi-partition alignment is provided.
  • the basic partition matrix of each view is obtained through deep semi-non-negative matrix decomposition, and then the matrix after column selection is performed on these basic partition matrices After combining to obtain the fused partition matrix, the common partition matrix is approximated to the fused partition matrix. Alternate optimization via basis partitioning matrix and late fusion process. Finally, k-means clustering is performed using public partitions to achieve the purpose of clustering.
  • This embodiment provides a multi-view clustering method based on matrix decomposition and multi-partition alignment, as shown in Figure 1, including:
  • the present embodiment provides a kind of unsupervised traditional clustering method based on matrix decomposition and late fusion, as shown in Figure 2, this method mainly is made up of two parts, namely basic division matrix learning module (multi-layer semi-non-negative matrix decomposition) and later fusion.
  • step S4 the obtained basic partition matrices of each view and the uniformly fused partition matrix are unified, and an objective function corresponding to the unified partition matrix is constructed.
  • the division level that is, decision-level fusion
  • the partition matrix Hi of different views and the consistent fused partition matrix H are learned.
  • the objective function is expressed as:
  • ⁇ (v) represents the weight for the vth view
  • X (v) represents the feature matrix of the vth view
  • ⁇ represents the balance coefficient of division learning and fusion learning
  • W (v) and H respectively represent the basic partition matrix, column alignment matrix, and partition matrix after consistent fusion of the vth view
  • ⁇ (v) represents the weight of the basic partition corresponding to the vth view in the later fusion process
  • H T Represents the transpose of H
  • W (v)T represents the transpose of W (v) .
  • F represents the F norm.
  • the above formula obtains the division of each view through deep non-negative matrix decomposition.
  • the division of each view is selected by columns to approximate a unified division matrix, and finally the unified division matrix is used for clustering.
  • step S5 an alternate optimization method is used to optimize the constructed objective function to obtain an optimized unified partition matrix.
  • tr() represents trace; Indicates the fused partition matrix; U can be directly decomposed by SVD to obtain the optimized H.
  • [] + indicates the positive value part
  • [] - indicates the negative value part
  • ⁇ u (ZHW) indicates a function about Z, H, W, as a molecule of the formula
  • ⁇ l (ZHW) indicates about Z, H, A function of W that acts as the denominator of the formula.
  • R (v) denotes the reconstruction loss for the vth view
  • f T [f 1 ,f 2 ,...,f V ], represents the collection of traces of different view similarity matrices; Denotes the trace of the similarity matrix for the vth view. According to Cauchy's inequality, the closed-form solution for updating ⁇ is obtained, expressed as:
  • the objective function value decreases monotonically with the alternate execution of the above-mentioned step-by-step optimization.
  • the objective function has a lower bound. Therefore, the above optimization procedure is guaranteed to converge.
  • a multi-view clustering algorithm based on non-negative matrix factorization and multi-partition alignment is proposed, which unifies the clustering process and fusion process in one framework. The learning of a consistent partition matrix is more suitable for clustering, so that the algorithm can achieve a better clustering effect.
  • a multi-view clustering method with deep half-NMF and multi-partition alignment is proposed. Unifying base partition learning and late fusion stages into a single framework. Make it possible to promote each other and guide each other to obtain the final common partition matrix for clustering.
  • This embodiment proposes a novel traditional clustering method based on deep matrix decomposition and partition alignment, which includes the optimization objectives of the basic partition learning module and the multi-partition fusion module.
  • a large number of ablation experiments can show that the multi-division fusion module added in this embodiment is helpful for better fusion of information between views and more abundant information can be obtained as the number of layers increases.
  • a multi-view clustering system based on matrix decomposition and multi-partition alignment including:
  • Obtaining module used for obtaining clustering tasks and target data samples
  • the decomposition module is used to decompose the multi-view data corresponding to the obtained clustering task and the target data sample through a multi-layer matrix to obtain the basic division matrix of each view;
  • the fusion module is used to fuse and align the obtained basic partition matrices of each view by column transformation, so as to obtain a partition matrix after consistent fusion;
  • An optimization module is used to optimize the constructed objective function by an alternate optimization method to obtain an optimized unified partition matrix
  • the clustering module is used to perform spectral clustering on the obtained optimized unified partition matrix to obtain a final clustering result.
  • ⁇ (v) represents the weight for the vth view
  • X (v) represents the feature matrix of the vth view
  • ⁇ represents the balance coefficient of division learning and fusion learning
  • W (v) and H respectively represent the basic partition matrix, column alignment matrix, and partition matrix after consistent fusion of the vth view
  • ⁇ (v) represents the weight of the basic partition corresponding to the vth view in the later fusion process
  • H T Represents the transpose of H
  • W (v)T represents the transpose of W (v) .
  • an alternate optimization method is used to optimize the constructed objective function, specifically including:
  • f T [f 1 ,f 2 ,...,f V ], represents the collection of traces of different view similarity matrices
  • This embodiment can be applied to image datasets or non-image datasets.
  • Image datasets can include face images, images during logistics and transportation, medical images, etc.; non-image datasets include text datasets, etc.
  • BBCSport This dataset is of text type and contains 544 pieces of text data distributed in 5 categories. There are 2 views, each with dimensions 3183 and 3203.
  • MSRCV1 This dataset belongs to the image type and contains 210 pieces of text data distributed in 3 categories. There are 5 views in total, and the dimensions of each view are 1302, 512, 100, 256, and 210 respectively.
  • ORL This dataset is of image type and contains 400 images distributed in 40 categories. There are 3 views in total, and the dimensions of each view are 4096, 3304, and 6750 respectively.
  • Reuters This dataset is of text type and contains 1200 pieces of text data distributed in 6 categories. There are 5 views in total, and the dimensions of each view are 2000, 2000, 2000, 2000, and 2000 respectively.
  • HW This dataset is of image type and contains 2000 images distributed in 10 categories. There are 2 views, each with dimensions 240 and 216.
  • the method is compared with 12 benchmark algorithms.
  • the comparison algorithms include k-means, which splices view features as input, a kernel-based method MVKKM, a graph-based method GMC, two subspace-based PMSC and CSMVSC, two collaborative training methods Co-train and Co- reg and five matrix factorization-based models MultiNMF, MVCF, ScaMVC, DMVC, and AwDMVC.
  • data preprocessing is performed first, that is, all datasets are normalized.
  • the weighting coefficient ⁇ is selected from [2-12, 2-11, ... 24, 25].
  • l1 in p2 is selected from [4k, 5k, 6k]
  • l1 and l2 in p3 are selected from [8k, 10k, 12k] and [4k, 5k, 6k] respectively.
  • This method adopts three evaluation indicators recognized in the field of traditional clustering algorithms: clustering accuracy (ACC), normalized mutual information (NMI) and purity (PUR).
  • clustering accuracy ACC
  • normalized mutual information NMI
  • purity PUR

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

一种基于矩阵分解和多划分对齐的多视图聚类方法及系统。该方法包括：S1.获取聚类任务和目标数据样本；S2.对获取的聚类任务和目标数据样本相对应的多视图数据通过多层矩阵进行分解，得到各个视图的基础划分矩阵；S3.利用列变换将得到的各个视图的基础划分矩阵进行融合对齐，得到一致融合后的划分矩阵；S4.将得到的各个视图的基础划分矩阵以及一致融合后的划分矩阵进行统一，并构建统一后划分矩阵相对应的目标函数；S5.采用交替优化方法优化构建的目标函数，得到优化后的统一划分矩阵；S6.对得到的优化后的统一划分矩阵进行谱聚类，得到最终的聚类结果。

Description

基于矩阵分解和多划分对齐的多视图聚类方法及系统 技术领域
本申请涉及无监督聚类技术领域，尤其涉及基于矩阵分解和多划分对齐的多视图聚类方法及系统。
背景技术
多视图数据是指同一批样本不同来源，或用不同的属性进行描述的大量数据。例如，一个物品可以用图片和简短的文字描述来进行表示；可以从人脸、声音、指纹以及瞳孔对人进行识别。基于大量的无标签的多视图数据，多视图聚类得到了一定的发展并引起了极大的关注。现有的多视图聚类算法可以通过基于模型的不同进一步分为四类：协同训练、多核学习、图聚类和子空间聚类。对于上述四种方法均可以使用早期融合基本思想进行视图融合。早期融合的主要思想是将多个视图的特征表示或图结构融合成一个公共的表示或者一个公共的图结构。例如，基于图的聚类方法在每个视图下构建样本相似性，然后通过随机行走策略融合这些图。多核学习方法通过线性或非线性组合融合多个基核以获得最佳的聚类核。子空间聚类的目的是为每个视图找到合适的低维表示或结构，然后将它们融合成一个包含丰富信息的公共表示或结构以用于聚类。另一方面，除了对视图进行早期融合还有后期融合的方式。该方法是将单个视图的聚类结果融合起来，也称为决策级融合。后期融合可以分为集成学习和协作式训练。集成聚类算法的输入是对应于多个视图的聚类结果。如在工作中，通过定义最终聚类结果与输入聚类结果之间的距离作为公共损失函数以来获得聚类结果。协作式训练的关注点是如何在协作式训练中获得更好的聚类结果。通过对每个视图进行谱嵌入获得多个聚类结果，并将获得的聚类结果用于影响其他视图的原始表示。此外将后期融合应用于多核k-means聚类，降低了算法的复杂性和时间成本。
NMF被广泛用于聚类，因为它有能力处理捕捉不同观点的基本表示。一些工作通过定义多样性来减少不同视图表示之间的冗余。此外，交叉熵成本函数和邻居信息均被引入以指导学习过程。尽管NMF可以很好地解决高维问题。但 它在捕捉数据的内部结构方面似乎无能为力，因此后续的工作达到了保留通过添加图形正则化项以及流行的正则化项，达到保留数据空间的局部几何结构的目的。为了减少离群值的影响，在工作中必须引入流形正则化的范数。随着研究的发展，单层NMF聚类所提取的信息往往不能满足我们对数据信息挖掘的需要。为了探索数据中更深层次的隐藏信息，现有技术中提出了一个深度半NMF模型来探索具有隐含的低层隐藏属性的复杂层次信息。受深度半NMF的影响，模型DMVC学习了公共的该模型通过对原始数据结构的指导，学习包含深层信息的低维表征。最近，还提出了一种通过深度NMF方法进行多视图聚类的方法来自动学习每个视图的最佳权重。
当前传统现有的NMF方法通过学习具有丰富信息的低维表示实现了聚类性能的大幅提升，但它们仍然可以通过以下考虑进行改进虑的情况下得到改进。1)充分发挥原始数据的作用以获得更多的判别信息；2)重点关注视图之间的共享和视图之间的特定信息；3)改进的融合策略多视图信息的改进策略。
发明内容
本申请的目的是针对现有技术的缺陷，提供了基于矩阵分解和多划分对齐的多视图聚类方法及系统。
为了实现以上目的，本申请采用以下技术方案：
基于矩阵分解和多划分对齐的多视图聚类方法，包括：
S1.获取聚类任务和目标数据样本；
S2.对获取的聚类任务和目标数据样本相对应的多视图数据通过多层矩阵进行分解，得到各个视图的基础划分矩阵；
S3.利用列变换将得到的各个视图的基础划分矩阵进行融合对齐，得到一致融合后的划分矩阵；
S4.将得到的各个视图的基础划分矩阵以及一致融合后的划分矩阵进行统一，并构建统一后划分矩阵相对应的目标函数；
S5.采用交替优化方法优化构建的目标函数，得到优化后的统一划分矩阵；
S6.对得到的优化后的统一划分矩阵进行谱聚类，得到最终的聚类结果。
进一步的，所述步骤S4中构建统一后划分矩阵相对应的目标函数，表示 为：
Figure PCTCN2022098951-appb-000001
Figure PCTCN2022098951-appb-000002
其中，α (v)表示对于第v个视图的权重；X (v)表示第v个视图的特征矩阵；
Figure PCTCN2022098951-appb-000003
表示第v个视图的第i层基础矩阵；λ表示划分学习和融合学习的一个平衡系数；
Figure PCTCN2022098951-appb-000004
W (v)、H分别表示第v个视图的基础划分矩阵、列对齐矩阵、一致融合后的划分矩阵；β (v)表示针对后期融合过程中第v个视图对应基础划分的权重；H T表示H的转置；W (v)T表示W (v)的转置。
进一步的，所述步骤S5中采用交替优化方法优化构建的目标函数，具体包括：
A1.固定变量
Figure PCTCN2022098951-appb-000005
W (v)、β、α (v)，优化H，则H的优化式表示为：
min-tr(HU),s.t.HH T＝I k
其中，
Figure PCTCN2022098951-appb-000006
表示融合后的划分矩阵；
A2.固定变量H、
Figure PCTCN2022098951-appb-000007
W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000008
则
Figure PCTCN2022098951-appb-000009
的优化式表示为：
Figure PCTCN2022098951-appb-000010
其中，
Figure PCTCN2022098951-appb-000011
表示前i-1个基矩阵的累乘；
A3.固定变量
Figure PCTCN2022098951-appb-000012
H、
Figure PCTCN2022098951-appb-000013
W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000014
则
Figure PCTCN2022098951-appb-000015
的优化式表示为：
Figure PCTCN2022098951-appb-000016
其中，
Figure PCTCN2022098951-appb-000017
表示前i个基矩阵的累乘；
A4.固定变量
Figure PCTCN2022098951-appb-000018
H、W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000019
则
Figure PCTCN2022098951-appb-000020
的优化式表示为：
Figure PCTCN2022098951-appb-000021
其中，
Figure PCTCN2022098951-appb-000022
表示前i个基矩阵的累乘；
Figure PCTCN2022098951-appb-000023
表示除了第v个视图对应的划分矩阵的其他基础划分的融合；
A5.固定变量
Figure PCTCN2022098951-appb-000024
H、β、α (v)，优化W (v)，则W (v)的优化式表示为：
min-tr(W (v)TQ),s.t.W (v)W (v)T＝I k
其中，
Figure PCTCN2022098951-appb-000025
表示第v个视图的相似度和其对应的权重的乘积；
A6.固定变量
Figure PCTCN2022098951-appb-000026
W (v)、β、H，优化α (v)，则α (v)的优化式表示为：
Figure PCTCN2022098951-appb-000027
其中，
Figure PCTCN2022098951-appb-000028
表示第v个视图的重构损失；
A7.固定变量
Figure PCTCN2022098951-appb-000029
W (v)、H、α (v)，优化β，则β的优化式表示为：
Figure PCTCN2022098951-appb-000030
β的优化式化简为：
max f Tβ,s.t.β≥0,
Figure PCTCN2022098951-appb-000031
其中，f T＝[f 1,f 2,…,f V]，表示不同视图相似度矩阵的迹的集合；
Figure PCTCN2022098951-appb-000032
表示第v个视图的相似度矩阵的迹。
进一步的，所述步骤A1、A2、A3、A4、A5中均还包括：通过SVD分解得到优化后的结果。
进一步的，所述步骤A4中还包括：
构造拉格朗日函数，求构造的拉格朗日函数对应的KKT条件，得到
Figure PCTCN2022098951-appb-000033
的更新，表示为：
Figure PCTCN2022098951-appb-000034
Figure PCTCN2022098951-appb-000035
Figure PCTCN2022098951-appb-000036
其中，θ u(ZHW)表示关于Z、H、W的一个函数，作为公式的分子；θ l(ZHW)表示关于Z、H、W的一个函数，作为公式的分母。
进一步的，所述步骤A6中还包括：
构造拉格朗日函数，求构造的拉格朗日函数对应的KKT条件，得到α (v)的更新，表示为：
Figure PCTCN2022098951-appb-000037
其中，R (v)表示第v个视图的重构损失。
进一步的，所述步骤A7中还包括：
根据柯西不等式，得到更新β的闭式解，表示为：
Figure PCTCN2022098951-appb-000038
其中，f表示不同视图相似度矩阵的迹的集合。
相应的，还提供基于矩阵分解和多划分对齐的多视图聚类系统，包括：
获取模块，用于获取聚类任务和目标数据样本；
分解模块，用于对获取的聚类任务和目标数据样本相对应的多视图数据通过多层矩阵进行分解，得到各个视图的基础划分矩阵；
融合模块，用于利用列变换将得到的各个视图的基础划分矩阵进行融合对齐，得到一致融合后的划分矩阵；
构建模块，用于将得到的各个视图的基础划分矩阵以及一致融合后的划分矩阵进行统一，并构建统一后划分矩阵相对应的目标函数；
优化模块，用于采用交替优化方法优化构建的目标函数，得到优化后的统一划分矩阵；
聚类模块，用于对得到的优化后的统一划分矩阵进行谱聚类，得到最终的 聚类结果。
进一步的，所述构建模块中构建统一后划分矩阵相对应的目标函数，表示为：
Figure PCTCN2022098951-appb-000039
Figure PCTCN2022098951-appb-000040
其中，α (v)表示对于第v个视图的权重；X (v)表示第v个视图的特征矩阵；
Figure PCTCN2022098951-appb-000041
表示第v个视图的第i层基础矩阵；λ表示划分学习和融合学习的平衡系数；
Figure PCTCN2022098951-appb-000042
W (v)、H分别表示第v个视图的基础划分矩阵、列对齐矩阵、一致融合后的划分矩阵；β (v)表示针对后期融合过程中第v个视图对应基础划分的权重；H T表示H的转置；W (v)T表示W (v)的转置。
进一步的，所述优化模块中采用交替优化方法优化构建的目标函数，具体包括：
固定变量
Figure PCTCN2022098951-appb-000043
W (v)、β、α (v)，优化H，则H的优化式表示为：
min-tr(HU),s.t.HH T＝I k
其中，
Figure PCTCN2022098951-appb-000044
表示融合后的划分矩阵；
固定变量H、
Figure PCTCN2022098951-appb-000045
W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000046
则
Figure PCTCN2022098951-appb-000047
的优化式表示为：
Figure PCTCN2022098951-appb-000048
其中，
Figure PCTCN2022098951-appb-000049
表示前i-1个基矩阵的累乘；
固定变量
Figure PCTCN2022098951-appb-000050
H、
Figure PCTCN2022098951-appb-000051
W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000052
则
Figure PCTCN2022098951-appb-000053
的优化式表示为：
Figure PCTCN2022098951-appb-000054
其中，
Figure PCTCN2022098951-appb-000055
表示前i个基矩阵的累乘；
固定变量
Figure PCTCN2022098951-appb-000056
H、W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000057
则
Figure PCTCN2022098951-appb-000058
的优化式表示为：
Figure PCTCN2022098951-appb-000059
其中，
Figure PCTCN2022098951-appb-000060
表示前i个基矩阵的累乘；
Figure PCTCN2022098951-appb-000061
表示除了第v个视图对应的划分矩阵的其他基础划分的融合；
固定变量
Figure PCTCN2022098951-appb-000062
H、β、α (v)，优化W (v)，则W (v)的优化式表示为：
min-tr(W (v)TQ),s.t.W (v)W (v)T＝I k
其中，
Figure PCTCN2022098951-appb-000063
表示第v个视图的相似度和其对应的权重的乘积；
固定变量
Figure PCTCN2022098951-appb-000064
W (v)、β、H，优化α (v)，则α (v)的优化式表示为：
Figure PCTCN2022098951-appb-000065
其中，
Figure PCTCN2022098951-appb-000066
表示第v个视图的重构损失；
固定变量
Figure PCTCN2022098951-appb-000067
W (v)、H、α (v)，优化β，则β的优化式表示为：
Figure PCTCN2022098951-appb-000068
β的优化式化简为：
max f Tβ,s.t.β≥0,
Figure PCTCN2022098951-appb-000069
其中，f T＝[f 1,f 2,…,f V]，表示第v个视图的重构损失；
Figure PCTCN2022098951-appb-000070
表示第v个视图的相似度矩阵的迹。
与现有技术相比，本申请提出了一种新颖的基于深度矩阵分解和划分对齐的传统聚类方法，该方法包括基础划分学习模块和多划分融合模块的优化目标。大量消融实验可表明，本申请所添加的多划分融合模块有助于视图间信息的更好的融合以及随着层数的增加，能够获取到更加丰富的信息。在六个公共数据集上的实验结果证明本申请的性能优于现有方法的性能。
附图说明
图1是实施例一提供的基于矩阵分解和多划分对齐的多视图聚类方法流程图；
图2是实施例一提供的MVC-DMF-MPA框架示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本申请的目的是针对当前基于矩阵分解的传统聚类方法仅仅考虑了视图间的共有信息而忽略了视图的特有信息，导致表示学习不充分以及前期融合可能掺杂进噪声，导致结果学习不准确的问题，提供了基于矩阵分解和多划分对齐的多视图聚类方法及系统，通过深度半非负矩阵分解得到每个视图的基础划分矩阵，然后通过对这些基础划分矩阵进行列选择后的矩阵在进行组合得到融合后的划分矩阵，将公共划分矩阵对融合后的划分矩阵进行逼近进。通过基划分矩阵和后期融合过程交替优化。最终使用公共划分进行k-means聚类，实现聚类的目的。
实施例一
本实施例提供基于矩阵分解和多划分对齐的多视图聚类方法，如图1所示，包括：
S1.获取聚类任务和目标数据样本；
S2.对获取的聚类任务和目标数据样本相对应的多视图数据通过多层矩阵进行分解，得到各个视图的基础划分矩阵；
S3.利用列变换将得到的各个视图的基础划分矩阵进行融合对齐，得到一致融合后的划分矩阵；
S4.将得到的各个视图的基础划分矩阵以及一致融合后的划分矩阵进行统一，并构建统一后划分矩阵相对应的目标函数；
S5.采用交替优化方法优化构建的目标函数，得到优化后的统一划分矩阵；
S6.对得到的优化后的统一划分矩阵进行谱聚类，得到最终的聚类结果。
本实施例提供一种基于矩阵分解和后期融合的无监督传统聚类方法，如图2所示，该方法主要由两个部分组成，即基础划分矩阵学习模块(多层半非负矩阵分解)和后期融合。
在步骤S4中，将得到的各个视图的基础划分矩阵以及一致融合后的划分矩阵进行统一，并构建统一后划分矩阵相对应的目标函数。
为了降低噪声影响结果的可能性以及降低时间提高效率，采用了划分级也就是决策级融合。学习到了不同视图的划分矩阵Hi以及一致的融合后的划分矩阵H。目标函数表示为：
Figure PCTCN2022098951-appb-000071
Figure PCTCN2022098951-appb-000072
其中，α (v)表示对于第v个视图的权重；X (v)表示第v个视图的特征矩阵；
Figure PCTCN2022098951-appb-000073
表示第v个视图的第i层基础矩阵；λ表示划分学习和融合学习的平衡系数；
Figure PCTCN2022098951-appb-000074
W (v)、H分别表示第v个视图的基础划分矩阵、列对齐矩阵、一致融合后的划分矩阵；β (v)表示针对后期融合过程中第v个视图对应基础划分的权重；H T表示H的转置；W (v)T表示W (v)的转置。||·|| F表示F范数。
上述公式是通过深度非负矩阵分解得到每个视图的划分，在后续步骤中将每个视图的划分进行列选择进而逼近一个统一的划分矩阵，最终用这个统一的划分矩阵来聚类。
在步骤S5中，采用交替优化方法优化构建的目标函数，得到优化后的统一划分矩阵。
目标函数的优化问题直接解起来较为困难，因此提出了一种迭代算法来有效的解决该优化问题。
具体包括：
A1.固定变量
Figure PCTCN2022098951-appb-000075
W (v)、β、α (v)，优化H，则H的优化式表示为：
min-tr(HU),s.t.HH T＝I k
其中，tr()表示迹；
Figure PCTCN2022098951-appb-000076
表示融合后的划分矩阵；可以直接对U做SVD分解得到优化后的H。
A2.固定变量H、
Figure PCTCN2022098951-appb-000077
W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000078
则
Figure PCTCN2022098951-appb-000079
的优化式表示为：
Figure PCTCN2022098951-appb-000080
其中，
Figure PCTCN2022098951-appb-000081
表示前i-1个基矩阵的累乘；可以直接对
Figure PCTCN2022098951-appb-000082
做SVD分解得到优化后的
Figure PCTCN2022098951-appb-000083
A3.固定变量
Figure PCTCN2022098951-appb-000084
H、
Figure PCTCN2022098951-appb-000085
W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000086
则
Figure PCTCN2022098951-appb-000087
的优化式表示为：
Figure PCTCN2022098951-appb-000088
其中，
Figure PCTCN2022098951-appb-000089
表示前i-1个基矩阵的累乘；可以直接对Φ做SVD分解得到优化后的
Figure PCTCN2022098951-appb-000090
A4.固定变量
Figure PCTCN2022098951-appb-000091
H、W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000092
则
Figure PCTCN2022098951-appb-000093
的优化式表示为：
Figure PCTCN2022098951-appb-000094
其中，
Figure PCTCN2022098951-appb-000095
表示前i个基矩阵的累乘；
Figure PCTCN2022098951-appb-000096
表示除了第v个视图对应的划分矩阵的其他基础划分的融合；可以直接对Φ、G做SVD分解得到优化后的
Figure PCTCN2022098951-appb-000097
其中还包括：
还包括：
构造拉格朗日函数，求构造的拉格朗日函数对应的KKT条件，得到
Figure PCTCN2022098951-appb-000098
的更新，表示为：
Figure PCTCN2022098951-appb-000099
Figure PCTCN2022098951-appb-000100
Figure PCTCN2022098951-appb-000101
其中，[] +表示正值部分；[] -表示负值部分；θ u(ZHW)表示关于Z、H、W的一个函数，作为公式的分子；θ l(ZHW)表示关于Z、H、W的一个函数，作为公式的分母。
A5.固定变量
Figure PCTCN2022098951-appb-000102
H、β、α (v)，优化W (v)，则W (v)的优化式表示为：
min-tr(W (v)TQ),s.t.W (v)W (v)T＝I k
其中，
Figure PCTCN2022098951-appb-000103
表示第v个视图的相似度和其对应的权重的乘积；可以直接对Q做SVD分解得到优化后的W (v)。
A6.固定变量
Figure PCTCN2022098951-appb-000104
W (v)、β、H，优化α (v)，则α (v)的优化式表示为：
Figure PCTCN2022098951-appb-000105
其中，
Figure PCTCN2022098951-appb-000106
表示第v个视图的重构损失。构造拉格朗日函数，求构造的拉格朗日函数对应的KKT条件，得到α (v)的更新，表示为：
Figure PCTCN2022098951-appb-000107
其中，R (v)表示第v个视图的重构损失；。
A7.固定变量
Figure PCTCN2022098951-appb-000108
W (v)、H、α (v)，优化β，则β的优化式表示为：
Figure PCTCN2022098951-appb-000109
β的优化式化简为：
max f Tβ,s.t.β≥0,
Figure PCTCN2022098951-appb-000110
其中，f T＝[f 1,f 2,…,f V]，表示不同视图相似度矩阵的迹的集合；
Figure PCTCN2022098951-appb-000111
表示第v个视图的相似度矩阵的迹。根据柯西不等式，得到更新β的闭式解，表示为：
Figure PCTCN2022098951-appb-000112
其中，表示不同视图相似度矩阵的迹的集合。
综上，目标函数值随着上述分步优化交替执行而单调下降。同时，目标函数有下界。因此，上述优化过程可以保证收敛。且提出一种基于非负矩阵分解和多划分对齐的多视图聚类算法，将聚类过程、融合过程统一在一个框架中。一致的划分矩阵的学习更适用于聚类，从而促使算法可以达到更好的聚类效果。
本实施例的与现有技术的区别在于：
(1)提出了一种深度半NMF和多划分对齐的多视图聚类方法。将基础划分学习和后期融合阶段统一到一个框架中。使之能够互相促进，互相指导，以获得最终用于聚类的共同划分矩阵。
(2)首先使用深度半NMF框架来分解特征矩阵以获得每个视图的基础划分矩阵。然后，采用后期融合的方式融合基础划分矩阵，最后通过最大化对齐融合后的基划分矩阵和公共划分矩阵以获得公共划分矩阵。
(3)设计交替优化算法来解决优化问题，并在六个多视图数据集上进行了广泛的实验。
本实施例提出了一种新颖的基于深度矩阵分解和划分对齐的传统聚类方法，该方法包括基础划分学习模块和多划分融合模块的优化目标。大量消融实验可表明，本实施例所添加的多划分融合模块有助于视图间信息的更好的融合以及随着层数的增加，能够获取到更加丰富的信息。
相应的，还提供基于矩阵分解和多划分对齐的多视图聚类系统，包括：
获取模块，用于获取聚类任务和目标数据样本；
分解模块，用于对获取的聚类任务和目标数据样本相对应的多视图数据通过多层矩阵进行分解，得到各个视图的基础划分矩阵；
融合模块，用于利用列变换将得到的各个视图的基础划分矩阵进行融合对齐，得到一致融合后的划分矩阵；
构建模块，用于将得到的各个视图的基础划分矩阵以及一致融合后的划分矩阵进行统一，并构建统一后划分矩阵相对应的目标函数；
优化模块，用于采用交替优化方法优化构建的目标函数，得到优化后的统一划分矩阵；
聚类模块，用于对得到的优化后的统一划分矩阵进行谱聚类，得到最终的聚类结果。
进一步的，所述构建模块中构建统一后划分矩阵相对应的目标函数，表示为：
Figure PCTCN2022098951-appb-000113
Figure PCTCN2022098951-appb-000114
其中，α (v)表示对于第v个视图的权重；X (v)表示第v个视图的特征矩阵；
Figure PCTCN2022098951-appb-000115
表示第v个视图的第i层基础矩阵；λ表示划分学习和融合学习的平衡系数；
Figure PCTCN2022098951-appb-000116
W (v)、H分别表示第v个视图的基础划分矩阵、列对齐矩阵、一致融合后的划分矩阵；β (v)表示针对后期融合过程中第v个视图对应基础划分的权重；H T表示H的转置；W (v)T表示W (v)的转置。
进一步的，所述优化模块中采用交替优化方法优化构建的目标函数，具体包括：
固定变量
Figure PCTCN2022098951-appb-000117
W (v)、β、α (v)，优化H，则H的优化式表示为：
min-tr(HU),s.t.HH T＝I k
其中，
Figure PCTCN2022098951-appb-000118
表示融合后的划分矩阵；
固定变量H、
Figure PCTCN2022098951-appb-000119
W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000120
则
Figure PCTCN2022098951-appb-000121
的优化式表示为：
Figure PCTCN2022098951-appb-000122
其中，
Figure PCTCN2022098951-appb-000123
表示前i-1个基矩阵的累乘；
固定变量
Figure PCTCN2022098951-appb-000124
H、
Figure PCTCN2022098951-appb-000125
W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000126
则
Figure PCTCN2022098951-appb-000127
的优化式表示为：
Figure PCTCN2022098951-appb-000128
其中，
Figure PCTCN2022098951-appb-000129
表示前i个基矩阵的累乘；
固定变量
Figure PCTCN2022098951-appb-000130
H、W (v)、β、α (v)，优化
Figure PCTCN2022098951-appb-000131
则
Figure PCTCN2022098951-appb-000132
的优化式表示为：
Figure PCTCN2022098951-appb-000133
其中，
Figure PCTCN2022098951-appb-000134
表示前i个基矩阵的累乘；
Figure PCTCN2022098951-appb-000135
表示除了第v个视图对应的划分矩阵的其他基础划分的融合；
固定变量
Figure PCTCN2022098951-appb-000136
H、β、α (v)，优化W (v)，则W (v)的优化式表示为：
min-tr(W (v)TQ),s.t.W (v)W (v)T＝I k
其中，
Figure PCTCN2022098951-appb-000137
表示第v个视图的相似度和其对应的权重的乘积；
固定变量
Figure PCTCN2022098951-appb-000138
W (v)、β、H，优化α (v)，则α (v)的优化式表示为：
Figure PCTCN2022098951-appb-000139
其中，
Figure PCTCN2022098951-appb-000140
表示第v个视图的重构损失；
固定变量
Figure PCTCN2022098951-appb-000141
W (v)、H、α (v)，优化β，则β的优化式表示为：
Figure PCTCN2022098951-appb-000142
β的优化式化简为：
max f Tβ,s.t.β≥0,
Figure PCTCN2022098951-appb-000143
其中，f T＝[f 1,f 2,…,f V]，表示不同视图相似度矩阵的迹的集合；
Figure PCTCN2022098951-appb-000144
表示第v个视图的相似度矩阵的迹。
实施例二
本实施例提供的基于矩阵分解和多划分对齐的多视图聚类方与实施例一的不同之处在于：
本实施例可以应用于与图像数据集或非图像数据集。
S1.获取图像数据集或非图像数据相对应的聚类任务和目标数据样本；
S2.对获取的聚类任务和目标数据样本相对应的多视图数据通过多层矩阵进行分解，得到各个视图的基础划分矩阵；
S3.利用列变换将得到的各个视图的基础划分矩阵进行融合对齐，得到一致融合后的划分矩阵；
S4.将得到的各个视图的基础划分矩阵以及一致融合后的划分矩阵进行统一，并构建统一后划分矩阵相对应的目标函数；
S5.采用交替优化方法优化构建的目标函数，得到优化后的统一划分矩阵；
S6.对得到的优化后的统一划分矩阵进行谱聚类，得到最终的聚类结果。
图像数据集可以包括人脸图像、物流运输过程中的图像、医疗图像等等；非图像数据集包括文本数据集等等。
本实施例通过六种数据来验证本方法。
所使用的数据集共有六种，包括三种图数据集与三种非图数据集，数据集的统计信息如表1所示。
Figure PCTCN2022098951-appb-000145
表1 数据集
BBC：该数据集属于文本型，包含685个样本，分布在5个类别中。有4个视图，每个视图的维度分别为：4659、4633、4665、4684。
BBCSport：该数据集属于文本类型，包含544条文本数据，分布在5个类别中。共有2个视图，每个视图的维度分别为3183和3203。
MSRCV1：该数据集属于图像类型，包含210条文本数据，分布在3个类别 中。共有5个视图，每个视图的维度分别为1302、512、100、256、210。
ORL：该数据集属于图像类型，包含400张图片，分布在40个类别中。共有3个视图，每个视图的维度分别是4096、3304、6750。
Reuters：该数据集属于文本类型，包含1200条文本数据，分布在6个类别中。共有5个视图，每个视图的维度分别为2000、2000、2000、2000、2000。
HW：该数据集属于图片类型，包含2000个图像，分布在10个类别中。共有2个视图，每个视图的维度分别为240和216。
本方法与12种基准算法进行了对比。对比算法包括将视图特征拼接后作为输入的k-means、一个基于核的方法MVKKM，一个基于图的方法GMC、两种基于子空间的PMSC和CSMVSC、两种协同训练方法Co-train和Co-reg以及五个基于矩阵分解的模型MultiNMF、MVCF、ScaMVC、DMVC和AwDMVC。
实验设置：
对于本方法和所有的对比方法，首先进行数据预处理，即对所有的数据集进行标准化处理。其中加权系数γ是从[2-12，2-11，...24,25]中选择。本方法认为簇数k是每个数据集的真实类的数量且在分解过程中每层的维度应与簇数相关，因此设计了两个方案：一个两层的维度p2＝[l1,k]，另一层的维度p3＝[l1,l2,k]。其中，p2中的l1是从[4k,5k,6k]中选择的，而p3中l1,l2分别从[8k,10k,12k]和[4k,5k,6k]中选择。本方法将每个实验重复50次，以避免随机初始化的影响并保存最佳结果。所有的实验都在配置为Intel i9-9900K CPU@3.60GHz×16和64GB内存的台式电脑上进行。
评价指标：
本方法采用传统聚类算法领域公认的三种评价指标：聚类精度(ACC)、标准互信息(NMI)和纯度(PUR)。
实验结果：
本方法通过在6种标准数据集上与12种基准算法进行对比实验，结果如表2所示，表2为本方法与其他深度聚类方法的比较，其中最好的结果是标记为粗体字。表3显示了三种不同指标在六个数据集上比第二好的方法的增量值。从这些表格中，有以下的结论：1)如表3所示为在六个数据集上，三种不同指标上较第二好的增量值，在BBC数据上，ACC、NMI、Purity的增加值分别 为11.68％、15.55％和3.47％；在BBCSport的数据上，改善值为19.85％、11.31％和17.46％；对于NMI在Retuers和HW，虽然性能比第二轮下降了2.28％和4.59％，但差异较小。总的来说，本方法在六个基准上优于这些基线算法。2)与同样使用了深度半NMF框架强基线DMVC和AwDMVC相比，可以发现，本方法总是取得最好的结果。这意味着本方法的后期融合策略对于这些数据集来说更加有效和稳健。3)与先进行图形融合，然后在后期融合之前进行光谱聚类的PMSC相比，本方法更有优势。这进一步表明，多层半NMF可以提取更多隐藏的有用信息。
Figure PCTCN2022098951-appb-000146
Figure PCTCN2022098951-appb-000147
表2
Metric BBC BBCSport MSRCV1 ORL Reuters HW
ACC 11.68％ 19.85％ 1.90％ 3.50％ 6.40％ 4.86％
NMI 15.55％ 11.31％ 3.47％ 1.78％ -2.28％ -4.59％
PUR 3.47％ 17.46％ 1.90％ 3.75％ 4.50％ 4.33％
表3
本实施例在六个公共数据集上的实验结果证明本申请的性能优于现有方法的性能。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

  1. 基于矩阵分解和多划分对齐的多视图聚类方法，其特征在于，包括：
    S1.获取聚类任务和目标数据样本；
    S2.对获取的聚类任务和目标数据样本相对应的多视图数据通过多层矩阵进行分解，得到各个视图的基础划分矩阵；
    S3.利用列变换将得到的各个视图的基础划分矩阵进行融合对齐，得到一致融合后的划分矩阵；
    S4.将得到的各个视图的基础划分矩阵以及一致融合后的划分矩阵进行统一，并构建统一后划分矩阵相对应的目标函数；
    S5.采用交替优化方法优化构建的目标函数，得到优化后的统一划分矩阵；
    S6.对得到的优化后的统一划分矩阵进行谱聚类，得到最终的聚类结果。
  2. 根据权利要求1所述的基于矩阵分解和多划分对齐的多视图聚类方法，其特征在于，所述步骤S4中构建统一后划分矩阵相对应的目标函数，表示为：
    Figure PCTCN2022098951-appb-100001
    Figure PCTCN2022098951-appb-100002
    其中，α (v)表示对于第v个视图的权重；X (v)表示第v个视图的特征矩阵；
    Figure PCTCN2022098951-appb-100003
    表示第v个视图的第i层基础矩阵；λ表示划分学习和融合学习的一个平衡系数；
    Figure PCTCN2022098951-appb-100004
    H分别表示第v个视图的基础划分矩阵、列对齐矩阵、一致融合后的划分矩阵；β (v)表示针对后期融合过程中第v个视图对应基础划分的权重；H T表示H的转置；W (v)T表示W (v)的转置。
  3. 根据权利要求2所述的基于矩阵分解和多划分对齐的多视图聚类方法，其特征在于，所述步骤S5中采用交替优化方法优化构建的目标函数，具体包括：
    A1.固定变量
    Figure PCTCN2022098951-appb-100005
    W (v)、β、α (v)，优化H，则H的优化式表示为：
    min-tr(HU),s.t.HH T＝I k
    其中，
    Figure PCTCN2022098951-appb-100006
    表示融合后的划分矩阵；
    A2.固定变量H、
    Figure PCTCN2022098951-appb-100007
    W (v)、β、α (v)，优化
    Figure PCTCN2022098951-appb-100008
    则
    Figure PCTCN2022098951-appb-100009
    的优化式表示为：
    Figure PCTCN2022098951-appb-100010
    其中，
    Figure PCTCN2022098951-appb-100011
    表示前i-1个基矩阵的累乘；
    A3.固定变量
    Figure PCTCN2022098951-appb-100012
    H、
    Figure PCTCN2022098951-appb-100013
    W (v)、β、α (v)，优化
    Figure PCTCN2022098951-appb-100014
    则
    Figure PCTCN2022098951-appb-100015
    的优化式表示为：
    Figure PCTCN2022098951-appb-100016
    其中，
    Figure PCTCN2022098951-appb-100017
    表示前i个基矩阵的累乘；
    A4.固定变量
    Figure PCTCN2022098951-appb-100018
    H、W (v)、β、α (v)，优化
    Figure PCTCN2022098951-appb-100019
    则
    Figure PCTCN2022098951-appb-100020
    的优化式表示为：
    Figure PCTCN2022098951-appb-100021
    其中，
    Figure PCTCN2022098951-appb-100022
    表示前i个基矩阵的累乘；
    Figure PCTCN2022098951-appb-100023
    表示除了第v个视图对应的划分矩阵的其他基础划分的融合；
    A5.固定变量
    Figure PCTCN2022098951-appb-100024
    H、β、α (v)，优化W (v)，则W (v)的优化式表示为：
    min-tr(W (v)TQ),s.t.W (v)W (v)T＝I k
    其中，
    Figure PCTCN2022098951-appb-100025
    表示第v个视图的相似度和其对应的权重的乘积；
    A6.固定变量
    Figure PCTCN2022098951-appb-100026
    W (v)、β、H，优化α (v)，则α (v)的优化式表示为：
    Figure PCTCN2022098951-appb-100027
    其中，
    Figure PCTCN2022098951-appb-100028
    表示第v个视图的重构损失；
    A7.固定变量
    Figure PCTCN2022098951-appb-100029
    W (v)、H、α (v)，优化β，则β的优化式表示为：
    Figure PCTCN2022098951-appb-100030
    β的优化式化简为：
    Figure PCTCN2022098951-appb-100031
    其中，f T＝[f 1,f 2,…,f V]，表示不同视图相似度矩阵的迹的集合；
    Figure PCTCN2022098951-appb-100032
    表示第v个视图的相似度矩阵的迹。
  4. 根据权利要求3所述的基于矩阵分解和多划分对齐的多视图聚类方法，其特征在于，所述步骤A1、A2、A3、A4、A5中均还包括：通过SVD分解得到优化后的结果。
  5. 根据权利要求3所述的基于矩阵分解和多划分对齐的多视图聚类方法，其特征在于，所述步骤A4中还包括：
    构造拉格朗日函数，求构造的拉格朗日函数对应的KKT条件，得到
    Figure PCTCN2022098951-appb-100033
    的更新，表示为：
    Figure PCTCN2022098951-appb-100034
    Figure PCTCN2022098951-appb-100035
    Figure PCTCN2022098951-appb-100036
    其中，
    Figure PCTCN2022098951-appb-100037
    表示关于Z、H、W的一个函数，作为公式的分子；
    Figure PCTCN2022098951-appb-100038
    表示关于Z、H、W的一个函数，作为公式的分母。
  6. 根据权利要求3所述的基于矩阵分解和多划分对齐的多视图聚类方法，其特征在于，所述步骤A6中还包括：
    构造拉格朗日函数，求构造的拉格朗日函数对应的KKT条件，得到α (v)的更新，表示为：
    Figure PCTCN2022098951-appb-100039
    其中，
    Figure PCTCN2022098951-appb-100040
    表示第v个视图的重构损失。
  7. 根据权利要求3所述的基于矩阵分解和多划分对齐的多视图聚类方法，其特征在于，所述步骤A7中还包括：
    根据柯西不等式，得到更新β的闭式解，表示为：
    Figure PCTCN2022098951-appb-100041
    其中，f表示不同视图相似度矩阵的迹的集合。
  8. 基于矩阵分解和多划分对齐的多视图聚类系统，其特征在于，包括：
    获取模块，用于获取聚类任务和目标数据样本；
    分解模块，用于对获取的聚类任务和目标数据样本相对应的多视图数据通过多层矩阵进行分解，得到各个视图的基础划分矩阵；
    融合模块，用于利用列变换将得到的各个视图的基础划分矩阵进行融合对齐，得到一致融合后的划分矩阵；
    构建模块，用于将得到的各个视图的基础划分矩阵以及一致融合后的划分矩阵进行统一，并构建统一后划分矩阵相对应的目标函数；
    优化模块，用于采用交替优化方法优化构建的目标函数，得到优化后的统一划分矩阵；
    聚类模块，用于对得到的优化后的统一划分矩阵进行谱聚类，得到最终的聚类结果。
  9. 根据权利要求8所述的基于矩阵分解和多划分对齐的多视图聚类系统，其特征在于，所述构建模块中构建统一后划分矩阵相对应的目标函数，表示为：
    Figure PCTCN2022098951-appb-100042
    Figure PCTCN2022098951-appb-100043
    其中，α (v)表示对于第v个视图的权重；X (v)表示第v个视图的特征矩阵；
    Figure PCTCN2022098951-appb-100044
    表示第v个视图的第i层基础矩阵；λ表示划分学习和融合学习的平衡系数；
    Figure PCTCN2022098951-appb-100045
    H分别表示第v个视图的基础划分矩阵、列对齐矩阵、一致融合后的划分矩阵；β (v)表示针对后期融合过程中第v个视图对应基础划分的权重；H T表示H的转置；W (v)T表示W (v)的转置。
  10. 根据权利要求9所述的基于矩阵分解和多划分对齐的多视图聚类系统，其特征在于，所述优化模块中采用交替优化方法优化构建的目标函数，具体包括：
    固定变量
    Figure PCTCN2022098951-appb-100046
    W (v)、β、α (v)，优化H，则H的优化式表示 为：
    min-tr(HU),s.t.HH T＝I k
    其中，
    Figure PCTCN2022098951-appb-100047
    表示融合后的划分矩阵；
    固定变量H、
    Figure PCTCN2022098951-appb-100048
    W (v)、β、α (v)，优化
    Figure PCTCN2022098951-appb-100049
    则
    Figure PCTCN2022098951-appb-100050
    的优化式表示为：
    Figure PCTCN2022098951-appb-100051
    其中，
    Figure PCTCN2022098951-appb-100052
    表示前i个基矩阵的累乘；
    固定变量
    Figure PCTCN2022098951-appb-100053
    H、
    Figure PCTCN2022098951-appb-100054
    W (v)、β、α (v)，优化
    Figure PCTCN2022098951-appb-100055
    则
    Figure PCTCN2022098951-appb-100056
    的优化式表示为：
    Figure PCTCN2022098951-appb-100057
    其中，
    Figure PCTCN2022098951-appb-100058
    表示前i个基矩阵的累乘；
    固定变量
    Figure PCTCN2022098951-appb-100059
    H、W (v)、β、α (v)，优化
    Figure PCTCN2022098951-appb-100060
    则
    Figure PCTCN2022098951-appb-100061
    的优化式表示为：
    Figure PCTCN2022098951-appb-100062
    其中，
    Figure PCTCN2022098951-appb-100063
    表示前m个基矩阵的累乘；
    Figure PCTCN2022098951-appb-100064
    表示除了第v个视图对应的划分矩阵的其他基础划分的融合；
    固定变量
    Figure PCTCN2022098951-appb-100065
    H、β、α (v)，优化W (v)，则W (v)的优化式表示为：
    min-tr(W (v)TQ),s.t.W (v)W (v)T＝I k
    其中，
    Figure PCTCN2022098951-appb-100066
    表示第v个视图的相似度和其对应的权重的乘积；
    固定变量
    Figure PCTCN2022098951-appb-100067
    W (v)、β、H，优化α (v)，则α (v)的优化式表示为：
    Figure PCTCN2022098951-appb-100068
    其中，
    Figure PCTCN2022098951-appb-100069
    表示第v个视图的重构损失；
    固定变量
    Figure PCTCN2022098951-appb-100070
    W (v)、H、α (v)，优化β，则β的优化式表示为：
    Figure PCTCN2022098951-appb-100071
    β的优化式化简为：
    Figure PCTCN2022098951-appb-100072
    其中，f T＝[f 1,f 2,…,f V]，表示不同视图相似度矩阵的迹的集合；
    Figure PCTCN2022098951-appb-100073
    表示第v个视图的相似度矩阵的迹。
PCT/CN2022/098951 2021-06-24 2022-06-15 基于矩阵分解和多划分对齐的多视图聚类方法及系统 WO2022267956A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/275,814 US20240111829A1 (en) 2021-06-24 2022-06-15 Multi-view clustering method and system based on matrix decomposition and multi-partition alignment
ZA2023/10985A ZA202310985B (en) 2021-06-24 2023-11-28 Multi-view clustering method and system based on matrix decomposition and multi-partition alignment

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202110705655.9A CN113627462A (zh) 2021-06-24 2021-06-24 基于矩阵分解和多划分对齐的医疗数据聚类方法及系统
CN202110705655.9 2021-06-24
CN202111326424.3A CN115293220A (zh) 2021-06-24 2021-11-10 基于矩阵分解和多划分对齐的多视图聚类方法及系统
CN202111326424.3 2021-11-10

Publications (1)

Publication Number Publication Date
WO2022267956A1 true WO2022267956A1 (zh) 2022-12-29

Family

ID=78378342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/098951 WO2022267956A1 (zh) 2021-06-24 2022-06-15 基于矩阵分解和多划分对齐的多视图聚类方法及系统

Country Status (4)

Country Link
US (1) US20240111829A1 (zh)
CN (2) CN113627462A (zh)
WO (1) WO2022267956A1 (zh)
ZA (1) ZA202310985B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118501844A (zh) * 2024-07-18 2024-08-16 杭州电子科技大学 基于标签约束和邻域密度相似度量的海面小目标检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627462A (zh) * 2021-06-24 2021-11-09 浙江师范大学 基于矩阵分解和多划分对齐的医疗数据聚类方法及系统
CN118298411A (zh) * 2024-06-04 2024-07-05 西南科技大学 一种基于锚点的矿物识别与聚类分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002854A (zh) * 2018-07-20 2018-12-14 西安电子科技大学 基于隐表示和自适应的多视图子空间聚类方法
CN109063757A (zh) * 2018-07-20 2018-12-21 西安电子科技大学 基于块对角表示和视图多样性的多视图子空间聚类方法
EP3716103A2 (en) * 2019-03-29 2020-09-30 Ricoh Company, Ltd. Method and apparatus for determining transformation matrix, and non-transitory computer-readable recording medium
CN112990265A (zh) * 2021-02-09 2021-06-18 浙江师范大学 基于二部图的后期融合多视图聚类机器学习方法及系统
CN113627462A (zh) * 2021-06-24 2021-11-09 浙江师范大学 基于矩阵分解和多划分对齐的医疗数据聚类方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191699B (zh) * 2019-12-22 2022-10-21 中国人民解放军陆军工程大学 基于非负矩阵分解和划分自适应融合的多视角聚类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002854A (zh) * 2018-07-20 2018-12-14 西安电子科技大学 基于隐表示和自适应的多视图子空间聚类方法
CN109063757A (zh) * 2018-07-20 2018-12-21 西安电子科技大学 基于块对角表示和视图多样性的多视图子空间聚类方法
EP3716103A2 (en) * 2019-03-29 2020-09-30 Ricoh Company, Ltd. Method and apparatus for determining transformation matrix, and non-transitory computer-readable recording medium
CN112990265A (zh) * 2021-02-09 2021-06-18 浙江师范大学 基于二部图的后期融合多视图聚类机器学习方法及系统
CN113627462A (zh) * 2021-06-24 2021-11-09 浙江师范大学 基于矩阵分解和多划分对齐的医疗数据聚类方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118501844A (zh) * 2024-07-18 2024-08-16 杭州电子科技大学 基于标签约束和邻域密度相似度量的海面小目标检测方法

Also Published As

Publication number Publication date
CN113627462A (zh) 2021-11-09
ZA202310985B (en) 2024-06-26
CN115293220A (zh) 2022-11-04
US20240111829A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
Wang et al. Fast parameter-free multi-view subspace clustering with consensus anchor guidance
WO2022267956A1 (zh) 基于矩阵分解和多划分对齐的多视图聚类方法及系统
Huang et al. Robust deep k-means: An effective and simple method for data clustering
Meng et al. Feature selection based dual-graph sparse non-negative matrix factorization for local discriminative clustering
Li et al. Robust multi-view non-negative matrix factorization with adaptive graph and diversity constraints
WO2022267954A1 (zh) 基于统一锚点与子空间学习的谱聚类方法及系统
Zhu et al. Global and local multi-view multi-label learning
Liu et al. ASFS: A novel streaming feature selection for multi-label data based on neighborhood rough set
Wang et al. Contrastive and attentive graph learning for multi-view clustering
Chang et al. Cross-domain kernel induction for transfer learning
Wen et al. One-step spectral rotation clustering for imbalanced high-dimensional data
CN116403730A (zh) 一种基于图神经网络的药物相互作用预测方法及系统
Zhou et al. A network-based sparse and multi-manifold regularized multiple non-negative matrix factorization for multi-view clustering
Guo et al. Tensor-based adaptive consensus graph learning for multi-view clustering
Yu et al. How to construct corresponding anchors for incomplete multiview clustering
Yin et al. Learning latent embedding via weighted projection matrix alignment for incomplete multi-view clustering
CN113836319B (zh) 融合实体邻居的知识补全方法及系统
Al-sharoa et al. Community detection in networks through a deep robust auto-encoder nonnegative matrix factorization
Hao et al. Multi-label learning with missing features and labels and its application to text categorization
Zhang et al. Center consistency guided multi-view embedding anchor learning for large-scale graph clustering
Li et al. Efficient community detection in heterogeneous social networks
Wang et al. Semi‐Supervised Multi‐View Clustering with Weighted Anchor Graph Embedding
Mi et al. Principal component analysis based on block-norm minimization
Jiang Learning protein functions from bi-relational graph of proteins and function annotations
Zhang et al. Efficient multiview representation learning with correntropy and anchor graph

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22827451

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18275814

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22827451

Country of ref document: EP

Kind code of ref document: A1