WO2022267954A1 - 基于统一锚点与子空间学习的谱聚类方法及系统 - Google Patents

基于统一锚点与子空间学习的谱聚类方法及系统 Download PDF

Info

Publication number
WO2022267954A1
WO2022267954A1 PCT/CN2022/098949 CN2022098949W WO2022267954A1 WO 2022267954 A1 WO2022267954 A1 WO 2022267954A1 CN 2022098949 W CN2022098949 W CN 2022098949W WO 2022267954 A1 WO2022267954 A1 WO 2022267954A1
Authority
WO
WIPO (PCT)
Prior art keywords
unified
view
clustering
anchor
objective function
Prior art date
Application number
PCT/CN2022/098949
Other languages
English (en)
French (fr)
Inventor
朱信忠
徐慧英
李苗苗
涂文轩
孙萌婧
李洪波
殷建平
赵建民
Original Assignee
浙江师范大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浙江师范大学 filed Critical 浙江师范大学
Priority to US18/277,824 priority Critical patent/US20240161004A1/en
Publication of WO2022267954A1 publication Critical patent/WO2022267954A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present application relates to the field of machine learning technology, in particular to a spectral clustering method and system based on unified anchor point and subspace learning.
  • Multi-view clustering integrates diversity and complementary information between views for clustering, and is an important unsupervised learning method in the machine learning and multimedia data mining communities.
  • Many multi-view clustering algorithms have been proposed in existing literature, among which multi-view subspace clustering is very popular.
  • Multi-view subspace clustering usually seeks a unified subspace structure from the fused multi-view data representation, and then separates the data in the subspace, that is, the following two-step strategy: i) Graph construction: from multi-view data Obtain a low-dimensional subspace representation, and obtain a view-specific similarity graph or fusion graph; ii) Spectral clustering: perform spectral clustering on the fusion graph.
  • MVSC has been widely used in various applications, such as image classification, face clustering, community detection.
  • anchor-based MVSCs have been proposed to alleviate the high complexity of traditional subspace methods. Selecting k anchors by independent sampling, the original global graph of size n ⁇ n is replaced by the corresponding anchor graph of size n ⁇ k. The equal weights of each anchor graph are fused into the consensus graph, and then spectral clustering is performed to obtain the final clustering result.
  • the overall time complexity of the anchor-based multi-view subspace clustering method can be reduced to O(n), and it can be applied to large-scale tasks.
  • anchor-based multi-view subspace clustering strategies can be further improved with the following considerations.
  • the anchors of each view are independently generated by k-means clustering or random sampling, and are not associated with other view information.
  • the separation of heuristic sampling and graph construction process leads to weak discriminative anchors. Therefore, the selected anchors may not reflect the actual data distribution and generate imprecise graph structures.
  • the complementary multi-view information is not well utilized without sufficient information fusion, since the graph is constructed independently from the anchors of the corresponding views. Both of the aforementioned limitations of existing methods can degrade clustering performance.
  • the purpose of this application is to provide a spectral clustering method and system based on unified anchor points and subspace learning to address the shortcomings of the prior art.
  • a spectral clustering method based on unified anchor point and subspace learning including:
  • the objective function corresponding to the adaptive construction of the anchor graph according to the learned unified anchor point is expressed as:
  • ⁇ represents the weight of the view
  • W i represents the anchor projection matrix of the i-th view
  • Z T represents the transpose of Z;
  • an alternate optimization method is used to optimize the constructed objective function, specifically including:
  • M i
  • step A1 also includes:
  • B i X i Z T
  • a T represents the product of matrices.
  • step A2 also includes:
  • step A2 By removing items irrelevant to A through the Frobenius norm, the formula in step A2 is transformed into the following equivalent problem, expressed as:
  • step A3 also includes:
  • step A3 The solution to each row of Z is solved by the QP problem, and the formula in step A3 is expressed as:
  • j represents each column element in the matrix.
  • step S3 an alternate optimization method is used to optimize the constructed objective function, wherein the termination condition is finding a minimum value or reaching a convergence condition.
  • the spectral clustering system based on unified anchor point and subspace learning includes:
  • Obtaining module used for obtaining clustering tasks and target data samples
  • An optimization module is used to optimize the constructed objective function by an alternate optimization method to obtain an optimized unified anchor graph
  • the clustering module is used to perform spectral clustering on the obtained optimized unified anchor graph to obtain the final clustering result.
  • the objective function corresponding to the construction of the anchor map is adaptively expressed as:
  • ⁇ represents the weight of the view
  • W i represents the anchor projection matrix of the i-th view
  • Z T represents the transpose of Z;
  • an alternate optimization method is used to optimize the constructed objective function, specifically including:
  • M i
  • this application proposes a novel spectral clustering method with unified anchor point and subspace learning, which integrates anchor point learning and graph construction into a unified framework, so that the learned The anchor points can more accurately represent the actual data distribution.
  • an adaptive method is used to make the consistent anchor graph capture/obtain complementary information between views, and learn the importance of different views at the same time. Extensive experimental results demonstrate the superiority of our clustering performance and runtime.
  • Fig. 1 is a flow chart of the spectral clustering method based on unified anchor point and subspace learning provided by Embodiment 1;
  • FIG. 2 is a schematic diagram of the traditional anchor-based multi-view subspace strategy framework provided in Embodiment 1 and the SMVSC strategy herein;
  • Fig. 3 is the comparison method provided by embodiment two and the running time diagram of more than seven data sets;
  • Fig. 4 is the graph structure comparison schematic diagram of the LMVSC that embodiment two provides and this algorithm on Caltech101-20;
  • FIG. 5 is a schematic diagram of the targets of the method provided in Embodiment 2 on five benchmark datasets.
  • the purpose of this application is to combine anchor learning and graph construction into a unified framework, so that the learned consistent anchors can be jointly optimized with the projection matrix of each view. Therefore, the learned anchors can accurately represent the concrete latent data, leading to better graph structures/better constructed graph structures.
  • the restoration of the internal view also affects the specific details of the unified graph by a single view.
  • This application provides a spectral clustering method and system based on unified anchor points and subspace learning.
  • This embodiment provides a spectral clustering method based on unified anchor points and subspace learning, as shown in Figure 1, including:
  • the key to evaluating the performance of multi-view subspace clustering is the quality of the graph constructed in the algorithm.
  • the traditional anchor-based multi-view subspace clustering framework it mainly includes three stages: in the first stage, the anchors are selected heuristically, and then fixed points are selected by sampling from the original data in each view. anchor.
  • the anchor points selected by each view are independent of each other and the anchor point graphs are constructed separately, and there is no information exchange between each view.
  • the specific anchor graphs composed of each view are directly equivalently connected into a unified anchor graph, and then spectral clustering is performed through the anchor graph to obtain the final clustering result.
  • These three stages are independent of each other and there is no interaction between views.
  • this embodiment proposes a scalable multi-view subspace clustering algorithm based on consistent anchor points, which mainly includes two stages: anchor point learning and graph construction.
  • this embodiment performs anchor point learning for large-scale multi-view data, so that the learned anchor points can more accurately represent the distribution of actual data.
  • this embodiment constructs an anchor graph adaptively through the learned consistent anchor points, and then performs spectral clustering through the consistent anchor graph to obtain the final clustering result.
  • These two stages promote each other and optimize together, so that the constructed consistent anchor graph not only has complementary information between views, but also has a stronger discriminative graph structure.
  • This algorithm breaks the limitations of traditional methods and effectively improves clustering performance.
  • step S2 a unified anchor point learning is performed on the obtained multi-view data corresponding to the clustering task and the target data sample, and an objective function corresponding to the anchor graph is adaptively constructed according to the learned unified anchor point.
  • this embodiment adopts the anchor point strategy to select a small group of data points called anchor points to reconstruct the underlying subspace and capture the manifold structure.
  • anchor points can be obtained by random sampling or uniform sampling from the original data space, or by using the cluster centers obtained by performing k-means.
  • anchors are fixed after initialization, making anchor learning (AL) and graph construction separate from each other. This embodiment integrates these two processes into a common framework, resulting in more discriminative anchors.
  • the unified anchor obtained by projection in this embodiment is adaptively learned to obtain a unified anchor graph with complementary view information and a more discriminative anchor structure.
  • the objective function corresponding to the unified anchor graph of this embodiment is expressed as:
  • ⁇ represents the weight of the view
  • W i represents the anchor point projection matrix of the i-th view, which can project the unified anchor point to the corresponding original data space
  • a ⁇ R d ⁇ m represents the unified anchor matrix
  • d represents the entire view
  • the common dimension of , m represents the number of anchors, in this embodiment, k is chosen as the common dimension, and the number of anchor points m ⁇ ⁇ k,2k,3k ⁇ , the common dimension together with the orthogonal constraint restricts A to be more discriminative force
  • Z denotes a unified anchor graph with m ⁇ n dimensions
  • v denotes v views
  • ⁇ i denotes the weight of the i-th view
  • d i represents the dimension of the corresponding view
  • n represents the number of samples
  • ⁇ T represents the transpose of ⁇
  • W i T represents the transpose of W i
  • Z T represents the trans
  • step S3 an alternate optimization method is used to optimize the constructed objective function to obtain an optimized unified anchor graph.
  • this embodiment proposes an alternate optimization algorithm to optimize each variable, that is, optimize one of the variables and fix the other variables. Afterwards, this embodiment provides an overall framework for optimization algorithms and time/space complexity analysis.
  • FIG. 2 is a comparison diagram between the traditional anchor point-based multi-view subspace strategy framework and the SMVSC strategy diagram of this embodiment.
  • B i X i Z T
  • a T represents the product of matrices.
  • the optimal W i can be easily obtained by calculating UV T according to the method in the prior art.
  • A is optimized, specifically by removing items irrelevant to A through the Frobenius norm, and the optimization of the above formula is equal to the following form, expressed as:
  • the above optimization problem of Z can be easily formulated as the following quadratic programming (QP) problem, and the optimization can be solved by solving each row of Z through the QP problem, then expressed as:
  • j represents each column element in the matrix.
  • the complexity analysis of the above optimization process is carried out, specifically: firstly, the time complexity in the overall optimization process will be analyzed, and then several comparison methods will be compared from the perspective of the main space complexity.
  • Computational complexity consists of the optimization cost for each variable.
  • performing SVD on B i takes O(d i d 2 ), and O(d i dk 2 ) is the time consumption of performing matrix multiplication to get the optimal W i .
  • updating A requires O(md 2 ) and O(dmk 2 ) time complexity for SVD decomposition and matrix multiplication.
  • the cost of computing all columns is O(nm 3 ).
  • the time cost of calculating ⁇ i is only O(1). Therefore, the total time cost of the optimization process is Therefore, the computational complexity of the optimization algorithm proposed in this embodiment is linear complexity O(n).
  • Z is decomposed by SVD to obtain its left singular matrix U, and the final clustering result is obtained through k-means.
  • the computational complexity is O(nm 2 ), which is also a linear complexity. Therefore, a linear-time algorithm is implemented both during optimization and post-processing.
  • the main memory cost is the matrix: A ⁇ R k ⁇ m and Z ⁇ R m ⁇ n . Therefore, the space complexity mn+(h+m)k of the SMVSC of this embodiment, where m ⁇ n,k ⁇ n Therefore, the space complexity of SMVSC is O(n).
  • anchor learning and graph construction are integrated into a unified framework. These two processes promote each other and optimize together, so that the learned anchors can more accurately represent the actual data distribution. Therefore, the resulting subspace graph structure is more discriminative, further improving the clustering performance
  • This embodiment proposes a novel scalable multi-view subspace clustering method with unified anchor points, which integrates anchor point learning and graph construction into a unified framework, so that the learned anchor points can be more accurate
  • the representation of the actual data distribution compared with the existing anchor graph fusion strategy, utilizes an adaptive method to make the consistent anchor graph capture/obtain the complementary information between views, and learn the importance of different views at the same time.
  • the spectral clustering method based on unified anchor point and subspace learning provided in this embodiment is different from Embodiment 1 in that:
  • an image data set is taken as an example for illustration.
  • the image data may be facial video image datasets, natural disaster image datasets, remote sensing image datasets, medical image datasets, crowd image datasets, crowd count datasets, and so on.
  • This example evaluates the clustering properties of the method on seven widely used datasets.
  • the performance of SMVSC is compared with six state-of-the-art multi-view subspace clustering methods and two large-scale oriented methods.
  • CCV is a rich YouTube video database with 20 semantic categories.
  • SUNRGBD dataset is densely annotated.
  • the animal dataset with attributes is called AwA.
  • YouTubeFace is a database of facial videos obtained from YouTube.
  • RMKM Multi-view K-means clustering algorithm
  • Multi-view subspace clustering algorithm (MVSC). An effective multi-view subspace clustering method is proposed, and the effectiveness of the algorithm is verified.
  • Parameter-free automatically weighted multi-graph learning a framework for clustering algorithms for multi-view clustering and semi-proposal classification (AMGL).
  • a framework is proposed to automatically learn optimal weights for each graph and achieve globally optimal results.
  • MLRSSC Low-rank sparse multi-view subspace clustering algorithm
  • a clustering algorithm based on partition-level multi-view subspace clustering (PMSC).
  • PMSC partition-level multi-view subspace clustering
  • Multi-view clustering in latent embedding space based multi-view clustering algorithm (MLES).
  • the algorithm can simultaneously learn the global structure and the clustering indicator matrix, and then cluster multi-view data in the latent embedding space.
  • LMVSC Large-Scale Multi-View Subspace Clustering
  • the algorithm is designed to handle large-scale data and has linear complexity.
  • the initialization of W, A, and Z is set to zero matrices.
  • the relevant code for the comparison algorithm was downloaded from their original website. Since all methods need to use the k-means method to obtain the final clustering results, the k-means method was run 50 times to eliminate randomness in all comparison methods. Clustering performance is then evaluated by the widely used metrics Accuracy (ACC), Normalized Mutual Information (NMI), Purity and FScore.
  • ACC Accuracy
  • NMI Normalized Mutual Information
  • Purity Purity
  • the algorithm of this embodiment outperforms other state-of-the-art multi-view clustering algorithms.
  • SMVSC outperforms the clustering algorithm (LMVSC) with the same linear complexity by 18%, 2%, 7% and 1% respectively on the four data sets.
  • RMKM is a multi-view k-means clustering algorithm to solve large-scale clustering problems, however SMVSC outperforms RMKM by 27%, 11%, 19% and 1%, respectively.
  • NMI, purity, and Fscore SMVSC can be close to equivalent to other algorithms, or even exhibit better performance. Also, there are no relevant results in Table 4 due to insufficient memory for some algorithms.
  • Fig. 3 the methods and running times over seven datasets are compared.
  • the y-axis is scaled by taking the logarithm to mitigate the gap between some methods and ours. Missing bars indicate that the method encountered an out-of-memory error on the experimental platform under this dataset.
  • each data set in Figure 3 is RMKM, MVSC, AMGL, MLRSSC, FMR, PMSC, MLES, LMCSC, and Ours from left to right.
  • Figure 3 it can be seen from Figure 3 that only the first There are 9 histograms in a data set, but there will be empty positions in other data sets, and the empty positions also represent an algorithm, so the histograms in other data sets are still arranged in the above order.
  • Fig. 4 is a graph structure comparison between LMVSC and the algorithm of this embodiment on Caltech101-20. Brighter colors mean a larger value. Compared with the LMVSC graph, the graph of this example shows a clearer cluster structure with less noise.
  • the anchor graphs of each view in LMVSC are learned independently, they are concatenated to form a vm ⁇ n anchor graph then by Construct a complete graph.
  • the complete graph can be directly obtained by unifying the anchor graph Z T Z.
  • the graph of this example shows a clearer block structure, while the graph in LMVSC seems to be noisier and less clear.
  • NUSWIDEOBJ NUSWIDEOBJ
  • AwA AwA
  • YouTubeFace are selected with a sample size of 30,000 or more.
  • the algorithm of this embodiment can theoretically guarantee convergence to a local optimal value. Recorded on each data set to show the experimental convergence of this example. Due to space constraints, the evolution of target values is only plotted on five datasets Caltech101-20, Caltech101-all, SUNRGBD, NUSWIDEOBJ and AwA. As shown in Figure 5. The target value decreases monotonically in each iteration and usually converges in less than 20 iterations, and most datasets can converge in less than 10 iterations. These results verify the convergence of the algorithm through experiments.
  • This embodiment proposes a scalable multi-view subspace clustering algorithm with a unified anchor point to solve the clustering problem of large-scale data.
  • the algorithm adaptively learns weights for each view, and combines anchor learning and graph construction into a unified optimization framework. This enables the learned anchors to more accurately represent the actual underlying data distribution and obtain a more discriminative clustering structure.
  • the linear complexity of SMVSC and its fast running time make SMVSC more suitable for realistic large-scale application scenarios. Compared with the state-of-the-art multi-view subspace clustering methods and multi-view subspace clustering methods for large-scale tasks, a large number of experiments prove that SMVSC has linear time complexity while maintaining the same or even better clustering performance. class performance.
  • This embodiment provides a spectral clustering system based on unified anchor point and subspace learning, including:
  • Obtaining module used for obtaining clustering tasks and target data samples
  • An optimization module is used to optimize the constructed objective function by an alternate optimization method to obtain an optimized unified anchor graph
  • the clustering module is used to perform spectral clustering on the obtained optimized unified anchor graph to obtain the final clustering result.
  • the objective function corresponding to the construction of the anchor map is adaptively expressed as:
  • ⁇ represents the weight of the view
  • W i represents the anchor projection matrix of the i-th view
  • Z T represents the transpose of Z;
  • an alternate optimization method is used to optimize the constructed objective function, specifically including:
  • This embodiment integrates anchor point learning and graph construction into a unified framework, so that the learned anchor points can more accurately represent the actual data distribution.
  • the adaptive method is used Make the consistent anchor map capture/obtain complementary information among views while learning the importance of different views.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了基于统一锚点与子空间学习的谱聚类方法及系统。其中，本申请涉及的基于统一锚点与子空间学习的谱聚类方法，包括：S1.获取聚类任务和目标数据样本；S2.对获取的聚类任务和目标数据样本相对应的多视图数据进行统一锚点学习，并根据学习到的统一锚点自适应的构建锚图相对应的目标函数；S3.采用交替优化方法优化构建的目标函数，得到优化后的统一锚图；S4.对得到的优化后的统一锚图进行谱聚类，得到最终的聚类结果。

Description

基于统一锚点与子空间学习的谱聚类方法及系统 技术领域
本申请涉及机器学习技术领域，尤其涉及基于统一锚点与子空间学习的谱聚类方法及系统。
背景技术
多视图聚类集成了视图之间的多样性和互补信息进行聚类，是机器学习和多媒体数据挖掘社区中一种重要的无监督学习方法。现有文献中已经提出了许多多视图聚类算法，其中多视图子空间聚类非常流行。多视图子空间聚(MVSC)通常从融合的多视图数据表示中寻求统一的子空间结构，然后将数据在子空间中进行分离，即以下两步策略：i)图构建：从多视图数据中获得低维子空间表示，得到视图特定的相似图或者融合图；ii)谱聚类：对融合图进行谱聚类。通过捕获非线性结构并保留图中的成对相似性，MVSC已广泛应用于各种应用，例如图像分类、面部聚类、社区检测。
尽管现有的MVSC方法在提高聚类性能方面取得了巨大成功，但MVSC进一步应用的一个主要缺点是关于样本数的三次时间复杂度，第一个图构建阶段需要解决每次迭代的时间复杂度至少为O(n 3)的n凸二次规划子问题。此外，第二个谱聚类过程需要O(n 3)进行奇异值分解(SVD)。因此，设计可扩展的MVSC算法来处理大规模多视图数据仍然是一个悬而未决的问题。
近年来，人们提出了基于锚点的MVSC来缓解传统子空间方法的高复杂性。通过独立采样选择k个锚点，原始的大小为n×n的全局图被替换为大小为n×k的对应锚图。将各锚图等权重融合到共识图中，然后进行谱聚类得到最终的聚类结果。基于锚点的多视图子空间聚类方法的整个时间复杂度可以减少到O(n)，并且可以应用于大规模任务。
现有的基于锚点的多视图子空间聚类策略可以通过以下考虑进一步改进。首先，每个视图的锚点是通过k均值聚类或随机采样独立生成的，与其他视图信息没有关联。此外，启发式采样和图构建过程的分离导致弱判别锚点。因此，选定的锚点可能无法反映实际的数据分布并生成不精确的图结构。其次，在没有充分信息融合的情况下，互补的多视图信息没有得到很好的利用，因为图是由相应视图的锚点独立构建的。现有方法的上述两种限制都会降低聚类性能。
发明内容
本申请的目的是针对现有技术的缺陷，提供了基于统一锚点与子空间学习的谱聚类方法及系统。
为了实现以上目的，本申请采用以下技术方案：
基于统一锚点与子空间学习的谱聚类方法，包括：
S1.获取聚类任务和目标数据样本；
S2.对获取的聚类任务和目标数据样本相对应的多视图数据进行统一锚点学习，并根据学习到的统一锚点自适应的构建锚图相对应的目标函数；
S3.采用交替优化方法优化构建的目标函数，得到优化后的统一锚图；
S4.对得到的优化后的统一锚图进行谱聚类，得到最终的聚类结果。
进一步的，所述步骤S2中根据学习到的统一锚点自适应的构建锚图相对应的目标函数，表示为：
Figure PCTCN2022098949-appb-000001
s.t.α T1＝1,W i TW i＝I d,A TA＝I m,Z≥0,Z T1＝1
其中，α表示视图的权重；W i表示第i视图的锚点投影矩阵；A∈R d×m表示统一的锚矩阵，d表示整个视图的公共维度，m表示锚的数量；Z表示具有m×n维的统一锚图；v表示v个视图；α i表示第i个视图的权重；
Figure PCTCN2022098949-appb-000002
表示原始数据的第i视图，d i表示对应视图的维度，n表示样本数；α T表示α的转置；W i T表示W i的转置；Z T表示Z的转置；A T表示A的转置；I d∈R d×d表示单位矩阵；I m∈R m×m表示单位矩阵；1表示所有元素为一的向量。
进一步的，所述步骤S3中采用交替优化方法优化构建的目标函数，具体包括：
A1.固定变量A、Z、α i，则目标函数中W i的优化表示为：
Figure PCTCN2022098949-appb-000003
s.t.W i TW i＝I d
A2.更新A，固定W i、Z、α i，则目标函数中A的优化表示为：
Figure PCTCN2022098949-appb-000004
s.t.A TA＝I m
A3.更新Z，固定变量W i、A、α i，则目标函数中Z的优化表示为：
Figure PCTCN2022098949-appb-000005
s.t.Z≥0,Z T1＝1
A4.更新α i，固定其他变量W i、A、Z，则目标函数中α i的优化表示为：
Figure PCTCN2022098949-appb-000006
其中，M i＝||X i-W iAZ|| F，表示x i的重构损失。
进一步的，所述步骤A1中还包括：
通过Frobenius范数去除与W i无关的项，将步骤A1中的公式转化为以下等价问题，表示为：
Figure PCTCN2022098949-appb-000007
其中，B i＝X iZ TA T，表示矩阵的乘积。
进一步的，所述步骤A2中还包括：
通过Frobenius范数去除与A无关的项，将步骤A2中的公式转化为以下等价问题，表示为：
Figure PCTCN2022098949-appb-000008
其中，
Figure PCTCN2022098949-appb-000009
表示矩阵的乘积。
进一步的，所述步骤A3中还包括：
对Z的每一行解通过QP问题解决，则将步骤A3中的公式表示为：
Figure PCTCN2022098949-appb-000010
s.t.Z≥0,
Figure PCTCN2022098949-appb-000011
其中，j表示矩阵中的每列元素。
进一步的，所述步骤S3中采用交替优化方法优化构建的目标函数，其中终止条件为找到最小值或达到收敛条件。
相应的，基于统一锚点与子空间学习的谱聚类系统，包括：
获取模块，用于获取聚类任务和目标数据样本；
构建模块，用于对获取的聚类任务和目标数据样本相对应的多视图数据进行统一锚点学习，并根据学习到的统一锚点自适应的构建锚图相对应的目标函数；
优化模块，用于采用交替优化方法优化构建的目标函数，得到优化后的统一锚图；
聚类模块，用于对得到的优化后的统一锚图进行谱聚类，得到最终的聚类结果。
进一步的，所述构建模块中根据学习到的统一锚点自适应的构建锚图相对应的目标函数，表示为：
Figure PCTCN2022098949-appb-000012
s.t.α T1＝1,W i TW i＝I d,A TA＝I m,Z≥0,Z T1＝1
其中，α表示视图的权重；W i表示第i视图的锚点投影矩阵；A∈R d×m表示统一的锚矩阵，d表示整个视图的公共维度，m表示锚的数量；Z表示具有m×n维的统一锚图；v表示v个视图；α i表示第i个视图的权重；
Figure PCTCN2022098949-appb-000013
表示原始数据的第i视图，d i表示对应视图的维度，n表示样本数；α T表示α的转置；W i T表示W i的转置；Z T表示Z的转置；A T表示A的转置；I d∈R d×d表示单位矩阵；I m∈R m×m表示单位矩阵；1表示所有元素为一的向量。
进一步的，所述优化模块中采用交替优化方法优化构建的目标函数，具体包括：
固定变量A、Z、α i，则目标函数中W i的优化表示为：
Figure PCTCN2022098949-appb-000014
更新A，固定W i、Z、α i，则目标函数中A的优化表示为：
Figure PCTCN2022098949-appb-000015
更新Z，固定变量W i、A、α i，则目标函数中Z的优化表示为：
Figure PCTCN2022098949-appb-000016
s.t.Z≥0,Z T1＝1
更新α i，固定其他变量W i、A、Z，则目标函数中α i的优化表示为：
Figure PCTCN2022098949-appb-000017
其中，M i＝||X i-W iAZ|| F，表示x i的重构损失。
与现有技术相比，本申请提出了一种新颖的具有统一锚点与子空间学习的谱聚类方法，该方法将锚点学习和图的构建整合到一个统一的框架，使学习到的锚点可以更准确的代表实际数据分布，与现有的锚点图融合策略相比，利用自适应的方法使一致锚图捕获/获得视图间的互补信息，同时学习不同视图的重要性。大量的实验结果证明了我们的聚类性能和运行时间的优越性。
附图说明
图1是实施例一提供的基于统一锚点与子空间学习的谱聚类方法流程图；
图2是实施例一提供的传统的基于锚点的多视图子空间策略框架和本文的SMVSC策略示意图；
图3是实施例二提供的比较方法和超过七个数据集的运行时间示意图；
图4是实施例二提供的LMVSC和本算法在Caltech101-20上的图结构比较示意图；
图5是实施例二提供的本方法在五个基准数据集上的目标示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本申请的目的是为了将锚点学习和图构建结合到统一的框架中，使学习到的一致锚点可以与各视图的投影矩阵联合优化。因此，学习的锚点可以准确地表示具体的潜在数据，从而形成更好的图结构/更好的构建图结构。部视图的恢复也由单一视图对统一图的具体细节产生影响，本申请提供了基于统一锚点与子空间学习的谱聚类方法及系统。
将锚学习和图构建结合到一个统一的框架中，其中使一致锚点与各自的视图排列矩阵联合优化。因此，学习的锚点可以准确地表示实际的潜在数据分布，从而更好地构建图结构。每个视图的重要性也由单个视图对统一图的贡献自适应地衡量。最重要的是，本申请提出的算法的线性时间复杂度使其能够应用于大规模多视图数据。然后，提出了一种具有 证明收敛性的四步替代优化算法来解决由此产生的优化问题。
实施例一
本实施例提供基于统一锚点与子空间学习的谱聚类方法，如图1所示，包括：
S1.获取聚类任务和目标数据样本；
S2.对获取的聚类任务和目标数据样本相对应的多视图数据进行统一锚点学习，并根据学习到的统一锚点自适应的构建锚图相对应的目标函数；
S3.采用交替优化方法优化构建的目标函数，得到优化后的统一锚图；
S4.对得到的优化后的统一锚图进行谱聚类，得到最终的聚类结果。
评估多视图子空间聚类的性能关键在于算法中构建图的质量。在传统的基于锚点的多视图子空间聚类框架中，主要包括三个阶段：第一阶段，先启发式地选择锚点，然后通过从每个视图中的原始数据中采样来选取固定的锚点。在第二阶段，每个视图选取的锚点互相独立并分别进行锚点图的构建，各视图之间没有信息交换。第三阶段，各视图构成的特定锚图直接等量连接成一个统一的锚图，之后通过锚图进行谱聚类得到最终的聚类结果。这三个阶段相互独立，视图之间没有交互作用。与传统策略不同，本实施例提出基于一致锚点的可扩展多视图子空间聚类算法，该算法主要包括两个阶段：锚点学习和图的构建。第一阶段，本实施例针对大规模的多视图数据进行锚点学习，使学习到的锚点更能准确的代表实际数据的分布。第二阶段，考虑到各视图的重要性有所不同，本实施例通过学习到的一致锚点自适应的构建锚图，之后通过一致锚图进行谱聚类得到最终的聚类结果。这两个阶段相互促进且共同优化，使构建的一致锚图不仅具有视图间的互补信息，也具有更强的判别性图结构。该算法打破了传统方法的局限性，有效提高聚类性能。
在步骤S2中，对获取的聚类任务和目标数据样本相对应的多视图数据进行统一锚点学习，并根据学习到的统一锚点自适应的构建锚图相对应的目标函数。
利用所有原始点来表示自表达策略中的每个点，广泛用于多视图子空间聚类。尽管对全局关系进行了很好的探索，但与全局图相关的优化时间和存储成本限制了多视图子空间聚类的可扩展性。此外，用所有样本描绘一个点是不必要和多余的。因此，本实施例采用锚点策略选择一小组数据点称为锚点重建底层子空间并捕获流形结构。在现有文献中，锚点的选择可以通过从原始数据空间中随机抽样或均匀抽样，或者利用执行k-means得到的聚类中心来获得。然而，在之前的策略中，锚点在初始化后就固定了，使得锚点学习(Anchor Learning,AL)与图构建彼此分离。本实施例将这两个过程集成到一个通用框架中，从而 产生更具辨别力的锚点。
此外，从独立视图生成锚点会导致不同的锚点集，使图融合变得困难。视图之间的补充信息还没有得到很好的探索。
针对这些问题，本实施例经投影得到的统一锚点，通过自适应的学习得到具有互补视图信息和更具判别性锚点结构的统一锚图。在数学上，将本实施例的统一锚图相对应的目标函数，表示为：
Figure PCTCN2022098949-appb-000018
s.t.α T1＝1,W i TW i＝I d,A TA＝I m,Z≥0,Z T1＝1
其中，α表示视图的权重；W i表示第i视图的锚点投影矩阵，可以将统一的锚点投影到对应的原始数据空间；A∈R d×m表示统一的锚矩阵，d表示整个视图的公共维度，m表示锚的数量，在本实施例中，选择k作为公共维度，并选择锚点数m∈{k,2k,3k}，公共维度与正交约束一起将A限制为更具辨别力；Z表示具有m×n维的统一锚图；v表示v个视图；α i表示第i个视图的权重；
Figure PCTCN2022098949-appb-000019
表示原始数据的第i视图，d i表示对应视图的维度，n表示样本数；α T表示α的转置；W i T表示W i的转置；Z T表示Z的转置；A T表示A的转置；I d∈R d×d表示单位矩阵；I m∈R m×m表示单位矩阵；1表示所有元素为一的向量。
根据现有文献[Gao Q,Xia W,Wan Z,et al.2020.Tensor-SVD Based Graph Learning for Multi-View Subspace Clustering.In AAAI 3930-3937]、[Yong H,Meng D,J Li,et al.2018.Model Inconsistent but Correlated Noise:Multi-view Subspace Learning with Regularized Mixture of Gaussians]、[Cai D,Chen X.2015.Large Scale Spectral Clustering Via Landmark-Based Sparse Representation.In IEEE Trans Cybern,45(8):1669-1680]的结论，锚图Z的左奇异向量等于完整图S＝Z TZ的左奇异向量。因此，本实施例通过对Z进行SVD得到左奇异向量U，并对U执行k-means得到最终的聚类结果。
在步骤S3中，采用交替优化方法优化构建的目标函数，得到优化后的统一锚图。
当同时考虑所有变量时，目标函数中的优化问题不是联合凸的。因此，本实施例提出了一种交替优化算法来优化每个变量，即优化其中一个变量，固定其他变量。之后，本实施例提供了优化算法和时间/空间复杂度分析的总体框架。
A1.固定变量A、Z、α i，则目标函数中W i的优化表示为：
Figure PCTCN2022098949-appb-000020
如图2所示为传统的基于锚点的多视图子空间策略框架和本实施例的SMVSC策略图对比图。
由于每个W i在对应的视图方面彼此分离，因此可以通过Frobenius范数去除与W i无关的项，作为上述公式转化为以下等价问题，表示为：
Figure PCTCN2022098949-appb-000021
其中，B i＝X iZ TA T，表示矩阵的乘积。假设B i的奇异值分解(SVD)结果是U∑V T，根据现有技术中的方法计算UV T可以很容易地得到最优的W i。
A2.更新A，固定W i、Z、α i，则目标函数中A的优化可以转化为解决一下问题，表示为：
Figure PCTCN2022098949-appb-000022
类似步骤A1中W i的优化，对A进行优化，具体为通过Frobenius范数去除与A无关的项，将上述公式优化等于以下形式，表示为：
Figure PCTCN2022098949-appb-000023
其中，
Figure PCTCN2022098949-appb-000024
表示矩阵的乘积。更新变量A的最优解可以得到C的左奇异矩阵与右奇异矩阵的相乘。
A3.更新Z，固定变量W i、A、α i，更新变量Z的优化问题可以改写为：
Figure PCTCN2022098949-appb-000025
s.t.Z≥0,Z T1＝1
Z的上述优化问题可以很容易地表述为以下二次规划(QP)问题，优化可以通过对Z的每一行解通过QP问题解决，则表示为：
Figure PCTCN2022098949-appb-000026
s.t.Z≥0,
Figure PCTCN2022098949-appb-000027
其中，j表示矩阵中的每列元素。
A4.更新α i，固定其他变量W i、A、Z，可以得到更新α i的优化问题，其中令M i＝||X i-W iAZ|| F，表示为：
Figure PCTCN2022098949-appb-000028
根据Cauchy-BuniakowskySchwarz不等式，最优的α i可以直接得到。
随着迭代的进行，上述优化中的四个变量单独求解，其他变量固定。由于每个子问题都是严格凸的，目标值会单调递减，直到找到最小值或达到收敛条件。并且可以很容易地证明目标函数的下界为零。上述优化的整个过程在下表1的算法中列出。
Figure PCTCN2022098949-appb-000029
表1
对上述优化过程进行复杂性分析，具体为：首先将分析总体优化过程中的时间复杂性，然后从主要空间复杂度的角度对比了几种对比方法。
时间复杂度的分析：
计算复杂度由每个变量的优化成本组成。在更新W i时，在B i上执行SVD需要花费O(d id 2)，并且O(d idk 2)是执行矩阵乘法来得到最优W i的时间消耗。类似于更新W i，更新A的需要O(md 2)和O(dmk 2)的时间复杂度，来进行SVD分解和矩阵乘法。当解决更新Z的QP问题时，计算 所有列的成本是O(nm 3)。计算α i的时间成本仅为O(1)。因此，优化过程总的时间开销为
Figure PCTCN2022098949-appb-000030
因此，本实施例提出的优化算法的计算复杂度是线性复杂度O(n)。
经过优化后，本实施例对Z进行了SVD分解，得到了其左奇异矩阵U，并通过k均值得到了最终的聚类结果。在后处理过程中，计算复杂度是O(nm 2)，这也是一个线性复杂度。因此，在优化过程和后处理过程中都实现了一个线性时间算法。
空间复杂度的分析：
在本事实例中，主要内存代价是矩阵：
Figure PCTCN2022098949-appb-000031
A∈R k×m和Z∈R m×n。因此，本实施例的SMVSC的空间复杂性mn+(h+m)k，在这里
Figure PCTCN2022098949-appb-000032
m<<n,k<<n因此，SMVSC的空间复杂度是O(n)。
本实施例的目的为：
(1)与传统的启发式锚点抽样策略不同，将锚点学习和图的构建整合到一个统一的框架。这两个过程彼此促进并共同优化，使学习到的锚点可以更准确的代表实际数据分布。因此，得到的子空间图结构具有更强的判别性，进一步提高了聚类性能
(2)与现有的锚点图融合策略相比，通过自适应的方法使一致锚图获得视图间的互补信息，同时学习不同视图的重要性。更重要的是，我们提出的线性时间复杂度的方法被证明是更有效的大规模子空间聚类问题。
(3)设计了一个交替优化算法，以解决结果优化问题，并证明了收敛性。大量的实验结果证明了我们的聚类性能和运行时间的优越性。此外，据我们所知，与传统的基于多视图子空间的聚类方法相比，我们是第一个在超过10万个样本上高效运行MVSC的。
本实施例提出了一种新颖的具有统一锚点的可扩展多视图子空间聚类方法，该方法将锚点学习和图的构建整合到一个统一的框架，使学习到的锚点可以更准确的代表实际数据分布，与现有的锚点图融合策略相比，利用自适应的方法使一致锚图捕获/获得视图间的互补信息，同时学习不同视图的重要性。
实施例二
本实施例提供的基于统一锚点与子空间学习的谱聚类方法与实施例一的不同之处在于：
本实施例以图像数据集为例进行说明。
S1.获取与图像数据相关的聚类任务和目标数据样本；
S2.对获取的聚类任务和目标数据样本相对应的多视图数据进行统一锚点学习，并根据学习到的统一锚点自适应的构建锚图相对应的目标函数；
S3.采用交替优化方法优化构建的目标函数，得到优化后的统一锚图；
S4.对得到的优化后的统一锚图进行谱聚类，得到最终的聚类结果。
图像数据可以为面部视频图像数据集、自然灾害图像数据集、遥感图像数据集、医学图像数据集、人群图像数据集、人群计数数据集等等。
本实施例在七个广泛使用的数据集上评估了该方法的聚类性质。
将SMVSC的性能与六种最先进的多视图子空间聚类方法和两种面向大规模的方法进行比较。
Method Memory Cost Time Complexity Max Reported
RMKM (n+h)k O(n) 30475
MVSC 2vn 2+nk O(n 3) 1230
AMGL vn 2+nk O(n 3) 12613
MLRSSC (v+1)n 2 O(n 3) 2000
FMR n 2+nm O(n 3) 10158
PMSC 2vn 2+(v+1)nk O(n 3) 2386
MLES n 2+hm+mn O(n 3) 544
LMVSC vm(n+h) O(n 3) 30000
Ours mn+(h+m)k O(n) 101499
表2 比较方法的复杂性分析
对于时间和空间复杂度的分析中，如表2所示，大多数基于子空间的多视图聚类方法在上述过程中具有O(n 3)时间复杂度。在表2中计算了所比较算法的主要内存成本。很容易观察到，大多数最先进的算法的空间复杂度是O(n2)，如MVSC、AMGL、MLRSSC、FMR等。LMVSC方法也执行O(n)空间复杂度，但它们必须为每个视图构造一个图，这将比本实施例的统一空间占用更高。高时间和空间的复杂性限制了许多多视图子空间聚类的规模，使它们只适用于相对较小的数据集。在表2中显示了报告中的最大的数据集上的算法比较，它在一定程度上反映了提出算法的效率。
本实施例使用的基准数据集见表3，Caltech101-all和NUSWIDEOBJ都是对象图像数据集。CCV是一个丰富的YouTube视频数据库，包含20个语义类别。SUNRGBD数据集被密集地注释了出来。具有属性的动物数据集被称为AwA。YouTubeFace是一个从YouTube上获得的面部视频数据库。
Figure PCTCN2022098949-appb-000033
Figure PCTCN2022098949-appb-000034
表3 基准数据集的信息
将算法进行对比：
应用在大数据集上的多视图K-means聚类算法(RMKM)。这项工作是一种鲁棒的大规模多视图聚类方法，它集成了大规模数据的异构表示。
多视图子空间聚类算法(MVSC)。提出了一种有效的多视图子空间聚类方法，并验证了该算法的有效性。
无参数自动加权多图学习：一个多视图聚类和半建议分类的聚类算法(AMGL)的框架。提出了一个框架，自动学习每个图的最优权值，并获得全局最优结果。
低秩稀疏多视图子空间聚类算法(MLRSSC)。该工作通过构造所有视图之间共享的亲和矩阵来学习子空间表示，并解决了相关的低秩和稀疏约束优化问题。
针对子空间聚类(FMR)的灵活的多视图表示学习。这项工作灵活地编码不同视图编码互补信息，从而避免使用部分信息进行数据重建。
基于分区级别的多视图子空间群集的聚类算法(PMSC)。提出了一个统一的多视图子空间聚类模型，并验证了该算法的有效性。
基于潜在嵌入空间的多视图聚类算法(MLES)中的多视图聚类。该算法可以同时学习全局结构和聚类指标矩阵，然后在潜在的嵌入空间中聚类多视图数据。
具有线性时间复杂度的大规模多视图子空间聚类(LMVSC)。该算法被设计用于处理大规模的数据，并具有线性复杂度。
实验设置：
在实验设置中，W、A和Z的初始化被设置为零矩阵。遵循底层子空间所需的点数不应小于子空间数的原则，选择了{k、2k、3k}和公共维数d＝k范围内的锚点m的数量。为了进行公平的比较，从他们的原始网站上下载了比较算法的相关代码。由于所有的方法都需要利用k均值方法来得到最终的聚类结果，运行了50次k均值方法来消除所有比较方法中的随机性。然后通过广泛使用的度量精度(ACC)、标准化互信息(NMI)、纯度(purity)和FScore 来评估聚类性能。此外，实验环境是Intel Core i7-7820X CPU和64GB内存、MATLAB 2020b(64位)的台式计算机上实现的。
聚类性能：
本实施例在7个广泛使用的多视图基准数据集上将本实施例提出的算法SMVSC与8个多视图子空间聚类算法进行了比较。表4和表5显示了详细的聚类性能结果，在这些表中将最佳结果标记为粗体，次优结果标记为斜体，“-”意味着内存不足失败。
在样本大小为10,000及以下的数据集上的聚类性能：
如表4所示，选择了具有不同样本量的Caltech101-20,CCV,Caltech101-all和SUNGRBD数据集。
在ACC方面，本实施例的算法优于其他最先进的多视图聚类算法。SMVSC在四个数据集上分别超过具有同样具有线性复杂度的聚类算法(LMVSC)18％、2％、7％和1％。RMKM是一种解决大规模聚类问题的多视图的k均值聚类算法，然而SMVSC分别比RMKM高出27％、11％、19％和1％。在NMI、纯度和Fscore中，SMVSC可以与其他算法接近等同，甚至表现出更好的性能。此外，由于某些算法的内存不足，表4中没有相关的结果。例如，从图3中可以看出这两种最新的算法：MLES和PMSC，在样本大小为2000的数据集上每组参数都要耗费数以万计的时间，之后就出现了内存不足的错误。因此，没有继续进行这些算法的实验。
在图3中，比较方法和超过七个数据集的运行时间。为了清晰起见，y轴通过取对数进行缩放，以减轻一些方法和我们的方法之间的差距。缺失的条表明，该方法在这个数据集下在实验平台上遇到了内存不足的错误。
需要说明的是，图3中每个数据集中对应的柱状体从左到右依次是RMKM、MVSC、AMGL、MLRSSC、FMR、PMSC、MLES、LMCSC、Ours，但是从图3中可以看到只有第一个数据集中有9个柱状图，但是其余数据集中会有空的位置，空的位置也是代表一个算法，那么其余数据集中的柱状图依然是按照上述顺序排列。
此外，在图4中绘制了完整的图来说明本实施例与图中的LMVSC相比更好学习的聚类结构。图4为LMVSC和本实施例算法在Caltech101-20上的图结构比较。更亮的颜色意味着一个更大的值。与LMVSC图相比，本实施例的图显示出更清晰的聚类结构，噪声更小。
Figure PCTCN2022098949-appb-000035
Figure PCTCN2022098949-appb-000036
表4
由于LMVSC中每个视图的锚图是独立学习的，将它们连接起来形成一个vm×n锚点图
Figure PCTCN2022098949-appb-000037
然后由
Figure PCTCN2022098949-appb-000038
构造一个完整图。完整图可以通过统一锚图Z TZ直接得到。如图4所示，本实施例的图显示了更清晰的块结构，而LMVSC中的图似乎更嘈杂，也不那么清晰。
在样本大小超过30,000的数据集上的聚类性能：
为了更好地应用于大规模场景，选择了样本大小为30,000或更多的NUSWIDEOBJ、AwA和YouTubeFace。
在实验过程中，除解决大规模数据的算法外，所有的多视图子空间聚类算法都直接存在“内存不足”的问题。因此，对于表5中的上述数据集，这些算法没有聚类性能。
基于表5中的实验结果，提出的SMVSC在这些较大的数据集上仍然保持着良好的聚类性能。在YouTubeFace的10万样本数据集上，SMKSC在ACC、NMI、纯度和Fscore上分别比LMVSC提升了11％、10％、5％和4％。这些结果表明，本实施例的算法在处理大规模数据时具有较低的空间复杂度，并在稳定性和精度方面优于类似的算法。
表5中三万多个样本数据集下比较方法的聚类性能。其他竞争对手都内存了。’–’表示出现内存不足的故障。最好的结果是粗体，斜体表示第二或没有统计学差异。
Figure PCTCN2022098949-appb-000039
表5
运行时间：
为了进行公平的比较，统一地设置了所有的算法来执行k均值50次，并报告了最优参数集的运行时间。图3中显示了所有数据集上运行时间的分布。一些算法在一些数据集上没有实验结果，因此，本图中没有相应的直方图。可以看到SMVSC的运行时间非常有优势，并且更多关于运行时间以及加速的细节记录在表6和表7中。
从表6和表7中可以看到，SMVSC的速度明显优于其他算法，并且几乎是有一些算法的两倍。关于AMGL和MLRSSC，尽管它们对于有10,000个样本及以下的数据集工作良好，但它们消耗了太多的时间成本。更重要的是，这两种算法的聚类相比之下性能并不令人满 意。在较大的数据集上，SMVSC和面向大规模的多视图子空间聚类算法(LMVSC)的聚类性能更令人印象深刻，尽管两者都有线性复杂度。虽然LMVSC在大多数数据集中是最快的，但使用的均值采样策略和等权重组合不利于各个视图交换互补信息。
这些结果证明了SMVSC的线性时间复杂度更容易扩展到大规模数据中，而一些多视图子空间聚类算法在处理大规模数据时需要很长时间。
Figure PCTCN2022098949-appb-000040
表6
Figure PCTCN2022098949-appb-000041
表7
收敛性：
如本方法部分所述，本实施例的算法可以从理论上保证收敛到一个局部最优值。在每个数据集上记录，以显示本实施例的实验收敛性。由于空间的限制，只在五个数据集Caltech101-20,Caltech101-all,SUNRGBD,NUSWIDEOBJ和AwA上绘制目标值的演化。如图5所示。目标值在每次迭代中单调递减，通常收敛于小于20次迭代，大多数数据集可以收敛于小于10次迭代。这些结果通过实验验证了该算法的收敛性。
本实施例提出了一种具有统一锚点的可扩展的多视图子空间聚类算法来解决大规模数据的聚类问题。该算法自适应地学习每个视图的权重，并将锚点学习和图的构造结合到一个统一的优化框架中。这使得学习到的锚点能够更准确地表示实际的底层数据分布，并获得一个更有判别性的聚类结构。SMVSC具有的线性复杂度，其快速的运行时间使SMVSC更适合现实的大规模应用程序场景。与最先进的多视图子空间聚类方法和面向大规模任务的多视图子空间聚类方法相比，大量的实验证明了SMVSC具有线性时间复杂度的同时，也保持了等同甚至更好的聚类性能。
实施例三
本实施例提供了基于统一锚点与子空间学习的谱聚类系统，包括：
获取模块，用于获取聚类任务和目标数据样本；
构建模块，用于对获取的聚类任务和目标数据样本相对应的多视图数据进行统一锚点学习，并根据学习到的统一锚点自适应的构建锚图相对应的目标函数；
优化模块，用于采用交替优化方法优化构建的目标函数，得到优化后的统一锚图；
聚类模块，用于对得到的优化后的统一锚图进行谱聚类，得到最终的聚类结果。
进一步的，所述构建模块中根据学习到的统一锚点自适应的构建锚图相对应的目标函数，表示为：
Figure PCTCN2022098949-appb-000042
s.t.α T1＝1,W i TW i＝I d,A TA＝I m,Z≥0,Z T1＝1
其中，α表示视图的权重；W i表示第i视图的锚点投影矩阵；A∈R d×m表示统一的锚矩阵，d表示整个视图的公共维度，m表示锚的数量；Z表示具有m×n维的统一锚图；v表示v个视图；α i表示第i个视图的权重；
Figure PCTCN2022098949-appb-000043
表示原始数据的第i视图，d i表示对应视图的维度，n表示样本数；α T表示α的转置；W i T表示W i的转置；Z T表示Z的转置；A T表示A的转置；I d∈R d×d表示单位矩阵；I m∈R m×m表示单位矩阵；1表示所有元素为一的向量。
进一步的，所述优化模块中采用交替优化方法优化构建的目标函数，具体包括：
固定变量A、Z、α i，则目标函数中W i的优化表示为：
Figure PCTCN2022098949-appb-000044
s.t.W i TW i＝I d
更新A，固定W i、Z、α i，则目标函数中A的优化表示为：
Figure PCTCN2022098949-appb-000045
s.t.A TA＝I m
更新Z，固定变量W i、A、α i，则目标函数中Z的优化表示为：
Figure PCTCN2022098949-appb-000046
s.t.Z≥0,Z T1＝1
更新α i，固定其他变量W i、A、Z，其中令M i＝||X i-W iAZ|| F，则目标函数中α i的优化表示为：
Figure PCTCN2022098949-appb-000047
需要说明的是，本实施例提供的基于统一锚点与子空间学习的谱聚类系统与实施例一类似，在此不多作赘述。
本实施例将锚点学习和图的构建整合到一个统一的框架，使学习到的锚点可以更准确的代表实际数据分布，与现有的锚点图融合策略相比，利用自适应的方法使一致锚图捕获/获得视图间的互补信息，同时学习不同视图的重要性。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

  1. 基于统一锚点与子空间学习的谱聚类方法，其特征在于，包括：
    S1.获取聚类任务和目标数据样本；
    S2.对获取的聚类任务和目标数据样本相对应的多视图数据进行统一锚点学习，并根据学习到的统一锚点自适应的构建锚图相对应的目标函数；
    S3.采用交替优化方法优化构建的目标函数，得到优化后的统一锚图；
    S4.对得到的优化后的统一锚图进行谱聚类，得到最终的聚类结果。
  2. 根据权利要求1所述的基于统一锚点与子空间学习的谱聚类方法，其特征在于，所述步骤S2中根据学习到的统一锚点自适应的构建锚图相对应的目标函数，表示为：
    Figure PCTCN2022098949-appb-100001
    Figure PCTCN2022098949-appb-100002
    其中，α表示视图的权重；W i表示第i视图的锚点投影矩阵；A∈R d×m表示统一的锚矩阵，d表示整个视图的公共维度，m表示锚的数量；Z表示具有m×n维的统一锚图；v表示v个视图；α i表示第i个视图的权重；
    Figure PCTCN2022098949-appb-100003
    表示原始数据的第i视图，d i表示对应视图的维度，n表示样本数；α T表示α的转置；
    Figure PCTCN2022098949-appb-100004
    表示W i的转置；Z T表示Z的置换；A T表示A的转置；I d∈R d×d表示单位矩阵；I m∈R m×m表示单位矩阵；1表示所有元素为一的向量。
  3. 根据权利要求2所述的基于统一锚点与子空间学习的谱聚类方法，其特征在于，所述步骤S3中采用交替优化方法优化构建的目标函数，具体包括：
    A1.更新W i，固定变量A、Z、α i，则目标函数中W i的优化表示为：
    Figure PCTCN2022098949-appb-100005
    A2.更新A，固定W i、Z、α i，则目标函数中A的优化表示为：
    Figure PCTCN2022098949-appb-100006
    A3.更新Z，固定变量W i、A、α i，则目标函数中Z的优化表示为：
    Figure PCTCN2022098949-appb-100007
    s.t.Z≥0,Z T1＝1
    A4.更新α i，固定其他变量W i、A、Z，则目标函数中α i的优化表示为：
    Figure PCTCN2022098949-appb-100008
    其中，M i＝||X i-W iAZ|| F，表示x i的重构损失。
  4. 根据权利要求3所述的基于统一锚点与子空间学习的谱聚类方法，其特征在于，所述步骤A1中还包括：
    通过Frobenius范数去除与W i无关的项，将步骤A1中的公式转化为以下等价问题，表示为：
    Figure PCTCN2022098949-appb-100009
    其中，B i＝X iZ TA T，表示矩阵的乘积。
  5. 根据权利要求3所述的基于统一锚点与子空间学习的谱聚类方法，其特征在于，所述步骤A2中还包括：
    通过Frobenius范数去除与A无关的项，将步骤A2中的公式转化为以下等价问题，表示为：
    Figure PCTCN2022098949-appb-100010
    其中，
    Figure PCTCN2022098949-appb-100011
    表示矩阵的乘积。
  6. 根据权利要求3所述的基于统一锚点与子空间学习的谱聚类方法，其特征在于，所述步骤A3中还包括：
    对Z的每一行解通过QP问题解决，则将步骤A3中的公式表示为：
    Figure PCTCN2022098949-appb-100012
    Figure PCTCN2022098949-appb-100013
    其中，j表示矩阵中的每列元素。
  7. 根据权利要求3所述的基于统一锚点与子空间学习的谱聚类方法，其特征在于，所述步骤S3中采用交替优化方法优化构建的目标函数，其中终止条件为找到最小值或达到收敛条件。
  8. 基于统一锚点与子空间学习的谱聚类系统，其特征在于，包括：
    获取模块，用于获取聚类任务和目标数据样本；
    构建模块，用于对获取的聚类任务和目标数据样本相对应的多视图数据进行统一锚点学习，并根据学习到的统一锚点自适应的构建锚图相对应的目标函数；
    优化模块，用于采用交替优化方法优化构建的目标函数，得到优化后的统一锚图；
    聚类模块，用于对得到的优化后的统一锚图进行谱聚类，得到最终的聚类结果。
  9. 根据权利要求8所述的基于统一锚点与子空间学习的谱聚类系统，其特征在于，所述构建模块中根据学习到的统一锚点自适应的构建锚图相对应的目标函数，表示为：
    Figure PCTCN2022098949-appb-100014
    Figure PCTCN2022098949-appb-100015
    其中，α表示视图的权重；W i表示第i视图的锚点投影矩阵；A∈R d×m表示统一的锚矩阵，d表示整个视图的公共维度，m表示锚的数量；Z表示具有m×n维的统一锚图；v表示v个视图；α i表示第i个视图的权重；
    Figure PCTCN2022098949-appb-100016
    表示原始数据的第i视图，d i表示对应视图的维度，n表示样本数；α T表示α的转置；
    Figure PCTCN2022098949-appb-100017
    表示W i的转置；Z T表示Z的转置；A T表示A的转置；I d∈R d×d表示单位矩阵；I m∈R m×m表示单位矩阵；1表示所有元素为一的向量。
  10. 根据权利要求9所述的基于统一锚点与子空间学习的谱聚类系统，其特征在于，所述优化模块中采用交替优化方法优化构建的目标函数，具体包括：
    固定变量A、Z、α i，则目标函数中W i的优化表示为：
    Figure PCTCN2022098949-appb-100018
    更新A，固定W i、Z、α i，则目标函数中A的优化表示为：
    Figure PCTCN2022098949-appb-100019
    更新Z，固定变量W i、A、α i，则目标函数中Z的优化表示为：
    Figure PCTCN2022098949-appb-100020
    s.t.Z≥0,Z T1＝1
    更新α i，固定其他变量W i、A、Z，则目标函数中α i的优化表示为：
    Figure PCTCN2022098949-appb-100021
    其中，M i＝||X i-W iAZ|| F，表示xi的重构损失。
PCT/CN2022/098949 2021-06-24 2022-06-15 基于统一锚点与子空间学习的谱聚类方法及系统 WO2022267954A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/277,824 US20240161004A1 (en) 2021-06-24 2022-06-15 Spectral clustering method and system based on unified anchor and subspace learning

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202110706960.X 2021-06-24
CN202110706960.XA CN113610103A (zh) 2021-06-24 2021-06-24 基于统一锚点与子空间学习的医疗数据的聚类方法及系统
CN202111326414.XA CN114065850A (zh) 2021-06-24 2021-11-10 基于统一锚点与子空间学习的谱聚类方法及系统
CN202111326414.X 2021-11-10

Publications (1)

Publication Number Publication Date
WO2022267954A1 true WO2022267954A1 (zh) 2022-12-29

Family

ID=78303698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/098949 WO2022267954A1 (zh) 2021-06-24 2022-06-15 基于统一锚点与子空间学习的谱聚类方法及系统

Country Status (3)

Country Link
US (1) US20240161004A1 (zh)
CN (2) CN113610103A (zh)
WO (1) WO2022267954A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310452A (zh) * 2023-02-16 2023-06-23 广东能哥知识科技有限公司 一种多视图聚类方法及系统
CN117292162A (zh) * 2023-11-27 2023-12-26 烟台大学 一种多视图图像聚类的目标跟踪方法、系统、设备及介质
CN117523244A (zh) * 2023-10-31 2024-02-06 哈尔滨工业大学（威海） 一种多视图聚类方法、系统、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610103A (zh) * 2021-06-24 2021-11-05 浙江师范大学 基于统一锚点与子空间学习的医疗数据的聚类方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002854A (zh) * 2018-07-20 2018-12-14 西安电子科技大学 基于隐表示和自适应的多视图子空间聚类方法
US20200074220A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Multi-view image clustering techniques using binary compression
CN112990265A (zh) * 2021-02-09 2021-06-18 浙江师范大学 基于二部图的后期融合多视图聚类机器学习方法及系统
CN113610103A (zh) * 2021-06-24 2021-11-05 浙江师范大学 基于统一锚点与子空间学习的医疗数据的聚类方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002854A (zh) * 2018-07-20 2018-12-14 西安电子科技大学 基于隐表示和自适应的多视图子空间聚类方法
US20200074220A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Multi-view image clustering techniques using binary compression
CN112990265A (zh) * 2021-02-09 2021-06-18 浙江师范大学 基于二部图的后期融合多视图聚类机器学习方法及系统
CN113610103A (zh) * 2021-06-24 2021-11-05 浙江师范大学 基于统一锚点与子空间学习的医疗数据的聚类方法及系统
CN114065850A (zh) * 2021-06-24 2022-02-18 浙江师范大学 基于统一锚点与子空间学习的谱聚类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHEN HENG TAO, ZHUANG YUETING, SMITH JOHN R., YANG YANG, CESAR PABLO, METZE FLORIAN, PRABHAKARAN BALAKRISHNAN, SUN MENGJING, ZHANG: "Scalable Multi-view Subspace Clustering with Unified Anchors", PROCEEDINGS OF THE 29TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA, ACM, NEW YORK, NY, USA, 17 October 2021 (2021-10-17), New York, NY, USA, pages 3528 - 3536, XP093017480, ISBN: 978-1-4503-8651-7, DOI: 10.1145/3474085.3475516 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310452A (zh) * 2023-02-16 2023-06-23 广东能哥知识科技有限公司 一种多视图聚类方法及系统
CN116310452B (zh) * 2023-02-16 2024-03-19 广东能哥知识科技有限公司 一种多视图聚类方法及系统
CN117523244A (zh) * 2023-10-31 2024-02-06 哈尔滨工业大学（威海） 一种多视图聚类方法、系统、电子设备及存储介质
CN117523244B (zh) * 2023-10-31 2024-05-24 哈尔滨工业大学（威海） 一种多视图聚类方法、系统、电子设备及存储介质
CN117292162A (zh) * 2023-11-27 2023-12-26 烟台大学 一种多视图图像聚类的目标跟踪方法、系统、设备及介质
CN117292162B (zh) * 2023-11-27 2024-03-08 烟台大学 一种多视图图像聚类的目标跟踪方法、系统、设备及介质

Also Published As

Publication number Publication date
US20240161004A1 (en) 2024-05-16
CN113610103A (zh) 2021-11-05
CN114065850A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
Wang et al. Fast parameter-free multi-view subspace clustering with consensus anchor guidance
WO2022267954A1 (zh) 基于统一锚点与子空间学习的谱聚类方法及系统
Yin et al. Multiview subspace clustering via tensorial t-product representation
Xie et al. Hyper-Laplacian regularized multilinear multiview self-representations for clustering and semisupervised learning
Gao et al. Tensor-SVD based graph learning for multi-view subspace clustering
Wen et al. Unified tensor framework for incomplete multi-view clustering and missing-view inferring
Jia et al. Multi-view spectral clustering tailored tensor low-rank representation
CN112182245B (zh) 一种知识图谱嵌入模型的训练方法、系统和电子设备
Song et al. Auto-encoder based data clustering
Liu et al. Fast incomplete multi-view clustering with view-independent anchors
CN108415883A (zh) 基于子空间聚类的凸非负矩阵分解方法
Lin et al. A supervised multi-view feature selection method based on locally sparse regularization and block computing
Jia et al. Adaptive neighborhood propagation by joint L2, 1-norm regularized sparse coding for representation and classification
Xie et al. Multiple graphs learning with a new weighted tensor nuclear norm
Levin et al. Out-of-sample extension of graph adjacency spectral embedding
CN106570173B (zh) 一种基于Spark的高维稀疏文本数据聚类方法
Li et al. Parameter-free and scalable incomplete multiview clustering with prototype graph
Wang et al. Generative partial multi-view clustering
Liu et al. Multi-view subspace clustering based on tensor schatten-p norm
Zhang et al. Learning all-in collaborative multiview binary representation for clustering
Mahapatra et al. S-isomap++: Multi manifold learning from streaming data
Guo et al. Tensor-based adaptive consensus graph learning for multi-view clustering
CN109117881A (zh) 一种具有缺失核的多视图聚类机器学习方法
WO2022267956A1 (zh) 基于矩阵分解和多划分对齐的多视图聚类方法及系统
Wang et al. Approximate Large-scale Multiple Kernel k-means Using Deep Neural Network.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22827449

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18277824

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22827449

Country of ref document: EP

Kind code of ref document: A1