WO2023015631A1 - 一种基于缺失数据的分类模型生成方法 - Google Patents

一种基于缺失数据的分类模型生成方法 Download PDF

Info

Publication number
WO2023015631A1
WO2023015631A1 PCT/CN2021/116439 CN2021116439W WO2023015631A1 WO 2023015631 A1 WO2023015631 A1 WO 2023015631A1 CN 2021116439 W CN2021116439 W CN 2021116439W WO 2023015631 A1 WO2023015631 A1 WO 2023015631A1
Authority
WO
WIPO (PCT)
Prior art keywords
missing
data
hypergraph
missing data
label
Prior art date
Application number
PCT/CN2021/116439
Other languages
English (en)
French (fr)
Inventor
雷方元
黄家豪
戴青云
Original Assignee
广东技术师范大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广东技术师范大学 filed Critical 广东技术师范大学
Publication of WO2023015631A1 publication Critical patent/WO2023015631A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the invention relates to the technical field of neural networks, in particular to a method for generating a classification model based on missing data.
  • missing data completion methods There are currently three types of missing data completion methods:
  • the first category is to fill in missing data using traditional methods. Imputation methods are widely used for data completion, such as mean imputation, matrix completion for matrix factorization and singular value decomposition (SVD), and multiple imputation.
  • the second category is to use machine learning to estimate missing values, such as k-NN models, random forests, autoencoders, generative adversarial networks (GANs). Based on the use of probability density to represent missing values, there are Logistic regression, kernel methods, and multilayer perceptrons.
  • the third category is methods that use deep learning to use missing data for training. Such as the graph convolutional network method combined with Gaussian mixture model.
  • An embodiment of the present invention provides a method for generating a classification model based on missing data, which can improve model accuracy.
  • the first aspect of the embodiment of the present application provides a method for generating a classification model based on missing data, including:
  • the first feature matrix and the one-hot vector matrix are input into the hypergraph convolutional network model, so that the hypergraph convolutional network model is trained to generate a prediction model based on missing data; specifically, the hypergraph
  • the graph convolutional network model calculates the expected response of the RELU neuron according to the first feature matrix to obtain the first hidden feature
  • the first prediction label is obtained according to the first hidden feature
  • the hypergraph convolutional network model according to the The one-hot vector matrix is used to perform label propagation to obtain a second prediction label; finally, the first prediction label and the second prediction label are jointly learned to generate a classification model based on missing data.
  • the acquiring the missing data feature matrix is specifically:
  • the data missing type includes: uniform random missing, Biased missing at random and structured missing at random.
  • the obtaining the first predicted label according to the first hidden feature is specifically:
  • the second hidden feature is normalized to generate a first predicted label.
  • the joint learning of the first prediction label and the second prediction label to generate a classification model based on missing data is specifically:
  • the missing data feature matrix is represented by a probability density function of a Gaussian mixture model to obtain a first feature matrix, specifically:
  • the missing data feature matrix includes null values
  • the complete data feature matrix is represented by the probability density function of the Gaussian mixture model to obtain the first feature matrix; wherein, the first feature matrix includes: a mean value matrix, a covariance matrix, and a Gaussian mixture parameter.
  • the hypergraph convolutional network model calculates the expected response of the RELU neuron according to the first feature matrix to obtain the first hidden feature, specifically:
  • the second hidden feature is generated after performing convolution processing on the first hidden feature, specifically:
  • the hypergraph convolutional network model performs label propagation according to the one-hot vector matrix to obtain a second predicted label, specifically:
  • the one-hot vector matrix and the hypergraph Laplacian are input into the label propagation layer in the hypergraph convolutional network model, so that the label propagation layer performs label propagation to obtain the second predicted label.
  • the classification model after said generating the classification model based on missing data, it also includes:
  • the classification model based on missing data is verified, specifically:
  • the data missing rate and data selection conditions are set to generate a verification data set
  • the validation data set is input into the missing data-based classification model for validation.
  • the embodiment of the present invention provides a classification model generation method based on missing data, which first obtains the missing data feature matrix; then expresses the missing data feature matrix with the probability density function of the Gaussian mixture model, and obtains the first Feature matrix; then obtain the label corresponding to the data missing type, and obtain the one-hot vector matrix according to the label; finally, input the first feature matrix and one-hot vector matrix into the hypergraph convolutional network model, so that the hypergraph convolutional network model can be
  • a prediction model based on missing data is generated; specifically, the hypergraph convolutional network model calculates the expected response of the RELU neuron according to the first feature matrix to obtain the first hidden feature, and then obtains the first predicted label according to the first hidden feature; at the same time
  • the hypergraph convolutional network model performs label propagation according to the one-hot vector matrix to obtain the second prediction label; finally, the first prediction label and the second prediction label are jointly learned to generate a classification model based on missing data.
  • the embodiment of the present invention can use the probability density function of the Gaussian mixture model to represent the missing data, obtain the first feature matrix, and input the first feature matrix into the hypergraph convolutional network model, so that the hypergraph
  • the convolutional network model calculates the expected response of the RELU neuron, which can realize the end-to-end training of the hypergraph convolutional network model, and the finally generated classification model based on missing data can improve the classification of data in the case of missing data.
  • the accuracy of which improves the accuracy of the classification model in the case of missing data.
  • the embodiments of the present invention carry out label propagation through the hypergraph convolutional network model, so that the nodes on the hypergraph convolutional network model can further learn the node characteristics of the same label, and can further improve the performance in the case of high data missing rate.
  • the accuracy of the classification model In other words, the classification model based on missing data generated by the embodiment of the present invention not only realizes the end-to-end training of the hypergraph convolutional network model by calculating the expected response of the RELU neuron, but also considers the label propagation by performing label propagation.
  • the application of the information can solve the problem of low accuracy of the model generated by the traditional missing data completion method in the prior art.
  • Fig. 1 is a schematic flow chart of a method for generating a classification model based on missing data provided by an embodiment of the present invention
  • Fig. 2 is a schematic diagram of verification results based on the Cora dataset provided by an embodiment of the present invention
  • Fig. 3 is a schematic diagram of verification results based on the Citeseer dataset provided by an embodiment of the present invention.
  • FIG. 1 it is a schematic flowchart of a method for generating a classification model based on missing data provided by an embodiment of the present invention, including S101-S104:
  • S102 Express the missing data feature matrix with a probability density function of a Gaussian mixture model to obtain a first feature matrix.
  • S104 Input the first feature matrix and the one-hot vector matrix into the neural network model hypergraph convolutional network model, so that the neural network model hypergraph convolutional network model is trained to generate a prediction model based on missing data.
  • the hypergraph convolutional network model calculates the expected response of the RELU neuron according to the first feature matrix to obtain the first hidden feature
  • the first predicted label is obtained according to the first hidden feature
  • the hypergraph The convolutional network model performs label propagation according to the one-hot vector matrix to obtain a second prediction label
  • the first prediction label and the second prediction label are jointly learned to generate a classification model based on missing data.
  • the acquisition of missing data feature matrix is specifically:
  • the data missing type includes: uniform random missing, Biased missing at random and structured missing at random.
  • the first prediction label obtained according to the first hidden feature is specifically:
  • the second hidden feature is normalized to generate a first predicted label.
  • the classification model based on missing data is generated after the joint learning of the first prediction label and the second prediction label, specifically:
  • the missing data feature matrix is represented by the probability density function of the Gaussian mixture model to obtain the first feature matrix, specifically:
  • the missing data feature matrix includes null values
  • the complete data feature matrix is represented by the probability density function of the Gaussian mixture model to obtain the first feature matrix; wherein, the first feature matrix includes: a mean value matrix, a covariance matrix, and a Gaussian mixture parameter.
  • the missing data feature matrix includes a null value, that is, the missing data feature matrix is a feature vector matrix Xnan ⁇ R Ns ⁇ D containing a null value nan, where Ns is the number of data, D is the dimension of the data.
  • Ns is the number of data
  • D is the dimension of the data.
  • the complete data feature matrix X ⁇ R (Ns ⁇ D) is represented by the probability density function of the Gaussian mixture model, that is, the complete data feature matrix X ⁇ R (Ns ⁇ D) is represented by the mean matrix M, covariance matrix V and Gaussian
  • the mixed parameter ⁇ k represents that the first characteristic matrix is obtained:
  • X ij is the first characteristic matrix
  • N refers to a single probability density function
  • ⁇ [k] represents the mean value of the k-th Gaussian mixture component
  • ⁇ [k] represents the covariance of the k-th Gaussian mixture component.
  • the hypergraph convolutional network model calculates the expected response of the RELU neuron according to the first feature matrix to obtain the first hidden feature, specifically:
  • a Gaussian probability density function N(m, ⁇ 2 ), m represents the mean value, ⁇ represents the covariance, and its ReLU neuron response calculation formula is as follows:
  • the described first feature matrix, the hypergraph Laplacian and the convolution layer parameters are input into the first hypergraph convolution layer of the hypergraph convolutional network model (the first hypergraph
  • the convolution layer is a hypergraph convolution layer (HGC-GM), so that the first hypergraph convolution layer convolves the first feature matrix to obtain a convolution result, and calculates RELU according to the convolution result
  • HGC-GM hypergraph convolution layer
  • (GX ⁇ ) ij represents the convolution result of the first feature matrix X ij on the first hypergraph convolutional layer (G is the hypergraph Laplacian, ⁇ is the parameter of the convolutional layer),
  • ReLU[(GX ⁇ ) ij ] means to calculate the expected response of the RELU neuron according to the convolution result, then is the first hidden feature.
  • G denotes the symmetric-normalized hypergraph Laplacian
  • Dv denotes the vertex degree matrix
  • H denotes the hypergraph’s incidence matrix
  • w denotes the diagonal matrix of hyperedge weights
  • De denotes the hyperedge degree matrix.
  • the end-to-end training of the hypergraph convolutional network model can be realized, so that the generated data based on the missing data after the training is completed The accuracy of the classification model can be improved.
  • the second hidden feature is generated after performing convolution processing according to the first hidden feature, specifically:
  • the second hypergraph convolution layer is a hypergraph convolution layer HGC, which is defined as follows:
  • ⁇ ( ) represents the activation function
  • the first hypergraph convolution layer and the second hypergraph convolution layer constitute the first branch network
  • the first branch network includes a two-layer network structure (ie, the first hypergraph convolution layer and the second hypergraph convolution layer)
  • the two-layer network structure is defined as follows:
  • N represents the number of input data
  • C represents the type of input data
  • the hypergraph convolutional network model only propagates features, the accuracy of classification results decreases as the missing rate of features increases.
  • the label propagation layer on the hypergraph convolutional network model is used to enhance the learning ability of the model.
  • the hypergraph convolutional network model performs label propagation according to the one-hot vector matrix to obtain a second predicted label, specifically:
  • the one-hot vector matrix and the hypergraph Laplacian are input into the label propagation layer in the hypergraph convolutional network model, so that the label propagation layer performs label propagation to obtain the second predicted label.
  • the label propagation layer includes a two-layer structure. Then the one-hot vector matrix Y ⁇ R (Ns ⁇ C) and the hypergraph Laplacian G ⁇ R (Ns ⁇ Ns) are input to the label propagation layer in the hypergraph convolutional network model , so that the label propagation layer performs label propagation according to the one-hot vector matrix, as follows:
  • Y (l) denotes a one-hot vector matrix and G denotes a symmetric-normalized hypergraph Laplacian.
  • the output of the label propagation layer is a vector According to the vector generate the second predicted label
  • the first branch network and the second branch network perform information dissemination at the same time.
  • the predicted label distribution of the first branch network is the first predicted label
  • the predicted label distribution of the second branch network is the second predicted label Will Convert to decimal label distribution, and after joint learning of the first predicted label and the second predicted label, calculate the combined loss function, as follows:
  • L lp is the loss function of the second branch network.
  • the hypergraph structure that is, the network structure of the hypergraph convolutional network model used
  • the hypergraph structure H is optimized by backpropagation, which can be expressed by the following formula:
  • For the predicted label distribution of the first branch network Compute its distribution with the true label (that is, the predicted label distribution of the second branch network) and backpropagate the cross-entropy loss to optimize the network parameters, as follows:
  • L hgc is the loss function of the first branch network.
  • ⁇ is a hyperparameter controlling the influence of label propagation.
  • the classification model after generating the classification model based on missing data, it also includes:
  • the classification model based on missing data is verified, specifically:
  • the validation data set is input into the missing data-based classification model for validation.
  • the missing data rate includes nine types: 10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%, and 90%.
  • Data missing types include: uniform random missing, biased random missing and structural random missing, where uniform random missing is defined as: for a complete feature matrix X ⁇ R (N ⁇ D) , randomly select m% of X according to uniform probability elements; the definition of biased random missing: For a complete feature matrix X ⁇ R (N ⁇ D) , each column randomly deletes 10% or 90% of the features, and the condition is set as (m-10%)/( 90%-10%) to randomly select features; the definition of structural random missing is: randomly delete node features with behavior index according to m% missing rate.
  • the hypergraph structure is constructed from the initial graph structure. Specifically, each node is regarded as a centroid, and the centroid and the nodes associated with the centroid are added to hyperedges respectively. Set the hyperedge weight to 1, so as to obtain the incidence matrix H representing the hypergraph.
  • the training part is 5.2% and 4.1% of the dataset on CORA and Citeseer respectively, the number of hidden neurons is 16, and the dropout is 0.5.
  • Figure 2 and Figure 3 are respectively a schematic diagram of the verification results based on the Cora dataset and a verification result based on the Citeseer dataset provided by the embodiment of the present invention schematic diagram.
  • Missing Type column indicates three types of missing data, which are Uniform randomly missing, Biased randomly missing and Structurally missing; Missing rate indicates the missing rate from 10% to 90%.
  • MEAN, KNN, MFT, SoftImp, VAE, GAIN, GINN, and GCNmf are methods for filling missing data for comparison in the experiment:
  • MEAN A method of imputing missing data using the mean of existing data
  • KNN A method of sampling similar features through nearest neighbors and using the mean of these features to interpolate missing values
  • MFT an imputation method that decomposes the feature matrix of missing data into two low-rank matrices
  • SoftImp A method for iteratively interpolating missing values using soft-threshold singular value decomposition (SVD) estimated values
  • VAE Method for reconstructing missing values based on variational autoencoder
  • GAIN A method for interpolating missing data based on the confrontational generation network GAN;
  • GINN Interpolation method based on graph denoising self-encoder
  • GCNmf Gaussian Mixture Model-Based Graph Convolutional Networks for Missing Data Training.
  • HGCN LPGMM is a method proposed by the embodiment of the present invention that uses the probability density function of the Gaussian mixture model to represent the missing data feature matrix, and simultaneously transmits information through the first network branch and the second network branch.
  • HGCN GMM is HGCN LPGMM that removes the second A variant of the network branch.
  • Figure 2 and Figure 3 represent the accuracy of the classification results under different data missing types and different missing rates for different methods of filling missing data applied to the classification model.
  • HGCN LPGMM can effectively improve the accuracy of the classification model, that is, improve the accuracy of the classification results output by the classification model.
  • label propagation through the second network branch can further improve the classification accuracy of the model.
  • the embodiment of the present invention proposes a method for generating a classification model based on missing data.
  • the generating method includes: first obtaining the missing data feature matrix; then expressing the missing data feature matrix with a probability density function of a Gaussian mixture model to obtain the first feature matrix; then obtain the label corresponding to the data missing type, and obtain the one-hot vector matrix according to the label; finally, input the first feature matrix and one-hot vector matrix into the hypergraph convolutional network model, so that the hypergraph convolutional network model can be trained Finally, a prediction model based on missing data is generated; specifically, after the hypergraph convolutional network model calculates the expected response of the RELU neuron according to the first feature matrix to obtain the first hidden feature, the first predicted label is obtained according to the first hidden feature; The graph convolutional network model performs label propagation according to the one-hot vector matrix to obtain the second prediction label; finally, the first prediction label and the second prediction label are jointly learned to generate a classification model based on missing data.
  • the embodiment of the present invention can use the probability density function of the Gaussian mixture model to represent the missing data, obtain the first feature matrix, and input the first feature matrix into the hypergraph convolutional network model, so that the hypergraph convolutional network model can calculate
  • the expected response of the RELU neuron can realize the end-to-end training of the hypergraph convolutional network model, and the finally generated classification model based on missing data can improve the accuracy of data classification in the case of missing data, namely Improved the accuracy of classification models in the presence of missing data.
  • the embodiments of the present invention carry out label propagation through the hypergraph convolutional network model, so that the nodes on the hypergraph convolutional network model can further learn the node characteristics of the same label, and can further improve the performance in the case of high data missing rate.
  • the accuracy of the classification model In other words, the classification model based on missing data generated by the embodiment of the present invention not only realizes the end-to-end training of the hypergraph convolutional network model by calculating the expected response of the RELU neuron, but also considers the label propagation by performing label propagation.
  • the application of the information can solve the problem of low accuracy of the model generated by the traditional missing data completion method in the prior art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于缺失数据的分类模型生成方法，包括：获取缺失数据特征矩阵；将缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵；获取并根据数据缺失类型对应的标签得到独热向量矩阵；将第一特征矩阵和独热向量矩阵输入超图卷积网络模型中，以使超图卷积网络模型进行训练后生成基于缺失数据的预测模型；具体为，超图卷积网络模型根据第一特征矩阵计算RELU神经元的期望响应得到第一隐藏特征后，根据第一隐藏特征得到第一预测标签；超图卷积网络模型根据独热向量矩阵进行标签传播，得到第二预测标签；将第一预测标签和第二预测标签进行联合学习后生成基于缺失数据的分类模型。采用本发明实施例能够提高模型精度。

Description

一种基于缺失数据的分类模型生成方法 技术领域
本发明涉及神经网络技术领域，尤其涉及一种基于缺失数据的分类模型生成方法。
背景技术
在深度学习领域中，难以获取某些应用场景的完整数据，例如社交网络个人隐私信息、工业传感器的丢失数据等。所以在难以获取完整数据的情况下，对于模型的训练过程，如何对缺失数据进行补全是十分重要的问题。目前缺失数据的补全方法有以下三大类：
第一类是使用传统方法补齐缺失的数据。插补方法广泛用于数据补全，例如均值插补、矩阵分解和奇异值分解(SVD)的矩阵补全，以及多重插补。第二类是使用机器学习来估计缺失值，例如k-NN模型、随机森林、自动编码器、生成性对抗网络(GAN)。在利用概率密度表示缺失值的基础上，有Logistic回归、核方法和多层感知器。第三类是使用深度学习将缺失数据用于训练的方法。如结合高斯混合模型的图卷积网络方法。
然而，以上现有的传统方法及机器学习方法在虽然在一定程度上对缺失特征进行了补全，但无法对模型实现端到端的训练；而高斯混合模型表示缺失特征的图卷积网络方法忽略了特征之间的高阶关系及标签信息的利用，所以在训练模型的过程中，采用上述三大类的缺失数据补全方法后生成的模型精度不高。
发明内容
本发明实施例提供一种基于缺失数据的分类模型生成方法，能够提高模型精度。
本申请实施例的第一方面提供了一种基于缺失数据的分类模型生成方法， 包括：
获取缺失数据特征矩阵；
将所述缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵；
获取数据缺失类型对应的标签，并根据所述标签得到独热向量矩阵；
将所述第一特征矩阵和所述独热向量矩阵输入超图卷积网络模型中，以使所述超图卷积网络模型进行训练后生成基于缺失数据的预测模型；具体为，所述超图卷积网络模型根据所述第一特征矩阵计算RELU神经元的期望响应得到第一隐藏特征后，根据所述第一隐藏特征得到第一预测标签；同时所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签；最后将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型。
在第一方面的一种可能的实现方式中，所述获取缺失数据特征矩阵，具体为：
获取非欧式结构的训练数据集和数据缺失类型，根据所述数据缺失类型对所述训练数据集进行预处理，得到所述缺失数据特征矩阵；其中，所述数据缺失类型包括：均匀随机缺失、有偏随机缺失和结构随机缺失。
在第一方面的一种可能的实现方式中，所述根据所述第一隐藏特征得到第一预测标签，具体为：
将所述第一隐藏特征进行卷积处理后生成第二隐藏特征；
将所述第二隐藏特征进行归一化处理，生成第一预测标签。
在第一方面的一种可能的实现方式中，所述将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型，具体为：
将所述第一预测标签和所述第二预测标签进行联合学习后，计算组合损失函数；
根据所述组合损失函数对所述超图卷积网络模型进行端对端的迭代训练，当训练次数等于预设数值时，结束训练并生成所述基于缺失数据的分类模型。
在第一方面的一种可能的实现方式中，所述将所述缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵，具体为：
所述缺失数据特征矩阵包括空值；
获取所述空值的列元素，根据所述列元素的平均值对空值进行插补，得到完整数据特征矩阵；
将所述完整数据特征矩阵用所述高斯混合模型的概率密度函数表示，得到所述第一特征矩阵；其中，所述第一特征矩阵包括：均值矩阵、协方差矩阵和高斯混合参数。
在第一方面的一种可能的实现方式中，所述超图卷积网络模型根据所述第一特征矩阵计算RELU神经元的期望响应得到第一隐藏特征，具体为：
获取超图拉普拉斯算子和卷积层参数；
将所述第一特征矩阵、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第一超图卷积层中，以使所述第一超图卷积层对所述第一特征矩阵进行卷积，得到卷积结果；
根据所述卷积结果计算RELU神经元的期望响应，并得到所述第一隐藏特征。
在第一方面的一种可能的实现方式中，所述将所述第一隐藏特征进行卷积处理后生成第二隐藏特征，具体为：
将所述第一隐藏特征、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第二超图卷积层中，以使所述第二超图卷积层对所述第一隐藏矩阵进行卷积，得到所述第二隐藏特征。
在第一方面的一种可能的实现方式中，所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签，具体为：
将所述独热向量矩阵和所述超图拉普拉斯算子输入至所述超图卷积网络模型中的标签传播层中，以使所述标签传播层根据所述独热向量矩阵进行标签传播，得到所述第二预测标签。
在第一方面的一种可能的实现方式中，所述在所述生成基于缺失数据的分 类模型后，还包括：
对所述基于缺失数据的分类模型进行验证，具体为：
获取Cora和Citeseer数据集；
根据所述数据缺失类型对所述Cora和Citeseer数据集进行预处理后，设置数据缺失率和数据选取条件，生成验证数据集；
将所述验证数据集输入至所述基于缺失数据的分类模型中进行验证。
相比于现有技术，本发明实施例提供的一种基于缺失数据的分类模型生成方法，先获取缺失数据特征矩阵；再将缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵；接着获取数据缺失类型对应的标签，并根据标签得到独热向量矩阵；最后将第一特征矩阵和独热向量矩阵输入超图卷积网络模型中，以使超图卷积网络模型进行训练后生成基于缺失数据的预测模型；具体为，超图卷积网络模型根据第一特征矩阵计算RELU神经元的期望响应得到第一隐藏特征后，根据第一隐藏特征得到第一预测标签；同时超图卷积网络模型根据独热向量矩阵进行标签传播，得到第二预测标签；最后将第一预测标签和第二预测标签进行联合学习后生成基于缺失数据的分类模型。
其有益效果在于：本发明实施例能够用高斯混合模型的概率密度函数表示缺失数据，得到第一特征矩阵，并将所述第一特征矩阵输入至超图卷积网络模型中，以使超图卷积网络模型计算RELU神经元的期望响应，便能够实现对所述超图卷积网络模型的端对端训练，最后生成的基于缺失数据的分类模型能够提高在缺失数据的情况下对数据分类的准确性，即提高了在缺失数据的情况下的分类模型的精度。同时，本发明实施例通过超图卷积网络模型进行标签传播，能够使超图卷积网络模型上的节点进一步学习到相同标签的节点特征，能够进一步地提高在高数据缺失率的情况下的分类模型的精度。换言之，本发明实施例所生成基于缺失数据的分类模型，既通过计算RELU神经元的期望响应实现了对所述超图卷积网络模型的端对端训练、又通过进行标签传播考虑了对标签信息的应用，能够解决现有技术中采用传统缺失数据补全方法后生成的模型精度不高的问题。
附图说明
图1是本发明一实施例提供的一种基于缺失数据的分类模型生成方法的流程示意图；
图2是本发明一实施例提供的基于Cora数据集的验证结果示意图；
图3是本发明一实施例提供的基于Citeseer数据集的验证结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，是本发明一实施例提供的一种基于缺失数据的分类模型生成方法的流程示意图，包括S101-S104：
S101：获取缺失数据特征矩阵。
S102：将缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵。
S103：获取数据缺失类型对应的标签，并根据标签得到独热向量矩阵；
S104：将第一特征矩阵和独热向量矩阵输入神经网络模型超图卷积网络模型中，以使神经网络模型超图卷积网络模型进行训练后生成基于缺失数据的预测模型。
具体为，所述超图卷积网络模型根据所述第一特征矩阵计算RELU神经元的期望响应得到第一隐藏特征后，根据所述第一隐藏特征得到第一预测标签；同时所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签；最后将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型。
在本实施例中，所述获取缺失数据特征矩阵，具体为：
获取非欧式结构的训练数据集和数据缺失类型，根据所述数据缺失类型对所述训练数据集进行预处理，得到所述缺失数据特征矩阵；其中，所述数据缺失类型包括：均匀随机缺失、有偏随机缺失和结构随机缺失。
在本实施例中，所述根据所述第一隐藏特征得到第一预测标签，具体为：
将所述第一隐藏特征进行卷积处理后生成第二隐藏特征；
将所述第二隐藏特征进行归一化处理，生成第一预测标签。
在本实施例中，所述将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型，具体为：
将所述第一预测标签和所述第二预测标签进行联合学习后，计算组合损失函数；
根据所述组合损失函数对所述超图卷积网络模型进行端对端的迭代训练，当训练次数等于预设数值时，结束训练并生成所述基于缺失数据的分类模型。
在本实施例中，所述将所述缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵，具体为：
所述缺失数据特征矩阵包括空值；
获取所述空值的列元素，根据所述列元素的平均值对空值进行插补，得到完整数据特征矩阵；
将所述完整数据特征矩阵用所述高斯混合模型的概率密度函数表示，得到所述第一特征矩阵；其中，所述第一特征矩阵包括：均值矩阵、协方差矩阵和高斯混合参数。
在一具体实施例中，所述缺失数据特征矩阵包括空值，即所述缺失数据特征矩阵为为包含空值nan的特征向量矩阵Xnan∈R Ns×D，其中，Ns为数据的数量，D为数据的维度。利用空值nan所在列的列元素的平均值对空值nan进行插补，得到完整数据特征矩阵X∈R (Ns×D)，Ns为数据的数量，D为数据的维度。然后将完整数据特征矩阵X∈R (Ns×D)用所述高斯混合模型的概率密度函数表示，即将完整数据特征矩阵X∈R (Ns×D)用均值矩阵M、协方差矩阵V和高斯混合参数π k表示，得到第一特征矩阵：
Figure PCTCN2021116439-appb-000001
Figure PCTCN2021116439-appb-000002
Figure PCTCN2021116439-appb-000003
其中，X ij为第一特征矩阵，N指单个概率密度函数，μ [k]表示第k个高斯混合分量的均值，σ [k]表示第k个高斯混合分量的协方差。
在本实施例中，所述超图卷积网络模型根据所述第一特征矩阵计算RELU神经元的期望响应得到第一隐藏特征，具体为：
获取超图拉普拉斯算子和卷积层参数；
将所述第一特征矩阵、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第一超图卷积层中，以使所述第一超图卷积层对所述第一特征矩阵进行卷积，得到卷积结果；
根据所述卷积结果计算RELU神经元的期望响应，并得到所述第一隐藏特征。
在一具体实施例中，一个高斯概率密度函数N(m,σ 2)，m表示均值，σ表示协方差，其ReLU神经元响应计算公式如下：
Figure PCTCN2021116439-appb-000004
Figure PCTCN2021116439-appb-000005
Figure PCTCN2021116439-appb-000006
则所述将所述第一特征矩阵、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第一超图卷积层(第一超图卷积层为超图卷积层HGC-GM)中，以使所述第一超图卷积层对所述第一特征矩阵进行卷积，得到卷积结果，根据所述卷积结果计算RELU神经元的期望响应，并得到所述第一隐 藏特征，可由以下公式表示：
Figure PCTCN2021116439-appb-000007
Figure PCTCN2021116439-appb-000008
Figure PCTCN2021116439-appb-000009
Figure PCTCN2021116439-appb-000010
其中，(GXθ) ij表示第一特征矩阵X ij在第一超图卷积层上的卷积结果(G为超图拉普拉斯算子、θ为卷积层参数)，ReLU[(GXθ) ij]表示根据卷积结果计算RELU神经元的期望响应，则
Figure PCTCN2021116439-appb-000011
为第一隐藏特征。
Figure PCTCN2021116439-appb-000012
表示特征缺失时概率密度函数中的均值在超图上的卷积，
Figure PCTCN2021116439-appb-000013
表示特征缺失时概率密度函数中的协方差在超图上的卷积。G表示对称归一化的超图拉普拉斯，D v表示顶点度矩阵，H表示超图的关联矩阵，w表示超边权重的对角矩阵，D e表示超边度矩阵。
其中，在计算RELU神经元的期望响应，并得到所述第一隐藏特征后，便能给够实现对超图卷积网络模型的端对端训练，以使训练完成后生成的基于缺失数据的分类模型的精度能够有所提高。
在本实施例中，所述根据所述第一隐藏特征进行卷积处理后生成第二隐藏特征，具体为：
将所述第一隐藏特征、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第二超图卷积层中，以使所述第二超图卷积层对所述第一隐藏矩阵进行卷积，得到所述第二隐藏特征。
在一具体实施例中，所述第二超图卷积层为超图卷积层HGC，其定义如下：
Figure PCTCN2021116439-appb-000014
其中，σ(·)表示激活函数。
具体地，第一超图卷积层和第二超图卷积层构成第一分支网络，则第一分支网络包括两层网络结构(即第一超图卷积层和第二超图卷积层)，则该两层网络结构的定义如下：
Figure PCTCN2021116439-appb-000015
其中，
Figure PCTCN2021116439-appb-000016
为第一分支网络的输出特征矩阵，即第二隐藏特征；N表示输入数据的数量，C表示输入数据的种类。
对第二隐藏特征
Figure PCTCN2021116439-appb-000017
进行归一化处理，生成第一预测标签
Figure PCTCN2021116439-appb-000018
由于超图卷积网络模型只对特征进行传播，分类结果的准确率随着特征的缺失率越高而降低。为了提高超图卷积网络模型在特征高缺失率情况的分类准确率，利用超图卷积网络模型上的标签传播层增强模型的学习能力。
在本实施例中，所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签，具体为：
将所述独热向量矩阵和所述超图拉普拉斯算子输入至所述超图卷积网络模型中的标签传播层中，以使所述标签传播层根据所述独热向量矩阵进行标签传播，得到所述第二预测标签。
具体地，标签传播层作为第二分支网络，包括两层结构。则将所述独热向量矩阵Y∈R (Ns×C)和所述超图拉普拉斯算子G∈R (Ns×Ns)输入至所述超图卷积网络模型中的标签传播层中，以使所述标签传播层根据所述独热向量矩阵进行标签传播，如下所示：
Y (l+1)＝GY (l)，
Figure PCTCN2021116439-appb-000019
其中Y (l)表示独热向量矩阵，G表示对称归一化的超图拉普拉斯。所述标签 传播层的输出为向量
Figure PCTCN2021116439-appb-000020
根据所述向量
Figure PCTCN2021116439-appb-000021
生成第二预测标签
Figure PCTCN2021116439-appb-000022
在本实施例中，第一分支网络与第二分支网络同时进行信息传播。其中，第一分支网络的预测标签分布为第一预测标签
Figure PCTCN2021116439-appb-000023
第二分支网络的预测标签分布为第二预测标签
Figure PCTCN2021116439-appb-000024
将
Figure PCTCN2021116439-appb-000025
转为十进制标签分布，且将所述第一预测标签和所述第二预测标签进行联合学习后，计算组合损失函数，如下所示：
Figure PCTCN2021116439-appb-000026
其中，L lp为第二分支网络的损失函数。
为了利用标签传播动态优化超图结构(即所使用的超图卷积网络模型的网络结构)，以最小化
Figure PCTCN2021116439-appb-000027
与
Figure PCTCN2021116439-appb-000028
的预测分布差异为优化条件，对超图结构H进行反向传播优化，可由以下公式表示：
Figure PCTCN2021116439-appb-000029
其中，
Figure PCTCN2021116439-appb-000030
为对超图结构H进行反向传播优化后的结果。
对于第一分支网络的预测标签分布
Figure PCTCN2021116439-appb-000031
计算其与真实标签分布
Figure PCTCN2021116439-appb-000032
(也即第二分支网络的预测标签分布)的差异并将交叉熵损失进行反向传播以优化网络参数，如下所示：
Figure PCTCN2021116439-appb-000033
其中，L hgc为第一分支网络的损失函数。
则所述组合损失函数的定义如下：
Figure PCTCN2021116439-appb-000034
其中，λ为控制标签传播影响的超参数。
接着根据所述组合损失函数对所述超图卷积网络模型进行端对端的迭代训练，当训练次数等于预设数值时，结束训练并生成所述基于缺失数据的分类模型。将所述组合损失函数进行反向传播，能够优化网络权重及超图结构。
在本实施例中，在所述生成基于缺失数据的分类模型后，还包括：
对所述基于缺失数据的分类模型进行验证，具体为：
获取Cora和Citeseer数据集；
根据数据缺失类型对所述Cora和Citeseer数据集进行预处理后，设置数据缺失率和数据选取条件，生成验证数据集；
将所述验证数据集输入至所述基于缺失数据的分类模型中进行验证。
具体地，数据缺失率包括：10％、20％、30％、40％、50％、60％、70％、80％、90％九种。数据缺失类型包括：均匀随机缺失、有偏随机缺失和结构随机缺失，其中，均匀随机缺失的定义为：对于一个完全特征矩阵X∈R (N×D)，按均匀概率随机抽取X中m％的元素；有偏随机缺失的定义：为对于一个完全特征矩阵X∈R (N×D)，每列随机删除10％或90％的特征，并将条件设置为(m-10％)/(90％-10％)来随机选择特征；结构随机缺失的定义为：按m％的缺失率以行为索引随机删除节点特征。
对于Cora和Citeseer数据集，从初始的图结构开始构造超图结构。具体地说，将每个节点视为质心，并将质心和与质心相关联的节点分别添加到超边。将超边权重设置为1，从而得到表示超图的关联矩阵H。对于节点分类，在CORA和Citeseer上训练部分分别为数据集的5.2％和4.1％，隐藏神经元的数量为16，Dropout为0.5。
为了进一步说明基于缺失数据的分类模型的验证结果，请参照图2和图3，图2、图3分别是本发明实施例提供的基于Cora数据集的验证结果示意图和基于Citeseer数据集的验证结果示意图。
其中，Missing Type列表示三种数据缺失类型，分别为均匀随机缺失Uniform randomly missing、有偏随机缺失Biased randomly missing和结构随机缺失 Structurally missing；Missing rate表示从10％到90％的缺失率。
MEAN、KNN、MFT、SoftImp、VAE、GAIN、GINN、GCNmf分别为实验中用于比对的补齐缺失的数据的方法：
MEAN:利用已有数据的均值对缺失数据进行插补的方法；
KNN:通过最近邻对相似特征进行采样，利用这些特征的均值插补缺失值的方法；
MFT:将缺失数据的特征矩阵分解为两个低秩矩阵的插补方法；
SoftImp：利用软阈值奇异值分解(SVD)估计的值迭代插补缺失值的方法；
VAE：基于变分自动编码器VAE的重建缺失值的方法；
GAIN：基于对抗生成网络GAN的插补缺失数据的方法；
GINN：基于图去噪自编码器的插补方法；
GCNmf：基于高斯混合模型的图卷积网络对缺失数据进行训练的方法。
HGCN LPGMM为本发明实施例提出的用高斯混合模型的概率密度函数表示缺失数据特征矩阵、且同时通过第一网络分支和第二网络分支进行信息传播的方法，HGCN GMM为HGCN LPGMM移除第二网络分支的变体。
相应地，图2、图3的中的数字代表着，应用于分类模型的不同补齐缺失的数据的方法在不同的数据缺失类型以及不同的缺失率下，分类结果的准确率。
而图2、图3均表明，相比于MEAN、KNN、MFT、SoftImp、VAE、GAIN、GINN、GCNmf，HGCN LPGMM能够有效提高分类模型的精度，即提高分类模型输出的分类结果的准确率。而根据HGCN LPGMM和HGCN GMM之间的准确率数据可得，通过第二网络分支进行标签传播能够进一步提高模型的分类准确率。
本发明实施例提出了一种基于缺失数据的分类模型生成方法，所述生成方法包括：先获取缺失数据特征矩阵；再将缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵；接着获取数据缺失类型对应的标签，并根据标签得到独热向量矩阵；最后将第一特征矩阵和独热向量矩阵输入超图卷积网络模型中，以使超图卷积网络模型进行训练后生成基于缺失数据的预测模型；具体为，超图卷积网络模型根据第一特征矩阵计算RELU神经元的期望响 应得到第一隐藏特征后，根据第一隐藏特征得到第一预测标签；同时超图卷积网络模型根据独热向量矩阵进行标签传播，得到第二预测标签；最后将第一预测标签和第二预测标签进行联合学习后生成基于缺失数据的分类模型。
本发明实施例能够用高斯混合模型的概率密度函数表示缺失数据，得到第一特征矩阵，并将所述第一特征矩阵输入至超图卷积网络模型中，以使超图卷积网络模型计算RELU神经元的期望响应，便能够实现对所述超图卷积网络模型的端对端训练，最后生成的基于缺失数据的分类模型能够提高在缺失数据的情况下对数据分类的准确性，即提高了在缺失数据的情况下的分类模型的精度。同时，本发明实施例通过超图卷积网络模型进行标签传播，能够使超图卷积网络模型上的节点进一步学习到相同标签的节点特征，能够进一步地提高在高数据缺失率的情况下的分类模型的精度。换言之，本发明实施例所生成基于缺失数据的分类模型，既通过计算RELU神经元的期望响应实现了对所述超图卷积网络模型的端对端训练、又通过进行标签传播考虑了对标签信息的应用，能够解决现有技术中采用传统缺失数据补全方法后生成的模型精度不高的问题。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

  1. 一种基于缺失数据的分类模型生成方法，其特征在于，包括：
    获取缺失数据特征矩阵；
    将所述缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵；
    获取数据缺失类型对应的标签，并根据所述标签得到独热向量矩阵；
    将所述第一特征矩阵和所述独热向量矩阵输入超图卷积网络模型中，以使所述超图卷积网络模型进行训练后生成基于缺失数据的预测模型；具体为，所述超图卷积网络模型根据所述第一特征矩阵计算RELU神经元的期望响应得到第一隐藏特征后，根据所述第一隐藏特征得到第一预测标签；同时所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签；最后将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型。
  2. 根据权利要求1所述的一种基于缺失数据的分类模型生成方法，其特征在于，所述获取缺失数据特征矩阵，具体为：
    获取非欧式结构的训练数据集和数据缺失类型，根据所述数据缺失类型对所述训练数据集进行预处理，得到所述缺失数据特征矩阵；其中，所述数据缺失类型包括：均匀随机缺失、有偏随机缺失和结构随机缺失。
  3. 根据权利要求2所述的一种基于缺失数据的分类模型生成方法，其特征在于，所述根据所述第一隐藏特征得到第一预测标签，具体为：
    将所述第一隐藏特征进行卷积处理后生成第二隐藏特征；
    将所述第二隐藏特征进行归一化处理，生成第一预测标签。
  4. 根据权利要求3所述的一种基于缺失数据的分类模型生成方法，其特征 在于，所述将所述第一预测标签和所述第二预测标签进行联合学习后生成基于缺失数据的分类模型，具体为：
    将所述第一预测标签和所述第二预测标签进行联合学习后，计算组合损失函数；
    根据所述组合损失函数对所述超图卷积网络模型进行端对端的迭代训练，当训练次数等于预设数值时，结束训练并生成所述基于缺失数据的分类模型。
  5. 根据权利要求4所述的一种基于缺失数据的分类模型生成方法，其特征在于，所述将所述缺失数据特征矩阵用高斯混合模型的概率密度函数表示，得到第一特征矩阵，具体为：
    所述缺失数据特征矩阵包括空值；
    获取所述空值的列元素，根据所述列元素的平均值对空值进行插补，得到完整数据特征矩阵；
    将所述完整数据特征矩阵用所述高斯混合模型的概率密度函数表示，得到所述第一特征矩阵；其中，所述第一特征矩阵包括：均值矩阵、协方差矩阵和高斯混合参数。
  6. 根据权利要求5所述的一种基于缺失数据的分类模型生成方法，其特征在于，所述超图卷积网络模型根据所述第一特征矩阵计算RELU神经元的期望响应得到第一隐藏特征，具体为：
    获取超图拉普拉斯算子和卷积层参数；
    将所述第一特征矩阵、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第一超图卷积层中，以使所述第一超图卷积层对所述第一特征矩阵进行卷积，得到卷积结果；
    根据所述卷积结果计算RELU神经元的期望响应，并得到所述第一隐藏特征。
  7. 根据权利要求6所述的一种基于缺失数据的分类模型生成方法，其特征在于，所述将所述第一隐藏特征进行卷积处理后生成第二隐藏特征，具体为：
    将所述第一隐藏特征、所述超图拉普拉斯算子和所述卷积层参数输入所述超图卷积网络模型的第二超图卷积层中，以使所述第二超图卷积层对所述第一隐藏矩阵进行卷积，得到所述第二隐藏特征。
  8. 根据权利要求7所述的一种基于缺失数据的分类模型生成方法，其特征在于，所述超图卷积网络模型根据所述独热向量矩阵进行标签传播，得到第二预测标签，具体为：
    将所述独热向量矩阵和所述超图拉普拉斯算子输入至所述超图卷积网络模型中的标签传播层中，以使所述标签传播层根据所述独热向量矩阵进行标签传播，得到所述第二预测标签。
  9. 根据权利要求8所述的一种基于缺失数据的分类模型生成方法，所述在所述生成基于缺失数据的分类模型后，还包括：
    对所述基于缺失数据的分类模型进行验证，具体为：
    获取Cora和Citeseer数据集；
    根据所述数据缺失类型对所述Cora和Citeseer数据集进行预处理后，设置数据缺失率和数据选取条件，生成验证数据集；
    将所述验证数据集输入至所述基于缺失数据的分类模型中进行验证。
PCT/CN2021/116439 2021-08-13 2021-09-03 一种基于缺失数据的分类模型生成方法 WO2023015631A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110929118.2A CN113762468A (zh) 2021-08-13 2021-08-13 一种基于缺失数据的分类模型生成方法
CN202110929118.2 2021-08-13

Publications (1)

Publication Number Publication Date
WO2023015631A1 true WO2023015631A1 (zh) 2023-02-16

Family

ID=78789231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/116439 WO2023015631A1 (zh) 2021-08-13 2021-09-03 一种基于缺失数据的分类模型生成方法

Country Status (2)

Country Link
CN (1) CN113762468A (zh)
WO (1) WO2023015631A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665764A (zh) * 2023-05-18 2023-08-29 中南大学 一种预测代谢网络中的缺失反应的方法
CN117523244A (zh) * 2023-10-31 2024-02-06 哈尔滨工业大学（威海） 一种多视图聚类方法、系统、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579546A (zh) * 2022-02-22 2022-06-03 南京信息工程大学 基于多变量对抗生成网络的地理大数据缺值补入方法
CN115278774A (zh) * 2022-07-20 2022-11-01 云南电网有限责任公司电力科学研究院 一种北斗短报文缺失数据补录方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850890A (zh) * 2015-04-14 2015-08-19 西安电子科技大学 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法
US20180270312A1 (en) * 2017-03-18 2018-09-20 Tata Consultancy Services Limited Method and system for anomaly detecttion, missing data imputation and consumption prediction in energy data
CN110059191A (zh) * 2019-05-07 2019-07-26 山东师范大学 一种文本情感分类方法及装置
CN112836809A (zh) * 2021-03-22 2021-05-25 济南奔腾时代电力科技有限公司 一种基于差分特征融合的卷积神经网络的设备特性提取方法以及故障预测的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850890A (zh) * 2015-04-14 2015-08-19 西安电子科技大学 基于实例学习和Sadowsky分布的卷积神经网络参数调整方法
US20180270312A1 (en) * 2017-03-18 2018-09-20 Tata Consultancy Services Limited Method and system for anomaly detecttion, missing data imputation and consumption prediction in energy data
CN110059191A (zh) * 2019-05-07 2019-07-26 山东师范大学 一种文本情感分类方法及装置
CN112836809A (zh) * 2021-03-22 2021-05-25 济南奔腾时代电力科技有限公司 一种基于差分特征融合的卷积神经网络的设备特性提取方法以及故障预测的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665764A (zh) * 2023-05-18 2023-08-29 中南大学 一种预测代谢网络中的缺失反应的方法
CN116665764B (zh) * 2023-05-18 2024-03-15 中南大学 一种预测代谢网络中的缺失反应的方法
CN117523244A (zh) * 2023-10-31 2024-02-06 哈尔滨工业大学（威海） 一种多视图聚类方法、系统、电子设备及存储介质
CN117523244B (zh) * 2023-10-31 2024-05-24 哈尔滨工业大学（威海） 一种多视图聚类方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN113762468A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
WO2023015631A1 (zh) 一种基于缺失数据的分类模型生成方法
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
WO2021155706A1 (zh) 利用不平衡正负样本对业务预测模型训练的方法及装置
Hartford et al. Deep learning for predicting human strategic behavior
CN113905391B (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
US20160012330A1 (en) Neural network and method of neural network training
CN111191791A (zh) 机器学习模型的应用方法、训练方法、装置、设备及介质
Cheng et al. Evolutionary support vector machine inference system for construction management
Zahavy et al. Deep neural linear bandits: Overcoming catastrophic forgetting through likelihood matching
US20220237465A1 (en) Performing inference and signal-to-noise ratio based pruning to train sparse neural network architectures
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
CN114861838B (zh) 一种基于神经元复杂动力学的脉冲神经类脑智能分类方法
CN116188941A (zh) 一种基于松弛标注的流形正则化宽度学习方法及系统
Raudys et al. Pairwise costs in multiclass perceptrons
Suh et al. Gaussian copula variational autoencoders for mixed data
US20210166131A1 (en) Training spectral inference neural networks using bilevel optimization
CN114691995A (zh) 一种基于信息传播和注意力机制的序列推荐方法
CN114329900A (zh) 一种基于神经网络的器件参数获取方法、系统及相关组件
CN114417172A (zh) 一种深度兴趣进化推荐方法、装置、设备和存储介质
Wu et al. Heterogeneous representation learning and matching for few-shot relation prediction
Dou et al. V-SOINN: A topology preserving visualization method for multidimensional data
Gurung et al. Decentralized quantum federated learning for metaverse: Analysis, design and implementation
CN114861072B (zh) 一种基于层间组合机制的图卷积网络推荐方法及装置
US11654366B2 (en) Computer program for performing drawing-based security authentication
CN116645130A (zh) 基于联邦学习与gru结合的汽车订单需求量预测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21953240

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE