WO2021227091A1 - 一种基于图卷积神经网络的多模态分类方法 - Google Patents

一种基于图卷积神经网络的多模态分类方法 Download PDF

Info

Publication number
WO2021227091A1
WO2021227091A1 PCT/CN2020/090879 CN2020090879W WO2021227091A1 WO 2021227091 A1 WO2021227091 A1 WO 2021227091A1 CN 2020090879 W CN2020090879 W CN 2020090879W WO 2021227091 A1 WO2021227091 A1 WO 2021227091A1
Authority
WO
WIPO (PCT)
Prior art keywords
modal
convolutional neural
graph
neural network
graph convolutional
Prior art date
Application number
PCT/CN2020/090879
Other languages
English (en)
French (fr)
Inventor
王魏
Original Assignee
南京智谷人工智能研究院有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京智谷人工智能研究院有限公司 filed Critical 南京智谷人工智能研究院有限公司
Publication of WO2021227091A1 publication Critical patent/WO2021227091A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the invention belongs to the technical field of artificial intelligence in computer science and technology, and specifically relates to a multi-modal classification method based on graph convolutional neural networks.
  • Multi-modal data In recent years, more and more multi-modal data have appeared in practical applications. For example, multimedia data on the Internet often contains multiple modal information: videos, images, and surrounding text information; webpage data also contains multiple modal information. State information: the text information of the web page itself and the hyperlink information that links to the web page.
  • These multi-modal data contain huge economic value, and at the same time, using these multi-modal data can often obtain better results than single-modal data. For example, in user content recommendation based on information flow, different modal information (such as pictures, text) in the information flow can be considered at the same time to recommend content of interest to the user. In practical applications, we can easily find multiple structural information of data from different modalities.
  • graph convolutional neural networks can embed graph structure information into neural networks, and are suitable for processing large-scale data, but they cannot be directly applied to multi-modal scenes. Objects in practical applications often have multi-modality. However, the traditional multi-modal method only trains learners on multiple modalities and then integrates them. This method is easy to ignore useful structural information in different modalities. For this reason, we propose a graph-based convolutional neural network. Multi-modal classification method.
  • the purpose of the present invention is to provide a multi-modal classification method based on graph convolutional neural network to solve the above-mentioned problems in the background art.
  • a multi-modal classification method based on graph convolutional neural network including the following steps:
  • each object contains V modalities.
  • a class label is provided for a small number of objects in the library by manual labeling. These class-labeled objects are called the initial labeled training data, and they form the training data set together with the remaining large number of unlabeled objects.
  • the objects in the training object library are converted into corresponding feature representations, that is, the features of the objects in the object library are extracted, and all objects are converted into corresponding feature vectors. Since the object contains V modalities, the final feature vector of each object is also divided into V parts.
  • each object can correspond to two feature vectors in d 1 and d 2 -dimensional Euclidean spaces.
  • the user adds k nearest neighbors to the object library according to the feature vector of the object to be tested on the V modalities, and then the new graph and the obtained feature vector are input to the trained V respectively.
  • Classifier the classifier will return the prediction result of the object to the user, and then select the one with higher confidence among the V prediction results as the final label output.
  • the beneficial effect of the present invention is that the present invention comprehensively considers the graph structure information of different modalities through an innovative multi-modal graph convolutional neural network, and in each of the multi-modal graph convolutional neural networks By assigning trainable weights in the layer, the representation learned by each mode can gradually consider the structural information of other modes.
  • the present invention requires map creation, it can be used in inductive learning scenarios without obtaining samples to be tested during training.
  • FIG. 1 is a flowchart of the present invention
  • Fig. 2 is a flowchart of the training algorithm of the multi-modal graph convolutional neural network in the present invention
  • Fig. 3 is a flow chart of the prediction algorithm of the multi-modal graph convolutional neural network in the present invention.
  • Step 1 Establish an object library containing n pieces of information as the training object library, and assign a category label to a small number of objects in the object library by manual labeling, and use y i to represent the category label of the i-th object.
  • military news webpages are the first category
  • entertainment news webpages are the second category.
  • the content contained in the user is entertainment news
  • y i 0
  • the web page belongs to the second category .
  • x i (x 1,i ,x 2,i )
  • the bimodal eigenvector pair of the subsequent i-th object can also be called a sample x i ; the bimodal feature can be represented by matrices X 1 and X 2 .
  • Step 3 Let the user select the k and distance space to be used, which can be various common distance spaces, including Euclidean distance, Cosine distance, etc., and then establish a k-nearest neighbor graph according to the selected k value and distance space.
  • the state v is represented by the adjacency graph as Av .
  • the distance metric used can be expressed as d(x i ,x j )
  • a v(ij) exp(-d(x i ,x j )/ ⁇ 2 )
  • ⁇ is a hyperparameter, usually selected from ⁇ 0.01,0.1,1 ⁇ ;
  • Step 4 Use the multi-modal graph convolutional neural network training algorithm to train the classifier, where the specific structure of the multi-modal graph convolutional neural network is:
  • the hidden layer structure is: For k ⁇ 1,2,...,K v -1 ⁇ ,
  • D v ⁇ j A v ( ij), where A v (ij) A v represents the i-th row j-th element.
  • Step 5 Obtain the sample to be predicted, use the same feature extraction algorithm as step 2 to extract the features, use the same distance metric as step 3 to create a new graph, the method of constructing the graph is except for the original edge, for each sample to be tested Find its k-nearest neighbors in the original object library and connect them to the edges.
  • Step 6 input the features and the new image into the multi-modal graph convolutional neural network trained in step 4. Finally, the predicted label is inferred based on the output value.
  • the training process of the weighted multimodal graph convolutional neural network method is:
  • Step 7 the maximum number of iteration rounds T, the number of graph convolutional network layers; initialize the multi-modal graph convolutional neural network f 1 , f 2 ,..., f V , and set the parameters in the graph convolutional layer Initialized to
  • Step 8 If t>T, go to step 11; otherwise, continue training and go to step 9
  • the calculation method according to the corresponding gradient is Then increase the iteration counter t by 1, and go to step 8.
  • Step 11 Output the obtained network f 1 , f 2 ,..., f V.
  • the prediction process of the weighted multimodal graph convolutional neural network method is:
  • Step 12 For the t samples to be predicted, first use the method in step 2 to extract features
  • Step 13 using the same distance metric used in step 3 to find the k nearest neighbors in the object library for each sample to be predicted and weighting the corresponding new image A v ′, where
  • Step 15 first integrate the prediction results of each modal
  • Step 16 and then output the result according to the predicted value of each category Among them, i ⁇ n+1,...,n+t correspond to the sample to be predicted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图卷积神经网络的多模态分类方法，包括以下步骤：(一)首先需要用户准备好一个对象库，其中每个对象包含V个模态，通过人工标注的方法为库中的少量对象提供一个类别标记，这些有类别标记的对象称为初始的有标记训练数据，它们和剩余的大量未标记对象一同构成训练数据集；本发明通过创新的多模态图卷积神经网络综合考虑了不同模态的图结构信息，在多模态图卷积神经网络的每一层中通过分配可训练的权值，使得每个模态所学的表示能够逐步考虑其它模态的结构信息。

Description

一种基于图卷积神经网络的多模态分类方法 技术领域
本发明属于计算机科学与技术中人工智能领域技术领域，具体涉及一种基于图卷积神经网络的多模态分类方法。
背景技术
近年来，实际应用中出现着越来越多的多模态数据，例如，互联网中的多媒体数据往往包含多个模态信息：视频、图像以及周围出现的文本信息；网页数据也包含多个模态信息：网页自身的文本信息和链接到网页的超链接信息。这些多模态数据蕴含着巨大的经济价值，同时利用这些多模态数据往往能够获得比单模态数据更好的结果。例如，在基于信息流的用户内容推荐中，可以同时考虑信息流中的不同模态信息(例如图片、文本)来为用户推荐其感兴趣的内容。在实际应用中，我们很容易从不同模态中发现数据的多重结构信息，例如用户对特定的某一类相似的图片都表现出兴趣，而同时这些用户对另外一类相似的文本表现出兴趣，利用这些基于多模态的结构信息，能够进一步地提升性能。另一方面，图卷积神经网络能够将图结构信息嵌入到神经网络中，且适合处理大规模数据，但并不能被直接应用到多模态场景中，实际应用中的对象经常具有多模态信息，但是传统的多模态方法只是在多个模态上分别训练学习器然后将其集成,这样的方式容易忽略不同模态中有用的结构信息为此我们提出一种基于图卷积神经网络的多模态分类方法。
发明内容
本发明的目的在于提供一种基于图卷积神经网络的多模态分类方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于图卷积神经网络的多模态分类方法，包括以下步骤：
(一)首先需要用户准备好一个对象库，其中每个对象包含V个模态。接 下来通过人工标注的方法为库中的少量对象提供一个类别标记，这些有类别标记的对象称为初始的有标记训练数据，它们和剩余的大量未标记对象一同构成训练数据集。
(二)通过特征提取算法，将训练对象库中的对象转化成相应的特征表示，即提取对象库中对象的特征，将所有对象转化成相应的特征向量。由于对象包含V个模态，最终得到的每个对象的特征向量也分为V个部分。
(三)对象的特征提取方法也有很多种，例如对于网页中的一段文本，文本中的每个词出现的次数都可以作为该对象的一个特征，文本的长度也可以作为该网页的一个特征。假设两个模态上特征的个数分别为d 1和d 2，那么每个对象就可以对应到d 1和d 2维欧式空间的两个特征向量。
(四)将训练数据集和选定的基分类器类型输入到本发明提出的多模态图卷积神经网络训练算法中，经过训练后就可以得到最终的分类器。
(五)在预测阶段，用户根据待测对象在V个模态上的特征向量分别添加k条最近邻边指向对象库，再讲得到的新图与得到特征向量分别输入给训练得到的V个分类器，分类器就会给用户返回该对象的预测结果，然后在V个预测结果中选择置信度较高的那个作为最终标记输出。
与现有技术相比，本发明的有益效果是：本发明通过创新的多模态图卷积神经网络综合考虑了不同模态的图结构信息，在多模态图卷积神经网络的每一层中通过分配可训练的权值，使得每个模态所学的表示能够逐步考虑其它模态的结构信息。此外，本发明虽然需要建图，但是可以被用于归纳式的学习场景，在训练时无需得到待测样本。
附图说明
图1是本发明的流程图；
图2是本发明中多模态图卷积神经网络训练算法的流程图；
图3是本发明中多模态图卷积神经网络预测算法的流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
步骤1，建立一个包含n个信息的对象库作为训练对象库，通过人工标注的方式为对象库中的少量对象赋予一个类别标记，使用y i代表第i个对象的类别标记。对于二分类问题，比如说军事新闻网页是第一类，娱乐新闻网页是第二类。如果第i个对象中包含的内容是军事新闻，则y i＝1，即该对象属于第一类，如果对象中用户包含的内容是娱乐新闻，则y i＝0，该网页属于第二类。假设初始共有l个网页被赋予了标记，剩下的u＝n-l个对象没有赋予标记。
步骤2，通过特征提取算法，提取对象库中对象的特征，将所有对象转化成相应的双模态特征向量对；使用x i＝(x 1,i,x 2,i)表示其中经过特征提取后的第i个对象的双模态特征向量对，也可以称其为样本x i；双模态的特征可以用矩阵X 1和X 2表示。
步骤3，让用户选择需要使用的k及距离空间，可以是各种常见的距离空间，包括欧氏距离,Cosine距离等,然后根据所选的k值及距离空间建立k-近邻图,对于模态v用邻接图表示为A v。假设所使用的距离度量可以表示为d(x i,x j)，那么若样本i是样本j的k近邻，则A v(ij)＝exp(-d(x i,x j)/σ 2)，其中σ为超参数，通常从{0.01,0.1,1}中选取；
步骤4，使用多模态图卷积神经网络训练算法训练分类器，其中多模态图卷积神经网络的具体结构为：
1)隐层结构为：
Figure PCTCN2020090879-appb-000001
对于k∈{1,2,...,K v-1}，
Figure PCTCN2020090879-appb-000002
D v＝∑ jA v(ij)，其中A v(ij)代表A v的第i行第j个元素。
2)输出层结构为：
Figure PCTCN2020090879-appb-000003
其中K是卷积层层数。
步骤5，得到待预测样本，用与步骤2相同的特征提取算法提取特征，用与步骤3相同的距离度量建立新图，建图的方法为除了原有的边以外，为每一个待测样本寻找其在原有对象库中的k近邻，并将其连边。
步骤6，将特征与新图一起输入步骤4中训练好的多模态图卷积神经网络。最后根据输出值推断出预测标记。
如图2所示，加权多模态图卷积神经网络方法的训练流程为：
步骤7，最大迭代轮数T，图卷积网络层数；初始化多模态图卷积神经网络f 1,f 2,...,f V，将其中图卷积层中的参数
Figure PCTCN2020090879-appb-000004
初始化为
Figure PCTCN2020090879-appb-000005
Figure PCTCN2020090879-appb-000006
步骤8，若t>T，转到步骤11；否则继续训练转到步骤9
步骤9，分别为模态v＝1,2,...,V，固定
Figure PCTCN2020090879-appb-000007
使用有标记数据及损失函数计算损失，并使用优化器例如SGD或者Adam优化算法更新网络中参数
Figure PCTCN2020090879-appb-000008
步骤10，通过分别为模态v＝1,2,...,V，固定
Figure PCTCN2020090879-appb-000009
使用有标记数据及损失函数计算损失，并使用优化器例如SGD或者Adam更新网络中参数
Figure PCTCN2020090879-appb-000010
其中根据对应梯度的计算方法为
Figure PCTCN2020090879-appb-000011
之后令迭代计数器t加1，转到步骤8。
步骤11，输出得到的网络f 1,f 2,...,f V。
如图3所示，加权多模态图卷积神经网络方法的预测流程为：
步骤12，对于待预测的t个样本，首先利用步骤2中的方法提取特征
步骤13，再利用步骤3所使用的同样的距离度量为每个待预测样本在对象库中寻找k个最近的邻居并对应的新图A v′赋权，其中
Figure PCTCN2020090879-appb-000012
步骤14，预测时使用f v(X v′,A v′,v＝1,2,...,V)的结果，其中
Figure PCTCN2020090879-appb-000013
Figure PCTCN2020090879-appb-000014
是待测样本的特征矩阵。
步骤15，先集成各模态预测结果
Figure PCTCN2020090879-appb-000015
步骤16，再根据对各类的预测值输出结果
Figure PCTCN2020090879-appb-000016
其中i∈n+1,...,n+t对应的是待预测样本。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

  1. 一种基于图卷积神经网络的多模态分类方法，包括以下步骤：
    (一)建立一个对象库作为训练数据集，其中对象库包含n个对象，给对象库中的少量对象赋予一个类别标记，用l表示有标记的对象数目，u表示未标记的对象数目；
    (二)通过特征提取算法，提取对象库中不同模态对应的特征，假设具有V个模态，为每个对象生成特征向量对(特征1，特征2，...，特征V)。
    (三)为每一个模态的特征建立一个k-近邻图，对于模态v，其邻接矩阵记作A v；
    (四)将数据的特征向量以及每一个模态的k-近邻图输入到多模态图卷积神经网络中，为每个模态分别训练得到一个分类器；
    (五)获取待测对象，用t表示待测对象数目并用步骤(二)中相同的方法得到其特征向量对,用步骤(三)中的建图方法将新的样本加入到图中。
    (六)将各个模态上的特征向量及所有更新后的k-近邻图输入步骤(四)所训练得到的对应分类器中，获得V个预测标记，并输出其中置信度较高的那个作为最终标记。
  2. 如权利要求1所述的基于图卷积神经网络的多模态分类方法，其特征在于，所述步骤(四)中使用了新的多模态图卷积神经网络，其具体结构为：
    在训练时，所实用的在第v个模态中训练的网络：
    (1)隐层结构为：
    Figure PCTCN2020090879-appb-100001
    对于k∈{1,2,...,K v-1}，其中
    Figure PCTCN2020090879-appb-100002
    是第v个网络在第K层的表示，
    Figure PCTCN2020090879-appb-100003
    是可训练参数，
    Figure PCTCN2020090879-appb-100004
    混合图卷积被定义为
    Figure PCTCN2020090879-appb-100005
    其中
    Figure PCTCN2020090879-appb-100006
    是图卷积权重，D v＝∑ jA v(ij)，其中A v(ij)代表A v的第i行第j个元素，
    Figure PCTCN2020090879-appb-100007
    (2)输出层结构为：
    Figure PCTCN2020090879-appb-100008
    其中K v是第v个网络的多模态图卷积层层数。
    在预测时，所使用的结构有：
    S1先集成各模态输出表示
    Figure PCTCN2020090879-appb-100009
    S2再根据对各类的预测值输出结果
    Figure PCTCN2020090879-appb-100010
  3. 如权利要求1所述的基于图卷积神经网络的多模态分类方法，其特征在于，所述步骤(四)，使用多模态图卷积神经网络作为分类器，其具体步骤为：
    S1最大迭代轮数T，图卷积网络层数；初始化多模态图卷积神经网络f 1,f 2,...,f V，将其中图卷积层中的参数
    Figure PCTCN2020090879-appb-100011
    初始化为
    Figure PCTCN2020090879-appb-100012
    Figure PCTCN2020090879-appb-100013
    S2若t>T，转到步骤5)；否则继续训练转到步骤3)
    S3分别为模态v＝1,2,...,V，固定
    Figure PCTCN2020090879-appb-100014
    使用有标记数据及损失函数计算损失，并使用优化器例如SGD或者Adam优化算法更新网络中参数
    Figure PCTCN2020090879-appb-100015
    S4通过分别为模态v＝1,2,...,V，固定
    Figure PCTCN2020090879-appb-100016
    使用有标记数据及损失函数计算损失，并使用优化器例如SGD或者Adam更新网络中参数
    Figure PCTCN2020090879-appb-100017
    其中 根据对应梯度的计算方法为
    Figure PCTCN2020090879-appb-100018
    之后令迭代计数器t加1，转到步骤2).
    S5输出得到的网络f 1,f 2,...,f V。
  4. 如权利要求1所述的基于图卷积神经网络的多模态分类方法，其特征在于，所述步骤(五)，能够归纳式地预测待测样本的标记，无需在训练时得到待测样本信息，其具体步骤为：
    S1对于待预测的t个样本，首先利用步骤(二)中的方法提取特征
    S2再利用步骤(三)所使用的同样的距离度量为每个待预测样本在对象库中寻找k个最近的邻居并对应的新图A v′赋权，其中
    Figure PCTCN2020090879-appb-100019
    S3预测时使用f v(X v′,A v′,v＝1,2,...,V)的结果，其中
    Figure PCTCN2020090879-appb-100020
    Figure PCTCN2020090879-appb-100021
    是待测样本的特征矩阵。
    S4先集成各模态输出表示
    Figure PCTCN2020090879-appb-100022
    S5再根据对各类的预测值输出结果
    Figure PCTCN2020090879-appb-100023
    其中i∈n+1,...,n+t对应的是待预测样本。
PCT/CN2020/090879 2020-05-15 2020-05-18 一种基于图卷积神经网络的多模态分类方法 WO2021227091A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010412886.6A CN111985520B (zh) 2020-05-15 2020-05-15 一种基于图卷积神经网络的多模态分类方法
CN202010412886.6 2020-05-15

Publications (1)

Publication Number Publication Date
WO2021227091A1 true WO2021227091A1 (zh) 2021-11-18

Family

ID=73442010

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/090879 WO2021227091A1 (zh) 2020-05-15 2020-05-18 一种基于图卷积神经网络的多模态分类方法

Country Status (2)

Country Link
CN (1) CN111985520B (zh)
WO (1) WO2021227091A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114238752A (zh) * 2021-11-30 2022-03-25 湖南大学 物品推荐方法、装置及存储介质
CN114359627A (zh) * 2021-12-15 2022-04-15 南京视察者智能科技有限公司 一种基于图卷积的目标检测后处理方法及装置
CN114662033A (zh) * 2022-04-06 2022-06-24 昆明信息港传媒有限责任公司 一种基于文本和图像的多模态有害链接识别
CN115018010A (zh) * 2022-07-11 2022-09-06 东南大学 一种基于图像和文本的多模态商品匹配方法
CN116049597A (zh) * 2023-01-10 2023-05-02 北京百度网讯科技有限公司 网页的多任务模型的预训练方法、装置及电子设备
CN116130089A (zh) * 2023-02-02 2023-05-16 湖南工商大学 基于超图神经网络的多模态抑郁症检测系统、装置及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283578A (zh) * 2021-04-14 2021-08-20 南京大学 一种基于标记风险控制的数据去噪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190325342A1 (en) * 2018-04-20 2019-10-24 Sri International Embedding multimodal content in a common non-euclidean geometric space
CN110782015A (zh) * 2019-10-25 2020-02-11 腾讯科技（深圳）有限公司 神经网络的网络结构优化器的训练方法、装置及存储介质
CN111046227A (zh) * 2019-11-29 2020-04-21 腾讯科技（深圳）有限公司 一种视频查重方法及装置
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934055B (zh) * 2017-03-20 2020-05-19 南京大学 一种基于不充分模态信息的半监督网页自动分类方法
CN109583519A (zh) * 2018-12-27 2019-04-05 中国石油大学(华东) 一种基于p-Laplacian图卷积神经网络的半监督分类方法
CN109766935A (zh) * 2018-12-27 2019-05-17 中国石油大学(华东) 一种基于超图p-Laplacian图卷积神经网络的半监督分类方法
CN110046656B (zh) * 2019-03-28 2023-07-11 南京邮电大学 基于深度学习的多模态场景识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190325342A1 (en) * 2018-04-20 2019-10-24 Sri International Embedding multimodal content in a common non-euclidean geometric space
CN110782015A (zh) * 2019-10-25 2020-02-11 腾讯科技（深圳）有限公司 神经网络的网络结构优化器的训练方法、装置及存储介质
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统
CN111046227A (zh) * 2019-11-29 2020-04-21 腾讯科技（深圳）有限公司 一种视频查重方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114238752A (zh) * 2021-11-30 2022-03-25 湖南大学 物品推荐方法、装置及存储介质
CN114359627A (zh) * 2021-12-15 2022-04-15 南京视察者智能科技有限公司 一种基于图卷积的目标检测后处理方法及装置
CN114359627B (zh) * 2021-12-15 2024-06-07 南京视察者智能科技有限公司 一种基于图卷积的目标检测后处理方法及装置
CN114662033A (zh) * 2022-04-06 2022-06-24 昆明信息港传媒有限责任公司 一种基于文本和图像的多模态有害链接识别
CN114662033B (zh) * 2022-04-06 2024-05-03 昆明信息港传媒有限责任公司 一种基于文本和图像的多模态有害链接识别
CN115018010A (zh) * 2022-07-11 2022-09-06 东南大学 一种基于图像和文本的多模态商品匹配方法
CN116049597A (zh) * 2023-01-10 2023-05-02 北京百度网讯科技有限公司 网页的多任务模型的预训练方法、装置及电子设备
CN116049597B (zh) * 2023-01-10 2024-04-19 北京百度网讯科技有限公司 网页的多任务模型的预训练方法、装置及电子设备
CN116130089A (zh) * 2023-02-02 2023-05-16 湖南工商大学 基于超图神经网络的多模态抑郁症检测系统、装置及介质
CN116130089B (zh) * 2023-02-02 2024-01-02 湖南工商大学 基于超图神经网络的多模态抑郁症检测系统、装置及介质

Also Published As

Publication number Publication date
CN111985520A (zh) 2020-11-24
CN111985520B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
WO2021227091A1 (zh) 一种基于图卷积神经网络的多模态分类方法
Hussain et al. A deep neural network and classical features based scheme for objects recognition: an application for machine inspection
CN106202256B (zh) 基于语义传播及混合多示例学习的Web图像检索方法
CN111291212A (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
CN110717526A (zh) 一种基于图卷积网络的无监督迁移学习方法
CN112380435A (zh) 基于异构图神经网络的文献推荐方法及推荐系统
Rad et al. Image annotation using multi-view non-negative matrix factorization with different number of basis vectors
CN112287170B (zh) 一种基于多模态联合学习的短视频分类方法及装置
CN112417097B (zh) 一种用于舆情解析的多模态数据特征提取与关联方法
CN110598018B (zh) 一种基于协同注意力的草图图像检索方法
CN112308115B (zh) 一种多标签图像深度学习分类方法及设备
CN114067385A (zh) 基于度量学习的跨模态人脸检索哈希方法
Chen et al. RRGCCAN: Re-ranking via graph convolution channel attention network for person re-identification
CN115588122A (zh) 一种基于多模态特征融合的新闻分类方法
CN115687760A (zh) 一种基于图神经网络的用户学习兴趣标签预测方法
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
Gong et al. Unsupervised RGB-T saliency detection by node classification distance and sparse constrained graph learning
CN113642602B (zh) 一种基于全局与局部标签关系的多标签图像分类方法
CN113886615A (zh) 一种基于多粒度联想学习的手绘图像实时检索方法
Wu Application of improved boosting algorithm for art image classification
CN114896514B (zh) 一种基于图神经网络的Web API标签推荐方法
CN116883751A (zh) 基于原型网络对比学习的无监督领域自适应图像识别方法
CN113516118B (zh) 一种图像与文本联合嵌入的多模态文化资源加工方法
CN115797642A (zh) 基于一致性正则化与半监督领域自适应图像语义分割算法
Qi et al. Scalable graph based non-negative multi-view embedding for image ranking

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20935278

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20935278

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 080523)

122 Ep: pct application non-entry in european phase

Ref document number: 20935278

Country of ref document: EP

Kind code of ref document: A1