WO2020001048A1 - 一种基于双语义空间的对抗性跨媒体检索方法 - Google Patents

一种基于双语义空间的对抗性跨媒体检索方法 Download PDF

Info

Publication number
WO2020001048A1
WO2020001048A1 PCT/CN2019/076400 CN2019076400W WO2020001048A1 WO 2020001048 A1 WO2020001048 A1 WO 2020001048A1 CN 2019076400 W CN2019076400 W CN 2019076400W WO 2020001048 A1 WO2020001048 A1 WO 2020001048A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
image
subspace
space
isomorphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/076400
Other languages
English (en)
French (fr)
Inventor
王文敏
夏雅娴
韩梁
王荣刚
李革
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Publication of WO2020001048A1 publication Critical patent/WO2020001048A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Definitions

  • the invention relates to the technical fields of pattern recognition, natural language processing, multimedia retrieval and the like, and in particular to an adversarial cross-media retrieval method based on dual semantic space. It mainly uses feature mapping of public space to eliminate semantic gaps and integrate data of different modalities. Matching is performed to achieve the purpose of retrieval, and the validity of the method is verified in a cross-media retrieval classic database.
  • the present invention provides an adversarial cross-media retrieval method based on a bi-semantic space.
  • a text subspace and an image subspace By establishing a text subspace and an image subspace, the internal characteristics of different modalities are retained, and the rich semantic information in multimedia data is mined through adversarial training. So as to achieve effective cross-media retrieval.
  • An adversarial cross-media retrieval method based on bi-semantic space.
  • a text subspace and an image subspace By establishing a text subspace and an image subspace, the internal characteristics of different modalities are retained, and the rich semantic information in multimedia data is mined through adversarial training to achieve effective Cross-media retrieval; including: feature generation process, dual semantic space construction process and adversarial semantic space optimization process.
  • training data, verification data, and test data of two data sets of NUS-WIDE-10k and Wikipedia are obtained.
  • the deep convolutional neural network CNN Convolutional Neural Network
  • the BoW Bog of Words
  • the invention constructs a bi-semantic space, namely an image subspace and a text subspace.
  • image feature I adjusts the feature distribution in the original dimension (4096 dimensions) through a three-layer fully-connected network to prepare for subsequent graphic matching.
  • the last layer of the network uses the ReLU activation function.
  • a similar three-layer fully-connected network is introduced to map the text features T into the image space, keeping as many original image features as possible.
  • Equation 1 Defining triples in the isomorphic image subspace Where v i is the reference picture, Is the same positive sample text as the v i category, Representing negative sample texts different from the category v i , using the L2 norm to calculate the distance between different modal data, expressed as Equation 1:
  • f v (i) and f t (t) are mapping functions of image and text, respectively, Represents the Euclidean distance between image text in isomorphic space.
  • Equation 2 The triple loss of the image subspace can be expressed as Equation 2:
  • ⁇ is a hyper parameter representing a safety factor
  • Is the image triplet loss
  • V represents the image subspace.
  • image feature mapping and text feature adjustment are implemented in the text subspace.
  • the text feature T uses the text mapping function ⁇ t (T) to adjust the distribution in the original text feature space.
  • the image mapping function ⁇ v (I) maps the image feature I into the text space to implement the text subspace.
  • Different modal features are isomorphic in space while avoiding a large loss of original text information.
  • Both mapping functions are 3-layer fully connected networks using ReLU activation functions.
  • ⁇ is a hyperparameter indicating a safety factor, which is the same as that in Equation 2.
  • ⁇ T represents a triple in a text subspace t i is the reference text, Is the same positive example picture as the t i category, Is a negative sample picture different from the t i category.
  • the invention introduces adversarial learning to optimize the bi-semantic space, and fits the spatial distribution of different modalities on the premise of maintaining the same category, while ensuring that the modals are discriminable.
  • the above results are transmitted backward to update the bi-semantic space, which is completed by measuring the spatial distance Cross-media retrieval tasks for Image Retrieval Text (Img2Text) and Text Retrieval Image (Text2Img).
  • the optimization goal is to minimize the error between the true distribution of the data categories and the category prediction distribution of the vectors in the isomorphic space.
  • the expression is as follows:
  • N is the number of data in one iteration
  • c i is the true distribution of the data category
  • p c (f v (I)) and p c (f t (T)) are the image vectors and Class prediction probability of text vector
  • p c ( ⁇ v (I)) and p c ( ⁇ t (T)) are the class prediction probabilities of the image vector and the text vector in the isomorphic text subspace, respectively;
  • Equation 7 The overall class constant objective function can be expressed as Equation 7:
  • ⁇ c and ⁇ tri are hyperparameters.
  • the goal of the adversarial learning model's discriminator is to determine as accurately as possible whether the vectors of different modal data in the twin space are from images or text.
  • the present invention uses a 3-layer forward-propagating fully-connected network for modal discrimination.
  • the optimization goal is to minimize the error between the modal true distribution mi and the modal prediction probability distribution, and its expression is Equation 9:
  • N is the number of data in one iteration
  • mi is the true mode of the data
  • D (f v (I)) and D (f t (T)) are the modes of the image and text vectors in the isomorphic image subspace prediction.
  • D ( ⁇ v (I)) and D ( ⁇ t (T)) are modal predictions of images and text vectors in the isomorphic text subspace, respectively.
  • Equation 11 The overall objective function of the discriminator in the binomial space can be expressed as Equation 11:
  • the objective functions of the generator and discriminator are trained alternately to obtain two optimized isomorphic semantic spaces.
  • the present invention provides an adversarial cross-media retrieval method based on dual semantic space, and its technical advantages are reflected in:
  • FIG. 1 is a block diagram of an overall process of a method provided by the present invention.
  • FIG. 2 is a schematic diagram of isomorphic spatial feature optimization in an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of a result of performing a text retrieval image according to an embodiment of the present invention.
  • the first column is the search text
  • the second column is the matching image given by the data set
  • the columns 3 to 7 are the corresponding search results of the top five mAP values.
  • the present invention provides an adversarial cross-media retrieval method based on a bi-semantic space.
  • a text subspace and an image subspace By establishing a text subspace and an image subspace, the internal characteristics of different modalities are retained, and the rich semantic information in multimedia data is mined through adversarial training. So as to achieve effective cross-media retrieval.
  • the method provided by the present invention includes: a feature generation process, a bi-semantic space construction process, and an adversarial semantic space optimization process;
  • FIG. 1 shows the flow of the method provided by the present invention. The specific steps are as follows:
  • the image feature I adjusts the feature distribution in the original dimension (4096 dimensions) through a three-layer fully-connected network to prepare for subsequent graphic matching.
  • the last layer of the network uses the ReLU activation function.
  • a similar three-layer fully-connected network is introduced to map the text features T into the image space, keeping as many original image features as possible.
  • f v (i) and f t (t) are the mapping functions of image and text, respectively, Represents the Euclidean distance between image text in isomorphic space.
  • ⁇ is a hyperparameter representing a safety factor.
  • the text feature T is adjusted by the text mapping function ⁇ t (T) in the space distribution of the original text dimension space.
  • the image mapping function ⁇ v (I) maps the image feature I into the text space to realize the text. Isomorphism of different modal features in the subspace, while avoiding a large loss of original text information. Both are 3-layer fully connected networks using ReLU activation functions. Similar to the image subspace, the triple loss of the text subspace can be expressed as:
  • ⁇ is a hyperparameter representing a safety factor.
  • ⁇ represents the triples in the text subspace t i is the reference text, Is the same positive example picture as the t i category, Is a negative sample picture different from the t i category.
  • N is the number of data in one iteration
  • c i is the true distribution of the data category
  • p c (f v (I)) and p c (f t (T)) are the image vector and text vector respectively in the isomorphic image subspace.
  • Category prediction probability is the probability that
  • the adversarial learning model updates and optimizes the parameters of the dual-space network, where the isomorphic spatial features in steps 3) and 4) represent f v (v), f t (t), ⁇ v (I), and ⁇ t (T)
  • the vector is generated by the generator in the adversarial learning model.
  • the optimization goal of the generator is to make the distribution of images and text in the double subspace as similar as possible while keeping the category constant.
  • L G ⁇ c ⁇ L c + ⁇ tri ⁇ L tri
  • ⁇ c and ⁇ tri are hyperparameters.
  • the goal of the discriminator is to determine as accurately as possible whether the vectors of different modal data in the twin subspace are from images or text.
  • the present invention uses a 3-layer forward-propagating fully-connected network for modal discrimination. Taking the image subspace as an example, its optimization goal is to minimize the error between the modal true distribution and the modal prediction probability distribution.
  • the expression is:
  • N is the number of data in one iteration
  • mi is the true mode of the data
  • D (f v (I)) and D (f t (T)) are the modes of the image and text vectors in the isomorphic image subspace prediction.
  • FIG. 3 is a schematic diagram of isomorphic space feature optimization in an embodiment of the present invention; wherein (a) is optimization of triplet distribution in an image subspace; (b) is optimization of triplet distribution in a text subspace.
  • Table 1 shows the comparison of the search results obtained by using the cross-media search method provided by the present invention and the existing methods [1]-[6] on the NUS-WIDE-10k and Wikipedia data sets to obtain the search results. .
  • Table 2 shows the cross-media retrieval method provided by the present invention and the two variants of the present invention (only image space and text space only) for searching the two data sets of NUS-WIDE-10k and Wikipedia. Comparison.
  • the search results are measured by the mAP value. The higher the mAP value, the better the search results.
  • FIG. 3 is a diagram showing an example of a result of performing a text retrieval image according to an embodiment of the present invention.
  • the first column is the search text
  • the second column is the matching image given by the data set
  • the columns 3 to 7 are the corresponding search results of the top five mAP values, showing the effectiveness of the invention for searching.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于双语义空间的对抗性跨媒体检索方法，涉及模式识别、自然语言处理、多媒体检索等技术领域；包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程。本发明通过建立同构双语义空间，即文本子空间和图像子空间，实现在最大限度保留原有图像和文本信息的同时消除语义鸿沟；并通过对抗训练来优化同构子空间数据分布，挖掘多媒体数据中丰富的语义信息，在保证类别不变、模态可区分的情况下拟合语义空间中不同模态的向量分布。本发明方法能够有效的消除不同模态信息异构性，实现有效的跨媒体检索，在图文检索、模式识别等领域具有广泛的市场需求和应用前景。

Description

一种基于双语义空间的对抗性跨媒体检索方法 技术领域
本发明涉及模式识别、自然语言处理、多媒体检索等技术领域，尤其涉及一种基于双语义空间的对抗性跨媒体检索方法，主要应用公共空间的特征映射来消除语义鸿沟，将不同模态的数据进行匹配达到检索的目的，并在跨媒体检索经典数据库中验证本方法的有效性。
背景技术
近年来，互联网技术飞速发展，随之而来的是多媒体信息的爆炸式增长，用户更倾向于通过检索获得多媒体信息结果，比如，用户输入关键字“狮子”，期望得到相关文字介绍以及其他模态的相关信息，比如狮子的图像，狮子的吼声以及狮子相关的视频等等。如此看来，传统的检索技术以经不能满足用户对于检索结果多样性、全面性的要求。跨媒体检索由于可以实现不同媒体间的灵活检索得到了广泛关注。其面临的挑战主要是不同模态的异构性和不可比性，以及不同模态所携带信息类型的不平衡性。比如，图片中包含更多的空间位置以及层次信息而文本中则包含着更多的上下文和背景信息。
现有方法大多将异构的特征映射到一个单一的同构空间，以消除“语义鸿沟”，但是，这样的处理同时伴随着大量的信息丢失，不同模态的特有信息不能得以保留，难以有效实现跨媒体检索。
发明内容
本发明提供了一种基于双语义空间的对抗性跨媒体检索方法，通过建立文本子空间和图像子空间，分别保留不同模态内部特征，并通过对抗训练来挖掘多媒体数据中丰富的语义信息，从而实现有效的跨媒体检索。
本发明的技术方案是：
一种基于双语义空间的对抗性跨媒体检索方法，通过建立文本子空间和图像子空间，分别保留不同模态内部特征，并通过对抗训练来挖掘多媒体数据中丰富的语义信息，从而实现有效的跨媒体检索；包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程。
1)特征生成过程；
具体实施时，分别获取NUS-WIDE-10k和Wikipedia两个数据集的训练数据，验证数据及测试数据。并利用深度卷积神经网络CNN(Convolutional Neural Network)对训练及测试图像提取视觉特征向量，利用BoW(Bag of Words)模型对训练和测试文本提取“BoW文本特 征向量”；设有n组训练数据，将图像和文本数据分别送入CNN网络和BoW模型，提取到的特征分别表示为图像特征I＝{i 1,i 2,…,i n}和文本特征T＝{t 1,t 2,…,t n}；
2)双语义空间的构建过程，包括图像子空间和文本子空间；
本发明构建了双语义空间，即图像子空间和文本子空间。
21)在图像子空间中，分别用三层的全连接网络实现对文本特征的映射以及图像特征在原有维度上的调整，同时引入三元组损失(triplet loss)进行同构空间特征优化，实现在最大限度保留图像信息的同时消除“语义鸿沟”。
具体执行如下操作：
211)在图像子空间中，图像特征I经过三层全连接网络在原有维度(4096维)上调整特征分布，为之后的图文匹配做准备,网络最后一层使用ReLU激活函数。同时引入一个相似的三层全连接网络将文本特征T映射到图像空间当中，尽量多的保留原有图像特征。
212)在同构图像子空间中定义三元组
Figure PCTCN2019076400-appb-000001
其中v i表示参照用图片，
Figure PCTCN2019076400-appb-000002
为与v i类别相同的正样例文本，
Figure PCTCN2019076400-appb-000003
表示与v i类别不同的负样例文本，使用L2范数计算的不同模态数据间距离，表示为式1:
Figure PCTCN2019076400-appb-000004
其中，f v(i)与f t(t)分别为图像与文本的映射函数，
Figure PCTCN2019076400-appb-000005
表示同构空间内图像文本间的欧式距离。
以空间中的图像为参照，引入三元组约束(triplet constraint)调整文本分布，即拉近相同语义的文本图像对
Figure PCTCN2019076400-appb-000006
的距离，同时增加语义不同的图像文本对
Figure PCTCN2019076400-appb-000007
间距离。图像子空间三元组损失可以表示为式2：
Figure PCTCN2019076400-appb-000008
其中，α为表示安全系数的超参数；
Figure PCTCN2019076400-appb-000009
为图像子空间三元组损失；V表示图像子空间。
22)相似的，在文本子空间中实现图像特征映射以及文本特征调整。
具体执行如下操作：
221)在文本子空间中，文本特征T利用文本映射函数ψ t(T)在原文本特征空间进行分布调整，图像映射函数ψ v(I)将图像特征I映射到文本空间当中，实现文本子空间内不同模态特征同构，同时避免大量损失原有文本信息。两个映射函数均为使用ReLU激活函数的3层全连 接网络。
222)文本子空间的三元组损失
Figure PCTCN2019076400-appb-000010
可以表示为式3：
Figure PCTCN2019076400-appb-000011
其中，α为表示安全系数的超参数，与式2中相同。Φ T表示文本子空间内的三元组
Figure PCTCN2019076400-appb-000012
t i为参照用文本，
Figure PCTCN2019076400-appb-000013
是与t i类别相同的正样例图片，
Figure PCTCN2019076400-appb-000014
是与t i类别不同的负样例图片。
223)两个语义子空间平行工作，实现特征提取的互补与平衡。
将双子空间的三元组损失适应性融合，得到最终不同模态在同构空间新的特征分布,表达式如式4，其中η V、η T为超参数：
Figure PCTCN2019076400-appb-000015
3)对抗性语义空间优化过程
本发明引入对抗性学习优化双语义空间，在保证类别不变的前提下拟合不同模态的空间分布，同时保证模态可判别，上述结果反向传输更新双语义空间，通过衡量空间距离完成“图像检索文本(Img2Text)”和“文本检索图像(Text2Img)”的跨媒体检索任务。
执行如下操作：
31)采用类别预测(concept prediction)方法，设定包含图像子空间和文本子空间的类别恒定目标函数，分别对图像子空间和文本子空间进行优化，使得子空间内不同模态特征映射或调整前后类别不变；
以图像子空间为例，优化目标是最小化数据类别真实分布与同构空间内向量的类别预测分布间的误差，其表达式如下：
Figure PCTCN2019076400-appb-000016
式中，N是一次迭代中数据的数目，c i为数据类别真实分布，p c(f v(I))、p c(f t(T))分别为同构图像子空间内图像向量与文本向量的类别预测概率；
文本子空间内目标函数
Figure PCTCN2019076400-appb-000017
定义类似：
Figure PCTCN2019076400-appb-000018
p c(ψ v(I))与p c(ψ t(T))分别为同构文本子空间内图像向量与文本向量的类别预测概率；
类别恒定目标函数整体可表示为式7：
Figure PCTCN2019076400-appb-000019
32)利用对抗性学习模型更新优化双空间网络参数，其中将步骤212)、221)中的同构空间特征表示f v(v)、f t(t)、ψ v(I)与ψ t(T)作为对抗性学习模型的生成器生成向量，生成器的优化目标为在保证类别恒定的前提下使得图像和文本在双子空间内的分布尽量相似，优化函数表达式为式8：
L G＝μ c·L c+μ tri·L tri     (式8)
其中，μ c、μ tri为超参数。
对抗性学习模型的判别器的目标是尽量准确地判断出不同模态数据在双子空间内的向量是来自图像还是文本。具体实施时，本发明使用3层前向传播全连接网络进行模态判别。
以图像子空间为例，其优化目标是使得数据模态真实分布m i与模态预测概率分布误差最小化，其表达式为式9：
Figure PCTCN2019076400-appb-000020
其中，N是一次迭代中数据的数目，m i为数据真实模态，D(f v(I))与D(f t(T))为同构图像子空间内图像与文本向量的模态预测。
文本子空间内目标函数
Figure PCTCN2019076400-appb-000021
表达式与上述表达式类似：
Figure PCTCN2019076400-appb-000022
D(ψ v(I))与D(ψ t(T))分别为同构文本子空间内图像与文本向量的模态预测。
判别器在双子空间内的目标函数整体可以表示为式11：
Figure PCTCN2019076400-appb-000023
生成器与判别器的目标函数交替训练，得到最优化的两个同构语义空间。
利用优化的同构双语义空间，通过衡量空间距离完成“图像检索文本(Img2Text)”和“文本检索图像(Text2Img)”，即可实现基于双语义空间的对抗性跨媒体的检索。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于双语义空间的对抗性跨媒体检索方法，其技术优势体现在：
(一)通过建立文本子空间和图像子空间，分别保留不同模态内部特征。在图像子空间中，分别用三层的全连接网络实现对文本特征的映射以及图像特征在原有维度上的调整，同 时引入三元组损失进行同构空间特征优化，实现在最大限度保留图像信息的同时消除“语义鸿沟”。相似的，在文本子空间中实现图像特征映射以及文本特征调整。两个语义子空间平行工作，实现特征提取的互补与平衡。
(二)通过对抗训练来挖掘多媒体数据中丰富的语义信息，通过衡量空间距离完成“图像检索文本(Img2Text)”和“文本检索图像(Text2Img)”的跨媒体检索任务实现有效的跨媒体检索。
附图说明
图1是本发明提供方法的整体流程框图。
图2是本发明实施例中进行同构空间特征优化的示意图；
其中，(a)是图像子空间内三元组分布优化；(b)是文本子空间内三元组分布优化。
图3是本发明实施例进行文本检索图像的结果示例图，
其中，第一列为检索用文本，第二列为数据集给定的匹配图像，列3至列7为mAP值前五的对应检索结果。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供了一种基于双语义空间的对抗性跨媒体检索方法，通过建立文本子空间和图像子空间，分别保留不同模态内部特征，并通过对抗训练来挖掘多媒体数据中丰富的语义信息，从而实现有效的跨媒体检索。
本发明提供的方法包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程；图1所示是本发明提供方法的流程，具体步骤如下：
1)假设有n组训练数据，将图像和文本数据分别送入CNN网络和BoW模型，提取到的特征分别表示为图像特征I＝{i 1,i 2,…,i n}和文本特征T＝{t 1,t 2,…,t n}，
2)在图像子空间中，图像特征I经过三层全连接网络在原有维度(4096维)上调整特征分布，为之后的图文匹配做准备,网络最后一层使用ReLU激活函数。同时引入一个相似的三层全连接网络将文本特征T映射到图像空间当中，尽量多的保留原有图像特征。
3)在同构图像子空间中定义三元组
Figure PCTCN2019076400-appb-000024
其中v i表示参照用图片，
Figure PCTCN2019076400-appb-000025
为与v i类别相同的正样例文本，
Figure PCTCN2019076400-appb-000026
表示与v i类别不同的负样例文本，使用L2范数计算的不同模 态数据间距离:
Figure PCTCN2019076400-appb-000027
其中f v(i)与f t(t)分别为图像与文本的映射函数，
Figure PCTCN2019076400-appb-000028
表示同构空间内图像文本间的欧式距离。
以空间中的图像为参照，引入三元组约束(triplet constraint)调整文本分布，即拉近相同语义的文本图像对
Figure PCTCN2019076400-appb-000029
的距离，同时增加语义不同的图像文本对
Figure PCTCN2019076400-appb-000030
间距离。图像子空间三元组损失可以表示为：
Figure PCTCN2019076400-appb-000031
其中α为表示安全系数的超参数。
4)在文本子空间中，文本特征T经过文本映射函数ψ t(T)在同原本文本维度空间特征分布调整，图像映射函数ψ v(I)将图像特征I映射到文本空间当中，实现文本子空间内不同模态特征同构，同时避免大量损失原有文本信息。二者均为使用ReLU激活函数的3层全连接网络。与图像子空间类似，文本子空间的三元组损失可以表示为：
Figure PCTCN2019076400-appb-000032
其中α为表示安全系数的超参数。Φ表示文本子空间内的三元组
Figure PCTCN2019076400-appb-000033
t i为参照用文本，
Figure PCTCN2019076400-appb-000034
是与t i类别相同的正样例图片，
Figure PCTCN2019076400-appb-000035
是与t i类别不同的负样例图片。
5)将双子空间的三元组损失适应性融合，得到最终不同模态在同构空间新的特征分布,表达式如下，其中η为超参数：
Figure PCTCN2019076400-appb-000036
6)引入类别预测(concept prediction)，保证子空间内不同模态特征映射或调整前后类别不变，以图像空间为例，优化目标是最小化数据类别真实分布c i与同构空间内向量的类别预测概率分布p c(f v(T))、p c(f t(T))间的误差，其表达式如下：
Figure PCTCN2019076400-appb-000037
N是一次迭代中数据的数目，c i为数据类别真实分布，p c(f v(I))、p c(f t(T))分别为同 构图像子空间内图像向量与文本向量的类别预测概率。
文本子空间内目标函数
Figure PCTCN2019076400-appb-000038
定义类似，类别恒定目标函数整体可表示为：
Figure PCTCN2019076400-appb-000039
7)对抗性学习模型更新优化双空间网络参数，其中步骤3)、4)中的同构空间特征表示f v(v)、f t(t)、ψ v(I)与ψ t(T)为对抗性学习模型中生成器生成向量，生成器的优化目标为在保证类别恒定的前提下使得图像和文本在双子空间内的分布尽量相似，优化函数表达式为：
L G＝μ c·L c+μ tri·L tri
其中μ c、μ tri为超参数。
判别器的目标是尽量准确地判断出不同模态数据在双子空间内的向量是来自图像还是文本。本发明使用3层前向传播全连接网络进行模态判别。以图像子空间为例，其优化目标是使得数据模态真实分布与模态预测概率分布误差最小化，其表达式为：
Figure PCTCN2019076400-appb-000040
其中，N是一次迭代中数据的数目，m i为数据真实模态，D(f v(I))与D(f t(T))为同构图像子空间内图像与文本向量的模态预测。
文本子空间内目标函数
Figure PCTCN2019076400-appb-000041
表达式与上述表达式类似，判别器在双子空间内的目标函数整体可以表示为：
Figure PCTCN2019076400-appb-000042
8)生成器与判别器的目标函数交替训练，得到最优化的两个同构语义空间。利用优化的同构双语义空间，即可实现基于双语义空间的对抗性跨媒体的检索。
图3是本发明实施例中进行同构空间特征优化的示意图；其中，(a)是图像子空间内三元组分布优化；(b)是文本子空间内三元组分布优化。
表1给出了采用本发明提供的跨媒体检索方法及现有方法[1]-[6]在NUS-WIDE-10k和Wikipedia两个数据集进行检索得到的检索结果以得到的检索结果的对比。
表1 NUS-WIDE-10k和Wikipedia数据集在不同方法上的检索结果
Figure PCTCN2019076400-appb-000043
Figure PCTCN2019076400-appb-000044
其中，现有方法[1]-[6]分别为：
文献[1](Rasiwasia,N.,Pereira,J.C.,Coviello,E.,Doyle,G.,Lanckriet,G.R.G.,Levy,R.,Vasconcelos,N.:A new approach to cross-modal multimedia retrieval.In:International Conference on Multimedia.pp.251–260(2010))记载的CCA方法；
文献[2](Srivastava,N.,Salakhutdinov,R.:Learning representations for multimodal data with deep belief nets.In:ICML Workshop)记载的Multimodal DBN方法；
文献[3](Feng,F.,Wang,X.,Li,R.:Cross-modal retrieval with correspondence autoencoder pp.7–16(2014))记载的Corr-AE方法；
文献([4]Zhai,X.,Peng,Y.,Xiao,J.:Learning cross-media joint representation with sparse and semisupervised regularization.IEEE Transactions on Circuits and Systems for Video Technology24(6),965–978(2014))记载的JRL方法；
文献([5]Wang,B.,Yang,Y.,Xu,X.,Hanjalic,A.,Shen,H.T.:Adversarial cross-modal retrieval.In:ACM on Multimedia Conference.pp.154–162(2017))记载的ACMR方法；
文献([6]Peng,Y.,Qi,J.,Yuan,Y.:Modality-specific cross-modal similarity measurement with recurrent attention network(2017))记载的MCSM方法。
表2给出了本发明提供的跨媒体检索方法及本发明两个变体(仅有图像空间和仅有文本空间)对NUS-WIDE-10k和Wikipedia两个数据集进行检索，得到的检索结果的对比。
表2 NUS-WIDE-10k和Wikipedia数据集在图像空间、文本空间和双语义空间的检索结果
Figure PCTCN2019076400-appb-000045
表1和表2中，检索结果用mAP值衡量，mAP值越高，检索效果越优异。
从表1中可以看出，与现有方法比较，本发明在图像检索文本和文本检索图像两大任务上检索正确率均有明显提升，表2结果显示，虽然NUS-WIDE-10k数据集上的检索结果显示，在图像检索文本任务上双语义空间的mAP值稍低于仅在文本空间的结果，但双空间的平均检索结果在两个数据集上均明显高于单空间，充分验证了本发明中所提出的的双语义空间检索结构的有效性。图3是本发明实施例进行文本检索图像的结果示例图。图中，第一列为检索用文本，第二列为数据集给定的匹配图像，列3至列7为mAP值前五的对应检索结果，显示了本发明用于检索的有效性。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (4)

  1. 一种基于双语义空间的对抗性跨媒体检索方法，通过建立文本子空间和图像子空间，分别保留不同模态内部特征，并通过对抗训练挖掘多媒体数据中的语义信息，从而实现有效的跨媒体检索；包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程；
    1)特征生成过程；执行如下操作：
    获取训练数据，验证数据及测试数据；
    利用深度卷积神经网络CNN模型，对训练及测试图像提取视觉特征向量，利用BoW模型对训练和测试文本提取得到BoW文本特征向量；设有n组训练数据，提取到的特征分别表示为图像特征I＝{i 1,i 2,…,i n}和文本特征T＝{t 1,t 2,…,t n}；
    2)双语义空间的构建过程，包括图像子空间和文本子空间；执行如下操作：
    21)在图像子空间中，分别用三层的全连接网络实现对文本特征的映射以及图像特征在原有维度上的调整，同时引入三元组损失进行同构空间特征优化，保留图像信息并消除语义鸿沟；具体执行如下操作：
    211)在图像子空间中，图像特征I经过三层全连接网络在原有维度上调整特征分布，网络最后一层使用ReLU激活函数；引入三层全连接网络，将文本特征T映射到图像空间当中，保留原有图像特征；
    212)在同构图像子空间中定义三元组
    Figure PCTCN2019076400-appb-100001
    其中v i表示参照用图片，
    Figure PCTCN2019076400-appb-100002
    为与v i类别相同的正样例文本，
    Figure PCTCN2019076400-appb-100003
    表示与v i类别不同的负样例文本；使用L2范数计算的不同模态数据间距离，表示为式1:
    Figure PCTCN2019076400-appb-100004
    其中，f v(i)与f t(t)分别为图像与文本的映射函数，
    Figure PCTCN2019076400-appb-100005
    表示同构空间内图像文本间的欧式距离；
    引入图像子空间三元组约束调整文本图像分布，拉近相同语义的文本图像对
    Figure PCTCN2019076400-appb-100006
    的距离，同时增加语义不同的图像文本对
    Figure PCTCN2019076400-appb-100007
    间距离；图像子空间三元组损失
    Figure PCTCN2019076400-appb-100008
    可以表示为式2：
    Figure PCTCN2019076400-appb-100009
    其中，α为表示安全系数的超参数；
    Figure PCTCN2019076400-appb-100010
    为图像子空间三元组损失；V表示图像子空间；
    22)在文本子空间中实现图像特征映射及文本特征调整；执行如下操作：
    221)在文本子空间中，文本特征T利用文本映射函数ψ t(T)在原文本特征空间进行分布调整，图像映射函数ψ v(I)将图像特征I映射到文本空间当中，实现文本子空间内不同模态特征同构；
    222)文本子空间的三元组损失
    Figure PCTCN2019076400-appb-100011
    表示为式3：
    Figure PCTCN2019076400-appb-100012
    其中，α为表示安全系数的超参数；Φ T表示文本子空间内的三元组
    Figure PCTCN2019076400-appb-100013
    t i为参照用文本，
    Figure PCTCN2019076400-appb-100014
    是与t i类别相同的正样例图片，
    Figure PCTCN2019076400-appb-100015
    是与t i类别不同的负样例图片；
    224)图像子空间和文本子空间平行工作，实现特征提取的互补与平衡；
    将双子空间的三元组损失适应性融合，得到最终不同模态在同构空间新的特征分布,表示为式4，其中η V、η T为超参数：
    Figure PCTCN2019076400-appb-100016
    3)对抗性语义空间优化过程；执行如下操作：
    31)采用类别预测方法，设定包含图像子空间和文本子空间的类别恒定目标函数，分别对图像子空间和文本子空间进行优化，使得子空间内不同模态特征映射或调整前后类别不变；
    设定图像子空间内的目标函数
    Figure PCTCN2019076400-appb-100017
    文本子空间内的目标函数
    Figure PCTCN2019076400-appb-100018
    是最小化数据类别真实分布与同构空间内向量的类别预测分布间的误差；类别恒定目标函数表示为式7：
    Figure PCTCN2019076400-appb-100019
    32)利用对抗性学习模型更新优化双空间网络参数，将步骤212)、221)中的同构空间特征表示f v(v)、f t(t)、ψ v(I)与ψ t(T)作为对抗性学习模型的生成器生成向量，生成器的优化目标为在保证类别恒定的前提下使得图像和文本在双子空间内的分布尽量相似，优化函数L G表达式为式8：
    L G＝μ c·L c+μ tri·L tri       (式8)
    其中，μ c、μ tri为超参数；
    对抗性学习模型的判别器的目标是尽量准确地判断出不同模态数据在双子空间内的向量是来自图像还是文本；
    设定图像子空间内的优化目标为
    Figure PCTCN2019076400-appb-100020
    文本子空间内目标函数为
    Figure PCTCN2019076400-appb-100021
    判别器在双子空间内 的目标函数L D表示为式11：
    Figure PCTCN2019076400-appb-100022
    生成器与判别器的目标函数交替训练，得到最优化的两个同构语义空间；
    利用最优化的同构双语义空间，完成“图像检索文本(Img2Text)”和“文本检索图像(Text2Img)”，即可实现基于双语义空间的对抗性跨媒体的检索。
  2. 如权利要求1所述基于双语义空间的对抗性跨媒体检索方法，其特征是，步骤31)中，对图像子空间，优化目标是最小化数据类别真实分布与同构空间内向量的类别预测分布间的误差，表示为式5：
    Figure PCTCN2019076400-appb-100023
    式中，N是一次迭代中数据的数目，c i为数据类别真实分布，p c(f v(I))、p c(f t(T))分别为同构图像子空间内图像向量与文本向量的类别预测概率；
    文本子空间内目标函数
    Figure PCTCN2019076400-appb-100024
    定义为式6：
    Figure PCTCN2019076400-appb-100025
    其中，p c(ψ v(I))与p c(ψ t(T))分别为同构文本子空间内图像向量与文本向量的类别预测概率。
  3. 如权利要求1所述基于双语义空间的对抗性跨媒体检索方法，其特征是，步骤32)中，对图像子空间，优化目标是使得数据模态真实分布m i与模态预测概率分布误差最小化，表示为式9：
    Figure PCTCN2019076400-appb-100026
    其中，N是一次迭代中数据的数目，m i为数据真实模态，D(f v(I))与D(f t(T))为同构图像子空间内图像与文本向量的模态预测；
    文本子空间内目标函数
    Figure PCTCN2019076400-appb-100027
    表示为式10：
    Figure PCTCN2019076400-appb-100028
    D(ψ v(I))与D(ψ t(T))分别为同构文本子空间内图像与文本向量的模态预测。
  4. 如权利要求1所述基于双语义空间的对抗性跨媒体检索方法，其特征是，步骤32)具体使用3层前向传播全连接网络进行模态判别。
PCT/CN2019/076400 2018-06-29 2019-02-28 一种基于双语义空间的对抗性跨媒体检索方法 Ceased WO2020001048A1 (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201810695406.4 2018-06-29
CN201810695406 2018-06-29
CN201811106799.7 2018-09-21
CN201811106799.7A CN109344266B (zh) 2018-06-29 2018-09-21 一种基于双语义空间的对抗性跨媒体检索方法

Publications (1)

Publication Number Publication Date
WO2020001048A1 true WO2020001048A1 (zh) 2020-01-02

Family

ID=65306536

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/076400 Ceased WO2020001048A1 (zh) 2018-06-29 2019-02-28 一种基于双语义空间的对抗性跨媒体检索方法

Country Status (2)

Country Link
CN (1) CN109344266B (zh)
WO (1) WO2020001048A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116910282A (zh) * 2022-12-20 2023-10-20 大连理工大学人工智能大连研究院 一种局部结构优化的半监督语义保持跨模态检索方法
CN121706857A (zh) * 2026-02-10 2026-03-20 潍坊学院 图像检索模型训练方法、图像检索方法、设备和介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344266B (zh) * 2018-06-29 2021-08-06 北京大学深圳研究生院 一种基于双语义空间的对抗性跨媒体检索方法
CN109978021B (zh) * 2019-03-07 2022-09-16 北京大学深圳研究生院 一种基于文本不同特征空间的双流式视频生成方法
CN109933802B (zh) * 2019-03-25 2023-05-26 腾讯科技（深圳）有限公司 图文匹配方法、装置及存储介质
CN110059217B (zh) * 2019-04-29 2022-11-04 广西师范大学 一种两级网络的图像文本跨媒体检索方法
CN111783980B (zh) * 2020-06-28 2023-04-07 大连理工大学 基于双重协作生成式对抗网络的排序学习方法
CN112001279B (zh) * 2020-08-12 2022-02-01 山东省人工智能研究院 基于双重属性信息的跨模态行人重识别方法
CN112949384B (zh) * 2021-01-23 2024-03-08 西北工业大学 一种基于对抗性特征提取的遥感图像场景分类方法
CN113435206B (zh) * 2021-05-26 2023-08-01 卓尔智联(武汉)研究院有限公司 一种图文检索方法、装置和电子设备
CN114661933B (zh) * 2022-03-08 2025-01-10 萍乡市萍宣再生资源有限公司 基于胎儿先心病超声图像—诊断报告的跨模态检索方法
CN115858859A (zh) * 2022-07-07 2023-03-28 腾讯科技（深圳）有限公司 视频搜索方法、装置及计算机可读存储介质
CN114863194B (zh) * 2022-07-11 2022-11-18 北京邮电大学 面向科技资讯跨媒体检索特征映射网络训练方法、检索方法及装置
CN115470365B (zh) * 2022-11-09 2023-04-07 南京码极客科技有限公司 一种基于深度度量学习的细粒度跨媒体检索方法
CN117058686B (zh) * 2023-05-10 2025-08-01 阿里巴巴达摩院(杭州)科技有限公司 特征生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317834A (zh) * 2014-10-10 2015-01-28 浙江大学 一种基于深度神经网络的跨媒体排序方法
CN106095829A (zh) * 2016-06-01 2016-11-09 华侨大学 基于深度学习与一致性表达空间学习的跨媒体检索方法
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN109344266A (zh) * 2018-06-29 2019-02-15 北京大学深圳研究生院 一种基于双语义空间的对抗性跨媒体检索方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7861260B2 (en) * 2007-04-17 2010-12-28 Almondnet, Inc. Targeted television advertisements based on online behavior
CN106095893B (zh) * 2016-06-06 2018-11-20 北京大学深圳研究生院 一种跨媒体检索方法
CN108319686B (zh) * 2018-02-01 2021-07-30 北京大学深圳研究生院 基于受限文本空间的对抗性跨媒体检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317834A (zh) * 2014-10-10 2015-01-28 浙江大学 一种基于深度神经网络的跨媒体排序方法
CN106095829A (zh) * 2016-06-01 2016-11-09 华侨大学 基于深度学习与一致性表达空间学习的跨媒体检索方法
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN109344266A (zh) * 2018-06-29 2019-02-15 北京大学深圳研究生院 一种基于双语义空间的对抗性跨媒体检索方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116910282A (zh) * 2022-12-20 2023-10-20 大连理工大学人工智能大连研究院 一种局部结构优化的半监督语义保持跨模态检索方法
CN121706857A (zh) * 2026-02-10 2026-03-20 潍坊学院 图像检索模型训练方法、图像检索方法、设备和介质

Also Published As

Publication number Publication date
CN109344266A (zh) 2019-02-15
CN109344266B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
WO2020001048A1 (zh) 一种基于双语义空间的对抗性跨媒体检索方法
CN113297369B (zh) 基于知识图谱子图检索的智能问答系统
CN107885760B (zh) 一种基于多种语义的知识图谱表示学习方法
WO2023280065A1 (zh) 一种面向跨模态通信系统的图像重建方法及装置
WO2019052403A1 (zh) 图像文本匹配模型的训练方法、双向搜索方法及相关装置
CN110298395B (zh) 一种基于三模态对抗网络的图文匹配方法
US20250068672A1 (en) Data processing and entity linking
CN113222775A (zh) 融合多模态信息及权重张量的用户身份关联方法
CN114239730A (zh) 一种基于近邻排序关系的跨模态检索方法
CN112860916A (zh) 一种面向影视的多层次知识图谱生成方法
CN114969423B (zh) 一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设备
CN110765755A (zh) 一种基于双重选择门的语义相似度特征提取方法
CN116628261A (zh) 基于多语义空间的视频文本检索方法、系统、设备及介质
US20240126993A1 (en) Transformer-based text encoder for passage retrieval
Liu et al. Cross-media intelligent perception and retrieval analysis application technology based on deep learning education
CN120218199A (zh) 一种结合嵌入方法和大语言模型的知识图谱补全方法
CN108108770A (zh) 基于CRBM和Fisher网络的移动视觉搜索框架
CN115248877B (zh) 一种基于多模态的轨迹文本匹配方法
CN116341655B (zh) 一种基于多模态协同表示学习的实体对齐方法
Meng et al. SE-GNN: Seed Expanded-Aware Graph Neural Network with Iterative Optimization for Semi-supervised Entity Alignment
CN120723920B (zh) 一种基于交互提示的联邦跨模态检索方法及系统
CN110245292B (zh) 一种基于神经网络过滤噪声特征的自然语言关系抽取方法
CN106384587A (zh) 一种语音识别方法及系统
CN121392957A (zh) 视频动作识别模型训练方法、视频动作识别方法和装置
CN116089618A (zh) 融合三元损失和标签嵌入的图注意力网络文本分类模型

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19824711

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19824711

Country of ref document: EP

Kind code of ref document: A1