WO2020143137A1 - 基于受限文本空间的多步自注意力跨媒体检索方法及系统 - Google Patents

基于受限文本空间的多步自注意力跨媒体检索方法及系统 Download PDF

Info

Publication number
WO2020143137A1
WO2020143137A1 PCT/CN2019/085771 CN2019085771W WO2020143137A1 WO 2020143137 A1 WO2020143137 A1 WO 2020143137A1 CN 2019085771 W CN2019085771 W CN 2019085771W WO 2020143137 A1 WO2020143137 A1 WO 2020143137A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
features
image
feature
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/085771
Other languages
English (en)
French (fr)
Inventor
王文敏
余政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Publication of WO2020143137A1 publication Critical patent/WO2020143137A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the invention relates to the technical field of computer vision and information retrieval, in particular to a multi-step self-attention cross-media retrieval method and system based on a limited text space.
  • the first sub-problem is how to learn to get an effective representation of the underlying features.
  • most traditional methods only represent images and text through global features, such as the output of the last fully connected layer of a convolutional neural network (CNN) or the hidden layer output of the last time of a recurrent neural network (RNN).
  • Global features contain more redundant information, also known as exclusive information within the modal. This information exists only within the modalities and is not shared among the modalities. This also leads to a decline in the quality of cross-media retrieval. Therefore, some scholars try to extract the local features of image and text (image object area, text word), and then find the shared information between the two through the attention mechanism, thereby reducing the impact of redundant features.
  • most existing methods based on the attention mechanism only consider the shared information at the object level between the image and the text, and do not consider the interactive information between the objects.
  • the second sub-problem is how to find a suitable isomorphic feature space.
  • isomorphic space There are roughly three options for isomorphic space, namely public space, text space and image space.
  • Existing methods usually nonlinearly map heterogeneous features to a latent common space, so that the similarity between different modal data can be directly measured.
  • text features are easier to understand by humans and the information transmitted is more accurate. For example, given an image, the human brain will first condense description sentences based on its content, and then retrieve semantically similar text based on these descriptions. Therefore, in order to simulate the cognitive mode of the human brain, this method explores the feasibility of cross-media retrieval in the text space.
  • the text space is essentially a vector space, composed of a series of different Chinese characters and words.
  • Chinese there is no accurate number of Chinese characters, about 100,000 (Beijing Guoan Consulting Equipment Co., Ltd. has 91251 Chinese characters from the source of Chinese character database income).
  • a large number of new words have emerged to keep the size of the text space growing.
  • similar situations also appear in other languages including English. According to incomplete statistics, the number of existing English words has exceeded one million, and is still growing at a rate of several thousand every year. Therefore, natural language is divergent in nature. Based on this divergent characteristic, it is almost impossible to construct a complete unrestricted text space.
  • Attention mechanism was initially used in "sequence-sequence" model, such as machine translation and image caption. It contains three commonly used forms: 1) additive attention mechanism, 2) product attention mechanism and 3) self-attention mechanism. If the additive or product self-attention mechanism is used in the cross-media retrieval algorithm, the key information of the image and text cannot be fixed, which results in the uncertainty of the image and text encoding and affects the practical application value of the algorithm.
  • the additive or product self-attention mechanism will generate 10 different types of focus information for each image and each text (Corresponding to 10 texts and 10 images, respectively), that is, the key information of an image (text) is determined by the corresponding text (image).
  • the model must ensure the uniqueness of the encoding of images and text. Therefore, the self-attention mechanism is more suitable for cross-media retrieval.
  • the self-attention mechanism can guide the image and text to find the key information inside the data, and ensure it is fixed.
  • the present invention proposes a multi-step self-attention cross-media retrieval method and retrieval system based on limited text space.
  • This method learns a limited text space by simulating human brain cognition, and introduces a multi-step self-attention mechanism and associated features, which greatly improves the retrieval recall rate.
  • the present invention also builds an online retrieval Demo system. By entering text or uploading images, the Demo can return the corresponding search results, thereby further verifying the effectiveness of the present invention.
  • the restricted text space refers to a text space with a relatively fixed vocabulary, which is relative to an unrestricted text space.
  • the present invention constructs a restricted text space of a relatively fixed vocabulary, and then converts the unrestricted text space into a restricted text space, thereby ensuring the convergence of the algorithm.
  • the ability to understand based on limited text space is affected by the size of the vocabulary, that is, the larger the vocabulary, the stronger the understanding, and the smaller the vocabulary, the weaker the understanding.
  • the present invention extracts the interaction information between objects through image captioning (image captioning), which is also referred to as correlation information (relation information).
  • image captioning image captioning
  • correlation information correlation information
  • the image caption model is essentially an "encoding-decoding" model, that is, given an input image, it will first encode it into a feature vector through the encoder, and then translate the feature vector into an appropriate description through the decoder text. Since the generated description text contains not only the object category information (nouns) in the image, but also the interaction information (verbs, adjectives) between the objects, the related information can be represented by the feature vector generated by the encoder.
  • the representative algorithm of the image caption task is NIC (Neural Image Captioning).
  • the method of the present invention is used to extract regional features (image object regions, text words) of images and text, and find shared information between the two through a multi-step self-attention mechanism, thereby reducing the interference of redundant information.
  • the present invention regards the global features of the two as the global prior knowledge of the multi-step self-attention mechanism, which is used to achieve the rapid positioning of key information, and can achieve more at a faster training speed. Good experiment results.
  • the present invention maps the underlying features of the image to a "restricted text space", which contains not only the category information of objects, but also the rich interaction information between objects.
  • the multi-step self-attention cross-media retrieval method based on the restricted text space proposed by the present invention contains a total of three modules, namely a feature extraction network, a feature mapping network and a similarity measurement network.
  • the feature extraction network is used to extract global features, regional features, and associated features of images and text.
  • the extraction of related features is realized by the representative algorithm NIC of the image caption model;
  • the feature mapping network is used to learn to get the restricted text space.
  • the feature map network can selectively focus on part of the shared information at different times, and extract the object-level features of images and text by summarizing the useful information at each time.
  • it also fuses the object-level features of the image with the associated features through the feature fusion layer and maps it to the restricted text space.
  • the present invention regards the global features of images and text as global prior knowledge of a multi-step self-attention mechanism, which is used to achieve the rapid positioning of key information.
  • the similarity measurement network measures the final similarity between images and text by summarizing useful information at each moment. The present invention achieves a better recall rate result in the cross-media retrieval classic data set, and also achieves a good performance from a subjective perspective.
  • Model corresponds to the multi-step self-attention cross-media retrieval method based on the restricted text space proposed by the present invention, which is the core sorting algorithm
  • View corresponds to the front-end page, which is used to realize the input of queries (images or text) and the display of retrieval results
  • Controller corresponds to the background controller, used to read query input from the front end and send data to the core sorting algorithm.
  • Multi-step self-attention cross-media retrieval method based on restricted text space, including feature extraction network, feature mapping network and similarity measurement network; feature extraction network is used to extract global features, regional feature sets and associated features of images and text; Features are further fed into the feature mapping network, and as many object-level shared information as possible between images and text is extracted through a multi-step self-attention mechanism.
  • the feature mapping network fuses the shared features of the object level and the associated features through the feature fusion layer, and maps them to the restricted text space; finally, the similarity measurement network Measure the final similarity between the image and the text by summing up the useful information at each moment, and calculate the triple loss function; thereby achieving multi-step self-attention cross-media retrieval based on limited text space;
  • Each piece of text is composed of multiple (such as 5) sentences, and each sentence independently describes the matching picture; the data set is used to learn the restricted text space; for the data set D, the specific implementation steps of the present invention as follows:
  • the pre-trained VGG (Neural Network Structure proposed by Visual Geometry Group) is used to extract the global features of the image and the regional feature set of the image; NIC is used to extract the related features that contain rich interactive information between objects.
  • VGG Neurological Network Structure proposed by Visual Geometry Group
  • NIC is used to extract the related features that contain rich interactive information between objects.
  • the present invention uses a bidirectional LSTM (Bidirectional Long Short Term Memory networks) network to extract the global features of the text and the set of regional features of the text.
  • the bidirectional LSTM network is not pre-trained, and its parameters are updated synchronously with the parameters of the feature map network;
  • step 2) Send the feature extracted in step 1) to the feature map network.
  • the present invention regards the global features of images and text as global prior knowledge of a multi-step self-attention mechanism, which is used to quickly locate key information;
  • the similarity measurement network measures the final similarity between the image and the text by summarizing the useful information at each moment, and calculates the triple loss function.
  • the present invention updates the network parameters by optimizing the triplet loss function.
  • the similarity measurement function is defined as:
  • Equation 7 v and u represent the characteristics of the image and text in the restricted text space; the similarity sk of the two at k is calculated by Equation 7:
  • Equation 8 the final similarity S between the image and the text is measured and expressed as Equation 8:
  • Equation 9 The triple loss function is expressed as Equation 9:
  • the effectiveness of the present invention is further verified by implementing an online multi-step self-attention cross-media retrieval Demo system based on limited text space.
  • the front-end page is implemented by HyperText Markup Language (HTML), Cascading Style Sheets (CSS) and JavaScript; the back-end controller is implemented by Tornado tool.
  • HTML HyperText Markup Language
  • CSS Cascading Style Sheets
  • Tornado tool the back-end controller is implemented by Tornado tool.
  • the invention provides a multi-step self-attention cross-media retrieval method based on limited text space, which includes a feature extraction network, a feature mapping network and a similarity measurement network.
  • the feature extraction network is used to extract global features, regional feature sets, and associated features of images and text; secondly, features are further fed into the feature mapping network, and as many objects as possible are extracted between the image and text through a multi-step self-attention mechanism Level of shared information. Because it does not take into account the interaction information between different objects, the feature mapping network fuses the shared features of the object level with the associated features through the feature fusion layer and maps them to the restricted text space.
  • the present invention regards the global features of images and text as the global prior knowledge of the multi-step self-attention mechanism, which is used to achieve the rapid positioning of key information; finally, similar
  • the sex measurement network measures the final similarity between the image and the text by summarizing the useful information at each moment, and calculates the triple loss function.
  • the present invention additionally builds an online retrieval demo. By entering text or uploading images, the Demo can return the corresponding search results, thereby verifying the effectiveness of the present invention from a subjective perspective.
  • the present invention has the following technical advantages:
  • the present invention proposes a novel feature mapping network by means of a multi-step self-attention mechanism. It can selectively focus on some shared information at different times, and measure the final similarity between images and text by summing up useful information at each time;
  • the present invention extracts the correlation feature of the rich interactive information between different objects contained in the image through the image caption model, which is used to make up for the defect of sharing information at the object level;
  • the present invention regards the global features of images and text as the global prior knowledge of the multi-step self-attention mechanism, which is used to achieve the rapid positioning of key information.
  • the present invention additionally builds an online retrieval demo. By entering text or uploading images, the Demo can return the corresponding search results, thereby verifying the effectiveness of the present invention from a subjective perspective.
  • Figure 1 defines the concept of shared information and related information at the object level
  • the shared information at the object level between the two images and text is similar, such as “man”, “surfboard” and “wave”.
  • the interaction information between objects is different, such as how men surf ("jump down” vs "swipe towards”).
  • a and B represent image and text processing branches respectively;
  • CNN Convolutional Neural Network, Convolutional Neural Network
  • NIC image caption model
  • v global is the global feature of the image
  • Image sharing feature representing time k
  • Image context information representing time k
  • map to the restricted text space so as to get the image feature output v k at time k
  • BLSTM is a bidirectional LSTM network
  • u global is the global feature of the text
  • Text context information representing time k.
  • S is the final similarity between the image and the text.
  • Figure 3 is the structure of the feature mapping network of the present invention.
  • C and D represent the self-attention mechanism of text and image respectively; the attention layer is used to calculate the feature weights of different regions of the image and text ( with ); The weighted average layer performs weighted averaging on the regional feature sets of images and text by different weights to obtain the shared features (v k and u k ) at the current moment; Indicates that the context information is updated through the identity connection (dashed line).
  • Figure 4 shows the effect of global prior knowledge on the model convergence speed under the Flickr8K data set
  • MSAN with prior means a model that introduces global prior knowledge
  • MSAN w/oprior means a model that does not use global prior knowledge
  • Figures 5-6 show the main pages of the online search Demo, which are the text search image page and the image search text page screenshot, respectively.
  • the invention provides a multi-step self-attention cross-media retrieval method based on limited text space, which includes a feature extraction network, a feature mapping network and a similarity measurement network.
  • the feature extraction network is used to extract global features, regional feature sets, and associated features of images and text; secondly, features are further fed into the feature mapping network, and as many objects as possible are extracted between the image and text through a multi-step self-attention mechanism Level of shared information. However, it does not consider the interactive information between different objects. As shown in Figure 1, for two different image-text pairs, the shared information at the object level between the two images and text is similar, such as "man”, “surfboard” and "wave".
  • the feature mapping network fuses the shared features of the object level with the associated features through the feature fusion layer and maps them to the restricted text space.
  • the present invention regards the global features of images and text as the global prior knowledge of the multi-step self-attention mechanism, which is used to achieve the rapid positioning of key information; finally, similar
  • the sex measurement network measures the final similarity between the image and the text by summarizing the useful information at each moment, and calculates the triple loss function.
  • the present invention additionally builds an online retrieval demo.
  • the Demo can return the corresponding search results, thereby verifying the effectiveness of the present invention from a subjective perspective.
  • the output of the last fully connected layer of VGG is used to extract the 4096-dimensional global feature v global of the image . Since the multi-layer convolution and pooling operations are equivalent to extracting the features of the image region, the present invention uses the output of the last pooling layer (pool5) of VGG as the feature set of each region of the image
  • the output of this layer contains 512 feature maps (feature map), and the size of each feature map is 7 ⁇ 7. In other words, the total number of image areas is 49, and each area is represented by a 512-dimensional feature vector.
  • the present invention adopts the representative algorithm NIC of the image caption task, which is used to extract 512-dimensional associated features containing rich interaction information between objects
  • VGG is pre-trained by ImageNet
  • NIC is pre-trained by cross-media retrieval data set.
  • x t represents the input word at time t; with Represent the output of the hidden layer of forward LSTM and backward LSTM at time t respectively; Represents the d-dimensional feature output of the currently input word. Therefore, as shown in Part B of Figure 2, the set of regional features of the text can be expressed as The global feature u global can be regarded as the output of the d-dimensional hidden layer at the last moment of the bidirectional LSTM network. Among them, the dimension d not only represents the feature dimension of the text, but also represents the dimension of the restricted text space. During the experiment, the value of d is 1024.
  • the feature mapping network uses visual self-attention mechanism and text self-attention mechanism, as shown in Figure 3.
  • Context information representing the image at time k-1 Represents the feature weight of the nth block in image i; It is obtained by weighted average of the features of different image regions; visual self-attention function Used to calculate the weight of each image area; with Represents the trainable parameters of the visual self-attention function, the size is 512 ⁇ 512.
  • W k is the The parameters of the fully connected layer mapped to the restricted text space are 512 ⁇ 1024; BN represents the batch normalization layer; ReLU represents the activation function. v k contains not only the image-sharing features at the object level, but also rich correlation features between objects.
  • Context information representing the k-1 time of the text; Represents the feature weight of the nth word in the text s; u k is obtained by weighted average of the features of different words; text self-attention function Used to calculate the weight of each word feature; with Represents the trainable parameters of the text self-attention function, and the size is 1024 ⁇ 512.
  • V_att and T_att represent visual self-attention and text self-attention functions, respectively.
  • Identical connections can control the flow of contextual information in the network and retain useful information.
  • the present invention uses the initial context information with Initialized to global features of images and text, as shown in Equation 6:
  • v global and u global represent global features of images and text, respectively, and can also be called global prior knowledge.
  • the global feature can be regarded as the global reference information of the multi-step self-attention mechanism, which is used to quickly locate the key information.
  • the present invention implements a multi-step self-attention mechanism step by step at time K so that it can find as much shared information between images and text as possible at any time k.
  • K For different data sets, the value of K is different. On the Flickr8K data set, K is set to 1; on the Flickr30K and MSCOCO data sets, K is set to 2.
  • the specific experimental results are shown in the subsequent experimental analysis section.
  • the parameter K represents the total number of cycles of the multi-step self-attention mechanism. It can also be expanded in time, which can be seen as a multi-step self-attention mechanism in turn at different times k.
  • the similarity s k between the two at time k can be obtained by Equation 7:
  • Tornado is an open source version of web server software that can handle thousands of connections per second, and is quite fast. Therefore, Tornado is an ideal framework for real-time web services.
  • Tornado functions as a controller in the MVC framework. Its functions include: 1) query reading; 2) extract the features of the query; 3) extract the features of all the data to be retrieved in the database; 4) send the data to the model. In order to ensure Demo's response speed, all the features of the data to be retrieved in the database have been pre-loaded into the memory.
  • the multi-step self-attention cross-media retrieval method based on the restricted text space proposed by the present invention is equivalent to the model in the MVC framework, and is also called the core sorting algorithm. Its main task is to find similar query data quickly and accurately and send it to the controller. In the case of a small amount of data, the easiest way is linear scanning, which is to calculate the distance between each sample and the query in the data set in turn. However, as the amount of data continues to increase, the time consumption of linear scanning also gradually increases, and the response speed of Demo will also slow down.
  • Faiss Facebook's open source framework, to achieve accurate and fast queries. Faiss is a framework that provides efficient similarity search and clustering for dense vectors. Before querying, Faiss needs to cluster all the data in the data set to form different data clusters.
  • the online search Demo contains three pages: the main page, the text search image page ( Figure 5) and the image search text page ( Figure 6).
  • the main page contains a text input box, camera icon and "Search” button. The user first enters text through the text input box or uploads an image by clicking the camera icon, and then clicks the "Search” button to start the search.
  • Figure 5 shows the results of the corresponding text retrieval image; for an image named “COCO_train2014_000000000049.jpg”
  • Figure 6 shows the corresponding image retrieval text result.
  • the search results are displayed in order of relevance, that is, from top to bottom, from left to right, and the relevance of the sample decreases.
  • the search box in Figure 5 and Figure 6 has been moved to the upper left corner, the function remains unchanged.
  • Tables 1 to 3 show the recall rate results of the present invention on the Flickr8K, Flickr30K and MSCOCO data sets.
  • Img2Txt represents image-to-text retrieval
  • Txt2Img represents text-to-image retrieval.
  • ⁇ MSAN-obj does not use associated features Only the object-level shared information between images and text is considered;
  • ⁇ MSAN-glob does not use a multi-step self-attention mechanism, only expressing images and text through global features
  • ⁇ MSAN includes related features And a complete model of a multi-step self-attention mechanism.
  • MSAN has achieved the best results based on the VGG feature at this stage compared with DSPE, HM-LSTM, DAN and other better performing methods.
  • MSAN has better experimental results than MSAN-obj and MSAN-glob, proving the effectiveness of the multi-step self-attention mechanism and associated features.
  • Table 5 shows the influence of global prior knowledge on experimental results.
  • MSAN with prior indicates the MSAN model using global prior knowledge
  • MSAN/prior indicates the MSAN model without global prior knowledge. It can be seen from Table 5 that the retrieval recall rate of "MSAN with priority” is higher than that of "MSAN w/oprior", thus verifying the effectiveness of the global prior knowledge.
  • Figure 4 shows the trend graph of the loss function of the "MSAN with priority” and "MSAN w/oprior” models under the Flickr8K data set.
  • MSAN with priority has a faster convergence rate than "MSAN w/oprior”, and the loss function when the model converges is smaller. Therefore, due to the introduction of global prior knowledge, the present invention can achieve better retrieval results at a faster convergence speed.
  • Figures 5 and 6 show the text retrieval image and image retrieval text of Demo online retrieval, respectively. From a subjective point of view, although the displayed results do not necessarily include true matching samples, the multi-step self-attention cross-media retrieval method based on the restricted text space proposed by the present invention can still find results as similar as possible to the query, satisfying people Demand. This also validates the effectiveness of the present invention from a subjective perspective.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于受限文本空间的多步自注意力跨媒体检索方法及检索系统，先构建相对固定的词汇表的受限文本空间，再将非受限文本空间转换成受限文本空间，包括：通过特征提取网络提取受限文本空间的图像特征和文本特征，所述特征包括全局特征、区域特征集合及关联特征；将提取得到的特征送入特征映射网络，并通过多步自注意力机制提取图像和文本之间物体层次的共享信息，再通过相似性度量网络汇总各时刻有用信息来衡量图像和文本之间的相似度，并计算三元组损失函数；由此实现基于受限文本空间的多步自注意力跨媒体检索。所述方法及系统通过引入多步自注意力机制和关联特征，大幅度提升了跨媒体检索召回率。

Description

基于受限文本空间的多步自注意力跨媒体检索方法及系统 技术领域
本发明涉及计算机视觉与信息检索技术领域，尤其涉及一种基于受限文本空间的多步自注意力跨媒体检索方法及系统。
背景技术
近年来，随着信息技术的飞速发展，互联网上的多媒体数据越来越丰富，不同模态的多媒体数据(文本，图像，音频，视频等)可以用于表达相似的内容。为了满足用户日益增长的多媒体检索需求，人们提出了跨媒体检索任务，用于找到一个同构的语义空间(公共空间，文本空间，图像空间)，使得底层异构的多媒体数据之间的相似性能够被直接衡量。更确切的说，这个跨媒体检索任务的核心问题能够被细分成两个子问题。
第一个子问题是如何学习得到有效的底层特征表示。在跨媒体检索领域中，多数传统方法仅通过全局特征表示图像和文本，比如卷积神经网络(CNN)最后全连接层的输出或者循环神经网络(RNN)最后时刻的隐藏层输出。全局特征包含较多的冗余信息，也被称作模态内部的专属信息。这种信息仅存在于模态内部，并且在模态之间互不共享。这也就导致了跨媒体检索质量的下降。因此，部分学者尝试提取图像和文本的局部特征(图像物体区域，文本单词)，再通过注意力机制找到两者之间的共享信息，从而减少冗余特征带来的影响。然而，现有的基于注意力机制的方法大都只考虑了图像和文本之间物体层次的共享信息，没有考虑物体之间的交互信息。
第二个子问题是如何找到一个合适的同构特征空间。同构空间的选择大致有三种，分别是公共空间，文本空间和图像空间。现有的方法通常将异构特征非线性映射至一个潜在的公共空间，从而不同模态数据之间的相似度能够被直接衡量。然而，与图像的基于像素的特征相比，文本特征更容易被人类理解，传递的信息也更为准确。例如，给定一张图像，人脑首先会根据其内容凝练出描述语句，然后根据这些描述去检索语义相似的文本。因此，为了模拟人脑的认知方式，该方法探索了在文本空间进行跨媒体检索的可行性。现有的基于文本空间的跨媒体检索方法没有考虑人脑对于图像的认知过程，它们大都采用Word2Vec空间作为最终的文本空间。图像在该空间的特征表示通过图像中物体的类别信息组合得到的。因此，该特征会丢失图像中蕴含着的丰富的交互信息。这也表明，对于跨媒体检索来说，Word2Vec空间并不是一个有效的文本特征空间。
文本空间本质上是一个向量空间，由一系列不同的汉字和单词构成。对于中文来说，汉 字的数量并没有准确的数字，大约将近十万个(北京国安咨询设备公司汉字字库收入有出处的汉字91251个)。与此同时，大量涌现的新词使得文本空间的规模不断增长。除了中文，类似的情况也出现在包括英语在内的其它语言中。据不完全统计，现有的英语单词数量已经超过了百万，并且每年仍以几千的速度增长。因此，自然语言本质上是发散的。基于这种发散的特性，构建一个完备的不受限制的文本空间几乎是不可能完成的。
然而，在大部分情况下，人们只需掌握其中一部分的汉字和单词就能够满足自身的日常需求。例如，很多英语语言学家认为约3650个最基本的常用英语词汇就能完成表达思想和交际任务的95％以上；原国家教育委员会于1987年11月联合发布的《现代汉语常用字典》提出，现代汉语常用字为2500个，占日常使用汉语的99％以上。
近年来，注意力机制开始引起越来越多研究者的注意。注意力机制最开始被应用在“序列-序列”的模型中，比如机器翻译和图像题注。它包含三种比较常用的形式：1)加性注意力机制，2)乘积注意力机制和3)自注意力机制。如果在跨媒体检索算法中采用加性或者乘积自注意力机制，则图像和文本的重点关注信息无法固定，从而造成图像和文本编码的不确定性，影响算法的实际应用价值。比如，给定一个数据集，包含10张图像和10个与图像一一对应的文本，那么加性或乘积自注意力机制会为每张图像和每个文本分别生成10种不同的重点关注信息(分别对应10个文本和10张图像)，即图像(文本)的重点关注信息由对应的文本(图像)决定。然而，考虑到跨媒体检索算法的实际应用价值，模型必须保证图像和文本的编码唯一性。因此，自注意力机制更为适合跨媒体检索。自注意力机制可以引导图像和文本自己找到数据内部的重点关注信息，并且保证它的固定。
发明内容
为了克服上述现有技术存在的问题，本发明提出了一种基于受限文本空间的多步自注意力跨媒体检索方法及检索系统。该方法通过模拟人脑认知的方式学习得到受限文本空间，并且引入了多步自注意力机制和关联特征，大幅度提升了检索召回率。除了客观的评价指标(检索召回率)，本发明还搭建了一个线上检索Demo系统。通过输入文本或者上传图像，该Demo可以返回对应的检索结果，从而进一步验证了本发明的有效性。
本发明中，受限文本空间指的是具有相对固定的词汇表的文本空间，是相对于非受限文本空间而言的。本发明通过构建相对固定的词汇表的受限文本空间，再将非受限文本空间转换成受限文本空间，从而保证算法的收敛性。基于受限文本空间的理解能力受到词汇表大小的影响，即词汇表越大，理解能力越强，词汇表越小，理解能力越弱。经过实验发现，3000左右的单词数量已经能够满足跨媒体检索的基本需求，一味地增加单词数量不仅不会带来检 索性能上的提升，还会增加算法在时间和空间上的复杂度。本发明通过图像题注模型(image captioning)提取物体之间的交互信息，也被称为关联信息(relation information)。图像题注模型本质上是一种“编码-解码”的模型，即给定一张输入图像，它会先通过编码器将其编码成特征向量，再通过解码器将特征向量翻译成恰当的描述文本。由于生成的描述文本中不仅包含图像中的物体类别信息(名词)，还包含物体之间的交互信息(动词，形容词)，关联信息可以通过编码器生成的特征向量表示。图像题注任务的代表算法是NIC(Neural Image Captioning)。
采用本发明方法提取图像和文本的区域特征(图像物体区域，文本单词)，并通过多步自注意力机制找到两者之间的共享信息，从而减少冗余信息的干扰。除了图像和文本的区域特征，本发明将两者的全局特征看作多步自注意力机制的全局先验知识，用于实现关键信息的快速定位，并且能够在更快地训练速度下取得更好地实验结果。
针对如何找到一个合适的同构特征空间的问题，本发明将图像底层特征映射至“受限文本空间”，该空间不仅包含物体的类别信息，也包含丰富的物体之间的交互信息。
本发明提出的基于受限文本空间的多步自注意力跨媒体检索方法总共包含三个模块，分别是特征提取网络，特征映射网络和相似性度量网络。对于第一个子问题(如何学习得到有效的底层特征表示)，特征提取网络用于提取图像和文本的全局特征、区域特征和关联特征。关联特征的提取通过图像题注模型的代表算法NIC实现；对于第二个子问题(如何找到一个合适的同构特征空间)，特征映射网络被用于学习得到受限文本空间。借助于多步自注意力机制，特征映射网络可以在不同时刻选择性地关注部分共享信息，并且通过汇总各个时刻有用的信息来提取图像和文本的物体层次的特征。除此之外，它还通过特征融合层，将图像的物体层次的特征与关联特征相融合，并且映射至受限文本空间。为了在更快地训练速度下取得更好地实验结果，本发明将图像和文本的全局特征看作多步自注意力机制的全局先验知识，用于实现关键信息的快速定位。最后，相似性度量网络通过汇总各时刻有用信息的方式来衡量图像和文本之间最终的相似度。本发明在跨媒体检索经典数据集中取得了较好的召回率结果，并且在主观角度上也取得了不错的性能。
对于线上检索Demo系统，本发明通过MVC(Model View Controller,模型-视图-控制器)框架设计实现。其中，Model对应本发明提出的基于受限文本空间的多步自注意力跨媒体检索方法，是核心排序算法；View对应前端页面，用于实现查询(图像或文本)的输入和检索结果的展示；Controller对应后台控制器，用于从前端读取查询输入，并向核心排序算法发送数据。
本发明提供的技术方案是：
基于受限文本空间的多步自注意力跨媒体检索方法，包含特征提取网络、特征映射网络和相似性度量网络；特征提取网络用于提取图像和文本的全局特征、区域特征集合以及关联特征；特征被进一步送入特征映射网络，并通过多步自注意力机制尽可能多地提取图像和文本之间物体层次的共享信息。由于多步自注意力机制没有考虑不同物体之间的交互信息，特征映射网络通过特征融合层将物体层次的共享特征与关联特征相融合，并且映射至受限文本空间；最后，相似性度量网络通过汇总各时刻有用信息的方式来衡量图像和文本之间最终的相似度，并计算三元组损失函数；由此实现基于受限文本空间的多步自注意力跨媒体检索；
具体地，假设数据集D＝{D 1,D 2,…,D I}共有I个样本，每个样本D i包括一张图片i和一段描述文本s，即D i＝(i,s)，每段文本由多个(如5个)句子组成，每个句子都独立地对相匹配的图片进行描述；数据集用于学习受限文本空间；针对数据集D，本发明的具体实施步骤如下：
1)通过特征提取网络提取D中图像和文本的区域特征。
对于图像，预训练的VGG(Visual Geometry Group提出的神经网络结构)用于提取图像的全局特征和图像的区域特征集合；NIC用于提取蕴含着丰富物体之间交互信息的关联特征。对于文本，本发明使用双向LSTM(Bidirectional Long Short Term Memory networks,双向长短期记忆循环神经网络)网络提取文本的全局特征和文本的区域特征集合。双向LSTM网络未经过预训练，它的参数与特征映射网络的参数同步更新；
2)将步骤1)提取得到的特征送入特征映射网络。
首先，通过多步自注意力机制尽可能多地关注图像和文本区域特征之间物体层次的共享信息；其次，通过特征融合层实现物体层次的共享特征和关联特征的融合，并且映射至受限文本空间。为了在更快地训练速度下取得更好地实验结果，本发明将图像和文本的全局特征看作多步自注意力机制的全局先验知识，用于实现关键信息的快速定位；
3)相似性度量网络通过汇总各时刻有用信息的方式来衡量图像和文本之间最终的相似度，并且计算三元组损失函数。
4)最后，本发明通过优化该三元组损失函数更新网络参数。
其中，相似性衡量函数定义为：
sim(v,u)＝v·u
其中，v和u分别代表受限文本空间中的图像和文本的特征；k时刻二者的相似度s k通过式7计算得到：
s k＝v k·u k      (式7)
通过汇总K时刻有用信息的方式，衡量图像和文本之间最终的相似度S，表示为式8：
Figure PCTCN2019085771-appb-000001
5)计算三元组损失函数，通过优化该三元组损失函数更新网络参数；
三元组损失函数表示为式9：
Figure PCTCN2019085771-appb-000002
其中，s p是输入图像i的第p个不匹配文本；i p是输入文本s的第p个不匹配图像；m是最小距离间隔，取值为0.3；sim(v,t)是相似性度量函数。
本发明具体实施时，通过实现一个线上基于受限文本空间的多步自注意力跨媒体检索Demo系统进一步验证本发明的有效性。其中，前端页面通过超文本标记语言(HyperText Markup Language，HTML)、层叠样式表(Cascading Style Sheets，CSS)和JavaScript实现；后台控制器通过Tornado工具实现。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于受限文本空间的多步自注意力跨媒体检索方法，包含特征提取网络，特征映射网络和相似性度量网络。特征提取网络用于提取图像和文本的全局特征、区域特征集合以及关联特征；其次，特征被进一步送入特征映射网络，并通过多步自注意力机制尽可能多地提取图像和文本之间物体层次的共享信息。由于它没有考虑不同物体之间的交互信息，特征映射网络通过特征融合层将物体层次的共享特征与关联特征相融合，并且映射至受限文本空间。为了在更快地训练速度下取得更好地实验结果，本发明将图像和文本的全局特征看作多步自注意力机制的全局先验知识，用于实现关键信息的快速定位；最后，相似性度量网络通过汇总各时刻有用信息的方式来衡量图像和文本之间最终的相似度，并且计算三元组损失函数。除了客观的评价指标(检索召回率)，本发明额外搭建了一个线上检索Demo。通过输入文本或者上传图像，该Demo可以返回对应的检索结果，从而从主观角度验证本发明的有效性。具体地，本发明具有如下技术优势：
(一)本发明基于受限文本空间，借助多步自注意力机制提出了新颖的特征映射网络。它可以在不同时刻选择性地关注部分共享信息，并且通过汇总各时刻有用信息的方式来衡量图像和文本之间最终的相似度；
(二)本发明通过图像题注模型提取图像中蕴含着的丰富的不同物体之间交互信息的 关联特征，用于弥补物体层次共享信息的缺陷；
(三)为了在更快地训练速度下取得更好地实验结果，本发明将图像和文本的全局特征看作多步自注意力机制的全局先验知识，用于实现关键信息的快速定位。
(四)除了客观的评价指标(检索召回率)，本发明额外搭建了一个线上检索Demo。通过输入文本或者上传图像，该Demo可以返回对应的检索结果，从而从主观角度验证本发明的有效性。
附图说明
本发明共有附图6张，其中：
图1定义了物体层次的共享信息和关联信息的概念；
给定两对不同的图像-文本对，两者图像和文本之间物体层次的共享信息类似，比如“男人”，“冲浪板”和“波浪”。然而，物体之间的交互信息却不尽相同，比如男人是如何冲浪的(“跳下来”vs“向…划动”)。
图2是本发明提供的方法的流程框图；
A和B分别表示图像和文本的处理分支；对于图像，CNN(Convolutional Neural Network，卷积神经网络)是19层的VGG模型；
Figure PCTCN2019085771-appb-000003
表示图像i的区域特征集合；
Figure PCTCN2019085771-appb-000004
是通过图像题注模型NIC提取得到的关联特征；v global是图像的全局特征；
Figure PCTCN2019085771-appb-000005
代表k时刻的图像共享特征；
Figure PCTCN2019085771-appb-000006
表示k时刻的图像上下文信息；特征融合层融合
Figure PCTCN2019085771-appb-000007
与关联特征
Figure PCTCN2019085771-appb-000008
并且映射至受限文本空间，从而得到k时刻的图像特征输出v k；对于文本，BLSTM是双向LSTM网络；
Figure PCTCN2019085771-appb-000009
表示文本s的区域特征集合；u global是文本的全局特征；
Figure PCTCN2019085771-appb-000010
表示k时刻的文本上下文信息。S即图像和文本之间最终的相似度。
图3是本发明特征映射网络的结构；
C和D分别表示文本和图像的自注意力机制；其中，注意力层用于计算图像和文本不同区域的特征权重(
Figure PCTCN2019085771-appb-000011
和
Figure PCTCN2019085771-appb-000012
)；加权平均层通过不同的权重对图像和文本的区域特征集合进行加权平均，得到当前时刻的共享特征(v k和u k)；
Figure PCTCN2019085771-appb-000013
表示通过恒等连接(虚线)更新上下文信息。
图4是在Flickr8K数据集下，全局先验知识对模型收敛速度的影响；
其中，“MSAN with prior”表示引入了全局先验知识的模型，“MSAN w/o prior”表示 没有使用全局先验知识的模型。
图5～6展示了线上检索Demo的主要页面，分别是文本检索图像页面和图像检索文本页面截图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于受限文本空间的多步自注意力跨媒体检索方法，包含特征提取网络，特征映射网络和相似性度量网络。特征提取网络用于提取图像和文本的全局特征、区域特征集合以及关联特征；其次，特征被进一步送入特征映射网络，并通过多步自注意力机制尽可能多地提取图像和文本之间物体层次的共享信息。然而，它没有考虑不同物体之间的交互信息。如图1所示，对于两对不同的图像-文本对，两者图像和文本之间物体层次的共享信息类似，比如“男人”，“冲浪板”和“波浪”。然而，物体之间的交互信息却不尽相同，比如男人是如何冲浪的(“跳下去”和“向…划动”)。因此，特征映射网络通过特征融合层将物体层次的共享特征与关联特征相融合，并且映射至受限文本空间。为了在更快地训练速度下取得更好地实验结果，本发明将图像和文本的全局特征看作多步自注意力机制的全局先验知识，用于实现关键信息的快速定位；最后，相似性度量网络通过汇总各时刻有用信息的方式来衡量图像和文本之间最终的相似度，并且计算三元组损失函数。除了客观的评价指标(检索召回率)，本发明额外搭建了一个线上检索Demo。通过输入文本或者上传图像，该Demo可以返回对应的检索结果，从而从主观角度验证本发明的有效性。接下来，我们将详细描述特征提取网络、特征映射网络、相似性度量网络和线上检索Demo的原理及结构。
1、特征提取网络
如图2的A部分所示，给定输入图像i，VGG最后全连接层的输出被用于提取图像的4096维全局特征v global。由于多层卷积和池化操作相当于提取图像区域的特征，本发明将VGG最后池化层(pool5)的输出作为图像各区域的特征集合
Figure PCTCN2019085771-appb-000014
该层输出包含512张特征图(feature map)，每张特征图的大小为7×7。也就是说，图像区域总数为49，各个区域通过512维的特征向量表示。对于关联特征，本发明采用了图像题注任务的代表算法NIC，用于提取蕴含着丰富物体之间交互信息的512维关联特征
Figure PCTCN2019085771-appb-000015
在训练过程中，VGG和NIC的参数固定。VGG通过ImageNet预训练；NIC通过跨媒体检索数据集预训练。
对于文本s＝(s 0,s 1,…,s N)，我们采用双向LSTM网络提取各个单词的特征：
Figure PCTCN2019085771-appb-000016
Figure PCTCN2019085771-appb-000017
Figure PCTCN2019085771-appb-000018
其中x t表示t时刻的输入单词；
Figure PCTCN2019085771-appb-000019
和
Figure PCTCN2019085771-appb-000020
分别表示t时刻前向LSTM和后向LSTM的隐藏层的输出；
Figure PCTCN2019085771-appb-000021
表示当前输入单词的d维特征输出。因此，如图2的B部分所示，文本的区域特征集合可以被表示成
Figure PCTCN2019085771-appb-000022
全局特征u global可以被看成是双向LSTM网络最后时刻的d维隐藏层输出。其中，维度d不仅表示文本的特征维度，还表示受限文本空间的维度。在实验过程中，d的取值为1024.
2、特征映射网络
针对图像和文本，特征映射网络分别采用了视觉自注意力机制和文本自注意力机制，如图3所示。
1)视觉自注意力机制
如图3的D部分所示，给定图像i的区域特征集合
Figure PCTCN2019085771-appb-000023
k时刻的图像共享特征
Figure PCTCN2019085771-appb-000024
通过式2提取得到：
Figure PCTCN2019085771-appb-000025
Figure PCTCN2019085771-appb-000026
Figure PCTCN2019085771-appb-000027
其中，
Figure PCTCN2019085771-appb-000028
表示图像的k-1时刻的上下文信息；
Figure PCTCN2019085771-appb-000029
表示图像i中第n块区域的特征权重；
Figure PCTCN2019085771-appb-000030
则通过对不同图像区域的特征做加权平均得到；视觉自注意力函数
Figure PCTCN2019085771-appb-000031
用于计算各个图像区域的权重；
Figure PCTCN2019085771-appb-000032
和
Figure PCTCN2019085771-appb-000033
表示视觉自注意力函数的可训练参数，大小均为512×512。
接下来，特征融合层融合
Figure PCTCN2019085771-appb-000034
与关联特征
Figure PCTCN2019085771-appb-000035
并且映射至受限文本空间，从而得到k时刻的图像特征输出v k：
Figure PCTCN2019085771-appb-000036
其中，W k为将
Figure PCTCN2019085771-appb-000037
映射至受限文本空间的全连接层参数，大小为512×1024；BN表示批 量归一化层(Batch normalization)；ReLU表示激活函数。v k不仅包含物体层次的图像共享特征，也包含丰富的物体之间的关联特征。
2)文本自注意力机制
如图3的C部分所示，给定文本s的单词特征集合
Figure PCTCN2019085771-appb-000038
k时刻的文本共享特征u k通过式4计算得到：
Figure PCTCN2019085771-appb-000039
Figure PCTCN2019085771-appb-000040
Figure PCTCN2019085771-appb-000041
其中，
Figure PCTCN2019085771-appb-000042
表示文本的k-1时刻的上下文信息；
Figure PCTCN2019085771-appb-000043
表示文本s中第n个单词的特征权重；u k通过对不同单词的特征做加权平均得到；文本自注意力函数
Figure PCTCN2019085771-appb-000044
用于计算各个单词特征的权重；
Figure PCTCN2019085771-appb-000045
和
Figure PCTCN2019085771-appb-000046
表示文本自注意力函数的可训练参数，大小均为1024×512。
3)上下文信息
步骤1)和2)中提到的上下文信息
Figure PCTCN2019085771-appb-000047
和
Figure PCTCN2019085771-appb-000048
能够对自注意力网络已经关注过的信息进行编码。受到ResNet(深度残差网络，deep residual network)恒等连接(identity connection)的启发，本发明定义上下文信息的更新公式如式5：
Figure PCTCN2019085771-appb-000049
其中k∈{1,…,K}，V_att和T_att分别表示视觉自注意力和文本自注意力函数。恒等连接可以控制网络中上下文信息的流动，保留有用信息。
为了在更快地训练速度下取得更好地实验结果，本发明将初始上下文信息
Figure PCTCN2019085771-appb-000050
和
Figure PCTCN2019085771-appb-000051
初始化为图像和文本的全局特征，如式6所示：
Figure PCTCN2019085771-appb-000052
其中v global和u global分别表示图像和文本的全局特征，也可以被称为全局先验知识。此时，全局特征可以被看成是多步自注意力机制的全局参考信息，用于实现关键信息的快速定位。
最后，本发明在K时刻分步实现多步自注意力机制，使得它在任一时刻k能够尽可能多地找到图像和文本之间的共享信息。对于不同的数据集，K的取值不同。在Flickr8K数据集上，K被设置为1；在Flickr30K和MSCOCO数据集上，K被设置为2。具体的实验结果展示在后续的实验分析部分。参数K表示多步自注意力机制总的循环次数。它也可以在时间上展开， 可看成是在不同时刻k上依次进行多步自注意机制。
3、相似性度量网络
本发明定义了一个相似性衡量函数sim(v,u)＝v·u，其中v和u分别代表受限文本空间中的图像和文本的特征。k时刻两者的相似度s k可以通过式7得到：
s k＝v k·u k      (7)
然后，通过汇总K时刻有用信息的方式来衡量图像和文本之间最终的相似度S：
Figure PCTCN2019085771-appb-000053
最后，三元组损失函数被用于更新网络参数，如式9。
Figure PCTCN2019085771-appb-000054
其中，s p是输入图像i的第p个不匹配文本；i p是输入文本s的第p个不匹配图像；m是最小距离间隔，取值为0.3；sim(v,t)是相似性度量函数；不匹配的样本在每个训练周期从数据集中随机选取。在训练过程中，我们通过Adam优化器更新网络参数，并且在前十次迭代中固定学习率大小为0.0002。随着训练的进行，学习率在后十次迭代中降低至0.00002.
4、线上检索Demo
线上检索Demo的实现主要通过Tornado工具实现。Tornado是一种Web服务器软件的开源版本，每秒可以处理数以千计的连接，而且速度相当快。因此，Tornado是实时Web服务的一个理想框架。
Tornado的作用相当于MVC框架中的控制器(Controller)。它的作用包括：1)查询读取；2)提取查询的特征；3)提取数据库中所有待检索数据的特征；4)将数据发送给模型(Model)。为了保证Demo的响应速度，数据库中所有待检索数据的特征已经预先载入内存。
本发明提出的基于受限文本空间的多步自注意力跨媒体检索方法相当于MVC框架中的模型(Model)，也被称为核心排序算法。它的主要任务是快速而准确地找到查询的相似数据并发送至控制器。在数据量较少的情况下，最容易的办法是线性扫描，即依次计算数据集中每个样本与查询的距离。然而，随着数据量的不断增加，线性扫描的时间耗费也逐步提升，Demo的响应速度也会随之变慢。由于实际数据一般都会呈现簇状的聚类形态，因此我们首先通过聚类算法(比如K-means)建立聚类中心，然后通过寻找与查询距离最近的聚类中心，比较聚类中的所有数据得到相似数据。基于该原理，我们选用Facebook的开源框架Faiss实现准确而快速的查询。Faiss是一种为稠密向量提供高效相似度搜索和聚类的框架。在查询之 前，Faiss需要对数据集中的所有数据进行聚类，以形成不同的数据簇。
最后，MVC框架中的前端视图(View)相当于主流搜索引擎中的搜索页面，主要通过HTML、CSS和JavaScript等技术实现。该线上检索Demo一共包含三个页面：主页面、文本检索图像页面(图5)和图像检索文本页面(图6)。主页面包含文本输入框、相机图标和“Search”按钮。用户首先通过文本输入框输入文本或通过点击相机图标上传图像，然后点击“Search”按钮开始搜索。对于一段输入文本“A restaurant has modern wooden tables and chairs”，图5展示了对应的文本检索图像的结果；对于一张名为“COCO_train2014_000000000049.jpg”的图像，图6展示了对应的图像检索文本的结果。检索结果的显示按照相关性顺序，即从上到下、从左到右，样本的相关性递减。为了保证搜索结果展示页面的美观性，图5和图6中的搜索框被移至左上角，功能不变。
表1～3给出了本发明在Flickr8K、Flickr30K和MSCOCO数据集上的召回率结果，Img2Txt代表图像到文本的检索，Txt2Img代表文本到图像的检索。为了评价检索效果，我们遵循了标准的排序度量标准，使用Recall@K。Recall@K通过计算正确匹配的数据排在前K(K＝1,5,10)个检索结果中的概率来对检索准确性进行度量；Recall@K的数值越大，检索结果越准确。图中列出了本发明与其它现有先进算法的效果比较，包括NIC(Neural Image Captioning)，m-CNN ENS(Multimodal Convolutional Neural Networks)，HM-LSTM(Hierarchical Multimodal LSTM)，LTS(Limited Text Space)，DAN(Dual Attention Networks)，DSPE(Deep Structure-Preserving Image-Text Embeddings)，VSE++(Improving Visual-Semantic Embeddings)，sm-LSTM(Selective Multimodal LSTM)。此外，我们在本发明的基础上设计了三个对比模型：
●MSAN-obj没有使用关联特征
Figure PCTCN2019085771-appb-000055
只考虑了图像和文本之间物体层次的共享信息；
●MSAN-glob没有采用多步自注意力机制，仅通过全局特征表示图像和文本；
●MSAN是包含了关联特征
Figure PCTCN2019085771-appb-000056
和多步自注意力机制的完整模型。
表1 实施例在Flickr8K数据集上的召回率结果
Figure PCTCN2019085771-appb-000057
表2 实施例在Flickr30K数据集上的召回率结果
Figure PCTCN2019085771-appb-000058
表3 实施例在MSCOCO数据集上的召回率结果
Figure PCTCN2019085771-appb-000059
从表1～3中可以看出，与DSPE、HM-LSTM、DAN等几种性能较好的方法相比，MSAN取得了现阶段基于VGG特征的最优结果。此外，MSAN比MSAN-obj和MSAN-glob的实验结果都要好，证明了多步自注意力机制和关联特征的有效性。
表4 不同K的取值对实施例的跨媒体检索效果的影响
Figure PCTCN2019085771-appb-000060
表4展示了在Flickr8K和Flickr30K数据集上，多步自注意力机制的循环次数K对实验结果的影响。从表格中我们可以看出，当K＝1,2时，MSAN分别在Flickr8K和Flickr30K数据集上取得了最优的实验结果。K的值越大，多步自注意力机制的所需参数也就越多，越可能造成过拟合现象，从而降低检索召回率。因此，在Flickr8K数据集上，K被设置为1；在Flickr30K和MSCOCO数据集上，K被设置为2。
表5 全局先验知识对实施例的召回率结果的影响
Figure PCTCN2019085771-appb-000061
表5展示了全局先验知识对实验结果的影响。我们设计了两个对比模型：“MSAN with prior”和“MSAN w/o prior”。其中“MSAN with prior”表示使用了全局先验知识的MSAN模型，“MSAN w/o prior”表示不使用全局先验知识的MSAN模型。从表5中可以看出，“MSAN with prior”的检索召回率高于“MSAN w/o prior”，从而验证了全局先验知识的有效性。图4则展示了在Flickr8K数据集下，“MSAN with prior”和“MSAN w/o prior”模型的损失函数变化趋势图。其中，“MSAN with prior”的收敛速度比“MSAN w/o prior”更快，并且模型收敛时的损失函数更小。因此，由于引入了全局先验知识，本发明可以在更快的收敛速度下取得更好的检索结果。
图5和图6分别展示了线上检索Demo的文本检索图像和图像检索文本的结果。从主观角度出发，尽管展示的结果中不一定包含真正的匹配样本，本发明提出的基于受限文本空间的多步自注意力跨媒体检索方法仍能找到与查询尽可能相似的结果，满足人们的需求。这也从主观角度验证了本发明的有效性。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (11)

  1. 一种基于受限文本空间的多步自注意力跨媒体检索方法，先构建受限文本空间，再将非受限文本空间转换成受限文本空间，其中所述受限文本空间指的是具有相对固定的词汇表的文本空间；该检索方法包括：
    通过特征提取网络提取图像特征和文本特征，所述特征包括全局特征、区域特征集合和关联特征；
    将提取得到的特征送入特征映射网络，并通过多步自注意力机制提取图像和文本之间物体层次的共享特征信息；
    特征映射网络通过特征融合层将物体层次的共享特征与关联特征相融合，并且映射至受限文本空间；
    再通过相似性度量网络汇总各时刻有用信息，衡量图像和文本之间的相似度，并计算三元组损失函数；
    由此实现基于受限文本空间的多步自注意力跨媒体检索。
  2. 如权利要求1所述基于受限文本空间的多步自注意力跨媒体检索方法，其特征是，受限文本空间采用数据集D表示，设数据集D＝{D 1,D 2,…,D I}共有I个样本，每个样本D i包括一张图片i和一段描述文本s，即D i＝(i,s)，每段文本由多个句子组成，每个句子均独立描述相匹配的图片；所述基于受限文本空间的多步自注意力跨媒体检索方法包括如下步骤：
    1)通过特征提取网络提取D中图像和文本的区域特征；
    对于图像，通过预训练的神经网络结构VGG提取图像的全局特征和图像的区域特征集合；通过图像题注模型方法NIC提取物体之间交互信息的关联特征；
    对于文本，使用未经过预训练的双向长短期记忆循环神经网络LSTM提取文本的全局特征和文本的区域特征集合；LSTM的参数与特征映射网络的参数同步更新；
    2)将步骤1)提取得到的特征送入特征映射网络；
    首先，通过多步自注意力机制关注图像和文本区域特征之间物体层次的共享信息；
    其次，通过特征融合层实现物体层次的共享特征和关联特征的融合，并且映射至受限文本空间；
    将图像和文本的全局特征作为多步自注意力机制的全局先验知识，用于实现关键信息的快速定位；
    3)通过相似性度量网络汇总各时刻有用信息，衡量图像和文本之间最终的相似度；相似 性衡量函数定义为：
    sim(v,u)＝v·u
    其中，v和u分别代表受限文本空间中的图像和文本的特征；k时刻二者的相似度s k通过式7计算得到：
    s k＝v k·u k       (式7)
    通过汇总K时刻有用信息的方式，衡量图像和文本之间最终的相似度S，表示为式8：
    Figure PCTCN2019085771-appb-100001
    4)计算三元组损失函数，通过优化该三元组损失函数更新网络参数；
    三元组损失函数表示为式9：
    Figure PCTCN2019085771-appb-100002
    其中，s p是输入图像i的第p个不匹配文本；i p是输入文本s的第p个不匹配图像；m是最小距离间隔，取值为0.3；sim(v,t)是相似性度量函数。
  3. 如权利要求2所述基于受限文本空间的多步自注意力跨媒体检索方法，其特征是，步骤1)中，对于文本s＝(s 0,s 1,…,s N)，采用双向LSTM网络提取各个单词的特征，具体表示为式1：
    Figure PCTCN2019085771-appb-100003
    其中，xt表示t时刻的输入单词；
    Figure PCTCN2019085771-appb-100004
    和
    Figure PCTCN2019085771-appb-100005
    分别表示t时刻前向LSTM和后向LSTM的隐藏层的输出；
    Figure PCTCN2019085771-appb-100006
    表示当前输入单词的d维特征输出；
    文本的区域特征集合表示为
    Figure PCTCN2019085771-appb-100007
    将双向LSTM网络最后时刻的d维隐藏层输出作为全局特征u global；其中，维度d既是文本的特征维度，也是受限文本空间的维度。
  4. 如权利要求2所述基于受限文本空间的多步自注意力跨媒体检索方法，其特征是，步骤1)中，输入图像v，利用VGG最后全连接层的输出提取图像的4096维全局特征,，记作v global；将VGG最后池化层pool5的输出作为图像各区域的特征集合
    Figure PCTCN2019085771-appb-100008
    该层输出包含512张特征图，每张特征图的大小为7×7，图像区域总数为49，各个区域通过512维的特征 向量表示。
  5. 如权利要求4所述基于受限文本空间的多步自注意力跨媒体检索方法，其特征是，采用NIC提取物体之间交互信息，得到512维关联特征
    Figure PCTCN2019085771-appb-100009
    在训练NIC过程中，VGG和NIC的参数固定。
  6. 如权利要求1所述基于受限文本空间的多步自注意力跨媒体检索方法，其特征是，特征映射网络针对图像采用视觉自注意力机制；具体执行如下操作：
    给定图像i的区域特征集合
    Figure PCTCN2019085771-appb-100010
    通过式2提取得到k时刻的图像共享特征
    Figure PCTCN2019085771-appb-100011
    Figure PCTCN2019085771-appb-100012
    其中，
    Figure PCTCN2019085771-appb-100013
    表示图像的k-1时刻的上下文信息；
    Figure PCTCN2019085771-appb-100014
    表示图像i中第n块区域的特征权重；
    Figure PCTCN2019085771-appb-100015
    是通过对不同图像区域的特征做加权平均得到；视觉自注意力函数
    Figure PCTCN2019085771-appb-100016
    用于计算各个图像区域的权重；
    Figure PCTCN2019085771-appb-100017
    和
    Figure PCTCN2019085771-appb-100018
    表示视觉自注意力函数的可训练参数；
    利用特征融合层融合
    Figure PCTCN2019085771-appb-100019
    与关联特征
    Figure PCTCN2019085771-appb-100020
    并映射至受限文本空间，从而得到k时刻的图像特征输出v k，表示为式3：
    Figure PCTCN2019085771-appb-100021
    其中，W k为将
    Figure PCTCN2019085771-appb-100022
    映射至受限文本空间的全连接层参数；BN表示批量归一化层；ReLU表示激活函数；v k既包含物体层次的图像共享特征，也包含物体之间的关联特征。
  7. 如权利要求1所述基于受限文本空间的多步自注意力跨媒体检索方法，其特征是，特征映射网络针对文本采用文本自注意力机制；具体执行如下操作：
    给定文本s的单词特征集合
    Figure PCTCN2019085771-appb-100023
    k时刻的文本共享特征u k通过式4计算得到：
    Figure PCTCN2019085771-appb-100024
    其中，
    Figure PCTCN2019085771-appb-100025
    表示文本的k-1时刻的上下文信息；
    Figure PCTCN2019085771-appb-100026
    表示文本s中第n个单词的特征权重；u k通过对不同单词的特征做加权平均得到；文本自注意力函数
    Figure PCTCN2019085771-appb-100027
    用于计算各个单词特征的权重；
    Figure PCTCN2019085771-appb-100028
    和
    Figure PCTCN2019085771-appb-100029
    表示文本自注意力函数的可训练参数。
  8. 如权利要求6或7所述基于受限文本空间的多步自注意力跨媒体检索方法，其特征是，利用上下文信息
    Figure PCTCN2019085771-appb-100030
    和
    Figure PCTCN2019085771-appb-100031
    对自注意力网络关注过的信息进行编码；具体定义上下文信息的更新公式如式5：
    Figure PCTCN2019085771-appb-100032
    其中，k∈{1,…,K}，K表示多步自注意力机制总的循环次数；V_att和T_att分别表示视觉自注意力和文本自注意力函数。
  9. 如权利要求8所述基于受限文本空间的多步自注意力跨媒体检索方法，其特征是，将图像和文本的全局特征分别作为初始上下文信息
    Figure PCTCN2019085771-appb-100033
    和
    Figure PCTCN2019085771-appb-100034
    如式6：
    Figure PCTCN2019085771-appb-100035
    其中，v global和u global分别表示图像和文本的全局特征即全局先验知识；全局特征作为多步自注意力机制的全局参考信息，用于实现关键信息的快速定位。
  10. 一种利用权利要求1或2所述基于受限文本空间的多步自注意力跨媒体检索方法实现的基于受限文本空间的多步自注意力跨媒体检索系统，采用模型-视图-控制器MVC框架，其中，模型Model采用所述基于受限文本空间的多步自注意力跨媒体检索方法作为核心排序算法；视图View对应前端页面，用于实现查询图像或文本的输入和检索结果的展示；控制器Controller对应后台控制器，用于从前端读取查询输入，并向核心排序算法发送数据。
  11. 如权利要求10所述的基于受限文本空间的多步自注意力跨媒体检索系统，其特征是，所述前端页面通过超文本标记语言HTML、层叠样式表CSS和JavaScript实现；所述后台控制器通过Tornado工具实现。
PCT/CN2019/085771 2019-01-07 2019-05-07 基于受限文本空间的多步自注意力跨媒体检索方法及系统 Ceased WO2020143137A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910011678.2A CN109783657B (zh) 2019-01-07 2019-01-07 基于受限文本空间的多步自注意力跨媒体检索方法及系统
CN201910011678.2 2019-01-07

Publications (1)

Publication Number Publication Date
WO2020143137A1 true WO2020143137A1 (zh) 2020-07-16

Family

ID=66499980

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/085771 Ceased WO2020143137A1 (zh) 2019-01-07 2019-05-07 基于受限文本空间的多步自注意力跨媒体检索方法及系统

Country Status (2)

Country Link
CN (1) CN109783657B (zh)
WO (1) WO2020143137A1 (zh)

Cited By (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897974A (zh) * 2020-08-12 2020-11-06 吉林大学 一种基于多层注意力机制的异质知识图谱学习方法
CN112001166A (zh) * 2020-08-24 2020-11-27 齐鲁工业大学 面向政务咨询服务的智能问答句子对语义匹配方法和装置
CN112084358A (zh) * 2020-09-04 2020-12-15 中国石油大学(华东) 基于带有主题约束的区域强化网络的图像-文本匹配方法
CN112613451A (zh) * 2020-12-29 2021-04-06 民生科技有限责任公司 一种跨模态文本图片检索模型的建模方法
CN112651448A (zh) * 2020-12-29 2021-04-13 中山大学 一种面向社交平台表情包的多模态情感分析方法
CN112966626A (zh) * 2021-03-16 2021-06-15 三星（中国）半导体有限公司 人脸识别方法和装置
CN112965968A (zh) * 2021-03-04 2021-06-15 湖南大学 一种基于注意力机制的异构数据模式匹配方法
CN113111663A (zh) * 2021-04-28 2021-07-13 东南大学 一种融合关键信息的摘要生成方法
CN113642630A (zh) * 2021-08-10 2021-11-12 福州大学 基于双路特征编码器的图像描述方法及系统
CN113704443A (zh) * 2021-09-08 2021-11-26 天津大学 一种融合显式和隐式个性化信息的对话生成方法
CN113821687A (zh) * 2021-06-30 2021-12-21 腾讯科技（深圳）有限公司 一种内容检索方法、装置和计算机可读存储介质
CN114092703A (zh) * 2021-10-19 2022-02-25 山东师范大学 视频文本的相似性度量方法及系统
CN114139000A (zh) * 2021-11-29 2022-03-04 北京比特易湃信息技术有限公司 基于图像全局和局部特征重排序的图像检索系统
CN114201621A (zh) * 2021-11-24 2022-03-18 人民网股份有限公司 基于图文协同注意力的跨模态检索模型构建及检索方法
CN114282060A (zh) * 2021-12-27 2022-04-05 北京大学深圳研究生院 一种基于上下文Transformer网络的细粒度视频-文本检索方法
CN114298159A (zh) * 2021-12-06 2022-04-08 湖南工业大学 一种基于无标签样本下文本融合的图像相似性检测方法
CN114357148A (zh) * 2021-12-27 2022-04-15 之江实验室 一种基于多级别网络的图像文本检索方法
CN114372163A (zh) * 2021-12-09 2022-04-19 西安理工大学 基于注意力机制与特征融合的图像检索方法
CN114398972A (zh) * 2022-01-07 2022-04-26 福建农林大学 一种基于联合表示注意力机制的深度学习图像匹配方法
CN114417056A (zh) * 2022-01-20 2022-04-29 山东大学 基于双流Transformer的视频时刻检索方法及系统
CN114445201A (zh) * 2022-02-16 2022-05-06 中山大学 一种基于多模态预训练模型的组合商品检索方法及系统
CN114494230A (zh) * 2022-02-14 2022-05-13 北京航空航天大学杭州创新研究院 乳腺病灶分割装置、模型训练方法及电子设备
CN114494813A (zh) * 2021-12-24 2022-05-13 西北工业大学 一种基于密集交叉注意力的指称表达生成方法
CN114491174A (zh) * 2021-12-30 2022-05-13 山东师范大学 一种基于分层特征聚合的图像-文本匹配方法及系统
CN114547235A (zh) * 2022-01-19 2022-05-27 西北大学 基于先验知识图的图像文本匹配模型的构建方法
CN114547363A (zh) * 2022-01-14 2022-05-27 北京师范大学 一种基于注意力机制和成对马尔科夫随机场形状检索方法
CN114579793A (zh) * 2022-03-31 2022-06-03 西安建筑科技大学 自适应注意力地标建筑图像检索方法、系统、设备和介质
CN114625882A (zh) * 2022-01-26 2022-06-14 西安理工大学 提高图像文本描述独特多样性的网络构建方法
CN114708612A (zh) * 2022-03-21 2022-07-05 合肥工业大学 跨模态细粒度属性对齐的行人智能查找方法、存储介质
CN114780766A (zh) * 2022-04-12 2022-07-22 浙大宁波理工学院 基于Transformer模型的细粒度图文检索方法及系统
CN114821770A (zh) * 2022-04-11 2022-07-29 华南理工大学 文本到图像的跨模态行人再识别方法、系统、介质和设备
CN114821050A (zh) * 2022-04-13 2022-07-29 大连理工大学 一种基于transformer的指称图像分割方法
CN114817606A (zh) * 2022-03-07 2022-07-29 齐鲁工业大学 基于交叉注意哈希网络的图文检索方法及系统
CN114840705A (zh) * 2022-04-27 2022-08-02 中山大学 一种基于多模态预训练模型的组合商品检索方法及系统
CN114911914A (zh) * 2022-04-24 2022-08-16 中国电子科技集团公司第五十四研究所 一种跨模态图文检索方法
CN114911933A (zh) * 2022-04-26 2022-08-16 济南大学 基于图内图间联合信息传播的假新闻检测方法及系统
CN114926742A (zh) * 2022-06-17 2022-08-19 南通大学 一种基于二阶注意力机制的回环检测及优化方法
CN114969423A (zh) * 2022-06-23 2022-08-30 天津理工大学 一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设备
CN115017287A (zh) * 2022-06-15 2022-09-06 茅台学院 一种基于语义空间映射的零样本图片问答方法
CN115238117A (zh) * 2022-07-08 2022-10-25 杭州电子科技大学 基于注意力融合局部超级特征和全局特征的图像检索方法
CN115278262A (zh) * 2022-08-01 2022-11-01 天津大学 一种端到端智能视频编码方法及装置
CN115329114A (zh) * 2022-07-06 2022-11-11 西安理工大学 基于注意力增强和自动编码融合的图像检索方法
CN115344735A (zh) * 2022-08-12 2022-11-15 电子科技大学 一种层次化对齐的图像文本检索方法
CN115344736A (zh) * 2022-08-12 2022-11-15 电子科技大学 一种渐进式的图像文本匹配方法
CN115374289A (zh) * 2022-07-27 2022-11-22 电子科技大学 一种结构化知识增强的图文匹配方法
CN115578596A (zh) * 2022-10-21 2023-01-06 大连理工大学 一种多尺度跨媒体信息融合方法
CN115757857A (zh) * 2023-01-09 2023-03-07 吉林大学 一种水下三维跨模态联合检索方法、存储介质和电子设备
CN115775331A (zh) * 2022-11-23 2023-03-10 国网湖北省电力有限公司超高压公司 一种基于注意力机制的输电线路小部件属性识别方法
CN115858848A (zh) * 2023-02-27 2023-03-28 浪潮电子信息产业股份有限公司 图文互检方法及装置、训练方法及装置、服务器、介质
CN115909317A (zh) * 2022-07-15 2023-04-04 广东工业大学 一种三维模型-文本联合表达的学习方法及系统
CN116226449A (zh) * 2023-02-01 2023-06-06 西安电子科技大学 基于差分多尺度多粒度特征融合的视频文本检索方法
CN116310425A (zh) * 2023-05-24 2023-06-23 山东大学 一种细粒度图像检索方法、系统、设备及存储介质
CN116450883A (zh) * 2023-04-24 2023-07-18 西安电子科技大学 基于视频内容细粒度信息的视频时刻检索方法
CN116561365A (zh) * 2023-05-16 2023-08-08 中国海洋大学 基于布局化语义联合显著表征的遥感图像跨模态检索方法
CN116578947A (zh) * 2023-05-19 2023-08-11 西安电子科技大学 基于记忆单元优化特征的图文跨模态检索方法
CN116610778A (zh) * 2023-03-29 2023-08-18 杭州电子科技大学 基于跨模态全局与局部注意力机制的双向图文匹配方法
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及系统
CN117035008A (zh) * 2023-08-09 2023-11-10 北京理工大学 一种基于图神经网络的图像文本匹配方法
CN117292442A (zh) * 2023-10-13 2023-12-26 中国科学技术大学先进技术研究院 一种跨模态跨域通用人脸伪造定位方法
CN117316369A (zh) * 2023-08-24 2023-12-29 兰州交通大学 平衡跨模态信息的胸部影像诊断报告自动生成方法
CN117521012A (zh) * 2023-11-23 2024-02-06 河海大学 基于多模态上下文分层分步对齐的虚假信息检测方法
CN117932099A (zh) * 2024-03-21 2024-04-26 大连海事大学 一种基于修改文本反馈的多模态图像检索方法
CN117992613A (zh) * 2024-02-06 2024-05-07 西安电子科技大学 基于多模态特征融合的网站敏感内容分类方法、系统、设备及介质
CN118626669A (zh) * 2024-04-25 2024-09-10 杭州电子科技大学 一种考虑场景文本位置关系的图文检索方法
CN118657787A (zh) * 2024-08-22 2024-09-17 成都赛力斯科技有限公司 一种汽车外观缺陷检测方法、设备和存储介质
CN118797093A (zh) * 2024-07-30 2024-10-18 安徽大学 全局-局部信息交互注意的遥感图像文本检索方法
CN119149769A (zh) * 2024-11-18 2024-12-17 中国海洋大学 基于自适应视角匹配的海洋遥感图文检索方法及系统
CN119380010A (zh) * 2024-10-09 2025-01-28 哈尔滨工业大学 图像文本双向特征增强的遥感图像指向性分割方法
CN119625424A (zh) * 2024-12-06 2025-03-14 上海交通大学 基于多尺度特征和跨模态残差注意力的隐私图像检测方法
CN120123970A (zh) * 2025-02-17 2025-06-10 上海声通智明科技有限公司 基于互补融合的全媒体融合方法及系统
CN120763307A (zh) * 2025-09-11 2025-10-10 江苏电力信息技术有限公司 一种基于多路混合召回机制的招标信息检索方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189249B (zh) * 2019-05-24 2022-02-18 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN110765286A (zh) * 2019-09-09 2020-02-07 卓尔智联(武汉)研究院有限公司 跨媒体检索方法、装置、计算机设备和存储介质
CN110706302B (zh) * 2019-10-11 2023-05-19 中山市易嘀科技有限公司 一种文本合成图像的系统及方法
CN111209961B (zh) * 2020-01-03 2020-10-09 广州海洋地质调查局 一种冷泉区海底生物识别方法及处理终端
CN111291551B (zh) * 2020-01-22 2023-04-18 腾讯科技（深圳）有限公司 文本处理方法、装置、电子设备及计算机可读存储介质
CN111782921B (zh) 2020-03-25 2025-01-14 北京沃东天骏信息技术有限公司 检索目标的方法和装置
CN111914113B (zh) * 2020-08-07 2024-06-28 大连理工大学 一种图像检索的方法以及相关装置
CN112016493B (zh) * 2020-09-03 2024-08-23 科大讯飞股份有限公司 图像描述方法、装置、电子设备及存储介质
CN112949415B (zh) * 2021-02-04 2023-03-24 北京百度网讯科技有限公司 图像处理方法、装置、设备和介质
CN113392254A (zh) * 2021-03-29 2021-09-14 西安理工大学 一种基于上下文感知注意的图像文本检索方法
CN113220919B (zh) * 2021-05-17 2022-04-22 河海大学 一种大坝缺陷图像文本跨模态检索方法及模型
CN113204675B (zh) * 2021-07-07 2021-09-21 成都考拉悠然科技有限公司 一种基于跨模态物体推理网络的跨模态视频时刻检索方法
CN113449808B (zh) * 2021-07-13 2022-06-21 广州华多网络科技有限公司 多源图文信息分类方法及其相应的装置、设备、介质
CN113707309B (zh) * 2021-08-31 2024-08-20 平安科技（深圳）有限公司 基于机器学习的疾病预测方法及装置
CN117332112A (zh) * 2023-10-10 2024-01-02 暗物智能科技(广州)有限公司 多模态检索模型训练以及多模态检索方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140133759A1 (en) * 2012-11-14 2014-05-15 Nec Laboratories America, Inc. Semantic-Aware Co-Indexing for Near-Duplicate Image Retrieval
CN104462489A (zh) * 2014-12-18 2015-03-25 北京邮电大学 一种基于深层模型的跨模态检索方法
CN107330100A (zh) * 2017-07-06 2017-11-07 北京大学深圳研究生院 基于多视图联合嵌入空间的图像‑文本双向检索方法
CN108319686A (zh) * 2018-02-01 2018-07-24 北京大学深圳研究生院 基于受限文本空间的对抗性跨媒体检索方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788099B2 (en) * 2007-04-09 2010-08-31 International Business Machines Corporation Method and apparatus for query expansion based on multimodal cross-vocabulary mapping
CN101303694A (zh) * 2008-04-30 2008-11-12 浙江大学 融合不同模态信息实现媒体间交叉检索的方法
US9311544B2 (en) * 2012-08-24 2016-04-12 Jeffrey T Haley Teleproctor reports use of a vehicle and restricts functions of drivers phone
CN108694200B (zh) * 2017-04-10 2019-12-20 北京大学深圳研究生院 一种基于深度语义空间的跨媒体检索方法
CN108052512B (zh) * 2017-11-03 2021-05-11 同济大学 一种基于深度注意力机制的图像描述生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140133759A1 (en) * 2012-11-14 2014-05-15 Nec Laboratories America, Inc. Semantic-Aware Co-Indexing for Near-Duplicate Image Retrieval
CN104462489A (zh) * 2014-12-18 2015-03-25 北京邮电大学 一种基于深层模型的跨模态检索方法
CN107330100A (zh) * 2017-07-06 2017-11-07 北京大学深圳研究生院 基于多视图联合嵌入空间的图像‑文本双向检索方法
CN108319686A (zh) * 2018-02-01 2018-07-24 北京大学深圳研究生院 基于受限文本空间的对抗性跨媒体检索方法

Cited By (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897974B (zh) * 2020-08-12 2024-04-16 吉林大学 一种基于多层注意力机制的异质知识图谱学习方法
CN111897974A (zh) * 2020-08-12 2020-11-06 吉林大学 一种基于多层注意力机制的异质知识图谱学习方法
CN112001166A (zh) * 2020-08-24 2020-11-27 齐鲁工业大学 面向政务咨询服务的智能问答句子对语义匹配方法和装置
CN112001166B (zh) * 2020-08-24 2023-10-17 齐鲁工业大学 面向政务咨询服务的智能问答句子对语义匹配方法和装置
CN112084358A (zh) * 2020-09-04 2020-12-15 中国石油大学(华东) 基于带有主题约束的区域强化网络的图像-文本匹配方法
CN112084358B (zh) * 2020-09-04 2023-10-27 中国石油大学(华东) 基于带有主题约束的区域强化网络的图像-文本匹配方法
CN112651448B (zh) * 2020-12-29 2023-09-15 中山大学 一种面向社交平台表情包的多模态情感分析方法
CN112651448A (zh) * 2020-12-29 2021-04-13 中山大学 一种面向社交平台表情包的多模态情感分析方法
CN112613451A (zh) * 2020-12-29 2021-04-06 民生科技有限责任公司 一种跨模态文本图片检索模型的建模方法
CN112965968A (zh) * 2021-03-04 2021-06-15 湖南大学 一种基于注意力机制的异构数据模式匹配方法
CN112965968B (zh) * 2021-03-04 2023-10-24 湖南大学 一种基于注意力机制的异构数据模式匹配方法
CN112966626A (zh) * 2021-03-16 2021-06-15 三星（中国）半导体有限公司 人脸识别方法和装置
CN113111663A (zh) * 2021-04-28 2021-07-13 东南大学 一种融合关键信息的摘要生成方法
CN113821687A (zh) * 2021-06-30 2021-12-21 腾讯科技（深圳）有限公司 一种内容检索方法、装置和计算机可读存储介质
CN113642630A (zh) * 2021-08-10 2021-11-12 福州大学 基于双路特征编码器的图像描述方法及系统
CN113642630B (zh) * 2021-08-10 2024-03-15 福州大学 基于双路特征编码器的图像描述方法及系统
CN113704443B (zh) * 2021-09-08 2023-10-13 天津大学 一种融合显式和隐式个性化信息的对话生成方法
CN113704443A (zh) * 2021-09-08 2021-11-26 天津大学 一种融合显式和隐式个性化信息的对话生成方法
CN114092703A (zh) * 2021-10-19 2022-02-25 山东师范大学 视频文本的相似性度量方法及系统
CN114201621B (zh) * 2021-11-24 2024-04-02 人民网股份有限公司 基于图文协同注意力的跨模态检索模型构建及检索方法
CN114201621A (zh) * 2021-11-24 2022-03-18 人民网股份有限公司 基于图文协同注意力的跨模态检索模型构建及检索方法
CN114139000A (zh) * 2021-11-29 2022-03-04 北京比特易湃信息技术有限公司 基于图像全局和局部特征重排序的图像检索系统
CN114298159B (zh) * 2021-12-06 2024-04-09 湖南工业大学 一种基于无标签样本下文本融合的图像相似性检测方法
CN114298159A (zh) * 2021-12-06 2022-04-08 湖南工业大学 一种基于无标签样本下文本融合的图像相似性检测方法
CN114372163B (zh) * 2021-12-09 2024-04-23 西安理工大学 基于注意力机制与特征融合的图像检索方法
CN114372163A (zh) * 2021-12-09 2022-04-19 西安理工大学 基于注意力机制与特征融合的图像检索方法
CN114494813A (zh) * 2021-12-24 2022-05-13 西北工业大学 一种基于密集交叉注意力的指称表达生成方法
CN114494813B (zh) * 2021-12-24 2024-03-05 西北工业大学 一种基于密集交叉注意力的指称表达生成方法
CN114357148A (zh) * 2021-12-27 2022-04-15 之江实验室 一种基于多级别网络的图像文本检索方法
CN114282060A (zh) * 2021-12-27 2022-04-05 北京大学深圳研究生院 一种基于上下文Transformer网络的细粒度视频-文本检索方法
CN114491174A (zh) * 2021-12-30 2022-05-13 山东师范大学 一种基于分层特征聚合的图像-文本匹配方法及系统
CN114398972A (zh) * 2022-01-07 2022-04-26 福建农林大学 一种基于联合表示注意力机制的深度学习图像匹配方法
CN114547363A (zh) * 2022-01-14 2022-05-27 北京师范大学 一种基于注意力机制和成对马尔科夫随机场形状检索方法
CN114547235B (zh) * 2022-01-19 2024-04-16 西北大学 基于先验知识图的图像文本匹配模型的构建方法
CN114547235A (zh) * 2022-01-19 2022-05-27 西北大学 基于先验知识图的图像文本匹配模型的构建方法
CN114417056A (zh) * 2022-01-20 2022-04-29 山东大学 基于双流Transformer的视频时刻检索方法及系统
CN114625882A (zh) * 2022-01-26 2022-06-14 西安理工大学 提高图像文本描述独特多样性的网络构建方法
CN114625882B (zh) * 2022-01-26 2024-04-16 西安理工大学 提高图像文本描述独特多样性的网络构建方法
CN114494230A (zh) * 2022-02-14 2022-05-13 北京航空航天大学杭州创新研究院 乳腺病灶分割装置、模型训练方法及电子设备
CN114445201A (zh) * 2022-02-16 2022-05-06 中山大学 一种基于多模态预训练模型的组合商品检索方法及系统
CN114817606A (zh) * 2022-03-07 2022-07-29 齐鲁工业大学 基于交叉注意哈希网络的图文检索方法及系统
CN114708612A (zh) * 2022-03-21 2022-07-05 合肥工业大学 跨模态细粒度属性对齐的行人智能查找方法、存储介质
CN114579793A (zh) * 2022-03-31 2022-06-03 西安建筑科技大学 自适应注意力地标建筑图像检索方法、系统、设备和介质
CN114821770B (zh) * 2022-04-11 2024-03-26 华南理工大学 文本到图像的跨模态行人再识别方法、系统、介质和设备
CN114821770A (zh) * 2022-04-11 2022-07-29 华南理工大学 文本到图像的跨模态行人再识别方法、系统、介质和设备
CN114780766B (zh) * 2022-04-12 2025-02-07 浙大宁波理工学院 基于Transformer模型的细粒度图文检索方法及系统
CN114780766A (zh) * 2022-04-12 2022-07-22 浙大宁波理工学院 基于Transformer模型的细粒度图文检索方法及系统
CN114821050A (zh) * 2022-04-13 2022-07-29 大连理工大学 一种基于transformer的指称图像分割方法
CN114911914A (zh) * 2022-04-24 2022-08-16 中国电子科技集团公司第五十四研究所 一种跨模态图文检索方法
CN114911933A (zh) * 2022-04-26 2022-08-16 济南大学 基于图内图间联合信息传播的假新闻检测方法及系统
CN114840705B (zh) * 2022-04-27 2024-04-19 中山大学 一种基于多模态预训练模型的组合商品检索方法及系统
CN114840705A (zh) * 2022-04-27 2022-08-02 中山大学 一种基于多模态预训练模型的组合商品检索方法及系统
CN115017287A (zh) * 2022-06-15 2022-09-06 茅台学院 一种基于语义空间映射的零样本图片问答方法
CN114926742A (zh) * 2022-06-17 2022-08-19 南通大学 一种基于二阶注意力机制的回环检测及优化方法
CN114926742B (zh) * 2022-06-17 2024-09-24 南通大学 一种基于二阶注意力机制的回环检测及优化方法
CN114969423A (zh) * 2022-06-23 2022-08-30 天津理工大学 一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设备
CN115329114A (zh) * 2022-07-06 2022-11-11 西安理工大学 基于注意力增强和自动编码融合的图像检索方法
CN115238117A (zh) * 2022-07-08 2022-10-25 杭州电子科技大学 基于注意力融合局部超级特征和全局特征的图像检索方法
CN115909317A (zh) * 2022-07-15 2023-04-04 广东工业大学 一种三维模型-文本联合表达的学习方法及系统
CN115374289A (zh) * 2022-07-27 2022-11-22 电子科技大学 一种结构化知识增强的图文匹配方法
CN115278262A (zh) * 2022-08-01 2022-11-01 天津大学 一种端到端智能视频编码方法及装置
CN115344736A (zh) * 2022-08-12 2022-11-15 电子科技大学 一种渐进式的图像文本匹配方法
CN115344735A (zh) * 2022-08-12 2022-11-15 电子科技大学 一种层次化对齐的图像文本检索方法
CN115578596A (zh) * 2022-10-21 2023-01-06 大连理工大学 一种多尺度跨媒体信息融合方法
CN115775331A (zh) * 2022-11-23 2023-03-10 国网湖北省电力有限公司超高压公司 一种基于注意力机制的输电线路小部件属性识别方法
CN115757857A (zh) * 2023-01-09 2023-03-07 吉林大学 一种水下三维跨模态联合检索方法、存储介质和电子设备
CN116226449A (zh) * 2023-02-01 2023-06-06 西安电子科技大学 基于差分多尺度多粒度特征融合的视频文本检索方法
CN115858848B (zh) * 2023-02-27 2023-08-15 浪潮电子信息产业股份有限公司 图文互检方法及装置、训练方法及装置、服务器、介质
CN115858848A (zh) * 2023-02-27 2023-03-28 浪潮电子信息产业股份有限公司 图文互检方法及装置、训练方法及装置、服务器、介质
CN116610778A (zh) * 2023-03-29 2023-08-18 杭州电子科技大学 基于跨模态全局与局部注意力机制的双向图文匹配方法
CN116450883A (zh) * 2023-04-24 2023-07-18 西安电子科技大学 基于视频内容细粒度信息的视频时刻检索方法
CN116561365A (zh) * 2023-05-16 2023-08-08 中国海洋大学 基于布局化语义联合显著表征的遥感图像跨模态检索方法
CN116578947A (zh) * 2023-05-19 2023-08-11 西安电子科技大学 基于记忆单元优化特征的图文跨模态检索方法
CN116310425B (zh) * 2023-05-24 2023-09-26 山东大学 一种细粒度图像检索方法、系统、设备及存储介质
CN116310425A (zh) * 2023-05-24 2023-06-23 山东大学 一种细粒度图像检索方法、系统、设备及存储介质
CN117035008A (zh) * 2023-08-09 2023-11-10 北京理工大学 一种基于图神经网络的图像文本匹配方法
CN117316369A (zh) * 2023-08-24 2023-12-29 兰州交通大学 平衡跨模态信息的胸部影像诊断报告自动生成方法
CN117316369B (zh) * 2023-08-24 2024-05-07 兰州交通大学 平衡跨模态信息的胸部影像诊断报告自动生成方法
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及系统
CN116994069B (zh) * 2023-09-22 2023-12-22 武汉纺织大学 一种基于多模态信息的图像解析方法及系统
CN117292442B (zh) * 2023-10-13 2024-03-26 中国科学技术大学先进技术研究院 一种跨模态跨域通用人脸伪造定位方法
CN117292442A (zh) * 2023-10-13 2023-12-26 中国科学技术大学先进技术研究院 一种跨模态跨域通用人脸伪造定位方法
CN117521012A (zh) * 2023-11-23 2024-02-06 河海大学 基于多模态上下文分层分步对齐的虚假信息检测方法
CN117992613A (zh) * 2024-02-06 2024-05-07 西安电子科技大学 基于多模态特征融合的网站敏感内容分类方法、系统、设备及介质
CN117932099A (zh) * 2024-03-21 2024-04-26 大连海事大学 一种基于修改文本反馈的多模态图像检索方法
CN118626669A (zh) * 2024-04-25 2024-09-10 杭州电子科技大学 一种考虑场景文本位置关系的图文检索方法
CN118797093B (zh) * 2024-07-30 2025-09-02 安徽大学 全局-局部信息交互注意的遥感图像文本检索方法
CN118797093A (zh) * 2024-07-30 2024-10-18 安徽大学 全局-局部信息交互注意的遥感图像文本检索方法
CN118657787A (zh) * 2024-08-22 2024-09-17 成都赛力斯科技有限公司 一种汽车外观缺陷检测方法、设备和存储介质
CN119380010A (zh) * 2024-10-09 2025-01-28 哈尔滨工业大学 图像文本双向特征增强的遥感图像指向性分割方法
CN119149769A (zh) * 2024-11-18 2024-12-17 中国海洋大学 基于自适应视角匹配的海洋遥感图文检索方法及系统
CN119625424A (zh) * 2024-12-06 2025-03-14 上海交通大学 基于多尺度特征和跨模态残差注意力的隐私图像检测方法
CN120123970A (zh) * 2025-02-17 2025-06-10 上海声通智明科技有限公司 基于互补融合的全媒体融合方法及系统
CN120763307A (zh) * 2025-09-11 2025-10-10 江苏电力信息技术有限公司 一种基于多路混合召回机制的招标信息检索方法及装置

Also Published As

Publication number Publication date
CN109783657A (zh) 2019-05-21
CN109783657B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN109783657B (zh) 基于受限文本空间的多步自注意力跨媒体检索方法及系统
US20230306205A1 (en) System and method for personalized conversational agents travelling through space and time
CN109241524B (zh) 语义解析方法及装置、计算机可读存储介质、电子设备
CN108319686B (zh) 基于受限文本空间的对抗性跨媒体检索方法
WO2018195875A1 (en) Generating question-answer pairs for automated chatting
CN105279495B (zh) 一种基于深度学习和文本总结的视频描述方法
US8694303B2 (en) Systems and methods for tuning parameters in statistical machine translation
JP7335300B2 (ja) 知識事前訓練モデルの訓練方法、装置及び電子機器
CN112100332A (zh) 词嵌入表示学习方法及装置、文本召回方法及装置
US20200137001A1 (en) Generating responses in automated chatting
US20200159997A1 (en) Generating responses in automated chatting
US20170185581A1 (en) Systems and methods for suggesting emoji
Li et al. Residual attention-based LSTM for video captioning
WO2018205084A1 (en) Providing local service information in automated chatting
WO2018165932A1 (en) Generating responses in automated chatting
CN112182145B (zh) 文本相似度确定方法、装置、设备和存储介质
CN111581364A (zh) 一种面向医疗领域的中文智能问答短文本相似度计算方法
CN109800434A (zh) 基于眼动注意力的抽象文本标题生成方法
CN110851599A (zh) 一种中文作文自动评分方法及教辅系统
CN115563327A (zh) 基于Transformer网络选择性蒸馏的零样本跨模态检索方法
CN115344668A (zh) 一种多领域与多学科科技政策资源检索方法及装置
CN113934835A (zh) 结合关键词和语义理解表征的检索式回复对话方法及系统
CN114579741A (zh) 融合句法信息的gcn-rn方面级情感分析方法和系统
CN106649294B (zh) 一种分类模型的训练及其从句识别方法和装置
Wang et al. Image captioning based on deep learning methods: A survey

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19909251

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19909251

Country of ref document: EP

Kind code of ref document: A1